JP2002262230A - 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 記憶媒体のダイジェスト再生により、現在の
放送に追いつくことを可能とした画像処理装置を提供す
る。 【解決手段】 動画記憶手段２０３は、入力画像を記憶
する。シーン特徴情報記憶手段２０４は、動画像記憶手
段２０３内の動画を構成する複数のシーンのどれぞれに
ついて、シーンの特徴情報を記憶する。ダイジェスト作
成手段２０５は、外部指示及びシーン特徴情報記憶手段
２０４内のシーン特徴情報に基づいて、再生動画につい
てのダイジェストを作成する。再生手段２０６は、ダイ
ジェスト作成手段２０５により作成されたダイジェスト
に基づいて、動画記憶手段２０３内の動画を再生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、テレビジ
ョン放送の情報ストリームを受信して記憶し、当該記憶
ストリームの再生処理等を行う装置或はシステムに用い
られる、画像処理装置、画像処理システム、画像処理方
法、並びにそれを実施するための処理ステップをコンピ
ュータに実行させるための画像処理プログラム、及び上
記処理ステップをコンピュータに実行させるためのプロ
グラムを記憶した記憶媒体に関するものである。

【０００２】

【従来の技術】従来より例えば、テレビジョン放送を受
信して記憶媒体（磁気テープ等）に記憶し、当該記憶媒
体に記憶したテレビジョン放送の情報（ビデオ信号）
を、ユーザからの指示（再生希望する時の指示）に基づ
き再生する装置としては、ＶＴＲ（ビデオテープレコー
ダ）が多く普及している。

【０００３】一方、近年では、ランダムアクセスの可能
なハードディスクや光ディスク等の記憶媒体に関して大
容量化が急速に進んでいることから、このような記憶媒
体を、ＶＴＲ等で用いられる磁気テープの変わりに利用
した装置の開発が進められている。例えば、記憶媒体が
大容量である点、及び記憶媒体に対してランダムアクセ
スが可能である点を生かし、ＶＴＲ技術の延長で様々な
装置が開発されている。このような装置の一例として
は、テレビジョン放送されている番組を常にリアルタイ
ムに記憶媒体に記憶（録画）しておき、当該記憶媒体に
おいて、過去に遡ったある位置から再生できるように構
成されたものがある。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
たような、ランダムアクセスの可能なハードディスクや
光ディスク等の記憶媒体を利用した従来の再生装置で
は、再生対象の記憶媒体において、過去に遡ったある位
置から再生できるように構成されたものであっても、過
去の任意の時点から現在までの内容を掻い摘んで視聴し
たい等というユーザの要望を満たすことができなかっ
た。

【０００５】具体的には例えば、再生対象の記憶媒体に
記憶された情報が、スポーツの試合中継の番組の情報で
ある場合、当該記憶媒体の再生により、試合の開始から
視聴する、或は試合の途中の任意の時点から視聴するこ
とになる。しかしながら、試合の開始から視聴する場
合、現在の状況を気にかけながら視聴しなければならな
い。また、試合の途中から視聴する場合、それまでの試
合の経過がわからず、試合の流れを掴めないまま、視聴
を続けなければならない。このように、従来では、過去
の任意の時点から現在までの番組の内容を、掻い摘んで
視聴することができなかった。

【０００６】そこで、本発明は、上記の欠点を除去する
ために成されたもので、記憶媒体のダイジェスト再生に
より、現在の放送に追いつくことを可能とした、画像処
理装置、画像処理システム、画像処理方法、並びにそれ
を実施するための処理ステップをコンピュータに実行さ
せるための画像処理プログラム、及び上記処理ステップ
をコンピュータに実行させるためのプログラムを記憶し
た記憶媒体を提供することを目的とする。

【０００７】

【課題を解決するための手段】斯かる目的下において、
第１の発明は、動画の再生処理する画像処理装置であっ
て、入力動画を記憶する動画記憶手段と、上記動画記憶
手段内の動画を構成する複数のシーンのそれぞれについ
て、シーンの特徴情報を記憶するシーン特徴情報記憶手
段と、外部指示及び上記シーン特徴情報記憶手段内のシ
ーン特徴情報に基づいて、再生動画についてのダイジェ
ストを作成するダイジェスト作成手段と、 上記ダイジ
ェスト作成手段により作成されたダイジェストに基づい
て、上記動画記憶手段内の動画を再生する再生手段とを
備えることを特徴とする。

【０００８】第２の発明は、上記第１の発明において、
上記再生手段は、上記ダイジェストに基づいた再生後、
上記動画記憶手段に入力記憶された現時点の動画を再生
することを特徴とする。

【０００９】第３の発明は、上記第１の発明において、
上記ダイジェスト作成手段は、上記外部指示により示さ
れるダイジェスト再生開始位置からダイジェスト再生指
示した位置までの間については、上記シーン特徴情報に
基づいたダイジェストを作成し、上記外部指示により示
されるダイジェスト再生指示した位置からダイジェスト
再生終了位置までの間については、所定間隔でのダイジ
ェストを作成することを特徴とする。

【００１０】第４の発明は、上記第１の発明において、
上記シーンの特徴情報を抽出するシーン特徴情報抽出手
段を備え、上記シーン特徴情報記憶手段は、上記シーン
特徴情報抽出手段で抽出されたシーン特徴情報を記憶
し、上記ダイジェスト作成手段は、上記外部指示により
示されるダイジェスト再生指示した位置からダイジェス
ト再生終了位置までの間について、上記シーン情報抽出
手段によってシーン特徴情報が抽出される毎に、上記ダ
イジェストに対して修正を加えることを特徴とする。

【００１１】第５の発明は、上記第１の発明において、
上記ダイジェスト作成手段は、上記外部指示により示さ
れるダイジェスト再生開始位置からダイジェスト再生終
了位置までの間について、常に所定間隔でのダイジェス
トを作成することを特徴とする。

【００１２】第６の発明は、上記第１の発明において、
上記ダイジェスト作成手段は、上記外部指示により示さ
れるダイジェスト再生開始位置から始まる所定の長さの
シーンを含むダイジェストを作成することを特徴とす
る。

【００１３】第７の発明は、上記第１の発明において、
上記ダイジェスト作成手段は、外部指定されたダイジェ
ストの長さに基づいて、上記ダイジェストを作成するこ
とを特徴とする。

【００１４】第８の発明は、上記第１の発明において、
上記ダイジェスト作成手段は、上記ダイジェストの長さ
を、上記外部指示により示されるダイジェスト再生開始
位置からダイジェスト再生指示した位置までの長さの所
定の割合にすることを特徴とする。

【００１５】第９の発明は、上記第１の発明において、
上記シーン特徴情報は、シーンの切り替わりの激しさの
情報、及びシーン中の対象物の動きの激しさの情報の少
なくとも何れかの情報を含むことを特徴とする。

【００１６】第１０の発明は、上記第１〜９の何れかの
発明において、上記入力される動画像データには、予め
シーンの特徴情報が含まれていることを特徴とする。

【００１７】第１１の発明は、複数の機器が互いに通信
可能に接続されてなる画像処理システムであって、上記
複数の機器のうち少なくとも１つの機器は、請求項１〜
１０の何れか１項に記載の画像処理装置の機能を有する
ことを特徴とする。

【００１８】第１２の発明は、動画を再生処理するため
の画像処理方法であって、 動画を受信する受信ステッ
プと、上記受信ステップにより受信した動画を随時蓄積
していく動画蓄積ステップと、上記動画蓄積ステップに
より蓄積された動画を分割して得られたシーンについ
て、少なくともシーン特徴情報を抽出する情報抽出ステ
ップと、上記動画蓄積ステップにより蓄積された動画に
関連付けて、上記情報抽出ステップで得られた情報を蓄
積する情報蓄積ステップと、ユーザからのダイジェスト
再生指示とダイジェスト再生開始位置に基づいて、上記
情報蓄積ステップにより蓄積された情報からダイジェス
トを作成するダイジェスト作成ステップと、上記ダイジ
ェスト作成ステップで作成されたダイジェストに基づい
た動画再生を行った後、直ちに、上記受信ステップによ
り受信された現行の動画を再生する再生ステップとを含
むことを特徴とする。

【００１９】第１３の発明は、動画を再生処理するため
の画像処理方法であって、 動画及び当該動画を構成す
るシーンのそれぞれについてのシーン特徴情報を受信す
る受信ステップと、上記受信ステップにより受信した動
画を随時蓄積していく動画蓄積ステップと、上記動画蓄
積ステップにより蓄積された動画に関連付けて、上記受
信ステップで得られたシーン特徴情報を蓄積する情報蓄
積ステップと、ユーザからのダイジェスト再生指示及び
ダイジェスト再生開始位置に基づいて、上記情報蓄積ス
テップにより蓄積された情報からダイジェストを作成す
るダイジェスト作成ステップと、上記ダイジェスト作成
ステップで作成されたダイジェストに基づいた動画再生
を行った後、直ちに、上記受信ステップにより受信され
た現行の動画を再生する再生ステップとを含むことを特
徴とする。

【００２０】第１４の発明は、上記第１２又は１３の発
明において、上記ダイジェスト作成ステップは、上記ダ
イジェスト再生開始位置から上記ダイジェスト再生指示
した位置までの間については、上記情報蓄積ステップに
より蓄積されたシーン特徴情報を利用してダイジェスト
を作成し、上記ダイジェスト再生指示した位置からダイ
ジェスト再生終了位置までの間については、所定間隔で
のダイジェストを作成するステップを含むことを特徴と
する。

【００２１】第１５の発明は、上記第１２又は１３の発
明において、上記ダイジェスト作成ステップは、上記ダ
イジェスト再生指示した位置からダイジェスト再生終了
位置までの間について、上記情報抽出手段によりシーン
特徴情報が抽出される毎に、随時、上記ダイジェストに
修正を加えていくステップを含むことを特徴とする。

【００２２】第１６の発明は、上記第１２又は１３の発
明において、上記ダイジェスト作成ステップは、上記ダ
イジェスト再生開始位置からダイジェスト再生終了位置
までの間については、常に所定間隔でのダイジェストを
作成するステップを含むことを特徴とする。

【００２３】第１７の発明は、上記第１２又は１３の発
明において、上記ダイジェスト作成ステップは、上記ダ
イジェスト再生開始位置から始まる所定の長さのシーン
を必ず含むダイジェストを作成するステップを含むこと
を特徴とする。

【００２４】第１８の発明は、上記第１２又は１３の発
明において、上記ダイジェストの長さを指示する指示ス
テップを含み、上記ダイジェスト作成ステップは、上記
指示ステップにより指示されたダイジェストの長さに基
づいてダイジェストを作成するステップを含むことを特
徴とする。

【００２５】第１９の発明は、上記第１２又は１３の発
明において、上記ダイジェスト作成ステップは、上記ダ
イジェストの長さを、上記ダイジェスト再生開始位置か
らダイジェスト再生指示した位置までの長さの所定の割
合にするステップを含むことを特徴とする。

【００２６】第２０の発明は、上記第１２又は１３の発
明において、上記シーン特徴情報は、シーンの切り替わ
りの激しさの情報、及びシーン中の対象物の動きの激し
さの情報の少なくとも何れかの情報を含むことを特徴と
する。

【００２７】第２１の発明は、動画像データを再生処理
する画像処理装置であって、入力された動画像データを
記憶する動画記憶手段と、上記動画記憶手段内の動画像
データを構成する複数のシーンのそれぞれについて、シ
ーンの特徴情報を抽出するシーン特徴情報抽出手段と、
上記シーン特徴情報抽出手段で抽出されたシーン特徴情
報に基づいて、上記動画像データをダイジェスト再生す
るためのダイジェストデータを作成するダイジェスト作
成手段と、上記ダイジェスト作成手段で作成されたダイ
ジェストデータに基づいて、上記記憶手段内の動画像デ
ータをダイジェスト再生する再生手段とを有することを
特徴とする。

【００２８】第２２の発明は、上記第２１の発明におい
て、上記入力される動画像データには、予めシーンの特
徴情報が含まれていることを特徴とする。

【００２９】第２３の発明は、動画像データを再生処理
する画像処理方法であって、入力された動画像データを
記憶手段に記憶する動画記憶ステップと、上記記憶手段
内の動画像データを構成する複数のシーンのそれぞれに
ついて、シーンの特徴情報を抽出するシーン特徴情報抽
出ステップと、上記シーン特徴情報抽出ステップで抽出
されたシーン特徴情報に基づいて、上記動画像データを
ダイジェスト再生するためのダイジェストデータを作成
するダイジェスト作成ステップと、上記ダイジェスト作
成ステップで作成されたダイジェストデータに基づい
て、上記記憶手段内の動画像データをダイジェスト再生
する再生ステップとを含むことを特徴とする。

【００３０】第２４の発明は、上記第２３の発明におい
て、上記入力される動画像データには、予めシーンの特
徴情報が含まれていることを特徴とする。

【００３１】第２５の発明は、請求項１〜１０、２１及
び２２の何れかに記載の画像処理装置の機能、又は請求
項１１記載の画像処理システムの機能をコンピュータに
実現させるためのプログラムをコンピュータ読出可能な
記憶媒体に記録したことを特徴とする。

【００３２】第２６の発明は、請求項１２〜２０、２３
及び２４の何れかに記載の画像処理方法の処理ステップ
をコンピュータに実行させるためのプログラムをコンピ
ュータ読出可能な記憶媒体に記録したことを特徴とす
る。

【００３３】第２７の発明は、請求項１２〜２０、２３
及び２４の何れかに記載の画像処理方法の処理ステップ
をコンピュータに実行させるための画像処理プログラム
であることを特徴とする。

【００３４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。

【００３５】[第1の実施の形態]＜本実施の形態の全体
構成＞本発明は、例えば、図１に示すような画像処理装
置１００に適用される。本実施の形態の画像処理装置１
００は、記憶媒体のダイジェスト再生により、現在の放
送に追いつくことができるように構成された再生機能を
有し、上記図１に示すように、ＣＰＵ１０１、ＲＯＭ１
０２、ＲＡＭ１０３、キーボード１０４、マウス１０
５、外部記憶装置１０６、表示器１０７、ＮＩＣ１０
８、ビデオＩ／Ｆ１０９、ビデオカメラ１１０、ＶＴＲ
１１２、及び受信機１１３が、システムバス１１１を介
して互いに通信可能なように接続された構成としてい
る。

【００３６】ＣＰＵ１０１は、所定の処理プログラムを
実行することで、画像処理装置１００全体の動作制御を
司る。ＲＯＭ１０２には、ＣＰＵ１０１での動作制御を
実施するための処理プログラム（画像処理装置１００の
立ち上げ時に実行されるブートプログラム等）や各種デ
ータが格納される。ＲＡＭ１０３は、ＣＰＵ１０１によ
りＲＯＭ１０２等から処理プログラムがロードされるメ
モリであると共に、ＣＰＵ１０１が各種動作制御を実行
する際の作業用メモリを提供する。

【００３７】キーボード１０４及びマウス１０５は、ユ
ーザによる画像処理装置１００に対する各種動作指示の
環境（各種入力操作環境）を提供する。外部記憶装置１
０６は、ハードディスクやフレキシブルディスク、或い
はＣＤ−ＲＯＭ等で構成される。表示器１０７は、ＣＲ
Ｔディスプレイ等で構成され、処理結果等をユーザに対
して表示する。ＮＩＣ１０８は、ネットワークインター
フェースであり、ネットワーク上の各機器或いはシステ
ムとの通信を可能とする。

【００３８】ビデオＩ／Ｆ（インターフェース）１０９
は、ビデオカメラ１１０やＶＴＲ１１２からの動画を取
り込むことを可能とする。受信機１１３は、地上波放送
や衛星放送等の放送電波を受信する。

【００３９】尚、上記図１に示した構成において、ビデ
オカメラ１１０、ＶＴＲ１１２、及び外部記憶装置１０
６を、ＮＩＣ１０８により接続されるネットワーク上に
配置するようにしてもよい。

【００４０】図２は、上記図１の画像処理装置１００を
機能的に示したものである。画像処理装置１００は、上
記図２に示すように、受信機１１３により実施されるス
トリーム受信部２０１と、ＣＰＵ１０１により実施され
るシーン特徴抽出部２０２、ダイジェスト作成部２０
５、及び再生部２０６と、ＲＡＭ１０３または外部記憶
装置１０６から実施される動画蓄積部２０３及びシーン
特徴情報蓄積部２０４と、表示器１０７により実施され
る表示部２０７と、キーボード１０４及びマウス１０５
等から実施されるユーザ操作部２０８とを備えている。

【００４１】ストリーム受信部２０１は、受信機１１３
により、テレビジョンの地上波の放送や衛星放送、或い
はネットワークインターフェース１０８を介してのケー
ブルテレビジョン放送やネットワークを介した放送等を
受信して、それを情報ストリームとして出力する。

【００４２】シーン特徴抽出部２０２は、ストリーム受
信部２０１から出力される情報ストリーム（動画のフレ
ーム）を解析することで、シーンの特徴を取得する。動
画蓄積部２０３であり、シーン特徴抽出部２０２からの
動画のフレームを順次蓄積する。シーン特徴情報蓄積部
２０４は、シーン特徴抽出部２０２で得られたシーン特
徴情報を蓄積する。ダイジェスト作成部２０５は、シー
ン特徴情報蓄積部２０４に蓄積されているシーン特徴情
報に基づき動画のダイジェストを作成する。

【００４３】再生部２０６は、再生モードが「現行放送
モード」である場合、ストリーム受信部２０１から順次
出力される動画のフレームを再生し、再生モードが受信
中の動画を録画しながら録画済み部分の動画を再生する
「追いかけ（第１のタイムシフト）再生モード」である
場合、動画蓄積部２０３に蓄積された動画のフレームを
再生し、再生モードが受信中の動画を録画しながら録画
済み部分の動画をダイジェスト再生する「追いつき（第
２のタイムシフト）再生モード」である場合、ダイジェ
スト作成部２０５で得られたダイジェスト情報に基づき
動画蓄積部２０３に蓄積された動画のフレームを再生す
る。

【００４４】表示部２０７は、再生部２０６で再生され
た動画をユーザに対して表示出力する。ユーザ操作部２
０８は、ユーザがキーボード１０４及びマウス１０５等
を含み、再生モードの切換指示等を行うためのものであ
る。

【００４５】＜画像処理装置１００の全体動作＞上記図
１及び図２に示したような構成を備えた画像処理装置１
００の動作の一例（１）〜（３）について、以下に説明
する。

【００４６】（１）現行放送モード時の動作 ユーザ操作部２０８によりユーザから、再生モードとし
て「現行放送モード」の指定がなされた場合、現行放送
の再生が行なわれる。

【００４７】すなわち、再生部２０６は、ストリーム受
信部２０１で得られた情報ストリーム（受信ストリー
ム）からフレームを順に取り出して再生する。

【００４８】（２）追いかけ（第１のタイムシフト）再
生モード時の動作 ユーザ操作部２０８によりユーザから、再生モードとし
て「追いかけ再生モード」の指定がなされた場合、追い
かけ再生が行われる。

【００４９】すなわち、先ず、ストリーム受信部２０１
で得られた情報ストリーム（受信ストリーム）から順に
取り出されたフレームは、シーン特徴抽出部２０２を介
して、動画蓄積部２０３に蓄積される。動画蓄積部２０
３は、記憶容量として十分な大きさを有するものである
が、記憶できる限界を超えた場合、古い情報に対して順
に上書き記憶する。

【００５０】再生部２０６は、ユーザ操作部２０８で指
定された位置まで遡ったフレームを、動画蓄積部２０３
から順に取り出して再生する。このとき、前の再生モー
ドが「追いつき再生モード」であり、この状態から当該
「追いかけ再生モード」に切りかえられた場合、再生部
２０６は、再生されていた位置からの追いかけ再生を開
始する。

【００５１】（３）追いつき（第２のタイムシフト）再
生モード時の動作 ユーザ操作部２０８によりユーザから、再生モードとし
て「追いつき再生モード」の指定がなされた場合、追い
つき再生が行われる。

【００５２】すなわち、先ず、ストリーム受信部２０１
で得られた情報ストリーム（受信ストリーム）から順に
取り出されたフレームは、シーン特徴抽出部２０２を介
して、動画蓄積部２０３に蓄積される。このとき、シー
ン特徴抽出２０２は、入力フレームをシーンに分割し、
それぞれのシーンの特徴を抽出してシーン特徴情報蓄積
部２０４に蓄積する。

【００５３】ダイジェスト作成部２０５は、シーン特徴
情報蓄積部２０４に蓄積されたシーン特徴情報を参照し
解析することで、ダイジェストを作成する。再生部２０
６は、ダイジェスト作成部２０５で作成されたダイジェ
ストを再生する。この再生後は、ただちに「現行放送モ
ード」の動作に戻り、これにより、現行放送が再生され
る。

【００５４】つまり、追いつき再生モードとは、動画像
データを録画しながら、前記ユーザーから指示された録
画済み部分の前記動画像データをダイジェスト再生し、
現在の放送されている動画像データに追いつくモードで
ある。

【００５５】＜シーン特徴情報の抽出処理、及びダイジ
ェストの作成処理の詳細＞

【００５６】（１）シーン特徴情報の抽出処理 図３は、シーン特徴抽出部２０２で実行される、シーン
特徴情報の抽出処理をフローチャートによって示したも
のである。

【００５７】ステップＳ３０１：先ず、シーン特徴抽出
部２０２は、ストリーム受信部２０１から受け取ったフ
レームを、動画蓄積部２０３に蓄積する。このとき、シ
ーン特徴抽出部２０２は、個々のフレームに対して、フ
レーム識別するためのフレームＩＤを付与する。

【００５８】ステップＳ３０２：シーン特徴抽出部２０
２は、動画蓄積部２０３に蓄積したフレームのそれぞれ
について、順番に注目するフレームと、過去のフレーム
群とのフレーム間類似性距離計算を行う。

【００５９】ここでの過去のフレーム群とは、単数のフ
レームの場合も、複数のフレームの場合もあり、特にそ
のアルゴリズムを限定しない。また、これら比較対象と
なる過去のフレーム群は、特に図示しないメモリ上に保
持しておく。

【００６０】ステップＳ３０２での処理の具体例を挙げ
ると、先ず、前のフレームと現在のフレームのそれぞれ
のフレームに対して、図４に示すような、縦横の複数の
ブロック分割を行なう。次に、上記ブロック分割後の各
ブロックに関して、ＲＧＢの平均値を算出する。そし
て、現在フレームにおける各ブロックと、その前フレー
ムにおける各ブロックとの間で、対応するブロック同士
のＲＧＢの平均値の差の二乗和を求め、この結果を、シ
ーンチェンジの激しさの度合いを表すフレーム間類似性
距離とする。したがって、フレーム間類似性距離が小さ
いほど類似しており、フレーム間類似性距離が大きいほ
ど類似していない。すなわち、フレーム間類似性距離が
大きければ、現在フレームは、その前のフレームに対し
てシーンチェンジである可能性が大きい。

【００６１】上記の処理は、

【００６２】

【数１】

【００６３】なる式（１）で表される。

【００６４】ステップＳ３０３：シーン特徴抽出部２０
２は、ステップＳ３０２で取得したフレーム間類似性距
離計算の結果（類似度）により、シーンチェンジを判定
する。この判定の結果、シーンチェンジでない場合、そ
のまま本処理終了となる。

【００６５】ステップＳ３０４：ステップＳ３０３の判
定の結果、シーンチェンジである場合、シーン特徴抽出
部２０２は、シーン特徴情報を蓄積する。その後、本処
理終了となる。

【００６６】ここでのシーン特徴情報とは、例えば、図
５に示すように、シーン毎に付与されるシーンＩＤ、シ
ーンの先頭のフレームＩＤ、シーンの長さ、及びシーン
の特徴の一つであるシーンチェンジの激しさ等の情報か
らなる。“シーンの長さ”は、今回のシーンチェンジの
フレームＩＤから前回のシーンチェンジのフレームＩＤ
を引いた結果から得られるフレーム数の情報である。
“シーンの激しさ”は、シーンの切り替わりの激しさを
示し、上述した類似度の逆数を利用した情報である。た
だし、ここでは、類似度“０”はあり得ないものとす
る。したがって、類似度が低いほど、激しいシーンの切
り替わりであり、“シーンの激しさ”の値も大きくな
る。

【００６７】（２）ダイジェストの作成処理 図６及び図７は、ダイジェスト作成部２０５で実行され
る、ダイジェストの作成処理をフローチャートによって
示したものである。尚、以下の説明における“ＳＦＩ
Ｄ”、“ＣＦＩＤ”、及び“ＴＤ”等は、作業用メモリ
（ＲＡＭ１０３等）におけるフラグ或はバッファを示
す。

【００６８】ステップＳ５０１：図５参照 ダイジェスト作成部２０５は、ユーザからの「追いつき
再生モード」の指示により、「追いかけ再生モード」か
らの切り換えであるか否かを判定する。

【００６９】ステップＳ５０２、ステップＳ５０３：ス
テップＳ５０１の判定の結果、「追いかけ再生モード」
からの切り換えである場合、ダイジェスト作成部２０５
は、“ＳＦＩＤ”に対して現在再生中のフレームＩＤを
設定する（ステップＳ５０３）。一方、「追いかけ再生
モード」からの切り換えでない場合、すなわち「現行放
送モード」からの切り換えである場合、ダイジェスト作
成部２０５は、“ＳＦＩＤ”に対して、ユーザから指定
された開始位置のフレームＩＤを設定する。これによ
り、“ＳＦＩＤ”により示されるフレームからの追いつ
き再生が行われる。

【００７０】ステップＳ５０４、ステップＳ５０５：ダ
イジェスト作成部２０５は、“ＣＦＩＤ”に対して現行
放送のフレームＩＤを設定し（ステップＳ５０４）、
“ＴＤ”に対してユーザから指定されたダイジェスト再
生時間を設定する（ステップＳ５０５）。尚、“ＴＤ”
として指定できるのは、（“ＣＦＩＤ”−“ＳＦＩ
Ｄ”）より短い時間である。

【００７１】ステップＳ５０６：ダイジェスト作成部２
０５は、ダイジェスト総シーン数Ｎｔを、 ＴＤ÷ダイジェスト１シーン辺りの時間Ｔｓ なる演算により求める。尚、上記演算式で割り切れない
場合は、その余りを無視する。また、“Ｔｓ”について
は、特に限定しないが、例えば、人間の目にちらつかな
い２秒程度が望ましい。

【００７２】ステップＳ５０７：ダイジェスト作成部２
０５は、“Ｎａ”に対して、ステップＳ５０６で求めた
“Ｎｔ”を設定する。ここでの“Ｎａ”は、“ＣＦＩ
Ｄ”により示されるフレーム以前に、ダイジェスト中で
再生されるべきシーンの数である。

【００７３】ステップＳ５０８：ダイジェスト作成部２
０５は、“ＣＦＩＤ”で示されるフレーム以降で、現行
放送に追いつくまでにダイジェスト中で再生されるべき
シーンの数Ｎｂを決定する。

【００７４】具体的には、ダイジェスト再生中において
も、現行放送は先に進むため、最終的に現行放送におい
つくためには、例えば、図８に示すように、ダイジェス
ト再生開始時の現行放送の位置（“ＣＦＩＤ”）から、
追いついた時点での現行放送の位置までの間（ダイジェ
スト再生中に進む時間）を考慮しなければならない。

【００７５】ダイジェスト再生中に進む時間の部分は、
これから決まる部分であるため、現時点では、シーンの
区切りや激しさはわからない。したがって、一度にダイ
ジェスト再生するシーンを決定する方法では、この部分
はシーンの激しさを利用できないため、一定時間おきに
Ｔｓ分ずつ再生する。この一定時間を所定値Ｌとする。
所定値Ｌは、Ｔｓより十分に長く、動画内容に十分に変
化が起こりうる時間であるものとする。特に限定しない
が、例えば、５分（＝３００秒）程度が望ましい。

【００７６】したがって、“ＣＦＩＤ”で示されるフレ
ーム以降で、現行放送に追いつくまでにダイジェスト中
で再生されるべきシーンの数Ｎｂは、 Ｎｂ＝ＴＤ÷Ｌ なる演算より求める。この演算の結果、割り切れない場
合、その余りは無視する。

【００７７】ステップＳ５０９：ダイジェスト作成部２
０５は、ステップＳ５０７にて設定を行なった“Ｎａ”
（“ＣＦＩＤ”により示されるフレーム以前に、ダイジ
ェスト中で再生されるべきシーンの数）に対して、 Ｎａ−Ｎｂ なる演算の結果を改めて設定する。これは、ダイジェス
ト再生で再生できるシーン数が“Ｎｔ”と決まっている
ことにより、 Ｎｔ＝Ｎａ＋Ｎｂ なる関係を満たすようにするためである。

【００７８】ステップＳ５１０：ダイジェスト作成部２
０５は、“ＳＦＩＤ”により示されるフレームからＴｓ
分を、ダイジェストリストに追加する。これは、ユーザ
が、“ＳＦＩＤ”により示されるフレームからの追いつ
き再生を指示したはずであるのに、“ＳＦＩＤ”により
示されるフレームが再生されない、という違和感を防ぐ
ためである。

【００７９】ここでのダイジェストリストとは、例え
ば、図９に示すように、開始フレームＩＤ、及び長さの
情報を含んでいる。“長さ”は、フレーム数で表してい
る。このため、例えば、Ｔｓ（秒）分の長さは、フレー
ムレートが“３０（フレーム毎秒）”であれば６０フレ
ームとなる。

【００８０】ステップＳ５１１：ダイジェスト作成部２
０５は、シーン特徴情報蓄積部２０４に蓄積されたシー
ン特徴情報を参照して、ＳＦＩＤ＋Ｔｓ×フレームレー
トの位置からＣＦＩＤまでの間で、Ｔｓより長いシーン
の中から、シーンの激しさの順に（Ｎａ−１）個分取り
出し、これをダイジェストリストに追加する。このと
き、シーンの先頭ＩＤがダイジェストリスト中の“開始
フレームＩＤ”となり、Ｔｓ分の長さ６０フレームがダ
イジェストリスト中の“長さ”となる。また、（Ｎａ−
１）個分取り出すようにしたのは、既に、ステップＳ５
１０において１個分をダイジェストリストへ追加してい
るためである。また、シーンの激しさの順に取り出すよ
うにしたのは、シーンチェンジが激しいほど、人間の印
象に残るという仮定に基づいているためである。

【００８１】ステップＳ５１２：ダイジェスト作成部２
０５は、ダイジェストリストを時系列順にソートする。

【００８２】ステップＳ５１３：図７参照 ダイジェスト作成部２０５は、後述するの処理の準備と
して、“Ｎ”に初期値として“１”を設定する。

【００８３】ステップＳ５１４：ダイジェスト作成部２
０５は、“Ｎｂ”（“ＣＦＩＤ”で示されるフレーム以
降で、現行放送に追いつくまでにダイジェスト中で再生
されるべきシーンの数）が正であるか否かを判定する。

【００８４】ステップＳ５１５〜ステップＳ５１７：ス
テップＳ５１４の判定の結果、「Ｎｂ＞０」である場
合、ダイジェスト作成部２０５は、“ＣＦＩＤ”で示さ
れるフレーム以降からも、ダイジェストリストの末尾に
追加するシーンが存在すると認識し、“ＣＦＩＤ”によ
り示されるフレームからＮ×Ｌの位置からＴｓ分をダイ
ジェストリストに追加する（ステップＳ５１５）。そし
て、ダイジェスト作成部２０５は、“Ｎｂ”をデクリメ
ントし（ステップＳ５１６）、“Ｎ”をインクリメント
して（ステップＳ５１７）、再び、ステップＳ５１４に
戻り、まだ、“Ｎｂ”が正であれば、更にステップＳ５
１５からの処理を繰り返し実行する。

【００８５】すなわち、“ＣＦＩＤ”により示されるフ
レームに近い位置から、所定値Ｌ毎に、フレームをＴｓ
分ずつダイジェストリストに追加していく。そして、ス
テップＳ５１４において、“Ｎｂ”が０になったところ
で、ステップＳ５１８に進むことになる。

【００８６】ステップＳ５１８、ステップＳ５１９：ス
テップＳ５１４の判定の結果、「Ｎｂ＞０」でない場
合、ダイジェスト作成部２０５は、（ＴＤ−Ｎａ×Ｔ
ｓ）の結果が正であるか否かを判定する（ステップＳ５
１８）。すなわち、ダイジェスト作成部２０５は、指定
されたダイジェスト再生時間からダイジェストリストの
総再生時間を引いた分に余りがあるか否かを判定する。
この判定の結果、「（ＴＤ−Ｎａ×Ｔｓ）＞０」でない
場合、そのまま本処理終了となる。一方、「（ＴＤ−Ｎ
ａ×Ｔｓ）＞０」である場合、ダイジェスト作成部２０
５は、（ＴＤ−Ｎａ×Ｔｓ）分だけ、ダイジェストリス
ト中の個々のシーンの長さをＴＤに等しくなるまで漸次
のばしていく。

【００８７】尚、上記図６及び図７に示したような処理
により、上記図９に示したようなダイジェストリストが
作成されることになる。当該処理は、特別な演算を必要
としないため、処理時間が非常に短い時間となる。した
がって、ダイジェスト再生時間への影響は無視できる。

【００８８】上述のようにして作成されたダイジェスト
リストは、再生部２０６から参照される。すなわち、再
生部２０６は、ダイジェスト作成部２０５で作成された
当該ダイジェストリストを参照し、これに基づいて、動
画蓄積部２０３から順にフレームを取り出して再生し
て、表示部２０７で表示する。その後、再生部２０６
は、現行放送の再生を行う。

【００８９】[第２の実施の形態]本実施の形態では、上
記図１及び図２に示した画像処理装置１００において、
「追いつき再生モード」時のダイジェストの作成処理
を、ダイジェスト再生中に新しく検出されたシーンの特
徴情報を参照してダイジェストリストを適宜修正する処
理とする。当該処理を、図１０のフローチャートによっ
て示す。

【００９０】尚、上記図１０に示す処理は、上記図６に
示したステップＳ５０１〜ステップＳ５０６の処理実行
後の処理である。また、上記図１０に示す処理におい
て、ステップＳ９０１の処理は、上記図６のステップＳ
５１０の処理と同様であり、ステップＳ９０２の処理
は、上記図６のステップＳ５１１の処理と同様であり、
ステップ９０３の処理は、上記図６のステップＳ５１２
と同様であるため、これらのステップの処理についての
詳細な説明は省略する。

【００９１】上記図６に示したステップＳ５０１〜ステ
ップＳ５０６、及びステップＳ９０１〜ステップＳ９０
３（ステップＳ５１０〜ステップＳ５１２）の処理実行
後、先ず、ダイジェスト作成部２０５は、ダイジェスト
リストに対して、１つのシーンに関しての情報のみしか
存在しないか否かを判定する（ステップＳ９０４）。こ
の判定の結果、ダイジェストリストに対して、１つのシ
ーンに関しての情報のみしか存在しない場合、後述する
ステップＳ９１１からの処理に進み、ダイジェストリス
トに対して、２つ以上のシーンに関しての情報が存在す
る場合、次のステップＳ９０５からの処理に進む。

【００９２】ステップＳ９０４の判定の結果、ダイジェ
ストリストに対して、２つ以上のシーンに関しての情報
が存在する場合、先ず、ダイジェスト作成部２０５は、
ダイジェストリストの先頭のシーンに関する情報のみ
を、再生部２０６へ供給する。これにより、再生部２０
６は、当該先頭シーンの再生を行う（ステップＳ９０
５）。

【００９３】次に、ダイジェスト作成部２０５は、ダイ
ジェストリストから、再生部２０６で再生された先頭シ
ーンに関しての情報を削除する（ステップＳ９０６）。

【００９４】次に、ダイジェスト作成部２０５は、シー
ン特徴情報蓄積部２０４に蓄積されたシーン特徴情報を
参照することで、新たなシーンが決定されたか否かを判
定する（ステップＳ９０７）。これは、上述したダイジ
ェストリストの先頭のシーンを再生中にも放送が受信さ
れ、シーン特徴抽出部２０２においてシーンの特徴抽出
が行われているからである。この判定の結果、新たなシ
ーンが決定されていない場合、ダイジェスト作成部２０
５は、再びステップＳ９０４へ戻り、以降の処理ステッ
プを繰り返し実行する。

【００９５】ステップＳ９０７の判定の結果、新たなシ
ーンが決定された場合、ダイジェスト作成部２０５は、
当該新たなシーンの激しさが、ダイジェストリスト中の
激しさの最も小さいものよりも高いか否かを判定する
（ステップＳ９０８）。この判定の結果、当該新たなシ
ーンの激しさが、ダイジェストリスト中の激しさの最も
小さいものよりも高くない場合、ダイジェスト作成部２
０５は、再びステップＳ９０４へ戻り、以降の処理ステ
ップを繰り返し実行する。

【００９６】ステップＳ９０８の判定の結果、当該新た
なシーンの激しさが、ダイジェストリスト中の激しさの
最も小さいものよりも高い場合、ダイジェスト作成部２
０５は、ダイジェストリスト中の激しさの最も小さい値
を有するシーンに関する情報を削除する（ステップＳ９
０９）。そして、ダイジェスト作成部２０５は、当該新
たなシーンを、ダイジェストリストの末尾に追加するこ
とで、ダイジェストで採用する（ステップＳ９１０）。
その後、ダイジェスト作成部２０５は、再びステップＳ
９０４へ戻り、以降の処理ステップを繰り返し実行す
る。

【００９７】一方、上述したステップＳ９０４の判定の
結果、ダイジェストリストに対して、１つのシーンに関
しての情報のみしか存在しない場合、ダイジェスト作成
部２０５は、（ＴＤ−Ｎｔ×Ｔｓ）の結果が正であるか
否かを判定する（ステップＳ９１１）。この判定の結
果、「（ＴＤ−Ｎｔ×Ｔｓ）＞０」でない場合、そのま
ま本処理終了となる。

【００９８】ステップＳ９１１の判定の結果、「（ＴＤ
−Ｎｔ×Ｔｓ）＞０」である場合、すなわち指定された
ダイジェスト再生時間よりダイジェストリストの時間が
短かい場合、ダイジェスト作成部２０５は、最後に再生
されるシーンを（ＴＤ−Ｎｔ×Ｔｓ）分延ばして再生さ
れるような情報を、当該シーンに関するダイジェストリ
ストにおける情報として再生部２０６へ供給する。これ
により、再生部２０６は、最後に再生されるシーンを
（ＴＤ−Ｎｔ×Ｔｓ）分延ばして再生する（ステップＳ
９１２）。その後、本処理終了となる。

【００９９】[第３の実施の形態]上述した第１及び第２
の実施の形態では、ストリーム受信後にシーン特徴を抽
出し、これを「追いつき再生モード」で活用するように
構成した。本実施の形態では、ストリーム送信側でシー
ン特徴情報を予め抽出し、動画像と一緒に送信し、受信
側で利用するように構成する。

【０１００】＜本実施の形態の全体構成＞図１１は、本
実施の形態において、本発明を適用した画像処理システ
ム１１００の構成を示したものである。画像処理システ
ム１１００は、上記図１１に示すように、送信装置１１
０１と、パーソナルコンピュータ等の端末装置１１０３
とが、通信網１１０２を介して通信可能なように接続さ
れた構成としている。

【０１０１】送信装置１１０１は、動画像を構成するシ
ーンとシーン特徴情報を多重化し、この多重化データ
（ストリーム）を通信網１１０２上に送信する。通信網
１１０２は、例えば、テレビジョン放送の場合には電波
に相当し、ＣＡＴＶの場合には同軸ケーブルや光ファイ
バ、インターネット等に相当する。端末装置１１０３
は、通信網１１０２を介してストリーム受信し、当該ス
トリームから動画像の再生等を行う。

【０１０２】＜送信装置１１０１の構成＞図１２は、送
信装置１１０１の構成を示したものである。送信装置１
１０１は、上記図１２に示すように、上記図１に示した
構成部１０１〜１１２を備えると共に、更に送信機１２
０１を備えた構成としている。

【０１０３】送信機１２０１は、例えば、地上波放送や
衛星放送等の放送電波等を送信する。この送信データ
は、ビデオＩ／Ｆ１０９に対して入力される。尚、イン
ターネット経由のストリーミング配信の場合、送信機１
２０１は、ＮＩＣ１０８を介してストリームを送信する
ことになる。

【０１０４】図１３は、上記図１２に示した構成により
実現される送信装置１１０１の機能構成を示したもので
ある。送信装置１１０１は、上記図１３に示すように、
動画入力部１３０１、シーン特徴抽出部１３０２（上記
図２に示した構成部２０２に相当）、動画蓄積部１３０
３（上記図２に示した構成部２０３に相当）、シーン特
徴情報蓄積部１３０４（上記図２に示した構成部２０４
に相当）、及びストリーム送信部１３０５を備えてい
る。

【０１０５】動画入力部１３０１は、ビデオカメラ１１
０やＶＹＲ１１２等からビデオI／F１０９を介して動画
像を送信装置１１０１内に入力し、当該動画像のフレー
ムデータを抽出してシーン特徴抽出部１３０２に供給す
る。

【０１０６】シーン特徴抽出部１３０２は、第１及び第
２実施の形態におけるシーン特徴抽出部２０２と同様の
機能を有し、動画蓄積部１３０３についても、第１及び
第２実施の形態における動画蓄積部２０３と同様の機能
を有し、さらにシーン特徴情報蓄積部１３０４について
も、第１及び第２実施の形態におけるシーン特徴情報蓄
積部２０４と同様に機能を有する。

【０１０７】尚、シーン特徴抽出部１３０２、動画蓄積
部１３０３、及びシーン特徴情報蓄積部１３０４の詳細
については、第１及び第２実施の形態の説明で既に述べ
てあるため、ここでは省略する。

【０１０８】ストリーム送信部１３０５は、動画蓄積部
１３０３から動画像を読み出すと共に、シーン特徴情報
蓄積部１３０４からシーン特徴情報を読み出し、これら
の動画像及びシーン特徴情報の多重化を行った後、当該
多重化ストリームを送信する。

【０１０９】＜端末装置１１０３の構成＞端末端末１１
０３は、上記図１に示した構成と同様の構成を備えたも
のであり、この構成により、例えば、図１４に示すよう
な機能が実現される。

【０１１０】すなわち、端末装置１１０３は、上記図１
４に示すように、ストリーム受信部１４０１（上記図２
に示した構成部２０１に相当）、動画蓄積部１４０２
（上記図２に示した構成部２０３に相当）、シーン特徴
情報蓄積部１４０３（上記図２に示した構成部２０４に
相当）、ダイジェスト作成部１４０４（上記図２に示し
た構成部２０５に相当）、再生部１４０５（上記図２に
示した構成部２０６に相当）、表示部１４０６（上記図
２に示した構成部２０７に相当）、及びユーザ操作部１
４０７（上記図２に示した構成部２０８に相当）を備え
ている。

【０１１１】ストリーム受信部１４０１は、第１及び第
２実施の形態におけるストリーム受信部２０１と同様の
機能を有するものであるが、受信ストリームを解析する
ことで、動画像及びシーン特徴情報に分離し、動画像を
動画蓄積部１４０２に供給すると共に、シーン特徴情報
をシーン特徴蓄積部１４０３に供給する。

【０１１２】動画蓄積部１４０２は、第１及び第２実施
の形態における動画蓄積部２０３と同様の機能を有する
ものであり、シーン特徴蓄積部１４０３についても、第
１及び第２実施の形態におけるシーン特徴蓄積部２０４
と同様の機能を有するものである。また、ダイジェスト
作成部１４０４も第１及び第２実施の形態におけるダイ
ジェスト作成部２０５と同様の機能を有するものであ
り、再生部１４０５も第１及び第２実施の形態における
再生部２０６と同様の機能を有するものであり、表示部
１４０６も第１及び第２実施の形態における表示部２０
７と同様の機能を有するものであり、ユーザ操作部１４
０７も第１及び第２実施の形態におけるユーザ操作部２
０８と同様の機能を有するものである。

【０１１３】尚、上記の構成部１４０２〜１４０７の詳
細については、第１及び第２実施の形態の説明で既に述
べてあるため、ここでは省略する。

【０１１４】＜送信装置１１０１及び端末装置１１０３
の動作＞先ず、送信装置１１０１において、動画入力部
１３０１は、送信装置１１０１内に動画像を入力し、当
該動画像のフレームデータを抽出し、これをシーン特徴
抽出部１３０２に供給する。

【０１１５】次に、シーン特徴抽出部１３０２は、動画
入力部１３０１からのフレームデータからシーン及びシ
ーン特徴情報を抽出し、フレームを動画蓄積部１３０３
に蓄積すると共に、シーン特徴情報をシーン特徴情報蓄
積部１３０４へ蓄積する。

【０１１６】尚、ここまでの動作については、第１及び
第２の実施の形態におけるシーン特徴抽出部２０２、動
画蓄積部２０３、及びシーン特徴情報蓄積部２０４によ
る動作と同様であるため、その詳細な説明は省略する。

【０１１７】次に、ストリーム送信部１３０５は、動画
蓄積部１３０３からフレームを順次取り出し、この取出
フレームに対応するシーン特徴情報をシーン特徴情報蓄
積部１３０４から順次取り出し、これらのフレーム及び
シーン特徴情報を多重化したストリームを通信網１１０
２を介して送信する。

【０１１８】フレーム及びシーン特徴情報の多重化の方
法としては、例えば、ＭＰＥＧ−２のシステムで規格化
されている方法等が適用可能である。具体的には例え
ば、シーン（動画像）及びシーン特徴情報を、それぞれ
ＰＥＳ（Packetized Elementary Stream）にパケット化
し、このパケットデータをＴＳ（Transport Stream）
の多重ストリームとする方法が挙げられる。

【０１１９】上述のようにして送信装置１１０１から通
信網１１０２に対して送出された多重化ストリームは、
端末装置１１０３で受信される。

【０１２０】端末装置１１０３において、先ず、ストリ
ーム受信部１４０１は、送信装置１１０１からの多重化
ストリームを受信し、当該多重化ストリームから、動画
像及びシーン特徴情報を分離し、動画像を動画蓄積部１
４０２に蓄積すると共に、シーン特徴情報をシーン特徴
蓄積部１４０３に蓄積する。これ以降の動作（ダイジェ
スト作成部１４０４からユーザ操作部１４０７にかけて
の動作）については、第１及び第２の実施の形態におけ
る構成部２０５から構成部２０８にかけての動作と同様
であるため、その詳細な説明は省略する。

【０１２１】尚、第１〜第３の実施の形態において、次
のような構成（１）〜（８）とするようにしてもよい。

【０１２２】（１）個々のフレームを識別するためにフ
レームＩＤを用いたが、その代わりに、例えば、タイム
コードを用いるようにしてもよい。また、シーンの長さ
としては、フレーム数を用いたが、その代わりに、例え
ば、時間を用いるようにしてもよい。

【０１２３】（２）シーンチェンジの激しいシーンの先
頭フレームから一定時間分のフレームを、ダイジェスト
に採用したが、これに限られることはなく、例えば、シ
ーンの最後から、或いは、シーンの中心から一定時間分
のフレームを、ダイジェストに採用するようにしてもよ
い。

【０１２４】（３）シーンの特徴として、シーンチェン
ジの激しさを用いるようにしたが、これに限られること
はなく、例えば、シーン中の対象物の動きの激しさ等を
用いるようにしてもよい。具体的には例えば、シーン中
のフレーム間の類似度の統計を取り、この結果が常に高
い場合には動きが穏やかであり、低い場合には動きが激
しい、等とする。動きの激しいシーンの先頭から、或い
は最後から、或いは中心から、一定時間ずつダイジェス
トに採用する。このとき、シーン中の最も激しいフレー
ムのフレームＩＤを併せて抽出しておき、当該フレーム
を中心に、一定時間ずつダイジェストに採用する、等の
方法も考えられる。逆に動きが穏やかなところを基準に
する方法も考えられる。

【０１２５】（４）ダイジェスト再生時間については、
ユーザが指定するようにしたが、これに限られることは
なく、例えば、自動的に決定するようにしてもよい。例
えば、（ＣＦＩＤ−ＳＦＩＤ）の１０％を、ダイジェス
ト再生時間とする。

【０１２６】（５）“ＣＦＩＤ”から“ＳＦＩＤ”の区
間は、シーンチェンジの激しさを利用してダイジェスト
を作成するようにしたが、これに限られることはなく、
例えば、“ＣＦＩＤ”以降と同様に、一定時間ごとにフ
レームを所定時間分ずつダイジェストに採用するように
してもよい。

【０１２７】(６) 第３の実施の形態において、シーン
特徴抽出部１３０２によってシーン及びシーン特徴を抽
出したが、動画像作成時に、人手によって同様な情報を
付与する方法であってもかまわない。

【０１２８】(７) 第３の実施の形態において、シーン
特徴抽出部を別な装置上に構成し、結果のシーン特徴情
報と対応する動画像を、送信装置に入力する構成として
も、構わない。

【０１２９】（８）本発明の目的は、第１〜第３の実施
の形態のホスト及び端末の機能を実現するソフトウェア
のプログラムコードを記憶した記憶媒体を、システム或
いは装置に供給し、そのシステム或いは装置のコンピュ
ータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプ
ログラムコードを読みだして実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が第１〜第３の
実施の形態の機能を実現することとなり、そのプログラ
ムコードを記憶した記憶媒体は本発明を構成することと
なる。プログラムコードを供給するための記憶媒体とし
ては、ＲＯＭ、フレキシブルディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード等を用いる
ことができる。また、コンピュータが読みだしたプログ
ラムコードを実行することにより、第１〜第３の実施の
形態の機能が実現されるだけでなく、そのプログラムコ
ードの指示に基づき、コンピュータ上で稼動しているＯ
Ｓ等が実際の処理の一部又は全部を行い、その処理によ
って第１〜第３の実施の形態の機能が実現される場合も
含まれることは言うまでもない。さらに、記憶媒体から
読み出されたプログラムコードが、コンピュータに挿入
された拡張機能ボードやコンピュータに接続された機能
拡張ユニットに備わるメモリに書き込まれた後、そのプ
ログラムコードの指示に基づき、その機能拡張ボードや
機能拡張ユニットに備わるＣＰＵなどが実際の処理の一
部又は全部を行い、その処理によって第１〜第３の実施
の形態の機能が実現される場合も含まれることは言うま
でもない。

【０１３０】

【発明の効果】以上説明したように本発明では、入力動
画（受信されたテレビジョン放送の動画等）を構成する
複数のシーンのそれぞれについて、シーンの特徴情報を
記憶し、当該シーン特徴情報及び外部指示（ユーザから
の追いつき再生指示及び追いつき開始位置等）に基づい
て、再生動画についてのダイジェストを作成し、当該ダ
イジェストに基づいて、動画再生するように構成したの
で、例えば、ユーザから指定された過去の任意の時点か
ら現在までの動画をダイジェストで再生できるので、現
在の入力動画に追いつくことが可能となる。

【０１３１】また、外部指示により示される追いつき開
始位置から追いつき再生指示した位置までの間について
は、シーン特徴情報に基づいたダイジェストを作成し、
外部指示により示される追いつき再生指示した位置から
追いつき再生終了位置までの間（ダイジェストに基づく
再生を行っている間）については、所定間隔でのダイジ
ェストを作成する等の構成により、ダイジェストに基づ
く再生を行っている間の入力画像も加味して、ダイジェ
ストを作成することができるため、現在の入力動画に追
いついた際に、ユーザに対して違和感を与えることがな
い。

【０１３２】また、現在の入力動画に追いつくまでの時
間をユーザが指定することも可能であるので、動画の再
生が長時間に遡る場合であっても、効率のよい動画の視
聴が可能となる。

【０１３３】また、シーンの特徴となる情報を用いるよ
うに構成しているので、適切なダイジェストを作成する
ことができ、再生動画の内容の把握も容易となる。

【図面の簡単な説明】

【図１】第１の実施の形態において、本発明を適用した
画像処理装置の構成を示すブロック図である。

【図２】上記画像処理装置の機能的構成を示すブロック
図である。

【図３】上記画像処理装置のシーン特徴抽出部の処理を
説明するためのフローチャートである。

【図４】上記画像処理装置におけるフレームのブロック
分割の一例を説明するための図である。

【図５】上記シーン特徴抽出部で得られるシーン特徴情
報の一例を説明するための図である。

【図６】上記画像処理装置のダイジェスト作成部の処理
（Ｓ５０１〜Ｓ５１２）を説明するためのフローチャー
トである。

【図７】上記ダイジェスト作成部の処理（Ｓ５１３〜Ｓ
５１９）を説明するためのフローチャートである。

【図８】上記画像処理装置での「追いつき再生モード」
時の位置関係を説明するための図である。

【図９】上記ダイジェスト作成部で作成されるダイジェ
ストリストの一例を説明するための図である。

【図１０】第２の実施の形態における、上記ダイジェス
ト作成部の処理を説明するためのフローチャートであ
る。

【図１１】第３の実施の形態において、本発明を適用し
た画像処理システムの構成を示すブロック図である。

【図１２】上記画像処理システムの送信装置の構成を示
すブロック図である。

【図１３】上記送信装置の機能構成を示すブロック図で
ある。

【図１４】上記画像処理システムの端末装置の機能構成
を示すブロック図である。

【符号の説明】

１００ 画像処理装置 １０１ ＣＰＵ １０２ ＲＯＭ １０３ ＲＡＭ １０４ キーボード １０５ マウス １０６ 外部記憶装置 １０７ 表示器 １０８ ＮＩＣ １０９ ビデオＩ／Ｆ １１０ ビデオカメラ １１１ バス １１２ ＶＴＲ １１３ 受信機 ２０１ ストリーム受信機 ２０２ シーン特徴抽出部 ２０３ 動画蓄積部 ２０４ シーン特徴情報蓄積部 ２０５ ダイジェスト作成部 ２０６ 再生部 ２０７ 表示部 ２０８ ユーザ操作部

Claims (27)

【特許請求の範囲】
1. 【請求項１】 動画の再生処理する画像処理装置であっ
   て、 入力動画を記憶する動画記憶手段と、 上記動画記憶手段内の動画を構成する複数のシーンのそ
   れぞれについて、シーンの特徴情報を記憶するシーン特
   徴情報記憶手段と、 外部指示及び上記シーン特徴情報記憶手段内のシーン特
   徴情報に基づいて、再生動画についてのダイジェストを
   作成するダイジェスト作成手段と、 上記ダイジェスト作成手段により作成されたダイジェス
   トに基づいて、上記動画記憶手段内の動画を再生する再
   生手段とを備えることを特徴とする画像処理装置。
2. 【請求項２】 上記再生手段は、上記ダイジェストに基
   づいた再生後、上記動画記憶手段に入力記憶された現時
   点の動画を再生することを特徴とする請求項１記載の画
   像処理装置。
3. 【請求項３】 上記ダイジェスト作成手段は、上記外部
   指示により示されるダイジェスト再生開始位置からダイ
   ジェスト再生指示した位置までの間については、上記シ
   ーン特徴情報に基づいたダイジェストを作成し、上記外
   部指示により示されるダイジェスト再生指示した位置か
   らダイジェスト再生終了位置までの間については、所定
   間隔でのダイジェストを作成することを特徴とする請求
   項１記載の画像処理装置。
4. 【請求項４】 上記シーンの特徴情報を抽出するシーン
   特徴情報抽出手段を備え、 上記シーン特徴情報記憶手段は、上記シーン特徴情報抽
   出手段で抽出されたシーン特徴情報を記憶し、 上記ダイジェスト作成手段は、上記外部指示により示さ
   れるダイジェスト再生指示した位置からダイジェスト再
   生終了位置までの間について、上記シーン情報抽出手段
   によってシーン特徴情報が抽出される毎に、上記ダイジ
   ェストに対して修正を加えることを特徴とする請求項１
   記載の画像処理装置。
5. 【請求項５】 上記ダイジェスト作成手段は、上記外部
   指示により示されるダイジェスト再生開始位置からダイ
   ジェスト再生終了位置までの間について、常に所定間隔
   でのダイジェストを作成することを特徴とする請求項１
   記載の画像処理装置。
6. 【請求項６】 上記ダイジェスト作成手段は、上記外部
   指示により示されるダイジェスト再生開始位置から始ま
   る所定の長さのシーンを含むダイジェストを作成するこ
   とを特徴とする請求項１記載の画像処理装置。
7. 【請求項７】 上記ダイジェスト作成手段は、外部指定
   されたダイジェストの長さに基づいて、上記ダイジェス
   トを作成することを特徴とする請求項１記載の画像処理
   装置。
8. 【請求項８】 上記ダイジェスト作成手段は、上記ダイ
   ジェストの長さを、上記外部指示により示されるダイジ
   ェスト再生開始位置からダイジェスト再生指示した位置
   までの長さの所定の割合にすることを特徴とする請求項
   １記載の画像処理装置。
9. 【請求項９】 上記シーン特徴情報は、シーンの切り替
   わりの激しさの情報、及びシーン中の対象物の動きの激
   しさの情報の少なくとも何れかの情報を含むことを特徴
   とする請求項１記載の画像処理装置。
10. 【請求項１０】 上記入力される動画像データには、予
    めシーンの特徴情報が含まれていることを特徴とする請
    求項１〜９の何れか１項に記載の画像処理装置。
11. 【請求項１１】 複数の機器が互いに通信可能に接続さ
    れてなる画像処理システムであって、 上記複数の機器のうち少なくとも１つの機器は、請求項
    １〜１０の何れか１項に記載の画像処理装置の機能を有
    することを特徴とする画像処理システム。
12. 【請求項１２】 動画を再生処理するための画像処理方
    法であって、 動画を受信する受信ステップと、 上記受信ステップにより受信した動画を随時蓄積してい
    く動画蓄積ステップと、 上記動画蓄積ステップにより蓄積された動画を分割して
    得られたシーンについて、少なくともシーン特徴情報を
    抽出する情報抽出ステップと、 上記動画蓄積ステップにより蓄積された動画に関連付け
    て、上記情報抽出ステップで得られた情報を蓄積する情
    報蓄積ステップと、 ユーザからのダイジェスト再生指示とダイジェスト再生
    開始位置に基づいて、上記情報蓄積ステップにより蓄積
    された情報からダイジェストを作成するダイジェスト作
    成ステップと、 上記ダイジェスト作成ステップで作成されたダイジェス
    トに基づいた動画再生を行った後、直ちに、上記受信ス
    テップにより受信された現行の動画を再生する再生ステ
    ップとを含むことを特徴とする画像処理方法。
13. 【請求項１３】 動画を再生処理するための画像処理方
    法であって、 動画及び当該動画を構成するシーンのそれぞれについて
    のシーン特徴情報を受信する受信ステップと、 上記受信ステップにより受信した動画を随時蓄積してい
    く動画蓄積ステップと、 上記動画蓄積ステップにより蓄積された動画に関連付け
    て、上記受信ステップで得られたシーン特徴情報を蓄積
    する情報蓄積ステップと、 ユーザからのダイジェスト再生指示及びダイジェスト再
    生開始位置に基づいて、上記情報蓄積ステップにより蓄
    積された情報からダイジェストを作成するダイジェスト
    作成ステップと、 上記ダイジェスト作成ステップで作成されたダイジェス
    トに基づいた動画再生を行った後、直ちに、上記受信ス
    テップにより受信された現行の動画を再生する再生ステ
    ップとを含むことを特徴とする画像処理方法。
14. 【請求項１４】 上記ダイジェスト作成ステップは、上
    記ダイジェスト再生開始位置から上記ダイジェスト再生
    指示した位置までの間については、上記情報蓄積ステッ
    プにより蓄積されたシーン特徴情報を利用してダイジェ
    ストを作成し、上記ダイジェスト再生指示した位置から
    ダイジェスト再生終了位置までの間については、所定間
    隔でのダイジェストを作成するステップを含むことを特
    徴とする請求項１２又は１３記載の画像処理方法。
15. 【請求項１５】 上記ダイジェスト作成ステップは、上
    記ダイジェスト再生指示した位置からダイジェスト再生
    終了位置までの間について、上記情報抽出手段によりシ
    ーン特徴情報が抽出される毎に、随時、上記ダイジェス
    トに修正を加えていくステップを含むことを特徴とする
    請求項１２又は１３記載の画像処理方法。
16. 【請求項１６】 上記ダイジェスト作成ステップは、上
    記ダイジェスト再生開始位置からダイジェスト再生終了
    位置までの間については、常に所定間隔でのダイジェス
    トを作成するステップを含むことを特徴とする請求項１
    ２又は１３記載の画像処理方法。
17. 【請求項１７】 上記ダイジェスト作成ステップは、上
    記ダイジェスト再生開始位置から始まる所定の長さのシ
    ーンを必ず含むダイジェストを作成するステップを含む
    ことを特徴とする請求項１２又は１３記載の画像処理方
    法。
18. 【請求項１８】 上記ダイジェストの長さを指示する指
    示ステップを含み、 上記ダイジェスト作成ステップは、上記指示ステップに
    より指示されたダイジェストの長さに基づいてダイジェ
    ストを作成するステップを含むことを特徴とする請求項
    １２又は１３記載の画像処理方法。
19. 【請求項１９】 上記ダイジェスト作成ステップは、上
    記ダイジェストの長さを、上記ダイジェスト再生開始位
    置からダイジェスト再生指示した位置までの長さの所定
    の割合にするステップを含むことを特徴とする請求項１
    ２又は１３記載の画像処理方法。
20. 【請求項２０】 上記シーン特徴情報は、シーンの切り
    替わりの激しさの情報、及びシーン中の対象物の動きの
    激しさの情報の少なくとも何れかの情報を含むことを特
    徴とする請求項１２又は１３記載の画像処理方法。
21. 【請求項２１】 動画像データを再生処理する画像処理
    装置であって、 入力された動画像データを記憶する動画記憶手段と、 上記動画記憶手段内の動画像データを構成する複数のシ
    ーンのそれぞれについて、シーンの特徴情報を抽出する
    シーン特徴情報抽出手段と、 上記シーン特徴情報抽出手段で抽出されたシーン特徴情
    報に基づいて、上記動画像データをダイジェスト再生す
    るためのダイジェストデータを作成するダイジェスト作
    成手段と、 上記ダイジェスト作成手段で作成されたダイジェストデ
    ータに基づいて、上記記憶手段内の動画像データをダイ
    ジェスト再生する再生手段とを有することを特徴とする
    画像処理装置。
22. 【請求項２２】 上記入力される動画像データには、予
    めシーンの特徴情報が含まれていることを特徴とする請
    求項２１記載の画像処理装置。
23. 【請求項２３】 動画像データを再生処理する画像処理
    方法であって、 入力された動画像データを記憶手段に記憶する動画記憶
    ステップと、 上記記憶手段内の動画像データを構成する複数のシーン
    のそれぞれについて、シーンの特徴情報を抽出するシー
    ン特徴情報抽出ステップと、 上記シーン特徴情報抽出ステップで抽出されたシーン特
    徴情報に基づいて、上記動画像データをダイジェスト再
    生するためのダイジェストデータを作成するダイジェス
    ト作成ステップと、 上記ダイジェスト作成ステップで作成されたダイジェス
    トデータに基づいて、上記記憶手段内の動画像データを
    ダイジェスト再生する再生ステップとを含むことを特徴
    とする画像処理方法。
24. 【請求項２４】 上記入力される動画像データには、予
    めシーンの特徴情報が含まれていることを特徴とする請
    求項２３記載の画像処理方法。
25. 【請求項２５】 請求項１〜１０、２１及び２２の何れ
    かに記載の画像処理装置の機能、又は請求項１１記載の
    画像処理システムの機能をコンピュータに実現させるた
    めのプログラムを記録したコンピュータ読出可能な記憶
    媒体。
26. 【請求項２６】 請求項１２〜２０、２３及び２４の何
    れかに記載の画像処理方法の処理ステップをコンピュー
    タに実行させるためのプログラムを記録したコンピュー
    タ読取可能な記憶媒体。
27. 【請求項２７】 請求項１２〜２０、２３及び２４の何
    れかに記載の画像処理方法の処理ステップをコンピュー
    タに実行させるための画像処理プログラム。