JP2002199333A

JP2002199333A - 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Info

Publication number: JP2002199333A
Application number: JP2000399039A
Authority: JP
Inventors: Hiroshi Tojo; 洋東條
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2000-12-27
Filing date: 2000-12-27
Publication date: 2002-07-12

Abstract

(57)【要約】【課題】動画の意味的な内容の把握が容易であり、動
画のジャンルに応じた適切なダイジェストを作成するこ
とが可能な画像処理装置を提供する。【解決手段】判定手段２０７は、対象動画（テレビジ
ョン放送等の動画）を構成するシーンに関する情報、及
び対象動画の内容に関する情報（規則情報）に基づい
て、対象画像を構成するシーンの中の所定のシーンを判
定する。再生手段２０８は、判定手段２０７での判定シ
ーンのみを再生する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、動画から
ダイジェストを作成するための装置或はシステムに用い
られる、画像処理装置、画像処理システム、画像処理方
法、及びそれを実施するための処理ステップをコンピュ
ータが読出可能に格納した記憶媒体に関するものであ
る。

【０００２】

【従来の技術】従来より例えば、動画からダイジェスト
を作成する方法としては、一定時間間隔で、数秒分のフ
レームをピックアップし、これらをつなぎ合わせる、と
いう方法がある。

【０００３】

【発明が解決しようとする課題】しかしながら、上述の
ような従来のダイジェスト作成方法では、フレームをピ
ックアップする時間間隔等の時間に関してのみを考慮し
た方法であったので、動画内容の時間的な変化はつかめ
るが、動画の意味的な内容の把握が非常に難しかった。
また、動画のジャンルによっては、重要なシーンが表示
されずに、動画の内容の理解が非常に困難であるダイジ
ェストとなる場合もあった。

【０００４】そこで、本発明は、上記の欠点を除去する
ために成されたもので、動画の意味的な内容の把握が容
易であり、動画のジャンルに応じた適切なダイジェスト
を作成することが可能な、画像処理装置、画像処理シス
テム、画像処理方法、及びそれを実施するための処理ス
テップをコンピュータが読出可能に格納した記憶媒体を
提供することを目的とする。

【０００５】

【課題を解決するための手段】斯かる目的下において、
第１の発明は、動画を再生処理する画像処理装置であっ
て、対象動画を構成するシーンに関する情報、及び対象
動画の内容に関する情報に基づいて、対象画像を構成す
るシーンの中の所定のシーンを判定する判定手段と、上
記判定手段により判定されたシーンを再生する再生手段
とを備えたことを特徴とする。

【０００６】第２の発明は、上記第１の発明において、
上記シーンに関する情報は、少なくとも、対象シーンの
区間、対象シーンを代表するフレームの情報、及び対象
シーンの特徴の何れかの情報を含むことを特徴とする。

【０００７】第３の発明は、上記第２の発明において、
上記対象シーンを代表するフレームの情報は、当該フレ
ームの画像特徴量の情報を含むことを特徴とする。

【０００８】第４の発明は、上記第２の発明において、
上記対象シーンの特徴の情報は、少なくとも、対象シー
ンの中に存在する対象物の動きの激しさの度合い、及び
カメラの動きの種類の何れかの情報を含むことを特徴と
する。

【０００９】第５の発明は、上記第１の発明において、
上記判定手段は、対象画像を構成するシーンにおいて、
シーンを代表するフレーム同士を比較した結果により得
られる類似度に基づいて、類似したシーンを検索するこ
とを特徴とする。

【００１０】第６の発明は、上記第１の発明において、
対象動画の内容に関する情報は、少なくとも、所定の長
さのシーンであること、所定の間隔をおいて類似したシ
ーンが何度か出現すること、シーン中に存在する対象物
の動きがほとんどないこと、カメラの動きが伴うシーン
であること、シーン中に存在する対象物の動きが激しい
シーンであること、シーンの代表のフレームがほぼ単一
色であること、所定のシーンの直前のシーンが頻度の高
いシーンであること、及び所定のシーンが重複して現れ
ること、の何れかの規則情報を含むことを特徴とする。

【００１１】第７の発明は、上記第１の発明において、
上記判定手段は、対象動画の内容に基づいて、対象動画
を構成するシーンに対して属性情報を付与することを特
徴とする。

【００１２】第８の発明は、上記第７の発明において、
上記属性情報に基づいたシーンのみを再生するための制
御手段を備えることを特徴とする。

【００１３】第９の発明は、複数の機器が互いに通信可
能に接続されてなる画像処理システムであって、上記複
数の機器のうち少なくとも１つの機器は、請求項１〜８
の何れかに記載の画像処理装置の機能を有することを特
徴とする。

【００１４】第１０の発明は、動画を再生処理するため
の画像処理方法であって、対象動画を構成するシーンに
関する情報、及び対象動画の内容に応じた規則情報に基
づいて、対象動画を構成するシーンの中からキーとなる
シーンの判定を行う判定ステップと、上記判定ステップ
により判定されたキーとなるシーンのみを再生する再生
ステップとを含むことを特徴とする。

【００１５】第１１の発明は、上記第１０の発明におい
て、上記シーンに関する情報は、少なくとも、対象シー
ンの区間、対象シーンを代表するフレーム、及び対象シ
ーンの特徴の何れかの情報を含むことを特徴とする。

【００１６】第１２の発明は、上記第１１の発明におい
て、上記対象シーンを代表するフレームの情報は、フレ
ームそのものの情報の代わりに、フレームの画像特徴量
の情報を用いることを特徴とする。

【００１７】第１３の発明は、上記第１１の発明におい
て、上記対象シーンの特徴の情報は、シーン中に存在す
る対象物の動きの激しさの度合い、及びカメラの動きの
種類の少なくとも何れかの情報を含むことを特徴とす
る。

【００１８】第１４の発明は、上記第１０の発明におい
て、上記判定ステップは、対象動画を構成するシーンに
おいて、シーンを代表するフレーム同士を比較し、その
類似度を計算することで、類似したシーンを検索するス
テップを含むことを特徴とする。

【００１９】第１５の発明は、上記第１０の発明におい
て、対象動画は、類似したシーンがキーとなる内容の動
画を含み、上記規則情報は、所定の長さを有するシーン
であること、及び所定の間隔をおいて類似したシーンが
何度か出現すること、の少なくとも何れかの情報を含む
ことを特徴とする。

【００２０】第１６の発明は、上記第１５の発明におい
て、上記規則情報は、シーン中に存在する対象物の動き
がほとんどないこと、の情報を含むことを特徴とする。

【００２１】第１７の発明は、上記第１０の発明におい
て、対象動画は、シーン中に存在する対象物が激しく動
くシーンがキーとなる内容の動画を含み、上記規則情報
は、カメラの動きが伴うシーンであること、の情報を含
むことを特徴とする。

【００２２】第１８の発明は、上記第１７の発明におい
て、上記規則情報は、シーン中に存在する対象物の動き
が激しいシーンであること、の情報を含むことを特徴と
する。

【００２３】第１９の発明は、上記第１７の発明におい
て、上記規則情報は、シーンの代表フレームがほぼ単一
色であること、の情報を含むことを特徴とする。

【００２４】第２０の発明は、上記第１７の発明におい
て、上記規則情報は、キーとなるシーンの直前のシーン
が頻度の高いシーンであること、の情報を含むことを特
徴とする。

【００２５】第２１の発明は、上記第１７の発明におい
て、上記規則情報は、キーとなるシーンが重複して現れ
ること、の情報を含むことを特徴とする。

【００２６】第２２の発明は、上記第１０の発明におい
て、対象動画は、キーとなるシーンが何度も繰り返し現
れる内容の動画を含み、上記規則情報は、キーとなるシ
ーンが重複して現れること、の情報を含むことを特徴と
する。

【００２７】第２３の発明は、上記第１０の発明におい
て、上記判定ステップは、対象動画の内容に応じてシー
ンに属性情報を付与するステップを含むことを特徴とす
る。

【００２８】第２４の発明は、上記第２３の発明におい
て、上記属性情報を参照することによって、ユーザが所
望する属性を持ったシーンのみを再生するための制御ス
テップを含むことを特徴とする。

【００２９】第２５の発明は、請求項１〜８の何れかに
記載の画像処理装置の機能、又は請求項９記載の画像処
理システムの機能をコンピュータに実現させるためのプ
ログラムをコンピュータ読出可能な記憶媒体に記録した
ことを特徴とする。

【００３０】第２６の発明は、請求項１０〜２３の何れ
かに記載の画像処理方法の処理ステップをコンピュータ
に実行させるためのプログラムをコンピュータ読出可能
な記憶媒体に記録したことを特徴とする。

【００３１】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。

【００３２】＜本実施の形態の全体構成＞本発明は、例
えば、図１に示すような画像処理装置１００に適用され
る。本実施の形態の画像処理装置１００は、再生対象の
動画のジャンルに応じて、意味的に重要なシーンのみを
選択して、当該動画のダイジェストを作成することが可
能なダイジェスト作成機能を有し、上記図１に示すよう
に、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、キー
ボード１０４、マウス１０５、外部記憶装置１０６、表
示器１０７、ＮＩＣ１０８、ビデオＩ／Ｆ１０９、ビデ
オカメラ１１０、ＶＴＲ１１２、及び受信機１１３が、
システムバス１１１を介して互いに通信可能なように接
続された構成としている。

【００３３】ＣＰＵ１０１は、所定の処理プログラムを
実行することで、画像処理装置１００全体の動作制御を
司る。ＲＯＭ１０２には、ＣＰＵ１０１での動作制御を
実施するための処理プログラム（画像処理装置１００の
立ち上げ時に実行されるブートプログラム等）や各種デ
ータが格納される。ＲＡＭ１０３は、ＣＰＵ１０１によ
りＲＯＭ１０２等から処理プログラムがロードされるメ
モリであると共に、ＣＰＵ１０１が各種動作制御を実行
する際の作業用メモリを提供する。

【００３４】キーボード１０４及びマウス１０５は、ユ
ーザによる画像処理装置１００に対する各種動作指示の
環境（各種入力操作環境）を提供する。外部記憶装置１
０６は、ハードディスクやフロッピー（登録商標）ディ
スク、或いはＣＤ−ＲＯＭ等で構成される。表示器１０
７は、ＣＲＴディスプレイ等で構成され、処理結果等を
ユーザに対して表示する。ＮＩＣ１０８は、ネットワー
クインターフェースであり、ネットワーク上の各機器或
いはシステムとの通信を可能とする。

【００３５】ビデオＩ／Ｆ（インターフェース）１０９
は、ビデオカメラ１１０やＶＴＲ１１２からの動画を取
り込むことを可能とする。受信機１１３は、地上波放送
や衛星放送等の放送電波を受信する。

【００３６】尚、上記図１に示した構成において、ビデ
オカメラ１１０、ＶＴＲ１１２、及び外部記憶装置１０
６を、ＮＩＣ１０８により接続されるネットワーク上に
配置するようにしてもよい。

【００３７】図２は、上記図１の画像処理装置１００を
機能的に示したものである。画像処理装置１００は、上
記図２に示すように、ビデオＩ／Ｆ１０９等より実施さ
れる動画入力部２０１と、ＣＰＵ１０１により実施され
るシーンチェンジ判定部２０２、シーン特徴判定部２０
３、及びダイジェスト作成部２０７と、ＲＡＭ１０３ま
たは外部記憶装置１０６から実施される動画蓄積部２０
４及びシーン情報蓄積部２０５と、表示器１０７から実
施される表示部２０８と、キーボード１０４及びマウス
１０５等から実施されるユーザ操作部２０８とを備えて
いる。

【００３８】動画入力部２０１は、ビデオカメラ１１０
やＶＴＲ１１２等からビデオインターフェース１０９を
介して取り込んだ動画、又は、ネットワーク上からネッ
トワークインターフェース１０８を介して取り込んだ動
画等を入力する。

【００３９】シーンチェンジ判定部２０２は、動画入力
部２０１により入力された動画（対象動画）のシーン
（場面）を判定する。シーン特徴判定部２０３は、シー
ンチェンジ判定部２０２により判定されたシーンについ
て、動きの激しさ等のシーンの特徴を判定する

【００４０】動画蓄積部２０４には、動画入力部２０１
により入力された動画がシーンチェンジ判定部２０２を
介して蓄積される。シーン情報蓄積部２０５には、シー
ン特徴判定部２０３により得られたシーン情報（シーン
の長さやシーンの特徴等に関する情報）が蓄積される。

【００４１】ユーザ操作部２０６は、キーボード１０４
及びマウス１０５等を含み、これらを用いてユーザが、
ダイジェスト作成指示や対象動画のジャンル情報等を与
えるためのものである。

【００４２】ダイジェスト作成部２０７は、ユーザ操作
部２０６により指定されたジャンル情報に従って実行す
る処理を切換えて、シーン情報蓄積部２０５に蓄積され
たシーン情報に基づき、対象動画のジャンルに応じたダ
イジェストを作成する。表示部２０７は、ダイジェスト
作成部２０７で作成されたダイジェスト等を再生し、ユ
ーザに対して表示出力する。

【００４３】＜画像処理装置１００の全体動作＞上記図
１及び図２に示したような構成を備えた画像処理装置１
００の動作の一例（１）〜（３）について、以下に説明
する。

【００４４】（１）動画登録処理図３は、画像処理装置１００において、動画を登録する
処理をフローチャートによって示したものである。

【００４５】ステップＳ３０１：動画入力部２０１は、
処理対象となる動画を入力する。このとき、動画入力部
２０１による入力画像については、動画毎にＩＤがふら
れ、フレームレート、ジャンル、開始シーンＩＤ、及び
終了シーンＩＤを含む動画管理情報が、図４に示すよう
なテーブルで管理される。

【００４６】上記図４の管理テーブルにおいて、“フレ
ームレート”とは、１秒間に表示されるフレーム数であ
る。これは、例えば、人手によって付与するようにして
もよいし、動画に管理情報が含まれていれば、この管理
情報から抽出して付与するようにしてもよい。また、固
定とするならば、常に同じ値を付与することになる。
“ジャンル”は、対象動画の内容を表すものである。こ
れは、例えば、人手によって付与するようにしてもよい
し、電子番組ガイド等から取得したものを付与するよう
にしてもよい。“開始シーンＩＤ”は、対象動画の先頭
のシーンを示すＩＤであり、“終了シーンＩＤ”は、対
象動画の末尾のシーンを示すＩＤである。これらのシー
ンＩＤは、後述するシーンチェンジ判定処理時に付与さ
れるＩＤであり、“開始シーンＩＤ”及び“終了シーン
ＩＤ”の情報については、後述するシーンチェンジ判定
処理の初回と最後の回にて設定される。

【００４７】ステップＳ３０２：シーンチェンジ判定部
２０２は、動画入力部２０１により入力された処理対象
となる動画（対象動画）からフレームを抽出する。ステップＳ３０３：シーンチェンジ判定部２０２は、ス
テップＳ３０２で抽出したフレームを、動画蓄積部２０
４へ蓄積する。

【００４８】ステップＳ３０４：シーンチェンジ判定部
２０２は、動画蓄積部２０４へ蓄積したフレームから、
そのフレームの特徴としてのカラーレイアウト（カラー
ラベル列）を抽出する。ここでの“カラーラベル列”と
は、例えば、特開平１０−２６０９８３号等に開示され
ているように、処理対象のフレーム（フレーム画像）
を、図５に示すようにして分割して得られる複数のブロ
ックについての特徴量をラベル化し、これを所定のルー
ルで並べたラベル列のことである。

【００４９】ステップＳ３０５：シーンチェンジ判定部
２０２は、ステップＳ３０４で取得したカラーラベル列
（対象フレームのカラーラベル列）について、過去のフ
レーム群に対するフレーム間類似性距離計算を行う。

【００５０】ここでのフレーム間類似性距離計算の処理
について、“過去のフレーム群”とは、単数のフレーム
の場合も、複数のフレームの場合もあり、特に、当該処
理のアルゴリズムは限定しない。また、比較対象となる
過去のフレーム群は、過去のステップＳ３０４で取得さ
れた対象フレームのカラーラベル列として、図示しない
メモリ（ＲＡＭ１０３等）上に保持しておく。そして、
現在の処理対象のフレームのカラーラベル列と、過去の
処理対象のフレームのカラーラベル列との間で、ラベル
列ｉ同士でマッチングをとることで、これらのフレーム
の類似度を算出する。ここでのマッチング方法の詳細に
ついては、例えば、特開平１０−２６０９８３号等に記
載されている。

【００５１】ステップＳ３０６：シーンチェンジ判定部
２０２は、ステップＳ３０５において算出した類似度の
情報により、シーンチェンジであるか否かを判定する。
この判定の結果、シーンチェンジである場合には、次の
ステップＳ３０７からの処理へ進み、シーンチェンジで
ない場合には、後述するステップＳ３０９へそのまま進
む。

【００５２】ステップＳ３０７：ステップＳ３０６の判
定の結果、シーンチェンジである場合、シーンチェンジ
判定部２０２は、シーン特徴判定部２０３に対して、シ
ーンの特徴を判定するように指示する。これにより、特
徴判定部２０３は、対象シーンの特徴を判定する。

【００５３】特徴判定部２０３で判定するシーン（対象
シーン）は、前回にシーンチェンジと判定されたフレー
ムから今回シーンチェンジと判定されたフレームまでの
シーンである。もちろん、初回は、例外的に当該判定は
実行せずに、また、対象動画の末尾のフレームは、シー
ンチェンジとして、強制的に当該判定を実行する。ま
た、“シーンの特徴”とは、対象シーン中において、対
象物の動きが激しい、穏やか、動きがない、カメラの動
きであるパン、ズームが含まれている、等の特徴を含
む。

【００５４】特徴判定部２０３での判定処理は、任意の
演算処理により実施するようにしてもよいし、人手で行
うようにしてもよい。例えば、任意の演算処理により当
該判定処理を実施する場合、シーン特徴としての動きの
激しさに関しては、各フレーム間の類似度が常に高けれ
ば、動きが穏やかであると判定する。また、シーンの先
頭フレームと終了フレーム間の類似度が高ければ、ほと
んど動きがないと判定する。一方、人手により当該判定
処理を実施する場合、判定対象のシーンを表示部２０８
に表示させ、ユーザ操作部２０６よりユーザが判定した
結果を入力していく。

【００５５】ステップＳ３０８：シーン情報蓄積部２０
５は、例えば、図６に示すように、特徴判定部２０３に
より判定されたシーンの特徴を、シーンＩＤ、シーンの
先頭フレーム番号、シーンの長さ、及び代表フレームの
特徴量（カラーラベル列）と共に、シーン情報として蓄
積する。

【００５６】上記図６のシーン情報において、“シーン
の長さ”は、今回のシーンチェンジのフレーム番号から
前回のシーンチェンジのフレーム番号を引くことで得ら
れるフレーム数である。“代表フレームの特徴量（カラ
ーラベル列）”は、シーンを代表するフレームについて
のカラーラベル列である。“代表フレーム”は、先頭の
フレーム、或は末尾のフレーム、或はシーン中の任意の
フレームであってもよい。任意のフレームとする場合、
その決定方法は、計算による方法、或は人手で決定する
方法等、特に限定しない。本実施の形態では、その一例
として、末尾のフレームを代表フレームとして採用す
る。

【００５７】ステップＳ３０９：対象動画中の全フレー
ムに対して、ステップ３０１からの処理を実行終了した
か否かを判定し、この判定の結果、終了していない場
合、再びステップＳ３０２へ戻り、以降のステップ処理
を繰り返し実行する。そして、対象動画中の全フレーム
に対して、ステップ３０１からの処理を実行終了した場
合に、本処理終了となる。

【００５８】上述の一連の処理が、１つの動画について
の登録処理であり、当該登録処理は、登録対象の動画
（動画蓄積部２０４に動画ＩＤが付与されて蓄積された
画像）全てに対して実行される。

【００５９】（２）ダイジェスト作成処理本実施の形態では、対象動画のジャンルに応じたダイジ
ェストを作成する。

【００６０】動画は、そのジャンルによっては規則性を
持っている。例えば、対象動画がニュース番組の映像で
ある場合、ニュース項目毎に、ニュースキャスターがニ
ュースの概要を話し、現場の映像が流れる、という繰り
返しが基本となっている。このとき、ニュースキャスタ
ーの移っている映像は、ほとんど動きがない。また、対
象動画が野球の中継の映像である場合、カメラの位置が
予め決まっており、ピッチャーがボールを投げるまでの
セットポジションのシーンから始まり、ヒット等の試合
に変化が生じたときに、カメラが切り替わって動く。本
実施の形態では、上述のような規則性を利用して、対象
動画のダイジェストを作成する。ここでは、説明の簡単
のため、対象動画が、ニューズ番組の映像である場合、
野球中継の映像である場合についての例を挙げる。

【００６１】対象動画がニュース番組の映像である場
合ダイジェスト作成部２０７は、動画蓄積部２０４に蓄積
された処理対象の動画について、上記図４に示したテー
ブル（動画管理情報）を参照することで、当該対象動画
のジャンルが「ニュース番組」であった場合、例えば、
図７及び図８のフローチャートに従った処理を実行す
る。

【００６２】ここで、まず、ニュース番組においては、
上述したとおり、ニュースキャスターが概要を話してい
る場面（シーン）を集めれば、ニュース番組の全ニュー
ス項目の概要をつかむことができる。すなわち、キャス
ターが概要を話しているシーンをニュース番組のダイジ
ェストとすればよい。キャスターが概要を話しているシ
ーンには、次のような性質がある。（ａ）画面全体に動きがほとんどない。（ｂ）概要を話しているので、ある程度長いシーンであ
る。（ｃ）現場映像の場面を挟むので、ある程度の間隔をお
いて出現する。これらの性質（ａ）〜（ｃ）を利用して、キャスターが
概要を話しているシーンを推定し、ダイジェストを、次
のようにして作成する。

【００６３】ステップＳ６０１：上記図７参照ダイジェスト作成部２０７は、ＲＡＭ１０３を用いた内
部バッファ等であるＳＣＩＤに対して、初期値として、
対象動画の先頭シーンＩＤ（開始シーンＩＤ）を設定す
る。

【００６４】ステップＳ６０２：ダイジェスト作成部２
０７は、対象動画中の全てのシーンについて、本処理を
実行し終えたか否かを判定する。この判定の結果、対象
動画中の全てのシーンについて本処理を実行し終えた場
合にのみ、本処理終了となり、そうでない場合には、次
のステップＳ６０３に進む。

【００６５】ステップＳ６０３：ダイジェスト作成部２
０７は、ＳＣＩＤにより示されるシーンに動きがないか
否かを判定する。これは、上述した性質（ａ）の判定に
対応する。具体的には例えば、ダイジェスト作成部２０
７は、シーン情報蓄積部２０５に蓄積されたシーン情報
（上記図６参照）において、対象動画の対象シーン（Ｓ
ＣＩＤにより示されるシーン）のシーンの特徴を参照す
ることで、対象シーンに動きがないか否かを判定する。
上記図６のシーン情報の場合、対象シーンが、シーンＩ
Ｄ＝３で示されるシーンであれば、当該シーンは動きが
ないと判定されることになる。上述のような判定の結
果、対象シーンに動きがある場合、後述するステップＳ
６１１にそのまま進み、対象シーンに動きがない場合、
次のステップＳ６０４に進む。

【００６６】ステップＳ６０４：ダイジェスト作成部２
０７は、対象シーンの長さが所定値Ａより長いか否かを
判定する。これは、上述した性質（ｂ）の判定に対応す
る。ここでの判定についても、ステップＳ６０３と同様
に、シーン情報蓄積部２０５に蓄積されたシーン情報
（上記図６参照）を参照することで実施できる。所定値
Ａについては、特に限定されないが、例えば、５秒分、
すなわちフレームレート３０であれば１５０フレームが
望ましい。この判定の結果、対象シーンの長さが所定値
Ａ以上でない場合、後述するステップＳ６１１にそのま
ま進み、対象シーンの長さが所定値Ａ以上である場合、
次のステップＳ６０５に進む。

【００６７】ステップＳ６０５：ダイジェスト作成部２
０７は、対象シーンが、既にダイジェストに採用された
シーンであるか否かを検証する。ここでの検証は、後述
するダイジェストシーンリストを参照することで実施で
きる。この検証の結果、対象シーンが未使用のシーンで
ない場合、後述するステップＳ６１１にそのまま進み、
対象シーンが未使用のシーンである場合、次のステップ
Ｓ６０６に進む。

【００６８】ステップＳ６０６：ダイジェスト作成部２
０７は、対象シーン中の代表フレームと類似している代
表フレームを有するシーンを探す。これは、上記図６に
示したシーン情報において、ＳＣＩＤにより示されるシ
ーンのカラーラベル列と、ＳＣＩＤ以降のＩＤを有する
シーンのカラーラベル列とを比較し、これらの類似度が
高いシーンを検索する。カラーラベル列の比較処理につ
いての詳細は、例えば、特開平１０−２６０９８３号等
に記載されている。

【００６９】ステップＳ６０７：ダイジェスト作成部２
０７は、ステップＳ６０６での検索の結果、類似した代
表フレームを有するシーン（検索シーン）を検索できた
か否かを判定する。この判定の結果、検索できなかった
場合、後述するステップＳ６１１にそのまま進み、検索
できた場合、次のステップＳ６０８に進む。

【００７０】ステップＳ６０８：ダイジェスト作成部２
０７は、上述したステップＳ６０３と同様にして、検索
シーンに動きがないか否かを判定する。これは、上述し
た性質（ａ）の判定に対応する。この判定の結果、検索
シーンに動きがある場合、後述するステップＳ６１１に
そのまま進み、検索シーンに動きがない場合、次のステ
ップＳ６０９に進む。

【００７１】ステップＳ６０９：ダイジェスト作成部２
０７は、上述したステップＳ６０４と同様にして、検索
シーンの長さが所定値Ａより長いか否かを判定する。こ
れは、上述した性質（ｂ）の判定に対応する。この判定
の結果、検索シーンの長さが所定値Ａ以上でない場合、
後述するステップＳ６１１にそのまま進み、検索シーン
の長さが所定値Ａ以上である場合、次のステップＳ６１
０に進む。

【００７２】ステップＳ６１０：ダイジェスト作成部２
０７は、対象シーン（ＳＣＩＤにより示されるシーン）
と、検索シーンとの間が所定値Ｂ以上離れているか否か
を判定する。これは、上述した性質（ｃ）の判定に対応
する。所定値Ｂとしては、特に限定しないが、例えば、
１０秒分、すなわちフレームレート３０であれば、３０
０フレームが望ましい。この判定の結果、シーン間隔が
所定値Ｂ以上でない場合、次のステップＳ６１１にその
まま進み、シーン間隔が所定値Ｂ以上である場合、後述
するステップＳ６１２に進む。

【００７３】ステップＳ６１１：ここで、ステップＳ６
１２へ進む場合、対象シーン（ＳＣＩＤにより示される
シーン）及び検索シーンが共に、上述した性質（ａ）〜
（ｃ）を全て満たすシーンであることにより、キャスタ
ーのシーンであると推定できる。これに対して、対象シ
ーン及び検索シーンが、性質（ａ）〜（ｃ）の何れかで
も満たさないシーンである場合、本ステップＳ６１１に
おいて、ダイジェスト作成部２０７は、ＳＣＩＤをイン
クリメントして、再びステップＳ６０２からの処理を繰
り返し実行する。

【００７４】ステップＳ６１２：上記図８参照ダイジェスト作成部２０７は、対象シーンの代表フレー
ムを基準フレームに設定する。これは、同じキャスター
のシーンが３つ以上あるとき、このシーンを探すための
準備処理である。具体的には例えば、ダイジェスト作成
部２０７は、ＲＡＭ１０３等のメモリ上に、対象シーン
のカラーラベル列を記憶しておく。

【００７５】ステップＳ６１３：ダイジェスト作成部２
０７は、例えば、図９に示すようなダイジェストシーソ
リストに対して、対象シーンのＩＤ、すなわちＳＣＩＤ
を追加する。上記図９のダイジェストシーソリストは、
同図に示すように、シーンＩＤ及びシーンの属性を含む
情報である。“シーンの属性”とは、推定されたシーン
の内容を示す情報であり、ここでは、対象シーンが、キ
ャスターが概要を話しているシーンであるので、これを
示す属性（“Ｎｅｗｓｃａｓｔｅｒ”）が設定される。

【００７６】ステップＳ６１４：ダイジェスト作成部２
０７は、検索シーンのＩＤを、上記図９のダイジェスト
シーソリストに追加する。ここでのシーンの属性に対し
ても、キャスターが概要を話しているシーンを示す属性
（“Ｎｅｗｓｃａｓｔｅｒ”）が設定される。

【００７７】ステップＳ６１５：ダイジェスト作成部２
０７は、ＳＣＩＤに対して、検索シーンのＩＤを設定す
る。これは、同種のキャスターのシーンが３つ以上ある
とき、これを探すための準備のためである。次のステッ
プＳ６１６〜ステップＳ６２１の処理が、３つ目以上の
同種のキャスターのシーンを探す処理である。

【００７８】ステップＳ６１６：ダイジェスト作成部２
０７は、ステップＳ６１２で設定した基準フレームと類
似する代表フレームを有するシーンを検索する。具体的
には、ダイジェスト作成部２０７は、上述したステップ
Ｓ６０６と同様にして、上記図６に示したシーン情報を
参照し、基準フレームのカラーラベル列と、ＳＣＩＤ以
降のＩＤにより示されるフレームのカラーラベル列とを
比較することで、類似度が高いシーンを検索する。

【００７９】ステップＳ６１７：ダイジェスト作成部２
０７は、ステップＳ６１６での検索の結果、類似した代
表フレームを有するシーンを検索できたか否かを判定す
る。この判定の結果、検索できなかった場合、後述する
ステップＳ６２２にそのまま進み、検索できた場合、次
のステップＳ６１８に進む。尚、検索されたシーンを、
ステップＳ６０７での“検索シーン”と区別するため
に、“第２の検索シーン”と言う。

【００８０】ステップＳ６１８：ダイジェスト作成部２
０７は、上述したステップＳ６０３及びＳ６０８と同様
にして、第２の検索シーンに動きがないか否かを判定す
る。これは、上述した性質（ａ）の判定に対応する。こ
の判定の結果、第２の検索シーンに動きがある場合、後
述するステップＳ６２１にそのまま進み、第２の検索シ
ーンに動きがない場合、次のステップＳ６１９に進む。

【００８１】ステップＳ６１９：ダイジェスト作成部２
０７は、上述したステップＳ６０４及びＳ６０９と同様
にして、第２の検索シーンの長さが所定値Ａより長いか
否かを判定する。これは、上述した性質（ｂ）の判定に
対応する。この判定の結果、第２の検索シーンの長さが
所定値Ａ以上でない場合、後述するステップＳ６２１に
そのまま進み、第２の検索シーンの長さが所定値Ａ以上
である場合、次のステップＳ６２０に進む。

【００８２】ステップＳ６２０：ダイジェスト作成部２
０７は、上述したステップＳ６１０と同様にして、ＳＣ
ＩＤにより示されるシーンと、第２の検索シーンとの間
が所定値Ｂ以上離れているか否かを判定する。これは、
上述した性質（ｃ）の判定に対応する。この判定の結
果、シーン間隔が所定値Ｂ以上でない場合、次のステッ
プＳ６２１に進む。一方、シーン間隔が所定値Ｂ以上で
ある場合、更なるキャスターシーンを検索するために、
再びステップＳ６１４に戻り、以降の処理ステップを繰
り返し実行する。

【００８３】ステップＳ６２１：対象シーン及び検索シ
ーンが、性質（ａ）〜（ｃ）の何れかでも満たさないシ
ーンである場合、本ステップＳ６２１において、ダイジ
ェスト作成部２０７は、ＳＣＩＤをインクリメントし
て、再びステップＳ６１６からの処理を繰り返し実行す
ることで、性質（ａ）〜（ｃ）を満たすシーンを検索す
る。

【００８４】ステップＳ６２２：上述したステップＳ６
１７の判別の結果、類似した代表フレームを有するシー
ンを検索できなかった場合、ダイジェスト作成部２０７
は、これ以上同じキャスターのシーンはないと推定し、
対象動画の先頭シーンＩＤ（開始シーンＩＤ）をインク
リメントして、その後、再びステップＳ６０１へ戻り、
以降のステップ処理を繰り返し実行する。このような繰
り返し処理を実行する理由としては、例えば、ニュース
番組の映像の中に、２人のキャスターが登場する場合、
或は１人のキャスターであっても、背景の右上等に現場
の写真映像が存在するものとしないもの、等のようなシ
ーンの違いによって、いくつかのパターンが存在するた
め、これに対応するためである。尚、既に検索されたシ
ーンについては、ステップＳ６０５の処理により、重複
等は起こらない。

【００８５】対象動画が野球中継の映像である場合ダイジェスト作成部２０７は、動画蓄積部２０４に蓄積
された処理対象の動画について、上記図４に示したテー
ブル（動画管理情報）を参照することで、当該対象動画
のジャンルが「野球中継」であった場合、例えば、図１
０〜図１２のフローチャートに従った処理を実行する。

【００８６】ここで、まず、野球中継においては、上述
したように、特に、ヒットのシーンにおいて規則性が見
られる。ヒットのシーンを集めることができれば、野球
の試合の流れが変化したところを１度に見ることができ
る。したがって、これを野球中継のダイジェストと仮定
してみる。ヒットのシーンの性質には、次のようなもの
がある。（ａ）打球を追うためにカメラが動きパン等が起こる。（ｂ）全体を撮影するために、フレーム全体がほぼグラ
ンドのグリーンになる。（ｃ）必ず前のシーンはセットポジションである。（ｄ）セットポジションのシーンは動画全体で最も多
い。（ｅ）ヒットのシーンはプレイバックで何度も再生され
る。これらの性質（ａ）〜（ｅ）を利用して、ヒットシーン
を推定して、ヒットシーンのみを集めたダイジェスト
を、次のようにして作成する。

【００８７】ステップＳ７０１：上記図１０参照ダイジェスト作成部２０７は、ＲＡＭ１０３を用いた内
部バッファ等であるＳＣＩＤに対して、初期値として、
対象動画の先頭シーンＩＤ（開始シーンＩＤ）を設定す
る。

【００８８】ステップＳ７０２：ダイジェスト作成部２
０７は、ＳＣＩＤにより示されるシーンでパンが起こっ
たか否かを判定する。これは、上述した性質（ａ）の判
定に対応する。具体的には例えば、ダイジェスト作成部
２０７は、シーン情報蓄積部２０５に蓄積されたシーン
情報（上記図６参照）において、対象動画の対象シーン
（ＳＣＩＤにより示されるシーン）のシーンの特徴を参
照することで、対象シーンでパンが起きたか否かを判定
する。上記図６のシーン情報の場合、対象シーンが、シ
ーンＩＤ＝４で示されるシーンであれば、当該シーンで
パンが起きたと判定されることになる。上述のような判
定の結果、対象シーンでパンが起きてない場合、後述す
るステップＳ７０６にそのまま進み、対象シーンでパン
が起きた場合、次のステップＳ６０３に進む。尚、実際
には、カメラの動きは水平方向のパンだけではないが、
ここでは説明の簡単のために限定する。

【００８９】ステップＳ７０３：ダイジェスト作成部２
０７は、対象シーンの代表フレームの全体が、ほぼグリ
ーンであるか否かをを判定する。これは、上述した性質
（ｂ）の判定に対応する。具体的には例えば、ダイジェ
スト作成部２０７は、シーン情報蓄積部２０５に蓄積さ
れたシーン情報（上記図６参照）を参照することで、対
象シーンの代表フレームのカラーラベル列の中で、グリ
ーンに相当するラベルが全体に対してどのくらい含まれ
ているかを判定することで、本ステップＳ７０３の判定
を行なう。このときの基準となる閾値については、特に
限定しないが、例えば、７０％程度グリーンが含まれて
いることが望ましい。上述のような判定の結果、対象シ
ーンの代表フレームの全体がほぼグリーンでない場合、
後述するステップＳ７０６にそのまま進み、対象シーン
の代表フレームの全体がほぼグリーンである場合、次の
ステップＳ７０４に進む。

【００９０】ステップＳ７０４：ダイジェスト作成部２
０７は、上記図９に示したダイジェストシーソリストに
対して、対象シーンのＩＤ、すなわちＳＣＩＤを追加す
る。ここでのシーンの属性に対しては、ヒットシーンを
示す属性（“Ｈｉｔ”）が設定される。

【００９１】ステップＳ７０５：ダイジェスト作成部２
０７は、対象動画中の全てのシーンについて、ステップ
Ｓ７０２からの処理を実行し終えたか否かを判定する。
この判定の結果、対象動画中の全てのシーンについてス
テップＳ７０２からの処理を実行し終えた場合にのみ、
後述するステップＳ７０７へ進み、そうでない場合に
は、次のステップＳ７０６に進む。

【００９２】ステップＳ７０６：対象動画中の全てのシ
ーンについてステップＳ７０２からの処理を未だ実行し
終えていない場合、或は対象シーンが性質（ａ）及び
（ｂ）の何れかでも満たさないシーンである場合、ダイ
ジェスト作成部２０７は、次のシーンの処理を実行する
ために、ＳＣＩＤをインクリメントして、再びステップ
Ｓ７０２からの処理を繰り返し実行する。

【００９３】上記図１０に示した処理により、ヒットシ
ーンがピックアップされると、ステップＳ７０７（上記
図１１参照）からの処理による、重複シーンの削除が実
行される。これは、野球中継の動画においては、上述し
た性質（ｅ）により、同じヒットのシーンがダイジェス
トの中で重複するので、重複シーンを削除する必要があ
るためである。

【００９４】ステップＳ７０７：ダイジェスト作成部２
０７は、上記図９に示したダイジェストシーソリスト中
で、同じ属性を有するシーンが２つ以上存在するか否か
を判別する。この判別の結果、同じ属性を有するシーン
が２つ以上存在しない場合、重複シーンの削除処理は実
行せずに、後述するステップＳ７１５からの処理にその
まま進む。一方、同じ属性を有するシーンが２つ以上存
在する場合、次のステップＳ７０７´に進む。

【００９５】ステップＳ７０７´：ダイジェスト作成部
２０７は、ＳＣＩＤに対して、初期値として、上記図９
のダイジェストシーソリストにおける先頭のシーンＩＤ
を設定する。

【００９６】ステップＳ７０８：ダイジェスト作成部２
０７は、上記図９のダイジェストシーソリスト中の全て
のシーンについて、重複シーンの削除処理を行ったか否
かを判定する。この判定の結果、ダイジェストシーソリ
スト中の全てのシーンについて重複シーンの削除処理を
し終えた場合、後述するステップＳ７１５からの処理に
そのまま進み、未だ終了していない場合、次のステップ
Ｓ７０９に進む。

【００９７】ステップＳ７０９：ダイジェスト作成部２
０７は、ＲＡＭ１０３を用いた内部バッファ等であるＳ
ＵＢＳＣＩＤに対して、初期値として、ＳＣＩＤを設定
する。

【００９８】ステップＳ７１０：ダイジェスト作成部２
０７は、上記図９のダイジェストシーソリスト中におい
て、ＳＵＢＳＣＩＤにより示されるシーンの次のシーン
のＩＤが存在するか否かを判定する。この判定の結果、
次のシーンが存在しない場合、後述するステップＳ７１
１に進み、次のシーンが存在する場合、次のステップＳ
７１２に進む。

【００９９】ステップＳ７１２：ダイジェスト作成部２
０７は、ＳＵＢＳＣＩＤに対して、ステップＳ７１０に
て判定した次のシーンのＩＤ、すなわちダイジェストシ
ーソリスト中に存在する現在のＳＵＢＳＣＩＤにより示
されるシーンの次のシーンのＩＤを設定する。

【０１００】ステップＳ７１３：ダイジェスト作成部２
０７は、ＳＣＩＤにより示されるシーンの代表フレーム
と、ＳＵＢＳＣＩＤにより示されるシーンの代表フレー
ムとが、同じフレームであるか否かを判定する。具体的
には例えば、ダイジェスト作成部２０７は、上記図６の
シーン情報を参照することで、それぞれのシーンＩＤに
対応するカラーラベル列を取得して比較する。このと
き、同じシーンの代表フレームであれば、全く同じ画像
となるので、類似度がほぼ１００％となる。このような
判定の結果、それぞれのフレームが同じでない場合、次
のシーンを処理するために、再びステップＳ７１０へ戻
り、以降の処理ステップを繰り返し実行する。一方、そ
れぞれのフレームが同じである場合、次のステップＳ７
１４に進む。

【０１０１】ステップＳ７１４：ダイジェスト作成部２
０７は、上記図９のダイジェストシーソリストから、Ｓ
ＵＢＳＣＩＤを削除する。その後、ダイジェスト作成部
２０７は、次のシーンを処理するために、再びステップ
Ｓ７１０へ戻り、以降の処理ステップを繰り返し実行す
る。

【０１０２】ステップＳ７１１：上述したステップＳ７
１０の判定の結果、上記図９のダイジェストシーソリス
ト中において、ＳＵＢＳＣＩＤにより示されるシーンの
次のシーンのＩＤが存在しない場合、ダイジェスト作成
部２０７は、ＳＣＩＤに対して、ダイジェストシーソリ
スト中のＳＣＩＤにより示されるシーンの次のシーンＩ
Ｄを設定する。その後、ダイジェスト作成部２０７は、
次のシーンを処理するために、再びステップＳ７０８へ
戻り、以降の処理ステップを繰り返し実行する。

【０１０３】上記図１１に示した処理により、重複シー
ンの削除が実行されると、本ステップＳ７１５からの処
理による、ヒットシーンの前後のシーンのピックアップ
を行う。これは、ヒットシーン（カメラが打球を追いか
けるシーン）だけでは、ユーザは内容を理解しにくいた
め、投球のシーンとその結果のシーン（アウトになった
か、ホームランになったか、等のシーン）をもピックア
ップする必要があるためである。投球のシーンは、ヒッ
トシーンの前に存在する。これは、上述した性質（ｃ）
に対応する。打球の結果のシーンは、ヒットシーンの後
に存在する。このようなことを考慮して、以下のような
処理を実行する。

【０１０４】ステップＳ７１５：上記図１２参照ダイジェスト作成部２０７は、ＳＣＩＤに対して、初期
値として、上記図９のダイジェストシーソリストにおけ
る先頭のシーンＩＤを設定する。

【０１０５】ステップＳ７１６：ダイジェスト作成部２
０７は、上記図４の管理情報を参照することで、ＳＣＩ
Ｄの１つ前のＩＤにより示されるシーンが、対象動画の
先頭シーン（開始シーン）であるか否かを判定する。こ
の判定の結果、先頭シーンである場合、前シーンの判断
処理を実行せずに、後述するステップＳ７２１に進む。
一方、先頭シーンでない場合、次のステップＳ７１７に
進む。

【０１０６】ステップＳ７１７：ダイジェスト作成部２
０７は、ＳＣＩＤにより示されるシーンの１つ前のシー
ンの代表フレームと類似する代表フレームを有するシー
ンを、対象動画の全シーンの中でカウントする。具体的
には例えば、ダイジェスト作成部２０７は、上記図６の
シーン情報を参照することで、ＳＣＩＤにより示される
シーンの１つ前のシーンの代表フレームのカラーラベル
列と、他の比較対象のシーンの代表フレームのカラーラ
ベル列とを比較し、類似度の高いものに関してカウント
する。

【０１０７】ステップＳ７１８：ダイジェスト作成部２
０７は、ステップＳ７１７のカウント結果が、対象動画
全のシーンの１０％以上であるか否かを判定する。これ
は、上述した性質（ｅ）の判定に対応する。ここで、対
象動画の中で最も多く含まれるシーンを求めて、そのシ
ーンＩＤリストを作成するようにしてもよいが、本実施
の形態では、メモリスペースを有効に使用するために、
対象動画の全てのシーンに１０％以上含まれていれば、
プレイバックで再生されたヒットシーンであると見なす
ことにする。判定の基準の閾値としての“１０％”は、
統計的に求められるものであるが、これに限られること
はない。また、１０％以上存在したところで、カウント
の処理をアボートするように構成すれば、処理高速化を
図れる。上述のような判定の結果、カウント結果が対象
動画全のシーンの１０％以上である場合、後述するステ
ップＳ７１９に進み、カウント結果が対象動画全のシー
ンの１０％以上でない場合、次のステップＳ７２０に進
む。

【０１０８】ステップＳ７２０：ＳＣＩＤにより示され
るシーンの１つ前のシーンの代表フレームと類似する代
表フレームを有するシーンが、対象動画全のシーンの１
０％以上でない場合、ＳＣＩＤにより示されるシーンの
１つ前のシーンはセットポジションのシーンではなく、
ヒットシーンのＩＤとして検出されたＳＣＩＤも誤検出
されている可能性が高い。そこで、ダイジェスト作成部
２０７は、上記図９のダイジェストシーソリストから、
ＳＣＩＤを削除する。その後、ダイジェスト作成部２０
７は、後述するステップＳ７２３からの処理を実行す
る。

【０１０９】ステップＳ７１９：ＳＣＩＤにより示され
るシーンの１つ前のシーンの代表フレームと類似する代
表フレームを有するシーンが、対象動画全のシーンの１
０％以上である場合、ＳＣＩＤにより示されるシーンの
１つ前のシーンは、上述した性質（ｅ）を満たすシーン
であるので、ダイジェスト作成部２０７は、ＳＣＩＤに
より示されるシーンの１つ前のシーンのＩＤを、上記図
９のダイジェストシーソリストに追加し、セットポジシ
ョンのシーンであることを示す属性（“ＳｅｔＰｏｓｉ
ｔｉｏｎ”）を設定する。

【０１１０】ステップＳ７２１：ダイジェスト作成部２
０７は、上記図４の管理情報を参照することで、ＳＣＩ
Ｄにより示されるシーンの次のシーンが、対象動画の最
後のシーン（終了シーン）であるか否かを判定する。こ
の判定の結果、終了シーンである場合、上述したステッ
プＳ７２０に進み、終了シーンでない場合、次のステッ
プＳ７２２に進む。

【０１１１】ステップＳ７２２：ＳＣＩＤにより示され
るシーンの次のシーンが、対象動画の最後のシーン（終
了シーン）でない場合、ダイジェスト作成部２０７は、
ＳＣＩＤにより示されるシーンの次のシーンを、打球の
結果のシーンとして、上記図９のダイジェストシーンに
追加し、打球の結果のシーンであることを示す属性
（“Ｒｅｓｕｌｔ”）を設定する。

【０１１２】ステップＳ７２３：ダイジェスト作成部２
０７は、上記図９のダイジェストシーソリスト中の全て
のシーンについて、ステップＳ７１６からの処理を実行
し終えたか否かを判定する。この判定の結果、終了した
場合には、本処理終了とし、未だ終了していない場合に
は、次のステップＳ７２４に進む。

【０１１３】ステップＳ７２４：ダイジェスト作成部２
０７は、ＳＣＩＤに対して、上記図９のダイジェストシ
ーソリスト中の“Ｈｉｔ”の属性を有する次のシーンの
ＩＤを設定し、再びステップＳ７１６からの処理を実行
する。

【０１１４】（３）ダイジェスト再生処理上述したようにして、ダイジェスト作成部２０７で作成
されたダイジェスト（上記図９参照）は、次のようにし
て再生処理される。

【０１１５】先ず、ユーザから、ユーザ操作部２０６を
介してダイジェスト再生指示がなされると、表示部２０
８は、ダイジェスト作成部２０７により作成されたダイ
ジェストシーンリスト、及びシーン情報蓄積部２０５に
蓄積されたシーン情報に基づいて、当該ダイジェストシ
ーンリスト中のシーンのフレームを順番に、動画蓄積部
２０４から取り出して再生する。このとき、表示部２０
８は、上記図４の管理情報により示されるフレームレー
トに従って再生する。

【０１１６】尚、本実施の形態において、次のような構
成（１）〜（６）とするようにしてもよい。

【０１１７】（１）個々のフレームを識別するためにフ
レームＩＤを用いたが、その代わりに、例えば、タイム
コードを用いるようにしてもよい。また、シーンの長さ
としては、フレーム数を用いたが、その代わりに、例え
ば、時間を用いるようにしてもよい。

【０１１８】（２）動画の登録処理及びダイジェスト作
成処理を単体の装置（画像処理装置１００）で行うよう
に構成したが、これに限られることはない。例えば、こ
れらの処理を、サーバとクライアントで分けて実行する
ようにしてもよい。すなわち、動画の登録処理を行う動
画入力部２０１、シーンチェンジ判定部２０２、シーン
特徴判定部２０３、動画蓄積部２０４、及びシーン情報
蓄積部２０５の機能をサーバに持たせ、ダイジェスト作
成をするダイジェスト作成部２０７、表示部２０８、及
びユーザ操作部２０６の機能をクライアントに持たせ
る。そして、クライアント側におて、サーバからネット
ワークを介してシーン情報等を送信してもらい、ダイジ
ェストシーンリストを作成し、これに従って、サーバか
らフレームを取り出して再生する。或いは、ダイジェス
ト作成部２０７もサーバに持たせ、クライアント側で
は、サーバに対するダイジェスト再生要求と、ダイジェ
ストの再生のみを行う。

【０１１９】（３）フレームの比較のために、フレーム
の特徴量として、カラーラベル列を用いるようにした
が、当該比較のアルゴリズムは限定しないため、フレー
ムの特徴量としては、使用するアルゴリズムに対応した
ものを適用可能である。例えば、隣接フレームの対応す
る画素間の輝度差により、フレーム比較を行なう場合、
各画素の輝度を、フレームの特徴量として保持する。ま
た、メモリや記憶媒体に余裕があり、且つ処理が遅くと
も許されるならば、フレームの画像そのものを保持して
おき、フレーム比較の際に、逐一特徴量を抽出するよう
にしてもよい。

【０１２０】（４）シーンチェンジの判定処理を、フレ
ーム間の比較による演算処理で行なうようにしたが、こ
れに限られることはなく、シーンの特徴判定処理と同様
に、人手で行うようにしてもよい。

【０１２１】（５）ダイジェストの再生は、上記図９の
ダイジェストシーソリスト中のシーンを順に再生した
が、シーンの属性を参照することで、例えば、野球中継
であれば、セットポジションシーンのみを再生したり、
２番目のヒットのシーンのみを再生させる、等というこ
とも行なうことができる。

【０１２２】（６）本発明の目的は、本実施の形態のホ
スト及び端末の機能を実現するソフトウェアのプログラ
ムコードを記憶した記憶媒体を、システム或いは装置に
供給し、そのシステム或いは装置のコンピュータ（又は
ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコ
ードを読みだして実行することによっても、達成される
ことは言うまでもない。この場合、記憶媒体から読み出
されたプログラムコード自体が本実施の形態の機能を実
現することとなり、そのプログラムコードを記憶した記
憶媒体は本発明を構成することとなる。プログラムコー
ドを供給するための記憶媒体としては、ＲＯＭ、フロッ
ピーディスク、ハードディスク、光ディスク、光磁気デ
ィスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発
性のメモリカード等を用いることができる。また、コン
ピュータが読みだしたプログラムコードを実行すること
により、本実施の形態の機能が実現されるだけでなく、
そのプログラムコードの指示に基づき、コンピュータ上
で稼動しているＯＳ等が実際の処理の一部又は全部を行
い、その処理によって本実施の形態の機能が実現される
場合も含まれることは言うまでもない。さらに、記憶媒
体から読み出されたプログラムコードが、コンピュータ
に挿入された拡張機能ボードやコンピュータに接続され
た機能拡張ユニットに備わるメモリに書き込まれた後、
そのプログラムコードの指示に基づき、その機能拡張ボ
ードや機能拡張ユニットに備わるＣＰＵなどが実際の処
理の一部又は全部を行い、その処理によって本実施の形
態の機能が実現される場合も含まれることは言うまでも
ない。

【０１２３】

【発明の効果】以上説明したように本発明では、対象動
画（テレビジョン放送の動画等）を構成するシーンに関
する情報、及び対象動画の内容に関する情報（規則情報
等）に基づいて、対象画像を構成するシーンの中の所定
のシーンを判定し、この判定シーンを再生するように構
成した。このような構成により、例えば、対象動画のジ
ャンル（ニュースや野球中継等）に応じて、意味的に重
要なシーンのみを選択（判定）して、対象動画のダイジ
ェストを作成することが可能となる。したがって、この
ダイジェストによる内容の理解が容易になる。また、重
要なシーンを、ユーザの指定によって選択的に再生させ
ることも可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の構成を示すブ
ロック図である。

【図２】上記画像処理装置の機能的構成を示すブロック
図である。

【図３】上記画像処理装置での動画登録処理を説明する
ためのフローチャートである。

【図４】上記動画登録処理の結果、得られる動画管理情
報を説明するための図である。

【図５】上記画像処理装置のシーン特徴判定部におい
て、シーンの特徴を取得する際のフレームのブロック分
割を説明するための図である。

【図６】上記画像処理装置のシーン情報蓄積部に蓄積さ
れるシーン情報を説明するための図である。

【図７】上記画像処理装置のダイジェスト作成部の動作
（Ｓ６０１〜Ｓ６１１：ニュース）を説明するためのフ
ローチャートである。

【図８】上記ダイジェスト作成部の動作（Ｓ６１２〜Ｓ
６２２：ニュース）を説明するためのフローチャートで
ある。

【図９】上記ダイジェスト作成部で得られるダイジェス
ト（ダイジェストシーンリスト）を説明するための図で
ある。

【図１０】上記ダイジェスト作成部の動作（Ｓ７０１〜
Ｓ７０６：野球中継）を説明するためのフローチャート
である。

【図１１】上記ダイジェスト作成部の動作（Ｓ７０７〜
Ｓ７１４：野球中継）を説明するためのフローチャート
である。

【図１２】上記ダイジェスト作成部の動作（Ｓ７１５〜
Ｓ７２４：野球中継）を説明するためのフローチャート
である。

【符号の説明】

１００画像処理装置１０１ＣＰＵ１０２ＲＯＭ１０３ＲＡＭ１０４キーボード１０５マウス１０６外部記憶装置１０７表示器１０８ＮＩＣ１０９ビデオＩ／Ｆ１１０ビデオカメラ１１１バス１１２ＶＴＲ１１３受信機２０１動画入力部２０２シーンチェンジ判定部２０３シーン特徴判定部２０４動画蓄積部２０５シーン情報蓄積部２０６ユーザ操作部２０７ダイジェスト作成部２０８表示部

Claims

【特許請求の範囲】

【請求項１】動画を再生処理する画像処理装置であっ
て、対象動画を構成するシーンに関する情報、及び対象動画
の内容に関する情報に基づいて、対象画像を構成するシ
ーンの中の所定のシーンを判定する判定手段と、上記判定手段により判定されたシーンを再生する再生手
段とを備えたことを特徴とする画像処理装置。
【請求項２】上記シーンに関する情報は、少なくと
も、対象シーンの区間、対象シーンを代表するフレーム
の情報、及び対象シーンの特徴の何れかの情報を含むこ
とを特徴とする請求項１記載の画像処理装置。
【請求項３】上記対象シーンを代表するフレームの情
報は、当該フレームの画像特徴量の情報を含むことを特
徴とする請求項２記載の画像処理装置。
【請求項４】上記対象シーンの特徴の情報は、少なく
とも、対象シーンの中に存在する対象物の動きの激しさ
の度合い、及びカメラの動きの種類の何れかの情報を含
むことを特徴とする請求項２記載の画像処理装置。
【請求項５】上記判定手段は、対象画像を構成するシ
ーンにおいて、シーンを代表するフレーム同士を比較し
た結果により得られる類似度に基づいて、類似したシー
ンを検索することを特徴とする請求項１記載の画像処理
装置。
【請求項６】対象動画の内容に関する情報は、少なく
とも、所定の長さのシーンであること、所定の間隔をお
いて類似したシーンが何度か出現すること、シーン中に
存在する対象物の動きがほとんどないこと、カメラの動
きが伴うシーンであること、シーン中に存在する対象物
の動きが激しいシーンであること、シーンの代表のフレ
ームがほぼ単一色であること、所定のシーンの直前のシ
ーンが頻度の高いシーンであること、及び所定のシーン
が重複して現れること、の何れかの規則情報を含むこと
を特徴とする請求項１記載の画像処理装置。
【請求項７】上記判定手段は、対象動画の内容に基づ
いて、対象動画を構成するシーンに対して属性情報を付
与することを特徴とする請求項１記載の画像処理装置。
【請求項８】上記属性情報に基づいたシーンのみを再
生するための制御手段を備えることを特徴とする請求項
７記載の画像処理装置。
【請求項９】複数の機器が互いに通信可能に接続され
てなる画像処理システムであって、上記複数の機器のうち少なくとも１つの機器は、請求項
１〜８の何れかに記載の画像処理装置の機能を有するこ
とを特徴とする画像処理システム。
【請求項１０】動画を再生処理するための画像処理方
法であって、対象動画を構成するシーンに関する情報、
及び対象動画の内容に応じた規則情報に基づいて、対象
動画を構成するシーンの中からキーとなるシーンの判定
を行う判定ステップと、上記判定ステップにより判定されたキーとなるシーンの
みを再生する再生ステップとを含むことを特徴とする画
像処理方法。
【請求項１１】上記シーンに関する情報は、少なくと
も、対象シーンの区間、対象シーンを代表するフレー
ム、及び対象シーンの特徴の何れかの情報を含むことを
特徴とする請求項１０記載の画像処理方法。
【請求項１２】上記対象シーンを代表するフレームの
情報は、フレームそのものの情報の代わりに、フレーム
の画像特徴量の情報を用いることを特徴とする請求項１
１記載の画像処理方法。
【請求項１３】上記対象シーンの特徴の情報は、シー
ン中に存在する対象物の動きの激しさの度合い、及びカ
メラの動きの種類の少なくとも何れかの情報を含むこと
を特徴とする請求項１１記載の画像処理方法。
【請求項１４】上記判定ステップは、対象動画を構成
するシーンにおいて、シーンを代表するフレーム同士を
比較し、その類似度を計算することで、類似したシーン
を検索するステップを含むことを特徴とする請求項１０
記載の画像処理方法。
【請求項１５】対象動画は、類似したシーンがキーと
なる内容の動画を含み、上記規則情報は、所定の長さを有するシーンであるこ
と、及び所定の間隔をおいて類似したシーンが何度か出
現すること、の少なくとも何れかの情報を含むことを特
徴とする請求項１０記載の画像処理方法。
【請求項１６】上記規則情報は、シーン中に存在する
対象物の動きがほとんどないこと、の情報を含むことを
特徴とする請求項１５記載の画像処理方法。
【請求項１７】対象動画は、シーン中に存在する対象
物が激しく動くシーンがキーとなる内容の動画を含み、上記規則情報は、カメラの動きが伴うシーンであるこ
と、の情報を含むことを特徴とする請求項１０記載の画
像処理方法。
【請求項１８】上記規則情報は、シーン中に存在する
対象物の動きが激しいシーンであること、の情報を含む
ことを特徴とする請求項１７記載の画像処理方法。
【請求項１９】上記規則情報は、シーンの代表フレー
ムがほぼ単一色であること、の情報を含むことを特徴と
する請求項１７記載の画像処理方法。
【請求項２０】上記規則情報は、キーとなるシーンの
直前のシーンが頻度の高いシーンであること、の情報を
含むことを特徴とする請求項１７記載の画像処理方法。
【請求項２１】上記規則情報は、キーとなるシーンが
重複して現れること、の情報を含むことを特徴とする請
求項１７記載の画像処理方法。
【請求項２２】対象動画は、キーとなるシーンが何度
も繰り返し現れる内容の動画を含み、上記規則情報は、キーとなるシーンが重複して現れるこ
と、の情報を含むことを特徴とする請求項１０記載の画
像処理方法。
【請求項２３】上記判定ステップは、対象動画の内容
に応じてシーンに属性情報を付与するステップを含むこ
とを特徴とする請求項１０記載の画像処理方法。
【請求項２４】上記属性情報を参照することによっ
て、ユーザが所望する属性を持ったシーンのみを再生す
るための制御ステップを含むことを特徴とする請求項２
３記載の画像処理方法。
【請求項２５】請求項１〜８の何れかに記載の画像処
理装置の機能、又は請求項９記載の画像処理システムの
機能をコンピュータに実現させるためのプログラムを記
録したコンピュータ読出可能な記憶媒体。
【請求項２６】請求項１０〜２３の何れかに記載の画
像処理方法の処理ステップをコンピュータに実行させる
ためのプログラムを記録したコンピュータ読取可能な記
憶媒体。