JP2005252372A - ダイジェスト映像作成装置及びダイジェスト映像作成方法 - Google Patents

Abstract

【課題】視聴する場合に内容を把握できるように映像を短縮することが容易にできるダイジェスト映像作成装置を提供すること。
【解決手段】ダイジェスト映像作成装置は、画像データの中で使用されている技術手法（カット、テロップ、カメラワーク）を解析して技術手法の使用が開始される時点（開始点）を検出する。そして、ダイジェスト映像作成装置は、当該技術手法の開始点の画像フレームを区切りとして画像データを複数の映像区間に分割し、映像区間の長さに応じて情報価値を判断する。そして、ダイジェスト映像作成装置は、情報価値が高い映像区間ほど通常の再生速度に近い速度で再生表示され、情報価値が低いほど速い速度で再生表示されるようにダイジェスト映像を作成する。
【選択図】 図３

Description

本発明は、ダイジェスト映像作成装置及びダイジェスト映像作成方法に関するものである。

従来、録画した番組や映画などの録画映像を視聴する際、視聴者は、ＤＶＤ（Digital Versatile Disc）プレーヤー等の再生装置により映像を再生表示する。そして、映像を再生表示する際、視聴者はできるだけ短い時間で内容だけを把握したいという要望があるため、再生装置には、録画映像を一定倍速にて早送り的に再生表示することができる早送り機能を備えるものがある。

また、近年では、再生表示する再生装置として、携帯電話などの携帯端末で録画映像が再生表示されるようになってきている。これらの携帯端末は、移動時間中等の短い空き時間に利用されることが多いので、要領よく内容を把握できるダイジェスト映像を作成することが望まれている。このため、例えば特許文献１に記載されている再生装置のようなダイジェスト映像作成機能を備えたものもある。
特開２００３−１５３１３９号公報

しかしながら、早送り機能で録画映像を一定倍速で再生表示した場合、重要な部分も重要でない部分も一律に早送りするため、ダイジェスト映像の内容があまり理解できず、作成元となった映像の内容が把握できないという問題があった。例えば、動きの激しい場面などではそれが顕著になり、視聴者は、作成元となった映像の内容の把握が困難となっていた。その一方、作成元の映像の内容が把握できる程度に再生速度を速くすると、再生速度を一律に２〜３倍速程度にしかすることができず、短い時間で表示することができないという問題があった。

また、特許文献１に示す再生装置のように、重要な映像と重要でない映像とを区別し、重要な映像のみを抽出して編集したダイジェスト映像は、作成元となった映像の内容が把握できるという点で優れているが、手作業で映像の重要度を評価しているので、時間と手間がかかるといった問題があった。

この発明は、このような従来技術に存在する問題点に着目してなされたものであり、その目的は、視聴する場合に作成元となった映像の内容を把握できるように映像を短縮することが容易にできるダイジェスト映像作成装置及びダイジェスト映像作成方法を提供することにある。

上記目的を達成するために、請求項１に記載の発明は、映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点を判断する解析手段と、前記技術手法の使用が開始された時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間が短いほど情報価値が高いと判断する評価手段と、情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築手段を備えたことを要旨とする。

請求項２に記載の発明は、映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析手段と、前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間にて使用されている技術手法の種類が多いほど情報価値が高いと判断する評価手段と、情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築手段を備えたことを要旨とする。

請求項３に記載の発明は、映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析手段と、前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間にて使用されている技術手法の種類に基づいて情報価値を判断する評価手段と、情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築手段を備えたことを要旨とする。

請求項４に記載の発明は、映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析手段と、前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間にて使用されている技術手法の使用状況に基づいて情報価値を判断する評価手段と、情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築手段を備えたことを要旨とする。

請求項５に記載の発明は、請求項４に記載の発明において、前記評価手段は、前記映像データにて前記技術手法として使用されるテロップの表示位置又は大きさに基づいて映像区間の情報価値を判断することを要旨とする。

請求項６に記載の発明は、請求項４又は請求項５に記載の発明において、前記評価手段は、前記映像データにて前記技術手法として使用されるカメラワークによる画面の移動速度又は拡縮に基づいて映像区間の情報価値を判断することを要旨とする。

請求項７に記載の発明は、請求項４〜請求項６のうちいずれか一項に記載の発明において、前記評価手段は、前記映像データにて前記技術手法として使用される音の大きさに基づいて映像区間の情報価値を判断することを要旨とする。

請求項８に記載の発明は、請求項１〜請求項７のうちいずれか一項に記載の発明において、映像データの短縮率を入力可能な入力手段を備え、前記構築手段は、前記入力手段により入力された短縮率に基づいて、映像データを短縮してダイジェスト映像データを構築することを要旨とする。

請求項９に記載の発明は、映像データを所定の画像形式にて入力し、前記映像データを編集することができるダイジェスト映像作成装置が、入力した映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点を判断する解析処理と、前記技術手法の使用が開始された時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間が短いほど情報価値が高いと判断する評価処理と、情報価値が高い区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築処理を実行することを要旨とする。

請求項１０に記載の発明は、映像データを所定の画像形式にて入力し、前記映像データを編集することができるダイジェスト映像作成装置が、入力した映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析処理と、前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間にて使用されている技術手法が多いほど情報価値が高いと判断する評価処理と、情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築処理を実行することを要旨とする。

請求項１１に記載の発明は、映像データを所定の画像形式にて入力し、前記映像データを編集することができるダイジェスト映像作成装置が、入力した映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析処理と、前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間にて使用されている技術手法の種類によって情報価値を判断する評価処理と、情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築処理を実行することを要旨とする。

請求項１２に記載の発明は、映像データを所定の画像形式にて入力し、前記映像データを編集することができるダイジェスト映像作成装置が、入力した映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析処理と、前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間にて使用されている技術手法の使用状況に基づいて情報価値を判断する評価処理と、情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築処理を実行することを要旨とする。

本発明によれば、視聴する場合に作成元となった映像の内容を把握できるように映像を短縮することが容易にできる。

（第一実施形態）
以下、本発明を具体化した第一実施形態を説明する。
図１は、ダイジェスト映像作成装置１０の構成を示すブロック図である。図１に示すように、ダイジェスト映像作成装置１０は、フレーム展開部１１と、解析手段としての解析部１２と、評価手段としての評価部１３と、構築手段としてのダイジェスト映像構築部１４と、入力手段としての入力部１５から構成されている。

フレーム展開部１１は、映像データに含まれる画像データを所定の画像形式（例えば、ＢＭＰ（Bit Map）形式）で入力し、フレーム展開して保存する入力処理を実行するようになっている。フレーム展開するとは、図２に示すように、画像データを、所定間隔毎にサンプリングして連続する画像フレーム２０（静止画像）の集合にするということである。即ち、ダイジェスト映像作成装置１０が画像フレーム２０を所定時間内で所定フレーム連続表示することにより、視聴者の視覚的には映像が再生表示されるように見える。尚、画像データの再生速度を速くする場合、画像フレーム２０を一定間隔ごとに間引いて連続表示することにより速くしている。例えば、図２（ａ）に示すように、通常、１秒間に画像フレーム２０を３０フレーム連続表示することで映像を再生表示している場合、映像を２倍速で表示にするときには、一フレームおきに画像フレーム２０を連続表示することとなる。即ち、図２（ｂ）に示すように、偶数フレームのみを連続表示することとなる。尚、第一実施形態の映像データには、音声出力及び音楽出力等をするための音声データが含まれていないものとして説明する。また、当該画像データには、技術手法としてカット、テロップ及びカメラワークが使用されて撮影されたものとして説明する。

解析部１２は、カットが切り替わった時点の画像フレーム２０を検出するカット解析処理と、テロップが出現した時点の画像フレーム２０を検出するテロップ解析処理と、カメラワークが行われた時点の画像フレーム２０を検出するカメラワーク解析処理を実行するようになっている。

具体的説明すると、解析部１２は、カット解析処理により、連続するフレーム間の類似度を調べ、連続するフレーム間の濃淡情報と色の差分が大きく異なる場合には、その画像フレーム２０間でカットが行われていると判断する。そして、解析部１２は、カット解析処理により、カットが行われていると判断した場合には、連続するフレーム間の濃淡情報と色の差分が大きく異なる時点の画像フレーム２０をカットという技術手法の使用が開始される開始点（以下、カットの開始点）として検出する。

また、解析部１２は、テロップ解析処理により、連続するフレーム間の輝度分布及びエッジ密集度を調べ、輝度分布差分が大きくなり、且つ、エッジ密集度が高い状態で一定時間持続した場合に、テロップが出現したと判断する。尚、輝度分布とは、フレーム画像の中に明るい部分や暗い部分などがそれぞれどのくらいの割合で存在するかを示すもので、２枚のフレームの間でこの輝度分布の違いを計算したものが輝度分布差分である。また、エッジとは、画像中で明るさや色が急激に変化する点のことで、主に物体や文字の輪郭部分に現れ、テロップ文字がある部分では、文字の輪郭部分からエッジが密集して検出される。従って、このエッジが画像上においてどの程度密集して存在しているかを調べることによって、テロップが存在するかどうかを判定することができることとなる。そして、解析部１２は、テロップ解析処理により、テロップが出現したと判断した場合には、当該輝度分布差分が大きくなった時点の画像フレーム２０をテロップという技術手法の使用が開始される開始点（以下、テロップの開始点）として検出する。

また、解析部１２は、カメラワーク解析処理により、動きベクトルを検出することで、画面全体が次のフレームで移動又は拡大縮小している場合に、カメラワークが行われていると判断する。即ち、解析部１２は、連続するフレーム間の輝度分布差分を調べ、輝度分布がどのように移動しているかを示す動きベクトルを解析することにより、カメラワークが行われているか調べる。具体的には、解析部１２は、画面全体の動きベクトルが一様に上下方向に移動していることを示している場合は、カメラが上下移動したと判断し、画面全体の動きベクトルが一様に左右方向に移動していることを示している場合は、カメラが左右に移動したと判断するようになっている。また、解析部１２は、画面全体の動きベクトルが一様に中央に集中していることを示している場合には、縮小表示されたと判断し、画面全体の動きベクトルが一様に外側に拡散していることを示している場合には、拡大表示されたと判断するようになっている。そして、解析部１２は、カメラワーク解析処理により、カメラワークが行われていると判断した場合には、画面全体が移動又は拡縮した時点の画像フレーム２０をカメラワークという技術手法の使用が開始される開始点（以下、カメラワークの開始点）として検出する。

次に、評価部１３について説明する。評価部１３は、前記解析部１２が検出したカットの開始点、テロップの開始点及びカメラワークの開始点に基づいて画像データを映像区間毎に分割し、当該映像区間の長さから映像区間毎の情報価値を評価する評価処理を実行するようになっている。詳しく説明すると、評価部１３は、図３に示すように、各種技術手法（カット、テロップ及びカメラワーク）の開始点（図３では△で示す）となった画像フレーム２０を区切りとして画像データを映像区間に分割する。そして、評価部１３は、映像区間の長さが短いほど当該映像区間の情報価値が高いと判断する一方、映像区間の長さが長いほど当該映像区間の情報価値が低いと判断する。即ち、評価部１３は、各種技術手法の開始点の間隔が密（短い）となっている映像区間ほど情報価値が高いと判断する一方、開始点の間隔が疎（長い）となっている映像区間ほど情報価値が低いと判断するようになっている。つまり、一般的な画像データは、カットが開始された直後や、テロップが出現した直後、画面が移動又は拡大縮小された直後が経験上情報価値（即ち、重要度）が高い場合が多く、かつ、それらが複数同時に（又は連続して）切り替えられて使用されるほど情報価値が高い場合が多いという傾向があるからである。

そして、ダイジェスト映像構築部１４は、前記評価部１３の評価処理により評価された情報価値及び視聴者によって入力部１５に入力された短縮率に基づいて、画像データから必要なフレームを取得してダイジェスト映像データを構築する構築処理を実行するようになっている。詳しく説明すると、ダイジェスト映像構築部１４は、構築処理により、入力部１５が入力した短縮率から、ダイジェスト映像データの長さを決定する。その後、ダイジェスト映像構築部１４は、図３に示すように、ダイジェスト映像の長さが短縮率に基づいて決定された長さとなるように、各映像区間の再生速度を、情報価値が高いものほど通常速度に近い速度（本実施形態では、１〜２倍速）となるように決定し、情報価値が低いものほど通常速度よりも速い速度（２倍速以上）となるように決定する。そして、ダイジェスト映像構築部１４は、決定した再生速度に基づいて、各映像区間を短縮する。即ち、ダイジェスト映像構築部１４は、各映像区間の画像フレーム２０を再生速度に応じて一定間隔毎に間引く。そして、ダイジェスト映像構築部１４は、短縮した映像区間を順番に繋ぎ合わせ、その後、ＭＰＥＧ−４（Moving Picture Experts Group phase 4）等の映像データ圧縮方法にて繋ぎ合わせたデータを圧縮してダイジェスト映像データを作成する。

以下、ダイジェスト映像データを作成するまでの処理の流れについて図４に従って説明する。
ダイジェスト映像作成装置１０のフレーム展開部は、入力処理を実行することにより、映像データの画像データを所定の画像形式にて入力し、フレーム展開して所定の記憶領域に保存する（ステップＳ１）。そして、ダイジェスト映像作成装置１０の解析部１２は、カット解析処理、テロップ解析処理及びカメラワーク解析処理を実行することにより、画像データを解析して、各種技術手法が画像データの中で使用される時点（開始点）の画像フレーム２０を検出する（ステップＳ２）。

その後、ダイジェスト映像作成装置１０の評価部１３は、評価処理を実行することにより、各種技術手法の開始点の画像フレーム２０を区切りとして、画像データを映像区間に分割する（ステップＳ３）。そして、評価部１３は、映像区間毎の長さを算出し、区間の長短に基づいて情報価値を判断する（ステップＳ４）。

そして、ダイジェスト映像作成装置１０のダイジェスト映像構築部１４は、構築処理を実行することにより、入力部１５から入力した短縮率に基づいて、ダイジェスト映像データの長さを決定する（ステップＳ５）。続いて、ダイジェスト映像構築部１４は、作成するダイジェスト映像データの長さがステップＳ５の処理で決定した長さとなるように、ステップＳ４の処理で判断した情報価値に基づいて、ダイジェスト映像データを構成する各映像区間の再生速度を決定する（ステップＳ６）。そして、ダイジェスト映像構築部１４は、決定した再生速度に基づいて各映像区間を短縮し、短縮した映像区間を繋ぎ合わせ、その後、映像データ圧縮方法にて繋ぎ合わせたデータを圧縮してダイジェスト映像データを作成する（ステップＳ７）。

以上詳述したように、第一実施形態は、以下の効果を奏する。
（１）ダイジェスト映像データは、情報価値が高い映像区間ほど通常の再生速度に近い速度で再生表示され、情報価値が低いほど速い速度で再生表示されるように作成された。このため、視聴者は、ダイジェスト映像データを再生表示して視聴することにより、映像データを短い時間でその内容を把握することができる。

（２）また、情報価値の高低を視聴者が決定するわけではないので、ダイジェスト映像データを作成するために、元の映像データを見て、映像区間を区切り、その情報価値を判断するという作業を手作業で行う必要がなくなるため、ダイジェスト映像データを簡単に作成することができる。

（３）さらに、再生速度を速くするために、画像フレーム２０を削除しているので、ダイジェスト映像データのデータ量を少なくすることができる。このため、ダイジェスト映像データを携帯電話などの記憶容量の少ない携帯端末にて保存、再生するのに適している。また、短い時間でダイジェスト映像データを再生表示しても、作成元の映像データの内容を理解することができるので、移動時間などの短い空き時間で利用される携帯端末にて再生するのに適している。

（４）ダイジェスト映像作成装置１０は、画像データの中で使用されている技術手法（カット、テロップ、カメラワーク）を解析して技術手法の使用が開始される時点（開始点）を検出した。そして、ダイジェスト映像作成装置１０は、当該技術手法の開始点の画像フレーム２０を区切りとして画像データを複数の映像区間に分割し、映像区間の長さに応じて情報価値を判断した。このため、複数の技術手法が同時又は連続して切り替えられて使用されている映像区間は、情報価値が高いと判断されて再生速度が通常の再生速度に近くなる一方、技術手法があまり切り替わらない映像区間は、情報価値が低いと判断されて再生速度が速くなるようになっている。即ち、ダイジェスト映像作成装置１０によって作成されたダイジェスト映像は、経験上情報価値（重要度）の高いと思われる映像区間が通常の再生速度に近い速度で再生表示される一方、経験上情報価値の低いと思われる映像区間が高速で再生表示される。従って、視聴者が短い時間で元の映像データの内容を把握することができるダイジェスト映像データを作成することができる。
（第二実施形態）
次に、本発明を具体化した第二実施形態を説明する。尚、第一実施形態と同様の構成は、第一実施形態と同じ符号を付してその詳細な説明及び図面は省略する。

第二実施形態の解析部１２は、カット解析処理により、連続するフレーム間の類似度を調べ、連続するフレーム間の濃淡情報と色の差分が大きく異なる場合には、その画像フレーム２０間でカットが行われていると判断する。そして、解析部１２は、カット解析処理により、カットが行われていると判断した場合には、連続するフレーム間の濃淡情報と色の差分が大きく異なる時点の画像フレーム２０をカットの開始点として検出する。尚、カットは、映画・テレビなどの撮影で、一台のカメラが写し始めてから写し終わるまでの一つの場面を示すものであり、開始すると共に前のカットが終了するので、カットの開始点は、カット（即ち、前のカット）の終了点としての意味を有する。

第二実施形態の解析部１２は、テロップ解析処理により、連続するフレーム間の輝度分布及びエッジ密集度を調べ、輝度分布差分が大きくなり、且つ、エッジ密集度が高い状態で一定時間持続した場合に、テロップが出現したと判断する。そして、解析部１２は、テロップ解析処理により、テロップが出現したと判断した場合には、輝度分布差分が大きくなった時点の画像フレーム２０をテロップの開始点として検出する。その一方、解析部１２は、輝度分布差分が大きくなり、且つ、エッジ密集度が高い状態が一定時間持続した後に低くなった場合に、テロップが表示されなくなったと判断する。そして、解析部１２は、テロップ解析処理により、テロップが表示されなくなったと判断した場合には、輝度分布差分が大きくなった時点の画像フレーム２０をテロップという技術手法の使用が終了された終了点（以下、テロップの終了点）として検出する。

また、解析部１２は、カメラワーク解析処理により、動きベクトル等を調べ、画面全体が次のフレームで移動又は拡縮している場合に、カメラワークが行われていると判断する。そして、解析部１２は、カメラワーク解析処理により、カメラワークが行われていると判断した場合には、画面全体が移動又は拡縮している時点の画像フレーム２０をカメラワークという技術手法の使用が開始される開始点（以下、カメラワークの開始点）として検出する。その一方、解析部１２は、カメラワーク解析処理により、カメラワークが行われていると判断した後、カメラワークが行われなくなったと判断した場合には、画面全体が移動又は拡縮しなくなった時点の画像フレーム２０をカメラワークという技術手法の使用が終了された終了点（以下、カメラワークの終了点）として検出する。

第二実施形態の評価部１３は、前記解析部１２が検出した開始点及び終了点に基づいて画像データを映像区間毎に分割し、当該映像区間において使用されている技術手法の数から映像区間毎の情報価値を評価する評価処理を実行するようになっている。詳しく説明すると、評価部１３は、図５に示すように、各種技術手法（カット、テロップ及びカメラワーク）の開始点及び終了点となった画像フレーム２０を区切りとして画像データを映像区間に分割する。そして、一般的な映像データは、複数の技術手法が同時に使用されている映像区間ほど情報価値が高い場合が多いという傾向があるため、評価部１３は、各映像区間にて使用される技術手法の数が多いほど当該映像区間の情報価値が高いと判断する一方、映像区間にて使用される技術手法の数が少ないほど当該映像区間の情報価値が低いと判断する。具体的には、評価部１３は、図５に示す映像区間Ａにおいては、カット、テロップ、カメラワークが行われているので、映像区間Ａの情報価値は高いと判断する一方、映像区間Ｂにおいては、カットのみが行われているので、映像区間Ｂの情報価値は低いと判断するようになっている。

そして、ダイジェスト映像構築部１４は、評価部１３により評価された情報価値に基づき、第一実施形態の場合と同様に、各映像区間の再生速度を決定し、再生速度を速くした各映像区間を繋ぎ合わせてダイジェスト映像データを構築する。

以上詳述したように、第二実施形態は、第一実施形態の（１）〜（３）に記載された効果に加え、以下の効果を奏する。
（１）ダイジェスト映像作成装置１０は、映像データの中で使用されている技術手法（カット、テロップ、カメラワーク）を解析して技術手法の使用が開始される時点（開始点）と終了された時点（終了時点）を検出した。そして、ダイジェスト映像作成装置１０は、当該技術手法の開始点及び終了点の画像フレーム２０を区切りとして画像データを複数の映像区間に分割し、映像区間にて使用される技術手法の数に応じて情報価値を判断した。このため、複数の技術手法が同時に使用されている映像区間は、情報価値が高いと判断されて再生速度が通常の再生速度に近くなる一方、技術手法があまり使用されていない映像区間は、情報価値が低いと判断されて再生速度が速くなるようになっている。即ち、ダイジェスト映像作成装置１０によって作成されたダイジェスト映像は、経験上情報価値（重要度）の高いと思われる映像区間が通常の再生速度に近い速度で再生表示される一方、経験上情報価値の低いと思われる映像区間が高速で再生表示される。従って、視聴者が短い時間で元の映像データの内容を把握することができるダイジェスト映像データを作成することができる。
（第三実施形態）
次に、本発明を具体化した第三実施形態を説明する。尚、第一実施形態と同様の構成は、第一実施形態と同じ符号を付してその詳細な説明及び図面は省略する。

第三実施形態の解析部１２は、第二実施形態の解析部１２と同様にして、カット解析処理、テロップ解析処理及びカメラワーク解析処理を実行して、各種技術手法の開始点及び終了点を検出する。

そして、第三実施形態の評価部１３は、前記解析部１２が検出した開始点及び終了点に基づいて画像データを映像区間毎に分割し、当該映像区間において使用されている技術手法の種類に基づいて映像区間毎の情報価値を評価する評価処理を実行するようになっている。詳しく説明すると、評価部１３は、図６に示すように、各種技術手法（カット、テロップ及びカメラワーク）の開始点及び終了点となった画像フレーム２０を区切りとして画像データを映像区間に分割する。そして、映像データの内容によって重要とされる場面において使用される技術手法が異なるので、評価部１３は、各映像区間にて使用される技術手法が特定の種類であれば当該映像区間の情報価値が高いと判断する。例えば、本実施形態の映像データの内容が報道（ニュース）とすると、テロップが表示される画面は経験上情報価値が高いと判断される。

このため、評価部１３は、映像区間においてテロップが表示される場合にはその映像区間の情報価値が高くなるようにしている。図６に示すように、映像区間Ｄにおいてカメラワークが行われ、映像区間Ｃにおいてテロップの表示がされている場合、評価部１３は、映像区間Ｄよりも映像区間Ｃの情報価値の方が高いと判断するようになっている。

従って、ダイジェスト映像構築部１４により構築されるダイジェスト映像データでは、映像区間Ｄよりも映像区間Ｃの方が通常速度に近い速度で再生表示される。つまり、ダイジェスト映像データを再生表示すると、テロップが表示される映像区間は、通常速度に近い速度で再生表示され、テロップが表示されない映像区間は、通常速度よりも速い速度で再生表示されるようになっている。

以上詳述したように、第三実施形態は、第一実施形態の（１）〜（３）に記載された効果に加え、以下の効果を奏する。
（１）評価部１３は、映像区間にて使用される映像手法の種類によって情報価値を判断する。このため、画像データの内容によって各映像区間の情報価値を変更し、映像区間の再生速度を内容に適した速度に変更することができ、より視聴者が元の映像データの内容を把握しやすいダイジェスト映像データを作成することが簡単にできる。例えば、テロップが画面に表示される場合、視聴者が読み取る時間を確保することができるので、元の映像データの内容を容易に把握することができる。

尚、上記実施形態は、次のような別の実施形態（別例）にて具体化できる。
○上記実施形態の映像データは、技術手法として音声出力や音楽出力を使用していなかったが、使用しても良い。尚、音声や音楽を出力するための音データは、ダイジェスト映像作成装置１０に入力される際、出力する音声や音楽の周波数を一定間隔毎にサンプリングして、連続する周波数の値の集合として記憶されている。即ち、周波数に対応する音を連続的に出力することにより、音声又は音楽を再生出力することとなる。そして、音声又は音楽の再生速度を速くするためには、画像データの場合と同様に、再生速度に応じてサンプリングされた周波数を所定間隔毎間引くことにより再生速度を速くしている。

また、この場合、解析部１２は、音楽解析処理を実行して音の周波数分析を行い、音楽が出力されているか否か判断する。具体的には、解析部１２は、音の強さが最大になる周波数（スペクトルピーク）が一定時間継続している場合に、音楽が出力されていると判断する。そして、解析部１２は、音楽が出力されていると判断した場合は、音楽出力の開始点（及び終了点）を検出する。また、解析部１２は、音声解析処理を実行し、音の周波数分析を行い、有声音（母音）に含まれる調波構造特徴を検出することで音声が出力されているかを判断する。そして、解析部１２は、音声が出力されていると判断した場合は、音声出力の開始点（及び終了点）を検出する。

また、周波数を所定間隔毎に間引いて再生速度を速くすると元の音よりも高音に聞こえ、聞こえにくくなるので、音声等を出力する際には、認識できる範囲（１〜２倍速の範囲）内で再生速度を速くして、映像の再生速度と音の再生速度を異ならせるようにしても良い。このようにすれば、音声又は音楽を聞き取ることができ、視聴者は、内容を把握しやすくなる。

○上記実施形態において、評価部１３は、各映像区間の情報価値を判断する際、映像区間にて使用される技術手法の使用状況に基づいて情報価値を判断しても良い。例えば、映像区間にてテロップが使用されていた場合、評価部１３は、そのテロップの表示位置や大きさなどに基づいて情報価値を判断しても良い。つまり、評価部１３は、そのテロップの表示位置が中心に近いほど、また、テロップの大きさが大きいほど、情報価値が高いと判断するようにしてもよい。また、例えば、映像区間にてカメラワークが行われていた場合、評価部１３は、カメラワークによる画面の変化に基づいて情報価値を判断してもよい。つまり、評価部１３は、画面が拡大されるほど、情報価値が高いと判断するようにしてもよい。また、例えば、映像区間にて音声又は音楽が出力されていた場合、評価部１３は、音の大きさに基づいて情報価値を判断してもよい。つまり、評価部１３は、音の大きさが大きいほど、情報価値が高いと判断するようにしてもよい。このように、評価部１３が技術手法の使用状況に基づいて情報価値を判断すれば、より正確、かつ、細かく情報価値を評価することができ、より的確に視聴者が映像データの内容が把握することができるダイジェスト映像データを作成することができる。

○上記第一実施形態において、評価部１３は、各映像区間の情報価値を判断する際、映像区間の長さ及び、各映像区間にて使用される技術手法の種類（若しくは使用状況）に基づいて情報価値を判断しても良い。このようにすれば、映像データの内容に対応させて、より的確に視聴者が映像データの内容を把握することができるダイジェスト映像データを作成することができる。

○上記第二実施形態において、評価部１３は、各映像区間の情報価値を判断する際、映像区間にて使用される技術手法の数及び種類（若しくは使用状況）に基づいて情報価値を判断しても良い。このようにすれば、映像データの内容に対応させて、より的確に内容を把握することができるダイジェスト映像データを作成することができる。

○上記第三実施形態において、評価部１３は、技術手法の種類としてテロップが映像区間において使用された場合に、その映像区間における情報価値を高く評価したが、映像データの内容により重要度を高くする技術手法を変更しても良い。例えば、評価部１３は、技術手法の種類としてカット又はカメラワークが映像区間において使用された場合に、その映像区間における情報価値を高く評価しても良い。

次に、上記実施形態及び別例から把握できる技術的思想を以下に追記する。
（イ）前記評価手段は、前記映像データの中で前記技術手法として使用されるテロップが大きければ大きいほど映像データを分割した区間の情報価値が高いと判断する請求項５に記載のダイジェスト映像作成装置。

（ロ）前記評価手段は、前記映像データの中で前記技術手法として使用されるテロップの表示位置が中央に位置するほど映像データを分割した区間の情報価値が高いと判断する請求項５に記載のダイジェスト映像作成装置。

（ハ）前記評価手段は、前記映像データの中で前記技術手法として使用されるカメラワークによって画面が拡大するほど映像データを分割した区間の情報価値が高いと判断することを特徴とする請求項６に記載のダイジェスト映像作成装置。

（ニ）前記評価手段は、前記映像データの中で前記技術手法として使用される音が大きいほど映像データを分割した区間の情報価値が高いと判断することを特徴とする請求項７に記載のダイジェスト映像作成装置。

（ホ）映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析手段と、前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを区間ごとに分割し、分割した区間にて使用されている技術手法の種類又はその使用状況によって情報価値を判断する評価手段と、情報価値が高い区間ほど通常速度に近い速度で再生表示し、情報価値が低い区間ほど通常速度よりも速い速度で再生表示するように、ダイジェスト映像を構築する構築手段を備えたことを特徴とする請求項１又は請求項２に記載のダイジェスト映像作成装置。

ダイジェスト映像作成装置を示すブロック図。 （ａ）、（ｂ）は、画像データの再生速度を速くする方法を説明するための説明図。 第一実施形態における情報価値の評価方法を説明するための説明図。 ダイジェスト映像データを作成する際の流れを説明するフローチャート。 第二実施形態における情報価値の評価方法を説明するための説明図。 第三実施形態における情報価値の評価方法を説明するための説明図。

符号の説明

１０…ダイジェスト映像作成装置、１１…フレーム展開部、１２…解析部（解析手段）、１３…評価部（評価手段）、１４…ダイジェスト映像構築部（構築手段）。

Claims (12)

1. 映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点を判断する解析手段と、
   前記技術手法の使用が開始された時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間が短いほど情報価値が高いと判断する評価手段と、
   情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築手段を備えたことを特徴とするダイジェスト映像作成装置。
2. 映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析手段と、
   前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間にて使用されている技術手法の種類が多いほど情報価値が高いと判断する評価手段と、
   情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築手段を備えたことを特徴とするダイジェスト映像作成装置。
3. 映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析手段と、
   前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間にて使用されている技術手法の種類に基づいて情報価値を判断する評価手段と、
   情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築手段を備えたことを特徴とするダイジェスト映像作成装置。
4. 映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析手段と、
   前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間にて使用されている技術手法の使用状況に基づいて情報価値を判断する評価手段と、
   情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築手段を備えたことを特徴とするダイジェスト映像作成装置。
5. 前記評価手段は、前記映像データにて前記技術手法として使用されるテロップの表示位置又は大きさに基づいて映像区間の情報価値を判断することを特徴とする請求項４に記載のダイジェスト映像作成装置。
6. 前記評価手段は、前記映像データにて前記技術手法として使用されるカメラワークによる画面の移動速度又は拡縮に基づいて映像区間の情報価値を判断することを特徴とする請求項４又は請求項５に記載のダイジェスト映像作成装置。
7. 前記評価手段は、前記映像データにて前記技術手法として使用される音の大きさに基づいて映像区間の情報価値を判断することを特徴とする請求項４〜請求項６のうちいずれか一項に記載のダイジェスト映像作成装置。
8. 映像データの短縮率を入力可能な入力手段を備え、
   前記構築手段は、前記入力手段により入力された短縮率に基づいて、映像データを短縮してダイジェスト映像を構築することを特徴とする請求項１〜請求項７のうちいずれか一項に記載のダイジェスト映像作成装置。
9. 映像データを所定の画像形式にて入力し、前記映像データを編集することができるダイジェスト映像作成装置が、
   入力した映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点を判断する解析処理と、
   前記技術手法の使用が開始された時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間が短いほど情報価値が高いと判断する評価処理と、
   情報価値が高い区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築処理を実行することを特徴とするダイジェスト映像作成方法。
10. 映像データを所定の画像形式にて入力し、前記映像データを編集することができるダイジェスト映像作成装置が、
    入力した映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析処理と、
    前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間にて使用されている技術手法の種類が多いほど情報価値が高いと判断する評価処理と、
    情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築処理を実行することを特徴とするダイジェスト映像作成方法。
11. 映像データを所定の画像形式にて入力し、前記映像データを編集することができるダイジェスト映像作成装置が、
    入力した映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析処理と、
    前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間にて使用されている技術手法の種類に基づいて情報価値を判断する評価処理と、
    情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築処理を実行することを特徴とするダイジェスト映像作成方法。
12. 映像データを所定の画像形式にて入力し、前記映像データを編集することができるダイジェスト映像作成装置が、
    入力した映像データを解析して、当該映像データにて使用される複数の技術手法を判断し、当該技術手法の使用を開始した時点及び終了した時点を判断する解析処理と、
    前記技術手法の使用を開始した時点及び終了した時点を区切りとして映像データを映像区間ごとに分割し、分割した映像区間にて使用されている技術手法の使用状況に基づいて情報価値を判断する評価処理と、
    情報価値が高い映像区間ほど通常速度に近い速度で再生表示し、情報価値が低い映像区間ほど通常速度よりも速い速度で再生表示するように映像区間を短縮して、ダイジェスト映像データを構築する構築処理を実行することを特徴とするダイジェスト映像作成方法。

Images