JP2005269510A - ダイジェスト画像データの生成 - Google Patents

ダイジェスト画像データの生成 Download PDF

Info

Publication number
JP2005269510A
JP2005269510A JP2004082481A JP2004082481A JP2005269510A JP 2005269510 A JP2005269510 A JP 2005269510A JP 2004082481 A JP2004082481 A JP 2004082481A JP 2004082481 A JP2004082481 A JP 2004082481A JP 2005269510 A JP2005269510 A JP 2005269510A
Authority
JP
Japan
Prior art keywords
image data
moving image
data
evaluation
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004082481A
Other languages
English (en)
Inventor
Tatsuya Hosoda
達矢 細田
Naoki Kuwata
直樹 鍬田
Junichiro Shinozaki
順一郎 篠▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004082481A priority Critical patent/JP2005269510A/ja
Priority to US11/084,539 priority patent/US7657096B2/en
Publication of JP2005269510A publication Critical patent/JP2005269510A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract


【課題】 動画像データから一部を抽出して短縮された動画像データを生成するダイジェスト画像データ生成処理において、所望の動画像データを抽出する技術を提供する。
【解決手段】 本発明は、与えられた動画像データから少なくとも一部の動画像データを抽出する動画像データ抽出装置である。本動画像データ抽出装置は、与えられた動画像データを所定の条件に基づいて時系列的に評価して動画像評価データを生成する動画像データ評価部と、与えられた動画像データから、動画像評価データに基づいて少なくとも一部の動画像データを抽出する動画像データ抽出部と、抽出された動画像データを、動画像評価データに基づいて複数のクラスのいずれかに分類する動画像データ分類部とを備えることを特徴とする。
【選択図】 図8

Description

本発明は、動画像データからダイジェスト画像データを生成する技術に関する。
近年、デジタルビデオカメラその他の動画像撮像装置で記録された動画像データからその一部を抜き出して短縮された動画像データすなわちダイジェスト画像データを生成する技術が普及しつつある。ダイジェスト画像データの生成は、たとえば特許文献1や特許文献2に開示されているように動画像に含まれる静止画像毎の重要性を表す評価値に応じて動画像データを抽出することによって自動的に行うこともできる。
特開2002−142189号公報 特開平10−224736号公報
しかし、ダイジェスト画像データを自動的に生成する方法では、自動的に生成されたデータがユーザの意図に沿わない場合において煩雑な修正が要求されることになる。一方、ユーザが手動でダイジェスト画像データを生成するのは負担が大きい。さらに、この問題は、ダイジェスト画像データを生成する場合に限られず、動画像データの編集において、一般に生ずる問題であった。
この発明は、従来技術における上述の課題を解決するためになされたものであり、与えられた動画像データから一部の動画像データを抽出する処理において、ユーザの負担を軽減する技術を提供することを目的とする。
本発明は、与えられた動画像データから少なくとも一部の動画像データを抽出する動画像データ抽出装置であって、
前記与えられた動画像データを所定の条件に基づいて時系列的に評価して動画像評価データを生成する動画像データ評価部と、
前記与えられた動画像データから、前記動画像評価データに基づいて少なくとも一部の動画像データを抽出する動画像データ抽出部と、
前記抽出された動画像データを、前記動画像評価データに基づいて複数のクラスのいずれかに分類する動画像データ分類部と、
を備えることを特徴とする。
本発明の動画像データ抽出装置は、複数の動画像データを画像評価データに基づいて抽出するとともに複数のクラスに分類することができるので、この分類を手がかりにしてユーザは複数の動画像データを取り扱うことができる。これにより、与えられた動画像データから一部の動画像データを抽出する処理においてユーザの負担が軽減されることになる。
上記動画像抽出装置において、さらに、前記与えられた動画像データをシーン毎に分割するシーン分割部を備え、
前記動画像データ抽出部は、前記シーン毎に前記抽出を行う抽出モードを有するようにしても良い。
ユーザはシーン毎の分割を望む場合が多く、また、シーン毎の分割は比較的容易で信頼性も高いため、本構成は、簡易な構成で顕著な効果を奏することができる。ここで、「シーン」とは、たとえば動画像データ取得時におけるカメラの記録開始と記録停止の間の映像を意味する。
上記動画像抽出装置において、前記動画像データ抽出部は、
(a)各シーンを構成する複数の静止画像データを評価して、前記複数の静止画像データの各々の評価値である複数の静止画像評価値を生成する機能と、
(b)前記複数の静止画像評価値の平均値を、前記シーン毎に前記動画像評価データとして算出する機能と、
(b)前記動画像評価データが所定の閾値よりも大きなシーンを構成する動画像データを前記与えられた動画像データから抽出する機能と、
を有するようにしても良い。
上記動画像抽出装置において、さらに、前記抽出された動画像データを、前記抽出された動画像データが属するクラス別に表示するように表示を制御する表示制御部を備えるようにしても良い。
このように、抽出された各動画像データをクラス別に表示すれば、ユーザは、クラスを参照しつつ動画像データを取り扱うことができるので、動画像データの取り扱いに伴うユーザの負担を軽減することができる。
上記動画像抽出装置において、前記抽出された動画像データと、前記動画像データが属するクラスを表すデータとを用いてデータファイルを生成する動画像データファイル生成部を備えるようにしても良い。
こうすれば、データファイルにクラスを表す情報が格納されるので、抽出された動画像データの管理に伴うユーザ負担を軽減することができる。
上記動画像抽出装置において、前記動画像評価データは、定性的なデータを含み、
前記動画像データ分類部は、前記定性的なデータの相違に応じて前記分類を行う分類モードを有するようにしても良いし、あるいは、
前記動画像評価データは、定量的なデータを含み、
前記動画像データ分類部は、前記定量的なデータの大きさに応じて前記分類を行う分類モードを有するようにしても良い。定性的なデータには、たとえば被写体の種類(人物または風景)や音声情報(特定の人物の声が聞こえるか否か)を表すデータがある。
本発明の第2の態様は、動画像データから一部の動画像データを抽出して短縮された動画像データであるダイジェスト画像データを生成するダイジェスト画像データ生成装置であって、
上記に記載の動画像データ抽出装置と、
前記抽出された動画像データが複数ある場合において、前記抽出された複数の動画像データを連結して前記ダイジェスト画像データを生成する動画像データ連結部と、
を備えることを特徴とする。
上記ダイジェスト画像データ生成装置において、
前記動画像データ連結部は、前記抽出された複数の動画像データを時系列順に連結する連結モードを有するようにしても良いし、あるいは、
前記動画像データ連結部は、前記抽出された複数の動画像データを、前記静止画像評価値と前記動画像評価値の少なくとも一方に応じて決定された順序で連結する連結モードを有するようにしても良いし、双方の連結モードを有するようにしても良い。
なお、本発明は、ダイジェスト画像データ出力装置、ダイジェスト画像データ生成の方法または装置の機能をコンピュータに実現させるためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の種々の形態で実現することができる。
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.本発明の実施例における画像処理システムの構成:
B.本発明の実施例におけるダイジェスト画像データ生成処理:
C.変形例:
A.本発明の実施例における画像処理システムの構成:
図1は、本発明の一実施例としての画像処理システム100を示す説明図である。画像処理システム100は、動画像データを供給する動画像データベース部30と、動画像データからその一部を抽出してダイジェスト画像データを生成するパーソナルコンピュータPCと、そのためのユーザインターフェースを提供するユーザインターフェース部18と、を備えている。ユーザインターフェース部18は、動画像データベース部30から供給されている動画像や後述する操作表示画面を表示するディスプレイ18aと、ユーザからの入力を受け付けるキーボード18bやマウス18cを備える。
パーソナルコンピュータPCは、動画像データからのダイジェスト画像データの生成処理を実行する画像処理アプリケーションプログラム10と、動画像データベース部30やユーザインターフェース部18といった外部機器との間のインターフェースを司るインターフェース部15とを備えている。
画像処理アプリケーションプログラム10は、動画像データをシーン毎に分割するシーン分割処理部11と、シーン毎に動画像データの評価を行うシーン評価部12と、シーン毎に動画像データを抽出する動画像データ抽出部13と、ディスプレイ18a上に抽出された複数の動画像データを分類して表示する操作表示系制御部14とを備えている。なお、シーン評価部12は、特許請求の範囲における「動画像評価部」として機能している。
動画像データベース部30は、デジタルビデオカメラ30a、DVD30b、およびハードディスク30cを動画像データの供給源として有している。動画像データは、本実施例では、ノンインターレース方式の静止画像を表すフレーム画像データの集合としている。
図2は、本発明の実施例のダイジェスト画像ファイル生成処理における操作表示画面200を示す説明図である。操作表示画面200は、ディスプレイ18aに表示される。操作表示画面200は、処理対象となる元画像データの種類を選択する元画像データ種選択スイッチ121と、選択された種類の元画像データの中から1つを選択するための元画像データ選択ウィンドウ122と、処理対象となる元画像データによって表される画像を表示する画像表示エリア123と、ダイジェスト画像データ生成処理のための操作ボタンとを含んでいる。なお、図2の例では、元画像データ選択ウィンドウ122において、動画像データGsが選択された状態が示されている。
ダイジェスト画像データ生成処理のための操作ボタンには、ダイジェスト画像データを自動的に生成するための前処理として複数の動画像データを抽出するための動画像データ抽出ボタン124と、画像表示エリア123に表示される動画像の制御のための各種ボタンが含まれている。動画像を制御するための各種ボタンには、再生ボタン231、停止ボタン232、一時停止ボタン233、巻き戻しボタン234、および早送りボタン235が含まれている。
以上説明したシステム構成において、動画像データ抽出ボタン124が押されると、以下に示すように動画像データから複数の動画像データが抽出されるとともに、複数の動画像データの編集作業を軽減する編集用の後述する操作表示画面が表示される。
B.本発明の実施例におけるダイジェスト画像データ生成処理:
図3は、本発明の実施例におけるダイジェスト画像データ生成処理の内容を示すフローチャートである。ステップS100では、画像処理アプリケーションプログラム10(図1)は、動画像データベース部30から動画像データの供給を受ける。供給された動画像データは、図示しないメモリにバッファされるとともに画像表示エリア123(図2)に表示される。
図4は、本発明の実施例で使用される動画像データの構成の一例を示す説明図である。動画像データは、1フレーム時間が33msの時系列的に連続するフレーム画像データの集合であり、各フレーム画像データには、時系列的な順序でフレーム番号が付されている。図4の例では、動画像データは、マラソン選手が走っている様子を表している。
処理対象の動画像データが画像表示エリア123に表示された後に、ユーザが、動画像データ抽出ボタン124をクリックすると、処理がステップS200に進められる。
ステップS200では、シーン分割処理部11は、シーン分割処理を実行する。シーン分割処理とは、動画像データをシーン毎に分割する処理である。本実施例では、「シーン」とは、動画像データ取得時におけるカメラの記録開始と記録停止の間を意味する。すなわち、各シーンは、記録開始によって始まり、記録停止によって終了する。シーン分割処理は、たとえば画像の急激な変化を認識することによって実現することができる。
図5は、本実施例の実施例におけるシーン分割処理の結果を示す表である。この表において、シーン番号とは、分割された各シーンに時系列の順序で付された番号である。開始時刻と終了時刻は、各シーンの開始時刻と終了時刻とを4組の2桁の数字で示している。具体的には、最初の2桁は時間を、次の2桁は分を、次の2桁は秒を、そして最後の2桁は各秒におけるフレーム番号を示している。たとえば4番のシーンは、0時1分12秒の13番目のフレームから0時1分13秒の15番目のフレームまでのフレームの集合として構成されている。
ステップS300(図3)では、シーン評価部12は、シーン評価処理を実行する。シーン評価処理とは、各シーンを構成する動画像データに含まれる複数のフレーム画像データの評価値に応じて各シーンの重要性を表す数値であるシーン評価値を算出する処理である。シーン評価値は、たとえば複数のフレーム画像データの評価値のシーン毎の平均値として算出することができる。
フレーム画像データの評価値は、フレーム画像データが表す静止画像の重要性を静止画像評価値として数値化したものである。この評価値の決定方法には、種々の方法があり、たとえば特開2002−142189号公報や特開平10−224736号公報に開示された方法が利用可能である。
なお、本実施例では、フレーム画像データの評価値は、最小値「0」と最大値「1」の間の値であるとしている。このため、本実施例では、複数のフレーム画像データの評価値のシーン毎の平均値であるシーン評価値も最小値「0」と最大値「1」の間の値となる。なお、有効桁数は、小数点以下2桁としている。
ステップS400では、動画像データ抽出部13は、動画像データ抽出処理を実行する。動画像データ抽出処理は、(1)シーン評価値が所定の閾値Eth以上であって、かつ、(2)シーンの再生時間が所定の時間Tthより長いシーンを構成する動画像データを抽出する処理である。所定の閾値Ethと所定の時間Tthは、本実施例では、それぞれ0.60と5秒としている。
ステップS500では、動画像データ抽出部13は、動画像データ分類処理を実行する。動画像データ分類処理とは、シーン評価値に応じて抽出された複数の動画像データを予め設定された3つのランクのいずれかに分類する処理である。
図6は、本実施例の実施例における動画像データ分類処理の内容を示す説明図である。図6(a)は、シーン評価値と分類対象となるランクの関係を示している。この図から分かるように、シーン評価値が0.80以上のシーンはランク1に分類され、また、シーン評価値が0.70から0.79のシーンはランク2に、シーン評価値が0.60から0.69のシーンはランク3に、それぞれ分類される。
図6(b)は、各シーンの評価値と分類結果を示している。シーン番号が1のシーンは、シーン評価値が0.91であり、シーン評価値が0.80以上なのでランク1に分類されている。シーン番号が2のシーンは、シーン評価値が0.55でり、シーン評価値が所定の閾値thである0.60よりも小さいので抽出対象外となっている。シーン番号が3のシーンは、シーン評価値が0.78であり、シーン評価値が0.70から0.79までの間にあるのでランク2に分類されている。シーン番号が4のシーンは、シーンの再生時間が1秒程であり、所定の時間Tth(5秒)より短いので抽出対象外となっている。
動画像データ抽出部13は、さらに、上記の分類結果に基づいて動画像データファイルを生成する。動画像データファイルは、各シーン毎に生成される。各動画像データファイルは、動画像データと分類結果を表す情報とを用いて生成される。このような動画像データファイルを生成するのは、抽出された動画像データを後に再利用する際において、分類結果を表す情報を、たとえば検索対象とすることができるので、これにより管理負担を軽減することができるからである。
図7は、本実施例における画像データファイルGFの構成を示す説明図である。画像データファイルGFは、画像データ格納領域90と画像データ情報格納領域80とから構成されている。画像データ格納領域90と画像データ情報格納領域80とには、それぞれフレーム画像データとその属性情報とが格納される。
図7の例では、画像データ情報格納領域80には、属性情報として分類結果を表すランク値と、サムネイル画像データ(縮小画像)とが格納されている。サムネイル画像データは、たとえばフレーム画像データの評価値の最も高いフレーム画像データを選択するとともに、その解像度を調整することによって生成することができる。
ステップS600では、操作表示系制御部14は、抽出された複数の動画像データの各々をランク毎に表示する操作表示画面200aを表示する。この操作表示画面200aは、前述の操作表示画面200(図2)の動画像データ抽出ボタン124のクリックに応じて、一定時間後に自動的に表示される。ステップS200〜ステップS600までの処理は、ユーザによる動画像データ抽出ボタン124のクリックに応じて自動的に実行されるからである。
図8は、本発明の実施例のダイジェスト画像ファイル生成処理における操作表示画面200aを示す説明図である。操作表示画面200aは、操作表示画面200の元画像データ種選択スイッチ121と、元画像データ選択ウィンドウ122と、動画像データ抽出ボタン124とが削除される一方、抽出された複数の動画像データをサムネイル画像で表示する入力画像ウィンドウWinと、出力画像をサムネイル画像で表示する出力画像ウィンドウWoutとが追加されている。
入力画像ウィンドウWinは、ランク値が1の動画像データを表示するウィンドウWr1と、ランク値が2の動画像データを表示するウィンドウWr2と、ランク値が3の動画像データを表示するウィンドウWr3と、を含んでいる。図8においては、2つの動画像データGs1、Gs2が選択されている。動画像データGs1は、ウィンドウWr2においてサムネイル画像で表示されているとともに、サムネイル画像の枠が太線となって選択されたことが示されている。動画像データGs2は、ウィンドウWr1において同様に示されている。
出力画像ウィンドウWoutは、出力画像として選択された複数の動画像データを示すウィンドウWselと、ウィンドウWselと3つのウィンドウWr1、Wr2、Wr3を左右にスクロールさせるためのスクロールバーScrとを含んでいる。出力画像ウィンドウWoutは、さらに複数の動画像データを連結することによって生成されるダイジェスト画像データの再生時間を示している。
ウィンドウWselは、入力画像ウィンドウWinで選択された2つの動画像データGs1、Gs2が、出力画像として選択されていることをサムネイル画像で表示している。ウィンドウWselで表示されたサムネイル画像をクリックすると、その動画像が画像表示エリア123に表示される。
ステップS700では、ユーザは、ダイジェスト画像データファイルを生成する。ダイジェスト画像データファイルの生成は、ダイジェスト画像出力ボタン125をクリックすることによって実行される。ダイジェスト画像データファイルの生成は、入力画像ウィンドウWinで選択された画像を時系列的に連結することによって行われる。
このように、本実施例では、与えられた画像データから複数の動画像データが自動的に抽出されるとともに複数のクラスに分類されてユーザに提示されるので、ダイジェスト画像データファイルの作成においてユーザによる複数の動画像データの取り扱いの負担を軽減することができる。
C.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、たとえば次のような変形も可能である。
C−1.上述の実施例では、所定の時間よりも短い動画像データが排除されるように構成されているが、自動的に排除するのではなくダイジェスト画像データが自動的生成された後にユーザが手動で排除できるように構成しても良い。なお、上記の所定の時間Tthは、ユーザが調整できるように構成することが好ましい。
C−2.上述の実施例では、抽出された複数の動画像データは、時系列順に連結されているが、たとえば静止画像評価値に応じて決定するようにしても良いし、動画像評価値に応じて決定するようにしても良いし、あるいは双方に応じて決定するようにしても良い。
C−3.上述の実施例では、動画像データがシーン毎に分割された後に、分割されたシーン毎に動画像データの抽出が行われているが、シーン毎に分割することなく評価値の高いフレーム画像データの集合として動画像データを抽出するようにしても良い。
C−4.上述の実施例では、抽出された複数の動画像データを連結してダイジェスト画像データを生成できるように構成されているが、たとえば抽出された複数の動画像データを連結することなく、分類結果を表す情報を含む動画像データファイルとして個別にユーザに提供する動画像データ抽出装置として本発明を構成しても良い。
C−5.上述の実施例では、動画像データから一部の動画像データを抽出しているが、全部の動画像データを抽出するように構成しても良い。この場合には、動画像データ抽出装置は、動画像データ分割装置として捉えることもできる。このような構成は、たとえば上記実施例において、シーン評価値が0.00から0.69のシーンをランク3に分類するとともに、シーンの再生時間が短くても抽出するようにすることで実現可能である。
C−6.上述の実施例では、動画像データを抽出した後においてシーン毎にランク値を含む動画像データファイルを生成しているが、このような動画像データファイルを生成することなく、操作表示画面200aで表示するように構成しても良い。このような構成は、与えられた動画像データを構成する複数のフレーム画像を操作するためのデータを生成することによって実現することができる。
C−7.上述の実施例では、動画像データはノンインターレース方式のフレーム画像データで構成されていたが、本発明は、インターレース方式の動画像データにも適用することができる。この場合には、上述の実施例における各フレーム画像データは、奇数番目の走査線の画像データから構成される奇数フィールドの静止画像データと、偶数番目の走査線の画像データから構成される偶数フィールドの静止画像データと、から生成される静止画像データに相当することになる。
C−8.上述の実施例では、動画像データに含まれるフレーム画像データの評価値に応じて動画像データが抽出されているが、たとえば動画像データに含まれる音声データに応じて動画像データを抽出するようにしても良い。さらに、音声データに応じてランク値を決定するようにしても良い。
C−9.上述の実施例では、定量的な情報に基づいて分類が行われているが、定性的な情報に基づいて分類を行うようにしても良い。たとえばフレーム画像データに基づいて、被写体が人物であるか風景であるかを推定するとともに、この推定に応じて分類するようにしても良い。あるいは、たとえば特定の人物の声が聞こえる場面とその前後のみを抽出するように構成するようにしても良い。
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア(コンピュータプログラム)は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやCD−ROMのような携帯型の記録媒体に限らず、各種のRAMやROM等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。
本発明の一実施例としての画像処理システム100を示す説明図。 本発明の実施例のダイジェスト画像ファイル生成処理における操作表示画面200を示す説明図。 本発明の実施例におけるダイジェスト画像データ生成処理の内容を示すフローチャート。 本発明の実施例で使用される動画像データの構成の一例を示す説明図。 本実施例の実施例におけるシーン分割処理の結果を示す表。 本実施例の実施例における動画像データ分類処理の内容を示す説明図。 本実施例における画像データファイルGFの構成を示す説明図。 本発明の実施例のダイジェスト画像ファイル生成処理における操作表示画面200aを示す説明図。
符号の説明
10…画像処理アプリケーションプログラム
11…シーン分割処理部
12…シーン評価部
13…動画像データ抽出部
14…操作表示系制御部
15…インターフェース部
18…ユーザインターフェース部
18a…ディスプレイ
18b…キーボード
18c…マウス
20…カラープリンタ
30…動画像データベース部
30a…デジタルビデオカメラ
30b…DVD
30c…ハードディスク
80…画像データ情報格納領域
90…画像データ格納領域
100…画像処理システム
121…元画像データ種選択スイッチ
122…元画像データ選択ウィンドウ
123…画像表示エリア
124…動画像データ抽出ボタン
125…ダイジェスト画像出力ボタン
200…操作表示画面
200a…操作表示画面
231…再生ボタン
232…停止ボタン
233…一時停止ボタン
234…巻き戻しボタン
235…早送りボタン

Claims (12)

  1. 与えられた動画像データから少なくとも一部の動画像データを抽出する動画像データ抽出装置であって、
    前記与えられた動画像データを所定の条件に基づいて時系列的に評価して動画像評価データを生成する動画像データ評価部と、
    前記与えられた動画像データから、前記動画像評価データに基づいて少なくとも一部の動画像データを抽出する動画像データ抽出部と、
    前記抽出された動画像データを、前記動画像評価データに基づいて複数のクラスのいずれかに分類する動画像データ分類部と、
    を備えることを特徴とする、動画像データ抽出装置。
  2. 請求項1記載の動画像データ抽出装置であって、さらに、
    前記与えられた動画像データをシーン毎に分割するシーン分割部を備え、
    前記動画像データ抽出部は、前記シーン毎に前記抽出を行う抽出モードを有する、動画像データ抽出装置。
  3. 請求項2記載の動画像データ抽出装置であって、
    前記動画像データ抽出部は、
    (a)各シーンを構成する複数の静止画像データを評価して、前記複数の静止画像データの各々の評価値である複数の静止画像評価値を生成する機能と、
    (b)前記複数の静止画像評価値の平均値を、前記シーン毎に前記動画像評価データとして算出する機能と、
    (b)前記動画像評価データが所定の閾値よりも大きなシーンを構成する動画像データを前記与えられた動画像データから抽出する機能と、
    を有する、動画像データ抽出装置。
  4. 請求項1ないし3のいずれかに記載の動画像データ抽出装置であって、さらに、
    前記抽出された動画像データを、前記抽出された動画像データが属するクラス別に表示するように表示を制御する表示制御部を備える、動画像データ抽出装置。
  5. 請求項1ないし4のいずれかに記載の動画像データ抽出装置であって、
    前記抽出された動画像データと、前記抽出された動画像データが属するクラスを表すデータとを用いてデータファイルを生成する動画像データファイル生成部を備える、動画像データ抽出装置。
  6. 請求項1ないし5のいずれかに記載の動画像データ抽出装置であって、
    前記動画像評価データは、定性的なデータを含み、
    前記動画像データ分類部は、前記定性的なデータの相違に応じて前記分類を行う分類モードを有する、動画像データ抽出装置。
  7. 請求項1ないし6のいずれかに記載の動画像データ抽出装置であって、
    前記動画像評価データは、定量的なデータを含み、
    前記動画像データ分類部は、前記定量的なデータの大きさに応じて前記分類を行う分類モードを有する、動画像データ抽出装置。
  8. 動画像データから一部の動画像データを抽出して短縮された動画像データであるダイジェスト画像データを生成するダイジェスト画像データ生成装置であって、
    請求項1ないし7のいずれかに記載の動画像データ抽出装置と、
    前記抽出された動画像データが複数ある場合において、前記抽出された複数の動画像データを連結して前記ダイジェスト画像データを生成する動画像データ連結部と、
    を備えることを特徴とする、ダイジェスト画像データ生成装置。
  9. 請求項8記載のダイジェスト画像データ生成装置であって、
    前記動画像データ連結部は、前記抽出された複数の動画像データを時系列順に連結する連結モードを有する、ダイジェスト画像データ生成装置。
  10. 請求項8または9に記載のダイジェスト画像データ生成装置であって、
    前記動画像データ連結部は、前記抽出された複数の動画像データを、前記静止画像評価値と前記動画像評価値の少なくとも一方に応じて決定された順序で連結する連結モードを有する、ダイジェスト画像データ生成装置。
  11. 動画像データから少なくとも一部の動画像データを抽出するための方法であって、
    (a)前記与えられた動画像データを所定の条件に基づいて時系列的に評価して動画像評価データを生成する工程と、
    (b)前記与えられた動画像データから、前記動画像評価データに基づいて少なくとも一部の動画像データを抽出する工程と、
    (c)前記抽出された動画像データを、前記動画像評価データに基づいて複数のクラスのいずれかに分類する工程と、
    を備えることを特徴とする、動画像抽出方法。
  12. 動画像データから少なくとも一部の動画像データを抽出するための処理をコンピュータに実行させるためのコンピュータプログラムであって、
    前記与えられた動画像データを所定の条件に基づいて時系列的に評価して動画像評価データを生成する機能と、
    前記与えられた動画像データから、前記動画像評価データに基づいて少なくとも一部の動画像データを抽出する機能と、
    前記抽出された動画像データを、前記動画像評価データに基づいて複数のクラスのいずれかに分類する機能と、
    を前記コンピュータに実現させるプログラムを備えることを特徴とする、コンピュータプログラム。
JP2004082481A 2004-03-22 2004-03-22 ダイジェスト画像データの生成 Pending JP2005269510A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004082481A JP2005269510A (ja) 2004-03-22 2004-03-22 ダイジェスト画像データの生成
US11/084,539 US7657096B2 (en) 2004-03-22 2005-03-16 Generation of digested image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004082481A JP2005269510A (ja) 2004-03-22 2004-03-22 ダイジェスト画像データの生成

Publications (1)

Publication Number Publication Date
JP2005269510A true JP2005269510A (ja) 2005-09-29

Family

ID=35093531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004082481A Pending JP2005269510A (ja) 2004-03-22 2004-03-22 ダイジェスト画像データの生成

Country Status (2)

Country Link
US (1) US7657096B2 (ja)
JP (1) JP2005269510A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006016590A1 (ja) * 2004-08-10 2006-02-16 Sony Corporation 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
WO2009060507A1 (ja) * 2007-11-05 2009-05-14 Pioneer Corporation 動画編集装置、動画編集方法、動画編集プログラムおよび記録媒体
WO2023139760A1 (ja) * 2022-01-21 2023-07-27 日本電気株式会社 データ拡張装置、データ拡張方法、及び非一時的なコンピュータ可読媒体

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4247638B2 (ja) * 2006-04-06 2009-04-02 ソニー株式会社 記録再生装置および記録再生方法
KR20080020789A (ko) * 2006-09-01 2008-03-06 엘지전자 주식회사 슬라이드 쇼 점프 기능을 구비한 영상기기 및 그 제어방법
JP4240330B2 (ja) * 2006-10-24 2009-03-18 ソニー株式会社 データベース作成方法、データベース作成プログラム、データベース作成装置及び映像コンテンツ記録装置
KR101395504B1 (ko) * 2007-10-25 2014-05-14 엘지전자 주식회사 영상표시기기 및 영상재생 방법
US8224053B2 (en) * 2009-03-31 2012-07-17 General Electric Company Methods and systems for displaying quantitative segmental data in 4D rendering
JP2011101229A (ja) * 2009-11-06 2011-05-19 Sony Corp 表示制御装置、表示制御方法、プログラム、出力装置、および送信装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887870A (ja) * 1994-09-16 1996-04-02 Toshiba Corp 情報処理装置
JPH08292965A (ja) * 1995-02-20 1996-11-05 Hitachi Ltd 映像支援システム
JP2002142189A (ja) * 2000-11-06 2002-05-17 Canon Inc 画像処理装置、画像処理方法及び記憶媒体
JP2003216621A (ja) * 2002-01-23 2003-07-31 Fuji Photo Film Co Ltd プログラム、画像管理装置、及び画像管理方法
JP2004040355A (ja) * 2002-07-02 2004-02-05 Nippon Hoso Kyokai <Nhk> 番組インデックス収集付与方法、番組インデックス収集付与装置、番組インデックス収集付与プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3312105B2 (ja) 1997-02-05 2002-08-05 株式会社東芝 動画像インデックス生成方法および生成装置
US7016540B1 (en) * 1999-11-24 2006-03-21 Nec Corporation Method and system for segmentation, classification, and summarization of video images
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
JP4036328B2 (ja) * 2002-09-30 2008-01-23 株式会社Kddi研究所 動画像データのシーン分類装置
US7502513B2 (en) * 2003-11-14 2009-03-10 Lsi Corporation Commercial detector with a start of active video detector
US7519217B2 (en) * 2004-11-23 2009-04-14 Microsoft Corporation Method and system for generating a classifier using inter-sample relationships

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887870A (ja) * 1994-09-16 1996-04-02 Toshiba Corp 情報処理装置
JPH08292965A (ja) * 1995-02-20 1996-11-05 Hitachi Ltd 映像支援システム
JP2002142189A (ja) * 2000-11-06 2002-05-17 Canon Inc 画像処理装置、画像処理方法及び記憶媒体
JP2003216621A (ja) * 2002-01-23 2003-07-31 Fuji Photo Film Co Ltd プログラム、画像管理装置、及び画像管理方法
JP2004040355A (ja) * 2002-07-02 2004-02-05 Nippon Hoso Kyokai <Nhk> 番組インデックス収集付与方法、番組インデックス収集付与装置、番組インデックス収集付与プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006016590A1 (ja) * 2004-08-10 2006-02-16 Sony Corporation 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
JPWO2006016590A1 (ja) * 2004-08-10 2008-07-31 ソニー株式会社 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体
US8634699B2 (en) 2004-08-10 2014-01-21 Sony Corporation Information signal processing method and apparatus, and computer program product
WO2009060507A1 (ja) * 2007-11-05 2009-05-14 Pioneer Corporation 動画編集装置、動画編集方法、動画編集プログラムおよび記録媒体
WO2023139760A1 (ja) * 2022-01-21 2023-07-27 日本電気株式会社 データ拡張装置、データ拡張方法、及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
US20050232489A1 (en) 2005-10-20
US7657096B2 (en) 2010-02-02

Similar Documents

Publication Publication Date Title
US7995074B2 (en) Information presentation method and information presentation apparatus
JP4241709B2 (ja) 画像処理装置
JP2994177B2 (ja) ビデオ・セグメント間の境界部の位置を特定するためのシステム及び方法
JP4194272B2 (ja) 動画像管理装置及び方法
CN101783886B (zh) 信息处理设备、信息处理方法和程序
US20150378544A1 (en) Automated Content Detection, Analysis, Visual Synthesis and Repurposing
US20120294496A1 (en) Face recognition apparatus, control method thereof, and face recognition method
US20100316357A1 (en) Information processing device, information processing method, and information processing program
JP2014106637A (ja) 情報処理装置および方法、並びにプログラム
US8792778B2 (en) Video data display apparatus and method thereof
JP2001160066A5 (ja)
JP2013033453A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5701017B2 (ja) 動画再生装置、動画再生方法、コンピュータプログラム、記憶媒体
US7657096B2 (en) Generation of digested image data
US8717286B2 (en) Information processing apparatus, processing method thereof, and computer-readable storage medium
JP2009123196A (ja) 画像検索装置
JP3579111B2 (ja) 情報処理装置
JP2006081021A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP2006079460A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
US8872954B2 (en) Image processing apparatus having feature extraction and stored image selection capability, method of controlling the apparatus, program thereof, and storage medium
JP2001306579A (ja) 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3547950B2 (ja) 画像入出力装置
JP4656199B2 (ja) 画像処理装置、サムネイル動画作成方法及びサムネイル動画作成プログラム
JP6847168B2 (ja) 動画再生装置及び動画再生方法
JP4780128B2 (ja) スライド再生装置、スライド再生システム、およびスライド再生プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081021

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081118