JP2012114559A - 映像処理装置、映像処理方法及び映像処理プログラム - Google Patents

映像処理装置、映像処理方法及び映像処理プログラム Download PDF

Info

Publication number
JP2012114559A
JP2012114559A JP2010259993A JP2010259993A JP2012114559A JP 2012114559 A JP2012114559 A JP 2012114559A JP 2010259993 A JP2010259993 A JP 2010259993A JP 2010259993 A JP2010259993 A JP 2010259993A JP 2012114559 A JP2012114559 A JP 2012114559A
Authority
JP
Japan
Prior art keywords
group
cut
scene
section
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010259993A
Other languages
English (en)
Inventor
Shin Nakade
慎 中手
Wataru Iba
渉 猪羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2010259993A priority Critical patent/JP2012114559A/ja
Priority to PCT/JP2011/075497 priority patent/WO2012070371A1/ja
Publication of JP2012114559A publication Critical patent/JP2012114559A/ja
Priority to US13/898,765 priority patent/US20130287301A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】簡易な構成で、映像の種類毎に効率的にダイジェストを作成可能な映像処理装置、映像処理方法及び映像処理プログラムを提供する。
【解決手段】特徴量処理部２４は、映像情報３１におけるシーンの特徴を示す特徴量を、シーンから取得する。グループ類別部２５は、複数のシーンからなるグループを、特徴量に基づいて予め定められた複数のグループ種類のいずれかに類別する。カット決定部２７は、類別されたグループのグループ種類に対応する算出式を用いて、特徴量から算出される重要度に基づいて、シーンのうち、ダイジェストとして再生されるカットを決定する。ダイジェスト再生部２８は、カットを再生する。
【選択図】図１

Description

本発明は、映像データのダイジェストを作成する映像処理装置、映像処理方法及び映像処理プログラムに関する。
機器に保存された大量の映像データの中から、ユーザが視聴したい映像を見つけるために、例えば、映像の早送り再生により目的の映像を探すことができるが、多大な時間と労力が必要となる。そこで、映像データの内容の概略を把握するために、映像データのダイジェスト（要約映像）を作成して再生する装置が提案されている。
例えば、各シーンに優先度を付加し、優先度の高いシーンを予め決められた個数選択することで映像コンテンツのダイジェスト化を行う装置（特許文献１参照）や、ニュースやドラマ、歌番組といった番組のジャンルに合わせて、特徴的な区間、すなわち、その番組にとって重要な区間を適切に抽出してダイジェスト映像を作成して再生することができる装置（特許文献２参照）が提案されている。
特開２００８−２２７８６０号公報 特許４０３９８７３号公報
特許文献１に記載の技術では、優先度がすべてのシーンに対して同一の基準によって付加されているが、ユーザが見たいと思うような、映像の中で要所となる、重要あるいは特徴的な部分は、映像の内容によって異なる。
また、特許文献２に記載の方法は、シーンに対して電子番組ガイド（ＥＰＧ）から取得されるジャンル情報を付加し、ジャンルに合わせて特徴的な区間を抽出するが、ジャンル情報を付加する手段が必要となる。
本発明は、簡易な構成で、映像の種類毎に効率的にダイジェストを作成可能な映像処理装置、映像処理方法及び映像処理プログラムを提供することを目的とする。
上記目的を達成するために、本発明の第１の態様は、映像情報（３１）におけるシーンの特徴を示す特徴量を、シーンから取得する特徴量処理部（２４）と、複数のシーンからなるグループを、特徴量に基づいて予め定められた複数のグループ種類のいずれかに類別するグループ類別部（２５）と、類別されたグループのグループ種類に対応する算出式を用いて、特徴量から算出される重要度に基づいて、シーンのうち、ダイジェストとして再生されるカットを決定するカット決定部（２７）と、カットを再生するダイジェスト再生部（２８）とを備える映像処理装置であることを要旨とする。
本発明の第２の態様は、映像情報におけるシーンの特徴を示す特徴量を、シーンから取得するステップと、複数のシーンからなるグループを、特徴量に基づいて予め定められた複数のグループ種類のいずれかに類別するステップと、類別されたグループのグループ種類に対応する算出式を用いて、特徴量から算出される重要度に基づいて、シーンのうち、ダイジェストとして再生されるカットを決定するステップと、カットを再生するステップとを含む映像処理方法であることを要旨とする。
本発明の第３の態様は、映像情報におけるシーンの特徴を示す特徴量を、シーンから取得するステップと、複数のシーンからなるグループを、特徴量に基づいて予め定められた複数のグループ種類のいずれかに類別するステップと、類別されたグループのグループ種類に対応する算出式を用いて、特徴量から算出される重要度に基づいて、シーンのうち、ダイジェストとして再生されるカットを決定するステップと、カットを再生するステップとを含む処理を実行させる映像処理プログラムであることを要旨とする。
本発明によれば、映像情報から取得される特徴量から、グルーピングされたシーンをグループ種類に自動的に類別し、グループ種類毎に定められる手法により適切な区間を、ダイジェストとして再生される区間とすることにより、簡易な構成で、映像の種類毎に効率的にダイジェストを作成可能な映像処理装置、映像処理方法及び映像処理プログラムを提供することができる。
本発明の実施の形態に係る映像処理装置の基本的な構成を説明する模式的なブロック図である。 本発明の実施の形態に係る映像処理装置に用いる代表フレームを説明する模式的な図である。 本発明の実施の形態に係る映像処理装置に用いる特徴量を説明するフレームを図示した一例である。 本発明の実施の形態に係る映像処理装置に用いるグループ類別情報を図示した一例である。 本発明の実施の形態に係る映像処理装置のカット決定部を説明する模式的なブロック図である。 本発明の実施の形態に係る映像処理装置の基準フレーム決定部による処理を説明する図である。 本発明の実施の形態に係る映像処理装置のカット区間決定部による処理を説明する図である。 本発明の実施の形態に係る映像処理方法を説明するフローチャートである。 本発明の実施の形態に係る映像処理方法のうち、カット決定部の処理を説明するフローチャートである。
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、以下に示す実施の形態は、本発明の技術的思想を具体化するための装置や方法、及びこれらの装置に用いられるプログラムを例示するものであって、本発明の技術的思想は、下記の実施の形態に例示した装置や方法、及びこれらの装置に用いられるプログラムに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。
（映像処理装置）
本発明の実施の形態に係る映像処理装置は、図１に示すように、本発明の実施の形態に係る映像処理装置が行う種々の演算を処理する処理部２と、プログラムファイル、動画ファイル等の種々のデータを格納する記憶部３と、ユーザの操作に応じて出力する信号、外部からの信号等の信号を処理部２に入力する入力部４と、種々の映像等を表示する表示部５とを備える。本発明の実施の形態に係る映像処理装置は、ノイマン型コンピュータのハードウェア構成をなすことが可能である。
記憶部３は、映像の実データである映像データ、及び映像データに関連付けられる種々の情報である映像情報３１と、各グループに分けられた映像データの類別に用いられるグループ類別情報３２と、映像情報３１のうち、要約映像であるダイジェストとして再生される区間を定義するダイジェスト情報３３を格納する。また、記憶部３は、本発明の実施の形態に係る映像処理装置が行う処理に必要な一連のプログラムを格納する他、処理に必要な一時記憶域として用いられる。
記憶部３に格納される映像情報３１、グループ類別情報３２、ダイジェスト情報３３等は、論理構造としての表示であり、現実には、映像情報３１、グループ類別情報３２、ダイジェスト情報３３等は、それぞれ別個のハードウェアに格納されて構わない。例えば、映像情報３１、グループ類別情報３２、ダイジェスト情報３３等の情報は、ＳＲＡＭ、ＤＲＡＭ等の揮発性の記憶装置からなる主記憶装置や、ハードディスク（ＨＤ）等の磁気ディスク、磁気テープ、光ディスク、光磁気ディスク等の不揮発性の記憶装置からなる補助記憶装置に格納される。補助記憶装置としては、その他、ＲＡＭディスク、ＩＣカード、フラッシュメモリカード、ＵＳＢフラッシュメモリ、フラッシュディスク（ＳＳＤ）等が使用可能である。
入力部４は、各種スイッチ等の入力装置や、撮影装置、映像再生装置等の外部装置から出力される信号を入力するコネクタ等で構成される。表示部５は、ディスプレイ装置等で構成される。また、入力部４及び表示部５は、入力装置とディスプレイ装置とを応用した構成として、タッチパネルやライトペン等を採用しても良い。
処理部２は、ダイジェスト作成対象シーン決定部２１と、総カット数決定部２２と、グルーピング部２３と、特徴量処理部２４と、グループ類別部２５と、グループ内カット数決定部２６と、カット決定部２７と、ダイジェスト再生部２８とを論理構造として有する。
ダイジェスト作成対象シーン決定部２１は、複数のシーンからダイジェストを作成するに際し、入力部４からの入力によって、ダイジェストに採用され得る候補のシーンであるダイジェスト作成対象シーンを決定する。ダイジェスト作成対象シーンは、例えば、ユーザの操作により、複数のシーンの中から１つずつ選択されても良く、ユーザにより選択された２つのシーンと、選択された２つのシーンの間のすべてのシーンとをダイジェスト作成対象シーンとしても良い。また、ダイジェスト作成対象シーンは、ユーザの操作により指定された日付や時間帯に撮影されたシーンであっても良い。なお、本発明の実施の形態において「シーン」とは、映像の撮影時における撮影操作開始から終了までに区切られた連続的な映像データをいう。
総カット数決定部２２は、ダイジェスト作成対象シーンからダイジェストとして再生されるカットの総数である総カット数Ａｃを決定する。本発明の実施の形態において「カット」とは、シーンのうち、ダイジェストとして再生される区間の映像データをいう。
総カット数Ａｃは、入力部４からの入力により、直接指定されるようにしても良いし、ダイジェストの全体の時間の長さの指定をし、指定されたダイジェストの長さから算出されるようにしても良い。ダイジェストの長さから総カット数Ａｃを決定する場合、総カット数決定部２２は、予め設定された仮定のカットの平均時間に基づいて総カット数Ａｃを算出する。例えば、カットの平均時間が１０秒と設定され、ダイジェストの長さが１８０秒と設定される場合、総カット数Ａｃは、Ａｃ＝１８０／１０＝１８より、１８カットとなる。ダイジェストの長さから総カット数Ａｃを算出する場合、ダイジェストの長さは、入力部４からの入力により指定されるのではなく、各ダイジェスト作成対象シーンの合計時間等の情報から、予め設定されたパラメータに基づいて総カット数決定部２２により自動的に算出されるようにしても良い。
グルーピング部２３は、ダイジェスト作成対象シーン決定部２１が決定した複数のダイジェスト作成対象シーンをいくつかのグループに分けるグルーピングを行う。例えば、グルーピング部２３は、複数のダイジェスト作成対象シーンを、撮影日時順で時系列に並べ、それぞれのダイジェスト作成対象シーンの間の時間である撮影間隔の長い箇所から順に１段階ずつ分割することにより段階毎のグルーピングをする。グルーピング部２３は、他に、各グループに含まれるシーンの合計時間、シーンの撮影間隔、撮影間隔平均等の予め定められた評価項目や、種々の評価項目及び評価項目の変化量の閾値等を用いて段階毎の評価値を算出し、算出された段階毎の評価値に基づいて、最終的にグルーピングを何段階まで行うかを決定することができる。
特徴量処理部２４は、各ダイジェスト作成対象シーンについて、各シーンを構成する静止画像であるフレームの中から複数の代表フレームを選択し、選択された各代表フレームの特徴を示すフレーム特徴量等の、各ダイジェスト作成対象シーンの特徴を示す特徴量を取得するための処理をする。代表フレームは、例えば、各フレームを記録した時刻の１秒毎のフレームとすることができる。即ち、図２に示すように、それぞれの記録時刻に記録されたフレームｆ（０）〜ｆ（１６）から構成されるシーンについて、特徴量処理部２４は、撮影開始から０秒後に記録された先頭のフレームｆ（０）、１秒後に記録されたｆ（５）、２秒後に記録されたｆ（１０）、３秒後に記録されたｆ（１５）の４フレームを、それぞれ代表フレームＦ（０）、Ｆ（１）、Ｆ（２）、Ｆ（３）とし、これら代表フレームＦ（０）、Ｆ（１）、Ｆ（２）、Ｆ（３）から特徴量を取得できる。
代表フレームＦ（ｉ）（ｉ＝０，１，２，…）毎に取得可能な特徴量であるフレーム特徴量は、代表フレームＦ（ｉ）に表示される顔の数Ｎｕｍ（Ｆ（ｉ））、代表フレームＦ（ｉ）に表示される顔の中で最も大きく表示される顔の中心から、フレームの４角のうち最も近い角までの距離Ｄｉｓ（Ｆ（ｉ））、代表フレームＦ（ｉ）に表示される顔の中で最も大きく表示される顔の大きさＳｉｚ（Ｆ（ｉ））等を採用可能である。
例えば、距離Ｄｉｓ（Ｆ（ｉ））は、図３に示すように、代表フレームＦ（ｉ）に表示される顔の中で最も大きく表示される顔Ａの中心から、代表フレームＦ（ｉ）の４角のうち最も近い左上の角までの距離である。Ｓｉｚ（Ｆ（ｉ））は、例えば、最も大きく映っている顔Ａの縦の長さとすることができる。図３に示す代表フレームＦ（ｉ）は、顔が３人分表示されているため、Ｎｕｍ（Ｆ（ｉ））＝３となる。
また、代表フレームＦ（ｉ）の撮影時のズーム倍率、ズーム操作中であったか否か等の「ズーム情報」を特徴量として採用可能である。ズーム情報は、撮影装置によるシーンの各フレーム撮影時に、ズームインの操作中か、ズームアウトの操作中か、ズーム倍率は何倍かを、各フレームに関連付けて映像データと共に記録されるようにすれば良い。ズームイン、ズームアウト操作に関するズーム情報は、特徴量処理部２４が複数のフレームを画像解析することにより取得しても良い。
上記の他、特徴量処理部２４が取得するフレーム特徴量は、以下に述べる「撮影位置」、「移動距離」、「回転角度」、「画像の明るさ」、「光源の種類」等を採用可能である。
「撮影位置」は、シーンの撮影時の撮影装置の位置を示す情報である。撮影位置は、例えば、撮影装置によるシーンの各フレームの撮影時に、全地球測位システム（ＧＰＳ）等の測位システムにより取得された位置情報を、映像データと共に記憶部３に記録されるようにし、特徴量処理部２４が記憶部３から読み出すようにすれば良い。
「移動距離」、「回転角度」は、それぞれ１つ前の代表フレームからの、３軸方向の撮影装置の移動距離、３軸方向の撮影装置の回転角度である。移動距離及び回転角度は、撮影装置が備える加速度センサ、ジャイロセンサ等の物理量センサにより検出される加速度、角速度、傾き等の物理量が映像データと共に記録されたものを、特徴量処理部２４が読み出しても良いし、特徴量処理部２４が映像や音声を解析することにより取得しても良い。
「画像の明るさ」は、特徴量処理部２４が代表フレームの画素の輝度の平均値を画像処理することにより取得される。画像の明るさは、フレームの一部の輝度を選択的に取得するようにしても良く、フレームの色相を判別するようにしても良い。画像の明るさは、例えば、Ｆ値、画像解析により取得できるフレーム内の画素の輝度の平均値等、種々の量を用いることができる。
「光源の種類」は、例えば、太陽光、白熱電球、各種放電灯、ＬＥＤ灯等の光源の種類であり、例えば、特徴量処理部２４によるフレームの画像解析等、撮影装置の撮像素子を含むフォトセンサが検出した光のスペクトル分布を解析することにより取得可能である。
特徴量処理部２４は、特徴量として、フレーム特徴量の他、シーン毎の特徴を示すシーン特徴量を取得可能である。シーン特徴量は、例えば、シーンの撮影開始時刻、終了時刻、撮影時間、１つ前のシーンとの撮影間隔等を採用可能である。
グループ類別部２５は、特徴量処理部２４が取得した特徴量に基づいて、グルーピング部２３がグルーピングした各グループをグループ種類のいずれかに類別する。グループ種類は、例えば、「子供」、「運動会」、「入学式」、「風景」、「スポーツ」、「音楽」、「パーティ」、「結婚式」等のグループ名とすることができる。
グループ類別部２５は、各グループをいずれかのグループ種類に類別するために、各グループに対して、特徴量からグループ類別用項目毎の値を決定する。図４に示すように、本発明の実施の形態の説明において、グループ類別用項目は、「撮影時間」、「パン／チルト回数」、「ズーム回数」、「顔の数」、「明るさの変化」、「撮影状況」、「移動」の７項目として例示的に説明する。
「撮影時間」について、グループ類別部２５は、グループに含まれる各シーンの撮影時間の平均値を求め、平均値が予め定められた閾値以上であるグループの値を「長い」、閾値未満であるグループの値を「短い」とする。
「パン／チルト回数」について、グループ類別部２５は、撮影装置の回転角度を参照して、撮影中にパンまたはチルトの操作が行われた回数が、２回以上のシーンを最も多く含むグループの値を「複数回」、１回のシーンを最も多く含むグループの値を「１度だけ」、０回のシーンを最も多く含むグループの値を「あまり発生しない」とする。
「ズーム回数」について、グループ類別部２５は、ズーム情報を参照して、各シーンの撮影時に行われたズーム操作の回数を求め、グループ内のズーム操作の回数が予め定められた閾値以上であるグループの値を「多い」、閾値未満であるグループの値を「少ない」とする。ズーム回数は、ズームイン、ズームアウトのいずれかのズーム操作をカウントしても良いし、ズームイン、ズームアウト両方の操作をカウントしても良い。
「顔の数」について、グループ類別部２５は、各シーンの、Ｎｕｍ＝１となる代表フレームＦ１（ｉ）、Ｎｕｍ≧２となる代表フレームＦ２（ｉ）、Ｎｕｍ＝０となる代表フレームＦ０（ｉ）の数をそれぞれカウントし、Ｆ１（ｉ）が最も多いシーンを最も多く含むグループの値を「１つ」、Ｆ２（ｉ）が最も多いシーンを最も多く含むグループの値を「複数」、Ｆ０（ｉ）が最も多いシーンを最も多く含むグループの値を「無し」とする。
「明るさの変化」について、グループ類別部２５は、各グループの、代表フレーム間の画像の明るさが所定の閾値以上変化した回数をカウントし、カウントされた回数が所定の回数以上のグループの値を「あり」とし、閾値未満のグループの値を「なし」とする。画像の明るさの変化は、１つのシーン内の代表クレーム間の変化のみでなく、２つのシーンの代表クレーム間の変化としても良い。
「撮影状況」について、グループ類別部２５は、画像の明るさ、または光源の種類を参照して、各シーンが屋内、屋外いずれの状況で撮影されたかを判定し、屋内で撮影されたと判定されたシーンと屋外で撮影されたと判定されたシーンとの割合が所定の範囲内のグループの値を「屋内または屋外」、屋内で撮影されたと判定されたシーンを多く含むグループの値を「屋内」、屋外で撮影されたと判定されたシーンを多く含むグループの値を「屋外」とする。画像の明るさからシーンが撮影された状況を判定する場合は、画像の明るさが所定の閾値以上のシーンを屋外、閾値以下のシーンを屋内と判定すれば良い。
「移動」について、グループ類別部２５は、各シーンの撮影開始時の位置情報から、シーン間の移動距離を求め、グループ内の総移動距離を算出し、総移動距離が予め定められた閾値以上のグループの値を「移動あり」、閾値未満のグループの値を「移動なし」とする。
グループ類別部２５は、各グループに対して、グループ類別用項目毎の値を決定し、記憶部３に格納されたグループ類別情報３２を参照して、各グループをグループ種類のいずれかに類別する。グループ類別情報３２は、例えば、図４に示すように、グループ種類ごとのグループ類別用項目の値を定義するテーブルとすることができる。
グループ内カット数決定部２６は、総カット数決定部２２が決定した総カット数Ａｃを各グループに割り振り、グループ毎の、ダイジェストとして再生されるカットの数であるカット数Ｇｃを決定する。グループ内カット数決定部２６は、例えば、グループに含まれるシーンの総数やグループに含まれるシーンの合計撮影時間等に比例するようにグループ毎のカット数Ｇｃを決定する。グループ内カット数決定部２６は、例えば、式（１）により、第ｎのグループ（ｎ＝１,２，…，ｇ）のカット数Ｇｃ（ｎ）を算出することができる。
Figure 2012114559
式（１）において、Ｌ（ｎ）は第ｎのグループのシーンの合計時間であり、Ｎ（ｎ）は第ｎのグループのシーンの数である。
グループ内カット数決定部２６は、各グループについて、シーン中、顔が表示されている区間（Ｎｕｍ≧１が継続する区間）の合計時間に比例するようにカット数Ｇｃを決定しても良く、顔が表示されない区間（Ｎｕｍ＝０が継続する区間）の合計時間に比例するようにカット数Ｇｃを決定しても良い。
また、グループ内カット数決定部２６は、ユーザに所望する撮影内容を選択させ、ユーザが選択した内容を多く含むようにカット数Ｇｃを決定しても良い。即ち、グループ内カット数決定部２６は、「動きのあるシーンを多く」、「風景を見たい」等の撮影内容を示す選択肢を表示部５に表示してユーザに提示する。例えば、ユーザの操作に応じて、「動きのあるシーンを多く」が入力部４により選択されると、グループ内カット数決定部２６は、「運動会」、「スポーツ」等の選択した選択肢に応じたグループ種類に類別されるグループが多くなるようにカット数Ｇｃを決定することができる。
カット決定部２７は、図５に示すように、重要度算出部２７１と、基準フレーム決定部２７２と、カット区間決定部２７３と、終了判定部２７４とを論理構成として有する。カット決定部２７は、各グループについて、グループ種類毎に定められる手法によりカットを決定する。
重要度算出部２７１は、各グループについて、特徴量処理部２４が取得した特徴量から、グループ類別部２５により類別されるグループ種類毎に対応する算出式を用いて、各代表フレームの重要度を算出する。重要度算出部２７１は、グループ種類毎に、グループの要所を含む適切な区間の重要度が高くなるような算出式を設定可能である。
例えば、グループ類別部２５がグループ種類を「子供」と類別したグループについて、重要度算出部２７１は、人の顔がフレームの中心に大きく表示される代表フレームの重要度が高くなるような算出式を用いることができる。Ｎｕｍ（Ｆ（ｉ））、Ｄｉｓ（Ｆ（ｉ））、Ｓｉｚ（Ｆ（ｉ））の最大値をそれぞれＭａｘＮｕｍ、ＭａｘＤｉｓ、ＭａｘＳｉｚとすると、例えば、グループ種類が「子供」であるグループについて、重要度算出部２７１は、式（２）を用いて代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））を算出する。
I(F(i))=10Siz(F(i))/MaxSiz+Dis(F(i))/MaxDis …（２）
また、例えば、グループ類別部２５がグループ種類を「パーティ」と類別したグループについて、重要度算出部２７１は、人の顔がフレームに多く表示される代表フレームの重要度が高くなるような算出式を用いることができる。例えば、グループ種類が「パーティ」であるグループについて、重要度算出部２７１は、式（３）を用いて代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））を算出する。
I(F(i))=100Num(F(i))/MaxNum+10Dis(F(i))/MaxDis+Siz(F(i))/MaxSiz …（３）
また、例えば、グループ類別部２５がグループ種類を「風景」と類別したグループについて、重要度算出部２７１は、人の顔がフレームに表示されない代表フレームの重要度が高くなるような算出式を用いることができる。例えば、グループ種類が「風景」であるグループについて、重要度算出部２７１は、式（４）を用いて代表フレームＦ（ｉ）の重要度Ｉ（Ｆ（ｉ））を算出する。
I(F(i))=MaxNum/Num(F(i))+MaxSiz/Siz(F(i))+MaxDis/Dis(F(i)) …（４）
基準フレーム決定部２７２は、重要度算出部２７１がグループ種類毎に異なる算出式で算出した重要度に基づいて、グループ毎に、カットの区間を決定する際の基準のフレームとなる基準フレームＦｂを、グループ内カット数決定部２６がグループ毎に決定したカット数Ｇｃだけ決定する。基準フレーム決定部２７２は、例えば、図６（ａ）に示すように、４つのシーンｓ１〜ｓ４からなるグループについて、同一の算出式から算出された重要度Ｉ（Ｆ（ｉ））が、グループ内で最も高くなっているシーンｓ２内の代表フレームを、基準フレームＦｂとすることができる。
１つのグループについてカットを複数決定する場合、基準フレーム決定部２７２は、図６（ｂ）に示すように、右上がりのハッチングで示す既にカットとして選択された区間を除く区間の代表フレームの中で最も重要度Ｉ（Ｆ（ｉ））が高い代表フレームを、既に決定された基準フレームの次の新たな基準フレームＦｂとして決定することができる。また、基準フレーム決定部２７２は、既にカットとして決定された区間と、その前後の一定区間とを除く区間に含まれる代表フレームの中で、最も重要度が高い代表フレームを新たな基準フレームＦｂとすることができる。例えば、基準フレーム決定部２７２は、図６（ｃ）に示すように、右上がりのハッチングで示すカットとして決定された区間と、左上がりのハッチングで示すカットの前後それぞれ３０秒の区間とを除く区間に含まれる代表フレームの中で、最も重要度が高い代表フレームを新たな基準フレームＦｂとする。
基準フレーム決定部２７２は、既にカットとして決定された区間と、その前後の一定区間とを除く区間から、新たな基準フレームＦｂを決定することにより、ダイジェストとして再生される複数のカット内に類似するカットを含むことを防止でき、効率よくダイジェストを決定できる。
基準フレーム決定部２７２は、既にカットとして決定された区間を含むシーンを除いた区間から基準フレームＦｂを決定し、各シーンから１つのカットのみを決定しても良い。例えば、図６（ｄ）に示すように、既にシーンｓ２からカット（右上がりのハッチング参照）が決定されており、さらに新たな基準フレームＦｂを決定する場合、基準フレーム決定部２７２は、シーンｓ２（右上がり及び左上がりのハッチング参照）を除いたシーンｓ１，ｓ３，ｓ４のうち、最も重要度が高い代表フレームを新たな基準フレームＦｂとする。
このように、４つのシーンｓ１〜ｓ４にそれぞれ１つずつカットを決定していき、更に新たな基準フレームＦｂを決定する場合、基準フレーム決定部２７２は、例えば、図６（ｅ）に示すように、各シーンｓ１〜ｓ４に１つずつ決定された４つのカット（右上がりのハッチング参照。）を除く区間に含まれる代表フレームのうち、最も重要度が高い代表フレームを新たな基準フレームＦｂとすれば良い。図６（ｄ）において左上がりのハッチングで示したシーンｓ２のカットを除く区間は、新たな基準フレームＦｂが決定されない除外区間とされていたが、図６（ｅ）に示すように、４つのシーンｓ１〜ｓ４にそれぞれ１つずつカットを決定していき、更に新たな基準フレームＦｂを決定する場合において、除外区間とされず、新たな基準フレームＦｂが決定され得る。
カット区間決定部２７３は、基準フレーム決定部２７２が決定した基準フレームＦｂ、及びグループ種類毎に対応して選定された特徴量から定められる予備区間ｐを決定し、予備区間ｐを少なくとも含むように、基準フレームＦｂの前後にカットとなる区間を決定する。
カット区間決定部２７３は、例えば、グループ種類が「子供」、「パーティ」等であるグループについて、特徴量として「顔の数」を用いて、基準フレームＦｂの前後の顔が検出されている区間（Ｎｕｍ（Ｆ（ｉ））≧１である区間）を予備区間ｐとすることができる。その他、例えば、グループ種類が「風景」であるグループについて、カット区間決定部２７３は、特徴量として「顔の数」、「画像の明るさ」を用いて、基準フレームＦｂの前後の、顔が検出されず、輝度が閾値以上の区間を予備区間ｐとすることができる。
基準フレームＦｂから、前に最長５秒、後ろに最長１５秒、合計最長２０秒の区間をカットと決定する場合、カット区間決定部２７３は、例えば、図７（ａ）に示すように、基準フレームＦｂから、前に５秒、後ろに１５秒の合計２０秒の区間をカットＣとする。
図７（ｂ）に示すように、基準フレームＦｂの前の予備区間ｐが３秒しかなく、５秒に満たない場合は、カット区間決定部２７３は、基準フレームＦｂから、前に３秒、後ろに１５秒の合計１８秒の区間をカットＣとする。図７（ｃ）に示すように、基準フレームＦｂの後ろの予備区間ｐが１０秒しかなく、１５秒に満たない場合は、カット区間決定部２７３は、基準フレームＦｂから、前に５秒、後ろに１０秒の合計１５秒の区間をカットＣとする。
また、カット区間決定部２７３は、予備区間ｐの長さが定められた閾値に満たない場合、カットの区間を所定の時間となるように決定することができる。例えば、図７（ｄ）に示すように、予備区間ｐが基準フレームＦｂの前後３秒、合計６秒しかなく、１０秒に満たない場合、カット区間決定部２７３は、予備区間ｐの開始から１０秒の区間をカットＣとする。
カット区間決定部２７３は、決定した各カットを映像データに定義するダイジェスト情報３３を、記憶部３に格納する。
ダイジェスト再生部２８は、記憶部３に格納されたダイジェスト情報３３を読み出し、ダイジェスト情報３３により定義される、映像情報３１の映像データであるカットを、時系列順に表示部５に表示してダイジェストを再生する。
なお、図１に示す処理部２のダイジェスト作成対象シーン決定部２１、総カット数決定部２２、グルーピング部２３、特徴量処理部２４、グループ類別部２５、グループ内カット数決定部２６、カット決定部２７、ダイジェスト再生部２８は、それぞれ論理構造としての表示であり、それぞれ別個のハードウェアである処理装置により構成されて構わない。
（映像処理方法）
図８のフローチャートを用いて、本発明の実施の形態に係る映像処理方法について説明する。なお、以下に述べる映像処理方法は、本発明の実施の形態に係る映像処理装置に適用可能な一例であり、これ以外の種々の映像処理方法が本発明の実施の形態に係る映像処理装置に適用可能であることは勿論である。
先ず、ステップＳ１において、ダイジェスト作成対象シーン決定部２１は、記憶部３から映像情報３１を読み出し、入力部４からの入力に応じて、ダイジェストに採用され得る候補のシーンであるダイジェスト作成対象シーンを決定する。
ステップＳ２において、総カット数決定部２２は、入力部４からの入力、または指定されたダイジェストの長さに基づいて、ダイジェスト作成対象シーンからダイジェストとして再生されるカットの総数である総カット数Ａｃを決定する。
ステップＳ３において、グルーピング部２３は、複数のダイジェスト作成対象シーンを、複数のダイジェスト作成対象シーンの間の撮影間隔等に基づいて、いくつかのグループに分ける。
ステップＳ４において、特徴量処理部２４は、各ダイジェスト作成対象シーンを構成するフレームから複数の代表フレームを選択し、代表フレーム毎に、各シーンの特徴を示す特徴量を取得する。
ステップＳ５において、グループ類別部２５は、特徴量処理部２４が取得した特徴量から、各グループについて、グループ類別用項目毎の値を決定する。そして、グループ類別部２５は、記憶部３からグループ類別情報３２を読み出し、各グループ類別用項目の値とグループ類別情報３２とを参照して、グルーピング部２３がグルーピングした各グループを、グループ種類のいずれかに類別する。
ステップＳ６において、グループ内カット数決定部２６は、総カット数決定部２２が決定した総カット数Ａｃを、グループに含まれるシーンの総数やシーンの合計時間等に基づいて各グループに割り振り、グループ毎に、ダイジェストとして再生されるカットの数であるカット数Ｇｃを決定する。
ステップＳ７において、カット決定部２７は、グループ類別部２５がグループ種類のいずれか類別したグループ毎に、それぞれカットとなる区間を、グループ内カット数決定部２６が決定したカット数Ｇｃだけ決定する。カット決定部２７は、各カットをダイジェスト作成対象シーン上に定義する情報をダイジェスト情報３３として記憶部３に格納する。
ステップＳ８において、ダイジェスト再生部２８は、記憶部３に格納されたダイジェスト情報３３を読み出し、記憶部３に格納された映像情報３１からカットを時系列順に表示部５に表示してダイジェストを再生し、終了する。
（カット決定部２７の処理の内容）
図９のフローチャートを用いて、上述した図８のフローチャートのステップＳ７の内容を、図６、図７を参照しながら、一例として説明する。
先ず、ステップＳ７１において、重要度算出部２７１は、特徴量処理部２４が取得した特長量から、グループに含まれる全シーンの各代表フレームの重要度Ｉ（Ｆ（ｉ））を、グループ類別部２５がグループ種類のいずれかにる類別したグループ毎に異なる算出式を用いて算出する。
次いで、ステップＳ７２において、基準フレーム決定部２７２は、算出された重要度Ｉ（Ｆ（ｉ））に基づいてカットの基準のフレームとなる基準フレームＦｂを決定する。ステップＳ７２における処理が初回の場合、基準フレーム決定部２７２は、例えば、図６（ａ）に示すように、グループ内で最も重要度Ｉ（Ｆ（ｉ））が高い代表フレームを基準フレームＦｂとして選択することができる。
ステップＳ７３において、カット区間決定部２７３は、基準フレームＦｂの前後に、カットの開始、終了時刻を決定することにより、ダイジェスト作成対象シーン上にカットを定義する。カット区間決定部２７３は、ダイジェスト作成対象シーン上にカットを定義する情報をダイジェスト情報３３として記憶部３に格納する。
ステップＳ７４において、終了判定部２７４は、既に決定したカットの数と、グループ内カット数決定部２６が決定したカット数Ｇｃ（ｎ）とを参照し、各グループについてカット数Ｇｃ（ｎ）のすべてのカットの区間を決定したか否かを判定する。終了判定部２７４が、各グループについてカット数Ｇｃ（ｎ）のすべてのカットの区間を決定していないと判定した場合、ステップＳ７２に戻り、基準フレーム決定部２７２は、次の新たな基準フレームＦｂを決定する。終了判定部２７４が、各グループについてカット数Ｇｃ（ｎ）のすべてのカットの区間を決定したと判定した場合、カット決定部２７は、ステップＳ７における処理を終了する。
本発明の実施の形態に係る映像処理装置によれば、映像情報から取得される特徴量から、グルーピングされたシーンをグループ種類のいずれかに自動的に類別し、グループ種類毎に定められる手法により適切な区間を、ダイジェストとして再生される区間とすることにより、簡易な構成で、映像の種類毎に効率的にダイジェストを作成可能な映像処理装置、映像処理方法、映像処理プログラムを提供することができる。
（その他の実施の形態）
本発明は上記の実施の形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
既に述べた実施の形態においては、映像処理装置は、特徴量がシーンを画像処理することにより取得可能な場合、テレビ番組等の要約映像作成に応用可能である。
また、既に述べた実施の形態においては、映像処理方法の各ステップは、図８のフローチャートを用いて説明した順序に限られるものでなく、例えば、ステップＳ２における総カット数Ａｃの決定を、ステップＳ１に先だって予め行う等、適宜、ステップの省略、順序の変更等をしても構わない。
上記の他、本発明の実施の形態を応用した構成等、本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
２…処理部
３…記憶部
４…入力部
５…表示部
２１…ダイジェスト作成対象シーン決定部
２２…総カット数決定部
２３…グルーピング部
２４…特徴量処理部
２５…グループ類別部
２６…グループ内カット数決定部
２７…カット決定部
２８…ダイジェスト再生部
３１…映像情報
３２…グループ類別情報
３３…ダイジェスト情報
２７１…重要度算出部
２７２…基準フレーム決定部
２７３…カット区間決定部
２７４…終了判定部

Claims (6)

  1. 映像情報におけるシーンの特徴を示す特徴量を、前記シーンから取得する特徴量処理部と、
    複数の前記シーンからなるグループを、前記特徴量に基づいて予め定められた複数のグループ種類のいずれかに類別するグループ類別部と、
    前記類別されたグループのグループ種類に対応する算出式を用いて、前記特徴量から算出される重要度に基づいて、前記シーンの内、ダイジェストとして再生されるカットを決定するカット決定部と、
    前記カットを再生するダイジェスト再生部と
    を備えることを特徴とする映像処理装置。
  2. 前記カット決定部が、
    前記重要度に基づいて、前記カットの区間を決定する際の基準となるフレームである基準フレームを決定する基準フレーム決定部と、
    前記シーンの内、前記類別されたグループのグループ種類に対応する前記特徴量から定められる区間である予備区間を決定し、前記予備区間を少なくとも含むように、前記基準フレームの前後に前記カットとなる区間を決定するカット区間決定部と
    を備えることを特徴とする請求項１に記載の映像処理装置。
  3. 映像情報におけるシーンの特徴を示す特徴量を、前記シーンから取得するステップと、
    複数の前記シーンからなるグループを、前記特徴量に基づいて予め定められた複数のグループ種類のいずれかに類別するステップと、
    前記類別されたグループのグループ種類に対応する算出式を用いて、前記特徴量から算出される重要度に基づいて、前記シーンのうち、ダイジェストとして再生されるカットを決定するステップと、
    前記カットを再生するステップと
    を含むことを特徴とする映像処理方法。
  4. 前記カットを決定するステップが、
    前記重要度に基づいて、前記カットの区間を決定する際の基準となるフレームである基準フレームを決定するステップと、
    前記シーンの内、前記類別されたグループのグループ種類に対応する前記特徴量から定められる区間である予備区間を決定し、前記予備区間を少なくとも含むように、前記基準フレームの前後に前記カットとなる区間を決定するステップと
    を含むことを特徴とする請求項３に記載の映像処理方法。
  5. 映像情報におけるシーンの特徴を示す特徴量を、前記シーンから取得するステップと、
    複数の前記シーンからなるグループを、前記特徴量に基づいて予め定められた複数のグループ種類のいずれかに類別するステップと、
    前記類別されたグループのグループ種類に対応する算出式を用いて、前記特徴量から算出される重要度に基づいて、前記シーンのうち、ダイジェストとして再生されるカットを決定するステップと、
    前記カットを再生するステップと
    を含む処理をコンピュータに実行させることを特徴とする映像処理プログラム。
  6. 前記カットを決定するステップが、
    前記重要度に基づいて、前記カットの区間を決定する際の基準となるフレームである基準フレームを決定するステップと、
    前記シーンの内、前記類別されたグループのグループ種類に対応する前記特徴量から定められる区間である予備区間を決定し、前記予備区間を少なくとも含むように、前記基準フレームの前後に前記カットとなる区間を決定するステップと
    を含むことを特徴とする請求項５に記載の映像処理プログラム。
JP2010259993A 2010-11-22 2010-11-22 映像処理装置、映像処理方法及び映像処理プログラム Pending JP2012114559A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010259993A JP2012114559A (ja) 2010-11-22 2010-11-22 映像処理装置、映像処理方法及び映像処理プログラム
PCT/JP2011/075497 WO2012070371A1 (ja) 2010-11-22 2011-11-04 映像処理装置、映像処理方法及び映像処理プログラム
US13/898,765 US20130287301A1 (en) 2010-11-22 2013-05-21 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010259993A JP2012114559A (ja) 2010-11-22 2010-11-22 映像処理装置、映像処理方法及び映像処理プログラム

Publications (1)

Publication Number Publication Date
JP2012114559A true JP2012114559A (ja) 2012-06-14

Family

ID=46145721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010259993A Pending JP2012114559A (ja) 2010-11-22 2010-11-22 映像処理装置、映像処理方法及び映像処理プログラム

Country Status (3)

Country Link
US (1) US20130287301A1 (ja)
JP (1) JP2012114559A (ja)
WO (1) WO2012070371A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045543A1 (ja) * 2013-09-26 2015-04-02 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
US11594327B2 (en) 2016-12-28 2023-02-28 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and recording medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6614198B2 (ja) * 2017-04-26 2019-12-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN112135188A (zh) * 2020-09-16 2020-12-25 咪咕文化科技有限公司 视频裁剪方法、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000253351A (ja) * 1999-03-01 2000-09-14 Mitsubishi Electric Corp 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002232828A (ja) * 2001-01-29 2002-08-16 Jisedai Joho Hoso System Kenkyusho:Kk 映像ダイジェスト作成方法
JP2005277733A (ja) * 2004-03-24 2005-10-06 Seiko Epson Corp 動画像処理装置
JP2005277531A (ja) * 2004-03-23 2005-10-06 Seiko Epson Corp 動画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090251614A1 (en) * 2006-08-25 2009-10-08 Koninklijke Philips Electronics N.V. Method and apparatus for automatically generating a summary of a multimedia content item
US20090003799A1 (en) * 2007-06-29 2009-01-01 Victor Company Of Japan, Ltd. Method for apparatus for reproducing image data
US8200063B2 (en) * 2007-09-24 2012-06-12 Fuji Xerox Co., Ltd. System and method for video summarization
US9171578B2 (en) * 2010-08-06 2015-10-27 Futurewei Technologies, Inc. Video skimming methods and systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000253351A (ja) * 1999-03-01 2000-09-14 Mitsubishi Electric Corp 動画要約装置および動画要約作成プログラムを記録したコンピュータ読み取り可能な記録媒体および動画再生装置および動画再生プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2002232828A (ja) * 2001-01-29 2002-08-16 Jisedai Joho Hoso System Kenkyusho:Kk 映像ダイジェスト作成方法
JP2005277531A (ja) * 2004-03-23 2005-10-06 Seiko Epson Corp 動画像処理装置
JP2005277733A (ja) * 2004-03-24 2005-10-06 Seiko Epson Corp 動画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015045543A1 (ja) * 2013-09-26 2015-04-02 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
JP2015064811A (ja) * 2013-09-26 2015-04-09 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
US9832439B2 (en) 2013-09-26 2017-11-28 Fujifilm Corporation Device for determining principal facial image in photographic image, and method and program for controlling same
US11594327B2 (en) 2016-12-28 2023-02-28 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and recording medium

Also Published As

Publication number Publication date
US20130287301A1 (en) 2013-10-31
WO2012070371A1 (ja) 2012-05-31

Similar Documents

Publication Publication Date Title
US7383509B2 (en) Automatic generation of multimedia presentation
JP5735330B2 (ja) 画像処理装置および画像処理方法
CN103702039B (zh) 图像编辑装置和图像编辑方法
US20030063130A1 (en) Reproducing apparatus providing a colored slider bar
US20090077137A1 (en) Method of updating a video summary by user relevance feedback
JP2011217209A (ja) 電子機器、コンテンツ推薦方法及びプログラム
WO2011059029A1 (ja) 映像処理装置、映像処理方法、および映像処理プログラム
JP5370170B2 (ja) 要約映像生成装置および要約映像生成方法
US8897603B2 (en) Image processing apparatus that selects a plurality of video frames and creates an image based on a plurality of images extracted and selected from the frames
Chen et al. Resource allocation for personalized video summarization
KR101268987B1 (ko) 메타데이터를 자동적으로 생성/갱신하는 멀티미디어 데이터기록 방법 및 장치
JP2011504702A (ja) ビデオ要約を生成する方法
KR20160044981A (ko) 동영상 처리 장치 및 방법
WO2012160771A1 (ja) 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路
US20100111498A1 (en) Method of creating a summary
WO2012070371A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
JP2006081021A (ja) 電子アルバム表示システム、電子アルバム表示方法、電子アルバム表示プログラム、画像分類装置、画像分類方法、及び画像分類プログラム
JP5146282B2 (ja) 情報処理装置、表示制御方法、及びプログラム
JP2008199330A (ja) 動画像管理装置
Chu et al. Tiling slideshow: an audiovisual presentation method for consumer photos
JP5049416B2 (ja) 画像ファイル生成装置、画像ファイル再生装置及び画像ファイル生成方法
JP6037443B2 (ja) 映像間対応関係表示システム及び映像間対応関係表示方法
US20140189769A1 (en) Information management device, server, and control method
US10225459B2 (en) Image reproducing apparatus that selects image from multiple images and reproduces same, method of controlling image reproducing apparatus, and storage medium
JP2000069420A (ja) 映像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130725

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140204