JP2009272873A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2009272873A
JP2009272873A JP2008121408A JP2008121408A JP2009272873A JP 2009272873 A JP2009272873 A JP 2009272873A JP 2008121408 A JP2008121408 A JP 2008121408A JP 2008121408 A JP2008121408 A JP 2008121408A JP 2009272873 A JP2009272873 A JP 2009272873A
Authority
JP
Japan
Prior art keywords
playback
playback section
stream
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008121408A
Other languages
English (en)
Other versions
JP4737228B2 (ja
Inventor
Naoki Morimoto
森本  直樹
Kenichiro Aritome
憲一郎 有留
Yukio Isobe
幸雄 磯部
Atsushi Mae
篤 前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008121408A priority Critical patent/JP4737228B2/ja
Priority to US12/416,299 priority patent/US8886012B2/en
Priority to CN200910134593XA priority patent/CN101577137B/zh
Priority to TW098113664A priority patent/TW201008278A/zh
Priority to KR1020090039175A priority patent/KR20090116644A/ko
Publication of JP2009272873A publication Critical patent/JP2009272873A/ja
Application granted granted Critical
Publication of JP4737228B2 publication Critical patent/JP4737228B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/738Presentation of query results
    • G06F16/739Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/638Presentation of query results
    • G06F16/639Presentation of query results using playlists
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2541Blu-ray discs; Blue laser DVR discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/002Programmed access in sequence to a plurality of record carriers or indexed parts, e.g. tracks, thereof, e.g. for editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】所定のデータ記録フォーマットに従い記録された動画のなかから、特徴的な動画を抽出して自動的に動画編集をする。
【解決手段】撮像されるAVストリームの特徴情報を検出する検出部104と、所定のデータ記録フォーマットに従い、複数のAVストリームと、AVストリームの各々に対して検出部により検出された特徴情報を含む属性を定義するクリップ情報と、AVストリームの各々に対して再生開始点と再生終了点とを設定することにより再生区間を指定する1以上の再生区間データとを被記録媒体に記録する記録部114と、特徴情報の検出時点に基づいて、AVストリームに対して再生区間を設定する再生区間設定部108と、再生区間設定部により設定された複数の再生区間を指定する再生区間データを生成するデータ生成部112と、を備える情報処理装置を提供する。
【選択図】図1

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関し、特に、所定のデータ記録フォーマットに従って記録されたAVストリームを編集する情報処理装置、情報処理方法およびプログラムに関する。
最近では、ディスク型記録メディアの記録容量の増大に伴って、従来の録画テープに代わってディスクに動画像や静止画を保存するタイプのビデオカメラが出現してきている。ディスク型記録メディアはランダム・アクセスが可能であるから、好きなシーンを効率的に見つけ出すことができるとともに、データへのアクセスは非接触であるから情報記録媒体(メディア)を劣化させることなく利用することができる。例えば、DVDビデオカメラは、画質の良さや編集ができるなどの使い勝手の良さから年々ユーザが拡大してきている。
情報記録媒体(メディア)に対して動画等のコンテンツを記録する場合、AVCHD等所定のデータフォーマットに従い、AVストリーム実体データとは異なる情報を併せて生成して記録する処理が行われる。AVストリーム実体データとは異なる情報とは、例えば、AVストリームのサイズや再生時間等の属性情報や、AVストリームに対して設定された再生区間情報などが挙げられる。再生区間情報とは、AVストリームに対して再生開始点と再生終了点の情報を一組としたものである。
通常、1つのAVストリームに対しては、複数の再生区間情報を設定することができる。また、複数のAVストリームに対して設定された複数の再生区間を指定して再生リスト(プレイリスト)を生成することもできる。例えば、情報記録媒体(メディア)に記録された動画コンテンツのうち、ユーザ入力により特徴的な部分が指定された場合に、当該特徴的な部分を含む再生区間情報を設定し、再生リスト(プレイリスト)を生成することができる。これにより、ユーザは、ダイジェスト的な再生リスト(プレイリスト)を作成して、短時間でDVDビデオカメラにより撮像された内容を確認することが可能となる。
特開2008−33983号公報
しかし、ユーザが動画コンテンツの特徴的な部分を指定するためには、撮像した動画コンテンツを再度確認しなければならず、ユーザ入力することなく簡単に特徴的な部分を含む再生リスト(プレイリスト)を作成することができないという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、所定のデータ記録フォーマットに従い記録される動画のなかから、特徴的な動画を抽出して自動的に動画編集をすることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、撮像されるAVストリームの特徴情報を検出する検出部と、所定のデータ記録フォーマットに従い、複数のAVストリームと、AVストリームの各々に対して検出部により検出された特徴情報を含む属性を定義するクリップ情報と、AVストリームの各々に対して再生開始点と再生終了点とを設定することにより再生区間を指定する1以上の再生区間データとを被記録媒体に記録する記録部と、特徴情報の検出時点に基づいて、AVストリームに対して再生区間を設定する再生区間設定部と、再生区間設定部により設定された複数の再生区間を指定する再生区間データを生成するデータ生成部と、を備える情報処理装置が提供される。
かかる構成によれば、AVストリームの特徴情報を検出して、該特徴情報の検出時点に基づいて、AVストリームに対して再生開始点と再生終了点とを設定することにより再生区間を設定する。そして、設定された複数の再生区間から所定数の再生区間を抽出して、複数の再生区間からなる再生区間データを生成する。
これにより、ユーザは、再生区間データを生成するための「ダイジェスト作成ボタン」等入力ボタンを押下するだけで、撮像したり録画されたりした動画像コンテンツの中から注目度の高い画像からなるダイジェスト的なプレイリストを自動作成することが可能となる。すなわちユーザは、撮像等された動画像コンテンツの内容のすべてを確認することなく、動画像コンテンツの特徴的な内容を素早く確認することが可能となる。また、所定のデータ記録フォーマットに従いプレイリストを作成することにより、該データ記録フォーマット規格に準じた再生機器において同一の結果を確認することが可能となる。
上記所定のデータ記録フォーマットは、AVCHDフォーマットであってもよい。
また、AVストリームの各々の再生時間に応じて、再生区間設定部により設定された複数の再生区間から所定数の再生区間を抽出する再生区間抽出部を備え、データ生成部は、再生区間抽出部により抽出された複数の再生区間を指定する再生区間データを生成するようにしてもよい。また、上記再生区間抽出部は、再生時間が長いAVストリームから多くの再生区間を抽出してもよい。かかる構成により、設定された複数の再生区間から最適な数の再生区間を抽出することが可能となる。
また、再生区間設定部は、特徴情報の検出時点を再生区間の再生開始点に設定し、特徴情報の検出時点から所定時間経過後を再生区間の再生終了点に設定してもよい。また、再生区間設定部は、特徴情報の検出時点からAVストリームの再生終了時点までが所定の時間以上ではない場合に、再生区間を設定しないようにしてもよい。
また、上記検出部により検出される特徴情報は、AVストリームに含まれる顔情報であってもよい。また、検出部により検出される特徴情報は、AVストリームの時刻情報であってもよい。また、上記検出部は、AVストリームの解像度を検出し、再生区間データ生成部は、解像度が同一の再生区間を指定して再生区間データを生成してもよい。
上記データ生成部は、多くの再生区間が設定される解像度を有するAVストリームに対して設定された再生区間を指定して再生区間データを生成してもよい。上記データ生成部は、複数の再生区間が重なっている場合に、重なり合う再生区間のいずれか一方を削除してもよいし、両方をあわせた区間としてもよい。
上記再生区間設定部により設定された第1の再生区間が再生区間の再生開始点より前の再生終了点が設定された第2の再生区間と不連続であった場合に、第1の再生区間に不連続フラグを設定する不連続フラグ設定部を備えてもよい。また、上記データ生成部により生成された再生区間データに自動編集フラグを設定する自動編集フラグ設定部を備えてもよい。
ユーザの入力に応じて、複数のAVストリームから所定のAVストリームを選択する選択部を備え、上記再生区間設定部は、上記選択部により選択されたAVストリームに対して再生区間を設定してもよい。
また、再生区間設定部は、データ生成部により生成された再生区間データの再生開始点と再生終了点を設定してもよい。
上記データ生成部は、再生区間データを生成する都度、再生区間の指定を変えて再生区間データを生成してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、撮像されるAVストリームの特徴情報を検出するステップと、特徴情報の検出時点に基づいて、AVストリームに対して再生開始点と再生終了点とを設定することにより再生区間を設定するステップと、設定された1以上の再生区間を指定する再生区間データを生成するステップと、所定のデータ記録フォーマットに従い、複数のAVストリームと、AVストリームの各々に対して検出された特徴情報を含む属性を定義するクリップ情報と、再生区間データを被記録媒体に記録するステップと、を含むことを特徴とする、情報処理方法が提供される。
また上記課題を解決するために、本発明の別の観点によれば、コンピュータを、撮像されるAVストリームの特徴情報を検出する検出部と、所定のデータ記録フォーマットに従い、複数のAVストリームと、AVストリームの各々に対して検出部により検出された特徴情報を含む属性を定義するクリップ情報と、AVストリームの各々に対して再生開始点と再生終了点とを設定することにより再生区間を指定する1以上の再生区間データとを被記録媒体に記録する記録部と、特徴情報の検出時点に基づいて、AVストリームに対して再生区間を設定する再生区間設定部と、再生区間設定部により設定された複数の再生区間を指定する再生区間データを生成するデータ生成部と、を備える情報処理装置として機能させるための、プログラムが提供される。
以上説明したように本発明によれば、所定のデータ記録フォーマットに従い記録される動画のなかから、特徴的な動画を抽出して自動的に動画編集をすることができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
まず、本発明の実施形態の目的について説明する。近年、ディスク型記録メディアの記録容量の増大に伴って、従来の録画テープに代わってディスクに動画像や静止画を保存するタイプのビデオカメラが出現してきている。情報記録媒体(メディア)に対して動画等のコンテンツを記録する場合、AVCHD等所定のデータフォーマットに従い、AV(Audio/Video)ストリームのサイズや属性情報等AVストリーム実体データとは異なる情報を併せて生成して記録する処理が行われる。AVストリームの属性情報として、例えば、AVストリームに対して再生開始点と再生終了点の情報を一組として設定された再生区間情報などが挙げられる。
通常、1つのAVストリームに対しては、複数の再生区間情報を設定することができる。また、複数のAVストリームに対して設定された複数の再生区間を指定して再生リスト(プレイリスト)を生成することもできる。例えば、情報記録媒体(メディア)に記録された動画コンテンツのうち、ユーザ入力により特徴的な部分が指定された場合に、当該特徴的な部分を含む再生区間情報を設定し、再生リスト(プレイリスト)を生成することができる。これにより、ユーザは、ダイジェスト的な再生リスト(プレイリスト)を作成して、短時間でDVDビデオカメラにより撮像された内容を確認することが可能となる。 しかし、ユーザが動画コンテンツの特徴的な部分を指定するためには、撮像した動画コンテンツを再度確認しなければならなかった。
そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる情報処理装置100が創作されるに至った。本実施形態にかかる情報処理装置100によれば、所定のデータ記録フォーマットに従い記録された動画のなかから、特徴的な動画を抽出して自動的に動画編集をすることが可能となる。以下、このような情報処理装置100の構成および動作を詳細に説明する。
なお、本実施形態において、情報処理装置100は、編集装置や再生装置等の映像機器を例示でき、撮像装置や映像記録装置や情報記録媒体とは別体の装置として構成したが、かかる例に限定されない。例えば、情報処理装置100を撮像装置と一体として構成したり、映像記録装置と一体として構成したりするようにしてもよい。本実施形態においては、情報処理装置100とは別体の撮像装置によって撮像された映像等が外部から入力される構成となっている。
次に、図1に基づいて、本実施形態にかかる情報処理装置100の構成について説明する。図1は、本実施形態にかかる情報処理装置100の機能構成を示すブロック図である。図1に示したように、AVストリーム入力部102、検出部104、クリップ情報定義部106、再生区間設定部108、再生区間抽出部110、データ生成部112、記録部114、選択部116、不連続フラグ設定部118、自動編集フラグ設定部120、などを備える。
上記したように、情報処理装置100には、情報処理装置100とは別体の装置で撮影されたり記録されたりした映像等が入力される。そして、入力されたAVストリームは、所定のデータ記録フォーマットに従い、情報記録媒体122に記録される。ここで、AVデータを格納する記録フォーマットとしては、AVCHDフォーマット、BDAVフォーマット、BDMVフォーマット等が挙げられる。以下では、AVデータを格納する記録フォーマットとして、AVCHDフォーマットを例示して説明する。
情報処理装置100の機能構成の詳細を説明する前に、図2〜4に基づいて、AVCHDフォーマットについて説明する。AVCHDフォーマットは、ビデオデータとオーディオデータとが多重化されたAVストリームを記録可能な記録媒体に記録する記録フォーマットである。ビデオカメラ等で撮像された動画像ストリームは、MPEG2−TSストリームに符号化されて、AVCHDフォーマットに従って記録される際に、ファイルとして記録媒体に記録される。このファイルを、クリップAVストリームファイル(またはAVストリームファイル)と称する。
クリップAVストリームファイルは、ファイルシステム上での管理単位であり、ユーザにとって必ずしも分かりやすい管理単位であるとは限らない。ユーザの利便性を考えた場合、複数のクリップAVストリームファイルに分割された映像コンテンツを一つにまとめて再生する仕組みや、クリップAVストリームファイルの一部だけを再生するための情報などをデータベースとして記録媒体に記録しておく必要がある。AVCHDフォーマットによれば、動画像コンテンツおよびコンテンツの属性情報等をデータベースとして記録することが可能となる。
次に、AVCHDフォーマットに規定されるデータ構造について説明する。AVCHDフォーマットに規定されるデータ構造は、4層のレイヤよりなる。最も最下層のレイヤは、上記したクリップAVストリームが配置されるレイヤ(クリップレイヤと称する。)である。その上のレイヤは、クリップAVストリームに対する再生箇所を指定するためのプレイリスト(PlayList)と、プレイアイテム(PlayItem)とが配置されるレイヤ(プレイリストレイヤと称する。)である。さらに、その上のレイヤは、プレイリストに対して再生順などを指定するコマンドからなるムービーオブジェクト(Movie Object)などが配置されるレイヤ(オブジェクトレイヤと呼ぶ)である。最上層のレイヤは、記録媒体に格納されるタイトルなどを管理するインデックステーブルが配置されるレイヤ(インデックスレイヤと称する)である。
上記クリップレイヤについて説明する。クリップAVストリームは、上記したように、ビデオデータやオーディオデータがMPEG2 TS(トランスポートストリーム)の形式などに多重化されたビットストリームである。このクリップAVストリームに関する情報がクリップ情報(Clip Information)としてファイルに記録される。クリップAVストリームファイルと、該ファイルに対応するクリップ情報が記録されたクリップ情報ファイルをひとまとまりのオブジェクトと見なし、クリップ(Clip)とも称する。すなわち、クリップは、クリップAVストリームとクリップ情報とから構成される、一つのオブジェクトである。
次に、上記プレイリストレイヤについて説明する。プレイリストは、再生するAVストリームファイルの指定と、指定されたAVストリームファイルの再生箇所を指定する再生開始点(IN点)と再生終了点(OUT点)の集まりとから構成される。この再生開始点と再生終了点の情報を一組としたものは、プレイアイテム(PlayItem)と称される。プレイリストは、プレイアイテム中のIN点およびOUT点情報に基づき、クリップ中の対応する区間が再生される。
次に、上記オブジェクトレイヤについて説明する。ムービーオブジェクトは、ナビゲーションコマンドプログラムと、ムービーオブジェクトとを連携するターミナルインフォメーションを含む。ナビゲーションプログラムは、プレイリストの再生を制御するためのコマンド(ナビゲーションコマンド:navigation command)である。
次に、上記インデックスレイヤについて説明する。インデックスレイヤは、インデックステーブル(Index Table)からなる。インデックステーブルは、記録媒体に記録されたコンテンツのタイトルを定義する、トップレベルのテーブルである。インデックステーブルに格納されているタイトル情報に基づき、プレーヤに常駐されるシステムソフトウエア中のモジュールマネージャにより記録媒体の再生が制御される。
図2は、上述したAVストリーム、クリップ情報(Stream Attributes)、クリップ、プレイアイテムおよびプレイリストの関係を示すUML(Unified Modeling Language)図である。プレイリストは、1または複数のプレイアイテムに対応付けられ、プレイアイテムは、1のクリップに対応付けられる。1のクリップに対して、それぞれ開始点および/または終了点が異なる複数のプレイアイテムを対応付けることができる。1のクリップから1のクリップAVストリームファイルが参照される。同様に、1のクリップから1のクリップ情報ファイルが参照される。また、クリップAVストリームファイルとクリップ情報ファイルとは、1対1の対応関係を有する。このような構造を定義することにより、AVストリームファイルを変更することなく、任意の部分だけを再生する、非破壊の再生順序指定を行うことが可能となる。
また、図3のように、複数のプレイリストから同一のクリップを参照することもできる。また、1のプレイリストから複数のクリップを指定することもできる。クリップは、プレイリスト中のプリアイテムに示されるIN点およびOUT点により、参照される。図3においては、クリップ500は、プレイリスト510のプレイアイテム520から参照されると共に、プレイリスト511を構成するプレイアイテム521および522のうちプレイアイテム521から、IN点およびOUT点で示される区間が参照される。また、クリップ501は、プレイリスト512のプレイアイテム523および524のうち、プレイアイテム523のIN点およびOUT点で示される区間が参照される。図4においては、クリップ501は、さらに別のプレイリストからも参照されている。
また、ユーザが撮像装置等により撮像、録画等を行う場合には、ユーザが録画処理の開始、停止を繰り返すことにより、上記のクリップおよりプレイリスト等が生成される。例えば、ユーザが録画開始してから録画停止する区間毎にプレイアイテムが1つずつ作成されたり、録画・撮像したストリームの区切りで1つのクリップAVストリームファイルが生成されたりする。また、クリップAVストリームファイルの生成に伴い、クリップ情報ファイルも作成される。このように、1つのクリップは、連続同期再生すなわち実時間再生が保証された再生が必要な単位となる。
また、ユーザが録画を開始する都度、プレイアイテムの先頭には、エントリマーク(EntryMark)が付けられる。動画像対応のプレイリストの先頭には必ずエントリマークが打たれるという制約があるが、所定の編集操作により時間軸上で当該エントリマークの位置を移動させることができる。
各エントリマークは、ユーザがチャプタ開始点としてストリームにアクセスできる位置となる。したがって、隣接するエントリマーク間で仕切られる区間がユーザから見える最小の編集単位すなわち「チャプタ」となる。プレイアイテムを再生順に並べることでプレイリストの再生順序が定義されることとなる。本実施形態においては、ユーザにより録画開始され録画停止されて生成された1つのAVストリームをチャプタとも称する。
次に、AVCHDフォーマットによる、記録媒体に記録されるファイルの管理構造について、図4を用いて説明する。AVCHDフォーマットによって記録媒体に記録されるファイルは、ディレクトリ構造により階層的に管理される。記録媒体上には、まず、1つのディレクトリ(図4のルート(root)ディレクトリ)が作成される。このディレクトリの下が、1つの記録再生システムで管理される範囲となる。
図4に示したディレクトリ構造のうち、本実施形態に特に関連のあるディレクトリについて説明する。ディレクトリ“PLAYLIST”は、プレイリストのデータベースが置かれるディレクトリである。すなわち、ディレクトリ“PLAYLIST”は、プレイリストに関するファイルであるファイル“xxxxx.mpls”を含む。ファイル“xxxxx.mpls”は、プレイリストのそれぞれに対して作成されるファイルである。
ディレクトリ“CLIPINF”は、クリップのデータベースが置かれるディレクトリである。すなわち、ディレクトリ“CLIPINF”は、クリップAVストリームファイルのそれぞれに対するクリップインフォメーションファイルであるファイル“zzzzz.clip”を含む。また、ディレクトリ“STREAM”は、実体としてのAVストリームファイルが置かれるディレクトリである。すなわち、ディレクトリ“STREAM”は、クリップインフォメーションファイルのそれぞれに対応するクリップAVストリームファイルを含む。クリップAVストリームファイルは、MPEG2のTSからなり、ファイル名が“zzzzz.m2ts”とされる。ファイル名のうち、拡張子を除く部分を対応するクリップインフォメーションファイルと同一とすることで、クリップインフォメーションファイルとクリップAVストリームファイルとの対応関係を容易に把握することができる。以上、AVCHDフォーマットについて説明した。
本実施形態における情報処理装置100は、上記したAVストリームに対してIN点およびOUT点で示される再生区間(以下プレイアイテム(PlayItem)とも称する)を設定し、複数の再生区間を指定して再生区間データ(以下プレイリスト(PlayList)とも称する)を生成する。そして、AVストリーム、クリップ情報、再生区間データ等をAVCHDフォーマットに従い情報記録媒体に記録する。図1に戻り、情報処理装置100の機能構成について説明する。
AVストリーム入力部102は、撮像装置等により撮像された動画像ストリーム(AVストリーム)の入力を受け付ける機能を有する。AVストリーム入力部102により、入力された動画像ストリームをMPEG2―TSストリームに符号化してもよいし、符号化されたMPEG2―TSストリームの入力を受け付けてもよい。上記したように、AVストリーム入力部102に入力されるAVストリームは、チャプタ単位、すなわち、ユーザが録画を開始してから録画を終了する区間単位で入力される。AVストリーム入力部102は、AVストリームを検出部104、クリップ情報定義部106、再生区間設定部108、記録部114などに該AVストリームを提供する。
検出部104は、AVストリーム入力部102により提供されたAVストリームの特徴情報を検出する機能を有する。AVストリームの特徴情報とは、例えば、AVストリームに含まれる顔情報、AVストリームの時刻情報などである。撮像装置等により撮像された場合には、特徴情報として、記録開始情報、動画撮影中の静止画同時記録操作情報、ズーム操作情報、パンニング操作情報、露出補正情報、入力画像の動きベクトルの情報、色情報、フォーカス情報、音量情報、GPSによる位置情報等が例示できる。また、当該情報が変化した場合や所定の閾値を超えた場合を、特徴情報とするようにしてもよい。
クリップ情報定義部106は、AVストリーム入力部102により提供されたAVストリームを上記したクリップAVストリームとして、該クリップAVストリームに対応するクリップ情報を定義する機能を有する。クリップ情報はAVストリームを再生する上で必要な情報であり、AVストリームのサイズや再生時間等AVストリームの属性情報である。クリップ情報定義部106は、検出部104から提供された特徴情報を、他のAVストリームの属性情報とともにクリップ情報として定義する。クリップ情報定義部106は、定義したクリップ情報を再生区間設定部108に提供する。
再生区間設定部108は、検出部104により検出された特徴情報の検出時点に基づいて、AVストリームに対して再生区間を設定する機能を有する。再生区間設定部108による再生区間の設定は、AVストリームに対して再生開始点(以下IN点とも称する。)と再生終了点(以下OUT点とも称する。)とを設定することにより行われる。例えば、特徴情報の検出時点を再生区間の再生開始点に設定し、特徴情報の検出時点から所定時間経過後を再生区間の再生終了点に設定してもよい。また、特徴情報の検出時点を再生区間の再生終了点とし、特徴情報の検出時点より前の時点を再生区間の再生開始点に設定してもよい。
すなわち、検出時点の時刻から正負の時間オフセットを加味したものがIN点となる。該オフセット値は、固定の値でもランダムな値でもよい。また、IN点を検出時点の時刻から一定間隔もしくはランダムな時間間隔が経過した時刻としてもよい。OUT点についても、検出時点の時刻から正負の時間オフセットを加味したものであり、オフセット値は固定の値でもランダムな値でもよい。また、IN点から一定間隔もしくはランダムな時間間隔が経過した時刻としてもよい。また、再生区間設定部108は、特徴情報の検出時点からAVストリームの再生終了時点までが所定の時間以上ではない場合に、再生区間を設定しないようにしてもよい。
再生区間抽出部110は、再生区間設定部108により設定された複数の再生区間から所定数の再生区間を抽出する機能を有する。再生区間抽出部110は、抽出する再生区間の数を固定としてもよいし、AVストリームの再生時間に応じて変化させてもよい。例えば、複数のAVストリームに対して、複数の再生区間が設定された場合に、複数のAVストリームの全再生時間に応じて再生区間を抽出する数を変化させるようにしてもよい。また、個々のAVストリームの長さに応じて、各AVストリームから抽出する再生区間の数を変更するようにしてもよい。
データ生成部112は、複数の再生区間を指定する再生区間データを生成する機能を有する。データ生成部112は、再生区間抽出部110により抽出された再生区間を指定して再生区間データを生成してもよいし、再生区間抽出部110には抽出されなかった再生区間を指定して再生区間データを生成するようにしてもよい。また、データ生成部112は、常に同じ内容の再生区間を指定して再生区間データを生成してもよいし、再生区間データを生成する都度異なる再生区間を指定するようにしてもよい。
AVCHDフォーマットによれば、再生区間設定部108により設定される再生区間がプレイアイテムであり、データ生成部112により生成される再生区間データがプレイリストである。すなわち、複数の再生区間が指定された再生区間データが生成されることにより、AVストリームファイルを直接変更することなく、任意の部分だけを再生する、非破壊の再生編集をすることが可能となる。
データ生成部112は、複数の再生区間と再生区間とを区切るエントリマークを設定してもよい。上記したように、エントリマークにより生成された再生区間データがチャプタ単位で区切られることとなる。例えば、生成された再生区間データが数秒である場合には、再生区間データの先頭のみにエントリマークを付与して、再生区間データを1つのチャプタとしてもよい。また、生成された再生区間データが数十分、数時間である場合には、再生区間毎にエントリマークを付与して、再生区間を1つのチャプタとしてもよい。データ生成部112は、生成した再生区間データを記録部114に提供する。
また、検出部104によりAVストリームの解像度が検出され、再生区間に解像度が設定されている場合には、解像度が同一の再生区間を指定して再生区間データを生成してもよい。さらに、多くの再生区間が設定される解像度を有するAVストリームに対して設定された再生区間を指定して再生区間データを生成するようにしてもよい。また、設定された再生区間が重なり合っている場合には、重なり合う再生区間のいずれか一方を選択して再生区間データを生成するようにしてもよい。
ここで、図5を参照して、再生区間の設定、抽出および再生区間データの生成について説明する。図5は、再生区間の設定、抽出および再生区間データの生成について説明する説明図である。図5(a)は特徴情報として顔情報を検出している場合、図5(b)および図5(c)は特徴情報として顔情報と時刻情報とを検出している場合を示している。
図5(a)の例では、IN点を「顔情報検出時刻−2秒」とし、OUT点をIN点から10秒後としている。図5(a)に示したように、チャプタ(Chapter)1、チャプタ2、チャプタ3に含まれる顔情報が検出される。例えば、チャプタ1の顔12が検出されると、「顔12の検出時刻−2秒」がIN点に設定され、IN点から10秒後にOUT点が設定されて再生区間14が設定される。同様に、チャプタ2、チャプタ3に含まれる顔情報が検出されて、それぞれ再生区間が設定される。
そして、設定された再生区間から所定数の再生区間が抽出されて、再生区間データ16aが生成される。抽出さる再生区間の数は、3つのチャプタの再生時間の合計に応じて決定してもよい。また、再生区間の抽出は、例えば、再生時間の長いチャプタ3から2つの再生区間が抽出され、その他のチャプタからは1つの再生区間が抽出されるというように、チャプタの再生時間に応じて再生区間を抽出するようにしてもよい。
図5(b)および図5(c)の例では、IN点を「顔情報検出時刻−2秒」、または「チャプタの開始時間+10秒」もしくは「前回のIN点設定時刻+3分」としている。OUT点は、図5(a)と同様に、IN点から10秒後としている。例えば、撮像したAVストリームに顔情報が含まれていない場合には、図5(b)の例のように時刻情報のみによって、再生区間18が設定される。図5(c)の例のように、AVストリームに顔情報が含まれている場合には、顔12の検出時刻に基づいて再生区間14が設定され、時刻情報に基づいて再生区間20が設定される。図5(b)および図5(c)の例における再生区間の抽出および再生区間データ16b、16cの生成は図5(a)と同様である。
以上、再生区間の設定、抽出および再生区間データの生成について説明した。図1に戻り、記録部114は、AVCHDフォーマットに従い、AVストリーム入力部102から提供された複数のAVストリームと、各AVストリームに対応するクリップ情報と、データ生成部112により提供された再生区間データとを情報記録媒体に記録する機能を有する。
情報記録媒体は、例えば、EEPROM(Electrically Erasable Programmable Read−Only Memory)、EPROM(Erasable Programmable Read Only Memory)などの不揮発性メモリや、ハードディスクおよび円盤型磁性体ディスクなどの磁気ディスクや、CD−RW(Compact Disc ReWritable)、DVD(Digital Versatile Disc)−RW//+RW/RAM(Ramdam Access Memory)およびBD(Blu−ray Disc(登録商標))―REなどの光ディスクや、MO(Magneto Optical)ディスク、フラッシュメモリーやそれを用いたメモリーカードなどの記憶媒体であってもよい。
選択部116は、ユーザの入力に応じて、複数のAVストリームから所定のAVストリームを選択する機能を有する。再生区間設定部108は、選択部116により選択されたAVストリームに対して再生区間を設定するようにしてもよい。また、選択部116により、所定のAVストリームの中から、ユーザの所望の範囲を選択するようにしてもよい。さらには、複数のAVストリームの記録日時単位で選択してもよいし、すべてのAVストリームを選択するようにしてもよい。
不連続フラグ設定部118は、再生区間設定部108により設定された複数の再生区間が不連続であった場合に、再生区間に不連続フラグを設定する機能を有する。例えば、図5(c)の再生区間14と再生区間20とが不連続であった場合に、再生区間14に不連続フラグを設定する。不連続フラグ設定部118により設定される不連続フラグは、上記したプレイリストに再生区間情報とともに設定されて情報記録媒体に記録される。不連続フラグ設定部118により、上記したチャプタ間を区切るエントリマークが再生区間に付されてもよい。
自動編集フラグ設定部120は、データ生成部により生成された再生区間データに自動編集フラグを設定する機能を有する。AVCHDフォーマットにおいては、機器固有のデータを記録できるフィールドが用意されている。当該フィールドに自動作成されたプレイリストであるか否かの情報を記録しておくことで、対応している機器において自動プレイリストであるか否かを識別して再生等を行うことが可能となる。
データ生成部112により生成された再生区間データは、自動作成されたプレイリストとして情報記録媒体に記録される。自動作成されたプレイリストであるか否かは、例えば、プレイリストファイルのプライベートデータ等機器固有のデータを記録できるフィールドに自動作成プレイリストである場合を「1」とし、それ以外を「0」とする自動編集フラグを設定することにより識別されることとなる。これにより、再生機器におけるプレイリスト再生時には、自動編集フラグの内容から自動作成されたプレイリストか否かを判断し、自動作成されたプレイリストを選択的に再生したりすることが可能となる。
本実施形態においては、自動作成されたプレイリストか否かの判断は、設定された自動編集フラグにより判断されるが、かかる例に限定されない。例えば、プレイリストファイルのプレイリストの名前(PlaylistName)を設定するフィールドに、ユーザが判別可能な名前を設定することによっても自動作成されたプレイリストか否かの判断をするようにしてもよい。以上、情報処理装置100の機能構成について説明した。次に、情報処理装置100における情報処理方法の一例であるプレイリスト作成方法について説明する。
以下に説明するプレイリスト作成方法では、再生区間設定部108により再生開始点(IN点)は、「不特定の顔情報を検出した時刻+オフセット」および「時刻をランダムに選択」して設定する。再生終了点(OUT点)は、IN点から一定時間間隔後に設定する。また、再生区間の設定は、入力されたすべてのAVストリームを選択して行われる。また、各再生区間にエントリマークを設定して、1つの再生区間を1つのチャプタとする。ユーザにより自動作成ボタンが押下されて、自動的にプレイリストが作成される都度、異なる再生区間が指定されて異なる再生区間データが生成される。再生区間データの全再生時間は、ユーザにより選択されるか、もしくは固定の長さに合わせて作成される。
図6〜図14を参照して、情報処理装置100におけるプレイリスト作成方法について説明する。図6〜図14は、情報処理装置100におけるプレイリスト作成方法を示すフローチャートである。図6は、情報処理装置100における再生区間設定処理を示すフローチャートである。図6に示したように、まず、ユーザ入力部(図示せず)を介してユーザによりダイジェスト作成ボタンが押下されたか否かが判定される(S100)。ステップS100においてダイジェスト作成ボタンが押下されたと判断された場合には、解像度選択処理が実行される(S102)。ステップS102における解像度選択処理では、いずれの解像度を用いてダイジェスト的な再生区間データ(プレイリスト)を作成するかが決定される。図7を参照して、解像度選択処理について詳細に説明する。
図7に示したように、クリップ情報定義部106により定義されたクリップ情報を取得する(S110)。ステップS110において取得されたクリップ情報に含まれる解像度情報を取得する(S112)。ステップS112において取得された解像度について、解像度種別ごとのカウントをインクリメントする(S114)。そして、すべてのクリップ情報を取得したか否かを判定する(S116)。ステップS116においてすべてのクリップ情報を取得していないと判断した場合には、ステップS110〜ステップS114の処理を繰り返す。
ステップS116においてすべてのクリップ情報を取得したと判断した場合には、ステップS114においてインクリメントされた解像度種別ごとのカウントのうち、最もカウントの多い解像度を採用する(S118)。ステップS118においては、最もカウントの多い解像度を採用しているが、かかる例に限定されず、区間の長さ合計が長い方を採用したり、顔が出現する数が多い方を採用したりするようにしてもよい。AVCHDフォーマットによれば、再生区間データ(プレイリスト)に含まれる再生区間(プレイアイテム)は、同一の解像度を有さなければならないこととなっている。ステップS118において最もカウントの多い解像度を採用することにより、指定可能な再生区間が多くなり、特徴情報の出願確率が多くなるため、特徴的な動画像を多く含むプレイリストを生成することができる。
図6に戻り、ステップS102の解像度選択処理が実行された後、再生区間設定処理が実行される(S104)。図8を参照して、再生区間設定処理について詳細に説明する。図8に示したように、クリップ情報を取得する(S120)。次に、ステップS120において取得したクリップ情報に含まれる解像度情報を取得する(S122)。ステップS122において取得した解像度が、ステップS118において事前に決定した解像度に一致するか否かを判断する(S124)。ステップS124において解像度が一致しないと判断した場合には、後述するステップS130の処理を行う。
ステップS124において事前に決定した解像度に一致すると判断された場合には、顔情報から再生区間を設定する(S126)。図9を参照して、顔情報から再生区間を設定する処理について詳細に説明する。ステップS120において取得したクリップ情報に顔情報が含まれるか否かを判定する(S132)。ステップS132において、顔情報が含まれないと判断された場合には、処理を終了する。
ステップS132において、顔情報が含まれると判断された場合には、顔情報検出時刻を特定する(S134)。そして、ステップS134において特定された顔情報検出時刻に基づいて、再生区間を設定する(S136)。ステップS136においては、例えば、IN点を「顔情報検出時刻−2秒」とし、OUT点を「IN点+10秒」として再生区間を設定する。ステップS136において、OUT点がAVストリームの全再生時間外となってしまう場合には、再生区間を設定しないようにしてもよい。
そして、すべての顔情報について再生区間を設定したか否かを判定する(S138)。ステップS138においてすべての顔情報について再生区間を設定したと判断した場合には、ステップS126において設定した再生区間を再生区間リストに追加する(S140)。ステップS138においてすべての顔情報について再生区間を設定していないと判断した場合には、ステップS134〜ステップS138の処理を繰り返す。
図8に戻り、顔情報から再生区間を設定(S126)した後に、時刻情報から再生区間を設定する(S128)。図10を参照して、時刻情報から再生区間を設定する処理について詳細に説明する。図10に示したように、時刻情報から再生区間を設定する(S142)。ステップS142においては、例えば、IN点を「チャプタ開始位置+10秒」もしくは「前回IN点を設定した位置+3分」とし、OUT点を「IN点+10秒」として設定する。
次に、AVストリームの再生終了時刻に到達したか否かが判定される(S144)。ステップS144においてAVストリームの再生終了時刻に到達していない場合には、ステップS142〜ステップS144の処理を繰り返す。ステップS144においてAVストリームの再生終了時刻に到達していると判定された場合には、ステップS142において設定された最終生成区間の再生終了時刻(OUT点)がAVストリームの再生終了時刻を超えているか否かが判定される(S146)。ステップS146において、OUT点が再生終了時刻を越えていないと判定された場合には、ステップS150の処理を行う。
ステップS146において、OUT点が再生終了時刻を越えていると判定された場合には、ステップS142において最後に設定された最終再生区間を削除する(S148)。そして、ステップS142において設定された再生区間(ステップS148において最終再生区間が削除されている場合にはい、最終再生区間を除く)を再生区間リストに追加する(S150)。上記ステップS144〜ステップS148は、ステップS126の顔情報から再生区間を設定する処理において実行されるようにしてもよい。
図8に戻り、すべてのクリップ情報を取得したか否かを判定する(S130)。ステップS130において、すべてのクリップ情報を取得していないと判断された場合には、ステップS120〜ステップS130の処理を繰り返す。ステップS130において、すべてのクリップ情報を取得したと判断された場合には、処理を終了する。
次に図11〜図13を参照して、再生区間データの生成処理について説明する。図11に示したように、重複再生区間の削除処理を実行する(S202)。図12を参照して、重複再生区間の削除処理について詳細に説明する。図12に示したように、まず、再生区間リストの要素を取得する(S210)。ステップS120において取得される再生区間リストの要素とは、再生区間のIN点OUT点等の設定情報を示す。そして、再生区間のIN点が直前のリストのいずれかの区間に含まれているか否かを判定する(S212)。IN点が直前のリストのいずれかの区間に含まれているとは、IN点が直前の再生区間のIN点OUT点で設定される区間に含まれていることである。
ステップS212において、IN点が直前のリストのいずれかの区間に含まれていると判定された場合には、ステップS210において取得した再生区間リストの要素を再生区間リストから削除する(S214)。そして、すべての再生区間リストの要素を取得したか否かを判定し(S220)、すべての再生区間リストの要素を取得している場合には処理を終了する。ステップS220においてすべての再生区間リストの要素を取得していないと判断した場合には、ステップS210〜ステップS220の処理を繰り返す。
図11に戻り、重複再生区間の削除処理(S202)が実行された後に、再生区間の選択処理が実行される(S204)。図13を参照して、再生区間の選択処理について詳細に説明する図13に示したように、再生区間データの長さから、選択すべく区間の数を算出する(S222)。再生区間リストに追加された再生区間の数は、ステップS222において算出された再生区間の数より多いか否かを判定する(S224)。ステップS224において、再生区間リストの数が算出された再生区間の数より多い場合には、再生区間リストからランダムに選択すべき数を抽出し、再生区間リストに登録する(S226)。ステップS226においては、再生区間をランダムに選択しているが、かかる例に限定されず、順次に選択するようにしてもよい。ステップS224において、再生区間リストの数が、算出された再生区間の数以内であると判定された場合には、処理を終了する。
次に、図14を参照して、AVCHDフォーマットによるプレイリスト作成方法の一例について説明する。図14に示したように、まず、編集先用のムービープレイリストファイル(MoviePlayListFile)を新規に作成する(S230)。そして、再生区間リストに追加された再生区間リストの要素を取得する(S232)。そして、再生区間リストを含むクリップインフォメーション(ClipInformation)を指定するプレイアイテム(PlayItem)を、編集先用のムービープレイリストファイルの末尾にコピーする(S234)。
そして、IN_time、OUT_time(プレイアイテムが指し示すClipの開始/終了点)を区間リストのIN点OUT点時刻に修正する(S236)。そして、コネクションコンディション(connection_condition)を1に修正する(S238)。ステップS238において1が設定されるコネクションコンディションは、上記した不連続フラグの一例である。そして、追加したプレイアイテム(PlayItem)のIN点を指すエントリマーク(EntryMark)を1つ追加する(S240)。
そして、すべての再生区間リストの要素を取得したか否かを判定し(S242)、すべての再生区間リストの要素を取得していない場合には、ステップS232〜ステップS240の処理を繰り返す。ステップS242において、すべての再生区間リストの要素を取得したと判断された場合には、インデックス(Index)、ムービーオブジェクトファイル(MovieObjectFile)に対して、作成したムービープレイリストファイル(MoviePlayListFile)に該当する情報を追加する(S244)。以上、本実施形態にかかるプレイリスト作成方法について説明した。
本実施形態にかかる情報処理装置100によれば、AVストリームの特徴情報を検出して、該特徴情報の検出時点に基づいて、AVストリームに対して再生開始点と再生終了点とを設定することにより再生区間を設定する。そして、設定された複数の再生区間から所定数の再生区間を抽出して、複数の再生区間からなる再生区間データを生成する。
これにより、ユーザは、再生区間データを生成するための「ダイジェスト作成ボタン」等入力ボタンを押下するだけで、撮像したり録画されたりした動画像コンテンツの中から注目度の高い画像からなるダイジェスト的なプレイリストを自動作成することが可能となる。すなわちユーザは、撮像等された動画像コンテンツの内容のすべてを確認することなく、動画像コンテンツの特徴的な内容を素早く確認することが可能となる。また、所定のデータ記録フォーマットに従いプレイリストを作成することにより、該データ記録フォーマット規格に準じた再生機器において同一の結果を確認することが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、AVストリームに対して再生区間を指定して再生区間データを生成することにより、AVストリームファイルを直接変更することなく、任意の部分だけ再生する、非破壊の再生編集をすることとしたが、本発明はかかる例に限定されない。例えば、非破壊ではなく、破壊編集として再生区間データを生成することも可能である。すなわち、AVストリームの実際の動画像を直接編集して、ダイジェスト的な再生区間データを生成してもよい。この場合、オリジナルの動画像コンテンツは失われてしまい、繰り返し編集を行うことは出来ない。しかし、破壊編集して特徴情報が含まれない再生区間を削除することにより、記録媒体の使用量を大幅に回復することが可能となる。
本発明の一実施形態にかかる情報処理装置の機能構成を示すブロック図である。 同実施形態にかかるAVCHDフォーマットについて説明する説明図である。 同実施形態にかかるAVCHDフォーマットについて説明する説明図である。 同実施形態にかかるAVCHDフォーマットについて説明する説明図である。 同実施形態にかかる再生区間の設定、抽出および再生区間データの生成について説明する説明図である。 同実施形態にかかる再生区間設定処理を示すフローチャートである。 同実施形態にかかる解像度選択処理の詳細を示すフローチャートである。 同実施形態にかかる再生区間設定処理の詳細を示すフローチャートである。 同実施形態にかかる顔情報から再生区間を設定する処理の詳細を示すフローチャートである。 同実施形態にかかる時刻情報から再生区間を設定する処理の詳細を示すフローチャートである。 同実施形態にかかる設定された再生区間データの生成処理を示すフローチャートである。 同実施形態にかかる重複再生区間の削除処理の詳細を示すフローチャートである。 同実施形態にかかる再生区間の選択処理の詳細を示すフローチャートである。 同実施形態にかかるAVCHDフォーマットによるプレイリスト作成方法の一例を示すフローチャートである。
符号の説明
100 情報処理装置
102 AVストリーム入力部
104 検出部
106 クリップ情報定義部
108 再生区間設定部
110 再生区間抽出部
112 データ生成部
114 記録部
116 選択部
118 不連続フラグ設定部
120 自動編集フラグ設定部
122 情報記録媒体

Claims (18)

  1. 撮像されるAVストリームの特徴情報を検出する検出部と、
    所定のデータ記録フォーマットに従い、複数の前記AVストリームと、前記AVストリームの各々に対して前記検出部により検出された前記特徴情報を含む属性を定義するクリップ情報と、前記AVストリームの各々に対して再生開始点と再生終了点とを設定することにより再生区間を指定する1以上の再生区間データとを被記録媒体に記録する記録部と、
    前記特徴情報の検出時点に基づいて、前記AVストリームに対して前記再生区間を設定する再生区間設定部と、
    前記再生区間設定部により設定された複数の前記再生区間を指定する前記再生区間データを生成するデータ生成部と、
    を備える情報処理装置。
  2. 前記所定のデータ記録フォーマットは、AVCHDフォーマットである、請求項1に記載の情報処理装置。
  3. 前記AVストリームの各々の再生時間に応じて、前記再生区間設定部により設定された複数の前記再生区間から所定数の前記再生区間を抽出する再生区間抽出部を備え、
    前記データ生成部は、前記再生区間抽出部により抽出された複数の前記再生区間を指定する前記再生区間データを生成する、請求項1に記載の情報処理装置。
  4. 前記再生区間抽出部は、再生時間が長い前記AVストリームから多くの前記再生区間を抽出する、請求項3に記載の情報処理装置。
  5. 前記再生区間設定部は、
    前記特徴情報の検出時点を前記再生区間の再生開始点に設定し、前記特徴情報の検出時点から所定時間経過後を前記再生区間の再生終了点に設定する、請求項1に記載の情報処理装置。
  6. 前記再生区間設定部は、
    前記特徴情報の検出時点から前記AVストリームの再生終了時点までが所定の時間以上ではない場合に、前記再生区間を設定しない、請求項1に記載の情報処理装置。
  7. 前記検出部により検出される前記特徴情報は、前記AVストリームに含まれる顔情報である、請求項1に記載の情報処理装置。
  8. 前記検出部により検出される前記特徴情報は、前記AVストリームの時刻情報である、請求項1に記載の情報処理装置。
  9. 前記検出部は、前記AVストリームの解像度を検出し、
    前記再生区間データ生成部は、前記解像度が同一の前記再生区間を指定して前記再生区間データを生成する、請求項1に記載の情報処理装置。
  10. 前記データ生成部は、多くの再生区間が設定される前記解像度を有するAVストリームに対して設定された前記再生区間を指定して前記再生区間データを生成する、請求項9に記載の情報処理装置。
  11. 前記データ生成部は、前記複数の再生区間が重なっている場合に、重なり合う前記再生区間のいずれか一方を削除する、請求項1に記載の情報処理装置。
  12. 前記再生区間設定部により設定された第1の前記再生区間が前記再生区間の前記再生開始点より前の前記再生終了点が設定された第2の前記再生区間と不連続であった場合に、前記第1の再生区間に不連続フラグを設定する不連続フラグ設定部を備える、請求項1に記載の情報処理装置。
  13. 前記データ生成部により生成された再生区間データに自動編集フラグを設定する自動編集フラグ設定部を備える、請求項1に記載の情報処理装置。
  14. ユーザの入力に応じて、前記複数のAVストリームから所定のAVストリームを選択する選択部を備え、
    前記再生区間設定部は、前記選択部により選択されたAVストリームに対して前記再生区間を設定する、請求項1に記載の情報処理装置。
  15. 前記再生区間設定部は、前記データ生成部により生成された前記再生区間データの再生開始点と再生終了点を設定する、請求項1に記載の情報処理装置。
  16. 前記データ生成部は、前記再生区間データを生成する都度、前記再生区間の指定を変えて前記再生区間データを生成する、請求項1に記載の情報処理装置。
  17. 撮像されるAVストリームの特徴情報を検出するステップと、
    前記特徴情報の検出時点に基づいて、前記AVストリームに対して再生開始点と再生終了点とを設定することにより再生区間を設定するステップと、
    設定された1以上の再生区間を指定する再生区間データを生成するステップと、
    所定のデータ記録フォーマットに従い、複数の前記AVストリームと、前記AVストリームの各々に対して検出された前記特徴情報を含む属性を定義するクリップ情報と、前記再生区間データとを被記録媒体に記録するステップと、
    を含むことを特徴とする、情報処理方法。
  18. コンピュータを、
    撮像されるAVストリームの特徴情報を検出する検出部と、
    所定のデータ記録フォーマットに従い、複数の前記AVストリームと、前記AVストリームの各々に対して前記検出部により検出された前記特徴情報を含む属性を定義するクリップ情報と、前記AVストリームの各々に対して再生開始点と再生終了点とを設定することにより再生区間を指定する1以上の再生区間データとを被記録媒体に記録する記録部と、
    前記特徴情報の検出時点に基づいて、前記AVストリームに対して前記再生区間を設定する再生区間設定部と、
    前記再生区間設定部により設定された複数の前記再生区間を指定する前記再生区間データを生成するデータ生成部と、
    を備える情報処理装置として機能させるための、プログラム。
JP2008121408A 2008-05-07 2008-05-07 情報処理装置、情報処理方法およびプログラム Expired - Fee Related JP4737228B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008121408A JP4737228B2 (ja) 2008-05-07 2008-05-07 情報処理装置、情報処理方法およびプログラム
US12/416,299 US8886012B2 (en) 2008-05-07 2009-04-01 Information processing apparatus, information processing method, and program
CN200910134593XA CN101577137B (zh) 2008-05-07 2009-04-23 信息处理设备、信息处理方法
TW098113664A TW201008278A (en) 2008-05-07 2009-04-24 Information processing apparatus, information processing method, and program
KR1020090039175A KR20090116644A (ko) 2008-05-07 2009-05-06 정보 처리 장치, 정보 처리 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008121408A JP4737228B2 (ja) 2008-05-07 2008-05-07 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2009272873A true JP2009272873A (ja) 2009-11-19
JP4737228B2 JP4737228B2 (ja) 2011-07-27

Family

ID=41266953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008121408A Expired - Fee Related JP4737228B2 (ja) 2008-05-07 2008-05-07 情報処理装置、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US8886012B2 (ja)
JP (1) JP4737228B2 (ja)
KR (1) KR20090116644A (ja)
CN (1) CN101577137B (ja)
TW (1) TW201008278A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004901A (ja) * 2010-06-17 2012-01-05 Toshiba Corp 再生リストの作成/管理方法及びそれを実行する映像装置
JP2013533666A (ja) * 2010-05-25 2013-08-22 インテレクチュアル ベンチャーズ ファンド 83 エルエルシー ビデオの要約方法
JP2014516222A (ja) * 2011-05-18 2014-07-07 インテレクチュアル ベンチャーズ ファンド 83 エルエルシー 興味の特徴を含むビデオサマリー
JP2014520424A (ja) * 2011-05-18 2014-08-21 インテレクチュアル ベンチャーズ ファンド 83 エルエルシー 所定の人間を含むビデオサマリー
JP2015057877A (ja) * 2013-08-09 2015-03-26 キヤノン株式会社 画像処理装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5369956B2 (ja) * 2009-07-15 2013-12-18 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
KR101633271B1 (ko) * 2009-12-18 2016-07-08 삼성전자 주식회사 동영상 기록 재생 장치 및 그 방법
WO2012019272A1 (en) * 2010-08-13 2012-02-16 Simon Fraser University System and method for multiplexing of variable bit-rate video streams in mobile video systems
JP4964355B2 (ja) * 2010-09-30 2012-06-27 パナソニック株式会社 立体映像符号化装置、立体映像撮影装置、および立体映像符号化方法
TW201225671A (en) * 2010-12-02 2012-06-16 Teco Elec & Machinery Co Ltd System and method for generating multi-playlist
US10057535B2 (en) * 2010-12-09 2018-08-21 Comcast Cable Communications, Llc Data segment service
CN103152607B (zh) * 2013-01-10 2016-10-12 上海思华科技股份有限公司 视频超快速粗编方法
US10565258B2 (en) 2015-12-10 2020-02-18 Comcast Cable Communications, Llc Selecting and sharing content
CN107609149B (zh) * 2017-09-21 2020-06-19 北京奇艺世纪科技有限公司 一种视频定位方法和装置
AU2017245322A1 (en) 2017-10-10 2019-05-02 Canon Kabushiki Kaisha Method, system and apparatus for selecting frames of a video sequence
CN109120951A (zh) * 2018-09-30 2019-01-01 武汉斗鱼网络科技有限公司 直播视频的生成发布方法、存储介质、电子设备及系统
CN114189704A (zh) * 2021-12-08 2022-03-15 北京有竹居网络技术有限公司 一种视频生成方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005117083A (ja) * 2003-10-02 2005-04-28 Sharp Corp 再生装置、記録装置、再生プログラム、及び再生プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005277733A (ja) * 2004-03-24 2005-10-06 Seiko Epson Corp 動画像処理装置
WO2007108458A1 (ja) * 2006-03-23 2007-09-27 Matsushita Electric Industrial Co., Ltd. コンテンツ撮影装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4165851B2 (ja) * 2000-06-07 2008-10-15 キヤノン株式会社 記録装置及び記録制御方法
US20030002668A1 (en) * 2001-06-30 2003-01-02 Gary Graunke Multi-level, multi-dimensional content protections
US20030007515A1 (en) * 2001-07-03 2003-01-09 Apostolopoulos John G. System and method for receiving mutiple description media streams in fixed and mobile streaming media systems
US20040052505A1 (en) * 2002-05-28 2004-03-18 Yesvideo, Inc. Summarization of a visual recording
JPWO2005086478A1 (ja) * 2004-03-04 2008-01-24 セイコーエプソン株式会社 動画像データ処理
JP2005277531A (ja) * 2004-03-23 2005-10-06 Seiko Epson Corp 動画像処理装置
CN101777372B (zh) * 2004-12-01 2012-09-19 松下电器产业株式会社 再现装置和再现方法
US7743014B1 (en) * 2005-04-06 2010-06-22 Adobe Systems Incorporated Forming a compilation
JP4337849B2 (ja) 2006-07-26 2009-09-30 ソニー株式会社 記録装置、記録方法および記録プログラム、ならびに、撮像装置、撮像方法および撮像プログラム
JP5022370B2 (ja) * 2006-09-12 2012-09-12 パナソニック株式会社 コンテンツ撮影装置
US20080240503A1 (en) * 2007-03-30 2008-10-02 Sanyo Electric Co., Ltd. Image Processing Apparatus And Image Pickup Apparatus Mounting The Same, And Image Processing Method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005117083A (ja) * 2003-10-02 2005-04-28 Sharp Corp 再生装置、記録装置、再生プログラム、及び再生プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2005277733A (ja) * 2004-03-24 2005-10-06 Seiko Epson Corp 動画像処理装置
WO2007108458A1 (ja) * 2006-03-23 2007-09-27 Matsushita Electric Industrial Co., Ltd. コンテンツ撮影装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013533666A (ja) * 2010-05-25 2013-08-22 インテレクチュアル ベンチャーズ ファンド 83 エルエルシー ビデオの要約方法
JP2012004901A (ja) * 2010-06-17 2012-01-05 Toshiba Corp 再生リストの作成/管理方法及びそれを実行する映像装置
JP2014516222A (ja) * 2011-05-18 2014-07-07 インテレクチュアル ベンチャーズ ファンド 83 エルエルシー 興味の特徴を含むビデオサマリー
JP2014520424A (ja) * 2011-05-18 2014-08-21 インテレクチュアル ベンチャーズ ファンド 83 エルエルシー 所定の人間を含むビデオサマリー
JP2015057877A (ja) * 2013-08-09 2015-03-26 キヤノン株式会社 画像処理装置

Also Published As

Publication number Publication date
CN101577137B (zh) 2011-05-18
JP4737228B2 (ja) 2011-07-27
US20090279852A1 (en) 2009-11-12
KR20090116644A (ko) 2009-11-11
CN101577137A (zh) 2009-11-11
TW201008278A (en) 2010-02-16
US8886012B2 (en) 2014-11-11

Similar Documents

Publication Publication Date Title
JP4737228B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP2058814B1 (en) Apparatus, method, and computer program for creating a photo movie based on still images
JP2003299015A (ja) 再記録可能高密度記録媒体の静止画像管理方法
CN101331763B (zh) 信息处理设备和信息处理方法
US8639098B2 (en) Apparatus, method, and computer program for processing information
JP2008047962A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2008047163A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8750690B2 (en) Apparatus, method, and computer program for processing information
JP4924633B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2008047963A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2007149334A (ja) 情報記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110228

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110418

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees