以下,本発明の好適な実施の形態について,添付図面を参照しながら詳細に説明する。なお,以下の説明及び添付図面において,略同一の機能及び構成を有する構成要素については,同一符号を付することにより,重複説明を省略する。
(1. システム構成)
まず,図1を参照しながら,本発明に基づいて構成された映像コンテンツ編集支援システムの構成について説明する。図1は,本実施の形態にかかる映像コンテンツ編集支援システムの概略的な構成を示すブロック図である。
図1に示すように,映像コンテンツ編集支援システムは,撮像装置101と,光ディスク104を介して記録されたコンテンツデータを再生する再生装置102と,再生されたコンテンツデータを表示,編集する編集装置103と,ネットワーク105とから構成される。なお,ネットワーク105は,上記撮像装置101,再生装置102,編集装置103のうち少なくとも2つを相互に接続しているが,かかる例に限定されず,ネットワーク105が構成されない場合であっても実施可能である。この場合は,光ディスク104が上記撮像装置101,再生装置102,編集装置103とにオフラインで提供されることにより実施される。なお,コンテンツデータは,少なくとも一つのフレームからなり,映像データ及び音声データから構成されるデータであるが,映像データのみ,音声データのみの場合も含む。また,本実施の形態にかかる撮像装置101は,例えば,コンテンツデータを記録する記録処理等を実行可能な映像処理装置を例示することができる。
上記撮像装置101,再生装置102,および編集装置103は,必ずしも各装置とも1台から構成される必要はなく,複数台から構成される場合であっても実施可能であり,例えば,複数台の撮像装置101が撮像したコンテンツデータを,光ディスク104またはネットワーク105を介して,再生装置102又は編集装置103に送信することが可能である。
また,撮像装置101,再生装置102,および編集装置103との間にセンタサーバ(図示せず。)を備えることで,撮像装置101,再生装置102,および編集装置103をクライアントとした,クライアント/サーバ(Client/Server)のネットワークシステムに構成することも可能である。
撮像装置101は,カムコーダなどの,ビデオカメラであり,放送用のニュース番組の取材や,スポーツなどの試合の模様や,映画などの素材の撮像に使用される装置である。
また図1に示すように,光ディスク104は,撮像装置101にセットすることで,取材の現場等で,撮像装置101により,例えばテイクメタデータファイル,コンテンツデータなどを光ディスク104に記録することができる。なお,本実施の形態にかかる光ディスク104は,例えば,DVD−R,DVD−RAMなどが例示されるが,かかる例に限定されず,ランダムアクセス可能な光磁気ディスク及び光ディスク,さらに例えばD10フォーマットと呼ばれるデジタルVTRフォーマット等の磁気テープの場合でも実施可能である。上記テイクメタデータファイルは,1回のテイクで発生する少なくとも一つの電子マークデータ等を含む。またテイクメタデータファイルは,撮像装置101等により生成される電子マークデータに基づいて作成されるが,電子マークデータ及びテイクメタデータファイルについては後程詳述する。
撮像装置101は,再生装置102を介さずに,取材などで撮像されたコンテンツデータを光ディスク104に記録し,上記記録されたコンテンツデータを再生することも可能である。
コンテンツデータは,写真や絵画などの静止画像データ,映画や演劇などの動画像データ,ラジオ番組などの音声データ,またはそれらの組合せから構成されるデータである。
上記撮像装置101は,テイクごとに撮像されたコンテンツデータを光ディスク104に記録する。なおテイクは,1回の記録開始から終了に至る連続した撮像処理のことである。
本編集で完全パッケージデータを制作するために,本編集の前段階である粗編集では,まず撮像装置101によりテイクごとに記録された複数のコンテンツデータから,本編集で必要となりそうなコンテンツデータを集める。なお,完全パッケージデータが放送番組などで放映される。
次に,粗編集では,上記集められたコンテンツデータから必要なコンテンツデータを選択(Logging)し,選択されたコンテンツデータに,切り出し開始位置(In点)または切り出し終了位置(Out点)を設定し,映像カットを抽出する抽出処理(Ingesting)などが行われる。なお,映像カットは,テイクにより撮像されたコンテンツデータにIn点とOut点とが指定されたコンテンツデータである。テイクにより撮像されたコンテンツデータから少なくとも一つの映像カットが抽出される。
上記粗編集を経て,本編集することにより,番組などで放映するための完全パッケージデータが制作される。上記完全パッケージデータは,従来では,特殊映像である映像カットを表すテイクメタデータファイル自体が記録されないため,コンテンツデータを,最初から再生し,本編集に必要な映像カットのIn点またはOut点である編集位置を,人手により決定して紙媒体などに記録する場合が多かった。
再生装置102は,光ディスク104に記録されたコンテンツデータまたはテイクメタデータファイルをランダムアクセスし,直接必要なデータを読むことが可能である。さらに,テイクメタデータファイルに基づき電子マークリストデータを作成する。読み込まれたコンテンツデータまたは電子マークリストデータは,編集装置103にネットワーク105を介して送信される。なお本実施の形態にかかる再生装置102は再生する場合を例に挙げて説明したが,かかる例に限定されず,光ディスク104に例えばコンテンツデータまたはテイクメタデータファイルなどを記録することが可能である。電子マークリストデータは後程詳述する。
編集装置103は,再生装置102から再生されるコンテンツデータまたは電子マークリストデータを,ネットワーク105を介して受信し,撮像されたコンテンツデータをディスプレイ装置などに表示する。さらに,電子マークリストデータを表示し,上記電子マークリストデータを編集することができる。なお,上記電子マークリストデータの編集については後程詳述する。
ネットワーク105は,例えば,FDDI(Fiber Distributed Data Interface)などの光ファイバ網をはじめ,IEEE802.11a規格などの無線,RS−232C,またはRS−422などの有線から構成される。また,衛星通信などから構成することも可能である。
(1.1 電子マークデータについて)
つぎに,本実施の形態にかかる電子マークデータについて説明する。
電子マークデータは,例えば,撮像時において,コンテンツデータに関連するインデックスを表すメタデータである。したがって,電子マークデータが,コンテンツデータの映像のインデックスとなり,例えば,粗編集時に,コンテンツデータの映像が,どのような映像であるかが,コンテンツデータの再生処理をしなくても把握することができるため編集効率の向上を図れる。なお,電子マークデータは,コンテンツデータの映像に限定されず,例えば,コンテンツデータの音声のインデックスとなる場合でもよい。またコンテンツデータには,例えばフラッシュが発光される映像など特殊なコンテンツデータが含まれる場合がある。特殊コンテンツデータについては後程詳述する。
電子マークデータは,SMPTE(Society of Motion Picture and Television Engineers)標準規格が定めるところの方法に従い,SDI(Serial Digital Interface)などにより伝送することが可能である。
図2に示すように,本実施の形態にかかる電子マークデータは,予め予約語として定められている。したがって,例えば本実施の形態にかかる撮像装置101,再生装置102,編集装置103などのインタフェース間では,予め電子マークデータを互いの装置が解釈できる別の形式に変換することなく,共通した制御を行うことが可能である。
図2に示すように,上記電子マークデータとしては,記録開始位置の“_RecStart”(撮像開始マーク)と,記録終了位置の“_RecEnd”(撮像終了マーク)と,撮像時にカメラマンの所定ボタンの押下によりマークの位置が指定され,注目すべき時点などを示す“_ShotMark1”(ショットマーク1)と,“_ShotMark1”とは別の注目すべき時点などを示す任意位置“_ShotMark2”(ショットマーク2)と,編集時に設定されるマークであり,映像のつなぎ目に設定されるカット位置を示す“_Cut”(カットマーク)と,フラッシュ(Flash)検出位置である“_Flash”(フラッシュマーク)と,撮像装置101のレンズフィルタの変更位置を示す“_FilterChange”と,撮像装置101のCCD(撮像素子)等の電子シャッタ速度の変更位置を示す“_ShutterSpeedChange”(シャッタ変更マーク)と,ゲインの変更位置である“_GainChange”(ゲイン変更マーク)と,ホワイトバランスの変更位置である“_WhiteBalanceChange”(ホワイトバランスマーク)と,ビデオ出力レベルが限界値を超えた位置の“_OverBrightness”と,オーディオ(音声)出力レベルが限界値を超えた位置の“_OverAudioLimiter”(大音量マーク)と,映像カットを抽出する際に使用される切り出し開始位置を示す“_In−XXX”(編集開始マーク)と,映像カットを抽出する際に使用される切り出し終了位置を示す“_Out−XXX”(編集終了マーク)とを有する。なお本実施の形態にかかる電子マークデータは,かかる例に限定されず,その一部であっても,さらに新規に追加する場合であっても実施可能である。
図2に示す電子マークデータの記録されるタイミングとして,コンテンツデータにおける記録される相対的な位置は,以下に記載の通りである。“_RecStart”は,コンテンツデータの記録開始点のフレームであり,“_RecEnd”は,コンテンツデータの記録終了点のフレームであり,“_ShotMark1”及び“_ShotMark2”は,各装置からの指定位置であり,“_Cut”は,カット検出点のフレームであり,“_Flash”は,フラッシュが検出された地点のフレームであり,“_FilterChange”は,レンズフィルタ変更点のフレームであり,“_ShutterSpeedChange”は,シャッタ速度変更点のフレームであり,“_GainChange”は,ゲイン変更点のフレームであり,“_WhiteBalanceChange”は,ホワイトバランス変更点のフレームであり,“_OverBrightness”は,ビデオ出力レベルが限界値を超えた地点のフレームであり,“_OverAudioLimiter”は,音声出力レベルが限界値を超えた地点のフレームであり,“_In−XXX”及び“_Out−XXX”は,各装置からの指定位置のフレームである。
“_In−XXX”及び“_Out−XXX”の“XXX”は,例えば,In点又はOut点が追加されるごとに,数字またはアルファベットなどがシーケンスにナンバリングされていく。すなわち,“_In−001”,“_In−002”,…,“_In−003”のように例示することができる。
また,“_Flash”又は“_OverAudioLimiter”などは,フラッシュ映像データ又は大音量音声データである特殊コンテンツデータとして撮像装置101により検出され,電子マークデータが自動生成される。上記“_Flash”として電子マークデータが生成される場合のフラッシュ映像データが検出される処理については後程詳述する。なお,本実施の形態にかかる電子マークデータは,UMID(Unique Material Identifier)を利用し,どのコンテンツデータのどのフレームであるかを識別する場合であっても実施可能である。UMIDは,コンテンツデータをグローバルに識別できる識別子である。UMIDを用いることで,コンテンツデータのフレームまで管理することができる。したがって,コンテンツデータのフレーム単位に上記電子マークデータをファイルに記録するとともに,UMIDもフレーム単位にファイルに記録することで,電子マークデータからコンテンツデータのフレームを特定することができる。
したがって,コンテンツデータに記述された電子マークデータを,粗編集処理において,索引することにより,目的とする映像シーンを効率的に選択することが可能となり,コンテンツデータを記録再生装置(VTR)などで繰返し再生処理などをせずに,事前に本編集に必要となる映像シーンを選択する作業の効率化を図れる。
次に,図3を参照しながら,電子マークデータのデータ構造について説明する。図3は,本実施の形態にかかる電子マークデータのKLV(Key Length Value)符号化されたフォーマットを示す説明図である。
電子マークデータは,図2に示すように映像シーンのうち特殊な映像などが,例えばテキストデータ等により表され,コンテンツデータと関連付けられた(リンクされた)メタデータである。例えば,「フラッシュ」,「記録開始」などを,“_Flash”,“_RecStart”などのように,インデックスとしてテキストデータにより表される。
図3に示すように,電子マークデータがネットワーク105を介してSDI(Serial Digital Interface)にて伝送される場合,KLV符号化されており,KLV符号化された電子マークデータは,最大49バイトから構成される。フォーマットは,SMPTE 335M/RP210A(メタデータ辞書)に準拠している。
KLV符号化された電子マークデータは,図3に示すように,16バイトからなる「Key」部と,1バイトからなる「L」(Length)部と,最大32バイトからなる「Value」部とから構成される。
「Key」部は,SMPTE 335M/RP210A(メタデータ辞書)に準拠した,KLV符号化されたデータ項目を示す識別子であり,電子マークデータであることを識別するための識別子である。様々なデータ項目に対する本識別子の値がSMPTEのメタデータ辞書(Metadata Dictionary)に定義されている。
さらに,本実施の形態にかかる電子マークデータの符号化に対応するものとしては,SMPTEのメタデータ辞書に“Cataloguing,lndexing,Thesaurus or Gazetter system used”と命名された項目が定義されている。
上記定義された“エレメント名”の具体的な値としては,電子マークデータがISO(International Organization for Standardization)の7ビット符号化文字セットで記述される場合,16進数で表すと,06(h) 0E(h) 2B(h) 34(h) 01(h) 01(h) 01(h) 01(h) 03(h) 02(h) 01(h) 02(h) 02(h) 00(h) 00(h) 00(h)に表示される。
「L」部は,「L」部以降に続くデータの長さをバイト単位で示す。電子マークデータの符号化においては,ISOの7ビット符号化文字セットを用いた場合は最大のデータ長が32バイト(20(h))である。なお,UCS(Universal Multiple−Octet Coded Character Set)は,ISO−7ビット符号化文字セットと同様に,ISOとIEC(International Electrotechnical Commission)が共同で作成された符号化文字セットである。
「Value」部は,電子マークデータが格納されるテキストデータから成るフィールドである。
KLV符号化された電子マークデータは,SMPTE標準規格が定めるところの方法に従い,伝送される。例えばSDI(SeriaI Digital Interface)で伝送される場合においては,KLV符号化された電子マークデータは,映像データのV‐ancillary領域に格納される。
さらに,本実施の形態にかかる電子マークデータの符号化に対応するものとしては,SMPTEのメタデータ辞書の“Cataloguing,lndexing,Thesaurus or Gazetter system used”において,UTF―16(16−bit UCS Transformation Format:ユニコード)で記述される場合であっても実施可能である。
上記UTF−16の場合の“エレメント名”は,16進数で表すと,06(h)0E(h) 2B(h) 34(h) 01(h) 01(h) 01(h) 04(h) 03(h) 02(h) 01(h) 02(h) 02(h) 01(h)00(h) 00(h)である。
UTF‐16を用いた場合,「Value」部のデータ長は,無制限である。また「Value」部は,UTF‐16を用いた場合は,2バイトで1文字を表す。
(1.2 テイクメタデータファイルについて)
つぎに図4を参照しながら,本実施の形態にかかるテイクメタデータファイルに説明する。図4は,本実施の形態にかかるテイクメタデータファイルの概略的な構成を示す説明図である。
テイクメタデータファイルは,撮像装置101により,撮像時のテイクごとに生成された電子マークデータに基づき生成される。したがってテイクメタデータファイルは,テイクごとに撮像されたコンテンツデータのインデックスを表すメタデータである。
図4に示すように,テイクメタデータファイルは,XML(eXtensible Markup Language)のタグ言語から構成されている。テイクメタデータファイルは,少なくとも撮像装置101の撮像情報を表す撮像情報部301と,コンテンツデータのファイル名を示す映像ファイル名部302と,テイクごとに生成された電子マークデータが含まれるマーク部303とが含まれる。
上記撮像情報部301は,“<Device>”タグと“</Device>”タグとの間に定義されて,例えば“<Model name=”ABC−0123“serialNo=”12−34−56−78“/>”のタグでは撮像装置101のモデル型式が定義されているが,かかる例に限定されず他のタグ名を定義した場合であっても実施可能である。
上記映像ファイル名部302は,“<ComponentMaterial>”タグと“</ComponentMaterial>”タグとの間に定義されて,例えばコンテンツデータのうちビデオ画像データのファイル名は,“<Video src=“video1.mxf”/>“などのように定義され,音声データのファイル名は,“<Audio src=”audio1.mxf“/>”などのように定義されるが,かかる例に限定されない。なお,ファイル名の拡張子である“mxf”は,“material exchange format”のフォーマットを意味する。
上記マーク部303は,電子マークデータと,時間情報である日時情報コードとが,“<EssenceMarkTable>”と“</EssenceMarkTable>”との間に定義される。なお,本実施の形態にかかる日時情報コードは,日付及び時間からなる場合を例に挙げて説明したが,かかる例に限定されない。例えば,日時情報コードは,時間からなる時間情報コードや,広義に時間情報であるフレーム番号,またはタイムコードなどの場合でもよい。
図4に示すように,例えば“<EssenceMark value=“_Flash”>02/10/23/09:43:52:01</EssenceMark>”と定義されたうち,“_Flash”が,上記電子マークデータであり,タイムコードに類似した“02/10/23/09:43:52:01”が,上記日時情報コードである。なお本実施の形態にかかる日時情報コードは,かかる例に限定されず,例えば,“02:10:23:09:43:52:01”などである場合であっても実施可能である。上記電子マークデータとともに日時情報コードがテイクメタデータファイルに記録されることで,電子マークデータが記録されているコンテンツデータのフレームを迅速的に特定することができ,そのフレームからコンテンツデータを再生することができる。
また,本実施の形態にかかるコンテンツデータのフレームを特定するために日時情報コードを使用する場合を例に挙げて説明したが,かかる例に限定されず,例えば,日時情報コードの代わりに,タイムコード,コンテンツデータの先頭フレームからのフレーム番号,またはFTC(フレーム タイム コード)などの場合でも実施可能である。なお,FTCは,先頭フレームからのフレーム番号をタイムコード形式に表示したものである。
上記日時情報コードは,年,月,日,時間,およびフレーム値を表し,例えば上記“02/10/23/09:43:52:01”では,“2002年 10月 23日 9時43分52秒01フレーム”であることを意味する。ビデオは,例えば1秒間で30枚のフレームで構成される場合,フレーム値は,00から29フレームの範囲である。時間は24時間時計で昇順にカウントされる循環体系となっている。
上記テイクメタデータファイルが,テイクごとに撮像装置101によって生成されて,光ディスク104に,コンテンツデータとは別ファイルとして記録される。なお,テイクメタデータファイルが,コンテンツデータが記録される光ディスク104の記録領域とは別の領域に記録される場合等でも良い。また,本実施の形態にかかる日時情報コードは,コンテンツデータを構成するフレーム単位に付与される。したがって,撮像が数日間に渡る場合であっても,日時情報コードにより一意的に定まる。
(2. 映像コンテンツ編集支援システムの各コンポーネントの構成)
次に,図1,図5,図6,および図7を参照しながら,本実施の形態にかかる映像コンテンツ編集支援システムの各コンポーネントの構成について説明する。図5は,本実施の形態にかかる映像コンテンツ編集支援システムの撮像装置101の概略的な構成を示すブロック図であり,図6は,本実施の形態にかかる映像コンテンツ編集支援システムの再生装置102の概略的な構成を示すブロック図であり,図7は,本実施の形態にかかる映像コンテンツ編集支援システムの編集装置103の概略的な構成を示すブロック図である。
(2.1 ネットワーク105)
ネットワーク105は,撮像装置101,再生装置102,編集装置103のうち少なくとも2つとを相互に双方向通信可能に接続するものであり,本実施の形態では,RS−422又はRS−232Cなどの有線通信であるが,かかる例に限定されず,IEEE802.11a規格などを始めとした無線通信,さらに有線無線問わず,衛星通信や,光ファイバを使用した光通信なども含まれる。
(2.2 撮像装置101)
次に,図5を参照しながら,撮像装置101について説明する。図5は,本実施の一形態にかかる映像コンテンツ編集支援システムの撮像装置の概略的な構成を示すブロック図である。
撮像装置101は,被写体を撮像して,撮像したコンテンツデータを光ディスク104に記録して,光ディスク104に記録されたコンテンツデータを再生する機能を有する。
さらに撮像時に例えばフラッシュが発光される映像などの場合,撮像装置101は,フラッシュが発光される映像のコンテンツデータであるフラッシュ映像データに関連する電子マークデータを生成し,さらにこの電子マークデータを含むテイクごとに生成された上記電子マークデータからテイクメタデータファイルを光ディスク104に記録する機能を有する。なお,上記撮像装置101は,カメラおよび光ディスクドライブとが一体となった装置であるが,カメラと光ディスクドライブは一体である必要は無く,別体でも良い。
図5に示すように,撮像装置101は,映像データを生成し,撮像装置101におけるズーム,再生,または記録処理等の各処理制御するカメラブロック402と,音声データ,電子マークデータ,およびテイクメタデータファイルの生成,上記生成された音声データ,映像データ,テイクメタデータファイルを光ディスク104に記録したり,記録されたデータを再生するレコーダブロック403とから構成される。
カメラブロック402は,撮像部407と,ビデオプロセッサ408と,ビデオ圧縮部409と,ビデオインタフェース410と,データバス411と,カメラコントローラ413と,カメラコントローラインタフェース412と,ビデオプロセッサインタフェース414と,操作部インタフェース415と,操作部416と,メモリ部417と,CPU(中央演算処理装置)418と,ビューファインダー419と,ビューファインダーインタフェース420と,レコーダインタフェース421とから構成される。
撮像部407は,少なくとも1つの撮像素子(撮像デバイス)を備える。撮像素子は,例えば,受光面に2次元的に設けられた光電変換素子からなる複数の画素により,被写体から受光した光学像を光電変換して電気的な画像信号として出力するCCDなどの固体撮像デバイスが挙げられる。
ビデオプロセッサ408は,撮像部407により生成された映像データをA/D変換,ホワイトバランス処理,γ(ガンマ)補正や,アパーチャー(aperture)補正処理などを実行する。
ビデオ圧縮部409は,圧縮する必要がある場合,上記ビデオプロセッサ408によりA/D変換された映像データを,例えばモーションJPEG,MPEG1,MPEG2−TS,またはMPEG2−PS方式などにより圧縮処理(エンコード処理)し,ビデオインタフェース410は,ビデオ圧縮部409により圧縮された映像データを,コンテンツデータとしてデータバス411に転送(送受信)するための媒介として機能する。なお,本実施の形態にかかるビデオ圧縮部409は,圧縮が必要ない場合は,圧縮処理せずにビデオインタフェース410に出力する。
ビデオプロセッサインタフェース414は,上記ビデオプロセッサ408により,A/D変換又は圧縮するための制御プロセッサデータなどを,ビデオプロセッサ408又はデータバス411に転送するための媒介として機能する。
カメラコントローラ413は,例えば操作部416などによる指示に基づき,撮像部407に対し絞りやズームの制御を行い,カメラコントローラインタフェース412は,データバス411から転送される例えば操作部416による指示データなどをカメラコントローラ413に転送するための媒介として機能する。
操作部416は,例えばズーム又は絞りの調整や,記録開始など各操作を行い,操作部インタフェース415は,上記操作部416の操作により生成される指示データをデータバス411に転送するための媒介として機能する。
CPU418は,カメラブロック402の各部の処理を制御し,メモリ部417は,例えば,過去の撮像時のズームや絞りなどの撮像情報を記憶する。なお,メモリ部411は,RAM,EEPROMなどが例示されるが,撮像情報などのデータを記憶可能であれば,かかる例に限定されない。
ビューファインダー419は,撮像する被写体の範囲を定めるための器具であり,撮像中又は再生時の映像データを表示し,さらに電子マークデータが生成された場合,電子マークデータを表示する。ビューファインダーインタフェース420は,データバス411から転送される映像データ又は電子マークデータなどを上記ビューファインダー419に転送するための媒介として機能する。
レコーダインタフェース421は,カメラブロック402とレコーダブロック403との間に,データを転送するための媒介として機能する。
レコーダブロック403は,マーク生成部404と,テイクメタデータ生成部405と,記録部406と,マイクロフォン422と,オーディオプロセッサ423と,オーディオインタフェース424と,オーディオプロセッサインタフェース425と,カメラインタフェース426と,通信部427と,日時情報コード生成部428と,LCD表示インタフェース430と,LCD表示429と,メモリカードインタフェース431と,メモリ部432と,CPU433とから構成される。
マーク生成部404は,コンテンツデータに関連する電子マークデータを生成する。例えば,記録開始の場合は,“_RecStart”の電子マークデータを生成し,記録終了の場合は,“_RecStart”の電子マークデータを生成する。
さらに,マーク生成部404は,撮像されるコンテンツデータに特殊コンテンツデータを検出すると,上記特殊コンテンツデータに関連する電子マークデータを生成する。なお,特殊コンテンツデータは,コンテンツデータのうち特殊なコンテンツデータであり,映像データ及び音声データから構成されるが,映像データのみ,音声データのみの場合でも良い。
上記特殊コンテンツデータは,コンテンツデータであり,少なくともフラッシュが発光される映像のフラッシュ映像データ又は音声出力レベルが限界値を超えた映像の大音量音声データが例示されるが,かかる例に限定されず,例えば,例えば赤や青などの色がパタパタと入れ替わる映像のクロマフラッシュ映像データなどの場合でも実施可能である。なお,特殊コンテンツデータについては後程詳述する。
したがって,マーク生成部404は,例えばフラッシュが発光するコンテンツデータの場合,データバス434に伝送されるコンテンツデータに基づき,光の連続する明滅により生じるフラッシュを検出することにより,フラッシュ映像データであると判断すると,フラッシュ映像データに関連する電子マークデータ“_Flash”を生成する。さらに,マーク生成部404により,生成された電子マークデータは,メモリ部432に記憶される。
テイクメタデータ生成部405は,テイクごとに生成された電子マークデータに基づきテイクメタデータファイルを生成する。したがって,テイクメタデータ生成部405は,1回の記録開始から終了に至る連続した撮像処理において生成された電子マークデータ全てをメモリ部432から抽出し,撮像情報,および日時情報コードの付加処理などを行い,図4に示すテイクメタデータファイルの生成を行う。
カメラインタフェース426は,カメラブロック402とレコーダブロック403との間に,データを転送するための媒介として機能する。
オーディオプロセッサ423は,マイクロフォン422により伝送される音声データのA/D変換及び音声調整などを行い,必要に応じてA/D変換された音声データを圧縮する。
オーディオプロセッサインタフェース425は,上記オーディオプロセッサ423により生成するための制御プロセッサデータを,オーディオプロセッサ423又はデータバス434に転送するための媒介として機能し,オーディオインタフェース424は,必要に応じて圧縮された音声データをコンテンツデータとしてデータバス434に転送するための媒介として機能する。
通信部427は,撮像装置101から,少なくともコンテンツデータ又はテイクメタデータファイルなどのデータを,ネットワーク105を介して送受信する。
日時情報コード生成部428は,撮像時に年,月,日,及び時間などからなる日時情報コードのタイムカウントを行い,コンテンツデータのフレームごとに生成された上記日時情報コードを付加する。なお,本実施形態にかかる日時情報コードは,コンテンツデータのフレームを識別可能であれば,かかる例に限定されず,例えば,年,月,日,もしくは時間のうち少なくとも一つからなる情報コードや,コンテンツデータの先頭フレームからフレームにフレーム番号を付加する場合等であっても実施可能である。
LCD表示429は,コンテンツデータの画像,日時情報コード,音声出力レベル,またはテイクメタデータファイルなどを表示する。LCD表示インタフェース430は,上記LCD表示429にコンテンツデータの画像,日時情報コード,音声出力レベル,またはテイクメタデータファイルなどを表示させるためデータバス434からデータを転送するための媒介として機能する。
メモリインタフェース431は,例えば,メモリスティック(商標)等の半導体メモリに記録された撮像情報などのデータを転送するための媒介として機能する。したがって,例えばメモリスティックなどに他の撮像装置101で使用した撮像情報などを読み取り,または上記撮像情報などを書き込みすることが可能となる。
CPU433は,レコーダブロック403の各部の処理を制御し,メモリ部432は,電子マークデータなどのデータを記憶することが可能である。例えば,RAM,EEPROM,などを例示することができるが,かかる例に限定されず,本実施の形態にかかるメモリ部432は,ハードディスクなどの磁気記憶部であってもよい。
また,本実施の形態にかかる管理部406は,テイクで撮像された映像データと音声データとからなるコンテンツデータと,テイクごとに生成されるテイクメタデータファイルとを光ディスク104に別ファイルとして記録する。したがって,光ディスク104に記録されたテイクメタデータを読み取り,表示すれば,コンテンツデータを再生せずにユーザはコンテンツデータの概略的な内容を把握することができる。
なお,本実施の形態にかかる管理部406は,光ディスク104にコンテンツデータとテイクメタデータファイルを別ファイルとして記録する場合に限定されず,例えば,管理部406は,撮像により映像データと音声データとから成るコンテンツデータと,テイクごとに生成されるテイクメタデータファイルとを光ディスク104の記録領域に別々に記録する場合でもよい。なお,上記光ディスク104に記録される記憶領域は,コンテンツデータとテイクメタデータファイルとは別領域である。例えば,光ディスク104の同一トラック内におけるコンテンツデータが記録される記憶領域の前後にテイクメタデータファイルが記録される記憶領域が存在する場合,光ディスク104のコンテンツデータが記録される記憶領域及びテイクメタデータファイルが記録される記憶領域が予め定められている場合などが例示される。
上記管理部406は,ドライブインタフェース435と,コンテンツデータ及びテイクメタデータファイルを光ディスクに記録する又は再生するためのデータ形式に変換するデータプロセッサ437と,光ディスク104に対してコンテンツデータ及びテイクメタデータファイルを読み/書きするためレーザーの発生及び受光部(図示せず。)を制御するピックアップコントロール436と,再生/記録するために光ディスク104を着脱制御するローディングメカニズムコントローラ438と,メカニズムインタフェース439とから構成されている。
(2.3 再生装置102)
次に,図6を参照しながら,再生装置102について説明する。図6は,本実施の一形態にかかる映像コンテンツ編集支援システムの再生装置の概略的な構成を示すブロック図である。
再生装置102は,光ディスク104に記録されたコンテンツデータの再生,光ディスク104に記録されたテイクメタデータファイルに基づき,コンテンツデータの粗編集をするための電子マークリストデータの生成,もしくはネットワーク105を介して送信されるコンテンツデータ又はテイクメタデータファイルなどのデータの記録をする。例えば,DVDを記録又は再生可能な装置などを例示することができる。
図6に示すように,再生装置102は,外部ビデオインタフェース502と,ビデオ圧縮/伸張部509と,ビデオインタフェース510と,データバス511と,操作部インタフェース515と,操作部516と,メモリ部517と,CPU503と,通信部527と,リスト生成部501と,LCD表示529と,LCD表示インタフェース530と,外部オーディオインタフェース505と,オーディオプロセッサ523と,オーディオインタフェース524と,記録再生部506とから構成される。
外部ビデオインタフェース502は,コンテンツデータのうち映像データを再生装置102外部にネットワーク105を介して転送するための媒介として機能する。もしくはネットワーク105を介して転送されてくる映像データをビデオ圧縮/伸張部509に転送するための媒介として機能する。
ビデオ圧縮/伸張部509は,映像データを,例えばモーションJPEG,MPEG1,MPEG2−TS,またはMPEG2−PS方式などに基づき,圧縮処理(エンコード処理)又は伸張処理(デコード処理)し,ビデオインタフェース510は,圧縮/伸張された映像データを,コンテンツデータとしてデータバス511又は上記ビデオ圧縮/伸張部509に転送するための媒介として機能する。
操作部516は,例えばコンテンツデータの再生/記録など各操作の指示をして,操作部インタフェース515は,上記操作部516の操作により生成される処理を行うための指示データをデータバス511に転送するための媒介として機能する。
CPU503は,再生装置102に構成する各部の処理を制御し,メモリ部517は,例えば,光ディスクに記録されたテイクメタデータファイルをキャッシュするなど各種データを記憶する。なお,メモリ部517は,RAM,EEPROMなどが例示されるが,データを記憶可能であれば,かかる例に限定されない。
外部オーディオインタフェース505は,コンテンツデータのうち音声データを再生装置102外部にネットワーク105を介して転送するための媒介として機能する。もしくはネットワーク105を介して転送されてくる音声データをオーディオプロセッサ523に転送するための媒介として機能する。
オーディオプロセッサ523は,音声データのA/D変換及び音声調整などを行い,必要に応じて音声データを圧縮する。オーディオインタフェース524は,音声データをデータバス434又はオーディオプロセッサ523に転送するための媒介として機能する。
通信部527は,少なくとも電子マークリストデータ,コンテンツデータ,またはコンテンツデータのサムネールなどのデータを,ネットワーク105を介して送受信する。またSDIによりテイクメタデータファイル又はコンテンツデータなどを,ネットワーク105を介して送信する場合,KLV符号化などの符号化処理をする。
LCD表示529は,再生処理,記録処理,巻き戻し処理,早送り処理などの処理状況の表示,日時情報コードなどの表示をする。LCD表示インタフェース530は,上記LCD表示529に再生処理,記録処理,巻き戻し処理,早送り処理などの処理状況の表示,日時情報コードなどを表示させるためデータバス511からデータを転送するための媒介として機能する。
記録再生部506は,光ディスク104に記録されたコンテンツデータの再生処理や,テイクメタデータファイルの抽出処理をする。さらに,撮像により映像データと音声データとから成るコンテンツデータと,テイクごとに生成されるテイクメタデータファイルとを光ディスク104に別ファイルとして記録することも可能である。
なお,本実施の形態にかかる記録再生部506は,コンテンツデータとテイクメタデータとを別ファイルとして光ディスク104に記録する場合に限定されず,例えば,記録再生部506は,撮像により映像データと音声データとから成るコンテンツデータと,テイクごとに生成されるテイクメタデータファイルとを光ディスク104の記録領域に別々に記録する場合などでも可能である。なお,上記光ディスク104に記録される記憶領域は,コンテンツデータとテイクメタデータファイルとは別領域である。例えば,光ディスク104の同一トラック内におけるコンテンツデータが記録される記憶領域の前後にテイクメタデータファイルが記録される記憶領域が存在する場合,光ディスク104のコンテンツデータが記録される記憶領域及びテイクメタデータファイルが記録される記憶領域が予め定められている場合などが例示される。
上記記録再生部506は,ドライブインタフェース535と,コンテンツデータ及びテイクメタデータファイルを光ディスクに記録する又は再生するためのデータ形式に変換するデータプロセッサ537と,光ディスク104に対してコンテンツデータ及びテイクメタデータファイルを読み/書きするためレーザーの発生及び受光部(図示せず。)を制御するピックアップコントロール536と,再生/記録するために光ディスク104を着脱制御するローディングメカニズムコントローラ538と,メカニズムインタフェース539とから構成されている。
(2.4 編集装置103)
次に,図7を参照しながら,編集装置103について説明する。図7は,本実施の一形態にかかる映像コンテンツ編集支援システムの編集装置の概略的な構成を示すブロック図である。
編集装置103は,再生装置102により光ディスク104を再生することにより,コンテンツデータまたは電子マークリストデータを表示することができる。また電子マークリストデータの変更/追加などの編集処理をすることができる。
図7に示すように,編集装置103は,外部ビデオインタフェース602と,ビデオ圧縮/伸張部609と,ビデオインタフェース610と,データバス611と,入力部601と,入力部インタフェース604と,編集操作部612と,メモリ部617と,CPU603と,通信部627と,LCD表示629と,LCD表示インタフェース630と,外部オーディオインタフェース605と,オーディオプロセッサ623と,オーディオインタフェース624と,出力部607と,出力部インタフェース608と,編集操作部612と,編集部613とから構成される。
入力部601は,マウス又はキーボードなどから構成されており,キーボードを用いてテイクメタデータファイルのファイル名などを編集することができる。入力部インタフェース604は,転送されるデータを入力部601又はデータバス611とに転送するための媒介としての機能を有する。
編集操作部612は,表示される電子マークリストデータからテイクメタデータファイルの選択,コンテンツデータの再生処理(早送り,巻き戻しなど含む。),または電子マークデータの追加などの編集処理をする。
図8に示すように,編集操作部612は,マーク表示ボタン701と,映像表示ボタン702と,ジョグダイアル703と,In点指定ボタン704と,Out点指定ボタン705とから構成されている。
マーク表示ボタン701は,電子マークリストデータに含まれる電子マークデータの一覧を表示させるためのボタンであり,映像表示ボタン702は,選択された電子マークデータの設定位置から映像を再生させるためのボタンであり,ジョグダイアル703は,例えば円柱形状であり,円柱の軸方向を中心軸として円周方向に左右回動可能であり,ユーザが回動させることに応じて,電子マークデータを選択するためのマーク又はカーソルの移動や,コンテンツデータの再生速度等の調節が行われる。
ジョグダイアル703によるコンテンツデータの再生調節は,例えば,回動しない状態では通常再生(再生速度:1倍速)であり,円周方向の右に回動すると早送り再生となり,回転角度が大きいほど,早送り再生の速度が上がる。また円周方向の左に回動すると巻き戻し再生となり,回転角度が大きいほど,巻き戻し再生の速度が上がる。
さらに,In点指定ボタン704は,本編集に必要な映像シーン又は映像カットの開始位置を指定するためのボタンであり,Out点指定ボタン705は,上記必要な映像シーン又は映像カットの終了位置を指定するためのボタンである。上記In点及びOut点の指定により,ある1の映像シーン又は映像カットのスタートからエンドまでの範囲が定まる。なお,本実施の形態にかかる編集操作部612は,ジョグダイアル703などが備わる場合を例に挙げて説明したが,かかる例に限定されず,例えば,編集操作部612は,マウスなどのポインティングデバイスである場合も実施可能である。
外部ビデオインタフェース602は,コンテンツデータのうち映像データを編集装置103の外部にネットワーク105を介して転送するための媒介として機能する。もしくはネットワーク105を介して転送されてくる映像データをビデオ圧縮/伸張部609に転送するための媒介として機能する。
ビデオ圧縮/伸張部609は,映像データを,例えば,モーションJPEG,MPEG1,MPEG2−TS,またはMPEG2−PS方式などに従い,圧縮処理(エンコード処理)又は伸張処理(デコード処理)し,ビデオインタフェース610は,圧縮/伸張された映像データを,コンテンツデータとしてデータバス611又は上記ビデオ圧縮/伸張部609に転送するための媒介として機能する。
CPU603は,編集装置103に構成される各部の処理を制御し,メモリ部617は,例えば,電子マークリストデータを記憶するなど各種データを記憶する。なお,メモリ部617は,RAM,EEPROMなどが例示されるが,データを記憶可能であれば,かかる例に限定されない。例えば,ハードディスク装置などの場合であってもよい。
外部オーディオインタフェース605は,コンテンツデータのうち音声データを編集装置103の外部にネットワーク105を介して転送するための媒介として機能する。もしくはネットワーク105を介して転送されてくる音声データをオーディオプロセッサ623に転送するための媒介として機能する。
オーディオプロセッサ623は,音声データのA/D変換及び音声調整などを行い,必要に応じて音声データを圧縮する。オーディオインタフェース624は,音声データをデータバス611又はオーディオプロセッサ623に転送するための媒介として機能する。
通信部627は,少なくとも電子マークリストデータ,コンテンツデータ,またはコンテンツデータのサムネールなどのデータを,ネットワーク105を介して送受信する。またSDIにより電子マークリストデータ,またはコンテンツデータを,ネットワーク105を介して送信する場合,KLV符号化などの符号化処理をする。
LCD表示629は,ディスプレイ装置であり,例えば液晶モニタなどが例示することができる。LCD表示629は,コンテンツデータの映像,日時情報コード,音声出力レベル,またはテイクメタデータファイルなどを表示する。さらに音声も出力される。LCD表示インタフェース630は,上記LCD表示629にコンテンツデータの映像及び音声,日時情報コード,音声出力レベル,またはテイクメタデータファイルなどを表示/出力させるためデータバス611からデータを転送するための媒介として機能する。
編集部613は,本編集に必要な映像シーンのうち映像カットを選択し,上記映像カットをIn点及びOut点を定め映像範囲を定めるため,電子マークリストデータを編集することができる。
電子マークリストデータの編集は,例えば,映像カットのIn点及びOut点を定めるため,In点及びOut点の電子マークデータ(“_In−XXX”及び“_Out−XXX”)の追加,不要な電子マークデータの削除などを例示することができる。
(3. 映像コンテンツ編集支援システムにおける動作説明)
次に,上記のように構成された映像コンテンツ編集支援システムの動作の実施形態について説明する。
まず,図9を参照しながら,本実施の形態にかかる映像コンテンツ編集支援システムの動作の全体構成について説明する。図9は,本実施の形態にかかる映像コンテンツ編集支援システムの動作の概略を示すフローチャートである。
図9に示すように,本実施の形態にかかる映像コンテンツ編集支援システムは,撮像工程(S801)と,編集工程(S802)とから構成されている。撮像工程(S801)は,取材またはドラマなどの撮像のために少なくとも1回のテイクでコンテンツデータの撮像が全て終了するまでの工程を表す。なお,テイクは,1回の記録開始から終了に至る連続した撮像処理である。
したがって,映像カットに使用するコンテンツデータを撮像する全ての撮像処理が終了するまで,つまり全テイクによるコンテンツデータの撮像が終了するまで,撮像工程(S801)は,継続される。図9に示すように,撮像終了まで撮像工程(S801)からなる撮像ループが実行される。
撮像工程(S801)が終了すると,次に,本編集するために,粗編集又は粗つなぎ編集である編集工程(S802)が行われる。編集工程(S802)は,撮像工程(S801)において撮像されたコンテンツデータの中から,本編集に必要なコンテンツデータを取捨選択し,選択されたコンテンツデータにおいて,映像カットとして実際に使われる範囲を,In点及びOut点を指定することにより,映像カットを決定する。
編集工程(S802)が終了すると,粗編集において生成される編集リストデータに基づき,本編集が行われ,放送されるコンテンツデータが完成する。以下,撮像工程(S801)及び編集工程(S802)について説明する。
(3.1 撮像工程(S801))
次に,図10を参照しながら,撮像工程(S801)について説明する。図10は,本実施の形態にかかる映像コンテンツ編集支援システムにおける撮像工程の概略的な動作を示すフローチャートである。
まず,被写体を撮像するために,撮像装置101の電源をオンにすると,ステータスが記録可能状態となり,撮像可能なセットアップされた状態になる。また撮像装置101の操作部416を操作することにより,撮像日時,撮像時間,日時情報コード,および撮像情報などの設定が行われる。
上記セットアップ作業が終了後,撮像が開始すると,マーク生成部404は,電子マークデータの生成事由の検出処理を開始する(S901)。まず撮像開始時,マーク生成部404は,光ディスク104に対してコンテンツデータの記録開始に関連する電子マークデータ(“_RecStart”)を生成する(S902)。
“_RecStart”の電子マークデータが生成されると,電子マークデータ生成時点の日時情報コード生成部428により生成された日時情報コード及び“_RecStart”の電子マークデータとをメモリ部432又はメモリ部417に一時保有させる(S903)。
撮像開始時の“_RecStart”の電子マークデータ生成以降,マーク生成部404は,電子マークデータ発生事由を検出(S901)するたびに,電子マークデータの生成(S902)と,電子マークデータの保有(S903)とを行う。
撮像されたコンテンツデータは,撮像開始以降,撮像終了であるコンテンツデータの記録終了まで光ディスク104に記録される(S904)。なお,図10に示すように,電子マークデータ発生事由の検出(S901)からコンテンツデータの記録(S904)までの処理は,テイクごとに行われ,1回のコンテンツデータの記録開始から終了までの連続する撮像処理が,例えば操作部416の記録停止ボタン(図示せず。)などにより終了するまで継続される。つまり,テイクが終了するまで,電子マークデータ生成事由検出(S901)〜コンテンツデータ記録(S904)までのテイクループが実行される。
またマーク生成部428による上記電子マークデータ生成事由(S901)としては,図2に示すように,撮像開始時を生成事由として“_RecStart”の電子マークデータが生成される他に,例えば,撮像終了時に“_RecEnd”の電子マークデータの生成,特殊コンテンツデータの検出時に“_Flash”又は“_OverAudioLimiter”の電子マークデータの生成が例示される。以下,上記特殊コンテンツデータの検出時を生成事由として“_Flash”の電子マークデータが生成される場合について説明する。
図11を参照しながら,上記“_Flash”の電子マークデータの生成事由の検出について説明する。図11は,本実施の形態にかかるフラッシュ映像データの概略的な構成を示す説明図である。
上記“_Flash”の電子マークデータの生成事由の検出(S901)は,図11に示すように,特殊コンテンツデータのうち,光の明滅により生じるフラッシュを伴って撮像されたフラッシュ映像データが検出されることである。
図11に示すフラッシュ映像データ1000は,少なくとも一つのフレーム(フレーム1010,フレーム1020,・・・,フレーム1060)から構成されるコンテンツデータである。なお,フレーム1010〜フレーム1060のうち,フレーム1010,フレーム1020,およびフレーム1060の輝度レベルの合計値(又は平均値)が最も低く,フレーム1040が輝度レベルの合計値(又は平均値)が最も高い。
フラッシュ映像データ1000は,光の明滅によるフラッシュが発光されることから,例えば,フレーム1010からフレーム1060までの各フレームの輝度レベルの合計値(又は平均値)を計算し,再生方向に従い,フレーム間に輝度レベルの合計値(又は平均値)の増減が生じた場合,光の明滅が生じ,特殊コンテンツデータのうちのフラッシュ映像データ1000であると判断される。
図11に示すように,輝度レベルの合計値(又は平均値)は,フレーム1010からフレーム1020にかけて,ほぼ増減はないが,フレーム1020からフレーム1030では,輝度レベルの合計値(又は平均値)は増加する。つまり光が発光し始める瞬間である。
さらに,フレーム1030からフレーム1040では,輝度レベルの合計値(又は平均値)はさらに増加する。しかし,フレーム1040からフレーム1050では,フレーム1040の輝度レベルをピークとして,輝度レベルの合計値(又は平均値)は減少する。つまり,発光し終わる瞬間である。さらに,所定時間内に輝度レベルの合計値(又は平均値)が増加および減少していることから,マーク生成部404は,“_Flash”の電子マークデータの生成事由が検出されたと判断し,“_Flash”の電子マークデータを生成する。
なお,上記特殊コンテンツデータのうち大音量音声データについても,上記説明したように,マーク生成部404は,フレームごとに音声が出力される音声出力レベルを検出し,所定時間内に音声出力レベルの合計値(又は平均値)が所定レベルを超えた場合,“_OverAudioLimiter”の電子マークデータの生成事由を検出したと判断する。
図10に示すテイクごとの撮像(S901〜S902)が終了すると,テイクメタデータ生成部405は,メモリ部432又はメモリ部417にアクセスし,同一テイク内に生成された電子マークデータ及び当該電子マークデータ生成時の日時情報コードを抽出する。
少なくとも上記抽出された電子マークデータ及び日時情報コードと,撮像時に記録される撮像情報とに基づき,テイクメタデータ生成部405は,図4に示すテイクメタデータファイルをテイクごとに生成する(S905)。
上記生成されたテイクメタデータファイルは,管理部406により,光ディスク104に記録される(S905)。テイクメタデータファイルが記録される光ディスク104は,図12に示すディレクトリ構造を有する。図12は,本実施の形態にかかる光ディスク104の概略的なディレクトリ構造を示す説明図である。
図12に示すように,ROOT(ルート)フォルダ1200配下に“TAKE a”フォルダ1201,“TAKE b”フォルダ1202,…と少なくとも一つのフォルダ(1201,1202,…)を有し,上記の各フォルダ(1201,1202,…)には,テイクごとに撮像されたコンテンツデータである“Video aデータ”及びテイクメタデータファイルである“TAKE METADATA a”ファイルと,“Video b”及び及びテイクメタデータファイルである“TAKE METADATA b”ファイル,…とがテイクごとに各フォルダ(1201,1202,…)に記録される。
したがって,コンテンツデータと当該コンテンツデータに係るテイクメタデータファイルとは,例えば,テイクごとに同一フォルダ内に別ファイルとして記録される。なお,コンテンツデータとテイクメタデータファイルは同一フォルダ内に別ファイルとして記録されるが,例えば,コンテンツデータとテイクメタデータファイルとがUMID等によりリンクされていれば,かかる例に限定されない。さらに,本実施の形態にかかる光ディスク104の記録処理について,コンテンツデータとテイクメタデータとを光ディスク104の別々の記録領域に記録する場合でも実施可能である。
また図13に示すように,光ディスク104は,記録領域として複数のトラックを有する。図13は,本実施の形態にかかる光ディスクの概略的な構造を示す説明図である。図10に示す光ディスク104へのコンテンツデータ記録処理(S901)は,図13に示すように,まずA地点からコンテンツデータを記録開始し,テイクによる撮像処理が終了するまで,コンテンツデータを光ディスクの略同心円状,実際には螺旋状に構成される複数のトラックに例えば内側から順に記録する。
撮像が終了すると,図13に示すように,コンテンツデータの光ディスク104に対する記録がB地点で終了する。以後,テイクごとに,残された光ディスク104の記録領域(B地点以降のトラック)にコンテンツデータの記録処理が繰り返される。
A地点は,あるテイクにより撮像されたコンテンツデータの記録開始地点を表し,B地点は当該コンテンツデータの記録終了地点を表す。なお,本実施の形態にかかるA地点及びB地点はコンテンツデータの記録開始地点及び記録終了地点であるが,かかる例に限定されず,上記コンテンツデータの記録開始及び終了する地点は,光ディスク104上であれば他の地点の場合であっても実施可能である。
さらに,図10に示すテイクメタデータファイルの記録処理(S906)は,上記テイクにより撮像されたコンテンツデータの記録処理(S904)終了後,光ディスク104の記録領域にテイクメタデータファイルがC地点からD地点まで記録される。
C地点は,あるテイクにより撮像されたコンテンツデータに対して生成されるテイクメタデータファイルの記録開始地点を表し,D地点は当該テイクメタデータファイルの記録終了地点を表す。なお,本実施の形態にかかるC地点及びD地点はテイクメタデータファイルの記録開始地点及び記録終了地点であるが,かかる例に限定されず,テイクメタデータファイルの記録開始及び終了する地点は,光ディスク104上であれば他の地点の場合であっても実施可能である。
また図13に示すように,本実施の形態にかかる光ディスク104に記録されるテイクメタデータファイルは,コンテンツデータの記録される記憶領域の外側である場合を例に挙げて説明したが,かかる例に限定されず,例えば,コンテンツデータの記録される記録領域であるトラックの内側である場合や,コンテンツデータの記録されたトラック直後又は直前を記録開始地点としテイクメタデータファイルを記録する場合などであっても実施可能である。
また図10に示すように,本実施の形態にかかるテイクメタデータファイルの生成(S905)及びテイクメタデータファイルの記録(S906)は,1のテイクによる撮像されたコンテンツデータが記録(S904)終了すると,実行される場合を例に挙げて説明したが,かかる例に限定されず,例えば,全テイクにより撮像されたコンテンツデータの記録終了後,全テイクに対するテイクメタデータファイルをまとめて一括生成し,テイクごとに記録する場合であっても実施可能である。
図13に示すように,本実施の形態にかかるコンテンツデータ及びテイクメタデータファイルが記録される記憶領域は予め定められていない場合を例に挙げて説明したが,かかる例に限定されず,例えば,コンテンツデータとテイクメタデータファイルとが光ディスク104に記録される記憶領域は,予めコンテンツデータが記録される映像記憶領域と,テイクメタデータファイルが記録されるメタデータ記憶領域と予め定められている場合であっても実施可能である。
以上から,光ディスク104には,コンテンツデータと,テイクメタデータファイルとが区別され,別ファイルとして記録される。さらに光ディスク104は,ランダムアクセスが可能であるため,必要なテイクメタデータファイルのみを直接アクセスし,テイクメタデータファイル内に含まれる全ての電子マークデータを抽出することができる。なお,従来の磁気テープなどでは,コンテンツデータが記録されるフレームの領域内に電子マークデータが個別に記録されており,コンテンツデータを最初から最後まで再生しないと全ての電子マークデータを抽出することができなかった。
なお,本実施の形態にかかる光ディスク104には,コンテンツデータとテイクメタデータとが別ファイルとして記録される場合に限定されず,例えば,光ディスク104には,コンテンツデータと,テイクごとに生成されるテイクメタデータファイルとが光ディスク104における記録領域に別々に記録される場合などでも可能である。
(3.2 編集工程(S802))
次に,図14を参照しながら,編集工程(S802)について説明する。図14は,本実施の形態にかかる映像コンテンツ編集支援システムにおける編集工程の概略的な動作を示すフローチャートである。
まず,全テイクの撮像終了後,粗編集を行うために,コンテンツデータ及びテイクメタデータファイルが記録された光ディスク104を,再生装置102にロードさせる。
再生装置102は,上記光ディスク104に記録されたテイクメタデータファイルに基づき,粗編集を行うための電子マークリストデータを生成する(S1300)。なお,本実施の形態にかかる再生装置102に光ディスク104をロードさせる場合を例に挙げて説明したが,かかる場合に限定されず,例えば,撮像装置101に光ディスク104をロードさせ,電子マークリストデータを生成する場合であっても実施可能である。
電子マークリストデータは,図15に示すように,少なくとも電子マークデータと当該電子マークデータが生成された日時情報コードとを一組とする少なくとも一つ以上のデータから構成されている。図15は,本実施の形態にかかる編集前の電子マークリストデータの概略的な構成を示す説明図である。
電子マークリストデータは,テイクメタデータファイルに準ずるXML形式に作成されるメタデータであるが,かかる例に限定されず,テキストデータから構成される場合等であっても実施可能である。
上記生成された電子マークリストデータは,再生装置102のメモリ部517に一時保有(S1301)される。なお,図14に示すように,本実施の形態にかかるテイクメタデータファイルの生成及び保有は,ロード時に全テイクメタデータファイルに対して,テイクメタデータファイルごとに一括して電子マークリストデータが生成される場合を例に挙げて説明したが,かかる例に限定されず,例えば,電子マークリストデータ必要時に随時テイクメタデータファイルに基づき,生成する場合であっても実施可能である。
図14に示すように,電子マークリストデータ生成(S1300)及び電子マークリストデータ保有(S1301)からなる電子マークリストデータ生成ループは,テイクメタデータファイルの終了まで実行される。
つまりテイクメタデータファイル全てについて電子マークリストデータの生成(S1300)及び保有(S1301)が終了すると,再生装置102は,編集装置103にネットワーク105を介して送信する。なお,本実施の形態にかかる電子マークリストデータがネットワーク105を介して送信されるのは,SDIによりネットワーク105を介して送信する場合も実施可能であり,この場合は,上記説明したようにテキストデータとしての電子マークリストデータのうち電子マークデータと日時情報データとを別々に,KLV符号化され,映像データのV‐ancillary領域に格納されて,それぞれ伝送される。
次に,編集装置103は,テイクメタデータファイルに基づいてテイクごとに生成された電子マークリストデータのうち,本編集に必要な電子マークリストデータを選択する(S1302)。
ここで,図16を参照しながら,本実施の形態にかかる電子マークリストデータの選択について説明する。図16は,本実施の形態にかかる電子マークリストデータを編集するための編集画面を概略的に示す説明図である。
図16に示すように,編集装置103のLCD表示部629に電子マークリストデータを編集するための編集画面1600が表示される。上記編集画面1600は,コンテンツデータ,電子マークリストデータ,または電子マークデータが表示される映像ディスプレイ1608と,電子マークリストデータに例えば映像カットのコメントなど必要な情報を追加するためのメッセージ入力部1606と,選択された電子マークデータ又は電子マークリストデータの名称が表示される表示部1610とから構成されている。
なお,表示部1610は,選択された電子マークデータ及び日時情報コードや,電子マークリストデータのファイル名等が表示されるが,表示部1610に表示される電子マークデータ及び日時情報コードや,電子マークリストデータのファイル名等を編集することも可能である。例えば,選択された電子マークデータが“_Flash”である場合,編集することにより,“_OverAudioLimiter”に変更するなどである。なお,編集された内容は,電子マークリストデータに更新される。
図16に示すように,映像ディスプレイ1608には,再生装置102により再生された電子マークリストデータの一覧が表示される。さらに,編集操作部612のジョグダイアル703を操作することにより,電子マークリストデータの左に表示される“○”カーソルが上下に移動し,電子マークリストデータを選択(S1302)することが可能になる。
電子マークリストデータを選択(S1302)し,マーク表示ボタン701が押下などにより選択されると,図17に示すように,編集画面1600の映像ディスクプレイ1608に上記選択された電子マークリストデータが表示される。図17は,本実施の形態にかかる電子マークリストデータを編集するための編集画面を概略的に示す説明図である。
図17に示すように,編集装置103は,映像ディスプレイ1608に表示される電子マークリストデータから,編集操作部612のジョグダイアル703の操作により,“○”カーソルを上下に移動させ,電子マークデータを選択する。
電子マークデータは,コンテンツデータに特殊な映像が含まれること又は撮像時の処理などに関して,インデックス的役割を果たすメタデータである。つまり電子マークデーは,本編集時に必要となる映像シーンに含まれる映像カットを抽出するための見出しとなる。したがって,電子マークデータに着目することで,本編集に必要な映像シーンに構成する映像カットの取捨選択が可能となる。
ジョグダイアル703の操作により,電子マークデータが選択され,映像表示ボタン702が押下などにより選択されると,再生装置102は,編集装置103にコンテンツデータをSDIによりネットワーク105を介して伝送し,図18に示すように,選択された電子マークデータが生成された日時情報コードの地点からコンテンツデータが映像ディスプレイ1608に再生される。図18は,本実施の形態にかかる電子マークリストデータを編集するための編集画面を概略的に示す説明図である。なお,図18に示す映像ディスプレイ1608は,コンテンツデータ再生時には電子マークリストデータは表示されていないが,かかる例に限定されず,例えば,電子マークリストデータの背景としてコンテンツデータを表示させることも実施可能である。
また,本実施の形態にかかる映像ディスプレイ1608に再生されるコンテンツデータは,高解像度の非圧縮である場合を例に挙げて説明したが,かかる例に限定されず,例えば,再生装置102により,モーションJPEG,MPEG1,又はMPEG2方式などで圧縮された低解像度のコンテンツデータを生成し,編集装置103に伝送する場合であっても実施可能である。この場合,再生装置102は,光ディスク104に記録されたコンテンツデータに基づき,低解像度に圧縮されたコンテンツデータを一括して編集装置103に伝送又は編集装置103により再生される分だけ低解像度に圧縮されたコンテンツデータを伝送する場合のどちらでもよい。
次に,図18に示す映像ディスプレイ1608に表示されたコンテンツデータから本編集に必要な映像カットの範囲を決定するため,編集装置103は,編集操作部612のIn点指定ボタン704及びOut点指定ボタン705から押下などによる指示に基づき,In点及びOut点の指定など電子マークリストデータを編集する(S1303)。
電子マークリストデータの編集(S1303)において,例えばIn点及びOut点の指定は,ジョグダイアル703の回動などの操作により,コンテンツデータを適当な位置に送る。
さらに各In点指定ボタン704及びOut点指定ボタン705の押下などにより,その押下時のコンテンツデータのフレームに記録された日時情報コードに基づき,各In点及びOut点が指定される。
In点及びOut点が指定されると,図19に示すように,編集部613は,電子マークリストデータに,In点(切り出し開始点)を表す“_In−001”の電子マークデータ及び日時情報コードと,Out点(切り出し終了点)を表す“_Out−001”の電子マークデータ及び日時情報コードとを生成し,追加する。図19は,本実施の形態にかかる編集後の電子マークリストデータの概略的な構成を示す説明図である。
なお,図19に示すように,本実施の形態にかかる“_In−001”及び“_Out−001”は,最初に生成されたIn点及びOut点を示し,以後生成されるごとにシーケンスに番号が増えていく。つまり2番目に生成されるIn点及びOut点は,“_In−002”及び“_Out−002”である。
編集操作部612のマーク表示ボタン701が再度押下などにより選択されると,図20に示すように,映像ディスプレイ1608に編集された電子マークリストデータが表示される。図19に示すように,電子マークリストデータの編集(S1303)により追加された“_In−001”及び“_Out−001”の電子マークデータは最後尾に追加されているが,映像ディスプレイ1608には日時情報コードにより昇順にソートされているため“_In−001”は最上位に表示されている。図20は,本実施の形態にかかる電子マークリストデータを編集するための編集画面を概略的に示す説明図である。
また,上記電子マークリストデータのうちIn点が指定された“_In−001”の電子マークデータがジョグダイアル703により選択され,映像表示ボタン702が押下されると,上記“_In−001”と同じ番号を持つ“_Out−001”の地点までコンテンツデータが映像ディスプレイ1608に再生される。したがって,本編集に必要な映像カットの確認をすることが可能となる。
選択された電子マークリストデータの編集が終了し,別の電子マークリストデータの編集をする場合(S1304),編集装置103のLCD表示部629には,図16に示す電子マークリストデータの一覧が映像ディスプレイ1608に表示され,以降,上記説明したように電子マークリストデータの選択(S1302)及び電子マークリストデータの編集(S1303)が行われる。
他の電子マークリストデータの編集が必要ない場合(S1304),編集部613は,本編集で用いられる編集リストデータを生成する(S1305)。本実施の形態にかかる編集リストデータには,コンテンツデータにIn点およびOut点が設定され,選択された映像カットのうち,再生する順番に並べ替えられた映像カットの再生順番などが含まれる。なお,本実施の形態にかかる粗編集は,図14に示すようにS1300〜S1305から構成されるが,かかる例に限定されない。
また,本実施の形態にかかる編集リストデータは,EDL(Edit Decision List)形式に生成されるが,かかる例に限定されず,編集リストデータの形式は,他のいかなる形式であっても,実施可能である。
編集リストデータが生成されると,編集工程(S802)が終了し,本編集前の粗編集作業が完了する。したがって次に,編集リストデータ及び光ディスク104に記録されたコンテンツデータに基づき,本編集が行われ完パケとしてのコンテンツデータが生成される。
以上,添付図面を参照しながら本発明の好適な実施形態について説明したが,本発明はかかる例に限定されない。当業者であれば,特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例を想定し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。
上記実施形態においては,記録媒体が光ディスク104である場合を例にあげて説明したが,本発明はかかる例に限定されない。例えば,記録媒体が磁気ディスクや半導体を用いた固体メモリなどである場合であっても実施可能である。