JP2004312281A - 映像編集装置,映像編集装置の処理方法 - Google Patents

映像編集装置,映像編集装置の処理方法 Download PDF

Info

Publication number
JP2004312281A
JP2004312281A JP2003101884A JP2003101884A JP2004312281A JP 2004312281 A JP2004312281 A JP 2004312281A JP 2003101884 A JP2003101884 A JP 2003101884A JP 2003101884 A JP2003101884 A JP 2003101884A JP 2004312281 A JP2004312281 A JP 2004312281A
Authority
JP
Japan
Prior art keywords
metadata
video
video signal
processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003101884A
Other languages
English (en)
Other versions
JP4161773B2 (ja
Inventor
Hiromi Hoshino
弘美 星野
Fumio Nakajima
史夫 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003101884A priority Critical patent/JP4161773B2/ja
Publication of JP2004312281A publication Critical patent/JP2004312281A/ja
Application granted granted Critical
Publication of JP4161773B2 publication Critical patent/JP4161773B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】後処理に必要なメタデータを,容易かつ迅速に抽出して,映像素材と同期させて表示できる映像編集装置等を提供すること。
【解決手段】記憶媒体52に記録されている映像信号を後処理する映像編集装置3が提供される。この映像編集装置3は,記憶媒体52から,映像信号に関連するメタデータがフレーム単位で付加されている映像信号を再生し,再生された映像信号からメタデータをフレーム単位で抽出し,再生された映像信号と抽出されたメタデータとをフレーム単位で同期させて表示することができる。かかる構成により,再生された映像信号のフレーム毎に,当該映像信号に付加されているメタデータを順次,抽出することができる。このため,抽出されたメタデータと映像信号との整合性をとる必要がないので,メタデータを容易かつ迅速に抽出できる。また,当該映像信号のフレーム毎に上記抽出されたメタデータを表示できる。
【選択図】 図14

Description

【0001】
【発明の属する技術分野】
本発明は,映像信号の映像編集装置,映像編集装置の処理方法に関する。
【0002】
【従来の技術】
近年,映画,TV番組などの映像作品の制作分野では,撮影した映像素材に関するメタデータの有効活用が進められている。この映像素材に関するメタデータは,例えば,映像作品のタイトル名,撮影日時,シーン番号などの映像素材の属性を表す情報や,撮影時における撮像装置やレンズ等の設定情報などである(例えば,特許文献1参照)。これらのメタデータは,撮影された映像素材を識別・管理する上で有用な情報であるとともに,映像素材の後処理段階におけるCG(Computer Graphics)合成処理やコンポジット処理などにも有効利用されている。
【0003】
従来では,このようなメタデータは,磁気テープ等に記録された映像素材とは別に,パーソナルコンピュータ等の端末上で記録・管理されており,かかる映像素材とメタデータとのリンクは,映像撮影時のタイムコード等を双方に付与することによってなされていた。このため,かかるメタデータを利用して映像素材を後処理する場合には,当該端末等からタイムコード等を介して,対応するメタデータ(カメラやレンズの設定情報等)を読み出し,かかるメタデータを当該映像素材の画質,被写体の動き等を表す情報として後処理に利用していた。
【0004】
【特許文献1】
特開平9−46627号公報
【0005】
【発明が解決しようとする課題】
しかしながら,上記従来のようなメタデータを利用した後処理方法では,映像素材とは別に記録・管理され,タイムコード等を介して映像素材に間接的にリンクされているメタデータを利用していた。
【0006】
このため,メタデータを抽出する際には,タイムコード等により時間合わせをする必要があり,必要なメタデータの抽出・表示等が非効率的であるという問題があった。また,映像素材とは別に,メタデータを取り扱う必要があり,不便であるという問題もあった。
【0007】
さらに,映像素材またはメタデータのいずれか一方が編集されている場合には,メタデータを映像素材と同期させて連続的に抽出・表示することができないという問題があった。また,映像素材が可変速撮影(フレームレートを変化させて撮影)されている場合には,映像素材のフレーム数とメタデータの記録数との間にずれが生じているので,映像素材に対応するメタデータを好適に抽出できないという問題があった。
【0008】
本発明は,上記問題点に鑑みてなされたものであり,本発明の目的は,後処理に必要なメタデータを,容易かつ迅速に抽出して,映像素材と同期させて表示できるとともに,映像素材とメタデータを一体的に取り扱うことができ,編集処理や可変速撮影された映像素材にも柔軟に対応することが可能な,新規かつ改良された映像編集装置およびその処理方法を提供することにある。
【0009】
【課題を解決するための手段】
上記課題を解決するため,本発明の第1の観点によれば,記憶媒体に記録されている映像信号を後処理する映像編集装置が提供される。この映像編集装置は,記憶媒体から,映像信号に関連するメタデータがフレーム単位で付加されている映像信号を再生する,映像信号再生装置と;再生された映像信号から,メタデータの少なくとも一部をフレーム単位で抽出する,メタデータ抽出部と;再生された映像信号と,抽出されたメタデータとを,フレーム単位で同期させて表示する,表示部と;を備える。
【0010】
かかる構成により,映像編集装置の映像信号再生装置が再生する記憶媒体には,映像素材のコンテンツである映像信号と,この映像信号にフレーム単位で付加されたメタデータとがともに記録されている。従って,映像編集装置は,映像信号とメタデータとを一体的に取り扱うことができる。また,映像信号再生装置は,この記録媒体に記録されている映像信号を再生して,メタデータ抽出部に出力することができる。メタデータ抽出部は,再生された映像信号のフレーム毎に,当該映像信号に付加されているメタデータを順次,抽出することができる。このため,抽出されたメタデータと映像信号との整合性をとる必要がないので,メタデータ抽出部は,当該映像信号の各フレームに対応するメタデータを容易かつ迅速に抽出できる。また,メタデータ抽出部は,当該映像信号に付加されている全てのメタデータを抽出するのではなく,後処理の内容に応じて必要なメタデータのみを抽出できる。また,表示部は,当該映像信号のフレーム毎に,上記抽出されたメタデータを表示できる。これにより,映像編集装置のオペレータは,表示部に当該映像信号とともに表示されたメタデータを閲覧しながら,当該映像信号の後処理を好適に行うことができる。
【0011】
また,上記後処理は,再生された映像信号と,合成用映像信号とを合成する映像合成処理である,ように構成してもよい。また,上記合成用映像信号は,コンピュータグラフィックス映像信号である,ように構成してもよい。
【0012】
また,上記表示部は,再生された映像信号および抽出されたメタデータとともに,合成用映像信号および合成用映像信号に関連するメタデータを表示する,ように構成してもよい。かかる構成により,オペレータは,記憶媒体から再生された映像信号と,合成用映像信号の映像自体をフレーム毎に見比べることができるだけでなく,双方の映像信号に対応するメタデータをフレーム毎に見比べることができる。
【0013】
また,上記後処理は,再生された映像信号を補正する映像補正処理である,ように構成してもよい。
【0014】
また,上記映像信号に付加されているメタデータは,メタデータの利用目的に応じて,1または2以上のメタデータグループにグループ化されている,ように構成してもよい。かかる構成により,メタデータ抽出部は,メタデータグループ単位でメタデータを抽出することができる。
【0015】
さらに,上記メタデータ抽出部は,後処理の内容に応じた1または2以上のメタデータグループを抽出する,ように構成してもよい。かかる構成により,メタデータ抽出部は,後処理の内容に応じて必要なメタデータグループのみを抽出して,表示できる。
【0016】
また,上記メタデータグループは,映像信号を生成した撮像装置の設定情報を含むカメラ設定グループ,撮像装置が備えるレンズ装置の設定情報を含むレンズ設定グループ,または撮像装置が備えるドーリ装置の設定情報を含むドーリ設定グループの少なくともいずれかを含,ように構成してもよい。かかる構成により,また,カメラ設定グループのメタデータは,例えば,撮影された映像の画質等を表す情報として機能することができる。また,レンズ設定グループおよびドーリ設定グループのメタデータは,例えば,撮影された映像内に現れる被写体等の動き,距離等を表す情報として機能することができる。
【0017】
また,上記映像信号に付加されるメタデータグループには,固有のグループ識別情報が付与されており,メタデータ抽出部は,グループ識別情報に基づいて,後処理の内容に応じた1または2以上のメタデータグループを抽出する,ように構成してもよい。かかる構成により,メタデータ抽出部は,グループ識別情報に基づいて,いずれのメタデータグループであるかを識別することができるので,メタデータグループ単位での抽出処理を迅速に行うことができる。
【0018】
また,上記映像信号に付加されるメタデータグループには,メタデータグループのデータ量情報が付与されており,メタデータ抽出部は,データ量情報に基づいて,後処理の内容に応じた1または2以上のメタデータグループを抽出する,ように構成してもよい。かかる構成により,メタデータ抽出部は,あるメタデータグループのメタデータの抽出処理を実行するに際し,データ量情報に基づいて,予め,当該メタデータグループ内のメタデータ量を把握することができる。このため,メタデータ抽出部は,メタデータグループ単位での抽出処理を迅速に行うことができる。
【0019】
また,上記記憶媒体に記録されている映像信号は,フレームレートが変化している,ように構成してもよい。かかる構成により,記憶媒体に記録されている映像信号のフレームレートが変化している場合であっても,当該映像信号のフレーム毎にメタデータが付加されているので,映像信号とメタデータの対応関係が崩れることがない。このため,メタデータ抽出部は,映像信号とメタデータの整合性をとらずとも,当該映像信号からメタデータを好適にフレーム単位で抽出できる。
【0020】
また,上記課題を解決するため,本発明の別の観点によれば,記憶媒体に記録されている映像信号を後処理する映像編集装置の処理方法が提供される。この映像編集装置の処理方法は,記憶媒体から,映像信号に関連するメタデータがフレーム単位で付加されている映像信号を再生する,映像信号再生段階と;再生された映像信号から,メタデータの少なくとも一部をフレーム単位で抽出する,メタデータ抽出段階と;再生された映像信号と,抽出されたメタデータとを,フレーム単位で同期させて表示する,表示段階と;を含む。
【0021】
また,上記後処理は,再生された映像信号と,合成用映像信号とを合成する映像合成処理である,ようにしてもよい。また,上記合成用映像信号は,コンピュータグラフィック映像信号である,ようにしてもよい。
【0022】
また,上記表示段階では,再生された映像信号および抽出されたメタデータとともに,合成用映像信号および合成用映像信号に関するメタデータを同期させて表示する,ようにしてもよい。
【0023】
また,上記後処理は,再生された映像信号を補正する映像補正処理である,ようにしてもよい。
【0024】
また,上記映像信号に付加されているメタデータは,メタデータの利用目的に応じて,1または2以上のメタデータグループにグループ化されている,ようにしてもよい。また,上記メタデータ抽出段階では,後処理の内容に応じた1または2以上のメタデータグループを抽出する,ようにしてもよい。
【0025】
また,上記メタデータグループは,映像信号を生成した撮像装置の設定情報を含むカメラ設定グループ,撮像装置が備えるレンズ装置の設定情報を含むレンズ設定グループ,または撮像装置が備えるドーリ装置の設定情報を含むドーリ設定グループの少なくともいずれかを含,ようにしてもよい。
【0026】
【発明の実施の形態】
以下に添付図面を参照しながら,本発明の好適な実施の形態について詳細に説明する。なお,本明細書及び図面において,実質的に同一の機能構成を有する構成要素については,同一の符号を付することにより重複説明を省略する。
【0027】
(第1の実施の形態)
以下に,本発明の第1の実施の形態にかかる映像編集装置およびその処理方法について説明する。以下では,まず,本実施形態にかかる映像編集装置が取り扱う映像信号を記憶媒体に記録する映像記録システム等について説明し,次いで,本実施形態にかかる映像編集装置について詳細に説明することとする。
【0028】
<1 映像記録システム>
まず,本実施形態にかかる映像記録システムおよび映像記録方法について説明する。
【0029】
<1.1 システム構成>
まず,本実施形態にかかる映像記録システムの概要について説明する。本実施形態にかかる映像記録システムは,例えば,テレビ放送局や,ビデオコンテンツ,映画等の制作会社などが,TV番組,ビデオコンテンツ,映画などの映像作品を制作するためのシステムである。この映像記録システムは,例えば,撮影現場(撮影スタジオ,ロケ現場等)に設けられ,映像作品を構成する映像素材の映像コンテンツデータを撮影・収録することができる。この映像コンテンツデータは,例えば,映像データ及び/又は音声データから構成されるコンテンツデータである。このうち映像データは,一般的には,例えば,動画像データであるが,図画,写真または絵画などの静止画像データを含むようにしてもよい。
【0030】
さらに,この映像記録システムは,例えば,撮影した映像素材に関連する各種のメタデータを生成することができる。さらに,映像記録システムは,かかるメタデータをグループ化した上で,映像素材を構成する映像信号に対してフレームごとに付加して,映像信号とともに記憶媒体に記録することができる。なお,このメタデータは,例えば,上記映像素材の概要,属性または撮影機器の設定等を表す上位データであり,映像素材のインデックス情報や,撮影条件等を特定する情報などとして機能するが,詳細については後述する。
【0031】
次に,図1に基づいて,本実施形態にかかる映像記録システムの全体構成について説明する。なお,図1は,本実施形態にかかる映像記録システム1の概略的な構成を示すブロック図である。
【0032】
図1に示すように,本実施形態にかかる映像記録システム1は,例えば,撮像装置10と,集音装置18と,カメラコントロールユニット(以下では,CCUという。)20と,メタデータ入力用端末装置30と,メタデータ付加装置40と,ビデオテープレコーダ(以下では,VTRという。)50と,メタデータ合成装置60と,表示装置70と,から主に構成されている。
【0033】
撮像装置10は,例えば,レンズ装置12に入射した光学像を電気信号に変換するビデオカメラなどであり,被写体を撮像して映像信号を生成・出力することができる。この撮像装置10は,映像作品を構成する各場面(シーン)を撮影し,生成した映像信号を,例えばCCU20に出力することができる。この映像信号は,例えば,プログレッシブ方式またはインターレース方式のいずれの方式で生成されてもよい。
【0034】
なお,本実施形態では,撮像装置10からCCU20への映像信号の伝送は,例えば光ファイバケーブル等を介して光信号としてなされる。このように光信号として映像信号を伝送することにより,HD SDI(High Definition Sirial Digital Interface)形式で伝送する場合(例えば50m程度)と比べて,長距離伝送(例えば1km程度)が可能になる。このため,撮像装置10と,CCU20およびVTR50等とを十分に離隔して配設することができるので,撮影の自由度が高まる。しかし,かかる例に限定されず,撮像装置10は,例えば,HD SDIケーブル等で映像信号を伝送してもよい。この場合には,例えば,CCU20を設けずに,撮像装置10からメタデータ付加装置40に直接,映像信号を伝送してもよい。
【0035】
また,撮像装置10は,例えば,上記撮影時における,撮像装置10内の各種の設定情報(シャッタスピード,ゲイン等の撮影条件情報)を収集し,これらの設定情報を基にカメラ設定メタデータを生成することができる。さらに,撮像装置10は,例えば,このカメラ設定メタデータをカメラ設定グループとしてグループ化してパッキングした上で,上記映像信号の1フレーム毎に付加することができるが,詳細については後述する。
【0036】
また,かかる撮像装置10は,例えば,レンズ装置12と,ドーリ装置14とを具備している。
【0037】
レンズ装置12は,例えば,複数枚のレンズと,これらレンズの距離,絞り等を調整する駆動装置とから構成されており,ズーム,アイリス,フォーカス等を調整して,撮像装置10本体に好適な光学像を入射させることができる。このレンズ装置12は,例えば,撮影時におけるレンズ装置12内の各種の設定情報(ズーム,アイリス,フォーカス等の撮影条件情報)を,レンズ設定メタデータとして1フレーム毎に生成することができる。
【0038】
ドーリ(dolly)装置14は,撮像装置10本体を載置して移動させるための台車であり,例えば,撮像装置10を被写体に接近させたり遠ざけたりして撮影する場合や,移動する被写体とともに撮像装置10を移動させて撮影する場合などに用いられる。このドーリ装置14は,例えば,その下部に設けられた滑車をレール上に載置することにより,被写体等に沿って高速移動することができる。かかるドーリ装置14は,例えば,撮影時におけるドーリ装置14内の各種の設定情報(ドーリの位置,カメラの向き等の撮影条件情報)を,ドーリ設定メタデータとして1フレーム毎に生成することができる。なお,このドーリ装置14は,必ずしも設けられなくてもよく,例えば,上方から撮影するためクレーン等に撮像装置10を設置する場合や,カメラマンが撮像装置10を担いで撮影する場合などには,不要である。
【0039】
上記のようにして生成されたレンズ設定メタデータおよびドーリ設定メタデータは,例えば,RS−232Cケーブルなどを介してメタデータ付加装置40に出力される。
【0040】
集音装置18は,例えば,マイクロフォンなどで構成されており,音声信号を生成・出力することができる。より詳細には,この集音装置18は,上記撮像装置10による撮影時における,背景音や俳優の発声音などの音声情報を集音して,音声信号を生成する。この音声信号は,例えばVTR50に出力される。なお,この集音装置18は,撮像装置10が具備してもよい,
【0041】
CCU20は,例えば,撮影装置10から光信号として入力された映像信号を,HD SDI用の信号に変換して,HD SDIケーブルを介してメタデータ付加装置40に出力することができる。また,CCU20は,例えば,当該映像信号から光ファイバケーブル等を介してカメラ設定メタデータを取得することもできる。なお,このCCU20は,必ずしも,撮像装置10とは別体に構成された装置として設けられなくともよく,例えば,撮像装置10に内蔵されてもよい。特に,例えば,撮像装置10が映像信号を例えばHD SDI形式で出力するように構成した場合には,このCCU20は必須の装置ではない。
【0042】
メタデータ入力用端末装置30は,例えば,パーソナルコンピュータなどの情報処理装置及びその周辺装置などで構成されており,ユーザ入力に基づいて,シーン情報メタデータを生成することができる。このシーン情報メタデータは,例えば,撮像装置10が撮影するシーンに関するメタデータであり,従来の撮影において電子カチンコ等に記載されていた情報(シーン番号,テイク番号等)などである。かかるメタデータ入力用端末装置30は,例えば,ディレクタ等によってこれから撮影しようとするシーンのシーン番号等が入力されると,これに対応するシーン情報メタデータを生成し,RS−232Cケーブルなどを介してメタデータ付加装置40に出力する。なお,カメラマンまたはディレクタ等は,このメタデータ入力用端末装置30を利用して,例えば,映像素材の収録時におけるコメント(撮影状況のメモ書き等)を,シーン状況メタデータとして追加入力することもできる。
【0043】
メタデータ付加装置40は,本実施形態にかかる特徴的な装置であり,例えば,映像信号に対してフレーム単位で上記メタデータを付加することができる。より詳細には,メタデータ付加装置40には,例えば,上記レンズ装置12,ドーリ装置14およびメタデータ入力用端末装置30などから,それぞれ,レンズ設定メタデータ,ドーリ設定メタデータ,シーン情報メタデータなどが入力される。メタデータ付加装置40は,例えば,これらのメタデータを,その利用目的ごとに,レンズ設定グループ,ドーリ設定グループ,シーン情報グループなどといった複数のメタデータグループにグループ化して,パッキングする。さらに,メタデータ付加装置40は,例えば,このようにグループ化したレンズ設定グループ,ドーリ設定グループおよびシーン情報グループのメタデータを,CCU20から入力された映像信号のブランキング領域に1フレーム毎に順次,挿入して付加することができる。このようにして,全てのメタデータが付加された映像信号は,例えば,HD SDIケーブル等を介してVTR50に出力される。
【0044】
なお,このメタデータ付加装置40には,リファレンス信号生成装置72からリファレンス信号(基準同期信号)が入力され,タイムコード信号生成装置74からタイムコード信号(LTC:linear Time Code)が入力されている。また,かかるLTCをVTR50に出力することもできる。
【0045】
VTR50は,本実施形態にかかる映像信号記録装置として構成されており,例えば,上記メタデータ付加装置40から入力された映像信号や,集音装置18から入力された音声信号を,ビデオテープ52等の記憶媒体に記録することができる。また,このVTR50は,ビデオテープ52に記録されている映像信号等を再生することもできる。また,このVTR50は,例えば,メタデータ付加装置40から入力された映像信号をそのままメタデータ合成装置60に出力する,あるいは,ビデオテープ52から再生した映像信号をメタデータ合成装置60に出力することができる。
【0046】
なお,本実施形態では,記憶媒体としてビデオテープ52を用いているが,かかる例に限定されず,例えば,各種の磁気テープ,磁気ディスク,光ディスク,メモリーカード等の任意の記憶媒体であってもよい。また,映像信号記録装置は,上記VTR50の例に限定されず,このような各種の記憶媒体に対応した装置(ディスク装置,各種リーダライタ等)に変更することもできる。
【0047】
メタデータ合成装置60は,例えば,上記のように映像信号に付加されているメタデータを抽出,デコードして,当該映像信号に合成するデコーダ装置である。より詳細には,このメタデータ合成装置60は,例えば,VTR50から入力された映像信号に付加されているメタデータの全部または一部を,フレーム単位で抽出することができる。さらに,このメタデータ合成装置60は,抽出したメタデータをデコードして映像データに書き換えた上で,当該映像信号にフレーム単位で合成することができる。この合成とは,例えば,上記映像信号と,メタデータの映像データとを,例えばフレーム単位で多重(スーパーインポーズ等)することをいう。
【0048】
表示装置70は,例えば,LCD(Liquid Crystal Display),CRT(Cathode Ray Tube)などのディスプレイ装置である。この表示装置70は,上記メタデータ合成装置60から上記メタデータが合成された映像信号が入力されると,当該メタデータがスーパーインポーズ等された映像を表示することができる。
【0049】
<1.2 メタデータの内容>
次に,本実施形態にかかるグループ化されたメタデータについて詳細に説明する。本実施形態では,例えば,上記のような映像素材に関連する多様なメタデータを,その利用目的等に応じて,例えば4つのメタデータグループにグループ分けして,伝送,記録,管理している。以下では,これら4つのメタデータグループごとに,そのメタデータグループに含まれるメタデータの内容について詳細に説明する。
【0050】
<1.2.1 シーン情報グループ>
まず,図2に基づいて,シーン情報グループに含まれるシーン情報メタデータについて,具体例を挙げながら詳細に説明する。なお,図2は,本実施形態にかかるシーン情報グループに含まれるシーン情報メタデータの具体例を示す説明図である。
【0051】
図2に示すように,シーン情報グループに含まれるシーン情報メタデータは,例えば,従来,電子カチンコ(スレート)等に表示されていた「タイムコード」,「シーン番号」,「テイク番号」などの情報をはじめとする,撮像装置10が撮影するシーンに関連する各種のメタデータである。
【0052】
・「タイムコード」は,LTCなどに代表される時間,分,秒,フレーム番号等からなる時間情報である。従来では,この「タイムコード」は,例えば,ビデオテープ52の音声トラックなどの長手方向に記録されていた。本実施形態では,この「タイムコード」は,タイムコード信号生成装置74によって生成され,例えば,上記メタデータ付加装置によって映像信号のブランキング領域に1フレーム毎に付される。このタイムコードによって,映像信号の位置を特定することができる。この「タイムコード」のデータ量は例えば16バイトである。
・「日付」は,撮影が行われた日付を表すテキスト情報であり,そのデータ量は例えば4バイトである。
・「映像作品題名」は,映像作品のタイトルを表すテキスト情報であり,そのデータ量は例えば30バイトである。
・「撮影チーム番号」は,当該撮影を担当している撮影チーム(クルー)を特定するためのID番号などであり,そのデータ量は例えば2バイトである。
・「シーン番号」は,映像作品を構成する複数のシーン(Scene;撮影場面)のうち,撮影が行われているシーンを特定するための番号などであり,そのデータ量は例えば2バイトである。この「シーン番号」を参照することにより,撮影された映像素材が,映像作品中のいかなるシーンに相当するものであるかを識別できる。なお,例えば,シーンをさらに細分化したカットの番号を,シーン情報メタデータとして追加することもできる。
・「テイク番号」は,撮像装置10による1回の記録開始から記録終了に至るまでの連続した映像単位であるテイク(Take)を特定するための番号であり,そのデータ量は例えば2バイトである。この「テイク番号」を参照することにより,記録されている映像信号が,いかなるシーンに属するいかなるテイクに相当するものであるかを識別できる。
・「ロール番号」は,上記テイクをさらに細分化した映像単位であるロール(Roll)を特定するための番号であり,そのデータ量は例えば2バイトである。
・「カメラマン」,「ディレクタ」,「プロデューサ」は,それぞれ,撮影を担当したカメラマン名,ディレクタ名,プロデューサ名を表すテキスト情報であり,これらのデータ量はそれぞれ例えば16バイトである。
【0053】
このように,シーン情報グループには,例えば,収録された映像の属性情報やインデックス情報となりうるメタデータが集められている。このシーン情報メタデータは,例えば,映像収録段階,後処理段階および編集段階などで,その映像素材のコンテンツを把握し,映像素材を識別,管理する上で有用な情報となる。
【0054】
<1.2.2 カメラ設定グループ>
次に,図3に基づいて,カメラ設定グループに含まれるカメラ設定メタデータについて,具体例を挙げながら詳細に説明する。なお,図3は,本実施形態にかかるカメラ設定グループに含まれるカメラ設定メタデータの具体例を示す説明図である。
【0055】
図3に示すように,カメラ設定グループに含まれるカメラ設定メタデータは,例えば,映像を撮影したときの撮像装置10の設定情報をメインとする各種の撮影条件等を表すメタデータである。
【0056】
・「カメラID」は,撮影処理を行った撮像装置10を特定するためのシリアル番号(機器番号)であり,そのデータ量は例えば4バイトである。
・「CHUスイッチ ON/OFF」は,以下に説明するような,撮像装置10の設定を標準設定から変化させているか否かを表すビット情報であり,そのデータ量は例えば1バイトである。
・「CCU ID」は,撮影処理を行ったCCU20を特定するためのシリアル番号(機器番号)であり,そのデータ量は例えば4バイトである。
・「フィルタ設定」は,撮影時における撮像装置10のフィルタの設定を表す情報であり,そのデータ量は例えば2バイトである。本実施形態では,例えば,撮像装置10が5種類のフィルタを2重に備えており,このうち,どのフィルタを2つ組み合わせて撮影したかを表している。
・「シャッタスピード」は,撮影時における撮像装置10のシャッタスピードの設置値を表す情報であり,そのデータ量は例えば1バイトである。本実施形態では,この「シャッタスピード」は,例えば,「1/100」〜「1/2000」秒の間で,6段階に設定可能である。
・「ゲイン」は,撮影時における撮像装置10のゲインの設置値を表す情報であり,そのデータ量は例えば1バイトである。
・「ECS」は,撮影時における撮像装置10のECS(Extended Clear Scan)機能のON/OFFを表す情報であり,そのデータ量は例えば2バイトである。
・「ガンマ(マスター)」は,撮影時における撮像装置10のガンマ特性(ガンマカーブ等)の設定を表す情報であり,そのデータ量は例えば2バイトである。・「ガンマ(ユーザ設定)」は,ユーザ設定によりガンマカーブ等を変化させた場合のガンマ特性の設定を表す情報であり,そのデータ量は例えば1バイトである。
・「バリアブルフレームレート」は,可変速撮影可能な撮像装置10によって撮影された映像信号のフレームレート設定値を表す情報であり,そのデータ量は例えば1バイトである。本実施形態にかかる撮像装置10は,例えば,23.98〜30Pでフレームレートを変化させて撮影可能であるが,かかる例に限定されず,例えば1〜60Pで可変速撮影できるように構成してもよい。
・「映像信号 白レベル」は,撮影時における撮像装置10のホワイトバランス調整処理による映像信号の白レベル設定値を表す情報であり,そのデータ量は例えば6バイトである。
・「映像信号 黒レベル」は,撮影時における撮像装置10のブラックバランス調整処理による映像信号の黒レベルの設定値を表す情報であり,そのデータ量は例えば8バイトである。
・「ディテールレベル」は,撮影時における撮像装置10のディテール調整処理によるディテールレベルの設定値を表す情報であり,そのデータ量は例えば2バイトである。
・「ニーポイント」は,撮影時における撮像装置10のニー回路で圧縮される映像信号のニーポイントの設定値を表す情報であり,そのデータ量は例えば2バイトである。
・「ニースロープ」は,撮影時において撮像装置10のニー回路で圧縮される映像信号のニースロープの設定値を表す情報であり,そのデータ量は例えば2バイトである。
・「レコーダステータス」は,VTR50等の映像信号記録再生装置が映像信号を記録する際のフレームレートの設置値を表す情報であり,そのデータ量は例えば1バイトである。この「レコーダステータス」は,上記「バリアブルフレームレート」に対応して決定される。
【0057】
このように,カメラ設定グループには,例えば,撮影時における撮像装置10の設定情報などの撮影条件に関するメタデータが集められている。このカメラ設定メタデータは,例えば,映像素材の後処理段階などで,その映像素材の画質(明度,色合い,質感等)などを把握する上で有用な情報となる。
【0058】
<1.2.3 レンズ設定グループ>
次に,図4に基づいて,レンズ設定グループに含まれるレンズ設定メタデータについて,具体例を挙げながら詳細に説明する。なお,図4は,本実施形態にかかるレンズ設定グループに含まれるレンズ設定メタデータの具体例を示す説明図である。
【0059】
図4に示すように,レンズ設定グループに含まれるレンズ設定メタデータは,例えば,映像撮影時におけるレンズ装置12の設定情報をメインとする各種の撮影条件等を表すメタデータである。
【0060】
・「ズーム」は,撮影時におけるレンズ装置12の撮影倍率調整処理によるズーム設定値を表す情報であり,そのデータ量は例えば2バイトである。
・「フォーカス」は,撮影時におけるレンズ装置12の焦点距離調整処理によるフォーカス設定値を表す情報であり,そのデータ量は例えば2バイトである。
・「アイリス」は,撮影時におけるレンズ装置12の露光調整処理によるアイリス(絞り)設定値を表す情報であり,そのデータ量は例えば2バイトである。
・「レンズID」は,撮影に使われたレンズ装置12を特定するためのシリアル番号(機器番号)であり,そのデータ量は例えば4バイトである。
【0061】
このように,レンズ設定グループには,例えば,撮影時におけるレンズ装置12の設定情報などの撮影条件に関するメタデータが集められている。このレンズ設定メタデータは,例えば,映像素材の後処理段階などで,その映像素材で撮影されている被写体の動き,撮像装置10からの距離等を把握する上で有用な情報となる。
【0062】
<1.2.4 ドーリ設定グループ>
次に,図5に基づいて,ドーリ設定グループに含まれるドーリ設定メタデータについて,具体例を挙げながら詳細に説明する。なお,図5は,本実施形態にかかるドーリ設定グループに含まれるカメラ設定メタデータの具体例を示す説明図である。
【0063】
図5に示すように,ドーリ設定グループに含まれるドーリ設定メタデータは,例えば,映像撮影時におけるドーリ装置14の設定情報をメインとする各種の撮影条件等を表すメタデータである。
・「GPS」は,撮影時におけるドーリ装置14の位置(即ち,撮像装置10の位置)を特定するための緯度および経度情報(Global Positioning System情報)であり,そのデータ量は例えば12バイトである。
・「移動方向」は,撮影時におけるドーリ装置14の移動方向(即ち,撮像装置10の移動方向)をアングルで表す情報であり,そのデータ量は例えば4バイトである。
・「移動スピード」は,撮影時におけるドーリ装置14の移動スピード(即ち,撮像装置10の移動スピード)を表す情報であり,そのデータ量は例えば4バイトである。
・「カメラ方向」は,撮像装置10の撮影方向を表す情報であり,固定されたドーリ装置14を基準として,撮像装置10の回転角度(首を振った角度)で表現される。具体的には,例えば,撮像装置10の撮像方向を「パン(pan)」(Z軸方向),「チルト(tilt)」(Y軸方向),「ロール(roll)」(X軸方向)の3方向の回転角度で表す。これら3つのデータ量はそれぞれ例えば2バイトである。
・「ドーリ高さ」は,ドーリ装置14の高さを表す情報であり,そのデータ量は例えば2バイトである。この情報により,撮像装置10の垂直方向の位置が特定できる。
・「ドーリID」は,撮影に使われたドーリ装置14を特定するためのシリアル番号(機器番号)であり,そのデータ量は例えば4バイトである。
【0064】
このように,ドーリ設定グループには,例えば,撮影時におけるドーリ装置14の位置,動き等の設定情報からなる撮影条件に関するメタデータが集められている。このドーリ設定メタデータも,例えば,上記レンズ設定メタデータと同様に,映像素材の後処理段階などで,その映像素材に現れている被写体の動き,距離等を把握する上で有用な情報となる。
【0065】
以上,本実施形態にかかる例えば4つのメタデータグループの内容について説明した。このようにメタデータをグループ化することにより,メタデータの利用目的に応じて,必要なメタデータのみをグループ単位で好適に抽出して,利用,書き換えなどすることができる。
【0066】
例えば,映像の収録段階では,収録中あるいは収録完了した映像を識別,把握するなどの目的で,シーン番号,タイムコード等を含む上記シーン情報グループのメタデータが抽出されて活用される。また,映像素材の後処理段階では,実写の映像に対してCG映像を合成処理する場合などに,上記カメラ,レンズおよびドーリ設定グループのメタデータが有用である。具体的には,当該映像素材の画質を把握するなどの目的で,上記カメラ設定グループのメタデータが抽出されて活用される。また,当該映像素材内の被写体の動きを把握するなどの目的で,上記レンズ設定グループおよびドーリ設定グループのメタデータが抽出されて活用される。
【0067】
なお,このようにレンズ設定グループおよびドーリ設定グループのメタデータの利用目的には共通性がある。このため,本実施形態のように,レンズ設定グループおよびドーリ設定グループを別グループとして構成するのではなく,例えば,1つのレンズ・ドーリ設定グループとして構成し,レンズ設定メタデータおよびドーリ設定メタデータを1つにまとめてグループ化するなどしてもよい。
【0068】
<1.3 メタデータフォーマット>
次に,図6に基づいて,本実施形態にかかるメタデータフォーマットについて説明する。なお,図6は,本実施形態にかかるメタデータフォーマットを説明するための説明図である。
【0069】
上記のように,本実施形態にかかるメタデータは,例えば4つのメタデータグループにグループ化されている。このようにグループ化されたメタデータは,例えば,上記撮像装置10およびメタデータ付加装置40等によって,所定のフォーマットで映像信号にフレーム単位で付加される。
【0070】
より詳細には,図6(a)に示すように,上記メタデータは,例えば,映像信号の垂直ブランキング領域内のアンシラリデータ領域等に,アンシラリデータとしてパッケージ化されて1フレーム毎に挿入される。このパッケージ化されたメタデータの例えば伝送時におけるフォーマットを,図6(b)に示す。
【0071】
図6(b)に示すように,メタデータは,例えば,シーン情報グループ,カメラ設定グループ,レンズ設定グループおよびドーリ設定グループという4つのメタデータグループにグループ化され,この4つのメタデータグループが連続して直列的に配列されたフォーマットを有する。各メタデータグループは,例えば,SMPTE(Society of Motion Picture and Television Engineers)規格(SMPTE291M等)に基づいて,KLV(Key Length Value)符号化されている。
【0072】
「K(Key)」は,例えば,各メタデータグループの先頭に付与される例えば1バイトのキーID(予約語)である。この「K」符号は,本実施形態にかかるグループ識別情報として構成されており,各メタデータグループを識別するための符号として機能する。例えば,映像信号のいかなるフレームにおいても,この「K」符号として,シーン情報グループには常に例えば「01」を付与し,カメラ設定グループには常に例えば「02」を付与し,レンズ設定グループには常に例えば「03」を付与し,レンズ設定グループには常に例えば「04」を付与することにより,メタデータグループ毎に固有の識別符号を統一して付することができる。このように,メタデータグループ毎に固有のグループ識別情報である「K」符号を付与することにより,かかるグループ識別情報に基づいて,複数のメタデータグループの中から特定のメタデータグループのみを,フレーム毎に容易に抽出することができる。
【0073】
「L(Length)」は,例えば,上記「K」符号の次に付与される例えば1バイトのレングス符号である。この「L」符号は,本実施形態にかかるデータ量情報として構成されており,後続のメタデータグループのデータ量を表す符号として機能する。例えば,あるフレームのシーン情報グループに付された「L」が「124」であれば,当該フレームにおけるシーン情報グループのデータ量が例えば124バイトであることを表す。このように,各メタデータグループのコンテンツの前に,データ量情報である「L」符号を付与することにより,メタデータの抽出或いは書き換え処理の処理効率が向上する。つまり,メタデータ付加装置40およびVTR50等のメタデータを処理する装置は,上記データ量情報である「L」符号を参照することにより,これから抽出或いは書き換えしようとするメタデータのデータ量を予め把握できる。このため,当該抽出或いは書き換え処理の処理効率が向上する。
【0074】
「Element」は,例えば,実際の各メタデータグループのメタデータが格納されるユーザデータ領域(Value領域)であり,可変長である。
【0075】
また,このようにKLV符号化されたメタデータグループの前には,伝送されるメタデータの種類を定義,識別するためのフラグである「AncillalyData Flag」アンシラリデータフラグ,「DID:Data identification」データID,「SDID:Secondary Data Identification」セカンダリーデータID,「DC:Data Counter」データカウンタ,などが付されている。一方,メタデータグループの後には,伝送時における誤り検出用の「CRC:Cyclic Redundancy Check」,「CHECK SUM」などの符号が付されている。
【0076】
ところで,上記SMPTE規格では,KLV符号化したメタデータを映像信号のアンシラリデータ領域にパッキングして挿入する場合には,アンシラリデータの1パケットサイズが255バイトとなるように規格化されている。そこで,本実施形態にかかるメタデータフォーマットでは,この規格に適合するように,グループ化されたメタデータのデータ総量が,例えば255バイト以下となるように調整されている。具体的には,例えば,シーン情報グループのメタデータ量が例えば124バイト以下,カメラ設定グループのメタデータ量が例えば40バイト以下,レンズ設定グループのメタデータ量が例えば10バイト以下,ドーリ設定グループのメタデータ量が例えば52バイト以下,となるように調整されている。このため,アンシラリデータの1つのパケットサイズが,メタデータ総量で例えば約226バイト以下となるように設定されている。
【0077】
このように,本実施形態にかかるメタデータフォーマットでは,全てのメタデータがアンシラリデータの1パケットサイズ(255バイト)内に収まるように設定されている。しかし,かかる例に限定されず,例えば,複数のアンシラリデータパケットを連結させて,これら複数のパケットにメタデータを分割してパッキングするようにしてもよい。
【0078】
以上説明したように,本実施形態にかかるメタデータフォーマットは,例えば,メタデータに割り当てられた領域を,メタデータグループ数に応じて分割し,各分割領域に,各メタデータグループのメタデータを挿入するような構成である。さらに,各メタデータグループの先頭には,上記グループ識別情報およびデータ量情報がそれぞれ付与されている。かかる構成により,メタデータの利用目的に応じて必要なメタデータを,メタデータグループ毎に,迅速かつ容易に検出,抽出または書き換えることができる。例えば,上記グループ識別情報を,映像作品の収録部署と編集部署との間で共通の識別IDとして共用することで,映像作品の制作過程においてメタデータを好適に利用することができる。
【0079】
<1.4 各装置の構成>
次に,上記のような映像記録システム1を構成する主要な装置について詳細に説明する。
【0080】
<1.4.1 撮像装置>
まず,図7に基づいて,本実施形態にかかる撮像装置10について詳細に説明する。なお,図7は,本実施形態にかかる撮像装置10の構成を示すブロック図である。
【0081】
図7に示すように,撮像装置10は,例えば,CPU100と,メモリ部102と,撮像部104と,信号処理部106と,表示部108と,カメラ設定メタデータ生成部110と,メタデータ付加部112と,送受信部114と,レンズ装置12と,ドーリ装置14とを備える。
【0082】
CPU(Central Processing Unit)100は,演算処理装置および制御装置として機能し,撮像装置10の各部の処理を制御することができる。また,メモリ部102は,例えば,各種のRAM,ROM,フラッシュメモリ,ハードディスクなどの記憶装置などで構成されており,CPU100の処理に関する各種データ,およびCPU100の動作プログラム等を記憶または一時記憶する機能を有する。
【0083】
撮像部104は,例えば,OHB(Optical head base)などで構成されており,被写体を撮像して映像信号を生成する機能を有する。詳細には,この撮像部104は,例えば,レンズ装置12から入射された光学像を,プリズム(図示せず。)によりR・G・Bに分光し,各種のフィルタ(図示せず。)を透過させた上で,CCD(Charge Coupled Device)等の撮像デバイス(図示せず。)により所定のシャッタスピードで光電変換して,アナログ電気信号である映像信号を生成する。
【0084】
信号処理部106は,撮像部104から入力された微弱なアナログ電気信号である映像信号に対して,ゲイン調整(AGC)処理,相関2重サンプリング処理,A/D変換処理,エラー補正処理,ホワイトバランス調整処理,ダイナミックレンジ圧縮処理,ガンマ補正処理,シェーディング補正処理,ディテール調整処理,ニー処理などを施して,デジタル映像信号を出力することができる。なお,本実施形態では,例えば,HD(High Definition)デジタル映像信号を生成・出力するよう構成されている。また,この信号処理部106は,例えば,上記デジタル映像信号をアナログ映像信号に変換して,表示部108に出力することもできる。また,この信号処理部106は,例えば,予め設定された条件に基づいて,或いはカメラマンの入力操作に基づいて,出力する映像信号のフレームレートを変化(例えば23.98〜30P)させることができる。
【0085】
また,表示部108は,例えば,カメラマンが被写体を見るためのビューファインダーなどであり,CRTモニタなどで構成されている。この表示部108は,上記信号処理部106から入力された例えばアナログ映像信号を表示出力することができる。なお,この表示部108は,例えば,LCDモニタなどの各種のディスプレイ装置などで構成されてもよい。
【0086】
カメラ設定メタデータ生成部110は,例えば,撮像部104の設定情報や,上記信号処理部108でのガンマ,ニー,ディテール等の信号処理の設定情報などのパラメータを取得して管理している。さらに,カメラ設定メタデータ生成部110は,かかるパラメータに基づいて,上記カメラ設定メタデータを,例えば映像信号の1フレーム毎にそれぞれ生成して,メタデータ付加部112に出力する。
【0087】
メタデータ付加部112は,本実施形態にかかるメタデータ付加装置の1つとして構成されている。このメタデータ付加部112は,例えば,撮像装置10の外部へ映像信号を出力するタイミングにあわせて,カメラ設定メタデータを当該映像信号に1フレーム毎に付加することができる。具体的には,このメタデータ付加部112は,例えば,カメラ設定メタデータ生成部110から入力されたカメラ設定メタデータを,KLV符号化してパッキングする。さらに,メタデータ付加部112は,このパッキングしたカメラ設定メタデータを,図8(a)に示すように,映像信号のブランキング領域のうちカメラ設定グループに割り当てられている領域に,1フレーム毎に順次,挿入する。
【0088】
このとき,メタデータ付加部112は,図8(a)に示すように,例えば,カメラ設定グループ以外の,シーン情報グループ,レンズ設定グループおよびドーリ設定グループに対応する領域には,ダミーデータを挿入しておくことができる。
【0089】
なお,上記のようなカメラ設定メタデータ生成部108およびメタデータ付加部110は,例えば,ハードウェアとして構成してもよいし,或いは,上記処理機能を実現するソフトウエアとして構成して,このプログラムをメモリ部102に格納してCPU100が実際の処理を行うようにしてもよい。
【0090】
送受信部114は,例えば,上記のようにしてカメラ設定メタデータが付加された映像信号を,光ファイバケーブルを介してCCU20に送信する。
【0091】
レンズ装置12は,例えば,光学ブロック122と,駆動系ブロック124と,レンズ設定メタデータ生成部124とを備える。
【0092】
光学系ブロック122は,例えば,複数枚のレンズ,絞りなどからなり,被写体からの光学像を撮像部104に入射させることができる。駆動系ブロック124は,例えば,光学系ブロック122のレンズ間距離や絞りを調整するなどして,ズーム,アイリス,フォーカスなどを調整することができる。
【0093】
レンズ設定メタデータ生成部126は,例えば,上記駆動系ブロック124のレンズ設定情報等のパラメータを取得して管理している。さらに,レンズ設定メタデータ生成部126は,かかるパラメータに基づいて,上記レンズ設定メタデータを例えば1フレーム毎に生成する。このようにして生成されたレンズ設定メタデータは,例えば,RS−232Cケーブルを介して,メタデータ付加装置40に出力される。
【0094】
ドーリ装置14は,例えば,ドーリ計測部142と,ドーリ設定メタデータ生成部144とを備える。
【0095】
ドーリ計測部142は,例えば,GPS情報,ドーリ装置14の移動速度や向き,撮像装置10のアングルなどといった,ドーリ装置14に関する各種の設定情報を計測して,ドーリ設定メタデータ生成部144に出力する。
【0096】
ドーリ設定メタデータ生成部144は,例えば,上記ドーリ計測部142からの計測情報に基づいて,上記ドーリ設定メタデータを,例えば1フレーム毎に生成する。このようにして生成されたドーリ設定メタデータは,例えば,RS−232Cケーブルを介して,メタデータ付加装置40に出力される。
【0097】
<1.4.2 カメラコントロールユニット>
次に,図9に基づいて,本実施形態にかかるCCU20について詳細に説明する。なお,図9は,本実施形態にかかるCCU20の構成を示すブロック図である。
【0098】
図9に示すように,CCU20は,例えば,CPU200と,メモリ部202と,送受信部204と,信号処理部206と,シリアライザ208と,を備える。
【0099】
CPU200は,演算処理装置および制御装置として機能し,CCU20の各部の処理を制御することができる。このCPU200には,リファレンス信号が入力されており,映像記録システム1内の他の装置との間で,映像信号の同期をとることができる。また,メモリ部202は,例えば,各種のRAM,ROM,フラッシュメモリ,ハードディスクなどの記憶装置などで構成されており,CPU200の処理に関する各種データ,およびCPU200の動作プログラム等を記憶または一時記憶する機能を有する。
【0100】
送受信部204は,例えば,撮像装置10からカメラ設定メタデータが付加された映像信号を受信し,信号処理部206に送信する。
【0101】
信号処理部206は,例えば,光信号として入力された映像信号を,HD SDI信号に変換処理して,シリアライザ208に出力する。なお,この信号処理部206は,上記撮像装置10の信号処理部106の処理機能を具備するように構成することもできる。
【0102】
シリアライザ208は,例えば,信号処理部206から受け取った映像信号をパラレル−シリアル変換して,HD SDIケーブルを介してメタデータ付加装置40に送信する。なお,このCCU20が出力する映像信号のブランキング領域には,図8(a)に示したように,例えば,カメラ設定グループに対応する領域にのみ,実際のメタデータが挿入されており,その他のメタデータグループの領域にはダミーデータが挿入されている。
【0103】
<1.4.3 メタデータ付加装置>
次に,図10に基づいて,本実施形態にかかるメタデータ付加装置40について詳細に説明する。なお,図10は,本実施形態にかかるメタデータ付加装置40の構成を示すブロック図である。
【0104】
図10に示すように,メタデータ付加装置40は,例えば,CPU400と,メモリ部402と,メタデータパッキング部404と,メタデータエンコーダ406と,デシリアライザ408と,メタデータ挿入部410と,シリアライザ412と,を備える。
【0105】
CPU400は,演算処理装置および制御装置として機能し,メタデータ付加装置40の各部の処理を制御することができる。このCPU400には,リファレンス信号が入力されており,映像記録システム1内の他の装置との間で,映像信号の同期をとることができる。また,このCPU400には,タイムコード信号(LTC)が入力されており,このLTCに基づいてシーン情報メタデータの1つであるタイムコード情報を生成して,メモリ部402に記憶させることができる。また,かかるLTCをVTR50に出力することもできる。
【0106】
また,メモリ部402は,例えば,各種のRAM,ROM,フラッシュメモリ,ハードディスクなどの記憶装置などで構成されており,CPU400の処理に関する各種データ,およびCPU400の動作プログラム等を記憶または一時記憶する機能を有する。また,このメモリ部402は,例えば,各装置から送信されてきたメタデータを一時的に記憶するためのメタデータバッファメモリ403を具備している。
【0107】
このメタデータバッファメモリ403は,例えば,上記レンズ装置12から撮影開始後に順次送信されてくるレンズ設定メタデータ,ドーリ装置14から撮影開始後に順次送信されてくるドーリ設定メタデータ,メタデータ入力用端末装置30から撮影開始前に予め所得したシーン情報メタデータ,CPU400から入力されたタイムコード情報,などを記憶する。
【0108】
メタデータパッキング部404は,例えば,上記メタデータバッファメモリ403に蓄えられている各種のメタデータの中から必要なメタデータを抽出し,その利用目的ごとに,レンズ設定グループ,ドーリ設定グループ,シーン情報グループなどといった複数のメタデータグループにグループ化して,上記KLVの構造にパッキングし直す。メタデータパッキング部404は,このようにパッキングしたメタデータをメタデータエンコーダ406に出力する。
【0109】
メタデータエンコーダ406は,上記メタデータパッキング部404からのメタデータをエンコードする。上記のようにしてメタデータ付加装置40に入力されてくるメタデータは,例えばRS−232Cのプロトコル形式のデータである。このため,メタデータエンコーダ406は,例えば,このメタデータを,HDSDI形式の映像信号へ挿入できるように,アンシラリデータパケット形式にフォーマット変換して符号化する(図6参照)。この符号化により,例えば,メタデータの前後には,上記説明したような各種のフラグやCRCなどが付される。
【0110】
デシリアライザ408は,CCU20から入力された映像信号をシリアル−パラレル変換して,メタデータ挿入部410に出力する。
【0111】
メタデータ挿入部410は,上記メタデータエンコーダ406から入力されたメタデータを,上記デシリアライザ408から入力されてくる映像信号のブランキング領域に,1フレーム毎に順次挿入していく。
【0112】
このとき,メタデータ挿入部410に入力されてくる映像信号において,例えば,ブランキング領域のうちカメラ設定グループに対応する領域には,図8(a)に示すように,上記撮像装置10によって予めカメラ設定グループのカメラ設定メタデータが挿入された状態となっている。
【0113】
一方,このカメラ設定グループ以外の,シーン情報グループ,レンズ設定グループ,ドーリ設定グループに対応する領域には,ダミーデータが挿入された状態となっている。このため,メタデータ挿入部410は,図8(b)に示すように,例えば,かかるダミーデータを,実際のシーン情報メタデータ,レンズ設定メタデータ,ドーリ設定メタデータなどにそれぞれ書き換えることで,当該メタデータの当該映像信号へのメタデータの挿入が実現される。かかるメタデータの書き換え処理時には,メタデータ挿入部410は,例えば,各メタデータグループの対応領域に付与されているグループ識別情報「K」およびデータ量情報「L」に基づいて,当該対応領域の検出,書き換え処理を行うので,書き換え処理を効率的に行うことができる。また,メタデータ挿入部410は,このようにメタデータを挿入するときに,例えば,挿入するメタデータと映像信号との遅延時間の位相合わせを行うこともできる。
【0114】
シリアライザ412は,上記のようにしてメタデータ挿入部410によってメタデータが1フレーム毎に付加された映像信号を,パラレル−シリアル変換して,VTR50に送信する。
【0115】
このように,本実施形態にかかるメタデータ付加装置40は,例えば,予めカメラ設定メタデータが付加されている映像信号に対し,さらに,シーン情報メタデータ,レンズ設定メタデータおよびドーリ設定メタデータを追加して付加することができる。
【0116】
<1.4.4 ビデオテープレコーダ>
次に,図11に基づいて,本実施形態にかかるVTR50について詳細に説明する。なお,図11は,本実施形態にかかるVTR50の構成を示すブロック図である。
【0117】
図11に示すように,VTR50は,例えば,CPU500と,メモリ部502と,デシリアライザ504と,信号処理部506と,メタデータデコーダ508と,記録再生ブロック510と,ECCブロック512と,メタデータエンコーダ514と,シリアライザ516と,を備える。
【0118】
CPU500は,演算処理装置および制御装置として機能し,VTR50の各部の処理を制御することができる。このCPU500には,タイムコード信号(LTC)信号が入力されている。また,メモリ部502は,例えば,各種のRAM,ROM,フラッシュメモリ,ハードディスクなどの記憶装置などで構成されており,CPU500の処理に関する各種データ,およびCPU500の動作プログラム等を記憶または一時記憶する機能を有する。
【0119】
デシリアライザ504は,メタデータ付加装置40から入力された映像信号をシリアル−パラレル変換して,信号処理部506に出力する。
【0120】
信号処理部506は,例えば,映像信号等をビデオテープ52に対して好適に記録/再生するために,映像信号に各種の処理を施すことができる。例えば,信号処理部506は,必要に応じて,MPEG(Moving Picture Experts Group phase)1,MPEG2,MPEG4,またはDCT(Discrete Cosine Transform)方式などに基づいて,映像信号を圧縮/伸張処理できる。また,信号処理部506は,例えば,上記各信号の記録/再生のタイミング合わせをしたり,映像信号と音声信号を分離して,ECC(Error Correcting Code:誤り訂正符号)を付与したりもできる。また,信号処理部506は,例えば,映像信号に付加されているメタデータをフレーム単位で抽出したり,逆に,デコードされたメタデータを映像信号にフレーム単位で挿入したりできる。
【0121】
この信号処理部506は,例えば,メタデータ付加装置40から入力された映像信号をそのままシリアライザ514に出力する,あるいは,ビデオテープ52から再生された映像信号をシリアライザ514に出力することができる。
【0122】
メタデータデコーダ508は,例えば,映像信号から取り出されたメタデータをデコードする。具体的には,メタデータデコーダ508は,例えば,記録する上で不要な,当該メタデータに付与されているフラグ(Flag,DID,SDID等)およびCRC等を取り除いて,CPU500に出力する。CPU500は,例えば,このメタデータに上記映像信号と同様にECCを付与して,記録再生ブロック510に出力する。
【0123】
記録再生ブロック510は,例えば,ビデオヘッドおよび駆動メカニズム(いずれも図示せず。)等から構成されている。この記録再生ブロック510は,メタデータが付加された映像信号をビデオテープ52に対して実際に記録/再生することができる。より詳細には,記録再生ブロック510は,例えば,映像信号,音声信号およびメタデータを1フレーム単位でセットにして,ビデオテープ52の記録エリアに順次,記録していくことができる。また,この記録再生ブロック510は,例えば,ビデオテープ52の記録エリアに記録されている映像信号,音声信号およびメタデータを1フレーム単位でセットにして,順次,再生することができる。
【0124】
ECCブロック512は,例えば,上記ECCに基づいて,記録再生ブロック510によってビデオテープ52から再生された映像信号等の誤り検出を行う。
このECCブロック512は,誤り検出完了後に,例えば,再生されたメタデータをCPU500に,映像信号及び音声信号を信号処理部506に出力する。
【0125】
メタデータエンコーダ514は,再生されたメタデータを伝送用のフォーマットにエンコード(上記フラグ,CRC等を付与)して,信号処理部506に出力する。信号処理部506は,例えば,ECCブロック512から入力された映像信号及び音声信号と,上記メタデータエンコーダ514によってエンコードされたメタデータとを合わせて,シリアライザ516に出力する。
【0126】
シリアライザ516は,信号処理部506から入力された映像信号等を,パラレル−シリアル変換して,メタデータ合成装置60に送信する。
【0127】
なお,上記のように,信号処理部506,メタデータデコーダ508,CPU500および記録再生ブロック510などは,本実施形態にかかる記録部として構成されており,メタデータが付加された映像信号を記憶媒体に記録することができる。
【0128】
<1.4.5 メタデータ合成装置>
次に,図12に基づいて,本実施形態にかかるメタデータ合成装置60について詳細に説明する。なお,図12は,本実施形態にかかるメタデータ合成装置60の構成を示すブロック図である。
【0129】
図12に示すように,メタデータ合成装置60は,例えば,CPU600と,メモリ部602と,デシリアライザ604と,メタデータ抽出部606と,メタデータデコーダ608と,メタデータ映像生成部610と,メタデータ映像合成部612と,シリアライザ614と,を備える。
【0130】
CPU600は,演算処理装置および制御装置として機能し,メタデータ合成装置60の各部の処理を制御することができる。また,メモリ部602は,例えば,各種のRAM,ROM,フラッシュメモリ,ハードディスクなどの記憶装置などで構成されており,CPU600の処理に関する各種データ,およびCPU600の動作プログラム等を記憶または一時記憶する機能を有する。
【0131】
デシリアライザ604は,VTR50から入力された映像信号をシリアル−パラレル変換して,メタデータ抽出部606に出力する。
【0132】
メタデータ抽出部606は,例えば,映像信号のブランキング領域に挿入されているメタデータを1フレーム毎に抽出する。このとき,メタデータ抽出部606は,例えば,ブランキング領域に挿入されている全てのメタデータを抽出するのではなく,例えば,特定のメタデータグループ(例えばシーン情報グループ)のメタデータのみを抽出したり,さらに,当該メタデータグループ内の特定のメタデータ(例えば,タイムコード,シーン番号,テイク番号)のみを抽出したりするようにしてもよい。なお,かかるメタデータの抽出処理時には,メタデータ抽出部606は,各メタデータグループに付与されているグループ識別情報「K」およびデータ量情報「L」に基づいて,抽出しようとするメタデータグループの位置およびデータ量を把握できるので,必要なメタデータの抽出処理を効率的に行うことができる。
【0133】
メタデータ抽出部606は,例えば,このようにして抽出したメタデータをメタデータデコーダ608に出力する一方,映像信号はそのままの状態でメタデータ映像合成部612に出力する。
【0134】
メタデータデコーダ608は,例えば,メタデータ抽出部606から入力されたメタデータをデコードし,メタデータ映像生成部610に出力する。
【0135】
メタデータ映像生成部610は,例えば,メタデータデコーダ608から入力されたメタデータを,スーパーインポーズするために映像データに書き換えることができる。即ち,メタデータデコーダ608でデコードされたメタデータは,例えばテキストデータ形式のメタデータであるので,メタデータ映像生成部610は,このメタデータを映像データ形式に変換する。
【0136】
メタデータ映像合成部612は,例えば,メタデータ抽出部606から入力された映像信号に対して,メタデータ映像生成部610で映像データに変換されたメタデータをフレーム単位で順次,合成することができる。換言すると,このメタデータ付加部612は,例えば,当該映像信号に対して,映像データ化されたメタデータをフレーム単位で多重して,スーパーインポーズすることができる。
【0137】
シリアライザ612は,メタデータ映像合成部612から入力された映像信号等を,パラレル−シリアル変換して,表示装置70に送信する。
【0138】
このようにして,メタデータ合成装置60は,撮像装置によって撮影中の映像信号,或いはVTR50で再生された映像信号から,そのブランキング領域に挿入されているメタデータを取り出して,当該映像信号にスーパーインポーズすることができる。この結果,かかる映像信号が入力された表示装置70は,当該メタデータがスーポーインポーズ等された映像を表示することができる。
【0139】
これにより,ディレクタ等は,例えば,撮像装置10によって収録中の映像,あるいは収録後にVTR50で再生された映像を,当該映像に関するメタデータとともに閲覧することができる。このため,例えば,タイムコード,シーン番号,テイク番号等がスーパーインポーズ表示されている場合には,ディレクタ等は,当該映像がいかなるシーンの,いかなるテイクの,いかなる時間のものであるかなどを,映像を見ながら容易に識別,確認することができる。
【0140】
<1.5 映像記録方法>
次に,図13に基づいて,上記のような映像記録システム1を用いた本実施形態にかかる映像記録方法について説明する。なお,図13は,本実施形態にかかる映像記録方法を説明するためのタイミングチャートである。
【0141】
図13(a)に示すように,撮影が開始されると,まず,撮像装置10には,生の映像が,順次,入射される。すると,撮像装置10は,0フレーム,1フレーム,2フレーム,…とフレーム単位で映像信号を順次生成していく。このとき,撮像装置10のCCD等は,例えば,当該映像を例えばプログレッシブ方式でスキャンする。このため,撮像装置10の出力する映像信号は,撮像装置10に入射された生の映像に対して,例えば1フレーム程度の遅延が生ずる。この結果,図13(b)に示すように,CCU20の出力も例えば1フレーム程度遅延する。
【0142】
また,上記映像信号の生成と略同時に,撮像装置10は,カメラ設定メタデータを1フレーム毎に生成し,図13(b)に示すように,対応するフレームの映像信号のブランキング領域に1フレーム毎に順次挿入していく。これにより,撮像装置10は,撮像処理を実行して映像信号を生成しながら,当該映像信号に対して,カメラ設定グループのメタデータをフレーム単位で付加することができる。
【0143】
また,このような映像装置10の撮影処理と同時並行して,レンズ装置12およびドーリ装置14は,上記撮影処理時における設定情報を収集して,レンズ設定メタデータおよびドーリ設定メタデータを例えば1フレーム毎に生成し,メタデータ付加装置40に順次出力している。
【0144】
さらに,CCU20には,上記撮像装置10によって生成され,カメラ設定メタデータが1フレーム毎に付加された映像信号が,順次,入力されてくる。CCU20は,図13(b)に示すように,この映像信号をメタデータ付加装置40に順次出力していく。
【0145】
また,メタデータ付加装置40は,図13(c)に示すように,CCU20から入力されてくる映像信号のブランキング領域に,シーン情報メタデータ,レンズ設定メタデータおよびドーリ設定メタデータを,1フレーム毎に順次挿入していく。また,メタデータ付加装置40は,例えば,当該映像信号に対して1フレーム毎に,タイムコード情報をシーン情報メタデータの1つとして付加していく。このようにして,メタデータ付加装置40は,上記撮像装置10による撮影処理と同時並行して,当該映像信号に対して,利用目体に応じてグループ化されたメタデータをフレーム単位で付加することができる。
【0146】
さらに,VTR50には,図13(d)に示すように,例えば,メタデータ付加装置40から,メタデータが付加された映像信号が順次入力されるとともに,集音装置18から音声信号が順次入力されてくる。この音声信号は,例えば,一旦メモリ部502に貯蔵され,当該映像信号の遅延に合わせて映像信号に同期して記録される。VTR50は,当該映像信号のメタデータをデコードした上で,当該映像信号および同期された音声信号とともに,ビデオテープ52等にフレーム単位で記録していく。
【0147】
以上のように,本実施形態にかかる映像記録方法では,例えば,撮像装置10による撮影処理を実行しながら,各種のメタデータを生成してグループ化し,当該撮影処理によって生成された映像信号に対して上記グループ化されたメタデータをフレーム単位で付加して,記憶媒体に記録することができる。
【0148】
以上説明したように,上記映像記録システム1及びこれを用いた映像記録方法によれば,撮像装置10によって生成された映像信号に対して,撮影処理中にリアルタイムで,映像信号に関連するメタデータをフレーム単位で付加して,同一記憶媒体に記録することができる。このため,従来のように,PC等の端末装置内に記録されたメタデータと,記憶媒体中に記録された映像素材とを,タイムコード等で間接的にリンクする必要がなくなり,映像素材とその映像素材に関するメタデータとを,直接的にリンクさせて記録することができる。従って,映像素材とメタデータを一体的に管理することができるので便利である。また,メタデータの抽出時に映像素材とメタデータの整合性をとる必要が無いので,必要なメタデータを効率的に抽出して利用したり,書き換えたりできるようになる。
【0149】
<2 映像編集装置>
次に,本実施形態にかかる映像編集装置およびその処理方法について説明する。
【0150】
<2.1 映像編集装置>
まず,本実施形態にかかる映像編集装置の概要について説明する。映像編集装置は,上記のようにして撮影・収録された映像素材を編集処理するための装置であり,編集部署のあるスタジオ等に設けられる。この編集部署とは,例えば,上記記録システム1が撮影・収録した映像素材を編集処理して,完全パッケージプログラム(以下では,完パケという。)を完成させる部署である。編集処理には,例えば,映像素材の粗編集処理,後処理,本編集処理などが含まれる。
【0151】
粗編集処理は,多様な映像素材の中から,映像作品を構成する映像を切り出す処理である。具体的には,まず,上記映像記録システム1によって収録された複数の映像素材の中から必要な映像素材を収集し,次いで,収集された映像素材の中から必要な映像部分を選択して,開始位置(In点)および終了位置(Out点)のタイムコード等を決定して,必要な映像部分を特定する処理である。
【0152】
後処理は,撮影・収録された実写の映像素材に対して,映像合成処理または映像補正処理等を施して,実写の映像素材の内容を変更する処理である。
【0153】
また,本編集処理は,粗編集や後処理を経た映像素材のオリジナルデータを繋ぎ合わせ,最終的な画質調整等を施し,番組などで放映するための完全パッケージデータを作成する処理である。
【0154】
本実施形態にかかる映像編集装置3は,上記編集処理のうち,例えば,後処理を行うための装置として構成されている。この映像編集装置3が行う後処理は,例えば,上記映像記録システム1によって撮影・収録された実写の映像素材に対して,映像合成処理若しくは映像補正処理等を施す処理である。
【0155】
より詳細には,映像合成処理は,例えば,フォアグラウンドの映像とバックグラウンドの映像とを合成する処理である。このように合成する映像のうち,少なくともいずれかの映像としてコンピュータグラフィックス映像(以下では,CG映像という。)を用いるのが,CG映像合成処理である。CG映像合成処理の具体例としては,例えば,フォアグラウンドである人物の実写映像と,バックグラウンドである架空背景のCG映像とを合成する処理や,逆に,フォアグラウンドである架空人物のCG映像と,バックグラウンドである背景の実写映像とを合成する処理などが挙げられる。
【0156】
また,映像補正処理は,実写の映像素材に対して各種の補正を施す処理である。具体的には,例えば,映像素材の明るさを変えるなどして,昼間の映像を夕方の映像にしたり,春の映像を秋の季節の映像にしたりする処理や,実写の映像には無いものを付加したり,実写の映像にあるものを変更/削除したりする処理(例えば,人物の髪型を変更する)などが挙げられる。
【0157】
なお,映像編集装置3は,このような後処理以外にも,例えば,粗編集処理及び/又は本編集処理などを実行できるように構成されてもよい。
【0158】
次に,図14に基づいて,上記のような後処理等を実行するための映像編集装置の全体構成について説明する。なお,図14は,本実施形態にかかる映像編集装置3の概略的な構成を示すブロック図である。
【0159】
図14に示すように,本実施形態にかかる映像編集装置3は,例えば,再生用VTR90と,合成用映像サーバ92と,編集用端末装置80と,から主に構成されている。
【0160】
再生用VTR90は,例えば,上記ビデオテープ52等の記憶媒体に対して映像信号を記録/再生可能なビデオテープレコーダであり,本実施形態にかかる映像信号再生装置として構成されている。この再生用VTR90の内部構成は,例えば,上記図12で説明したようなVTR50の内部構成と略同一であるので,その説明は省略する。
【0161】
この再生用VTR90には,例えば,上記映像記録システム1によって撮影・収録された実写の映像素材を記録しているビデオテープ52が,ローディングされる。このビデオテープ52に記録されている映像信号には,上記のように,グループ化されたメタデータがフレーム単位で付加されている。再生用VTR90は,かかるビデオテープ52に記録されている実写の映像素材を再生し,再生した映像素材を編集用端末装置80に出力することができる。より詳細には,この再生用VTR90は,例えば,当該ビデオテープ52から,上記のようにしてフレーム単位で各種メタデータが付加された映像信号(実写の映像素材)及び/又は音声信号を再生することができる。また,再生用VTR90は,このようにして再生した実写の映像信号等を,HD SDIケーブル等を介して,編集用端末装置80に出力することができる。
【0162】
なお,この再生用VTR90は,例えば,上記のように,ビデオテープ52から映像信号を再生して,編集用端末装置80に提供することを主な機能とするが,かかる例に限定されず,例えば,編集用端末装置80等から入力された映像信号等をビデオテープ52に記録できるように構成しても勿論よい。
【0163】
合成用映像サーバ92は,例えば,合成用映像信号を貯蔵するためのサーバであり,例えば,大容量の映像信号を格納可能なハードディスクドライブ等の記録装置を備える。また,この合成用映像サーバ92は,例えば,格納している合成用映像信号を,必要に応じて,編集用端末装置80に出力することができる。なお,この合成用映像サーバ92は,例えば,編集用端末装置80とは別体に構成されたパーソナルコンピュータ及び記録装置などからなるサーバ装置として構成されてもよいし,或いは,編集用端末装置80に内蔵されたディスク装置などとして構成されてもよい。
【0164】
この合成用映像サーバ92が貯蔵する合成用映像信号は,例えば,上記再生用VTR90で再生された映像信号に対して合成するための映像信号である。本実施形態では,この合成用映像信号は,例えば,コンピュータを用いて作成された架空の図表,図形,線画,絵等からなる動画像または静止画像のCG映像信号である。かかるCG映像信号は,例えば,CG映像作成用のソフトウエア等がインストールされたコンピュータなどにより生成され,合成用映像サーバ92に予め格納されている。また,例えば,このCG映像信号に対しても,CG作成時点でCG映像信号に関連する各種のメタデータ(例えば,CG画像のガンマ,ディテール,ニーレベル等)がフレーム単位で付加されている。
【0165】
なお,合成用映像信号は,上記CG映像信号の例に限定されず,例えば実写の映像信号などであっても勿論よい。これにより,実写映像同士を合成することが可能になる。
【0166】
編集用端末装置80は,例えば,パーソナルコンピュータなどの情報処理装置及びその周辺装置などで構成される。この編集用端末装置80は,例えば,上記再生用VTR90から,再生された実写の映像信号を取得するとともに,上記合成用映像サーバ92から,CG映像信号を取得することができる。
【0167】
また,この編集用端末装置80は,例えば,実写の映像信号に付加されているメタデータを抽出することができる。このとき,編集用端末装置80は,例えば,上記メタデータグループごとメタデータを抽出できるだけでなく,予め設定された抽出条件等に基づいて,メタデータグループ内の所定のメタデータのみを抽出することもできる。
【0168】
さらに,編集用端末装置80は,かかる抽出したメタデータを,当該映像信号にフレーム単位で同期させて表示することができる。これにより,編集用端末装置80のオペレータは,映像とともに表示されたメタデータを閲覧しながら,編集用端末装置80を操作して,実写映像に対して多様な後処理を施すことができる。具体的には,編集用端末装置80は,例えば,上記実写の映像信号とCG映像信号とを合成するなどといった映像合成処理や,上記実写の映像信号を補正する映像補正処理などを行うことができる。
【0169】
このようにして編集用端末装置80によって後処理された映像信号は,例えば,編集用端末装置80内の記録装置などに記録される。しかし,かかる例に限定されず,後処理された映像信号は,例えば,編集用端末装置80に接続された記録用VTR(図示せず。)によって新たなビデオテープ等の記憶媒体に記録される,或いは,編集用端末装置80に接続された後処理用映像サーバ(図示せず。)に記録されるなどしてもよい。
【0170】
<2.2 編集用端末装置の構成>
次に,図15に基づいて,本実施形態にかかる編集用端末装置80の構成について詳細に説明する。なお,図15は,本実施形態にかかる編集用端末装置80の概略的な構成を示すブロック図である。
【0171】
図15に示すように,編集用端末装置80は,CPU800と,メモリ部802と,入力部804と,表示部806と,音声出力部808と,外部インターフェース810と,記録装置811と,メタデータ抽出部812と,表示制御部814と,映像合成処理部816と,映像補正処理部818と,を備える。
【0172】
CPU800は,演算処理装置および制御装置として機能し,編集用端末装置10の各部の処理を制御することができる。また,メモリ部802は,例えば,RAM,ROM,フラッシュメモリなどで構成されており,CPU800の処理に関する各種データ,CPU800の動作プログラム等を記憶する機能を有する。
【0173】
入力部804は,例えば,マウス,キーボード,タッチパネルなどの一般的なPC用入力装置(図示せず。)と,映像編集用入力装置(図示せず。)などから構成されている。この映像編集用入力装置は,例えば,映像再生ボタン,停止ボタン,巻き戻しボタン,早送りボタンなどの各種の編集用ボタンや,映像再生速度を調整したり,再生する映像素材を選択したりするためのジョグダイヤル,レバーなどを備える。編集用端末装置80のオペレータは,例えば,上記映像編集用入力装置を操作して,映像信号を多様に再生表示したり,後処理したりできる。
【0174】
表示部804は,ディスプレイ装置であり,例えばCRTモニタやLCDモニタなどで構成される。この表示部804は,例えば,映像信号や,当該映像信号に対応するメタデータなどを表示することができる。この表示部804は,上記再生用VTR90によって再生された映像信号と,この映像信号から抽出されたメタデータを,フレーム単位で同期させて表示することができるが,詳細は後述する。
【0175】
音声出力部110は,例えば,スピーカなどの発音装置と音声信号処理装置等から構成されており,上記再生用VTRによって再生された音声信号に基づいて音声出力することができる。
【0176】外部インターフェース810は,編集用端末装置10に例えばHD SDI,RS−232C,USB,SCSIなどのインターフェースで接続された周辺機器との間で,データの送受信を行う部位である。この周辺装置は,例えば,上記再生用VTR90および合成用映像サーバ92などである。
【0177】
記録装置811は,例えば,ハードディスクドライブ等で構成されたストレージ装置であり,後処理された映像信号,メタデータ,各種プログラムなどを格納することができる。
【0178】
メタデータ抽出部812は,上記再生用VTR90によって再生された実写の映像信号から,この映像信号のブランキング領域に1フレーム毎に挿入されているメタデータを抽出することができる。このとき,メタデータ抽出部812は,例えば,ブランキング領域に挿入されている全てのメタデータを抽出するのではなく,例えば,特定のメタデータグループのメタデータのみを抽出したり,さらに,当該メタデータグループ内の特定のメタデータのみを抽出したりできる。かかるメタデータの抽出処理時には,メタデータ抽出部812は,各メタデータグループに付与されているグループ識別情報「K」およびデータ量情報「L」に基づいて,抽出しようとするメタデータグループの位置およびデータ量を把握できるので,必要なメタデータの抽出処理を効率的に行うことができる。
【0179】
このような抽出処理では,メタデータ抽出部812は,例えば,後処理の内容に応じて,必要なメタデータのみを抽出するように設定されている。
【0180】
具体的には,映像合成処理を行う場合において,実写の映像素材とCG映像との間で,映像の色,明るさおよび質感等を調整するときには,例えば,カメラ設定グループ内の必要なカメラ設定メタデータ(撮影時における撮像装置10のシャッタスピード,ゲイン,ガンマ,ディテール等の設定情報)などが抽出される。また,映像合成処理を行う場合において,実写の映像素材とCG映像との間で,映像の動き等を調整するときには,例えば,レンズ設定グループ内の必要なレンズ設定メタデータ(撮影時におけるレンズ装置12のズーム,フォーカス,アイリス等の設定情報)や,ドーリ設定グループ内の必要なドーリ設定メタデータ(撮影時におけるドーリ装置14の移動スピード,カメラ方向(Pan,Tilt,Roll)等の情報)などが抽出される。
【0181】
また,実写の映像素材の映像補正処理を行う場合には,例えば,カメラ設定グループ内の必要なカメラ設定メタデータ(撮影時における撮像装置10のシャッタスピード,ゲイン,ガンマ,ディテール等の設定情報)などが抽出される。
【0182】
また,メタデータ抽出部812は,例えば,上記合成用映像サーバ92から入力されたCG映像信号にフレーム単位で付加されているCG映像に関するメタデータをも,フレーム単位で抽出することができる。このとき,メタデータ抽出部812は,例えば,上記実写の映像信号から抽出される各メタデータ(例えば実写映像のゲイン,ガンマ等)に対応させて,CG映像信号から各メタデータ(例えばCG映像のゲイン,ガンマ等)を抽出するように設定されている。
【0183】
メタデータ抽出部812は,上記のようにして抽出したメタデータを,例えば,表示制御部814に出力する。
【0184】表示制御部814は,上記表示部806の表示内容(映像信号およびメタデータ等)を制御することができる。具体的には,表示制御部814は,例えば,上記メタデータ抽出部812によって抽出されたメタデータを,表示用データに変換する処理を施した上で,表示部806が,実写の映像信号と当該変換したメタデータとを,フレーム単位で同期して表示するように制御することができる。
【0185】この表示制御部814によるメタデータの変換処理について,より詳細に説明すると,まず,表示制御部814は,例えば,上記メタデータ抽出部812によって1フレームごとに抽出されたメタデータをデコードして,解釈する。次いで,表示制御部814は,例えば,解釈したメタデータを,閲覧しやすいような表形式等に変換する。
【0186】表示制御部814は,例えば,このように変換処理したメタデータを,実写の映像信号に応じて1フレーム毎に更新しながら,実写の映像信号とともに表示するように,表示部806を制御することができる。これにより,表示部806は,実写の映像信号およびメタデータをフレーム単位で同期させて表示することができる。
【0187】このため,編集端末装置80のオペレータは,例えば,実写の映像とともに,表形式に整理されたメタデータを閲覧することができるので,後処理しようとする映像素材の映像の画質や動きを,客観的かつ正確に把握することができる。
【0188】さらに,例えばCG合成処理が行われる場合には,表示制御部814は,例えば,上記のような実写の映像信号およびこれに対応するメタデータに加えて,CG映像信号およびこれに対応するメタデータ(CGデータ)をも,フレーム単位で同期させて表示するように制御することができる。
【0189】また,例えば映像補正処理が行われる場合には,表示制御部814は,例えば,上記のような実写の映像信号およびこれに対応するメタデータに加えて,映像補正後の映像信号およびこれに対応するメタデータをも表示するように制御することができる。
【0190】
映像合成処理部816は,例えば,オペレータの入力に基づいて,上記再生された実写の映像信号と,合成用映像信号とを合成する映像合成処理を行うことができる。より詳細には,映像合成処理部816は,例えば,オペレータの操作に基づいて,上記再生用VTR90から入力された実写の映像信号と,上記合成用映像サーバ92から入力されたCG映像信号とを,例えばキー信号を利用して合成することができる。このとき,合成される実写の映像信号は,フォアグラウンドまたはバックグラウンドのいずれであってもよい。
【0191】
この映像合成処理部816によって映像合成処理が実行されるときには,例えば,上記のように,表示部806の表示画面上には,実写映像およびCG映像が,それぞれに対応するメタデータとともに見やすいレイアウトで表示される。このため,オペレータは,例えば,実写の映像とCG映像とを対比しながら,さらに,実写の映像のメタデータとCGデータとを対比することができる。従って,例えば,双方のメタデータの値を合わせるようにCG映像の画質や動きを調整した上で実写映像に合成できるので,CG合成処理を客観的かつ好適に実行することができる。
【0192】
映像補正処理部818は,例えば,オペレータの入力に基づいて,上記再生された実写の映像信号を補正する映像補正処理を行うことができる。より詳細には,映像補正処理部818は,例えば,オペレータの操作に基づいて,上記再生用VTR90から入力された実写の映像信号に対して,映像の一部を追加,削除,変更する処理をしたり,背景を変える処理をしたり,画質等の調整処理を施したりして,映像補正することができる。
【0193】
この映像補正処理部818によって映像補正処理が実行されるときには,例えば,上記のように,表示部806の表示画面上には,実写映像および補正後の映像が,それぞれに対応するメタデータとともに見やすいレイアウトで表示される。このため,オペレータは,例えば,実写の映像と補正後の映像とを対比しながら,さらに,実写の映像のメタデータと補正後の映像のメタデータとを対比することができる。従って,双方のメタデータのレベル差等を参照しながら,実写映像を補正できるので,映像補正処理を客観的かつ好適に実行することができる。
【0194】
以上,編集用端末装置80の各部に着ついて説明した。なお,上記のようなメタデータ合抽出部812,表示制御部814,映像合成処理部816,映像補正処理部818などは,上記のような処理機能を実現できるものであれば,例えば,専用装置(ハードウェア)として構成されてもよいし,或いは,コンピュータ等の編集用端末装置80に上記処理を実行させるアプリケーションプログラムをインストールしてソフトウエアとして構成されてもよい。
【0195】
<2.3 映像編集装置の処理方法>
次に,図16に基づいて,上記のような映像編集装置3の処理方法について説明する。なお,図16は,本実施形態にかかる映像編集装置3の処理方法を示すフローチャートである。以下では,例えば,CG合成処理の処理フローの具体例を挙げて説明するが,かかる例に限定されるものではない。
【0196】
図16に示すように,まず,ステップS100では,再生用VTR90によって実写映像が再生されるとともに,合成用映像サーバ92によってCG映像が読み出される(ステップS100)。再生用VTR90は,例えば,編集用端末用装置30からの指示に基づいて,映像記録システム1によって映像素材が収録されているビデオテープ52から,所定の実写の映像信号を再生して,編集用端末装置80に出力する。一方,合成用映像サーバ92は,例えば,編集用端末用装置30からの指示に基づいて,貯蔵しているCG映像信号のうち,上記再生された実写の映像信号に合成するための所定のCG映像信号を読み出して,編集用端末装置80に出力する
次いで,ステップS102では,編集用端末装置80によって映像信号に付加されているメタデータの少なくとも一部が抽出される(ステップS102)。編集用端末装置80のメタデータ抽出部812は,例えば,再生された実写の映像信号のブランキング領域に挿入されているメタデータを,1フレーム毎に抽出して,デコード等する。この抽出時には,メタデータ抽出部812は,例えば,オペレータによって指定された抽出条件に基づいて,実写の映像信号に付加されている多様なメタデータから,CG合成処理内容に応じた必要なメタデータのみを,メタデータグループ単位あるいは個々のメタデータ単位で選択して抽出できる。
【0197】
また,メタデータ抽出部812は,例えば,上記抽出処理と同時に,CG映像信号にフレーム単位で付加されているCG用のメタデータをも,1フレーム毎に抽出する。このとき,メタデータ抽出部812は,例えば,上記実写の映像信号から抽出されるメタデータに対応するCG映像信号のメタデータを抽出する。
【0198】
さらに,ステップS104では,映像信号とメタデータがフレーム単位で同期して表示される(ステップS104)。表示制御部814は,例えば,実写の映像信号と,上記のように抽出されたメタデータとを,1フレーム毎に同期させて,表示部806に表示させる。これと同時に,表示制御部814は,例えば,CG映像信号と,上記のように抽出されたCG用のメタデータとを,1フレーム毎に同期させて,表示部806に表示させる。
【0199】
その後,ステップS106では,CG合成処理が実行される(ステップS106)。編集用端末装置80のオペレータは,例えば,上記のように表示部806に表示された実写映像およびメタデータ,並びにCG映像およびCG用メタデータを閲覧しながら,合成するCG映像の画質や動きを補正して,双方の映像を合成する操作を行う。映像合成処理部816は,例えば,かかるオペレータの操作に基づいて,CG映像信号を補正処理した上で,実写の映像信号と補正後のCG映像信号とを合成した映像信号を生成する。
【0200】
ここで,図17及び図18に基づいて,上記のようなCG合成処理時において編集用端末装置80の表示部806に表示される映像およびメタデータの具体例について説明する。なお,図17は,CG合成処理でのCG映像の画質調整時において編集用端末装置80の表示部806に表示される映像およびメタデータの具体例を示す説明図である。また,図18は,CG合成処理でのCG映像の動き調整時において編集用端末装置80の表示部806に表示される映像およびメタデータの具体例を示す説明図である。
【0201】
図17に示すように,表示部806の表示画面807には,例えば,フォアグラウンドとして「サバンナを歩くライオン」の実写映像が表示されている。また,この実写映像の下部には,当該実写映像のフレームに対応するカメラ設定メタデータが表示されている。より詳細には,例えば,カメラ設定グループの「レコーダステータス」,「シャッタスピード」,「ゲイン」,「ガンマ」,「ディテールレベル」,「ニーポイント」などの項目の値が,表形式で表示されている。
【0202】
さらに,表示画面807には,例えば,バックグラウンドとして「宇宙空間の風景」のCG映像が表示されている。また,このCG映像の下部には,当該CG映像のフレームに対応するCG用メタデータが表示されている。このCG用メタデータの項目は,上記実写映像のカメラ設定メタデータの項目に対応するものとなっている。
【0203】
このような実写映像とCG映像を合成して「宇宙空間を歩くライオン」の映像を作成するために,オペレータは,まず,CG映像の画質(色,明るさ,質感等)を補正する処理を行う。具体的には,オペレータは,例えば,CG映像の画質が実写映像の画質に合うように,CG映像のガンマ,ディテール,ニーポイント等の値を補正する処理を行う。このとき,オペレータは,実写映像のカメラ設定メタデータとCG用メタデータとを見比べながら,補正処理を行うことができるので,各パラメータの補正の度合いを客観的に判断して,高精度で画質調整することができる。
【0204】
次いで,オペレータは,CG映像の動きを補正する処理を行うために,表示部806に表示するメタデータグループが切り替えられる。かかる切り替えにより,表示部806の表示画面807には,図18に示すように,上記と同様の実写映像の下部に,当該実写映像のフレームに対応するレンズ設定メタデータ及びドーリ設定メタデータが表示される。より詳細には,例えば,レンズ設定グループの「ズーム」,「フォーカス」,「アイリス」,ドーリ設定グループの「カメラ方向(Pan,Tilt,Roll)」が表示される。また,CG映像の下部には,この実写映像のレンズ設定メタデータ及びドーリ設定メタデータに対応した項目のCG用メタデータが表示される。
【0205】
このようなメタデータが表示されると,オペレータは,CG映像の動きを補正する処理を行う。具体的には,オペレータは,例えば,CG映像の動きが実写映像の動きに合うように,CG映像のズーム,フォーカス,アイリスや,カメラ方向などを補正する処理を行う。このとき,オペレータは,実写映像のレンズおよびドーリ設定メタデータとCG用メタデータとを見比べながら,補正処理を行うことができるので,双方の映像の動きに関するパラメータを客観的に判断して,高精度でCG映像の動きを調整することができる。
【0206】
次に,図19に基づいて,映像補正処理時において編集用端末装置80の表示部806に表示される映像およびメタデータの具体例について説明する。図19は,映像補正処理時において編集用端末装置80の表示部806に表示される映像およびメタデータの具体例を示す説明図である。なお,以下では,映像補正処理の具体例として,例えば,昼間に撮影された実写映像の画質を変化させることにより,夜の映像に補正する処理について説明する。
【0207】
図19に示すように,表示部806の表示画面807には,例えば,補正前の映像として「昼のサバンナを歩くライオン」の実写映像が表示されている。また,この実写映像の下部には,当該実写映像のフレームに対応するカメラ設定メタデータが表示されている。より詳細には,例えば,カメラ設定グループの「シャッタスピード」,「ゲイン」,「ガンマ」,「ディテールレベル」,「ニーポイント」。「ニースロープ」などの項目の値が,表形式で表示されている。
【0208】
さらに,表示画面807には,例えば,補正後の映像として「夜のサバンナを歩くライオン」の映像が表示されている。また,この補正後の映像の下部には,当該補正後の映像のフレームに対応するカメラ設定メタデータが表示されている。
【0209】
このように,補正前の実写映像と補正後の映像とを並べて表示するとともに,補正前の実写映像のカメラ設定メタデータと,補正後の映像のカメラ設定メタデータとを並べて表示することで,オペレータは,双方の映像間におけるカメラ設定メタデータの各項目のレベル差を判断材料として,好適に映像補正処理を実行することができる。具体的には,オペレータは,例えば,補正後の映像が好適な夜の映像となるように,実写映像のガンマ,ディテール,ニーポイント等の値を調整して,実写映像を補正する処理を行う。このとき,オペレータは,補正前と補正後のカメラ設定メタデータの各項目を見比べながら,補正処理を行うことができるので,各項目を増減させる度合いを客観的に判断して,高精度で画質調整することができる。
【0210】
また,図19に示したような映像補正処理では,例えば,実写映像の「太陽」の部分を削除して,「月」の映像を挿入する補正処理も成されている。このように映像補正処理では,実写映像にあったものを削除したり,実写映像に無かったものを追加したりすることもできる。
【0211】
以上説明したように,上記映像編集装置3及びこの処理方法によれば,メタデータがフレーム単位で付加された映像信号を利用して,当該映像信号の後処理に必要なメタデータを好適に抽出・表示することができる。このため,かかる映像編集装置3を用いることで,映像素材を好適に後処理することができる。
【0212】
即ち,上記映像記録システム1で映像素材が収録された記憶媒体52には,映像素材とその映像素材に関するメタデータとがフレーム単位で直接的にリンクされて記録されている。映像編集装置3は,かかる映像素材を再生して,再生された映像素材に直接付随しているメタデータを抽出することができる。このため,従来のように,映像素材とは別に記録されているメタデータにアクセスして,読み出し,さらにタイムコードを用いて映像素材とメタデータとの時間合わせを行うといった必要がない。従って,映像とメタデータとを一体的に取り扱うことができるので,映像素材の後処理に必要なメタデータを,迅速かつ容易に抽出することができる。
【0213】
さらに,抽出したメタデータを当該映像素材とフレーム単位で同期させて好適に表示することができる。このため,オペレータは,映像とともに,映像に対応するメタデータをフレーム単位で閲覧できるので,映像素材の画質,動き等を客観的かつ正確に把握できる。
【0214】
また,映像素材とメタデータがフレーム単位でリンクされて記録されているので,例えば,映像素材の粗編集処理などで,映像素材がIn点およびout点で切り出されたとしても,対応する部分のメタデータも当該映像素材に付随して切り出される。このため,映像素材とメタデータとの整合性をとらなくても,映像素材と同期させてメタデータを連続的に抽出・表示することができる。このため,当該編集後の映像素材であっても,メタデータを迅速かつ容易に抽出して,後処理に活用することができる。
【0215】
また,撮像装置10が可変速撮影処理することで,記録された映像信号のフレームレートが変化している場合であっても,当該映像信号に対してフレーム単位でメタデータが付加されているので,単位時間当たりの映像信号のフレーム数とメタデータの記録数との間にずれが生じることがない。よって,このような可変速撮影された映像信号を後処理する場合であっても,映像素材からメタデータをフレーム単位で抽出して表示することができる。上記のように,映像編集装置3は,編集処理や可変速撮影された映像素材にも柔軟に対応することができる。
【0216】
また,上記のように各種のメタデータがその利用目的に応じてグループ化されて,映像信号に付加されている。このため,必要なメタデータを,メタデータグループ単位で,迅速かつ容易に抽出して表示することができる。
【0217】
また,CG合成処理等の映像合成処理を行う場合には,例えば,カメラ設定メタデータを抽出して表示することで,オペレータは,映像素材の画質(明るさ,色合い,質感等)を的確に把握でき,一方,例えば,レンズおよびドーリ設定メタデータを抽出して表示することで,撮影時における撮像装置10および被写体の動き等を的確に把握できる。さらに,合成されるCG映像のメタデータを実写映像のメタデータと同時に表示することで,CG映像の画質や動きを客観的に把握して,当該CG映像を的確に補正することができる。
【0218】
また,映像補正処理を行う場合には,例えば,カメラ設定メタデータを抽出して表示することで,オペレータは,映像素材の画質(明るさ,色合い,質感等)を的確に把握して,好適に映像補正することができる。
【0219】
以上,添付図面を参照しながら本発明の好適な実施形態について説明したが,本発明はかかる例に限定されない。当業者であれば,特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり,それらについても当然に本発明の技術的範囲に属するものと了解される。
【0220】
例えば,上記実施形態にかかる映像記録システム1では,撮像装置10がカメラ設定メタデータを映像信号に付加したが,かかる例に限定されない。例えば,図20に示すように,映像記録システム1では,例えばCCU20が撮像装置10から取得したカメラ設定メタデータを,RS−232Cケーブル等を介して映像信号とは別の経路でメタデータ付加装置40に出力するように構成し,システム内で生成される例えばシーン情報メタデータ,レンズ設定メタデータ,ドーリ設定メタデータおよびカメラ設定メタデータの全てを,メタデータ付加装置40に集合させ,メタデータ付加装置40が,これらのメタデータをまとめて映像信号に付加するように構成してもよい。かかる構成により,例えば,メタデータを付加する機能を有していない撮像装置10を用いた場合などにも,映像信号に対してフレーム単位ですべてのメタデータを付加することができる。
【0221】
例えば,上記実施形態にかかる映像記録システム1では,メタデータ付加装置40は,撮像装置10,CCU20およびVTR50等とは,別体のハードウェアとして構成されていたが,本発明は,かかる例に限定されない。例えば,メタデータ付加装置40は,撮像装置10,CCU20またはVTR50等のいずれか1つまたは複数に内蔵されるように構成してもよい。また,メタデータ合成装置40は,例えば,VTR50等に内蔵されるように構成してもよい。このように,メタデータ付加装置40やメタデータ合成装置60をVTR50または撮像装置10などに内蔵することにより,システム内の機器数を低減し,機器間の接続の手間等を省力化することができる。
【0222】
また,撮像装置10を,例えば,映像信号を記憶媒体に記録する機能を備えた撮像装置(カムコーダ等)として構成してもよい。これにより,撮像装置10が,例えば,上記CCU20,メタデータ付加装置40およびVTR50等の全ての機能を備えるように構成することもできる。
【0223】
また,上記実施形態では,レンズ装置12が生成したレンズ設定メタデータは,RS−232Cケーブル等を介して出力され,メタデータ付加装置40で映像信号に付加されたが,本発明はかかる例に限定されない。例えば,撮像装置10本体との間でレンズの設定情報等を通信可能なレンズ装置12を採用して,レンズ装置12から撮像装置10本体に対して,レンズ設定メタデータ等を直接入力するように構成してもよい。これにより,撮像装置10のメタデータ付加部112が,例えば,カメラ設定メタデータのみならず,レンズ装置12から取得したレンズ設定メタデータをも映像信号に付加するように構成することもできる。
【0224】
また,上記実施形態では,機器間で各種メタデータ等の通信を行うインターフェースとして,RS−232CやHDSDI等を採用していたが,かかる例に限定されず,例えば,USB(Universal Serial Bus),SCSI(Small Computer System Interface),シリアルSCSI,GP−IB(General Purpose Interface Bus)などの各種のインターフェースを利用してもよい。また,上記機器間では,有線通信に限られず,例えば,無線通信によりメタデータ及び/又は映像信号等を伝送してもよい。
【0225】
また,上記実施形態では,映像記録システム内で生成される各種のメタデータは,シーン情報グループ,カメラ設定グループ,レンズ設定グループ,ドーリ設定グループからなる4つメタデータグループにグループ分けされていたが,本発明はかかる例に限定されない。例えば,レンズ設定グループとドーリ設定グループとを1つにまとめて,レンズ・ドーリ設定グループするなど,上記4つのメタデータグループをその利用目的に応じて任意に組み合わせても良い。また,上4つのメタデータグループの全てを設ける必要もなく,例えば,上記のうちの1つ以上のメタデータグループを設けるようにしても良い。
【0226】
また,上記以外の新たなメタデータグループを設けてもよい。具体的には,例えば,音声情報グループを設け,この音声情報グループ内に,録音方式情報(ステレオ,モノラル,サラウンド等),録音内容情報(マイク1は背景音を録音し,マイク2は俳優の音声を録音している等)などの音声関連情報メタデータをグループ化してもよい。
【0227】
また,上記実施形態にかかる映像記録システム1は,メタデータ合成装置60および表示装置70を備えていたが,かかる例に限定されず,これらの装置は必ずしも具備されなくてもよい。
【0228】
また,上記実施形態にかかる映像編集装置3は,再生用VTR90を1台具備していたが,かかる例に限定されず,例えば,複数台の再生用VTR90を具備するようにしてもよい。これにより,複数台の再生用VTR50で複数種類の実写の映像信号を再生して,編集用端末装置80に出力することで,編集用端末装置80は実写の映像信号同士を合成することもできるようになる。この際,それぞれの実写の映像信号に関連するメタデータを,各映像信号に同期させて表示するようにしてもよい。
【0229】
また,上記実施形態では,映像編集装置3は,編集用端末装置80,再生用VTR90および合成用映像サーバ92から構成されていたが,本発明はかかる例に限定されない。例えば,映像編集装置3は,これら3つの機器が一体化されたハードウェアとして構成されもよい。また,映像編集装置3は,上記以外にも記録用VTRまたは記録用サーバなどを別途備えても良い。
【0230】
また,映像編集装置3は,上記のような後処理のみならず,例えば,粗編集処理や本編集処理などといった各種の編集処理を実行可能な総合的な編集装置として構成されてもよい。
【0231】
また,上記実施形態では,映像素材の後処理の例として,CG合成処理等の映像合成処理や映像補正処理等について説明したが,かかる例に限定されず,編集用端末装置80は,例えば,上記以外にも各種の後処理を実行できるように構成してもよい。具体的には,編集用端末装置80は,例えば,映像素材の異常映像部分(例えば,過度のノイズを含む部分,輝度または色合いが異常な部分など)を削除する機能や,字幕データまたはCG静止画像データ等を映像素材にスーパーインポーズする機能,映像素材をフェードイン・アウトさせる機能などを備えてもよい。
【0232】
【発明の効果】
以上説明したように,本発明にかかる映像編集装置は,メタデータがフレーム単位で直接的に付加された映像素材から,映像素材の後処理に必要なメタデータを容易かつ迅速に抽出して,当該メタデータおよび映像素材をフレーム単位で同期させて表示することができる。また,メタデータと映像素材を一体的に取り扱うことができる。さらに,映像素材が編集によりカットされた場合や,映像素材が可変速撮影されている場合などにも,柔軟に対応してメタデータを抽出・表示することができる。このため,オペレータは,かかる映像編集装置を用いて,映像素材の後処理を好適に行うことができる。
【図面の簡単な説明】
【図1】図1は,第1の実施形態にかかる映像記録システムの概略的な構成を示すブロック図である。
【図2】図2は,第1の実施形態にかかるシーン情報グループに含まれるシーン情報メタデータの具体例を示す説明図である。
【図3】図3は,第1の実施形態にかかるカメラ設定グループに含まれるカメラ設定メタデータの具体例を示す説明図である。
【図4】図4は,第1の実施形態にかかるレンズ設定グループに含まれるレンズ設定メタデータの具体例を示す説明図である。
【図5】図5は,第1の実施形態にかかるドーリ設定グループに含まれるカメラ設定メタデータの具体例を示す説明図である。
【図6】図6は,第1の実施形態にかかるメタデータフォーマットを説明するための説明図である。
【図7】図7は,第1の実施形態にかかる撮像装置の構成を示すブロック図である。
【図8】図8は,第1の実施形態にかかる映像信号にメタデータを付加する態様を説明するための説明図である。
【図9】図9は,第1の実施形態にかかるカメラコントロールユニットの構成を示すブロック図である。
【図10】図10は,第1の実施形態にかかるメタデータ付加装置の構成を示すブロック図である。
【図11】図11は,第1の実施形態にかかるビデオテープレコーダの構成を示すブロック図である。
【図12】図12は,第1の実施形態にかかるメタデータ合成装置の構成を示すブロック図である。
【図13】図13は,第1の実施形態にかかる映像記録方法を説明するためのタイミングチャートである。
【図14】図14は,第1の実施形態にかかる映像編集装置の概略的な構成を示すブロック図である。
【図15】図15は,第1の実施形態にかかる編集用端末装置の概略的な構成を示すブロック図である。
【図16】図16は,第1の実施形態にかかる映像編集装置の処理方法を示すフローチャートである。
【図17】図17は,第1の実施形態にかかるCG合成処理でのCG映像の画質調整時において,編集用端末装置の表示部に表示される映像およびメタデータの具体例を示す説明図である。
【図18】図18は,第1の実施形態にかかるCG合成処理でのCG映像の動き調整時において,編集用端末装置の表示部に表示される映像およびメタデータの具体例を示す説明図である。
【図19】図19は,第1の実施形態にかかる映像補正処理時において,編集用端末装置の表示部に表示される映像およびメタデータの具体例を示す説明図である。
【図20】図20は,変更例にかかる映像記録システムの概略的な構成を示すブロック図である。
【符号の説明】
1 : 映像記録システム
3 : 映像編集装置
10 : 撮像装置
12 : レンズ装置
14 : ドーリ装置
18 : 集音装置
20 : カメラコントロールユニット
30 : メタデータ入力用端末装置
40 : メタデータ付加装置
50 : ビデオテープレコーダ
52 : ビデオテープ
60 : メタデータ合成装置
70 : 表示装置
80 : 編集用端末装置
90 : 再生用ビデオテープレコーダ
92 : 合成用映像サーバ
104 : 撮像部
108 : 表示部
110 : カメラ設定メタデータ生成部
112 : メタデータ付加部
126 : レンズ設定メタデータ生成部
144 : ドーリ設定メタデータ生成部
403 : メタデータバッファメモリ
406 : メタデータパッキング部
408 : メタデータエンコーダ
410 : メタデータ挿入部
506 : 信号処理部
508 : メタデータデコーダ
514 : メタデータエンコーダ
606 : メタデータ抽出部
608 : メタデータデコーダ
610 : メタデータ映像生成部
612 : メタデータ映像合成部
806 : 表示部
807 : 表示画面
812 : メタデータ抽出部
814 : 表示制御部
816 : 映像合成処理部
818 : 映像補正処理部

Claims (14)

  1. 記憶媒体に記録されている映像信号を後処理する映像編集装置であって:
    前記記憶媒体から,前記映像信号に関連するメタデータがフレーム単位で付加されている前記映像信号を再生する,映像信号再生装置と;
    前記再生された映像信号から,前記メタデータの少なくとも一部をフレーム単位で抽出する,メタデータ抽出部と;
    前記再生された映像信号と,前記抽出されたメタデータとを,フレーム単位で同期させて表示する,表示部と;を備えることを特徴とする,映像編集装置。
  2. 前記後処理は,前記再生された映像信号と,合成用映像信号とを合成する映像合成処理であることを特徴とする,請求項1に記載の映像編集装置。
  3. 前記合成用映像信号は,コンピュータグラフィックス映像信号であることを特徴とする,請求項2に記載の映像編集装置。
  4. 前記表示部は,前記再生された映像信号および前記抽出されたメタデータとともに,前記合成用映像信号および前記合成用映像信号に関連するメタデータを表示することを特徴とする,請求項2に記載の映像編集装置。
  5. 前記後処理は,前記再生された映像信号を補正する映像補正処理であることを特徴とする,請求項1に記載の映像編集装置。
  6. 前記映像信号に付加されている前記メタデータは,前記メタデータの利用目的に応じて,1または2以上のメタデータグループにグループ化されていることを特徴とする,請求項1に記載の映像編集装置。
  7. 前記メタデータグループは,
    前記映像信号を生成した撮像装置の設定情報を含むカメラ設定グループ,前記撮像装置が備えるレンズ装置の設定情報を含むレンズ設定グループ,または前記撮像装置が備えるドーリ装置の設定情報を含むドーリ設定グループの少なくともいずれかを含むことを特徴とする,請求項6に記載の映像編集装置。
  8. 記憶媒体に記録されている映像信号を後処理する映像編集装置の処理方法であって:
    前記記憶媒体から,前記映像信号に関連するメタデータがフレーム単位で付加されている前記映像信号を再生する,映像信号再生段階と;
    前記再生された映像信号から,前記メタデータの少なくとも一部をフレーム単位で抽出する,メタデータ抽出段階と,
    前記再生された映像信号と,前記抽出されたメタデータとを,フレーム単位で同期させて表示する,表示段階と;を含むことを特徴とする,映像編集装置の処理方法。
  9. 前記後処理は,前記再生された映像信号と,合成用映像信号とを合成する映像合成処理であることを特徴とする,請求項8に記載の映像編集装置の処理方法。
  10. 前記合成用映像信号は,コンピュータグラフィック映像信号であることを特徴とする,請求項9に記載の映像編集装置の処理方法。
  11. 前記表示段階では,
    前記再生された映像信号および前記抽出されたメタデータとともに,前記合成用映像信号および前記合成用映像信号に関するメタデータを同期させて表示することを特徴とする,請求項9に記載の映像編集装置の処理方法。
  12. 前記後処理は,前記再生された映像信号を補正する映像補正処理であることを特徴とする,請求項8に記載の映像編集装置の処理方法。
  13. 前記映像信号に付加されている前記メタデータは,前記メタデータの利用目的に応じて,1または2以上のメタデータグループにグループ化されていることを特徴とする,請求項8に記載の映像編集装置の処理方法。
  14. 前記メタデータグループは,
    前記映像信号を生成した撮像装置の設定情報を含むカメラ設定グループ,前記撮像装置が備えるレンズ装置の設定情報を含むレンズ設定グループ,または前記撮像装置が備えるドーリ装置の設定情報を含むドーリ設定グループの少なくともいずれかを含むことを特徴とする,請求項13に記載の映像編集装置の処理方法。
JP2003101884A 2003-04-04 2003-04-04 映像編集装置,映像編集装置の処理方法 Expired - Fee Related JP4161773B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003101884A JP4161773B2 (ja) 2003-04-04 2003-04-04 映像編集装置,映像編集装置の処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003101884A JP4161773B2 (ja) 2003-04-04 2003-04-04 映像編集装置,映像編集装置の処理方法

Publications (2)

Publication Number Publication Date
JP2004312281A true JP2004312281A (ja) 2004-11-04
JP4161773B2 JP4161773B2 (ja) 2008-10-08

Family

ID=33465535

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003101884A Expired - Fee Related JP4161773B2 (ja) 2003-04-04 2003-04-04 映像編集装置,映像編集装置の処理方法

Country Status (1)

Country Link
JP (1) JP4161773B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013858A (ja) * 2004-06-25 2006-01-12 Nikon Corp 画像処理装置および画像処理プログラム
JP2007096379A (ja) * 2005-09-27 2007-04-12 Casio Comput Co Ltd 撮像装置、画像記録検索装置およびプログラム
US7982778B2 (en) 2006-06-29 2011-07-19 Sony Corporation Imaging apparatus usable as either a master apparatus or a slave apparatus and a method usable therewith
JP2011193043A (ja) * 2010-03-11 2011-09-29 Toshiba Corp 映像送出装置及び字幕差替え方法
US8077804B2 (en) 2007-04-03 2011-12-13 Sony Corporation Transmitting apparatus, receiving apparatus and transmitting/receiving system for digital data
JP2013527996A (ja) * 2010-02-22 2013-07-04 ドルビー ラボラトリーズ ライセンシング コーポレイション ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示
JP2014072603A (ja) * 2012-09-28 2014-04-21 Canon Inc 補助データ重畳装置及びそれを備える撮影システム
JP2015046805A (ja) * 2013-08-29 2015-03-12 キヤノン株式会社 映像信号の補助データ制御装置及びそれを有する撮影システム
JP2016219992A (ja) * 2015-05-19 2016-12-22 オリンパス株式会社 動画記録システム、動画記録方法
WO2017051487A1 (ja) * 2015-09-24 2017-03-30 オリンパス株式会社 情報取得装置、情報再生装置、情報取得方法、情報再生方法、情報取得プログラムおよび情報再生プログラム
JP2018006979A (ja) * 2016-06-30 2018-01-11 リコーイメージング株式会社 信号処理装置
WO2022201825A1 (ja) * 2021-03-26 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、情報処理システム
WO2023029712A1 (zh) * 2021-08-30 2023-03-09 成都纵横自动化技术股份有限公司 一种数据传输、解析方法及数据传输系统
WO2023188940A1 (ja) * 2022-03-30 2023-10-05 富士フイルム株式会社 画像ファイル、情報処理装置、撮像装置、及び生成方法
WO2024057974A1 (ja) * 2022-09-13 2024-03-21 ソニーグループ株式会社 情報処理装置、情報処理方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006013858A (ja) * 2004-06-25 2006-01-12 Nikon Corp 画像処理装置および画像処理プログラム
JP4507719B2 (ja) * 2004-06-25 2010-07-21 株式会社ニコン 画像処理装置および画像処理プログラム
JP2007096379A (ja) * 2005-09-27 2007-04-12 Casio Comput Co Ltd 撮像装置、画像記録検索装置およびプログラム
JP4706415B2 (ja) * 2005-09-27 2011-06-22 カシオ計算機株式会社 撮像装置、画像記録装置およびプログラム
US7982778B2 (en) 2006-06-29 2011-07-19 Sony Corporation Imaging apparatus usable as either a master apparatus or a slave apparatus and a method usable therewith
US8077804B2 (en) 2007-04-03 2011-12-13 Sony Corporation Transmitting apparatus, receiving apparatus and transmitting/receiving system for digital data
JP2013527996A (ja) * 2010-02-22 2013-07-04 ドルビー ラボラトリーズ ライセンシング コーポレイション ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示
JP2011193043A (ja) * 2010-03-11 2011-09-29 Toshiba Corp 映像送出装置及び字幕差替え方法
JP2014072603A (ja) * 2012-09-28 2014-04-21 Canon Inc 補助データ重畳装置及びそれを備える撮影システム
JP2015046805A (ja) * 2013-08-29 2015-03-12 キヤノン株式会社 映像信号の補助データ制御装置及びそれを有する撮影システム
JP2016219992A (ja) * 2015-05-19 2016-12-22 オリンパス株式会社 動画記録システム、動画記録方法
WO2017051487A1 (ja) * 2015-09-24 2017-03-30 オリンパス株式会社 情報取得装置、情報再生装置、情報取得方法、情報再生方法、情報取得プログラムおよび情報再生プログラム
CN106804118A (zh) * 2015-09-24 2017-06-06 奥林巴斯株式会社 信息取得装置、信息再现装置、信息取得方法、信息再现方法、信息取得程序和信息再现程序
US10382690B2 (en) 2015-09-24 2019-08-13 Olympus Corporation Information acquiring device, information playback device, information acquiring method, information playback method, and computer-readable recording medium
CN106804118B (zh) * 2015-09-24 2020-11-06 奥林巴斯株式会社 信息取得装置和方法、信息再现装置和方法、摄像装置和方法
JP2018006979A (ja) * 2016-06-30 2018-01-11 リコーイメージング株式会社 信号処理装置
WO2022201825A1 (ja) * 2021-03-26 2022-09-29 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、情報処理システム
WO2023029712A1 (zh) * 2021-08-30 2023-03-09 成都纵横自动化技术股份有限公司 一种数据传输、解析方法及数据传输系统
WO2023188940A1 (ja) * 2022-03-30 2023-10-05 富士フイルム株式会社 画像ファイル、情報処理装置、撮像装置、及び生成方法
WO2024057974A1 (ja) * 2022-09-13 2024-03-21 ソニーグループ株式会社 情報処理装置、情報処理方法

Also Published As

Publication number Publication date
JP4161773B2 (ja) 2008-10-08

Similar Documents

Publication Publication Date Title
JP4332365B2 (ja) メタデータ表示システム,映像信号記録再生装置,撮像装置,メタデータ表示方法
JP4332364B2 (ja) 映像記録システム,映像記録方法
US8208792B2 (en) Content shooting apparatus for generating scene representation metadata
KR101905648B1 (ko) 카메라 장치의 동영상 촬영방법 및 장치
JP5206838B2 (ja) 画像処理装置及び画像処理方法
CN1168299C (zh) 包括多数据流配置控制转换的便携式视频录制设备
US8643745B2 (en) Content shooting apparatus
JP4161773B2 (ja) 映像編集装置,映像編集装置の処理方法
JP3770229B2 (ja) ビデオデータ記録装置,メタデータ提供方法,ビデオデータ再生装置,ビデオデータ処理方法,プログラム,記録媒体
JP2007082088A (ja) コンテンツとメタデータを記録、再生する装置、コンテンツ処理装置、プログラム
CN101945216B (zh) 摄像装置和动态图像再现方法
JP5783737B2 (ja) 撮像装置および動画記録装置の制御方法
JP2001078166A (ja) 番組提供システム
JP2008054155A (ja) 画像合成装置
JP4946935B2 (ja) 撮像装置
JP2007251891A (ja) コンテンツの撮影装置
JP4973497B2 (ja) 撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システム
KR20120089584A (ko) 화상 데이터 기록장치
JP3925487B2 (ja) 撮像装置と撮像方法
JP2008072572A (ja) コンテンツ撮影装置
JP2008288934A (ja) 動画撮影装置および動画再生装置
JP6463967B2 (ja) 撮像装置及びその制御方法
JP4165542B2 (ja) ビデオデータ処理装置,ビデオデータ処理装置の処理方法,プログラム,記録媒体
JP4165543B2 (ja) ビデオデータ記録装置,ビデオデータ再生装置,ビデオデータ記録装置の処理方法,ビデオデータ再生装置の処理方法,プログラム,記録媒体
JP2003348542A (ja) ディジタルビデオカムコーダ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080701

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080714

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110801

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120801

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130801

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees