JP2008054155A - 画像合成装置 - Google Patents

画像合成装置 Download PDF

Info

Publication number
JP2008054155A
JP2008054155A JP2006230060A JP2006230060A JP2008054155A JP 2008054155 A JP2008054155 A JP 2008054155A JP 2006230060 A JP2006230060 A JP 2006230060A JP 2006230060 A JP2006230060 A JP 2006230060A JP 2008054155 A JP2008054155 A JP 2008054155A
Authority
JP
Japan
Prior art keywords
image
camera
detecting
movie camera
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006230060A
Other languages
English (en)
Inventor
Yoshihiro Morioka
芳宏 森岡
Masaaki Kobayashi
正明 小林
Mitsuru Yasukata
満 安方
Yozo Yamamoto
洋三 山本
Hiroyuki Sakai
啓行 酒井
Nobuko Akai
宣子 赤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2006230060A priority Critical patent/JP2008054155A/ja
Publication of JP2008054155A publication Critical patent/JP2008054155A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】スタジオにおける画像合成において、被写体を撮影するカメラが動いた場合でもその位置を計算するために複数台の第2のカメラを必要とするという課題がある。
【解決手段】ムービーカメラは、GPS(全地球測位システム)または無線電話の基地局からの電波または、緯度または経度または高度またはマーク情報の手動入力により基準位置を設定する手段と、加速度センサーを用いて前記基準位置からの移動方位と距離を検出する手段と、地磁気センサーまたはジャイロセンサーを用いて手振れ補正手段で補正後の角度値を用いて、手振れのない安定した角度、すなわち、撮影方位を検出する手段とを具備する。
【選択図】図2

Description

本発明はムービーカメラで撮影する被写体を特殊効果装置やバーチャルスタジオなど擬似的に生成した実写やCGなどの背景画像と合成する場合に、ムービーカメラの位置や動き情報を利用することにより、撮影者(撮影監督)が複雑なカメラワークを実施した場合でも、被写体(実写)と擬似背景画像の画像合成を高品質に行う画像合成装置に関して好適なものである。
従来、スタジオにおける画像合成はクロマキーなどの技術が知られているが、緑色など特定色を背景に被写体を撮影して擬似背景画像と合成するものである。たとえば、特許文献1に示された方法が知られている。
また、カメラの手振れ補正において補正後の角度を算出する方法として、たとえば、特許文献2、特許文献3に示された方法が知られている。
特開平11−234563号公報 特開平11−27537号公報 特開2001−42376号公報
しかしながら上記した従来の構成では、被写体を撮影するカメラが動いた場合でもその位置を計算するために複数台の第2のカメラを必要とするという課題がある。また、ハンディカメラなどで屋外撮影する場合など手振れがある場合の処理についての説明がない。
また、撮影時(収録時)に撮影者がカメラワークや色表現などに関して持っている撮影意図をメタデータ化して取り扱うことができない。そのため、たとえば、撮影後に1つの被写体映像に対して複数の擬似背景映像を組み合わせるなどの画像合成を行うことができない。
ムービーカメラは、GPS(全地球測位システム)または無線電話の基地局からの電波または、緯度または経度または高度またはマーク情報(地点Aなど)の手動入力により基準位置を設定する手段と、加速度センサーを用いて前記基準位置からの移動方位と距離を検出する手段と、地磁気センサーまたはジャイロセンサーを用いて手振れ補正手段で補正後の角度値を用いて、手振れのない安定した角度、すなわち、撮影方位を検出する手段とを具備する。
また、撮影者の撮影意図のメタデータとして、撮影用カメラ部におけるレンズ部のズーム状態、絞り値、焦点距離、シャッター速度、レンズ部の水平または垂直の傾き角、レンズ部の水平方向または垂直方向に回転する角速度、または、レンズ部の前後左右または垂直方向の移動加速度の少なくともいずれかのレンズ部の動作データまたは、前記動作データにあらかじめ決めた演算処理を行って得たデータなどをメタデータ化し、撮影映像と同時に記録する。
以上により、手振れ補正手段で補正後の角度値を用いて、手振れのない安定した角度を用いてカメラワーク(撮影者の撮影意図)をメタデータ化し、映像コンテンツと共に蓄積、伝送、することにより、撮影中でも、撮影後にでも、これらのメタデータを用いることにより高品質な画像合成ができる。
(実施の形態1)
図1は本発明の実施の形態1の説明図であり、カメラにおいて記録媒体(またはバッファメモリ)上に映像データと音声データとメタデータを作成するシステムのモデルを示している。101はカメラ部、102はカメラのレンズ部、103はカメラのマイク、104はカメラの撮影対象(人やペットなどの動物、車、建造物などの物)である。また、105はカメラで撮影したデータであり、メタデータを含むAVストリームデータファイル106、撮像素子やレンズ部の動作データ、またはユーザーの入力データを含むメタデータ107により構成される。ここで、撮像素子は、CCDやC-MOSなどで構成されるものである。108はカメラで撮影されたデータシーケンスであり、時間軸上に映像、音声、メタデータが配置されている。メタデータはテキスト形式の文字データとして扱うが、バイナリィ形式のデータとしても良い。
ここでデータシーケンス108は、抽出されたシーン#1からシーン#5までを含んでいる。109は編集により、シーン#1からシーン#5までをつなぎ合わせたデータシーケンスである。ユーザは編集されたデータシーケンスの順番で各シーンを一覧表示することができる。110は画像合成部であり、外部より入力された擬似背景画像の元データと、ムービーカメラ101で撮影した時のカメラの位置、および姿勢のデータより、カメラの動きを考慮して擬似背景画像の計算生成を行った後、この擬似背景画像と被写体とを高精度に合成して合成画像を生成することができる。
なお、ムービーカメラ101は、GPS(全地球測位システム)または無線電話の基地局からの電波または、緯度または経度または高度(地名、建物の場所を手入力するなど)、またはマーク情報の手入力(位置A、位置B、位置Cなどのメモリーマーカーを相対位置として設定。後に絶対位置を入力して置き換えることができる。)により基準位置を設定する手段と、加速度センサーを用いて前記基準位置からの移動方位と距離を検出する手段と、地磁気センサーまたはジャイロセンサーを用いて撮影方位を検出する手段と、自己の水平方向と垂直方向の傾き角を検出する手段とを持っている。さらに、ムービーカメラ101は、撮影レンズ系のズーム値を検出する手段と、撮影レンズ系の焦点距離を検出する手段と、撮影画角を与える撮影レンズ系情報を検出する手段と、撮影レンズ系の絞り値を検出する手段のうち少なくともいずれかの手段を持っている。
擬似背景画像提供装置は、手振れ補正手段で補正された時間的に安定した角度を用いてムービーカメラ101の基準位置からの移動方位と、距離と、撮影方位とを算出する。また、ムービーカメラ101は、これらのデータと、水平方向と垂直方向の傾き角と、撮影レンズ系のズーム値と、撮影レンズ系の焦点距離と、撮影画角を与える撮影レンズ系情報と、撮影レンズ系の絞り値とのうち少なくともいずれかのデータにより構成される「ムービーカメラのメタデータ」を用いて、ムービーカメラ101を視点としてみた3次元空間情報を計算して前記擬似背景画像を生成する。
なお、擬似背景画像の元データはシーン毎に複数個持っている。擬似背景画像は実写画像でもよいし、CGで生成した画像であってもよい。
111はメタデータ入力用ボタンであり、3つのボタンにより構成されている。カメラで撮影中に重要な場面でメタデータ入力用ボタンを押すことにより、その重要な撮影場面(シーン)にマークをつけることができる(マーキング機能)。この重要シーンを指すマークもメタデータであり、このメタデータを利用することにより、撮影後にマーク検索によりマークを付けたシーン(シーンの先頭または代表となるフレームの映像、またはそれらのサムネイル映像)を素早く呼び出すことができる。3つのボタンは、たとえば、1つ目のボタンは重要シーンの登録に、2つ目のボタンはボタン操作を有効にしたり、文字入力モードに切替えるモード切替えに、3つ目のボタンは登録のキャンセルに、それぞれ使用する。また、1つ目のボタンを押している期間を重要シーンとして登録するモードに切替えることもできる。さらに、1つ目のボタンを押した時点の前後5秒、あるいは前5秒、後10秒の合計15秒を重要シーンとして登録するモードに切替えることもできる。ボタンが3つあれば、押すボタンの種類、タイミング、押す長さの組み合わせにより、多くの機能に利用することができる。
ここで、#1から#5までのシーンの時間長は任意である。ユーザーはカメラ撮影した撮影素材であるデータシーケンスから、各シーンの開始位置(時間)と終了位置(時間)、または長さを選択して、各シーンを並べ替えることができる。各シーンをTVモニターなどに表示する場合、そのシーンの先頭または先頭以降最後尾のフレーム(またはフィールド)映像をそのシーンを代表する映像として表わすことができる。
なお、シーンを自動または手動でマーキングしてメタデータとして出力するシーン登録方法として、ムービーの記録・ポーズ・停止などのボタン操作、音声の有無識別、音声と音楽の識別、人物の有無の識別、歓声の大きさ、種類の変化、景色の変化などを用いることができる。
図2はカメラ部101の内部構成であり、レンズのズーム制御部201、レンズのフォーカス制御部202、レンズの露出制御部203、撮像素子204、撮像素子204のシャッター速度制御部205、手振れ補正処理ソフトを含むカメラマイコン206、水平/垂直方向の絶対傾きセンサー207、水平/垂直方向の角速度センサー208、前後/左右/垂直の加速度センサー209、ボタンなどのユーザー入力系210、カメラ信号処理部211、H.264エンコーダー212、記録メディア213、出力インタフェース214、音声データ入力系215から構成されている。音声データ入力系215は、H.264エンコーダー212には内蔵マイクからの信号入力や外部音声の入力信号が入力されるとともに、これらの音声データを変換した音声レベルデータ一定期間、たとえば、フレーム期間の最大値で代表させたレベルデータを入力する構成をとる。水平/垂直方向のジャイロ、すなわち、角速度センサー208の出力はカメラマイコン206内の手振れ補正処理ソフトに入力され、手振れ補正処理が行われる。
撮像素子204の動作パラメータとしては、3原色点の色度空間情報、白色の座標、3原色のうち少なくとも2つのゲイン情報、色温度情報、Δuv(デルタuv)、3原色または輝度信号のガンマ情報の少なくとも1つの撮像素子動作データがある。本実施例では、一例として、3原色点の色度空間情報、3原色のうちR(赤)とB(青)のゲイン情報、およびG(緑)のガンマカーブ情報をメタデータとして取り扱うとする。なお、3原色点の色度空間情報が分かれば色空間における色再現が可能な範囲がわかる。また、3原色のうちR(赤)とB(青)のゲイン情報が分かれば色温度が分かる。さらに、G(緑)のガンマカーブ情報が分かれば、階調表現特性が分かる。
さて、レンズのズーム情報、レンズのフォーカス情報、レンズの露出情報、撮像素子のシャッター速度情報、水平/垂直方向の絶対傾き情報、水平/垂直方向の角速度情報、前後/左右/垂直の加速度情報、ユーザーの入力したボタン情報や、3原色点の色度空間情報、3原色のうちR(赤)とB(青)のゲイン情報、およびG(緑)のガンマカーブ情報は、カメラマイコン206においてメタデータ(カメラメタと呼ぶ)として取り扱われる。撮像素子で撮影された情報は、画素単位で画素欠陥補正やガンマ補正など行うカメラ信号処理部211を経て、H.264エンコーダー212で圧縮され、前述のカメラメタとともに記録メディア213に蓄積される。また、H.264エンコーダー212のAV出力と、カメラマイコン206のカメラメタ出力は、出力インタフェース214より、それぞれ出力される。
ここで、本実施例で使用する映像圧縮方式であるAVC方式、および音声圧縮方式であるAAC方式について説明する。図3は、図1のカメラ101が内部に持つAV信号圧縮記録制御手段における映像と音声の圧縮エンジンとその周辺処理手段の構成をより詳細に説明する図である。図3における代表的な構成要素として、映像符号化301、VCL(Video Coding Layer)−NAL(Network Abstraction Layer)ユニットバッファ302、AAC方式による音声符号化部303、PS(Parameter Set)バッファ304、VUI(Video Usability Information)バッファ(305)、SEI(Supplemental Enhancement Information)バッファ306、non−VCL−NALユニットバッファ307、MPEG−TSマッピング処理手段308などにより構成される。図3に示すように入力された映像信号を映像符号化手段302において、VCL NALユニット形式のデータに変換してVCL NAL unit バッファ302で一時保持する。また、音声信号、メタデータ、外部入力PS(Parameter Set)データ、外部入力VUI(Video Usability Information)データ、外部入力SEI(Supplemental Enhancement Information)データをNon VCL NALユニット形式のデータに変換して、Non VCL NALユニットバッファ307で一時保持する。
VCL NAL unit バッファ302の出力であるVCL NALユニット形式のデータと、Non VCL NALユニットバッファ307の出力であるNon VCL NALユニット形式のデータをMPEG−PESパケット生成手段308に入力し、MPEG−PESパケットを生成する。さらに、MPEG−PESパケット生成手段308の出力であるMPEG−PESパケットはMPEG−TS生成手段309に入力され、MPEG−TS(MPEG Transport Packet)を生成する。
MPEG−TS生成手段309はMPEG−TS(188バイト長)を出力し、ATSパケット生成手段310において各MPEG−TSパケットのヘッダーとしてタイムスタンプを含む4バイトのヘッダーを付加して、192バイトのATS(Arrival Time Stamp)パケットを生成して出力する。このタイムスタンプは各MPEG-TSパケットがATSパケット生成手段210に到着した時刻を示す。なお、タイムスタンプのクロックは27MHzである。なお、4バイト全てが他無スタンプでもよいし、4バイトの内、30ビットをタイムスタンプとし、残りの2ビットはコンテンツ保護のためのフラグなどに使用することもできる。
また、ATSパケット生成手段310は、ストリームが包含する各GOP(Group of Picture)先頭ピクチャーのPTS(Presentation Time Stamp)、および各GOPの先頭ピクチャーにおける先頭ATSの連番をペアで、EP−MAPとして出力する。なお、PTSやDTS(Decode Time Stamp)はPESパケットのヘッダーに含まれるので抽出は容易である。また、各GOPの先頭ピクチャーにおける先頭ATSの連番とは、ストリーム先頭のATSの連番を1とし、ストリーム先頭からのATSの個数を順次数えた番号である。各GOPの先頭ピクチャーのPTSとATS連番のペアであるEP−MAPとストリーム編集、プレイリストの関係は後ほど述べる。
H.264/AVC方式についての解説は、たとえば、「H.264/AVC教科書」、大久保榮監修、株式会社インプレス発行などがある。また、MPEG−TS(Moving Picture Experts Group、Transport Stream)信号はIEC 61883−4で規定されている。MPEG−TSはMPEGトランスポートパケット(TSパケットと略す)が複数個集まったものである。TSパケットは188byteの固定長パケットで、その長さはATMのセル長(53バイト中、ATMペイロードは47バイト)との整合性、およびリードソロモン符号などの誤り訂正符号化を行なう場合の適用性を考慮して決定されている。
TSパケットは4byte固定長のパケットヘッダと可変長のアダプテーションフィールド(adaptation field)およびペイロード(payload)で構成される。パケットヘッダにはPID(パケット識別子)や各種フラグが定義されている。このPIDによりTSパケットの種類を識別する。adaptation_fieldとpayloadは、片方のみが存在する場合と両方が存在する場合とがあり、その有無はパケットヘッダ内のフラグ(adaptation_field_control)により識別できる。adaptation_fieldは、PCR(Program_Clock_Reference)等の情報伝送、および、TSパケットを188byte固定長にするためのTSパケット内でのスタッフィング機能を持つ。また、MPEG−2の場合、PCRは27MHzのタイムスタンプで、符号化時の基準時間を復号器のSTC(System Time Clock)で再現するためにPCR値が参照される。各TSパケットに付加するタイムスタンプのクロックは、たとえば、MPEGのシステムクロック周波数に等しく、パケット送信装置はさらに、TSパケットを受信し、受信したTSパケットに付加されたタイムスタンプより、MPEG−TSのネットワーク伝送によりProgram Clock Reference(PCR)に付加された伝送ジッターを除去して、MPEGシステムクロックの再生を行うクロック再生手段を備える。
MPEG−2のTSでは復号器のSTCはPCRによるPLL動機機能を持つ。このPLL同期の動作を安定させるためにPCRの送信間隔は、MPEG規格で100msec以内と決められている。映像や音声などの個別ストリームが収められたMPEG−PESパケットは同じPID番号を持つ複数のTSパケットのペイロードに分割して伝送する。ここで、PESパケットの先頭は、TSパケットの先頭から開始するように構成される。
トランスポートストリームは複数のプログラムを混合して伝送することができるため、ストリームに含まれているプログラムとそのプログラムを構成している映像や音声ストリームなどのプログラムの要素との関係を表すテーブル情報が用いられる。このテーブル情報はPSI(Program Specific Information)と呼ばれ、PAT(Program Association Table)、PMT(Program Map Table)などのテーブルを用いる。PAT、PMTなどのPSIはセクションと呼ばれる単位でTSパケット中のペイロードに配置されて伝送される。
PATにはプログラム番号に対応したPMTのPIDなどが指定されており、PMTには対応するプログラムに含まれる映像、音声、付加データおよびPCRのPIDが記述されるため、PATとPMTを参照することにより、ストリームの中から目的のプログラムを構成するTSパケットを取り出すことができる。TSに関する参考文献としては、例えば、CQ出版社、TECH I Vo.4、「画像&音声圧縮技術のすべて(インターネット/ディジタルテレビ、モバイル通信時代の必須技術)」、監修、藤原洋、第6章、「画像や音声を多重化するMPEGシステム」があり、同書にて解説されている。
PSIやSIに関する論理的な階層構造、処理手順の例、選局処理の例に関して、「デジタル放送受信機における選局技術」、三宅他、三洋電機技報、VOL.36、JUNE 2004、第74号、31ページから44ページにて解説されている。
ところで、メタデータはSEIバッファ306に入力する。ここでは、メタデータはSEIのUser Data Unregistered SEIに格納する。メタデータの種類としては、映像や音声のフォーマット情報や、映像フレームを示すタイムコードや前述したメタデータ以外にも、一般的なデータをメタデータ化したメタデータ、また、デジタル放送を受信してそのSI(Service Information; 番組配列情報)より得るメタデータ、EPG提供事業者より得たEPG情報などのメタデータ、Internetから得たEPGなどのメタデータ、また、個人でムービー撮影したAVコンテンツ(静止画、音声、クリップなどの動画)に関連付けたメタデータや、レンズのズーム情報、レンズのフォーカス情報、レンズの露出情報、撮像素子のシャッター速度情報、水平/垂直方向の絶対傾き情報、水平/垂直方向の角速度情報、前後/左右/垂直の加速度情報、ユーザーの入力したボタン情報や、前述した3原色点の色度空間情報、白色の座標、3原色のうち少なくとも2つのゲイン情報、色温度情報、Δuv(デルタuv)、3原色または輝度信号のガンマ情報などのカメラメタがある。メタデータの形式としては、たとえば、UPnPやUPnP−AVの標準仕様として、プロパティ(property)やアトリビュート(attribute)があり、http://upnp.orgで公開されており、XML(Extensible Markup Language)やBML(Broadcast Markup Language)などの記述言語で表現できる。http://upnp.orgにおいて、例えば、「Device Architecture V 1.0」、「ContentDirectory:1 Service Template Version 1.01」、「MediaServer V 1.0 and MediaRenderer V 1.0」に関して、「MediaServer V 1.0」、「MediaRenderer V 1.0」、「ConnectionManager V 1.0」、「ContentDirectory V 1.0」、「RenderingControl V 1.0」、「AVTransport V 1.0」、「UPnP―AV Architecture V .83」などの仕様書が公開されている。また、メタデータ規格に関しては、EBUのP/Meta、SMPTEのKLV方式、TV Anytime、MPEG7などで決められたメタデータ形式があり、「映像情報メディア学会誌、55巻、3号、情報検索のためのメタデータの標準化動向」などで解説されている。
なお、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が各メタデータに価値を付け、コンテンツを利用するユーザーの利用内容や頻度により利用料金を徴収するために、各メタデータに価値を与えるメタデータを関連づけることができる。この各メタデータに価値を与えるメタデータは該メタデータのアトリビュートで与えてもよいし、独立したプロパティとして与えてもよい。たとえば、録画機器と録画条件に関する情報、すなわち、ムービーの機器ID、ムービーなどの撮影者、コンテンツ制作者、またはコンテンツの著作権者が作成、登録するメタデータの価値が高くて使用許諾が必要と考える場合、該メタデータの利用には認証による使用許諾のプロセスを実行する構成を本発明に組み込んだ構成をとることもできる。
たとえば、自分で撮影した動画コンテンツを暗号化したファイルを作成し、Internet上のサーバーにその暗号化ファイルをアップロードする。その暗号化ファイルの説明や一部の画像などを公開して、気にいった人に購入してもらう構成をとることもできる。また、貴重なニュースソースが録画できた場合、複数の放送局のニュース部門間で競売(オークション)にかける構成をとることもできる。
これらメタデータを活用することにより、多くのAVコンテンツから所望のコンテンツを検索する、ライブラリに分類する、記録時間を長時間化する、自動表示を行う、コンテンツ販売するなどコンテンツの効率的な利用が可能となる。記録時間を長時間化するには、価値の低い動画コンテンツは解像度を低くするとか、音声と静止画(たとえば、MPEGのIピクチャーやH.264のIDRピクチャーを抜き出してもよい)だけにするとか、静止画だけにするなどの構成をとることにより実現できる。
次に、図4を用いてH.264のストリーム構造を説明する。図4(A)はI(IDRを含む)、B,Pピクチャよりなる映像のGOP構造である。(B)は書くピクチャが、VCLおよびNon−VCLのNALユニットによって構成されていることを示している。NAL(video)は映像のNALユニットであり、NAL(Audio)は音声のNALユニットであり、NAL(SEI)はSEIのNALユニットである。NAL(SEI)にはリアルタイムで生成するメタデータを挿入することができる。リアルタイムで生成するメタデータとしては、映像フレームに同期しているタイムコードや、重要なシーンでボタンを押して付加するマーキング情報などがある。タイムコードとしては、SMPTEタイムコード(SMPTE 12M)、MTC(MIDI Time Code)、LTC(Longitudinal Time Code)、VITC(Vertical Interval ime Code)や、DV(IEC 61834、IEC 61883)/DVCPRO(SMPTE 314M)のタイムコードで規定されているタイムコードがあり、これらのタイムコードより派生したタイムコードをメタデータとすることもできる。
図4(C)はPESパケットの構造を示しており、図4(B)の各ピクチャデータデータに対して、PESパケットヘッダーを付加してPESパケットを構成する。なお、PESパケットヘッダーには、ヘッダーオプションとしてMPEGのPTS/DTSを含めることができる。H.264の観点よりは、PESパケットを1AU(Access Unit)として扱う。
図4(C)のPESパケットは、188バイト毎に分割されMPEG−TSパケットが生成される(図4(D))。また、各MPEG−TSパケットには、タイムコードを含む4バイトのヘッダーが付加されATSパケットが構成される(図4(E))。
次に図5を用いて、プレイリストとストリームの関係について説明する。図3の説明で述べたが、ATSパケットは、ATSパケット生成手段310より、各GOPの先頭ピクチャーのPTSと先頭ATS連番のペアであるEP−MAP(図5、(B)に例を示す)と共に出力され、ストリームの編集やプレイリストの作成に用いられる。図5(A)はプレイリストの一例であり、「2005年運動会」という名前を持つプレイリストオブジェクト、「name_2005年運動会」である。また、「name_2005年運動会」は、2つのプレイアイテム(PlayItem)、「演技」と「かけっこ」という名前を持つプレイアイテムオブジェクト、「iname_演技」、「iname_かけっこ」から構成されている。「iname_演技」、「iname_かけっこ」のIN点、OUT点は、それぞれのピクチャーが属するPTSと、ストリーム先頭からのATS連番のペアで示す(図5(B))。プレイアイテムはストリームを特定し、ATS連番より特定されたストリームの先頭からの位置を192バイト単位で特定する。図5、(B)、(C)において、「iname_演技」は、それぞれストリーム上の(1)から(2)、「iname_かけっこ」は(3)から(4)で与えられる。
なお、「iname_演技」、「iname_かけっこ」など行事のプログラム構成を事前に機器に登録しておき、撮影時に登録された情報を選択してメタデータとして登録することもできる。さらに、行事が終わった後でも、プログラムを登録することもできるし、登録内容を修正することができる。
(実施の形態2)
次に実施の形態2について説明する。実施の形態1と同様の構成については説明を省略する。
図6を用いて、動画ファイル、静止画ファイル、メタデータの情報記録媒体への記録ディレクトリ構造の一例について説明する。図6において、root下に、「Movie」、「Still Picture」、および、「Metadata」ディレクトリが存在する。
ムービーカメラにおいて、図6と同様のコンテンツ構造を持つ例として、「半導体メモリを用いた次世代ニュース製作システムの開発」、大高他、電子情報通信学会、信学技報、MR2005−47、2006年1月、1ページから6ページにおいて、コンテンツの記録媒体としてのP2カードの構造、P2カードの信号処理、コンテンツファイルのコンテンツ構造、MXFエッセンスファイル、クリップメタデータなどの解説がされている。
さて、図6において、「Movie」ディレクトリ下には、管理ファイル群、「PLAYLIST」ディレクトリ、「CLIPINF」ディレクトリ、「STREAM」ディレクトリが存在する。また、「PLAYLIST」ディレクトリ下には、リアルタイムプレイリスト(ファイル)である「*.rpls」ファイル群とバーチャルタイムイムプレイリスト(ファイル)である「*.vpla」ファイル群が存在する。また、「CLIPINF」(クリップインフォメーション)ディレクトリには、クリップインフォメーションファイルである「*.clpi」ファイル群が存在する。ここで、クリップインフォメーションファイルのファイルフォーマットは、たとえば、タグを持ちいて記述されるXMLを用いる。「STREAM」ディレクトリ下にはATS(192バイト)により構成されるストリームファイルである「*.m2ts」ファイル群が存在する。ここで、ストリームファイルのファイルフォーマットは、たとえば、SMPTE規格377M−2004のMXF形式を用いることができる。
「Still Picture」ディレクトリ下には静止画であるである「*.jpeg」ファイル群が存在する。
「Metadata」ディレクトリ下には、「META_PLAYLIST」ディレクトリ、「USER_METADATA」ディレクトリが存在する。また、「META_PLAYLIST」ディレクトリ下には、プレイリスト(ファイル)内に存在するメタデータの内、選択されたメタデータを持つ「*.mtdt」ファイル群が存在する。「USER_METADATA」ディレクトリには、ムービーのメニュー設定に関する「MENU_INF」ディレクトリが存在する。ここには、ムービーのメニューで簡易編集を行ったEDL(Edit Decision List)を保存することができる。また、ユーザーが独自に設定するプライベートなメタデータを格納する「USER_PRIVATE」ディレクトリ下が存在する。ここには、CLIP識別のための代表サムネイルやタイムコードなどを記録できる。
図6において、各プレイリストファイルはクリップインフォメーションファイルとメタデータファイルを関連付ける。また、各クリップインフォメーションファイルは、ATS(192バイト)により構成されるストリームファイルを関連付ける。ここで、従来にない大きな特徴としては、各プレイリストファイルがクリップインフォメーションファイルだけでなく、メタデータファイルを関連付けていることである。これにより、メタデータを用いた検索で、そのメタデータと関連付けられたプレイリスト、プレイアイテム、ストリームを見つけ出すことができるようになる。
ここで、図7にメタデータの例を示す。リアルタイムメタデータの例としては、図7に示すように重要シーンでユーザーが押したボタン情報、撮影データ(撮像素子の動作色温度、レンズ系のズーム値、フォーカス、仰角データ、角速度、加速度などカメラワークに関するデータ)、タイムコード、位置データ、などがある。また、ノン(非)リアルタイムメタデータの例としては、図7に示すように、メニュー情報、タイトルリスト、画像認識データ、音声認識データ、撮像素子の3原色点の色度空間情報などの撮影データ、外部入力ファイル(テキスト、XML、バイナリデータの形式のファイルを外部インタフェースより入力)、インデックス情報、フォーマット情報、静止画、サムネイルなどがあり、これらのうち、任意のものを選択して使用する。たとえば、代表ピクチャーのサムネイル、シーンの説明文、タイムコードを選択して用いる。
なお、被写体が人物である場合、その識別には顔検出を行ない、その検出した顔に撮影レンズ系の焦点を合わせて撮影し、被写体である人物の移動した場合その顔の移動をカメラマンのカメラワークにより追いかけ、常にその顔に焦点を合わせることにより、被写体と被写体の背景部分の各々の映像信号のレベル差(信号の特徴)をより明確にして、被写体と背景の分離をより容易にすることができる。
また、映画やドラマの撮影の場合、カチンコを用いて収録撮影する音声と映像のタイミングを合わせるが、たとえば、図2においてカチンコを鳴らした音をカメラマイコン206で検出して、そのタイミングでカチンコが鳴ったことを意味するTAGを生成することができる。また、この時、リモコンなどから収録開始前にその収録プログラムのシーン番号、カット番号、テーク番号(取り直しの回数)をカメラ本体の「メモリに入力して収録を開始する。そして、そのテークが、たとえば、OK(採用するという意味)、または、NG(採用しないという意味)、または、ホールド(保留という意味)であれば、OK,NG、ホールドに相当する収録結果TAGを収録中または収録後にリモコンよりカメラ本体に入力する。そこで、収録が終了(REC終了)時に、カメラ本体に記憶されている上記のシーン番号、カット番号、テーク番号、収録結果TAGを、先ほどカチンコを鳴らしたタイミングにおけるマーカのメタデータ(TAG)とする。こうすることにより、次の効果が生まれる。すなわち、カチンコを鳴らしたタイミング以前の収録データは通常使用しないものであるので、収録データファイルの不要部削除が間単に実行できる。また、カチンコを鳴らしたタイミングで収録結果TAGがOKのシーン番号、カット番号、テーク番号を番号の小さいほうより順番に並べ替えて表示することが間単にできるという大きな効果を持つ。
さらに、カチンコを鳴らしたタイミングで接点が電子的に短絡して有線または無線通信でそのタイミングをカメラ本体に通知することもできる。
また、運動会の撮影の場合は、短距離競争、綱引き、玉入れなどのピストルの空砲の爆発音を検出したタイミングを撮影内容を区切るTAGを構成する時間情報として使用することができる。
さらに、音の発生タイミングをフレーム単位などのマクロな単位よりも、ミクロに検出する必要がある場合には、マイクや外部入力より入力された音声信号(たとえば、WAVE信号)を解析することにより、音の発生タイミングを正確に検出することができる。
以上の構成により、映像とメタデータを記録し、後ほど再生することによっても擬似背景との画像合成を行うことができる。
本発明は、屋外撮影においてムービーカメラが大きく移動する際に発生する手触れを補正し、スムーズなカメラワークを生成し、この手振れ補正後のカメラワークデータを用いて、撮影中でも撮影後にでも、高品質な画像合成を実現する。特に民生用のハンディカメラで撮影する実写画像とCGとの高精度な画像合成が実現できる。
本発明の画像合成装置の動作モデル図 カメラ部の構成の説明図 H.264圧縮におけるメタデータの取り扱いの説明図 H.264圧縮のピクチャー構造とMPEG−TSへの変換方法の説明図 プレイリストとストリームオブジェクトの関係の説明図 ストリームとメタデータを記録するディレクトリ構造の説明図 メタデータの分類例を示す図
符号の説明
101 ムービーカメラ
102 ムービーカメラのレンズ部
103 ムービーカメラのマイク
104 ムービーカメラの撮影対象
105 ムービーカメラで撮影したデータ
106 AVストリームファイルデータ
107 メタデータ
108 ムービーカメラで撮影されたデータシーケンス
109 編集されたデータシーケンス
110 画像合成部
111 メタデータ入力用ボタン(重要シーン登録ボタン、静止画撮影ボタン)

Claims (14)

  1. 被写体と前記被写体の背景部分とからなるフレーム映像を撮影するムービーカメラと、前記フレーム映像の一部分の置き換えとなる置き換え画像を提供または生成する置き換え画像提供装置と、前記ムービーカメラが出力するフレーム映像の信号の一部分を前記置き換え画像と合成して目的とする合成画像を生成する手段を具備する画像合成装置において、
    前記ムービーカメラは、ジャイロセンサーを具備し、前記ジャイロセンサーが検出した角速度の変化値を四則演算する手段を具備し、
    かつ、前記ムービーカメラは、GPS(全地球測位システム)または無線電話の基地局からの電波または、緯度または経度または高度またはマーク情報の手入力により基準位置を設定する手段、または、緯度または経度または高度またはマーク情報の手入力により基準位置を設定する手段および加速度センサーを用いて前記基準位置からの移動方位と距離を検出する手段と、地磁気センサーまたはジャイロセンサーを用いて撮影方位を検出する手段と、自己の水平方向と垂直方向の傾き角を検出する手段とのうち、少なくともいずれかの手段を具備し、
    かつ、前記ムービーカメラは、撮影レンズ系のズーム値を検出する手段と、撮影レンズ系の焦点距離を検出する手段と、撮影画角を与える撮影レンズ系情報を検出する手段と、撮影レンズ系の絞り値を検出する手段のうち、少なくともいずれかの手段を具備し、
    前記擬似背景画像提供装置は、前記角速度の変化値を四則演算する手段により算出した角速度の変化が事前に設定した合成判定値より小さい場合、前記ムービーカメラが撮影した被写体の画像と、前記擬似背景画像提供装置が生成した前記擬似背景画像を合成して目的とする合成画像を生成することを特徴とする画像合成装置。
  2. 前記ムービーカメラは、前記角速度の変化値を四則演算する手段により算出した角速度の変化より、手持ち撮影モードか、三脚などの固定器具に装着された撮影モードであるかを判別する手段を具備し、
    手持ち撮影モードの場合は三脚などの固定器具に装着された撮影モードの場合よりも、前記事前に設定した合成判定値を大きく設定することを特徴とする請求項1記載の画像合成装置。
  3. 前記ムービーカメラのレンズのズーム値がより大きくなるほど、前記事前に設定した合成判定値をより小さく設定する手段を具備することを特徴とする請求項1記載の画像合成装置。
  4. 被写体と前記被写体の背景部分を撮影するムービーカメラと、前記被写体の背景部分の置き換えとなる擬似背景画像を提供または生成する擬似背景画像提供装置と、前記ムービーカメラが出力する映像信号から前記被写体の画像を抽出し前記擬似背景画像と合成して目的とする合成画像を生成する手段を具備する画像合成装置において、
    前記ムービーカメラは、ジャイロセンサーを具備し、前記ジャイロセンサーが検出した角速度を積分して算出した角度値を用いて手振れ補正を行う手振れ補正手段を具備し、
    かつ、前記ムービーカメラは、GPS(全地球測位システム)または無線電話の基地局からの電波または、緯度または経度または高度またはマーク情報の手動入力により基準位置を設定する手段と、加速度センサーを用いて前記基準位置からの移動方位と距離を検出する手段と、地磁気センサーまたはジャイロセンサーを用いて撮影方位を検出する手段と、自己の水平方向と垂直方向の傾き角を検出する手段とのうち少なくともいずれかの手段を具備し、
    かつ、前記ムービーカメラは、撮影レンズ系のズーム値を検出する手段と、撮影レンズ系の焦点距離を検出する手段と、撮影画角を与える撮影レンズ系情報を検出する手段と、撮影レンズ系の絞り値を検出する手段のうち少なくともいずれかの手段を具備し、
    前記擬似背景画像提供装置は、前記手振れ補正手段で補正後の角度値を用いて前記ムービーカメラの前記基準位置からの移動方位と、距離と、撮影方位と、前記ムービーカメラの水平方向と垂直方向の傾き角と、撮影レンズ系のズーム値と、撮影レンズ系の焦点距離と、撮影画角を与える撮影レンズ系情報と、撮影レンズ系の絞り値とのうち少なくともいずれかのデータにより構成されるムービーカメラのメタデータを用いて3次元空間情報を計算して前記擬似背景画像を生成する手段を具備し、
    前記ムービーカメラが移動しながら撮影した被写体の画像と、前記擬似背景画像提供装置が生成した前記擬似背景画像を合成して目的とする合成画像を生成することを特徴とする画像合成装置。
  5. 前記ムービーカメラは、前記撮影映像と前記ムービーカメラのメタデータとを同時に記録メディアに記録し、前記記録メディアからの再生信号である前記撮影映像と前記ムービーカメラのメタデータとを前記擬似背景画像提供装置に提供することにより前記擬似背景画像を生成して、前記ムービーカメラが移動しながら撮影した被写体の画像と、前記擬似背景画像提供装置が生成した前記擬似背景画像を合成して目的とする合成画像を生成することを特徴とする請求項4記載の画像合成装置。
  6. 前記ムービーカメラのメタデータより演算により求まるデータを用いて、カメラの上下左右方向への動きに関する情報、ズーム状態の情報、撮影映像の重要性と不要性に関する演算情報、ハイライト部分の演算情報の少なくともいずれかの、時間軸上への表示を制御する表示制御手段を具備する、
    ことを特徴とする請求項4または5に記載の画像合成装置。
  7. 前記ムービーカメラのメタデータを用いて、前記カメラ部のズーム速度(Vz)、水平方向のパン速度(Vh)、垂直方向のパン速度(Vp)、または、斜め方向のパン速度(Vhの自乗とVpの自乗の和の平方根の値、Vhpとする)のいずれかが、あらかじめ設定した正常値の範囲に入らない場合、該当するコンテンツ部分のタイムコードまたはデータ位置を無効コンテンツ部分の位置情報として前記編集リストに登録する手段を具備する、
    ことを特徴とする請求項6記載の画像合成装置。
  8. 前記ムービーカメラのメタデータを用いて、前記カメラ部のズーム速度(Vz)、水平方向のパン速度(Vh)、垂直方向のパン速度(Vp)、または、斜め方向のパン速度(Vhの自乗とVpの自乗の和の平方根の値、Vhpとする)のいずれかが、あらかじめ設定した正常値の範囲に入る場合、該当するコンテンツ部分のタイムコードまたはデータ位置を有効コンテンツ部分の位置情報として前記編集リストに登録する手段を具備する、
    ことを特徴とする請求項6記載の画像合成装置。
  9. 前記ムービーカメラのメタデータを用いて、前記カメラ部のズーム速度(Vz)、水平方向のパン速度(Vh)、垂直方向のパン速度(Vp)、または、斜め方向のパン速度(Vhの自乗とVpの自乗の和の平方根の値、Vhpとする)のいずれかが、それぞれの速度に対してあらかじめ設定した正常値の範囲(0以上Vz(n)以下、0以上Vh(n)以下、0以上Vp(n)以下、0以上Vhp(n)以下)に入らない場合、電子ビューファインダー(EVF)に矢印、またはマーク、または数値で異常な撮影を行っていることを表示して撮影者に知らせる撮影アシスト手段を具備する、
    ことを特徴とする請求項6記載の画像合成装置。
  10. 前記カメラ部のズーム速度(Vz)、水平方向のパン速度(Vh)、垂直方向のパン速度(Vp)、または、斜め方向のパン速度(Vhp)のそれぞれに関する正常値の範囲内で、それぞれの速度に対してあらかじめ設定した特定の雑音パワー値をスレッショルド(Vz(s), Vh(s), Vp(s), Vhp(s))として、前記スレッショルドを超えない第1の領域と超える第2の領域を持ち、
    前記雑音が前記第1の領域にある場合は前記あらかじめ設定したスレッショルド(Vz(s), Vh(s), Vp(s), Vhp(s))よりも小さく設定する手段を具備する、
    ことを特徴とする請求項7記載の画像合成装置。
  11. 前記カメラ部が三脚あるいはカメラ台などのカメラ固定手段に固定されている場合には、前記雑音が前記第1の領域にあると設定する固定モード設定手段を具備する、
    ことを特徴とする請求項9記載の画像合成装置。
  12. 前記カメラ部による撮影が撮影の本番モードであることを検出する本番モード検出手段と、前記本番モード検出手段が本番と検出した場合に前記雑音が前記第1の領域にあると設定する固定モード設定手段を具備する、
    ことを特徴とする請求項9記載の画像合成装置。
  13. 前記本番モード検出手段は、カチンコの検出手段、または、本番開始の音声を検出する手段を具備する、
    ことを特徴とする請求項12記載の画像合成装置。
  14. 前記カメラ部による撮像モードが720p、または1080i、または1080p以上の高精細な撮影モードの場合には、前記カメラ部による撮像モードが480iまたは480p以下の撮影モードの場合よりも、
    前記あらかじめ設定した特定の雑音パワー値をスレッショルド値を小さくするスレッショルド値設定手段を具備する、
    ことを特徴とする請求項10記載の画像合成装置。
JP2006230060A 2006-08-28 2006-08-28 画像合成装置 Pending JP2008054155A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006230060A JP2008054155A (ja) 2006-08-28 2006-08-28 画像合成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006230060A JP2008054155A (ja) 2006-08-28 2006-08-28 画像合成装置

Publications (1)

Publication Number Publication Date
JP2008054155A true JP2008054155A (ja) 2008-03-06

Family

ID=39237739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006230060A Pending JP2008054155A (ja) 2006-08-28 2006-08-28 画像合成装置

Country Status (1)

Country Link
JP (1) JP2008054155A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011517173A (ja) * 2008-03-12 2011-05-26 ソニー株式会社 高性能スレート
JP2013113642A (ja) * 2011-11-28 2013-06-10 Nippon Hoso Kyokai <Nhk> 位置計測装置及び位置計測システム
KR101422587B1 (ko) * 2008-04-22 2014-07-24 삼성전자주식회사 디지털 영상 처리 장치 및 그 제어 방법
CN109073388A (zh) * 2016-04-11 2018-12-21 Hrl实验室有限责任公司 旋磁地理定位系统
US10841453B2 (en) 2018-03-09 2020-11-17 Olympus Corporation Image file creation apparatus, image file creation method, recording medium storing image file creation program, and content creation system
WO2021111700A1 (ja) * 2019-12-03 2021-06-10 ソニーグループ株式会社 制御装置、制御方法、情報処理システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011517173A (ja) * 2008-03-12 2011-05-26 ソニー株式会社 高性能スレート
KR101422587B1 (ko) * 2008-04-22 2014-07-24 삼성전자주식회사 디지털 영상 처리 장치 및 그 제어 방법
JP2013113642A (ja) * 2011-11-28 2013-06-10 Nippon Hoso Kyokai <Nhk> 位置計測装置及び位置計測システム
CN109073388A (zh) * 2016-04-11 2018-12-21 Hrl实验室有限责任公司 旋磁地理定位系统
US10841453B2 (en) 2018-03-09 2020-11-17 Olympus Corporation Image file creation apparatus, image file creation method, recording medium storing image file creation program, and content creation system
WO2021111700A1 (ja) * 2019-12-03 2021-06-10 ソニーグループ株式会社 制御装置、制御方法、情報処理システム
US11805314B2 (en) 2019-12-03 2023-10-31 Sony Group Corporation Control device, control method, and information processing system

Similar Documents

Publication Publication Date Title
US8643745B2 (en) Content shooting apparatus
JP5022370B2 (ja) コンテンツ撮影装置
US8599243B2 (en) Image processing device, image processing method, and program
US8229281B2 (en) Recording apparatus, recording method, recording program, recording/reproducing apparatus, recording/reproducing method, recording/reproducing program, editing apparatus, editing method, and editing program
JP2007082088A (ja) コンテンツとメタデータを記録、再生する装置、コンテンツ処理装置、プログラム
JP4224690B2 (ja) 記録方法、記録装置、再生方法、再生装置および撮像装置
WO2011099299A1 (ja) 映像抽出装置、撮影装置、プログラム及び記録媒体
KR20130098074A (ko) 카메라 장치의 동영상 촬영방법 및 장치
US20090228508A1 (en) Recording Device and Method, Imaging Apparatus, Playing Device and Method, and Program
JP4960121B2 (ja) コンテンツ撮影装置
JP2008054155A (ja) 画像合成装置
EP2017841B1 (en) Recording device, recording method, recording program, imaging device, imaging method, and imaging program
WO2009150827A1 (ja) コンテンツ編集装置
JP4161773B2 (ja) 映像編集装置,映像編集装置の処理方法
EP2157581B1 (en) Information recording apparatus, imaging apparatus, information recording method and program
JP2007251891A (ja) コンテンツの撮影装置
JP2010245856A (ja) 映像編集装置
US8466985B2 (en) Information recording apparatus, imaging apparatus, information recording method and medium storing a program generating a transport data stream and utilizing a modified digital video pack
JP4946935B2 (ja) 撮像装置
JP2007129368A (ja) 情報記録装置およびその方法
JP2008072572A (ja) コンテンツ撮影装置
JP4667411B2 (ja) コンテンツ撮影装置
JP4366609B2 (ja) 記録方法、記録装置、再生方法、再生装置、記録再生装置および記録再生方法
JP2009159279A (ja) カメラ装置および映像再生装置
JP2010263611A (ja) 映像撮影装置