JP2006211531A - 映像生成装置、及びプログラム - Google Patents
映像生成装置、及びプログラム Download PDFInfo
- Publication number
- JP2006211531A JP2006211531A JP2005023646A JP2005023646A JP2006211531A JP 2006211531 A JP2006211531 A JP 2006211531A JP 2005023646 A JP2005023646 A JP 2005023646A JP 2005023646 A JP2005023646 A JP 2005023646A JP 2006211531 A JP2006211531 A JP 2006211531A
- Authority
- JP
- Japan
- Prior art keywords
- candidate
- candidate position
- viewpoint position
- shot
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
【解決手段】 視点位置を変化させて動画像を得る映像生成装置であって、複数の候補位置を決定する手順(S15)と、直前の視点位置と1の候補位置との組みに対して所定の規則を適用させることにより、各候補位置が、カレントの視点位置にどれだけ相応しいかの評価を行う手順(S16)と、評価結果が最も高い候補位置をカレント視点位置に選んで(S18)、当該カレント視点位置から被写体を見た場合の動画像を得る手順(S20) を繰り返し行う。
【選択図】 図9
Description
自由視点映像を得ることができる撮影システムを、社内の会議室に設置しておけば、自由な視点から、社内会議における出席者の言動を撮影することができる。また医療現場に設置しておけば、自由な視点から、医師や看護婦の医療行為を撮影することができる。
Takeo Kanade, Peter Rander, and P. J. Narayanan. Virtualized reality: Constructing virtual worlds from real scenes. IEEE MultiMedia, Vol. 4, No.1, pp. 34〜47, 1997. 井上亮文, 吉田竜二, 平石絢子, 重野寛, 岡田謙一, 松下温,映画の映像理論に基づく対面会議シーンの自動撮影手法,情報処理学会論文誌, Vol.45, No.1, pp.212-221,2004年1月.
さらに、前記被写体空間は、二人以上の人物を含み、前記境界は、被写体空間に含まれる二人の人物間を結ぶ直線、又は任意の直線を含み前記被写体空間を二分割するとしてもよい。
さらに、何れかの候補位置に対応付けられたカメラ制御情報が、直前の視点位置から当該候補位置までのパン制御を示している場合の当該候補位置に対する評価値は、直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差しない場合の当該候補位置に対する評価よりも高いとしてもよい。
上記目的は、シーン記述情報に基づいて視点位置を変化させた動画像を、コンピュータに生成させるプログラムであって、シーン記述情報は、複数の候補位置のそれぞれに対応したカメラ制御情報を配してなり、直前の視点位置と、1の候補位置との組みに対して、所定の規則を適用させることにより、各候補位置が、カレントの視点位置にどれだけ相応しいかの評価を行うステップと、評価結果が最も高い候補位置を、カレント視点位置に選んで、当該カレント視点位置に対応したカメラ制御情報を用いて、カレント視点位置から被写体を見た場合の動画像を得るステップとを繰り返しコンピュータに実行させることにより達成される。
三次元自由視点映像システムは、スタジオ内に設置された6台の固定カメラで撮影した映像を統合して、固定カメラの被写体となる空間(以下、「撮影空間」という。)を自由な視点から見た映像(以下、「三次元自由視点映像」という。)を生成する。
映像生成部2は、固定カメラで撮影した画像から生成した未編集の三次元自由視点映像を、アノテーション管理部3、映像スクリプト変換部4に送出する。また、各時刻における視点位置座標をXML(eXtensible Mark-up Language)にて記述したカメラワーク制御コマンドを映像スクリプト変換部4から受け取り、各時刻における指定された視点位置からの三次元自由視点映像(以下、「レンダリング映像」という。)を生成し、出力する。ここで、未編集の三次元自由視点映像とは、図2のように互いに直交するように設定されたXYZの3軸に対し、それぞれ並行な向きに撮影空間をみた側面映像、正面映像、及びトップ映像の3つの映像からなる映像データである。尚、X軸とY軸とは、撮影空間の水平面をなす座標軸であり、Z軸は撮影空間の水平面に直交する座標軸である。また、本実施形態における時刻とは、カメラ11a乃至11fで撮影された映像内での時刻を意味する。
映像生成部2は、カメラ11a乃至11fと、キャプチャユニット12と、空間モデル構築用サーバ13と、XML解釈部23と、映像出力部2425とを含む。
カメラ11a乃至11fは、スタジオ内に設置された6台の固定カメラであり、それぞれ異なる位置から撮影空間の映像を撮影する。
空間モデル構築用サーバ13は、キャプチャされたカメラ11a乃至11fの映像ファイルを蓄積し、映像ファイルを基に任意の時点での三次元自由視点映像を生成する。
XML解釈部23は、カメラワーク制御コマンドを解釈する。
アノテーション管理部3は、アノテーション情報登録部15と、アノテーションデータベース16とを含む。
アノテーション情報登録部15は、システム利用者からアノテーション情報の入力を受け付け、アノテーションデータベース16に登録する。図3にアノテーション情報の一例を示す。アノテーション情報は、イベント名と、開始時刻と、終了時刻と、オブジェクト名と、アノテーション領域と、注視点とで構成される。
開始時刻は、イベントの開始を示す時刻であり、アノテーション領域が変化しない期間の開始の時刻を示す。
終了時刻は、イベントの終了を示す時刻であり、アノテーション領域が変化しない期間の終了の時刻を示す。
アノテーション領域は、オブジェクト名で名称を付されたオブジェクトが存在する領域であり、システム利用者により指定される2点の三次元座標が対角線となる直方体で示される。
注視点は、視点位置から撮影空間をレンダリングする際に、視線が注がれる点の座標である。
ここで時刻指定バーは、時刻を示すスライドバーである。つまり、システム利用者はアノテーション領域を示す2点の座標が変化しない期間を、時刻指定バーを操作することにより確認し、その開始時刻及び終了時刻において、Addボタンを押すことにより開始時刻及び終了時刻を決定する。
映像スクリプト変換部4は、シーンリスト取得部17と、シーン制御部18と、ショット制御部19と、実パラメータ取得部20と、撮影知識データベース21と、カメラワーク制御XML作成部22とを含む。
シーン開始時刻、及びシーン終了時刻は、カメラ11a乃至11fで撮影された映像のうち、シーンとして切り出す区間を時刻で示す。
撮影対象は、レンダリング映像において注視すべき撮影対象を、アノテーション情報のオブジェクト名で指定する。
実パラメータ取得部20は、ショット制御部19から時刻と撮影対象との指定を受けて、アノテーションデータベース16に登録されているアノテーション情報から、指定の時刻に撮影対象が含まれるアノテーション領域、及び注視点の三次元座標を取得し、ショット制御部19へ送出する。
図6の(a)はシーン記述情報のデータ構造を示す図である。シーン記述情報は、シーン名で特定されるシーン毎に、使用するショットパターンの候補を示す情報であり、シーン名と、ショット指定1〜nとからなる。ショット指定1〜nは、候補のショットパターンを定義したショット情報を指定する情報であり、ショット名を用いてショット情報を指定する。
図6の(b)はショット情報のデータ構造を示す図である。ショット情報は、撮影対象の三次元座標に応じて、所望のショットパターンで映像をクリップする為の視点位置が一意に定まるカメラ制御情報であり、ショット名、水平角度Dh、上下角度Dv、フレーミングバターン、パン角度、及び継続時間からなる。ショット情報に含まれる水平角度Dhとは、図7の(a)に示すように、撮影対象の中心座標PAを含む水平面において、イマジナリベクトルとなす角度であり、上下角度Dvとは、図7の(b)に示すように、中心座標PAを含む水平線となす角度であり、水平角度Dhと上下角度Dvとにより、レンダリングする視点が中心座標PAに対してどの方向にあるかが特定される。フレーミングパターンとは、図8に示すように、レンダリングした映像において撮影対象が画面の縦方向占める割合、及び、中心座標PAの画面上での位置により表現される画像のイメージを、「Long」、「Full」等のパターン名で特定する情報である。以下、撮影対象が画面の縦方向占める割合を「フレーミング条件R1」、中心座標PAの画面上での位置を「フレーミング条件R2」という。パン角度は、ショット中で中心座標PAを中心に視点位置を回転させる角度である。パン角度が正の値であれば、撮影対象の上方からみて、中心座標PAを中心に視点位置を右回りに回転させることを示し、パン角度が負の値であれば、中心座標PAを中心に視点位置を左周りに回転させることを示す。継続時間は、ショット情報により示されるカメラ演出を適用した1つのショットを継続させる時間である。
例えば、映画の撮影技法として、イマジナリラインを跨いで視点位置が切り替わると、画面上での人物の位置関係が逆になってしまい、視聴者に違和感を与えることが知られている。このような映画撮影技法を適用して、「直前の視点位置と候補位置とを結ぶ線分を地面に垂直に投影した線分が、イマジナリラインを地面に垂直に投影した直線と交差しない場合、候補位置の評価を高くし、直前の視点位置と候補位置とを結ぶ線分を地面に垂直に投影した線分が、イマジナリラインを地面に投影した直線と交差する場合、候補位置の評価を低くする」という撮影規則が、撮影知識データベース21に蓄積されている。また、撮影規則の他の一例として、「候補位置に対応するショット情報が、視点位置のパン制御を意図するものであれば、候補位置の評価を高くし、候補位置に対応するショット情報が、視点位置のパン制御を意図しないものであれば、候補位置の評価を低くする」というものがある。撮影規則のさらに他の一例として、「直前の視点位置と候補位置とが同一の位置であれば、評価を低くする」というものもある。
以上が、三次元自由視点映像システム1の構成である。
続いて、上述の映像スクリプト変換部4において、各時刻毎におけるレンダリング映像の視点位置を決定する動作について、詳細に説明する。図9は、カメラポジションリストを生成する動作の流れを示すフローチャートである。
以上の動作により、利用者がシーンリストにおいてレンダリング映像の生成を指示した期間の各時刻毎における視点位置を決定することができる。
次に、図9のS15において実行されるカメラポジション決定処理について、図12乃至図14を用いて説明する。図12は、カメラポジション決定処理の処理の流れを示すフローチャートであり、図13、及び図14は、注視点PAと視点位置Cptの関係を模式的に示す図である。
ショット制御部19は、仮ポジションCpttmpから注視点PAに向かって所定の視野角でクリップしたが画面において、アノテーション領域が画面の縦方向に占める割合R0を算出する(S33)。R0は、図14に示すようにアノテーション領域の高さhAを、仮ポジションCpttmpから所定の画角でクリップしたが画面の高さh0で除算することで得られる。
システム利用者から、利用したいシーン記述情報と、レンダリング映像を生成したいシーンの開始時刻、終了時刻、被写体、及び、被写体の行為対象の座標との指定を受けるだけで、映画のような見易いレンダリング映像を生成することができる。
<その他の変形例>
以上、本発明を上記の実施形態に基づいて説明してきたが、本発明は、上記の実施形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
また、本発明は、前記プログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなど、に記録したものとしてもよい。
また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
例えば、システム利用者からシーンリストと共にイマジナリラインの指定を受けるとしてもよい。具体的には、システム利用者が撮影空間中の任意の2点の座標を入力することにより、2点を通過する直線がイマジナリラインとして得られる。
例えば、システム利用者が、シーンリストと共にシーン記述情報とショット情報とを入力するとしてもよい。
2 映像生成部
3 アノテーション管理部
4 映像スクリプト変換部
11a〜11f カメラ
12 キャプチャユニット
13 空間モデル構築用サーバ
15 アノテーション情報登録部
16 アノテーションデータベース
17 シーンリスト取得部
18 シーン制御部
19 ショット制御部
20 実パラメータ取得部
21 撮影知識データベース
22 カメラワーク制御XML作成部
23 XML解釈部
24 映像出力部
Claims (8)
- シーン記述情報に基づき、視点位置を変化させて動画像を得る映像生成装置であって、
シーン記述情報は、複数の候補位置のそれぞれに対応したカメラ制御情報を配してなり、
直前の視点位置と、1の候補位置との組みに対して、所定の規則を適用させることにより、各候補位置が、カレントの視点位置にどれだけ相応しいかの評価を行う評価手段と、
評価結果が最も高い候補位置を、カレント視点位置に選んで、当該カレント視点位置に対応したカメラ制御情報を用いて、カレント視点位置から被写体を見た場合の動画像を生成する生成手段と、
評価手段、及び生成手段に処理を繰り返し実行させる制御手段と
を備えることを特徴とする映像生成装置。 - 前記所定の規則には、被写体空間を分割する境界に関する制約を含むものがあり、
当該制約に基づいて、
直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差する場合、当該候補位置に対する評価を低くし、
直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差しない場合、当該候補位置に対する評価を高くする、請求項1記載の映像生成装置。 - 前記被写体空間は、二人以上の人物を含み、
前記境界は、被写体空間に含まれる二人の人物間を結ぶ直線、又は任意の直線を含み前記被写体空間を二分割する、請求項2記載の映像生成装置。 - カメラ制御情報には、カメラのパン制御を意図するものがあり、
前記所定の規則には、
何れかの候補位置に対応付けられたカメラ制御情報が、直前の視点位置から当該候補位置までのパン制御を示している場合、当該候補位置の評価値を高くし、
何れかの候補位置に対応付けられたカメラ制御情報が、直前の視点位置から当該候補位置までのパン制御を示していない場合、当該候補位置の評価値を低くするというものがある、請求項1記載の映像生成装置 - 前記所定の規則には、被写体空間を分割する境界に関する制約を含むものがあり、
当該制約に基づいて、
直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差する場合、当該候補位置に対する評価を低くし、
直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差しない場合、当該候補位置に対する評価を高くする、請求項4記載の映像生成装置。 - 何れかの候補位置に対応付けられたカメラ制御情報が、直前の視点位置から当該候補位置までのパン制御を示している場合の当該候補位置に対する評価値は、
直前の視点位置と、候補位置とを結ぶ直線が、前記境界に交差しない場合の当該候補位置に対する評価よりも高い
ことを特徴とする請求項5記載の映像生成装置。 - 前記複数の候補位置は、被写体に対する画角θにより特定され、
カメラ制御情報は、ズーム率情報を含み、
前記動画像を得る手順は、
ズーム率情報に基づき、被写体と、視点位置との距離rを決定して、画角θ及び距離rから、カレント視点位置の三次元座標を得る手順を含む、請求項1〜6の何れかに記載の映像生成装置。 - シーン記述情報に基づいて視点位置を変化させた動画像を、コンピュータに生成させるプログラムであって、
シーン記述情報は、複数の候補位置のそれぞれに対応したカメラ制御情報を配してなり、
直前の視点位置と、1の候補位置との組みに対して、所定の規則を適用させることにより、各候補位置が、カレントの視点位置にどれだけ相応しいかの評価を行うステップと、
評価結果が最も高い候補位置を、カレント視点位置に選んで、当該カレント視点位置に対応したカメラ制御情報を用いて、カレント視点位置から被写体を見た場合の動画像を得るステップと
を繰り返しコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005023646A JP4395082B2 (ja) | 2005-01-31 | 2005-01-31 | 映像生成装置、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005023646A JP4395082B2 (ja) | 2005-01-31 | 2005-01-31 | 映像生成装置、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006211531A true JP2006211531A (ja) | 2006-08-10 |
JP4395082B2 JP4395082B2 (ja) | 2010-01-06 |
Family
ID=36967852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005023646A Expired - Fee Related JP4395082B2 (ja) | 2005-01-31 | 2005-01-31 | 映像生成装置、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4395082B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011130187A (ja) * | 2009-12-17 | 2011-06-30 | Canon Inc | 画像処理装置、画像処理方法、及びコンピュータプログラム |
JP2011228845A (ja) * | 2010-04-16 | 2011-11-10 | Canon Inc | 画像処理装置および方法 |
JP5295416B1 (ja) * | 2012-08-01 | 2013-09-18 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP7467074B2 (ja) | 2019-11-05 | 2024-04-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2005
- 2005-01-31 JP JP2005023646A patent/JP4395082B2/ja not_active Expired - Fee Related
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011130187A (ja) * | 2009-12-17 | 2011-06-30 | Canon Inc | 画像処理装置、画像処理方法、及びコンピュータプログラム |
JP2011228845A (ja) * | 2010-04-16 | 2011-11-10 | Canon Inc | 画像処理装置および方法 |
JP5295416B1 (ja) * | 2012-08-01 | 2013-09-18 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP7467074B2 (ja) | 2019-11-05 | 2024-04-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4395082B2 (ja) | 2010-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7187446B2 (ja) | 拡張された仮想現実 | |
Matsuyama et al. | 3D video and its applications | |
US9041899B2 (en) | Digital, virtual director apparatus and method | |
US20130215229A1 (en) | Real-time compositing of live recording-based and computer graphics-based media streams | |
JP2018107793A (ja) | 仮想視点画像の生成装置、生成方法及びプログラム | |
CN108369816A (zh) | 用于从全向视频创建视频剪辑的设备和方法 | |
KR20130090621A (ko) | 사전 시각화 영상 생성 장치 및 방법 | |
CA2866672A1 (en) | Motion picture project management system | |
JP4395082B2 (ja) | 映像生成装置、及びプログラム | |
KR20160021706A (ko) | 360도 공간영상 재생방법 및 그 시스템 | |
JPWO2015129710A1 (ja) | カメラワーク生成方法、カメラワーク生成装置及びカメラワーク生成プログラム | |
US11200919B2 (en) | Providing a user interface for video annotation tools | |
CN111064946A (zh) | 基于室内场景的视频融合方法、系统、装置和存储介质 | |
JP6494455B2 (ja) | 映像処理装置、映像処理方法、及びプログラム | |
CN111064947A (zh) | 基于全景的视频融合方法、系统、装置和存储介质 | |
Jürgens et al. | Designing glitch procedures and visualisation workflows for markerless live motion capture of contemporary dance | |
JP2023057124A (ja) | 画像処理装置及び方法、プログラム | |
Duan et al. | Flad: a human-centered video content flaw detection system for meeting recordings | |
Vanherle et al. | Automatic Camera Control and Directing with an Ultra-High-Definition Collaborative Recording System | |
WO2022230718A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
DeHart | Directing audience attention: cinematic composition in 360 natural history films | |
Albuquerque et al. | An overview on virtual sets | |
CN108270978A (zh) | 一种图像处理方法和装置 | |
JP2010074437A (ja) | アノテーション付与方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
KR101743874B1 (ko) | 복수의 공연객체들의 협업을 이용한 동영상 컨텐츠 생성 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070202 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091013 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091016 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121023 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |