JP4451730B2 - 動画生成装置、方法及びプログラム - Google Patents

Description

本発明は、動画生成装置、方法及びプログラムに関する。特に本発明は、被写体を立体のオブジェクトとして表示する立体動画を生成する動画生成装置に関する。

従来、２台のカメラで撮影した２次元の画像に基づき、例えばステレオ視法の原理を利用して、立体画像を生成する方法が知られている（例えば、非特許文献１参照。）。同様にして、例えば２台のカメラでそれぞれ撮影された２次元の動画に基づき、立体の動画像を生成することもできる。立体の動画像においては、例えばユーザの指示に応じて、被写体に対する視点の変更を行うことができる。そのため、例えばスポーツ映像等を、立体の動画像により配信することが考えられている。
インターネット＜URL：http://www.nagano-it.go.jp/jyouhou/report/2000/0024.pdf＞

スポーツ映像等においては、被写体の動きを詳細に観察するために、滑らかなスローモーション再生が望まれる場合がある。滑らかなスローモーション再生を行うためには、動画像を、高いフレームレートで生成する必要がある。しかし、立体の動画像を高いフレームレートで生成するためには、高いフレームレートで撮像可能な２台のカメラを用意する必要があり、コストがかかる場合があった。

そこで本発明は、上記の課題を解決することができる動画生成装置及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、被写体を立体のオブジェクトとして表示する立体動画を生成する動画生成装置であって、互いの相対位置が既知の位置にそれぞれ設けられており、それぞれ異なるタイミングで被写体を間欠的に撮像することにより、２次元画像の撮像動画をそれぞれ生成する複数の２次元動画生成部と、複数の２次元動画生成部の相対位置、及びそれぞれの２次元動画生成部により生成された撮像動画に基づき、撮像動画よりも高いフレームレートを有する立体動画を生成する立体動画生成部とを備える。

また、撮像動画は、間欠的に順次撮像された複数の撮像フレームを含み、一の２次元動画生成部が連続する２個の撮像フレームを撮像する合間に、他の２次元動画生成部は、１個の撮像フレームを撮像し、立体動画生成部は、一の２次元動画生成部により撮像された２個の撮像フレームの間を補間することにより、当該２個の撮像フレームの間に挿入されるべき補間フレームを生成する補間フレーム生成部と、一の２次元動画生成部により撮像された２個の撮像フレームの間に挿入された補間フレーム、及び他の２次元動画生成部により撮像された１個の撮像フレームに基づき、被写体の立体オブジェクトを生成する立体オブジェクト生成部と、立体オブジェクト生成部から順次受け取る立体オブジェクトに基づき、立体動画を生成する動画生成処理部とを有してもよい。

また、３個以上の２次元動画生成部を備え、それぞれの２次元動画生成部は、被写体が他の２次元動画生成部に撮像されないタイミングに被写体を撮像することにより、他の２次元動画生成部により生成される撮像動画と相補的なタイミングで撮像された撮像動画を生成し、立体動画生成部は、３個以上の２次元動画生成部から受け取る撮像動画に基づき、撮像動画のフレームレートに２次元動画生成部の個数を乗じた大きさのフレームレートを有する立体動画を生成してもよい。

また、撮像動画は、間欠的に順次撮像された複数の撮像フレームを含み、立体動画生成部は、少なくとも２個の２次元動画生成部により生成された撮像動画に基づき、被写体の立体オブジェクトを生成する立体オブジェクト生成部と、それぞれの２次元動画生成部に撮像されたそれぞれの撮像フレームに対応して、当該２次元動画生成部の少なくとも２個の２次元動画生成部に対する相対位置、及びそれぞれの撮像フレームに基づき、立体オブジェクト生成部により生成された立体オブジェクトを変形させることにより、それぞれの撮像フレームが撮像されたタイミングにおける被写体を示す立体オブジェクトを生成するオブジェクト変形部と、立体オブジェクト生成部及びオブジェクト変形部が生成する立体オブジェクトに基づき、立体動画を生成する動画生成処理部とを有してもよい。

上記動画生成装置において、動画生成処理部は、被写体を観察する視点の入力を受け付け、立体オブジェクトに基づいて、視点から被写体を観察した場合の立体動画を生成してもよい。

上記動画生成装置は、複数の２次元動画生成部により生成された撮像動画を保存する画像保存部を更に備え、画像保存部は、複数の２次元動画生成部毎に、撮像した時刻順で当該２次元動画生成部の撮像動画を保存してもよい。

上記動画生成装置において、画像保存部が、複数の２次元動画生成部毎に配され、複数の２次元動画生成部に対して時刻を通知する時刻通知部を更に備えていてもよい。

上記動画生成装置は、複数の２次元動画生成部により生成された撮像動画を保存する画像保存部を更に備え、画像保存部は、複数の２次元動画生成部において撮像した時刻順に、複数の２次元動画生成部の撮像動画を保存してもよい。

上記動画生成装置において、複数の２次元動画生成部に対し、時刻を通知する時刻通知部を更に備えてもよい。

本発明の第２の形態においては、被写体を立体のオブジェクトとして表示する立体動画を生成する動画生成方法であって、互いの相対位置が既知の位置にそれぞれ設けられた２次元動画生成部により、それぞれ異なるタイミングで被写体を間欠的に撮像することにより、２次元画像の撮像動画をそれぞれ生成し、前記複数の２次元動画生成部の前記相対位置、及びそれぞれの前記２次元動画生成部により生成された前記撮像動画に基づき、前記撮像動画よりも高いフレームレートを有する前記立体動画を生成する。

本発明の第３の形態においては、被写体を立体のオブジェクトとして表示する立体動画を生成する動画生成装置を機能させるプログラムであって、動画生成装置を、互いの相対位置が既知の位置にそれぞれ設けられており、それぞれ異なるタイミングで被写体を間欠的に撮像することにより、２次元画像の撮像動画をそれぞれ生成する複数の２次元動画生成部と、複数の２次元動画生成部の相対位置、及びそれぞれの２次元動画生成部により生成された撮像動画に基づき、撮像動画よりも高いフレームレートを有する立体動画を生成する立体動画生成部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る動画生成装置１００の概要を示す。本例の動画生成装置１００は、高いフレームレートの立体動画を適切に生成することを目的とする。動画生成装置１００は、２台のカメラ１０２ａ、ｂ、立体動画生成部１０４、及び表示部１０６を備える。

２台のカメラ１０２ａ、ｂは、互いの相対位置が既知の位置にそれぞれ設けられており、それぞれ異なるタイミングで被写体を間欠的に撮像する。これにより、２台のカメラ１０２ａ、ｂは、２次元画像の撮像動画をそれぞれ生成する。例えば、カメラ１０２ａ、ｂのそれぞれは、それぞれの位置から、道路２２上を高速に走行する自動車２０を撮像する。カメラ１０２ａ、ｂは、例えば１／２フレームずれた位相で自動車２０をそれぞれ撮像することにより、自動車２０を交互に撮像する。カメラ１０２ａ、ｂのそれぞれは、２次元動画生成部の一例である。

立体動画生成部１０４は、カメラ１０２ａ、ｂの互いの相対位置と、カメラ１０２ａ、ｂのそれぞれにより生成された撮像動画とに基づき、自動車２０の立体動画を生成する。本例において、立体動画生成部１０４は、カメラ１０２ａ、ｂの間の距離Ｘ、及び被写体である自動車２０に向かうカメラ１０２ａ、ｂがなす角度αに基づき、立体画像を生成する。尚、立体動画とは、被写体を立体のオブジェクトとして表示する動画であり、例えば３次元ＣＧであってよい。また、本例において、立体動画生成部１０４は、後述する方法により、撮像動画よりも高いフレームレートを有する立体画像を生成する。

表示部１０６は、立体動画生成部１０４により生成された立体動画を表示する表示装置である。本例において、表示部１０６は、立体動画に含まれる立体オブジェクトを３次元表示する３次元表示ディスプレイである。また、表示部１０６は、例えばユーザの指示に応じて、立体動画を、スローモーション表示する。表示部１０６は、例えば、立体動画に含まれる立体オブジェクトを表示面に投影した画像を表示することにより、立体動画を表示してもよい。

図２は、動画生成装置１００の詳細な構成の一例を示す。本例において、カメラ１０２ａ、ｂは、交互に被写体を撮像することにより、間欠的に順次撮像された複数の撮像フレームを含む撮像動画をそれぞれ生成する。この場合、カメラ１０２ａ、ｂの一方が連続する２個の撮像フレームを撮像する合間に、他方は、１個の撮像フレームを撮像する。

立体動画生成部１０４は、補間フレーム生成部２０２、立体オブジェクト生成部２０４、及び動画生成処理部２０６を有する。補間フレーム生成部２０２は、撮像動画に対する補間フレームを生成する。補間フレームとは、例えば、撮像動画における撮像フレーム間を補間するフレームである。補間フレーム生成部２０２は、例えば、カメラ１０２ａにより生成された撮像動画における連続する２個の撮像フレームの間に挿入されるべき補間フレームを、当該２個の撮像フレームの間を補間することにより生成する。これにより、補間フレーム生成部２０２は、カメラ１０２ａにより撮像された撮像フレーム、及びこれらの撮像フレームを補間する補間フレームを含む補間動画を生成する。

また、同様にして、補間フレーム生成部２０２は、カメラ１０２ｂにより生成された撮像動画に対する補間フレームを生成する。これにより、補間フレーム生成部２０２は、カメラ１０２ｂにより撮像された撮像フレーム、及びこれらの撮像フレームを補間する補間フレームを含む補間動画を生成する。

尚、補間フレーム生成部２０２は、例えば動画のフレームレートを変更する場合に用いられる周知のフレーム補間方法により、補間フレームを生成してよい。これにより、補間フレーム生成部２０２は、撮像動画の２倍のフレームレートを有する２個の補間動画を生成する。補間フレーム生成部２０２は、一方のカメラ１０２により撮像された撮像フレームに更に基づき、他方のカメラにより撮像された撮像フレームの間を補間してもよい。この場合、更に適切に補間フレームを生成することができる。

立体オブジェクト生成部２０４は、補間フレーム生成部２０２から受け取る２個の補間動画に基づき、被写体の立体オブジェクトを生成する。立体オブジェクト生成部２０４は、例えば、一方の補間動画に含まれる撮像フレーム、及び他方の補間動画に含まれる補間フレームに対するステレオ視法により、立体オブジェクトを生成する。立体オブジェクト生成部２０４は、例えば、カメラ１０２ａにより撮像された２個の撮像フレームの間に挿入された補間フレーム、及びカメラ１０２ｂにより撮像された１個の撮像フレームに基づき、被写体の立体オブジェクトを生成する。立体オブジェクト生成部２０４は、補間動画に含まれるそれぞれの撮像フレーム及び補間フレームに基づいて立体オブジェクトを順次生成して、動画生成処理部２０６に供給する。立体オブジェクト生成部２０４は、立体オブジェクトとして、被写体を示す３次元ＣＧのオブジェクトを生成してよい。

動画生成処理部２０６は、立体オブジェクト生成部２０４から順次受け取る立体オブジェクトに基づき、立体動画を生成する。動画生成処理部２０６は、補間動画の各フレームに対応して立体動画の各フレームを生成することにより、補間動画と同じフレーム数を有する立体動画を生成する。これにより、立体オブジェクト生成部２０４は、カメラ１０２ａ、ｂにより撮像された撮像動画の２倍のフレーム数を有する立体動画を生成する。動画生成処理部２０６は、生成した立体動画を、表示部１０６に供給する。表示部１０６は、動画生成処理部２０６から受け取る立体動画を表示する。本例によれば、高いフレーム数を有する立体動画を、適切に生成することができる。

図３は、動画生成装置１００の動作の一例を説明する図である。本例において、カメラ１０２ａは、例えば、図中に実線で示すような等間隔な時間ｔ１１、ｔ１２、・・・ｔ１ｎに撮像フレームを撮像することにより、被写体を間欠的に撮像して、撮像動画３０２ａを生成する。カメラ１０２ｂは、同様に、時間ｔ２１、・・・、ｔ５ｎに撮像フレームをそれぞれ撮像した撮像動画３０２ｂを生成する。尚、時間ｔ１１、・・・ｔ１ｎ、ｔ２１、・・・、ｔ５ｎは例えば、カメラ１０２ａ、ｂが同時に撮像を開始してからの時間である。時間ｔ２１は、時間ｔ１１から時間ｔ１２に至る中点の時間であるのが好ましい。また、本例において、カメラ１０２ａ、ｂは、撮像動画における各撮像フレームとして、インターレースされていない、画面全体の画像を取得する。

補間フレーム生成部２０２は、撮像動画３０２ａにおけるそれぞれの撮像フレームの間に補間フレームを挿入することにより、補間動画３０４ａを生成する。補間フレーム生成部２０２は、例えば、図中に点線で示すような時間ｔ２１、ｔ２２、・・・ｔ２ｎに相当するタイミングの位置に補間フレームを追加することにより、補間動画３０４ａを生成する。また、補間フレーム生成部２０２は、撮像動画３０２ｂに対し、時間ｔ１１、ｔ１２、・・・ｔ１ｎに相当するタイミングの位置に補間フレームを追加することにより、補間動画３０４ｂを生成する。

立体オブジェクト生成部２０４及び動画生成処理部２０６は、２個の補間動画３０４ａ、ｂに基づき、立体動画３０６を生成する。本例において、立体オブジェクト生成部２０４は、補間動画３０４ａにおける撮像フレームと、補間動画３０４ｂにおける補間フレーム対するステレオ視法により、立体動画３０６における１個のフレーム分の立体オブジェクトを生成する。例えば、立体オブジェクト生成部２０４は、補間動画３０４ａにおける時間ｔ１１の撮像フレームと、補間動画３０４ｂにおける時間ｔ１１の補間フレームに基づき、一の立体オブジェクトを生成する。また、立体オブジェクト生成部２０４は、補間動画３０４ａにおける補間フレームと、補間動画３０４ｂにおける撮像フレーム対するステレオ視法により、立体動画３０６における１個のフレーム分の立体オブジェクトを生成する。これにより、立体オブジェクト生成部２０４は、時間ｔ１１、ｔ２１、・・・ｔ１ｎ、ｔ２ｎのそれぞれに、立体オブジェクトを生成する。

動画生成処理部２０６は、時間ｔ１１、ｔ２１、・・・ｔ１ｎ、ｔ２ｎのそれぞれに生成された立体オブジェクトのそれぞれを各フレームに含む動画を生成することにより、撮像動画３０２ａ、ｂの２倍のフレームレートを有する立体動画３０６を生成する。

ここで、カメラ１０２ａ、ｂが、同じタイミングで撮像フレームを撮像したとすると、補間フレーム生成部２０２は、同じタイミングの位置に補間画像が挿入された補間動画３０４ａ、ｂを生成することとなる。この場合、立体オブジェクト生成部２０４は、所定のタイミングにおいては、補間動画３０４ａ、ｂに含まれる補間フレームのみから立体オブジェクトを生成することとなる。しかし、被写体の動きが高速な場合には、補間フレームのみから立体オブジェクトを生成するとすれば、被写体を適切に表現できない場合がある。しかし、本例においては、必ず一の撮像フレームを用いて立体オブジェクトを生成することにより、被写体の動きを適切に追跡して、立体オブジェクトを生成することができる。そのため、本例によれば、高いフレームレートを有する立体動画３０６を、適切に生成することができる。

尚、他の例において、立体動画３０６は、撮像動画３０２ａ又は撮像動画３０２ｂにおける撮像フレームと、立体動画３０６における過去のフレームとに基づき、立体動画３０６の新たなフレームを生成してもよい。例えば、撮像動画３０２ａの時間ｔ１３における撮像フレームと、時間ｔ２２以前における立体動画３０６のフレームとに基づき、動画生成処理部２０６は、時間ｔ１３における立体動画３０６のフレームを生成してもよい。この場合、動画生成処理部２０６は、例えば、時間ｔ２２以前における立体動画３０６のフレームに基づく動き予測により、時間ｔ１３における立体動画３０６のフレームの初期値を生成し、この初期値を、撮像動画３０２ａの時間ｔ１３における撮像フレームに基づいて修正する。

また、動画生成処理部２０６は、例えば補間動画３０４ａ、ｂを用いずに、撮像動画３０２ａ、ｂにおける各撮像フレームに基づいて、直接に、立体動画３０６を生成してもよい。例えば、撮像動画３０２ａの時間ｔ１１における撮像フレームと、撮像動画３０２ｂにおける時間ｔ２１における撮像フレームとに基づき、動画生成処理部２０６は、時間ｔ２１における立体動画３０６のフレームを生成してもよい。

また、動画生成処理部２０６は、自動車２０を観察する視点の入力を受け付けても良い。さらに、動画生成処理部２０６は、入力された視点から、自動車２０を観察した場合の立体動画を生成する。この場合に、動画生成処理部２０６は、立体オブジェクト生成部２０４から立体オブジェクトを順次受け取るので、受け取った立体オブジェクトを当該視点から観察した画像に既知の方法で変換することができる。これにより、カメラ１０２ａ、１０２ｂが二台であるにもかかわらず、これらのカメラからの二つ視点に加え、他の視点から見た被写体の動画を生成することができる。よって、複数の観察の視点を選択することができる多チャンネル映像を生成することができる。

図４は、動画生成装置１００の他の例の概要を示す。尚、以下に説明する点を除き、図４において、図１と同じ符号を付した構成は、図１における構成と同一又は同様の機能を有するため、説明を省略する。本例において、動画生成装置１００は、５個のカメラ１０２ａ〜ｅを備える。カメラ１０２ａ〜ｅのそれぞれは、被写体である自動車２０が他のカメラ１０２に撮像されないタイミングに自動車２０を撮像する。これにより、それぞれのカメラ１０２は、他のカメラ１０２により生成される撮像動画と相補的なタイミングで撮像された撮像動画を生成する。カメラ１０２ａ〜ｅは、互いの相対位置が既知の位置に設けられている。本例において、カメラ１０２ａ及びカメラ１０２ｅは、他のカメラ１０２ｂ〜ｄを挟むように設けられている。

立体動画生成部１０４は、後述する方法により、撮像動画の５倍のフレームレートを有する立体動画を生成して、表示部１０６に供給する。表示部１０６は、立体動画生成部１０４から受け取る立体動画を表示する。本例によれば、高いフレームレートを有する立体動画を、適切に生成することができる。

図５は、図４を用いて説明した動画生成装置１００の詳細な構成の一例を示す。尚、以下に説明する点を除き、図５において、図２と同じ符号を付した構成は、図２における構成と同一又は同様の機能を有するため、説明を省略する。本例において、立体動画生成部１０４は、補間フレーム生成部２０２、立体オブジェクト生成部２０４、動画生成処理部２０６、オブジェクト変形部２０８を有する。

補間フレーム生成部２０２は、２個のカメラ１０２ａ、ｅから受け取る撮像動画に対して補間フレームを追加した２個の補間動画を生成して、立体オブジェクト生成部２０４に供給する。立体オブジェクト生成部２０４は、２個の補間動画に基づき、立体オブジェクトを生成する。これにより、立体オブジェクト生成部２０４は、２個のカメラ１０２により生成された撮像動画に基づき、被写体の立体オブジェクトを生成する。補間フレーム生成部２０２及び立体オブジェクト生成部２０４は、３個以上のカメラ１０２から受け取る撮像動画に基づいて、立体オブジェクトを生成してもよい。

オブジェクト変形部２０８は、カメラ１０２ｂ〜ｄのそれぞれから受け取る撮像動画における各撮像フレームに基づき、立体オブジェクト生成部２０４から受け取る立体オブジェクトを変形する。オブジェクト変形部２０８は、例えば、カメラ１０２ｂ〜ｄのカメラ１０２ａ、ｅに対する相対位置、及びそれぞれの撮像フレームに基づき、立体オブジェクトを変形させる。これにより、オブジェクト変形部２０８は、カメラ１０２ｂ〜ｄから受け取るそれぞれの撮像フレームに対応して、その撮像フレームが撮像されたタイミングにおける被写体を示す立体オブジェクトを生成する。オブジェクト変形部２０８は、生成した立体オブジェクトを、動画生成処理部２０６に供給する。

動画生成処理部２０６は、立体オブジェクト生成部２０４及びオブジェクト変形部２０８から受け取る立体オブジェクトに基づき、立体動画を生成する。これにより、動画生成処理部２０６は、カメラ１０２ｂ〜ｄのそれぞれよりも高いフレームレートを有する立体動画を生成する。動画生成処理部２０６は、撮像動画のフレームレートにカメラ１０２ａ〜ｅの個数を乗じた大きさのフレームレートを有する立体動画を生成してよい。本例によれば、高いフレームレートを有する立体動画を、適切に生成することができる。

図６は、図４及び図５を用いて説明した動画生成装置１００の動作の一例を説明する図である。本例において、カメラ１０２ａは、例えば、図中に実線で示すような等間隔な時間ｔ１１、ｔ１２、・・・ｔ１ｎに撮像フレームを撮像することにより、被写体を間欠的に撮像して、撮像動画３０２ａを生成する。カメラ１０２ｂ〜ｅは、同様に、時間ｔ２１、・・・、ｔ５ｎに撮像フレームをそれぞれ撮像した撮像動画３０２ｂ〜ｅを生成する。

そして、補間フレーム生成部２０２は、撮像動画３０２ａ、ｅにおけるそれぞれの撮像フレームの間に補間フレームを追加することにより、補間動画３０４ａ、ｅを生成する。この場合、補間フレーム生成部２０２は、撮像動画３０２ａに対し、撮像動画３０２ｂにおいて撮像フレームが撮像されているタイミングの位置に補間フレームを追加することにより、補間動画３０４ａを生成する。例えば、撮像動画３０２は、補間動画３０４ａにおける時間ｔ５１、ｔ５２、・・・、ｔ５ｎに対応するタイミングの位置に、補間フレームを追加する。また、補間フレーム生成部２０２は、撮像動画３０２ｂに対し、撮像動画３０２ａにおいて撮像フレームが撮像されているタイミングの位置に補間フレームを追加することにより、補間動画３０４ｂを生成する。例えば、撮像動画３０２は、補間動画３０４ｂにおける時間ｔ１１、ｔ１２、・・・、ｔ１ｎに対応するタイミングの位置に、補間フレームを追加する。

そして、立体オブジェクト生成部２０４は、補間動画３０４ａ、ｂの各フレームに基づき、各フレームに対応する立体オブジェクト４０２を生成する。例えば、立体オブジェクト生成部２０４は、補間動画３０４ａにおける撮像フレームと、補間動画３０４ｂにおける同じ時間の補間フレームとに基づき、一の立体オブジェクト４０２を生成する。また、立体オブジェクト生成部２０４は、補間動画３０４ａにおける補間フレームと、補間動画３０４ｂにおける同じ時間の撮像フレームとに基づき、一の立体オブジェクト４０２を生成する。これにより、立体オブジェクト生成部２０４は、時間ｔ１１、ｔ５１、ｔ１２、・・・、ｔ１ｎ、ｔ５ｎのそれぞれにおける被写体を示す立体オブジェクト４０２を生成する。

そして、オブジェクト変形部２０８は、それぞれの撮像動画３０２ｂ〜ｄに基づいて立体オブジェクト４０２を変形することにより、変形された立体オブジェクト４０４ｂ〜ｃを生成する。オブジェクト変形部２０８は、カメラ１０２ａ、ｅに対するカメラ１０２ｂ〜ｅの相対位置に基づき、立体オブジェクト４０２を変形させてよい。オブジェクト変形部２０８は、被写体に対する複数のカメラ１０２ａ〜ｅの位置の違いを補正することにより、同一の位置から見た場合の被写体を示す立体オブジェクト４０２、４０４ｂ〜ｄを生成してよい。

オブジェクト変形部２０８は、例えば、時間ｔ１１及び／又はｔ５１における立体オブジェクト４０２を、撮像動画３０２ｂの時間ｔ２１における撮像フレームに基づいて変形させることにより、時間ｔ２１における立体オブジェクト４０４ｂを生成する。この場合、オブジェクト変形部２０８は、例えば、時間ｔ１１における立体オブジェクト４０２と、時間ｔ５１における立体オブジェクト４０２との間を補間した立体オブジェクトを生成したうえで、その立体オブジェクトを、撮像動画３０２ｂの時間ｔ２１における撮像フレームに基づいて変形させてよい。

そして、動画生成処理部２０６は、立体オブジェクト４０２、４０４ｂ〜ｄを順次つなぎ合わせることにより、立体動画３０６を生成する。これにより、動画生成処理部２０６は、撮像動画３０２ａ〜ｅの５倍のフレームレートを有する立体動画３０６を生成する。そのため、本例によれば、高いフレームレートを有する立体動画を、適切に生成することができる。

尚、他の例において、カメラ１０２ａ、ｅは、同じタイミングで、被写体を撮像してもよい。この場合も、カメラ１０２ｂ〜ｄが、カメラ１０２ａ、ｅと異なるタイミングで被写体を撮像することにより、高いフレームレートを有する立体動画を、適切に生成することができる。

また、本例によれば、低いフレームレートの撮像動画３０２により、高いフレームレートの立体動画３０６を生成することができる。そのため、例えば伝送可能な情報量が限られた伝送線路を経由して立体動画３０６を配信する場合等において、フレームレートの低減により生じた情報量を、例えば解像度に割り当てることにより、より高画質の立体動画３０６を配信することができる。

図７は、動画生成装置１００を制御するコンピュータ５００の構成の一例を示す図である。本例において、コンピュータ５００は、動画生成装置１００を図１から図６において説明した動画生成装置１００して機能させるプログラムを格納する。また、コンピュータ５００は、動画生成装置１００の立体動画生成部１０４として機能してよい。

コンピュータ５００は、ＣＰＵ７００と、ＲＯＭ７０２と、ＲＡＭ７０４と、通信インターフェース７０６と、ハードディスクドライブ７１０と、フレキシブルディスクドライブ７１２と、ＣＤ−ＲＯＭドライブ７１４とを備える。ＣＰＵ７００は、ＲＯＭ７０２、ＲＡＭ７０４、ハードディスクドライブ７１０、フレキシブルディスク７２０、及び／又はＣＤ−ＲＯＭ７２２に格納されたプログラムに基づいて動作する。

例えば、動画生成装置１００を機能させるプログラムは、ＣＰＵ７００を、図１から図６において説明した、立体オブジェクト生成部２０４、動画生成処理部２０６、及びオブジェクト変形部２０８として機能させもよい。

通信インターフェース７０６は、例えばそれぞれのカメラ１０２と通信し、それぞれの状態等に関する情報、撮像した画像等を受信し、またそれぞれを制御する制御信号を送信する。格納装置の一例としてのハードディスクドライブ７１０、ＲＯＭ７０２、又はＲＡＭ７０４は、設定情報、及びＣＰＵ７００を動作させるためのプログラム等を格納する。また、当該プログラムは、フレキシブルディスク７２０、ＣＤ−ＲＯＭ７２２等の記録媒体に格納されていてもよい。

フレキシブルディスクドライブ７１２は、フレキシブルディスク７２０がプログラムを格納している場合、フレキシブルディスク７２０からプログラムを読み取りＣＰＵ７００に提供する。ＣＤ−ＲＯＭドライブ７１４は、ＣＤ−ＲＯＭ７２２がプログラムを格納している場合、ＣＤ−ＲＯＭ７２２からプログラムを読み取りＣＰＵ７００に提供する。

また、プログラムは記録媒体から直接ＲＡＭに読み出されて実行されても、一旦ハードディスクドライブ７１０にインストールされた後にＲＡＭ７０４に読み出されて実行されてもよい。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されても良い。また記録媒体に格納されるプログラムは、オペレーティングシステムとの共同によってそれぞれの機能を提供してもよい。例えば、プログラムは、機能の一部または全部を行うことをオペレーティングシステムに依頼し、オペレーティングシステムからの応答に基づいて機能を提供するものであってもよい。

プログラムを格納する記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭの他にも、ＤＶＤ、ＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアーカードなどの半導体メモリー等を用いることができる。又、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の格納装置を記録媒体として使用してもよい。

図８は、動画生成装置１００の他の例の構成を示す。図８に示す動画生成装置１００において、図２に示す動画生成装置１００に対応する構成には、図２の動画生成装置１００と同じ参照番号を付し、説明を省略する。なお、図８に示す動画生成装置１００には、一例として三台のカメラ１０２ａ、１０２ｂ、１０２ｃが設けられている。図８に示す動画生成装置１００は、さらに、これら三つのカメラ１０２ａ、１０２ｂ、１０２ｃに対して時刻を通知する時計１２０を備える。時計１２０は、基準となるべき時刻を一箇所から三つのカメラ１０２ａ、１０２ｂ、１０２ｃに通知することにより、三つのカメラ１０２ａ、１０２ｂ、１０２ｃ間において互いに所定の時刻差で間欠的に撮像をすることができる。

また、図８に示す三つのカメラ１０２ａ、１０２ｂ、１０２ｃに対応して、三つの画像保存部１１２、１１４、１１６が設けられている。画像保存部１１２は、カメラ１０２ａに接続されている。これにより、画像保存部１１２は、カメラ１０２ａが撮像した２次元画像の撮像動画を保存する。同様に、画像保持部１１４、１１６は、それぞれ、カメラ１０２ｂ、１０２ｃに接続されている。これにより、画像保持部１１４、１１６は、それぞれ接続されたカメラ１０２ｂ、１０２ｃが撮像した２次元画像の撮像動画を保存する。これら画像保存部１１２、１１４、１１６の一例はハードディスクであるが、これに限られず、情報記憶媒体であればいずれの形態であってもよい。

図９は、画像保存部１１２が保存しているデータの構成を示す概念図である。なお、画像保持部１１４、１１６は画像保存部１１２と同じデータの構成を有するため、説明を省略する。図９に示すように、画像保存部１１２は、カメラ１０２ａにより撮像された２次元画像の撮像動画として、撮像に関する情報を書き込んだインデックスデータ、および、カメラ１０２ａが撮像した撮像フレームを撮像した時刻順に保持する。

画像保存部１１２は、インデックスデータとして、例えば、カメラ１０２ａのシリアル番号、動画生成装置１００に接続された他のカメラ１０２ｂ、１０２ｃのシリアル番号、被写体に対するカメラ１０２ａの位置関係（例えば、距離および角度）を示す情報、および、時刻の情報を保存する。ここで、画像保存部１１２は、時刻の情報として、撮像開始時に画像保持部１３０から通知された時刻、フレームレート、録画時間の長さ、および、他のカメラ１０２ｂ、１０２ｃとの撮像時刻のずれ時間を保存する。なお、画像保存部１１２は、被写体に対するカメラ１０２ａの位置関係を示す情報に代えて、当該カメラ１０２ａに対する他のカメラ１０２ｂ、１０２ｃのそれぞれの相対的な位置関係を示す情報を格納してもよい。

以上により、画像保存部１１２はインデックスデータおよび撮像の時刻順の撮像フレームを保存しているので、カメラ１０２ａの２次元画像の撮像動画を後から取り出して、２次元画像の撮像動画を再生することができる。さらに、他のカメラ１０２ｂ、１０２ｃに接続された画像保持部１１４、１１６からも２次元画像の撮像動画を取り出すことにより、後から、動画生成装置１００が立体動画を再び生成することができる。

図１０は、動画生成装置１００のさらに他の例の構成を示す。図１０に示す動画生成装置１００において、図８に示す動画生成装置１００に対応する構成には、図８の動画生成装置１００と同じ参照番号を付し、説明を省略する。なお、図１０に示す動画生成装置１００には、図８に示す動画生成装置１００と同様に三台のカメラ１０２ａ、１０２ｂ、１０２ｃ、および、一つの時計１２０を備える。

ここで、図１０に示す動画生成装置１００は、図８に示す動画生成装置１００とは異なり、三つのカメラ１０２ａ、１０２ｂ、１０２ｃに接続された画像保持部１３０を備える。これにより、画像保持部１３０は、三つのカメラ１０２ａ、１０２ｂ、１０２ｃがそれぞれ撮像した２次元画像の撮像画像を保存する。

図１１は、画像保持部１３０が保存しているデータの構成を示す概念図である。画像保持部１３０は、画像保存部１１２と同様に、インデックスデータを保存する。さらに、画像保持部１３０は、カメラ１０２ａ、１０２ｂ、１０２ｃ毎に、当該カメラ１０２ａ、１０２ｂ、１０２ｃが撮像した時刻順に撮像フレームを保存する。なお、図１１において、カメラ１０２ａ、１０２ｂ、１０２ｃより撮像された撮像フレームをＡ、Ｂ、Ｃで示した。例えば、図１１に示すように、画像保持部１３０は、カメラ１０２ａの撮像フレームを時刻順に保存するとともに、カメラ１０２ｂ、１０２ｃの撮像フレームをそれぞれ時刻順に保存する。画像保持部１３０は、保存した２次元画像の撮像画像を補間フレーム生成部２０２の求めに応じて補間フレーム生成部２０２に受け渡す。

以上により、画像保持部１３０は、三つのカメラ１０２ａ、１０２ｂ、１０２ｃの２次元画像の撮像動画をカメラ１０２ａ、１０２ｂ、１０２ｃ毎に保存しているので、撮像フレームの並べ替えをすることなく、各カメラ１０２ａ、１０２ｂ、１０２ｃの撮像動画を取り出すことができる。よって、カメラ１０２ａ、１０２ｂ、１０２ｃ毎に、２次元画像の撮像動画を容易に再生することができる。

図１２は、画像保持部１３０が保存しているデータの別の構成を示す概念図である。図１２に示す画像保持部１３０は、図１１に示す画像保持部１３０と同様にインデックスデータを保存する。さらに、図１２に示す画像保持部１３０は、三つのカメラ１０２ａ、１０２ｂ、１０２ｃにおいて撮像した時刻順に、これらのカメラ１０２ａ、１０２ｂ、１０２ｃの撮像動画を保存する。例えば、図１２に示すように、画像保持部１３０は、三つのカメラ１０２ａ、１０２ｂ、１０２ｃがこの順に２次元画像を撮像する場合に、これらが撮像したフレームをＡ、Ｂ、Ｃの順に周期的に並べて保存する。

以上により、画像保持部１３０は、三つのカメラ１０２ａ、１０２ｂ、１０２ｃにおいて撮像した時刻順に、これらのカメラ１０２ａ、１０２ｂ、１０２ｃの撮像動画を保存しているので、時刻が近い撮像フレームは互いに近い順番で保存される。よって、補間フレーム生成部２０２から撮像フレームを要求された場合に、情報を取り出す時間を短くすることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

本発明の一実施形態に係る動画生成装置１００の概要を示す図である。 動画生成装置１００の詳細な構成の一例を示す図である。 動画生成装置１００の動作の一例を説明する図である。 動画生成装置１００の他の例の概要を示す図である。 動画生成装置１００の詳細な構成の一例を示す図である。 動画生成装置１００の動作の一例を説明する図である。 動画生成装置１００を制御するコンピュータ５００の構成の一例を示す図である。 動画生成装置１００の他の例の構成を示す。 画像保存部１１２が保存しているデータの構成を示す概念図である。 動画生成装置１００のさらに他の例の構成を示す。 画像保持部１３０が保存しているデータの構成を示す概念図である。 画像保持部１３０が保存しているデータの別の構成を示す概念図である。

符号の説明

２０ 自動車
２２ 道路
１００ 動画生成装置
１０２ カメラ
１０４ 立体動画生成部
１０６ 表示部
１１２ 画像保存部
１１４ 画像保持部
１１６ 画像保持部
１２０ 時計
１３０ 画像保持部
２０２ 補間フレーム生成部
２０４ 立体オブジェクト生成部
２０６ 動画生成処理部
２０８ オブジェクト変形部
３０２ 撮像動画
３０４ 補間動画
３０６ 立体動画
４０２ 立体オブジェクト
４０４ 立体オブジェクト

Claims (11)

1. 被写体を立体のオブジェクトとして表示する立体動画を生成する動画生成装置であって、
   互いの相対位置が既知の位置に設けられて、他が撮像しないタイミングで被写体を撮像し、間欠的に順次撮像された複数の撮像フレームを含む相補的なタイミングで撮像された２次元画像の撮像動画をそれぞれ生成する３個以上の２次元動画生成部と、
   前記３個以上の２次元動画生成部から、前記相対位置及び前記撮像動画を受け取り、前記撮像動画のフレームレートに前記２次元動画生成部の個数を乗じた大きさの前記撮像動画よりも高いフレームレートを有する前記立体動画を生成する立体動画生成部と
   を備え、
   前記立体動画生成部は、
   前記３個以上の２次元動画生成部のうち少なくとも２個により生成された前記撮像動画に基づき、前記被写体の立体オブジェクトを生成する立体オブジェクト生成部と、
   前記立体オブジェクト生成部が生成した前記立体オブジェクトを、当該２次元動画生成部の相対位置及び当該撮像フレームのそれぞれに基づいて変形させて、当該撮像フレームが撮像されたタイミングにおける前記被写体を示す前記立体オブジェクトを、前記撮像フレームのそれぞれに対応して生成するオブジェクト変形部と、
   前記立体オブジェクト生成部が生成した前記立体オブジェクト、及び、前記オブジェクト変形部が生成した前記立体オブジェクトに基づき、前記立体動画を生成する動画生成処理部と
   を更に有する動画生成装置。
2. 前記立体動画生成部は、
   前記３個以上の２次元動画生成部のひとつにより撮像された２個の前記撮像フレームの間を補間することにより、当該２個の撮像フレームの間に挿入されるべき補間フレームを生成する補間フレーム生成部と、
   前記３個以上の２次元動画生成部のひとつにより撮像された２個の前記撮像フレームの間に挿入された前記補間フレーム、及び前記３個以上の２次元動画生成部の他のひとつにより撮像された１個の前記撮像フレームに基づき、前記被写体の立体オブジェクトを生成する立体オブジェクト生成部と、
   前記立体オブジェクト生成部から順次受け取る前記立体オブジェクトに基づき、前記立体動画を生成する動画生成処理部と
   を有する請求項１に記載の動画生成装置。
3. 前記動画生成処理部は、前記被写体を観察する視点の入力を受け付け、前記立体オブジェクトに基づいて、前記視点から前記被写体を観察した場合の前記立体動画を生成する請求項１または請求項２に記載の動画生成装置。
4. 前記３個以上の２次元動画生成部により生成された前記撮像動画を保存する画像保存部を更に備え、
   前記画像保存部は、前記３個以上の２次元動画生成部毎に、撮像した時刻順で当該２次元動画生成部の前記撮像動画を保存する請求項１から請求項３までのいずれかに記載の動画生成装置。
5. 前記画像保存部が、前記３個以上の２次元動画生成部毎に配され、
   前記３個以上の２次元動画生成部に対して時刻を通知する時刻通知部を更に備える請求項４に記載の動画生成装置。
6. 前記３個以上の２次元動画生成部により生成された前記撮像動画を保存する画像保存部を更に備え、
   前記画像保存部は、前記３個以上の２次元動画生成部において撮像した時刻順に、前記３個以上の２次元動画生成部の前記撮像動画を保存する請求項１から請求項３までのいずれかに記載の動画生成装置。
7. 前記３個以上の２次元動画生成部に対し、時刻を通知する時刻通知部を更に備える請求項１から請求項６までのいずれかに記載の動画生成装置。
8. 前記動画生成処理部は、撮像動画又は撮像動画における撮像フレームと、立体動画における過去のフレームとに基づき、立体動画の新たなフレームを生成する、請求項１から請求項７までのいずれかに記載の動画生成装置。
9. 前記動画生成処理部は、撮像動画における各撮像フレームに基づいて、立体動画のフレームを生成する、請求項１から請求項７までのいずれかに記載の動画生成装置。
10. 被写体を立体のオブジェクトとして表示する立体動画を生成する動画生成方法であって、
    互いの相対位置が既知の位置に設けられた３個以上の２次元動画生成部により、他が撮像しないタイミングで被写体を撮像し、間欠的に順次撮像された複数の撮像フレームを含む相補的なタイミングで撮像された２次元画像の撮像動画をそれぞれ生成する撮像動画生成段階と、
    前記相対位置及び前記撮像動画を受け取り、前記撮像動画のフレームレートに前記２次元動画生成部の個数を乗じた大きさの前記撮像動画よりも高いフレームレートを有する前記立体動画を生成する立体動画生成段階と、
    を備え、
    前記立体動画生成段階は、
    前記３個以上の２次元動画生成部のうち少なくとも２個により生成された前記撮像動画に基づき、前記被写体の立体オブジェクトを生成する立体オブジェクト生成段階と、
    前記立体オブジェクト生成段階で生成した前記立体オブジェクトを、当該２次元動画生成部の相対位置及び当該撮像フレームのそれぞれに基づいて変形させて、当該撮像フレームが撮像されたタイミングにおける前記被写体を示す前記立体オブジェクトを、前記撮像フレームのそれぞれに対応して生成するオブジェクト変形段階と、
    前記立体オブジェクト生成段階で生成した前記立体オブジェクト、及び、前記オブジェクト変形段階で生成した前記立体オブジェクトに基づき、前記立体動画を生成する動画生成処理段階と
    を更に有する動画生成方法。
11. 被写体を立体のオブジェクトとして表示する立体動画を生成する動画生成装置を機能させるプログラムであって、
    互いの相対位置が既知の位置に設けられた３個以上の２次元動画生成部により、他が撮像しないタイミングで被写体を撮像し、間欠的に順次撮像された複数の撮像フレームを含む相補的なタイミングで撮像された２次元画像の撮像動画をそれぞれ生成する撮像動画生成ステップと、
    前記相対位置及び前記撮像動画を受け取り、前記撮像動画のフレームレートに前記２次元動画生成部の個数を乗じた大きさの前記撮像動画よりも高いフレームレートを有する前記立体動画を生成する立体動画生成ステップと、
    を備え、
    前記立体動画生成ステップは、
    前記３個以上の２次元動画生成部のうち少なくとも２個により生成された前記撮像動画に基づき、前記被写体の立体オブジェクトを生成する立体オブジェクト生成ステップと、
    前記立体オブジェクト生成ステップで生成した前記立体オブジェクトを、当該２次元動画生成部の相対位置及び当該撮像フレームのそれぞれに基づいて変形させて、当該撮像フレームが撮像されたタイミングにおける前記被写体を示す前記立体オブジェクトを、前記撮像フレームのそれぞれに対応して生成するオブジェクト変形ステップと、
    前記立体オブジェクト生成ステップで生成した前記立体オブジェクト、及び、前記オブジェクト変形ステップで生成した前記立体オブジェクトに基づき、前記立体動画を生成する動画生成処理ステップと
    を更に有するプログラム。

Images