JP2011015097A - 立体映像記録装置及び立体映像撮影システム - Google Patents

Abstract

【課題】異なる立体映像信号方式における互換性を確保することができる立体映像記録装置を提供する。
【解決手段】立体映像記録装置は、複数の視点からの撮影により得られる複数の映像から第１映像信号方式に基づいて生成された第１立体映像信号を取得するカメラ信号処理部２と、カメラ信号処理部２によって取得された第１立体映像信号を、第１映像信号方式とは異なる第２映像信号方式に基づいて第２立体映像信号に変換する画像処理部３と、画像処理部３によって変換された第２立体映像信号をストレージ６に記録する画像記録部５とを備える。
【選択図】図１

Description

本発明は、立体映像を撮影、記録、再生する立体映像撮影システムにおける立体映像記録装置に関し、特に、撮影及び記録用の映像信号方式から再生用の映像信号方式へ変換して記録する立体映像記録装置及び立体映像撮影システムに関する。

近年の映像表示装置の大画面化、高精細化、及び色表現の豊かさ向上などの技術革新を背景に、立体映像表示システムに関する研究、開発が盛んに行われている。映画やアミューズメント施設などの大規模システムだけでなく、家庭用のテレビ受像機やポータブルな映像再生装置など、立体映像の再生環境は今後急速に立ち上がっていくと考えられている。

再生環境が拡大する一方で、立体映像の撮影及び記録については一般に普及しているとは言い難い。従来、左右両眼視差を利用した立体映像撮影方式として、左眼用映像及び右眼用映像を撮影するための装置を２組用意し、これら２組の装置を並列させ、かつ同期動作させる同期方式がある。あるいは、左眼用映像と右眼用映像とを交互に撮影し１系統の映像として記録する時分割方式、又は、左眼用映像と右眼用映像とを撮像素子上に並列配置するよう光学系を構成し１系統の映像として記録する空間分割方式などが一般的である。

例えば、特許文献１及び特許文献２には、簡単に効率良く立体映像を撮影する技術として光学アダプター装置をビデオカメラに装着し撮影する方法が提案されている。

特許文献１には、左眼用映像と右眼用映像とをビデオカメラの撮像部に透過させるためのプリズムと、プリズムの側面と前面とに設置された１対の液晶シャッターと、プリズム側面の全反射ミラーと、プリズム内のハーフミラーとで構成された光学アダプター装置が記載されている。撮影時にプリズム側面の液晶シャッターと前面の液晶シャッターとを交互に開閉することにより、プリズム前面からの映像と全反射ミラーからの反射による側面からの映像との透過を制御することで、左眼用映像と右眼用映像とを交互にビデオカメラに送る。このように、特許文献１には、時分割方式のシステムが記載されている。

特許文献２には、ビデオカメラのレンズ先端に装着してビデオカメラの撮像素子上に左眼用映像と右眼用映像を結像させるための光学アダプター装置であって、ビデオカメラのレンズ先端開口の左半分を通る光軸と右半分を通る光軸とを相互に角度をなすように折り曲げる１対の光学素子で構成された光学アダプター装置が記載されている。アダプターレンズ中に相互に偏心した２つのレンズ部分が配置されるため、人間が両眼で見ている像と同じ相互に両眼視差をもった映像が空間内に並列配置される。このように、特許文献２には、空間分割方式のシステムが記載されている。

特開２００２−３４４９９７号公報 特開２００２−０４０３６６号公報

しかしながら、上記従来の光学アダプター装置を用いた立体映像記録方法では、光学アダプター装置が提供する撮影用映像信号方式と同一方式で立体映像を記録することになり、他の再生方式に対応することができない。立体映像再生環境の標準方式がまだ確立されていない状況において、複数の再生方式に対応するためには再生方式に応じた光学アダプター装置を別途用意する必要があり、手軽に立体映像を撮影して楽しみたいというユーザ要望を満たせない。

そこで、本発明は、上記従来の課題を解決するものであり、異なる立体映像信号方式を採用する立体映像再生装置においても再生可能となるように立体映像信号を記録することができる立体映像記録装置及び立体映像撮影システムを提供することを目的とする。

上記目的を達成するため、本発明に係る立体映像記録装置は、複数の視点からの撮影により得られる複数の映像から第１映像信号方式に基づいて生成された第１立体映像信号を取得する映像取得部と、前記映像取得部によって取得された第１立体映像信号を、前記第１映像信号方式とは異なる第２映像信号方式に基づいて第２立体映像信号に変換する映像変換部と、前記映像変換部によって変換された第２立体映像信号を記録媒体に記録する映像記録部とを備える。

かかる構成により、立体映像の信号方式を異なる映像信号方式に変換して記録するので、異なる立体映像信号方式間における互換性を確保することができる。したがって、本発明に係る立体映像記録装置が取得した立体映像信号とは異なる立体映像信号方式を採用する立体映像再生装置においても再生可能となるように、取得した立体映像信号を記録することができる。

また、前記第１映像信号方式は、前記複数の映像を時分割で切り換える時分割方式、及び、前記複数の映像を空間的に分割して配置する空間分割方式のいずれか一方であり、前記映像変換部は、前記第１立体映像信号を、前記時分割方式及び前記空間分割方式の他方の方式である前記第２映像信号方式に基づいて、前記第２立体映像信号に変換してもよい。

かかる構成により、立体映像信号方式として空間分割方式から時分割方式への変更と、時分割方式から空間分割方式への変更を行うことができる。

また、前記立体映像記録装置は、さらに、前記第２映像信号方式として、前記時分割方式及び前記空間分割方式のいずれかを選択する方式選択部を備え、前記第１映像信号方式が前記時分割方式であり、かつ、前記方式選択部によって前記第２映像信号方式として前記空間分割方式が選択された場合、前記映像変換部は、第１視点から第１時刻での撮影により得られた第１画像を第１フレームとして含む前記第１立体映像信号を、前記第１フレームの一部として前記第１画像を含む前記第２立体映像信号に変換してもよい。

また、前記映像変換部は、前記映像を構成する複数の画像のサイズを変更する画像リサイズ部を有し、前記立体映像記録装置は、さらに、互いに異なる第１メモリ領域及び第２メモリ領域を含み、１フレーム分の画像を保持可能な画像メモリ領域を有し、前記画像リサイズ部によってサイズ変更された画像を保持するメモリを有し、前記第１映像信号方式が前記時分割方式であり、かつ、前記方式選択部によって前記第２映像信号方式として前記空間分割方式が選択された場合、（１）前記第１立体映像信号は、第１視点から第１時刻での撮影により得られた第１画像を第１フレームとして含み、さらに、第２視点から第２時刻での撮影により得られた第２画像を第２フレームとして含み、（２）前記画像リサイズ部は、前記第１画像のサイズを変更して、サイズ変更した第１画像を前記第１メモリ領域に前記第１フレームの一部として格納し、前記第２画像のサイズを変更して、サイズ変更した第２画像を前記第２メモリ領域に前記第２フレームの一部として格納し、（３）前記映像記録部は、前記第１メモリ領域に格納された第１画像を第１フレームの一部として含み、さらに、前記第２メモリ領域に格納された第２画像を第２フレームの一部として含む前記第２立体映像信号を、前記メモリから読み出して前記記録媒体に記録してもよい。

かかる構成により、時分割方式の立体映像信号に含まれる画像をサイズ変更して、領域分割したメモリに格納することにより、立体映像信号方式として時分割方式から空間分割方式への変更を行うことができる。

また、前記映像記録部は、前記第１フレームの一部として前記第１メモリ領域に格納された第１画像と前記第２メモリ領域に格納された第２画像とを、前記第２フレームとして含む前記第２立体映像信号を、前記メモリから読み出して前記記録媒体に記録してもよい。

かかる構成により、時分割方式の立体映像信号と同じ時間解像度で、空間分割方式への変更を行うことができる。

また、前記メモリは、複数の前記画像メモリ領域を有し、前記画像リサイズ部は、前記第１画像のサイズを変更して、サイズ変更した第１画像を複数の前記画像メモリ領域の１つである第１画像メモリ領域の第１メモリ領域に前記第１フレームの一部として格納し、前記第２画像のサイズを変更して、サイズ変更した第２画像を複数の前記画像メモリ領域の１つである第２画像メモリ領域の第２メモリ領域に前記第１フレームの一部として格納し、前記映像変換部は、さらに、前記第１画像メモリ領域の第１メモリ領域に格納された第１画像を用いて補間画像を生成し、生成した補間画像を前記第２画像メモリ領域の第１メモリ領域に格納する画像補間部を有してもよい。

かかる構成により、空間分割方式で記録する場合の時間解像度が上がり、より高画質な立体映像信号を記録することができる。

また、前記立体映像記録装置は、さらに、前記第２映像信号方式として、前記時分割方式及び前記空間分割方式のいずれかを選択する方式選択部を備え、前記第１映像信号方式が前記空間分割方式であり、かつ、前記方式選択部によって前記第２映像信号方式として前記時分割方式が選択された場合、前記映像変換部は、第１視点及び第２視点のそれぞれから第１時刻での撮影により得られた第１画像及び第２画像を第１フレームとして含む前記第１立体映像信号を、前記第１画像及び前記第２画像のうち前記第１画像のみを前記第１フレームとして含む前記第２立体映像信号に変換してもよい。

かかる構成により、空間分割方式の立体映像信号に含まれる画像をサイズ変更して、メモリに格納することにより、立体映像信号方式として空間分割方式から時分割方式への変更を行うことができる。

また、前記映像変換部は、前記映像を構成する複数の画像のサイズを変更する画像リサイズ部を有し、前記立体映像記録装置は、さらに、互いに異なる第１メモリ領域及び第２メモリ領域を含み、少なくとも１フレーム分の画像を保持可能な画像メモリ領域を有し、前記画像リサイズ部によってサイズ変更された画像を保持するメモリを有し、前記第１映像信号方式が前記空間分割方式であり、かつ、前記方式選択部によって前記第２映像信号方式として前記時分割方式が選択された場合、（１）前記第１立体映像信号は、第１視点及び第２視点のそれぞれから第１時刻での撮影により得られた第１画像及び第２画像を第１フレームとして含み、さらに、前記第１視点及び前記第２視点のそれぞれから第２時刻での撮影により得られた第３画像及び第４画像を第２フレームとして含み、（２）前記画像リサイズ部は、前記第１画像のサイズを変更して、サイズ変更した第１画像を前記画像メモリ領域に前記第１フレームとして格納し、前記第４画像のサイズを変更して、サイズ変更した第４画像を前記画像メモリ領域に前記第２フレームとして格納し、（３）前記映像記録部は、前記画像メモリ領域に格納された第１画像を第１フレームとして含み、さらに、前記画像メモリ領域に格納された第２画像を第２フレームとして含む前記第２立体映像信号を、前記メモリから読み出して前記記録媒体に記録してもよい。

また、前記映像取得部は、前記第２立体映像信号に含まれる画像の画素数よりも大きな画素数を有し、入射した光を撮像することで前記第１立体映像信号を取得する撮像素子を備え、前記画像リサイズ部は、前記第１画像及び前記第４画像を縮小し、縮小した第１画像及び第４画像をそれぞれ前記画像メモリ領域に格納してもよい。

かかる構成により、時分割方式で記録する場合に空間解像度が上がり、より高画質な立体映像信号を記録することができる。

また、本発明に係る立体映像撮影システムは、上記の立体映像記録装置と、前記複数の視点に対応する複数のレンズを備え、当該複数のレンズを通過する光を前記第１映像信号方式に従って前記映像取得部に出力する光学アダプター装置とを備える。

かかる構成により、既存のビデオカメラシステムに立体映像撮影機能をアドオンすることができる。

本発明に係る立体映像記録装置によれば、異なる立体映像信号方式を採用する立体映像再生装置においても再生可能となるように立体映像信号を記録することができるという優れた効果が得られる。

本実施の形態に係る立体映像記録装置の構成の一例を示すブロック図である。 時分割方式のレンズ部の一例の詳細を示すブロック図である。 空間分割方式のレンズ部の一例の詳細を示すブロック図である。 時分割方式での撮影により生成された映像信号の一例を示す模式図である。 空間分割方式での撮影により生成された映像信号の一例を示す模式図である。 時分割映像信号から空間分割映像信号への変換動作の一例を示す模式図である。 時分割映像信号から空間分割映像信号への変換動作の一例を示す模式図である。 空間分割映像信号から時分割映像信号への変換動作の一例を示す模式図である。 空間分割映像信号から時分割映像信号への変換動作における画像リサイズ処理の一例を示す模式図である。 空間分割映像信号から時分割映像信号への変換動作における画像リサイズ処理の一例を示す模式図である。 本実施の形態に係る立体映像撮影システムの一例であるデジタルカメラの外観図である。

以下、本発明に係る立体映像記録装置の実施の形態について、図面を参照しながら説明する。

本実施の形態に係る立体映像記録装置は、複数の視点からの撮影により得られた複数の映像から第１映像信号方式に基づいて生成された第１立体映像信号を取得する映像取得部と、映像取得部によって取得された第１立体映像信号を、第１映像信号方式とは異なる第２映像信号方式に基づいて第２立体映像信号に変換する映像変換部と、映像変換部によって変換された第２立体映像信号を記録媒体に記録する映像記録部とを備えることを特徴とする。

図１は、本実施の形態に係る立体映像記録装置１００のシステム構成の一例を示すブロック図である。立体映像記録装置１００は、レンズ部１と、カメラ信号処理部２と、画像処理部３と、メモリ４と、画像記録部５と、ストレージ６と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７とを備えている。

レンズ部１は、左右両眼視差のある映像である立体映像を撮影するための着脱可能な光学アダプター装置である。具体的には、レンズ部１は、図２Ａに示すように時分割方式で映像を取り込むレンズ部１ａと、図２Ｂに示すように空間分割方式で映像を取り込むレンズ部１ｂとのいずれかを選択して装着する。なお、時分割方式は、立体映像信号方式の一例であって、複数の映像を時分割で切り替える方式である。また、空間分割方式は、立体映像信号方式の一例であって、１フレームを空間的に分割して、分割した領域に複数の映像を配置する方式である。

時分割方式のレンズ部１ａは、右眼用映像を撮影するためのレンズである右眼光学系１Ｒａと、左眼用映像を撮影するためのレンズである左眼光学系１Ｌａと、右眼用映像と左眼用映像とを切り替えるための液晶シャッター１０とを備える。

液晶シャッター１０が、所定の時間（例えば、フレームレートの逆数）毎に右眼用映像と左眼用映像とを交互に切り換えることで、レンズ部１ａは、図１に示すカメラ信号処理部２に出力する。例えば、図３Ａに示すように、左眼用映像に含まれる左眼用画像Ｌ１及びＬ３と、右眼用映像に含まれる右眼用画像Ｒ２及びＲ４とがカメラ信号処理部２に出力される。このように、レンズ部１ａでは、左眼用映像と右眼用映像とが時分割方式で交互にカメラ信号処理部２へ渡される。

なお、以下では、時分割方式に基づいて生成された立体映像信号を時分割映像信号とも記載する。つまり、時分割映像信号は、第１視点から第１時刻での撮影により得られた第１画像を第１フレームとして含み、さらに、第２視点から第２時刻での撮影により得られた第２画像を第２フレームとして含む映像信号である。より具体的には、図３Ａに示すように、時分割映像信号は、左眼光学系１Ｌａから時刻Ｔ１での撮影により得られた左眼用画像Ｌ１と、右眼光学系１Ｒａから時刻Ｔ２での撮影により得られた右眼用画像Ｒ２とを含んでいる。このように、時分割方式では、１つのフレームが、１つの視点からの撮影により得られた１つの画像（例えば、左眼用画像又は右眼用画像）で構成される。

空間分割方式のレンズ部１ｂは、ビデオカメラ側レンズ（図示せず）の左半分を通る光軸に角度をなすよう折り曲げる左眼光学系１Ｌｂと、右半分を通る光軸に角度をなすよう折り曲げる右眼光学系１Ｒｂとを備える。

左眼光学系１Ｌｂと右眼光学系１Ｒｂとは、並列に配置される。このため、図３Ｂに示すように、カメラ信号処理部２が備える撮像素子２１上に左眼用画像と右眼用画像とが並列に結像するような空間分割方式でカメラ信号処理部２へ渡される。

なお、以下では、空間分割方式に基づいて生成された立体映像信号を空間分割映像信号とも記載する。つまり、空間分割映像信号は、第１視点及び第２視点のそれぞれから第１時刻での撮影により得られた第１画像及び第２画像を第１フレームとして含み、さらに、第１視点及び第２視点のそれぞれから第２時刻での撮影により得られた第３画像及び第４画像を第２フレームとして含む映像信号である。より具体的には、図３Ｂに示すように、空間分割映像信号は、左眼光学系１Ｌｂ及び右眼光学系１Ｒｂのそれぞれから時刻Ｔ１での撮影により得られた左眼用画像Ｌ１と右眼用画像Ｒ１とを含み、さらに、左眼光学系１Ｌｂ及び右眼光学系１Ｒｂのそれぞれから時刻Ｔ２での撮影により得られた左眼用画像Ｌ２と右眼用画像Ｒ２とを含んでいる。このように、空間分割方式では、１つのフレームが、２つの視点のそれぞれからの撮影により得られた２つの画像が並列配置された画像で構成される。

カメラ信号処理部２は、被写体光をデジタル信号に変換する処理部である。カメラ信号処理部２は、撮像素子２１と、アナログ処理部２２と、デジタル処理部２３とを備える。カメラ信号処理部２は、これらの処理部を備えることで、取得した映像の画像調整も行う。

撮像素子２１は、レンズ部１を通過した被写体光を光電変換し、画像信号を出力する。アナログ処理部２２は、撮像素子２１から出力されるアナログの画像信号にノイズ低減やゲイン制御、Ａ／Ｄ変換などの各種処理を実施する。デジタル処理部２３は、アナログ処理部２２によってデジタル化された画像信号に対してホワイトバランス処理やＹ／Ｃ変換処理を行う。

以上に示すレンズ部１とカメラ信号処理部２とは、映像取得部に相当し、複数の視点からの撮影により得られた複数の映像から所定の立体映像信号方式に基づいて立体映像信号を生成する。

画像処理部３は、映像変換部に相当し、映像取得部によって生成された立体映像信号を、当該立体映像信号の立体映像信号方式とは異なる立体映像信号方式に基づいて、新たな立体映像信号に変換する。具体的には、画像処理部３は、カメラ信号処理部２によって変換されたデジタル信号を、画像記録部５によって記録するための画像形式に変換する処理部である。画像処理部３は、画像リサイズ部３１と、画像補間部３２とを備える。

画像リサイズ部３１は、画像のサイズを変更する処理部であって、電子的な拡大／縮小処理を行う。画像補間部３２は、時刻の異なる画像データから元の映像に存在しない画像を仮想的に合成する。

メモリ４は、画像処理部３によって変換された画像を一時的に格納する記憶部の一例である。メモリ４は、画像メモリ４１と、エンコードバッファ４２とを備える。なお、画像メモリ４１とエンコードバッファ４２とは、物理的に異なるメモリでもよく、あるいは、１つのメモリを論理的に２つに分離して用いてもよい。

画像メモリ４１は、画像リサイズ部３１によって拡大／縮小処理された画像や画像補間部３２によってフレーム補間された画像を格納するメモリである。画像メモリ４１は、互いに異なる第１メモリ領域と第２メモリ領域とを含み、少なくとも１フレーム分の画像を保持可能な画像メモリ領域を有する。第１メモリ領域及び第２メモリ領域は、後述するように、例えば、左眼用画像領域と右眼用画像領域とである。エンコードバッファ４２は、画像メモリ４１に格納された画像データを画像圧縮する際の中間データや圧縮済みデータを格納するバッファメモリである。

画像記録部５は、映像記録部に相当し、変換により得られた新たな立体映像信号を記録媒体に記録する。具体的には、画像記録部５は、メモリ４に一時的に格納された画像データを圧縮し記録する処理部である。画像記録部５は、エンコーダ５１と、ストレージ制御部５２とを備える。

エンコーダ５１は、メモリ４が備える画像メモリ４１に格納された画像データを所定のフォーマットに圧縮する。エンコーダ５１は、圧縮したデータをエンコードバッファ４２に格納する。ストレージ制御部５２は、エンコーダ５１により圧縮されたエンコードバッファ４２のデータをストレージ６に格納する。

ストレージ６は、圧縮された画像データを格納する記録媒体の一例であって、例えば、ＳＤカード、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などである。ストレージ６は、立体映像記録装置１００に着脱可能であってもよい。

ＣＰＵ７は、立体映像信号の変換の制御など、立体映像記録装置１００全体を統括的に制御する処理部である。ＣＰＵ７は、変換方式選択部７１と、全体制御部７２とを備える。

変換方式選択部７１は、カメラ信号処理部２から入力される立体映像信号形式から、画像記録部５へ出力する立体映像信号形式へ変換する方式を選択する。全体制御部７２は、変換方式選択部７１で選択された変換方式に応じて全体制御を行う。

例えば、ユーザは、モード設定画面にて立体映像入力信号形式と立体映像記録信号形式とをユーザ自身の使用環境に応じて設定し、変換方式選択部７１は、設定された信号形式の組み合わせに応じて変換方式を選択する。例えば、取得した立体映像信号の立体映像信号方式が時分割方式の場合に、変換方式選択部７１は、時分割方式から空間分割方式への変換を選択する。あるいは、取得した立体映像信号の立体映像信号方式が空間分割方式の場合に、変換方式選択部７１は、空間分割方式から時分割方式への変換を選択する。このように、変換方式選択部７１は、ユーザの設定に基づいて、変換後の立体映像信号の変換方式を選択する。

なお、本実施の形態に係る立体映像記録装置１００は、モード設定画面を表示させるためのディスプレイ（図示せず）及びユーザ操作を受け付ける操作受付部（図示せず）を備えていてもよい。

なお、例えば、画像処理部３、画像記録部５、及びＣＰＵ７は、ＳｏＣ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ）回路として形成され、デジタル処理部２３は、ＳｏＣの外部に接続されるカメラ信号処理ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で実現される。ただし、この形式に限定されるものではなくデジタル処理部２３も含んだ形でＳｏＣ回路を形成しても構わない。

また、レンズ部１は、着脱可能な光学アダプター装置としているが、立体映像記録装置１００に内蔵された時分割方式又は空間分割方式の撮影レンズでもよい。

次に、画像処理部３の動作についてより具体的に説明する。まずは、変換方式選択部７１が、時分割映像信号を空間分割映像信号に変換する方式を選択した場合における画像処理部３の動作について説明する。

時分割映像信号を空間分割映像信号に変換する場合、画像処理部３は、時分割映像信号を構成する所定のフレームの画像をサイズ変更して、サイズ変更した画像を同一フレームの一部として含むような空間分割映像信号を生成する。同一フレームの残りの領域には、他の視点からの撮影により得られた画像であって、サイズ変更された画像が配置されている。具体的には、以下の通りである。

図４は、カメラ信号処理部２からの時分割映像信号を、画像リサイズ部３１が空間分割映像信号に変換し画像メモリ４１に格納する動作を示す図である。

カメラ信号処理部２から、時刻Ｔ１に撮像された左眼用画像Ｌ１、時刻Ｔ２に撮像された右眼用画像Ｒ２、時刻Ｔ３に撮像された左眼用画像Ｌ３、時刻Ｔ４に撮像された右眼用画像Ｒ４というように、１／６０秒周期で交互に左眼用画像と右眼用画像とが入力される。したがって、左眼用画像と右眼用画像のそれぞれの時間解像度は、１／３０秒となっている。

画像リサイズ部３１は、左眼用画像Ｌ１を水平方向に１／２縮小し、時刻Ｔ１用の画像メモリ領域を半分に分割した左眼用画像領域ＭＬ１に格納する。同様に、右眼用画像Ｒ２を水平方向に１／２縮小し、時刻Ｔ２用の画像メモリ領域を半分に分割した右眼用画像領域ＭＲ２に格納する。

時刻Ｔ２用の画像メモリ領域における左眼用画像領域ＭＬ２には格納すべき時刻Ｔ２の左眼用画像が存在しないため、時刻Ｔ１の左眼用画像領域ＭＬ１に格納した画像と同じデータを時刻Ｔ２の左眼用画像領域ＭＬ２に再格納する。これにより、１系統の時分割映像信号から空間分割映像信号に変換することができる。このとき空間分割映像信号に変換された左眼用画像と右眼用画像のそれぞれの時間解像度は、１／３０秒となる。

なお、画像メモリ４１は、１フレーム分の画像データを格納する画像メモリ領域を複数有し、撮影された時刻に基づいて、フレーム毎に複数の画像メモリ領域のそれぞれに画像データを格納する構成について説明したが、画像メモリ４１は、画像メモリ領域を１つのみ有していてもよい。

例えば、画像リサイズ部３１は、まず、時刻Ｔ１の左眼用画像Ｌ１を縮小して左眼用画像領域に格納する。画像記録部５は、時刻Ｔ１の画像として画像メモリ領域から縮小された左眼用画像Ｌ１を含む画像を読み出す。次に、画像リサイズ部３１は、時刻Ｔ２の右眼用画像Ｒ２を縮小して右眼用画像領域に格納する。画像記録部５は、時刻Ｔ２の画像として画像メモリ領域から縮小された左眼用画像Ｌ１と右眼用画像Ｒ２とを含む画像を読み出す。さらに、画像リサイズ部３１は、時刻Ｔ３の左眼用画像Ｌ３を縮小して左眼用画像領域に格納する。

以上の処理を繰り返すことで、時分割映像信号から空間分割映像信号に変換することができる。なお、この場合、時刻Ｔ２の左眼用画像領域に時刻Ｔ１の左眼用画像Ｌ１を再格納しなくて済む。

続いて、画像補間部３２がフレーム補間を行う場合の動作について説明する。画像補間部３２は、同一の視点からの撮影により得られた複数の画像から、時間的に間に位置する画像を生成する。例えば、時刻Ｔ１の左眼用画像と時刻Ｔ３の左眼用画像とから時刻Ｔ２の左眼用画像を生成する。具体的には、以下の通りである。

図５は、さらに画像補間部３２がフレーム補間を行う場合の動作を示す図である。

カメラ信号処理部２から、時分割映像信号として、図４と同様に１／６０秒周期で交互に左眼用画像と右眼用画像とが入力される。画像リサイズ部３１は、時刻Ｔ１に撮像された左眼用画像Ｌ１を水平方向に１／２縮小し、時刻Ｔ１用の画像メモリ領域を半分に分割した左眼用画像領域ＭＬ１に格納する。時刻Ｔ２に撮像された右眼用画像Ｒ２を水平方向に１／２縮小し、時刻Ｔ２用の画像メモリ領域を半分に分割した右眼用画像領域ＭＲ２に格納する。さらに、時刻Ｔ３に撮像された左眼用画像Ｌ３を水平方向に１／２縮小し、時刻Ｔ３用の画像メモリ領域の左眼用画像領域ＭＬ３に格納する。

画像補間部３２は、時刻Ｔ１用の画像データと時刻Ｔ３用の画像データが揃った時点で、左眼用画像領域ＭＬ１とＭＬ３の左眼用画像から、時刻Ｔ２の画像データをフレーム補間処理にて生成し、時刻Ｔ２用の画像メモリを半分に分割した左眼用画像領域ＭＬ２に格納する。こうすることで、１系統の時分割映像信号から空間分割映像信号に変換する際に、左眼用画像と右眼用画像の時間解像度を１／６０秒に向上させることができる。

フレーム補間処理は、２つの画像間の動きを検出し、検出した動きの中間に当たる補間画像を生成する処理である。例えば、左眼用画像領域ＭＬ１に格納された左眼用画像と左眼用画像領域ＭＬ３に格納された左眼用画像との間で動きベクトルを検出し、検出した動きベクトルの大きさが半分となる補間用動きベクトルを用いて、時刻Ｔ２の画像データとして補間画像を生成する。

なお、図４及び図５において、全画像領域を水平方向に１／２縮小するよう説明したが、アスペクト比を変えないように特定の領域を切り出して１／２サイズの画像を生成してもよい。また、縮小と切り出しとを組み合わせても構わない。

図６は、カメラ信号処理部２からの空間分割映像信号を、画像リサイズ部３１が時分割映像信号に変換し画像メモリ４１に格納する動作を示す図である。

カメラ信号処理部２から、時刻Ｔ１に撮像された左眼用画像Ｌ１及び右眼用画像Ｒ１、時刻Ｔ２に撮像された左眼用画像Ｌ２及び右眼用画像Ｒ２というように、１／６０秒周期で左右両眼視差のある画像が、空間分割映像信号として入力される。

画像リサイズ部３１は、時刻Ｔ１に撮像された両眼視差画像のうち左眼用画像Ｌ１を水平方向に２倍拡大し、時刻Ｔ１用の画像メモリ領域ＭＬ１に格納する。同様に、時刻Ｔ２に撮像された両眼視差画像のうち右眼用画像Ｒ２を水平方向に２倍拡大し、時刻Ｔ２用の画像メモリ領域ＭＲ２に格納する。以上のように、１系統の空間分割映像信号から時分割方式映像信号に変換することができる。なお、このとき時分割映像信号に変換された左眼用画像と右眼用画像の時間解像度は、１／３０秒となる。

図７は、空間分割映像信号から時分割映像信号に変換する場合における画像リサイズ部３１のサイズ変更処理の一例を示す図である。以下では説明を簡単にするため、撮像素子２１の画素数を８画素×８画素の６４画素、動画記録の画素数も撮像素子２１と同じ８画素×８画素の６４画素とする。

カメラ信号処理部２から入力される画像は、水平４画素×垂直８画素の３２画素からなる左眼用画像７００Ｌと、同様に水平４画素×垂直８画素の３２画素からなる右眼用画像７００Ｒとで構成される。画像リサイズ部３１は、例えば、右眼用画像７００Ｒに対して水平方向に２倍拡大することで、水平８画素×垂直８画素の６４画素の画像を生成し、生成した画像を画像メモリ領域７００ＭＲに格納する。ここで、画像メモリ領域７００ＭＲに格納される画像の画素数は６４画素存在するが、変換前の画像は水平４画素の画像であるため、画像メモリ領域７００ＭＲに格納される画像の水平方向の空間解像度は４画素分しか存在しない。

図８は、撮像素子２１として立体映像信号に含まれる画像の画素数より大きな画素数を有する高精細な撮像素子を用いた場合における画像リサイズ部３１のサイズ変更処理の一例を示す図である。以下では説明を簡単にするため、撮像素子２１の画素数を１６画素×１６画素の２５６画素、動画記録の画素数は８画素×８画素の６４画素とする。

カメラ信号処理部２から入力される画像は、水平８画素×垂直１６画素の１２８画素からなる左眼用画像８００Ｌと、同様に水平８画素×垂直１６画素の１２８画素からなる右眼用画像８００Ｒとで構成される。画像リサイズ部３１は、例えば、右眼用画像８００Ｒに対して垂直方向に１／２縮小することで、８画素×８画素の６４画素の画像を生成し、画像メモリ領域８００ＭＲに格納する。ここで、画像メモリ領域８００ＭＲに格納される画像の画素数は６４画素存在し、変換前の画像が水平８画素の画像であるため水平方向の空間解像度は８画素であり、垂直１６画素の画像から垂直８画素の画像を生成するため垂直方向の空間解像度も８画素分確保できる。このため、より高画質な立体映像を記録することができる。

以上、本発明に係る立体映像記録装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものも、本発明の範囲内に含まれる。

例えば、図４〜図８において、空間分割方式として左右に画像を並列配置する例を示したが、上下に画像を並列配置する構成でも構わないし、左右の画像入れ替えや上下の画像入れ替えを行った構成でも構わない。また、画像の処理周期や時間解像度を限定するものでもない。

また、本実施の形態において、時分割方式と空間分割方式とを変換する動作のみを説明しているが、入力された映像方式に対して変換処理を実施せずに記録することも当然可能である。

つまり、本実施の形態では、取得した立体映像信号が時分割映像信号であった場合、時分割映像信号を空間分割映像信号に変換してストレージ６に記録する構成について説明したが、変換前の時分割映像信号もストレージ６に記録してもよい。逆に、取得した立体映像信号が空間分割映像信号であった場合も同様に、映像信号方式を変換前の空間分割映像信号もストレージ６に記録してもよい。これにより、立体映像再生装置が、時分割方式及び空間分割方式のいずれに対応している場合であっても、取得した立体映像信号を再生することができる。

また、本実施の形態では、立体映像記録装置１００がレンズ部１を備え、図９に示すデジタルカメラ９００のような立体映像撮影システムとして説明したが、レンズ部１及びカメラ信号処理部２を備えていなくてもよい。つまり、レンズ部１及びカメラ信号処理部２に相当する構成要素を備える他の立体映像撮影装置から立体映像信号を取得し、ストレージ６に記録してもよい。

また、本発明は、上述したように、立体映像記録装置として実現できるだけではなく、立体映像記録装置を構成する各処理部をステップとする立体映像記録方法として実現することもできる。また、この立体映像記録方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。

また、本発明は、立体映像記録装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。例えば、図１に示す立体映像記録装置１００のうち、レンズ部１を除く構成を集積回路として実現することができる。

本発明に係る立体映像記録装置は、民生用ビデオカメラや監視カメラ、車載カメラなどの分野で有用である。

１、１ａ、１ｂ レンズ部
１Ｌａ、１Ｌｂ 左眼光学系
１Ｒａ、１Ｒｂ 右眼光学系
２ カメラ信号処理部
３ 画像処理部
４ メモリ
５ 画像記録部
６ ストレージ
７ ＣＰＵ
１０ 液晶シャッター
２１ 撮像素子
２２ アナログ処理部
２３ デジタル処理部
３１ 画像リサイズ部
３２ 画像補間部
４１ 画像メモリ
４２ エンコードバッファ
５１ エンコーダ
５２ ストレージ制御部
７１ 変換方式選択部
７２ 全体制御部
１００ 立体映像記録装置
７００Ｌ、８００Ｌ 左眼用画像
７００Ｒ、８００Ｒ 右眼用画像
７００ＭＲ、８００ＭＲ 画像メモリ領域
９００ デジタルカメラ

Claims (10)

1. 複数の視点からの撮影により得られる複数の映像から第１映像信号方式に基づいて生成された第１立体映像信号を取得する映像取得部と、
   前記映像取得部によって取得された第１立体映像信号を、前記第１映像信号方式とは異なる第２映像信号方式に基づいて第２立体映像信号に変換する映像変換部と、
   前記映像変換部によって変換された第２立体映像信号を記録媒体に記録する映像記録部とを備える
   立体映像記録装置。
2. 前記第１映像信号方式は、前記複数の映像を時分割で切り換える時分割方式、及び、前記複数の映像を空間的に分割して配置する空間分割方式のいずれか一方であり、
   前記映像変換部は、前記第１立体映像信号を、前記時分割方式及び前記空間分割方式の他方の方式である前記第２映像信号方式に基づいて、前記第２立体映像信号に変換する
   請求項１記載の立体映像記録装置。
3. 前記立体映像記録装置は、さらに、
   前記第２映像信号方式として、前記時分割方式及び前記空間分割方式のいずれかを選択する方式選択部を備え、
   前記第１映像信号方式が前記時分割方式であり、かつ、前記方式選択部によって前記第２映像信号方式として前記空間分割方式が選択された場合、
   前記映像変換部は、第１視点から第１時刻での撮影により得られた第１画像を第１フレームとして含む前記第１立体映像信号を、前記第１フレームの一部として前記第１画像を含む前記第２立体映像信号に変換する
   請求項２記載の立体映像記録装置。
4. 前記映像変換部は、
   前記映像を構成する複数の画像のサイズを変更する画像リサイズ部を有し、
   前記立体映像記録装置は、さらに、
   互いに異なる第１メモリ領域及び第２メモリ領域を含み、１フレーム分の画像を保持可能な画像メモリ領域を有し、前記画像リサイズ部によってサイズ変更された画像を保持するメモリを有し、
   前記第１映像信号方式が前記時分割方式であり、かつ、前記方式選択部によって前記第２映像信号方式として前記空間分割方式が選択された場合、
   （１）前記第１立体映像信号は、第１視点から第１時刻での撮影により得られた第１画像を第１フレームとして含み、さらに、第２視点から第２時刻での撮影により得られた第２画像を第２フレームとして含み、
   （２）前記画像リサイズ部は、前記第１画像のサイズを変更して、サイズ変更した第１画像を前記第１メモリ領域に前記第１フレームの一部として格納し、前記第２画像のサイズを変更して、サイズ変更した第２画像を前記第２メモリ領域に前記第２フレームの一部として格納し、
   （３）前記映像記録部は、前記第１メモリ領域に格納された第１画像を第１フレームの一部として含み、さらに、前記第２メモリ領域に格納された第２画像を第２フレームの一部として含む前記第２立体映像信号を、前記メモリから読み出して前記記録媒体に記録する
   請求項３記載の立体映像記録装置。
5. 前記映像記録部は、前記第１フレームの一部として前記第１メモリ領域に格納された第１画像と前記第２メモリ領域に格納された第２画像とを、前記第２フレームとして含む前記第２立体映像信号を、前記メモリから読み出して前記記録媒体に記録する
   請求項４記載の立体映像記録装置。
6. 前記メモリは、複数の前記画像メモリ領域を有し、
   前記画像リサイズ部は、前記第１画像のサイズを変更して、サイズ変更した第１画像を複数の前記画像メモリ領域の１つである第１画像メモリ領域の第１メモリ領域に前記第１フレームの一部として格納し、前記第２画像のサイズを変更して、サイズ変更した第２画像を複数の前記画像メモリ領域の１つである第２画像メモリ領域の第２メモリ領域に前記第１フレームの一部として格納し、
   前記映像変換部は、さらに、
   前記第１画像メモリ領域の第１メモリ領域に格納された第１画像を用いて補間画像を生成し、生成した補間画像を前記第２画像メモリ領域の第１メモリ領域に格納する画像補間部を有する
   請求項４記載の立体映像記録装置。
7. 前記立体映像記録装置は、さらに、
   前記第２映像信号方式として、前記時分割方式及び前記空間分割方式のいずれかを選択する方式選択部を備え、
   前記第１映像信号方式が前記空間分割方式であり、かつ、前記方式選択部によって前記第２映像信号方式として前記時分割方式が選択された場合、
   前記映像変換部は、第１視点及び第２視点のそれぞれから第１時刻での撮影により得られた第１画像及び第２画像を第１フレームとして含む前記第１立体映像信号を、前記第１画像及び前記第２画像のうち前記第１画像のみを前記第１フレームとして含む前記第２立体映像信号に変換する
   請求項２記載の立体映像記録装置。
8. 前記映像変換部は、
   前記映像を構成する複数の画像のサイズを変更する画像リサイズ部を有し、
   前記立体映像記録装置は、さらに、
   互いに異なる第１メモリ領域及び第２メモリ領域を含み、少なくとも１フレーム分の画像を保持可能な画像メモリ領域を有し、前記画像リサイズ部によってサイズ変更された画像を保持するメモリを有し、
   前記第１映像信号方式が前記空間分割方式であり、かつ、前記方式選択部によって前記第２映像信号方式として前記時分割方式が選択された場合、
   （１）前記第１立体映像信号は、第１視点及び第２視点のそれぞれから第１時刻での撮影により得られた第１画像及び第２画像を第１フレームとして含み、さらに、前記第１視点及び前記第２視点のそれぞれから第２時刻での撮影により得られた第３画像及び第４画像を第２フレームとして含み、
   （２）前記画像リサイズ部は、前記第１画像のサイズを変更して、サイズ変更した第１画像を前記画像メモリ領域に前記第１フレームとして格納し、前記第４画像のサイズを変更して、サイズ変更した第４画像を前記画像メモリ領域に前記第２フレームとして格納し、
   （３）前記映像記録部は、前記画像メモリ領域に格納された第１画像を第１フレームとして含み、さらに、前記画像メモリ領域に格納された第２画像を第２フレームとして含む前記第２立体映像信号を、前記メモリから読み出して前記記録媒体に記録する
   請求項７記載の立体映像記録装置。
9. 前記映像取得部は、
   前記第２立体映像信号に含まれる画像の画素数よりも大きな画素数を有し、入射した光を撮像することで前記第１立体映像信号を取得する撮像素子を備え、
   前記画像リサイズ部は、
   前記第１画像及び前記第４画像を縮小し、縮小した第１画像及び第４画像をそれぞれ前記画像メモリ領域に格納する
   請求項８記載の立体映像記録装置。
10. 請求項１〜９のいずれか１項に記載の立体映像記録装置と、
    前記複数の視点に対応する複数のレンズを備え、当該複数のレンズを通過する光を前記第１映像信号方式に従って前記映像取得部に出力する光学アダプター装置とを備える
    立体映像撮影システム。

Images