JP2011024003A - 立体動画記録方法および装置、動画ファイル変換方法および装置 - Google Patents

Abstract

【課題】立体動画の良好な表示画質、立体動画を構成する各視点の画像間の正確な視差量の算出、および確実な表示同期性を実現する。
【解決手段】視差量算出部４６は、同じタイミングで撮像された左右画像ＧＬ、ＧＲに映る同一の主要被写体の視差量を算出する。メディアコントローラ４１は、同じタイミングで撮像された左右画像ＧＬ、ＧＲを圧縮伸張処理部４０でＪＰＥＧ圧縮したデータ、および視差量算出部４６で算出した視差量の情報を一まとまりのブロックとする動画ファイルをメモリカード１９に記録する。
【選択図】図６

Description

本発明は、立体動画記録方法および装置、動画ファイル変換方法および装置に関する。

多視点、例えば二視点で動画撮影した左右画像を用いて立体動画を表示する技術が知られている。従来、立体動画の記録方式としては、左右画像を一水平走査毎に交互に合成し、合成した画像をＭＰＥＧ形式で圧縮するもの（特許文献１参照）や、１ＧＯＰ以上のフレーム数のフレーム群が左右交互に配置されるように、左右画像をＭＰＥＧ形式で圧縮して一つのファイルにインターリーブ記録するもの（特許文献２参照）が提案されている。この他にも、モーションＪＰＥＧ形式で左右画像を別々のファイルに圧縮し、タイムスタンプで左右画像の表示時の同期をとるものがある。

特開平０８−０７０４７５号公報 国際公開第９７／０３２４３７号

特許文献１、２で採用しているＭＰＥＧ圧縮は、動き予測によるフレーム相関演算でいわゆるＢ、Ｐフレームを生成するが、Ｂ、Ｐフレームの立体動画を静止画表示すると、圧縮歪みが目立ち立体表示に支障を来す。

また、従来、立体動画の観察者の視覚疲労を軽減するため、左右画像に映る主要被写体（例えば人物の顔や画像中央にある被写体）間の視差量（画素ずれ量）を求め、立体動画を表示する際に主要被写体の視差量をゼロにする補正を行っているが、ＭＰＥＧ圧縮を採用した場合はフレーム相関演算をする必要があるため、さらに視差量の算出をすると処理が煩雑になるうえ、Ｂ、Ｐフレームの視差量は正確さに欠ける。

他方、モーションＪＰＥＧ形式で左右画像を別々のファイルに圧縮する場合は、タイムスタンプの厳密な正確性が求められる。タイムスタンプが少しでもずれると、まともな立体動画を表示することができなくなる。

本発明は、上記背景を鑑みてなされたものであり、その目的は、立体動画の良好な表示画質、立体動画を構成する各視点の画像間の正確な視差量の算出、および確実な表示同期性を実現することにある。

上記目的を達成するために、本発明の立体動画記録方法は、立体動画を構成する多視点の画像のうち、同じタイミングで撮像された各視点の画像に映る同一の主要被写体の視差量を算出する視差量算出ステップと、動画を構成する各画像が独立に圧縮される静止画用圧縮形式で画像を圧縮する第一圧縮ステップと、同じタイミングで撮像された各視点の画像を前記第一圧縮ステップで圧縮したデータ、および前記視差量算出ステップで算出した視差量の情報を一まとまりのブロックとする動画ファイルを記録媒体に記録する記録ステップとを備えることを特徴とする。

前記視差量算出ステップでは、同じタイミングで撮像された各視点の画像に映る同一の主要被写体を検出する主要被写体検出ステップと、各視点の画像のうちの一つから、検出した同一の主要被写体の特徴点を抽出する特徴点抽出ステップと、特徴点を抽出した画像以外の各視点の画像から、抽出した特徴点に対応する対応点を検出する対応点検出ステップと、特徴点と対応点の画素位置の差分を演算する演算ステップとを実行する。視差量の情報は、演算ステップの演算結果、またはその正負を逆にした値である。

前記主要被写体検出ステップでは、主要被写体として人物の顔を検出する。また、前記特徴点抽出ステップおよび前記対応点検出ステップでは、特徴点および対応点として黒目部分を抽出および検出する。

前記第一圧縮ステップでは、ＪＰＥＧ形式で画像を圧縮することが好ましい。

本発明の動画ファイル変換方法は、請求項１ないし５のいずれかに記載の立体動画記録方法で記録した動画ファイルを伸張する伸張ステップと、各ブロックの視差量の情報を元に、同じタイミングで撮像された各視点の画像に映る同一の主要被写体の視差量がゼロとなるように、前記伸張ステップで伸張した画像を補正する補正ステップと、前記補正ステップで補正した画像を、各画像間の相関情報を元に連続的に圧縮する動画用圧縮形式で圧縮する第二圧縮ステップとを備えることを特徴とする。

前記第二圧縮ステップでは、ＭＰＥＧ形式で画像を圧縮することが好ましい。

本発明の立体動画記録装置は、立体動画を構成する多視点の画像のうち、同じタイミングで撮像された各視点の画像に映る同一の主要被写体の視差量を算出する視差量算出手段と、動画を構成する各画像が独立に圧縮される静止画用圧縮形式で画像を圧縮する第一圧縮手段と、同じタイミングで撮像された各視点の画像を前記第一圧縮手段で圧縮したデータ、および前記視差量算出手段で算出した視差量の情報を一まとまりのブロックとする動画ファイルを記録媒体に記録する記録制御手段とを備えることを特徴とする。

本発明の動画ファイル変換装置は、請求項８に記載の立体動画記録装置で記録した動画ファイルを伸張する伸張手段と、各ブロックの視差量の情報を元に、同じタイミングで撮像された各視点の画像に映る同一の主要被写体の視差量がゼロとなるように、前記伸張手段で伸張した画像を補正する補正手段と、前記補正手段で補正した画像を、各画像間の相関情報を元に連続的に圧縮する動画用圧縮形式で圧縮する第二圧縮手段とを備えることを特徴とする。

本発明によれば、立体動画を構成する多視点の画像のうち、同じタイミングで撮像された各視点の画像を静止画用圧縮形式で圧縮したデータ、および各視点の画像に映る主要被写体の視差量の情報を一まとまりのブロックとする動画ファイルを記録するので、立体動画の良好な表示画質、立体動画を構成する各視点の画像間の正確な視差量の算出、および確実な表示同期性を実現することができる。

複眼カメラの前面斜視図である。 複眼カメラの背面斜視図である。 複眼カメラの内部構成を示すブロック図である。 視差量算出部の構成を示すブロック図である。 通常撮影モードのときの動画ファイルを示す説明図である。 立体撮影モードのときの動画ファイルを示す説明図である。 左右画像の補正前と補正後の関係を示す説明図である。 立体撮影モードのときの複眼カメラの動作手順を示すフローチャートである。 視差量算出部の処理手順を示すフローチャートである。 動画記録再生装置の内部構成を示すブロック図である。 画像処理部の処理手順を示す説明図である。 ＭＰＥＧ形式で圧縮した後の動画ファイルを示す説明図である。

図１および図２において、複眼カメラ２は、異なる二視点で被写体を撮影して立体画像を供する装置であり、略直方体形状のカメラ本体１０を有する。カメラ本体１０の前面には、二組の撮像レンズ１１Ｌ、１１Ｒ、ストロボ発光部１２、およびファインダ対物窓１３が配されている。

撮像レンズ１１Ｌ、１１Ｒは、主レンズ、ズームレンズ、フォーカスレンズ等の各種レンズ群からなる。撮像レンズ１１Ｌ、１１Ｒは、カメラ本体１０の前面の中心に関して略対称な左右の位置にある。カメラ本体１０の長さ方向に関する撮像レンズ１１Ｌ、１１Ｒの間隔（基線長）は例えば６０ｍｍであり、撮像レンズ１１Ｌ、１１Ｒの光軸同士の交叉角度（輻輳角）は例えば１．５°である。

カメラ本体１０の上面には、電源スイッチ１４およびレリーズボタン１５が設けられている。レリーズボタン１５は、二段階押しのスイッチである。静止画撮影モードのとき、電子ビューファインダまたはＬＣＤ１６による被写体のフレーミングの後に、レリーズボタン１５が軽く押圧（半押し）されると、露出条件の決定（ＡＥ）、自動焦点調整（ＡＦ）などの各種撮影準備処理が施される。この状態でレリーズボタン１５がもう一度強く押圧（全押し）されると、決定された露出条件の下で一回の撮影が行われる。動画撮影モードでは、レリーズボタン１５の全押しに伴って動画撮影が開始され、再度の全押しにより終了される。また、このとき、マイクロホン（図示せず）により周囲の音声が収録される。

カメラ本体１０の背面には、ＬＣＤ１６、ファインダ接眼窓１７、および操作部１８が設けられている。ＬＣＤ１６は、メモリカード１９から読み出した画像やスルー画像、各種メニュー画面を表示する。ＬＣＤ１６の前面には、立体視用のレンチキュラーレンズ（図示せず）が取り付けられている。ファインダ接眼窓１７は、ファインダ対物窓１３とともに電子ビューファインダを構成する。

操作部１８は、撮影／再生モード切替スイッチ２０、送り、戻しボタン２１、２２、ズーム操作ボタン２３、通常／立体撮影モード切替ボタン２４、メニュー選択／決定／消去ボタン２５で構成される。撮影／再生モード切替スイッチ２０がスライド操作されると、撮影した画像をＬＣＤ１６に表示する再生モード、静止画撮影モード、および動画撮影モードが選択的に切り替わる。ズーム操作ボタン２３は、撮像レンズ１１Ｌ、１１Ｒのズームレンズをワイド側、テレ側に変倍する際に操作される。通常／立体撮影モード切替ボタン２４が押圧操作されると、撮像レンズ１１Ｌ、１１Ｒのうちの一方（例えば撮像レンズ１１Ｌ）を通した撮影（通常撮影）と両方を通した撮影（立体撮影）にモードが切り替わる。

カメラ本体１０の底面には、開閉可能な蓋（図示せず）が設けられている。蓋を開けると、メモリカード１９やバッテリ（図示せず）が着脱可能に装填されるスロット（図示せず）が露呈する。

図３において、撮像レンズ１１Ｌ、１１Ｒの背後には、絞り３０Ｌ、３０Ｒが設けられている。これら撮像レンズ１１Ｌ、１１Ｒと絞り３０Ｌ、３０Ｒとで光学系３１Ｌ、３１Ｒを構成している。光学系３１Ｌ、３１Ｒには、駆動部３２Ｌ、３２Ｒが接続されている。駆動部３２Ｌ、３２Ｒはステッピングモータであり、ズーム操作ボタン２３の操作に連動して、撮像レンズ１１Ｌ、１１Ｒのズームレンズをワイド側、あるいはテレ側に移動させる。また、駆動部３２Ｌ、３２Ｒは、測光・測距部３３Ｌ、３３Ｒの制御の下、撮像レンズ１１Ｌ、１１Ｒのフォーカスレンズを光軸に沿って移動させて合焦位置に停止させたり、絞り３０Ｌ、３０Ｒを開閉動作させて絞り径を調整する。

光学系３１Ｌ、３１Ｒの背後には、ＣＣＤ３４Ｌ、３４Ｒが配置されている。ＣＣＤ３４Ｌ、３４Ｒは、例えばインターライントランスファ型で、プログレッシブスキャンに対応した読み出し方式のＣＣＤイメージセンサからなる。ＣＣＤ３４Ｌ、３４Ｒは、光学系３１Ｌ、３１Ｒを経由した被写体の像光が、撮像面に入射するように配置されている。ＣＣＤ３４Ｌ、３４Ｒの撮像面には、複数の色セグメントからなるカラーフィルタ、例えば、ベイヤー配列の原色カラーフィルタが形成されている。

アナログ信号処理部３５Ｌ、３５Ｒは、相関二重サンプリング回路（以下、ＣＤＳと略す）、自動ゲイン制御回路（以下、ＡＧＣと略す）、およびアナログ／デジタル変換器（以下、Ａ／Ｄと略す）から構成されている。ＣＤＳは、ＣＣＤ３４Ｌ、３４Ｒから出力される撮像信号に対して相関二重サンプリング処理を施し、ＣＣＤ３４Ｌ、３４Ｒで生じるリセット雑音およびアンプ雑音の除去を行う。ＡＧＣは、ＣＤＳによりノイズ除去が行われた撮像信号を所定のゲイン（増幅率）で増幅する。Ａ／Ｄは、ＡＧＣにより増幅された撮像信号を、所定のビット数のデジタル信号に変換する。

Ａ／Ｄでデジタル化された撮像信号（画像）は、画像処理部（図示せず）でホワイトバランス補正やγ補正等の各種処理を施される。その後、バス３６を介してワークメモリであるＳＤＲＡＭ３７に入力され、ＳＤＲＡＭ３７に一旦格納される。

タイミングジェネレータ（ＴＧ）３８Ｌ、３８Ｒは、ＣＣＤ３４Ｌ、３４Ｒの駆動パルス（垂直／水平走査パルス、電子シャッタパルス、読み出しパルス、リセットパルス等）とアナログ信号処理部３５Ｌ、３５Ｒ用の同期パルスとを発生する。ＣＣＤ３４Ｌ、３４Ｒは、ＴＧ３８Ｌ、３８Ｒからの駆動パルスに応じて撮像動作を行い、一定のフレームレートで撮像信号を出力する。アナログ信号処理部３５Ｌ、３５Ｒの各部は、ＴＧ３８Ｌ、３８Ｒからの同期パルスに基づいて動作する。

ＹＣ変換処理部３９は、ＳＤＲＡＭ３７から画像を読み出し、画像に対して、ＲＧＢの信号を輝度信号Ｙと色差信号Ｃｒ、Ｃｂとに変換するＹＣ変換を施す。圧縮伸張処理部４０は、ＹＣ変換された画像に対して、ＪＰＥＧ形式で画像圧縮を施す。圧縮された画像は、メディアコントローラ４１を経由してメモリカード１９に記録される。また、メモリカード１９に記録された画像は、メディアコントローラ４１を経てＳＤＲＡＭ３７に一旦格納され、圧縮伸張処理部４０に読み出されて、圧縮される前の画像に伸張される。なお、煩雑を避けるため図示はしないが、ＳＤＲＡＭ３７、ＹＣ変換処理部３９、および圧縮伸張処理部４０は、ＣＣＤ３４Ｌ、３４Ｒ等と同様に二台用意されている。

通常／立体撮影モード切替ボタン２４で通常撮影モードが選択された場合、ＣＣＤ３４Ｌ、３４Ｒ等の各部のうちの片方（例えばＣＣＤ３４Ｌ等の各部）が駆動する。立体撮影モードが選択された場合は両方が駆動し、立体画像用の左右画像ＧＬ、ＧＲ（図７参照）を同時に出力する。

ＬＣＤドライバ４２は、ＹＣ変換処理部３９でＹＣ変換された画像をアナログのコンポジット信号に変換し、これをＬＣＤ１６にスルー画像として表示する。また、ＬＣＤドライバ４２は、圧縮伸張処理部４０で伸張された画像を、ＬＣＤ１６に再生画像として表示する。

立体撮影モードのとき、あるいは立体撮影モードで撮影された画像を再生するとき、ＬＣＤドライバ４２は、左右画像ＧＬ、ＧＲを一ライン毎交互にストライプ状に並べた画像をＬＣＤ１６に出力する。ＬＣＤ１６の前面に配されたレンチキュラーレンズによって、左画像ＧＬを観察者の左目に、右画像ＧＲを右目にそれぞれ映すことで、立体画像を表示することができる。

ＣＰＵ４３は、制御バス（図示せず）を介して複眼カメラ２の各部に制御信号を送信するとともに、各部からの応答信号を受信して、各部の動作を統括的に制御する。ＣＰＵ４３には、レリーズボタン１５、操作部１８の他、各種制御用のプログラムや設定情報などが記録されたＥＥＰＲＯＭ４４がバス３６を介して接続されている。ＣＰＵ４３は、レリーズボタン１５からの操作入力信号を受けて、レリーズボタン１５の半押し、全押しに伴う処理を各部に実行させ、操作部１８から入力される操作入力信号に応じて各部を動作させる。また、ＣＰＵ４３は、各種プログラムや情報をＥＥＰＲＯＭ４４から内蔵ＲＡＭに読み出して、処理を実行する。

測光・測距部３３Ｌ、３３Ｒは、被写体の輝度、および被写体までの距離を検出し、この検出結果から露出量、ホワイトバランス補正量、および焦点距離を決定する。

測光・測距部３３Ｌ、３３Ｒは、スルー画像の表示中は所定のサイクルで作動している。スルー画像の表示中は、測光・測距部３３Ｌ、３３Ｒで決定された露出量に応じて駆動部３２Ｌ、３２Ｒが動作され、絞り３０Ｌ、３０Ｒの絞り径が制御される。絞り径のみで適正な露出量にすることができない場合はＣＣＤ３４Ｌ、３４Ｒの電荷蓄積時間が制御される。

測光・測距部３３Ｌ、３３Ｒは、レリーズボタン１５が半押しされたときに輝度および距離の検出を開始し、検出結果をＣＰＵ４３に逐次送信する。ＣＰＵ４３は、測光・測距部３３Ｌ、３３Ｒからの検出結果に基づいて、撮像レンズ１１Ｌ、１１Ｒ、絞り３０Ｌ、３０Ｒ、ＣＣＤ３４Ｌ、３４Ｒ、およびストロボ制御部４５の動作を制御する。

視差量算出部４６は、立体撮影モードのときのみ駆動する。視差量算出部４６は、ＹＣ変換前の左画像ＧＬおよび右画像ＧＲをＳＤＲＡＭ３７から読み出し、両画像ＧＬ、ＧＲに映る同一の主要被写体の特徴点の視差量を算出する。図４において、視差量算出部４６は、主要被写体検出回路５０と、特徴点抽出回路５１と、対応点検出回路５２と、演算回路５３とから構成される。

主要被写体検出回路５０は、左画像ＧＬから主要被写体として人物の顔を検出する。顔の検出は、例えば、画像の各画素から肌色の候補となる画素を抽出し、抽出した画素の集合から画像内の肌色部分を求める。そして、求めた肌色部分と予め用意された顔型のテンプレートとを周知のパターン認識技術を用いて照合し、この照合結果を元に肌色部分が顔であるか否かを判定する。あるいは、肌色部分の面積が予め設定された閾値以上であった場合に、その肌色部分を顔として抽出する。もしくは、周知のパターン認識技術を用いて、目や口などの顔の特定部分を抽出することで行う。

左画像ＧＬ内に複数の人物がいる場合、主要被写体検出回路５０は、例えば最も至近側に映っている人物の顔、面積が最も大きい人物の顔、あるいは画像中央に映っている人物の顔を主要被写体とする。また、左画像ＧＬに人物の顔が検出されない場合、主要被写体検出回路５０は、画像中央領域に映るものを主要被写体とする。

特徴点抽出回路５１は、主要被写体検出回路５０の検出結果に基づき、主要被写体とされた人物の顔から、特徴点として片方の目（この場合は右目）の黒目部分ＥＬ（図７参照）を抽出する。黒目部分ＥＬの抽出は、主要被写体検出回路５０の場合と同様、周知のパターン認識技術を用いる。

対応点検出回路５２は、特徴点抽出回路５１の抽出結果に応じて、左画像ＧＬ内の黒目部分ＥＬに対応する右画像ＧＲ内の黒目部分ＥＲ（図７参照）を検出する。対応点の検出には、例えば、ブロックマッチング方式、ＫＬＴ−Ｔｒａｃｋｅｒ方式等を用い、特徴点と最も相関の高い部分を対応点とする。特徴点抽出回路５１および対応点検出回路５２は、左右画像ＧＬ、ＧＲ内の黒目部分ＥＬ、ＥＲの画素位置をそれぞれ演算回路５３に出力する。画素位置には、例えば画像の左下隅を原点（０、０）とし、水平方向をＸ軸、垂直方向をＹ軸とするＸＹ座標を使用する。画素が例えば１０６８×７６８ピクセルであった場合、右上隅の画素の座標は（１０６７、７６７）である。

特徴点および対応点としては、上記の黒目部分に限らず、画素値の変化が特徴的な点、例えば水平および垂直方向で画素値変化がある角や端点であればよい。また、特徴点および対応点は複数であってもよい。こうした特徴点の抽出には、例えば、Ｈａｒｒｉｓの手法、Ｍｏｒａｖｅｃの手法、Ｓｈｉ−Ｔｏｍａｓｉの手法等があり、これらのいずれを用いてもよい。左画像ＧＬに人物の顔が検出されない場合は、画像中央領域の被写体の特徴点を上記の手法により抽出する。

演算回路５３は、左画像ＧＬを基準として、特徴点抽出回路５１および対応点検出回路５２からの黒目部分ＥＬ、ＥＲのＸＹ座標の差分ΔＸ、ΔＹ（単位：画素）を演算する。ΔＸは主に撮像レンズ１１Ｌ、１１Ｒがカメラ本体１０の長さ方向に間隔を開けて配置されていることに起因する視差量であり、ΔＹは主に撮像レンズ１１Ｌ、１１Ｒの光軸の垂直方向のずれに起因する視差量である。なお、左画像ＧＬと同じく右画像ＧＲも主要被写体検出回路５０と特徴点抽出回路５１に入力し、主要被写体と特徴点を求めてもよい。また、画像の平行移動、回転、拡大縮小、台形歪み等を幾何補正する射影変換やアフィン変換に関わる係数を求め、これを視差量として出力してもよい。

図５および図６を参照して、動画撮影モードにおけるメモリカード１９への画像の記録方式を説明する。図５は、動画撮影モード且つ通常撮影モードの場合の、圧縮伸張処理部４０にてモーションＪＰＥＧ形式で圧縮された動画のファイル構造である。図６は、動画撮影モード且つ立体撮影モードの場合のファイル構造である。

ファイルは、ヘッダ領域と画像領域とに大別される。ヘッダ領域には、ストリーム情報と撮影情報とが書き込まれる。画像領域は、動画を構成するフレーム数分のチャンク（ブロックに相当）を有し、一つのチャンクは一つ（図５）または三つ（図６）のストリームで構成される。各ストリームには、ストリームＩＤを先頭に、チャンク内データ長（チャンク内における画像のデータ長）、および一フレーム分の画像（正確には画像を圧縮したデータ）が書き込まれる。

ストリーム情報は、各ストリームにどのような情報が書き込まれているかを示すものであり、さらにストリーム定義とストリーム属性とに分れる。ストリーム定義は、各ストリームが何を書き込むものかを示し、画像の種類、画像の再生時間、データ量／チャンク（１チャンクあたりの再生時のデータ量）、先頭アドレス（メモリカード１９内における画像の各フレームの先頭アドレス）等が記述される。ストリーム属性には、ストリームＩＤ、解像度、圧縮方式、表示次元、フレーム数／チャンクが記述される。撮影情報には、視点数、輻輳角、および基線長が記述される。

図５において、画像領域の各チャンクは一つのストリーム（ストリーム１）からなる。各ストリームには、一フレーム分の左画像ＧＬが書き込まれる。左画像ＧＬは、第一フレームを先頭に最後の第ｎフレームまで順次記録される。マイクロホンで収録された音声は、各フレーム間にインターリーブ記録される（図示せず）。

ストリーム定義は、ストリーム１のみが用意され、画像の種類として２Ｄ（二次元）、左画像が記述される。ストリーム属性は、ストリームＩＤ＝１、圧縮方式＝ＪＰＥＧ、表示次元＝２Ｄ、フレーム数／チャンク＝１等が記述される。撮影情報の視点数には１が記述され、輻輳角、基線長は無効である。なお、静止画撮影モード且つ通常撮影モードの場合は、チャンク１のみが記録された形となる。

図６において、画像領域の各チャンクはストリーム１、２、３の三つのストリームからなる。ストリーム１には一フレーム分の左画像ＧＬ、ストリーム２には右画像ＧＲがそれぞれ書き込まれる。左右画像ＧＬ、ＧＲは、第一フレームを先頭に最後の第ｎフレームまで順次記録される。マイクロホンで収録された音声は、一定の間隔（例えば数チャンク毎）でストリーム２とストリーム３の間の別のストリーム（図示せず）に記録される。

ストリーム３には、ストリーム１、２の左右画像ＧＬ、ＧＲの補正情報が書き込まれる。補正情報は、視差量算出部４６の演算回路５３から出力された視差量ΔＸ、ΔＹの正負を逆にした値であり、右画像ＧＲを水平、垂直の各方向に何画素分ずらせば、左右画像ＧＬ、ＧＲの特徴点と対応点を一致させることができるかを示す。補正情報として視差量ΔＸ、ΔＹそのものを記録してもよい。

より詳しくは図７に示すように、左右画像ＧＬ、ＧＲを単に重ね合わせた補正前の立体画像では、視差量ΔＸ、ΔＹがともに０の場合は除いて、左右画像ＧＬ、ＧＲの特徴点と対応点である黒目部分が一致しない。この不一致を補正情報に基づいて補正することで、下段に示すように、左右画像ＧＬ、ＧＲの特徴点と対応点を一致させることができる。

この左右画像ＧＬ、ＧＲの特徴点と対応点を一致させる補正は、立体画像を表示する際にＬＣＤドライバ４２にて行われる。これにより、左右画像ＧＬ、ＧＲの特徴点と対応点を基準として、その他の部分が手前に迫り出す、または奥に引っ込んで見えるような立体画像が鑑賞される。

ストリーム１、２のストリーム定義には、画像の種類として３Ｄ（立体）、左画像または右画像が記述される。ストリーム属性は、ストリームＩＤ＝１、２、または３、圧縮方式＝ＪＰＥＧ、表示次元＝３Ｄ、フレーム数／チャンク＝２である。撮影情報は、視点数＝２、輻輳角＝１．５°、基線長＝６０ｍｍである。なお、静止画撮影モード且つ立体撮影モードの場合は、チャンク１のみが記録された形となる。

図５に示すファイル構造は、従来のモーションＪＰＥＧ形式で圧縮された一視点の動画のファイル構造と同じである。一方、図６に示すファイル構造は、左右画像ＧＬ、ＧＲの各フレームと、これらの補正情報を一つのチャンクにインターリーブして記録している。

次に、上記構成を有する複眼カメラ２の動作について説明する。複眼カメラ２で撮影を行う際には、電源スイッチ１４を操作して複眼カメラ２の電源を投入する。そして、撮影／再生モード切替スイッチ２０を操作して静止画撮影モードまたは動画撮影モードを選択する。以下では、通常／立体撮影モード切替ボタン２４で立体撮影モードが選択されたときを説明する。通常撮影モードが選択されたときは、ＣＣＤ３４Ｌ等のみが駆動する他は基本的に同じである。

光学系３１Ｌ、３１Ｒを介して入射した被写体像は、ＣＣＤ３４Ｌ、３４Ｒの撮像面に結像され、これによりＣＣＤ３４Ｌ、３４Ｒから撮像信号が出力される。ＣＣＤ３４Ｌ、３４Ｒから出力された撮像信号は、アナログ信号処理部３５Ｌ、３５Ｒで相関二重サンプリング、増幅、およびＡ／Ｄ変換される。

アナログ信号処理部３５Ｌ、３５Ｒを経て生成された画像は、バス３６を介してＳＤＲＡＭ３７に入力され、ＳＤＲＡＭ３７に一旦格納される。ＳＤＲＡＭ３７に格納された画像は、ＹＣ変換処理部３９で簡易ＹＣ変換が施された後、ＬＣＤドライバ４２でコンポジット信号に変換され、ＬＣＤ１６にスルー画像として表示される。

スルー画像の表示中にレリーズボタン１５が半押しされると、測光・測距部３３Ｌ、３３Ｒで被写体の輝度および被写体までの距離が検出され、露出量、ホワイトバランス補正量、および焦点距離が決定される。そして、この結果に基づいてＣＰＵ４３により撮像レンズ１１Ｌ、１１Ｒ、絞り３０Ｌ、３０Ｒ、およびＣＣＤ３４Ｌ、３４Ｒの動作が制御され、撮影準備処理が施される。

レリーズボタン１５の全押しにより撮影が実行されると、決定された露出量に基づいて撮影が行われ、そのときＳＤＲＡＭ３７に記録されていたＹＣ変換処理後の画像が圧縮伸張処理部４０で圧縮され、メディアコントローラ４１によってメモリカード１９に記憶される。

動画撮影モードでは、レリーズボタン１５が再度全押しされるまで、一定のフレームレート（例えば３０フレーム／秒）で順次画像が生成・記憶される。また、これと同時にマイクロホンを通して周囲の音声が収録される。

図８において、動画撮影モード且つ立体撮影モードが選択されて（Ｓ１０）、レリーズボタン１５の全押しにより動画撮影が開始されると（Ｓ１１）、視差量算出部４６が駆動し、ＹＣ変換前の左画像ＧＬおよび右画像ＧＲがＳＤＲＡＭ３７から視差量算出部４６に読み出される。そして、両画像ＧＬ、ＧＲに映る同一の主要被写体の特徴点の視差量が算出される（Ｓ１２）。

具体的には図９に示すように、主要被写体検出回路５０で左画像ＧＬから人物の顔が検出される（Ｓ２０）。次いで、特徴点抽出回路５１で左画像ＧＬ内の人物の顔の黒目部分ＥＬが抽出され（Ｓ２１）、さらに対応点検出回路５２で、左画像ＧＬ内の黒目部分ＥＬに対応する右画像ＧＲ内の黒目部分ＥＲが検出される（Ｓ２２）。最後に、演算回路５３によって各黒目部分ＥＬ、ＥＲのＸＹ座標の差分ΔＸ、ΔＹが演算され、これが視差量としてメディアコントローラ４１に出力される（Ｓ２３）。

図８に戻って、視差量算出後、左右画像ＧＬ、ＧＲはＹＣ変換処理部３９でＹＣ変換され、圧縮伸張処理部４０にてモーションＪＰＥＧ形式で圧縮される（Ｓ１３）。圧縮された左右画像ＧＬ、ＧＲは、メディアコントローラ４１に入力される。

メディアコントローラ４１は、図６に示すファイル構造をメモリカード１９内に構築し、ヘッダ領域にストリーム情報と撮影情報を書き込むとともに、画像領域の各チャンクのストリーム１に左画像ＧＬを、ストリーム２に右画像ＧＲを、視差量算出部４６からの視差量に基づいた補正情報をストリーム３にそれぞれインターリーブ記録する（Ｓ１４）。これら一連の処理は、動画撮影が終了するまで（Ｓ１５でＹＥＳ）繰り返し実行される。こうした処理を実行することで、メモリカード１９には、左右画像ＧＬ、ＧＲと補正情報が一まとまりとなったチャンクがフレーム数分順に並んだ動画ファイルが記録される。

立体撮影モードで記録した動画ファイルを再生する際には、各チャンクの補正情報に基づいて、ＬＣＤドライバ４２が左右画像ＧＬ、ＧＲの特徴点と対応点が一致するように補正を行いつつ、各チャンクの左右画像ＧＬ、ＧＲをＬＣＤ１６に順に表示させる。

ＭＰＥＧ形式のような動き予測によるフレーム相関演算で生成されるいわゆるＢ、Ｐフレームがないため、画質が良いクリアな立体画像を鑑賞することができる。同一フレームの左右画像ＧＬ、ＧＲが一つのチャンクに収まっているので、左右画像ＧＬ、ＧＲの表示タイミングがずれることがない。また、ＭＰＥＧ形式では比較的データの信憑性が低いＢ、Ｐフレームに対して正確な補正情報を求めることはできないが、本例では圧縮による毀損がない左右画像ＧＬ、ＧＲを元に正確な補正情報を求めることができる。

図１０において、動画記録再生装置６０は、メモリカード１９から入出力Ｉ／Ｆ６１経由でストレージ６２に動画ファイルを取り込み、これをＭＰＥＧ形式に変換したうえで、記録制御部６３でＤＶＤ、ＢＤといった記録メディア６４に録画する、表示制御部６５で立体表示機能をもつディスプレイ６６に表示する、あるいは入出力Ｉ／Ｆ６１を介してネットワークに配信する。

ＣＰＵ６７は、動画記録再生装置６０の各部を統括的に制御する。ＣＰＵ６７と各部はバス６８により相互接続されている。ＣＰＵ６７は、操作部６９からの操作信号に基づき、メモリ７０から読み出した各種プログラムやデータを逐次実行し、各部を動作させる。

画像処理部７１は、ストレージ６２から動画ファイルを読み出し、ＣＰＵ６７の指令の下、動画ファイルに対して図１１に示す各種変換処理を実行する。画像処理部７１は、まず動画ファイルをＪＰＥＧ形式で伸張する（Ｓ３０）。そして、動画ファイルが図６に示すもので補正情報がある場合は、複眼カメラ２のＬＣＤドライバ４２と同様、補正情報に基づいて左右画像ＧＬ、ＧＲの特徴点と対応点が一致するように、各フレームの右画像ＧＲを補正する（Ｓ３１）。動画ファイルが図５に示すもので補正情報がない場合は、当然ながら補正は行わない。

その後、ＣＰＵ６７より指定されたデータレート（１秒あたりの再生フレーム数）で、ＭＰＥＧ形式で再度圧縮を施す（Ｓ３２）。この際のＭＰＥＧ圧縮には、従来の方式を利用することが可能である。

最後に、元の動画ファイルのストリーム情報と撮影情報をＭＰＥＧ形式で再圧縮した動画ファイルのヘッダ領域に書き込む（Ｓ３３）。こうしてモーションＪＰＥＧ形式からＭＰＥＧ形式に動画ファイルを変換する。

画像処理部７１により変換されたＭＰＥＧ形式の動画ファイルは、図１２に示すファイル構造をもつ。この動画ファイルは、図５および図６に示すモーションＪＰＥＧ形式の動画ファイルと同様の構造である。ヘッダ領域に記述される各種情報は、モーションＪＰＥＧ形式の動画ファイルのそれを書き換えて移植したものである。

画像領域は複数のチャンク（ＧＯＰ）を有している。図６の場合と同様にストリーム１、２に左右フレームが交互に配され、一つのチャンクに一対の左右フレームが四組、計８フレーム収まっている。１チャンクあたりのＩ、Ｂ、Ｐフレームの内訳は、Ｉ、Ｐフレームが左右併せて１、Ｂフレームが左右併せて２である。なお、Ｂ、Ｐフレームに該当する第二、第三フレーム等は、動き予測によるフレーム相関演算により生成されたものであり、図６に示す第二、第三フレーム等とは別物である。

動画記録再生装置６０は、画像処理部７１で変換したＭＰＥＧ形式の動画ファイルを用いて、上述の録画、立体表示、あるいはネットワーク配信を行う。モーションＪＰＥＧ形式の動画ファイルを図６のようなＭＰＥＧ形式の動画ファイルに似た構造とすることで、動画ファイルの変換をスムーズに行うことができる。また、補正情報に応じた補正処理を行った後にＭＰＥＧ形式に変換するので、従来正確な補正が不可能だったＢ、Ｐフレームに対しても高精度な補正を施すことができる。Ｂ、Ｐフレームは従来同様多少画質が劣化するが、本例のように高精度な補正を施すことができれば、画質劣化を補うことができる。

なお、ここでは、Ｓ３０〜Ｓ３３の各種処理を画像処理部７１がソフトウェア的に実行する例を挙げたが、Ｓ３０〜Ｓ３３の各種処理を実行するハードウェアをそれぞれ用意してもよい。同様に、複眼カメラ２の視差量算出部４６の機能をソフトウェアで賄ってもよい。各種処理をソフトウェアで実行する場合は、各種処理の機能をハードウェアとしてもたない既存の機器のソフトウェアを更新するだけでよいので、利便性が高まる。

上記実施形態では、静止画用圧縮形式としてＪＰＥＧ形式、動画用圧縮形式としてＭＰＥＧ形式をそれぞれ例示したが、ＧＩＦ形式やＨ．２４６等の他の形式を採用してもよい。

上記実施形態では、視点を左右の二つとしているが、視点は二以上であってもよい。この場合も上記実施形態と同様に、多視点で得られた各画像と補正情報とを一つのチャンクにまとめて収め、動画ファイルを構成する。

上記実施形態では、複眼カメラの各撮像レンズの基線長、輻輳角を固定としたが、これらを変更可能な構造として、センサや操作入力等で基線長、輻輳角を検出し、撮影情報に反映させてもよい。

２ 複眼カメラ
１９ メモリカード
３４Ｌ、３４Ｒ ＣＣＤ
４０ 圧縮伸張処理部
４１ メディアコントローラ
４３ ＣＰＵ
４６ 視差量算出部
５０ 主要被写体検出回路
５１ 特徴点抽出回路
５２ 対応点検出回路
５３ 演算回路
６０ 動画記録再生装置
６７ ＣＰＵ
７１ 画像処理部

Claims (9)

1. 立体動画を構成する多視点の画像のうち、同じタイミングで撮像された各視点の画像に映る同一の主要被写体の視差量を算出する視差量算出ステップと、
   動画を構成する各画像が独立に圧縮される静止画用圧縮形式で画像を圧縮する第一圧縮ステップと、
   同じタイミングで撮像された各視点の画像を前記第一圧縮ステップで圧縮したデータ、および前記視差量算出ステップで算出した視差量の情報を一まとまりのブロックとする動画ファイルを記録媒体に記録する記録ステップとを備えることを特徴とする立体動画記録方法。
2. 前記視差量算出ステップでは、同じタイミングで撮像された各視点の画像に映る同一の主要被写体を検出する主要被写体検出ステップと、
   各視点の画像のうちの一つから、検出した同一の主要被写体の特徴点を抽出する特徴点抽出ステップと、
   特徴点を抽出した画像以外の各視点の画像から、抽出した特徴点に対応する対応点を検出する対応点検出ステップと、
   特徴点と対応点の画素位置の差分を演算する演算ステップとを実行することを特徴とする請求項１に記載の立体動画記録方法。
3. 前記主要被写体検出ステップでは、主要被写体として人物の顔を検出することを特徴とする請求項２に記載の立体動画記録方法。
4. 前記特徴点抽出ステップおよび前記対応点検出ステップでは、特徴点および対応点として黒目部分を抽出および検出することを特徴とする請求項３に記載の立体動画記録方法。
5. 前記第一圧縮ステップでは、ＪＰＥＧ形式で画像を圧縮することを特徴とする請求項１ないし４のいずれかに記載の立体動画記録方法。
6. 請求項１ないし５のいずれかに記載の立体動画記録方法で記録した動画ファイルを伸張する伸張ステップと、
   各ブロックの視差量の情報を元に、同じタイミングで撮像された各視点の画像に映る同一の主要被写体の視差量がゼロとなるように、前記伸張ステップで伸張した画像を補正する補正ステップと、
   前記補正ステップで補正した画像を、各画像間の相関情報を元に連続的に圧縮する動画用圧縮形式で圧縮する第二圧縮ステップとを備えることを特徴とする動画ファイル変換方法。
7. 前記第二圧縮ステップでは、ＭＰＥＧ形式で画像を圧縮することを特徴とする請求項６に記載の動画ファイル変換方法。
8. 立体動画を構成する多視点の画像のうち、同じタイミングで撮像された各視点の画像に映る同一の主要被写体の視差量を算出する視差量算出手段と、
   動画を構成する各画像が独立に圧縮される静止画用圧縮形式で画像を圧縮する第一圧縮手段と、
   同じタイミングで撮像された各視点の画像を前記第一圧縮手段で圧縮したデータ、および前記視差量算出手段で算出した視差量の情報を一まとまりのブロックとする動画ファイルを記録媒体に記録する記録制御手段とを備えることを特徴とする立体動画記録装置。
9. 請求項８に記載の立体動画記録装置で記録した動画ファイルを伸張する伸張手段と、
   各ブロックの視差量の情報を元に、同じタイミングで撮像された各視点の画像に映る同一の主要被写体の視差量がゼロとなるように、前記伸張手段で伸張した画像を補正する補正手段と、
   前記補正手段で補正した画像を、各画像間の相関情報を元に連続的に圧縮する動画用圧縮形式で圧縮する第二圧縮手段とを備えることを特徴とする動画ファイル変換装置。

Images