JP2012119803A - 超広角映像の記録及び再生装置 - Google Patents

Abstract

【課題】 ステレオ環境などの一般的な再生環境下において、ワイドスクリーンへの展開位置変化に対応した音声再生を可能にすることを課題とする。
【解決手段】 全方位に向けて配設された複数のマイクと、超広角映像の記録、又は再生が可能な撮像装置と、記録された超広角映像を、平面状に変換する画像処理手段と、前記複数マイクから各方向の信号を合成する信号合成手段と、を有し、超広角映像の画像処理に合わせて、各マイクからの音声信号の重み付けを変更して、前記各マイクからの信号を合成する。
【選択図】 図６

Description

本発明は超広角映像を撮影可能なカメラ、または超広角映像データの再生装置に関する。

一般的なカメラ、ビデオカメラなどの撮像装置には、光学情報を電子データに変換する手段として、CCD（Charge Coupled Device）やCMOS（Complementary Metal-Oxide Semiconductor）等の撮像素子が用いられている。昨今、撮像素子の高密度化が進んだことで、高密度な画像の撮影が可能となったため、広い撮影領域の中からトリミングを行って、所望の映像データを得ることが可能となってきている。

図１３に、全方位を撮影できる撮像装置として既に提案されている装置の構成図を示す。該全方位カメラは、周囲360度の様子を映し出すミラー131と、ミラーで反射された光を集光する光学系132と、光学系１32の集光位置に配置された図示しない撮像素子から構成されている。詳細な構成は特許文献１に記載されている。このような全方位カメラで撮影した被写体画像は、前記ミラー131の曲率によって歪んだ円盤状（ドーナツ状）となるが、図示しない撮像装置内部の歪み補正手段による画像処理によって、歪みを除去した長方形の画像であるワイドスクリーンとすることが可能である。CMOSを用いた全方位カメラの画像展開手段において、歪みの補正方法については、特許文献２に開示されている。

全方位カメラを用いて撮影した映像の再生方法には次の２つがある。１つは、全方位プロジェクタ等全方位を再現できる環境での再生。２つめに、全方位映像を長方形や円盤状の平面に変換し、一般的な家庭用テレビなどで再生を行う方法である。ここで、前者の全方位を再現できる環境は、高価かつ大型である。そのため、全方位カメラを用いて撮影した映像の再生方法としては、後者の平面に変換して再生を行う方法が一般的である。

全方位カメラの音声入力装置として単一指向性のマイクを全方位方向に複数具備し、全方位の音声を別チャンネルとして入力出来る構成のビデオカメラを用いて記録したデータを、全方位を再現できる環境で再生した場合、当然ながら全方位の各方向から、記録された音声を再現することが可能である。ところが、通常のステレオ環境で円盤状の全方位映像を長方形の平面に変換して再生する場合、円盤状からの展開の起点の位置によって、Ｒチャンネル側と、Ｌチャンネル側から出力すべき音声が変化する。すなわち、展開の起点をどこに設けるかによって、展開された映像の左右に対応する、Ｒチャンネル側と、Ｌチャンネル側から出力される音声が変化する。そのため全方位の音声情報を持ちながら、音声は、円盤状から長方形のへの展開位置変化に対応出来ない。

特開2007-116395号公報 特開2002-244236号公報

ステレオ環境などの一般的な再生環境下において、ワイドスクリーンへの展開位置変化に対応した音声再生を可能にすることを課題とする。

上述した目的を達成するために、本願の請求項１〜請求項４に記載した手段を用いる。

ステレオ環境などの一般的な再生環境下において、ワイドスクリーンへの展開位置変化に対応した音声再生が可能となる。

本発明の一実施例であるビデオカメラのフロント側からの外観斜視図 本発明の一実施例であるビデオカメラのリア側からの外観斜視図 本発明の一実施例であるビデオカメラの外観斜視図 本発明の一実施例であるビデオカメラの外観斜視図 本発明の一実施例であるビデオカメラのブロック図 本発明の一実施例であるビデオカメラのフローチャート 本発明の一実施例であるビデオカメラによる撮影映像イメージ 本発明の一実施例であるビデオカメラによる撮影映像イメージ 本発明の一実施例であるビデオカメラによる撮影映像イメージ 本発明の一実施例であるビデオカメラによる撮影映像イメージ 本発明の一実施例であるビデオカメラによる撮影映像イメージ 本発明の一実施例であるビデオカメラによる撮影映像イメージ 全方位を撮影できる撮像装置の構成図

以下、図面を参照して、本発明の実施例を詳細に説明する。

［実施例１］
図１、図２及び図３は、本発明の一実施例であるビデオカメラの外観斜視図を示す。特に図１は、ビデオカメラ使用時における撮影前方側から見た外観斜視図を示し、図２は、撮影者側から見た外観斜視図を示す。また、図３は、ビデオカメラ非使用時の外観斜視図を示す。図４は、ビデオカメラを外部の機器と接続する状態を表した外観斜視図を示す。図５は、本実施例の概略構成を示すブロック図である。なお、本明細書では、撮影者把持時におけるビデオカメラの撮影前方側をフロント側（Ｆ側）、撮影者側をリア側（Ｒｅａｒ側）、撮影前方側から見た右側をＲ側、左側をＬ側とし、地面側を下側とする。

本実施例のビデオカメラは、本体の上面に、360度の全方位を撮影可能な全方位カメラ101を具備する。全方位カメラは、周囲360度の全方位の様子を映し出すミラー501と、ミラーで反射された光を集光する光学系502と、撮像素子503から構成されている。撮像光学系による光学像は、撮像素子503上に結像する。該撮像素子の受光面には多数のフォトセンサが平面的に配列されており、光学像は、各フォトセンサによって、入射光量に応じた量の信号電荷に変換される。信号電荷は、画像処理回路504によって、輝度信号及び色差信号からなるデジタル画像信号に変換され、後述する記録媒体506に記録される。また、前記ミラーの曲率による歪は、歪補正回路505にて、画像信号のエリアごとに拡大、縮小により除去することが可能である。これによって、前記ミラー501の曲率によって得られた円盤状のデータを、長方形画像のワイドスクリーンとすることが可能となる。

本案件のカメラ部の下側には、フロント側から60度等間隔で、マイクF 102a、マイクF-R 102b、マイクR-REAR 102c、マイクREAR 102d、マイクREAR-L 102e、マイクF-L 102fの６個の単指向性マイクが配設されている。それぞれマイクは正面に向けて感度の良い、カーディオイド特性を有するマイクである。それぞれのマイクから入力された音声信号は、デジタルデータとして符号化される。符号化された音声信号は、マイク信号処理部508にて、全てのマイクの和信号を主信号とし、各マイクの信号を、それぞれ独立した6つの副信号として、画像信号同様に後述する記録媒体506に記録される。

マイク部の下側には、本体把持時のグリップ部が形成されている。グリップ部のうち、把持時に親指が位置する部分には、押下によって、映像記録の開始と停止を指示する録画ボタン201が設置されている。ビデオカメラの制御ＣＰＵ507は、録画ボタンの押下を検知すると、録画動作をスタートし、録画中の録画ボタンの押下に応じて、録画動作を停止する。

グリップ部の下側には、画像表示部103が配置されている。画像表示部は、フレキシブル基板を介して、制御ＣＰＵ507を有する基板に電気的に接続されており、図３に示す画像表示部103の収納状態と、図１、図２に示す画像表示部使用状態を回動自在となっている。本実施例のビデオカメラでは、画像表示部103がグリップ部の下側に配置されていることにより、全方位カメラ101の撮影範囲に画像表示部が進入しない構成となっている。画像表示部103は、画像表示面である大型の液晶パネル103aと、液晶パネル103aを後方から照明するするバックライトと、感圧式のタッチパネルによる、操作入力装置からなる。勿論、液晶パネルの駆動回路と、バックライトを点灯させるインバータ回路、タッチパネル信号の処理回路等も組み込まれている。画像表示部103は、撮影時に画角確認用の電子ファインダとして使用できるとともに、撮影した画像のプレビュー画、及び、記録再生装置から読み出した再生画像を表示できる。画像表示部の左右両側には、記録した音声の再生手段として、スピーカ202が１対配設されており、Ｌ側のスピーカ201ａとＲ側のスピーカ202ｂにより、２チャンネルのステレオで音声を再生することが可能となっている。

記録再生装置に格納された画像データは、制御ＣＰＵ507の指令に従って、メモリ部508に定期的に読み出され、画像表示部の液晶パネル103aに表示される。これにより、ユーザーは、画像表示部103aの表示画像により、撮像光学系の視野内の被写体をリアルタムで確認できる。画像表示部の液晶パネル103aには、全方位の映像を円板上に変換した円盤状映像データと、後述する方法により、円盤状と、展開されたワイドスクリーン映像データの両方の再生を選択的に表示可能となってる。

また、本案件のビデオカメラのグリップ部フロント側には、図４に示す様に、本体に対して開閉自在に配設されたカバー部401と、カバー部閉状態では、カバー部に覆われる位置に配設された、映像と音声データを外部の機器に出力端子402が配設されている。該出力端子は撮影時には用いないので、撮影時には、該出力端子402はカバー部401で覆われている。出力端子402を、図示しない接続プラグを介して外部の全方位に対応した再生機器と接続することで、全方位を再現した環境で再生することが出来る。

本案件のビデオカメラの記録媒体506は、磁気ディスク、光ディスク、光磁気ディスク又はフラッシュメモリなど、電子的、磁気的、光学的、又はこれらの組み合わせによりデータを記録する媒体である。記録媒体は、ビデオカメラから着脱可能な媒体であっても、内蔵される媒体であってもよい。

次に記録媒体に記録された映像と音声データの再生手段について、図６のフローチャートを参照しながら説明する。

図６は、本実施形態に関わる映像と音声データの、外部の再生機器と接続しない場合における、再生動作の制御手順を表わしたフローチャートである。

本実施例では、円盤状に変換された映像データを、図６のフローチャートに示すステップＳ１０１で、パノラマ上に展開するかどうかの選択を行う。図７に示すような、全方位の映像を円盤状で再生する場合、ステップS103で、２つのスピーカから主信号である全てのマイクの和信号を用いて、左右同じ音声の出力を行う。すなわちモノラルで音声出力を行う。

また、図７に示すような円盤状の映像を、図８のようにさらにワイドスクリーンに展開して再生する場合、ステップＳ104で展開位置の選択を行う。ユーザーによる展開位置の指定は画像表示装置103のタッチパネル操作により行う。ステップＳ106で２つのスピーカ202から出力される音声信号は、ステップS105で入力された音声情報を再演算して得られる。以下、図9を用いて、各音声信号からの合成処理の一例を示す。本実施例のビデオカメラでは、後述する方法で、展開の起点の位置によって、各副信号への重み付け処理を行った後、左右のＬＲ信号の合成を行う。

図９は円盤状の全方位映像と、円盤状映像に対応する各方向のマイクを模式的に表した模式図である。図に模式的に示されたマイクの表記は、本実施例のマイク表記に対応する。例えば、マイク102aはフロント側に向けて配設されたマイク。マイク102dはリア側に向けて配設されたマイクである。

本実施例のビデオカメラでは、ワイドスクリーンへの展開後の映像におけるＲ側、Ｌ側に対応した、仮想的なR側チャンネル、L側チャンネルを、全てのマイク信号から生成する。例えば、展開の起点を、図９に示す用に撮影前方側から、半時計回りに60度位相が回転した線ａとする。線aを展開の起点として、図10のようなワイドスクリーンに展開する場合、展開の起点から左右90°回転した位置を、展開後の正面の音源として、左右２チャンネルの信号とする。すなわち、R側（右側）のマイクから出力されるRチャンネルの音声信号を作成する際、展開の起点である線aから反時計回りに90°回転した破線ｃの方向を仮想的なマイク正面とする。また、ここで本実施例のマイクの指向性は、カーディオイド特性を有するので、それぞれのマイク102における感度ｒは、それぞれのマイクの正面を０とした音源の角度をβとすると、ｒ＝（1+ｃｏｓβ）/2で表される。

本実施例におけるマイク信号の合成手段は、例えば破線ｃの位置を仮想的なマイク正面として演算する場合、破線ｃの位置を正面の０として、破線ｃからの角度をβとして計算された感度ｒを各マイクの重み付けとして利用して、全てのマイクの信号の和演算を行う。

例えば、図９におけるマイク102ｄの、破線ｃからの角度は３０°であるので、マイク102ｄの重みつけ係数は、ｒｄ＝（1+0.86）/2＝0.93となる。同様にマイク102ｃの、破線ｃからの角度も3０°であるので、マイク102ｃの重みつけ係数は、ｒｃ＝（1+0.86）/2＝0.93となる。マイク102eの、破線ｃからの角度は90°であるので、マイク102ｅの重みつけ係数は、ｒe＝（1−0）/2＝0.5となる。マイク102ｂの、破線ｃからの角度は90°であるので、マイク102ｂの重みつけ係数は、ｒａ＝（1−0）/2＝0.5となる。マイク102ｆの、破線ｃからの角度は150°であるので、マイク102ｆの重みつけ係数は、ｒｆ＝（1−0.86）/2＝0.07となる。マイク102ａの、破線ｃからの角度も150°であるので、マイク102ａの重みつけ係数は、ｒａ＝（1−0.86）/2＝0.07となる。このように演算された重み付け係数を、それぞれのマイク信号に乗して和演算を行うことでRチャンネルの音声信号を得る。

同様に、Ｌチャンネルの音声信号は、展開の起点である線aから時計回りに90°回転した破線ｂの方向を仮想的なマイク正面として演算を行う。その後、必要に応じて、上記の方法で合成されたLとRチャンネルの信号の差を取り、差の信号部を強調することで、さらにステレオ処理を施してもよい。このような方法で、全方位映像のワイドスクリーンへの展開の際、展開の起点を自在に変化させても、常に映像に対応した音声をステレオ環境で再生することが可能となる。

［実施例２］
次に全方位の映像から、ある１部分を切り出して再生する場合、すなわち図11のように円盤状に展開された映像データのうち、図中の破線L,R部で囲まれた部分以外をトリミングし、図12のような映像データとして再生する場合の実施例を示す。本実施例のビデオカメラでは、円盤状の映像をトリミングして再生する場合、すなわち、2本の展開の起点により映像を展開する場合、それぞれの展開の起点に対応する方向を、仮想的なマイク正面とし、左右２チャンネルの信号とする。

例えば、Rチャンネルとしての信号を作成する際、破線Rが仮想的なマイク正面となるように、前述の方法と同様の方法で和信号を演算する。同様に、L側の音声信号の演算も、破線Ｌが仮想的なマイク正面となるように演算することで可能となる。

このような方法で、ユーザーが、画像の範囲を自在に変化させることで全方位の映像から映像の切り出しを行っても、常に映像に対応した音声をステレオ環境で再生することが可能となる。

１０１：全方位カメラ
１０２：マイク
２０２：スピーカ

Claims (4)

1. 複数のマイクと、
   超広角映像の記録、又は再生が可能な撮像装置と、
   記録された超広角映像を、長方形の画像に変換する画像処理手段と、
   複数マイクから各方向の信号を合成する信号合成手段と、を有し
   超広角映像の画像処理に合わせて、
   各マイクからの音声信号の重み付けを変更して合成することを特徴とする超広角映像の記録及び再生装置。
2. 超広角撮像は全方位カメラであることを特徴とする請求項１に記載の超広角映像の記録及び再生装置。
3. 信号合成手段により合成される信号は、少なくとも２チャンネルの音声信号を含むことを特徴とする請求項１又は請求項２に記載の超広角映像の記録及び再生装置。
4. 円板上の映像データを、長方形の映像データに展開する画像処理手段を有し、円板上からの展開点からの位相に応じて再生音の特性を変化させることを特徴とする超広角映像の記録及び再生方法。