JP2013504239A - 携帯型広角映像記録システム - Google Patents

Abstract

カメラモジュールの配列からなる、携帯型映像記録システムが開示されている。この装置はジャイロスコープを備え、繋ぎ合わされた広角の複写物からカメラの動きを外挿することが可能である。合成された一連のマスター画像から、撮影後の編集において画像フォーマットおよびフォーカスを選択することが可能であるため、撮影中に照準を合わせたり、手作業による設定をしたりすることが避けられる。

Description

発明の詳細な説明

［発明の分野］
本発明は、一式のカメラモジュール、ジャイロスコープ、および記録または送信ユニットを備えた、映像の記録・送信・再生システムに関する。

関連手順として、方向安定化した一連のマスター画像から最終的に得られる映像の、フォーマットおよびフォーカスを選択することが含まれる。一連のマスター画像とは、カメラモジュールからの一連の別個の画像を、傾き修正し、一列に揃え、そして繋ぎ合わせることによって、後処理において形成されたものである。
［発明の背景］
移動性のある映像撮影は一般的にビデオカメラを用いて行われ、このビデオカメラは、ビューファインダまたはスクリーンを覗き込んでそのシーンを制御している、カメラマンの前面で保持される。

このようなシステムには、根本的に不利な点がある。
第一に、カメラマンが単独である場合、シーン全般を確認することと、ビューファインダまたはスクリーン上で映像を注視することと、を同時に行いつつ、映像の詳細、ズームおよびフォーカス（特に、不適切な自動フォーカスの修正）、ならびにカメラ設定を選択することで、必然的に負荷が掛かりすぎることになる。

映画撮影チーム内では、これらの作業は、監督、カメラマン、および技術スタッフの間で分担される。
しかしながら、即席の道具立てでのライブ撮影においては、熟練したチームであっても常に能力の限界のところで作業することとなる。

このようなことは、空間的安定性がより少ない生中継で、特に、既存の揺れ防止方法が奏功しない、動きを伴う撮影が行われなければならない場合に、はっきりと見られる。
素人や、チームを持たない単独のレポーターは、このような同時に発生する任務によって、一層大きな困難に直面することになる。したがって、機材の技術的水準に大差がなくても、プロの撮影したものと比較すると、結果はしばしば非常に劣ったものとなる。

従来のカメラの使用方法における別の重大な欠点は、照準を定めているのが一目で分かることである。被写体としての個々の人々は、撮影されていることに気付くや否や、様々に反応したものである。「チーズ、ケーキ」と言ったり、人を手招きしたり、変な表情を作って立ちすくんだり、攻撃的な反応をしたり、背を向けたり、と様々であるが、撮影するつもりだった通常の行動を続けてくれることはまれである。

別の主要な問題点、特に、素人や単独のレポーターにとっての問題点は、カメラを手で保持する必要があるため、何かと支障が出ることである。それは、自力でカメラを保持する必要があったり、同時に他の被写体を扱わなければならなかったり、あるいは、例えば幼い子供達には、なぜパパやママが自分との間にその厄介な箱を保持しているのか理解できなかったりすることである。
［解決すべき課題］
したがって、本明細書に開示される発明の目的は、手でカメラを保持することと、被写体に照準を定めているのが一目で分かることと、を回避するとともに、撮影中に焦点を合わせたりカメラ設定したりすることを回避または円滑化する、映像記録方法を見出すことである。
［発明の基本的説明］
提案しているのは、全可視範囲を記録するボディカムのように、カメラシステムを身に着けることではあるが、複数の同一のカメラモジュールを用いることである。これらのカメラモジュールは、携帯電話に使用されているようなものではあるが、より長い焦点距離と垂直フォーマットアラインメントとを有し、相互に対して一定の水平角で配置されることが好ましい。その結果、撮影後の編集における良好なズーミング（映像の連続的拡大／縮小）および再構成を可能にする、画像解像度が得られる。パソコン上で一連の別個の録画画像が繋ぎ合わされ、一式のマスター画像が形成される。一式のマスター画像は、所望の表示ウィンドウが選択される前に、記録された動きセンサの信号に応じて再編成される。
［先行技術］
英国特許出願公開公報第２ ４５６ ５８７ Ａ号に開示されているボディカムは、当技術分野で周知されており、ユニフォームのフラップまたはヘルメットに通常取り付けられる。このボディカムは、広角レンズシステム、または、魚眼レンズシステムさえ包含しており、文書化に、またはミッションの遠隔指揮にさえ、通常適用されている。

上記システムの不利な点は、超広角レンズシステムはひどい歪みを示すことである。そのような歪みは（例えば、米国特許公報第７，２７７，１１８ Ｂ２号に開示されているように）ある程度まで電子的に修正し得るが、それにより、高いビデオ解像度の実現を妨げ得る、幾ばくかのアイテム化を再び招くことになる。

さらに、１つのレンズでカバーされる広角度によって、遠距離の被写体では倍率が著しく削減されることになるのに対し、近距離の被写体は過剰に大きくなる。
これにより、印象的な画像がもたらされるかもしれないが、遠距離の被写体は遮蔽され、また、その細部を正常な姿に復元する可能性は減少する。

米国特許出願公開公報第２００９／１０９２９２（Ａ１）号にあるような、複数のカメラからなる別のボディカムシステムは、既存のものに代わる画像を提供することを意図しているが、それは繋ぎ合わされた画像でも合成された画像でもない。

他のシステムが多眼カメラの適用を具現化しているかもしれないが、一般的に携帯型ではなく、大抵の場合、被写体を取り囲むカメラに関連するものである。そのようなカメラは、国際出願公開公報第ＷＯ９９／３５８５０号や、特に３Ｄビジョンを得るために設置されるのであれば、国際出願公開公報第ＷＯ０２／０９６０９６ Ａ１号、中国特許出願公開公報第１０１ ３２１３０２Ａ号、国際出願公開公報第ＷＯ２００７／０４８１９７ Ａ１号に開示されている。あるいは、少なくとも前景コンテンツと背景コンテンツとをよりよく対照させるために設置されるのであれば、米国特許公報第７，４２０，５９０ Ｂ２号に、また、他の３Ｄコンテンツの登録のために設置されるのでなければ、米国特許公報第７，５４２，０７３ Ｂ２号の回転型装置に見られるように、上述のようなカメラが開示されている。

さらに、米国特許公報第７，２９８，３９２ Ｂ２号にあるように、一式のカメラを用いたパノラマ画像を提案として含むものもあり、相当数の旧式のフィルムカメラ装置を（全てが可搬型の撮影を意図しているわけでも適用可能なわけでもないが）、必要に応じて、台車に載せて線路に沿って走行させている。

米国特許公報第７，０１５，９５４号にあるように、水平および垂直に配置された一式のカメラモジュールを備えた、別の多眼カメラ装置もまた、後処理段階でのパニング（パノラマ移動）およびズーミングに関連する。しかし、米国特許公報第７，２７７，１１８ Ｂ２号に記載されているように、水平および垂直に隣接する画像を繋ぎ合わせることは、１つ１つのフレームの歪み修正および再編成のための精巧な技術を必要とする。申し分のない結果を出すためには、極めて重要な移行部については手作業で修整することが、さらにほとんどの場合必要であり、それにより作業は面倒なものとなるため、静止画像を別にすれば、ほとんど実行不可能である。したがって、この装置は、移動を伴う適用のために、または、特に身に着けるために、示されているものではなく、また、動き補償を含んでいない。

さらに、米国特許公報第６，００２，７４３号および米国特許公報第６，９２１，２００ Ｂ１号にあるように、Ｘ線システムのような、解像度を高めるために用いられることで知られる多眼カメラシステムがあるが、それは定位置に保たれる必要があるため、携帯型ビデオとは関連がない。

高性能の広角レンズシステムと精巧な画像センサ技術とを使用する、携帯型ビデオの代替技術をもってしても、最良の対物レンズでさえも解像能力に限界があり、また、別個の画像センサのピクセル解像度および色ノイズまたは輝度ノイズにも限界がある。

これは、カメラモジュールを増加させることと、得られた画像コンテンツを電子的に繋ぎ合わせることと、によって、本明細書に開示する提案で解消される。

別個のカメラ画像から最終的な不要部分削除までの、概略的な作業の流れを説明する。 ヘッドバンドとして携行される極小カメラモジュールを用いた、実行可能な適用例を例示する。 ネックレスに取り付けられて携行される極小カメラモジュールを用いた、実行可能な適用例を例示する。 チケットポケットに入って携行される極小カメラモジュールを用いた、実行可能な適用例を例示する。 ６つのカメラユニットで構成される、カメラ装置の構成を示す。

個人視界（１５０°）ビデオの基本的実施形態では、カメラ装置は６つのユニットを備え、各ユニットは２５°の水平角を少なくともカバーする一方、より良好な繋ぎ合わせのために少なくとも５°の水平角をカバーし、特に外形認識技術がそれに適用される場合は、別の半分の画像サイズの重複する画角が、重複する両サイドに加えられ得る。

これらの視野角（３０°から５０°まで）は、通常ほとんど歪みを示さない３５ｍｍカメラ（２４×３６ｍｍの画像サイズを有する）の７５〜９０ｍｍの焦点距離に相当する、かなり望遠タイプである対物レンズに関連する。

上記ユニットは可能な限り小型軽量であるべきであり、また、最小限の電力消費で作動するべきであるので、別個のカメラユニットの画像データは、圧縮されずに（原フォーマットで）、標準的な処理装置を介して、または、好ましくは構成変更可能な相互接続（例えば、書替え可能ゲートアレイ（ＦＰＧＡ））の階層構造を介して、速度および記憶容量に基づいて選択される一式のフラッシュメモリチップに、非常に簡単に入力される。

例えば、６つのカメラチップのうちの１つがそれぞれ１．２メガピクセルを有し、そのうち０．５メガピクセルが、１０ビットの色濃度および２５フレーム／秒で、最大解像度で記録される場合、約１５メガバイト／秒のデータフローは、一般的な５：４フォーマットでは、カメラモジュールの設定値と合わせて、ジャイロスコープからのデータ約１０キロバイト／秒および２６０ビット／秒のＨｉＦｉステレオサウンドシステムという結果になるはずであり、合計１６メガバイト／秒未満が記憶ユニットに転送されなければならない。これは、標準性能ＦＰＧＡで良好に実行可能である。

画像はその後ＵＳＢＩＩコネクタを介して６０メガバイト／秒で、あるいは、標準ＩＥＥＥ１３９４（登録商標ＦｉｒｅＷｉｒｅ）転送によって、３ギガビット／秒の範囲内でより良好に処理コンピュータに転送され得る。そこで、市販のプログラムは、共に転送されたデータに基づく全ての必要な修正を加えて全体画像を繋ぎ合わせる傾向にあり、また、得られたビデオマスター画像を、フォーマットと、表示ウィンドウと、特定の画像解像度向上技術の使用と、の設定に応じて処理する。

パノラマ式の位置決めの別の実施形態では、フルサラウンドビューをカバーするために、６またはそれ以上のカメラが適用される。
カメラモジュールは、同一のもので、固定焦点および一定の絞りに設定されることが好ましく（昨今の光感度は、ＣＭＯＳ画像センサにおいてかなり良好に自動調整され得るため)、また、一定の水平角で相互に配置されることが好ましい。その結果、焦点深度が異なってしまうことと、繋ぎ合わせ前の精巧な歪み修正および手作業による画像修正の必要性と、が避けられる。

カメラ装置は、ヘルメットまたはヘッドバンドに配置され得る。あるいは、小さいケースに入れて、ネックレスまたはループタイの紐およびネクタイピンに取り付けて、カメラマンの胸元で、または上半身背面で携行され得る。しかし、本システムは、帯状のカメラが上端に突き出た状態でチケットポケット内に収まっていてもよい。

本システムには、カメラ装置の正確な空間位置および動きについてのデータを共に登録するために、３軸加速度センサのジャイロスコープおよび線形加速度センサがさらに備えられる。小型のＭＥＭＳ慣性センサを用いた適当なユニットが、市場で十分入手可能である。

このようなユニットは、マスター画像を後処理する際に、ビューの水平線および方位角を安定させるために適用される一方、ビューの内フレームが巻き込まれない限り、画像を捻ったり、または、画像の周辺部を垂直および水平に断ち切ったりする。

後処理における画像の繋ぎ合わせは、（緩やかな望遠レンズがそうであるように)光学的歪みが周辺部にとどまっているのであれば、または、昨今一般的に行われているように、画像センサシステムにおいて光学的歪みが既に電子的に補正されているのであれば、画像の端部を一線上に揃えることによって、小さい重複領域を用いて容易に行うことが可能である。これは通常、例えば中国特許出願公開公報第１０１０６４７８０（Ａ）号に記載されているように、レンズの歪みを校正することによって実現する。

カメラモジュールの信号は、好ましくはフラッシュ記録ユニットに記録され、有線通信もしくは無線通信によって、基地局に後に転送されるか、または、直ちに送信される。基地局で、画像は、並行して通信された画像センサ電子機器の設定（感光度、ホワイトバランス等）の信号、ならびに、録音データ、位置データ、および加速度データと共に、処理される。
［好ましい実施形態の説明］
好ましい実施形態では、各カメラユニットからの信号は、例えば、Ｈ．２６４コーデックを用いて、リアルタイムで圧縮される。Ｈ．２６４コーデックは、当技術分野で定着しており、今日では低電力消費の標準的な集積回路を使用して実行可能である。これによって、無線送信の適正な転送速度で、かつ、適度なデータ記憶容量で、高解像度画像センサを適用することが可能になる。

５０：１までの圧縮率は、見る人にはほとんど識別できないが、圧縮アーチファクトは、得られるデータの品質の向上に対して軽微に留められるべきであるため、３０：１の圧縮率であれば、上述の装置を用いて優れた全体画像が得られると、我々は判断した。しかし、必要とされる記憶用メモリが変えられない一方で、別個の処理装置の電力消費は５００ミリワットを見越されなければならず、そのため、６つのカメラを備える本願実例の３ワットは、さらに１ワット／時のバッテリ容量を必要とすることになる。それが意味するところは、３０分のランタイムのために、１．２ボルトの動作でさらに１アンペア／時のバッテリが、つまりはさらに最低限４０グラムが、携行されることとなる。これはまだかなり許容できると思われる。

更なる処理は、上述したような別個の画像の歪みを修正することと、異なるカメラモジュールからの同期画像のマスターフレームシーケンスを繋ぎ合わせること、とからなる。
ここで、後処理において画像分析方法および外形認識方法を適用することで、繋ぎ合わせのための正確な画像再調整のより緻密な概念が利用され得る。このプロセスを促進するために、これらの方法は上述した従来の事前再調整と併用して適用されることになる。

さらに、マスター画像位置の再調整は、ジャイロスコープおよび加速センサに由来する修正信号に応じて実行されることになり、その結果、スクリーン上に安定したマスター画像を実現できることになる。

画像を繋ぎ合わせるためのソフトウェアは、数多くのバージョン（例えば、中国特許出願公開公報第１０１１４６２３１（Ａ）号に包含されるもの）が市販されており、カメラの揺れを修正する技術は、この技術分野で周知されている。とはいうものの、この技術は、撮影と並行しての修正に従来用いられてきたものであり、後処理で、撮影済みの動画データに用いられてきたものではない。

しかし、高度な実施形態では、従来の揺れ防止システムを適用して、それを、記録されたジャイロデータを用いた、後処理での画像安定化と併用することもまた可能である。なぜならば、後者は主としてより大きな規模で画像を安定化することが意図されており、カメラマンの体の動きでオブザーバーを混乱させることはないからである。両技術を併用することは、レンズまたは被写体のシフティングによる高速オンラインの揺れ防止が備えられていれば、特に有益となる可能性があり、結果として、低露光時間でのカメラの揺れの不鮮明化効果が避けられる。それに必要となるのは、追加の撮影を行うこと、および、後処理における画像安定化から、シフトデータを後で外挿することのみである。

市販の画像編集ソフトウェアによって、画像フォーマットを選択すること、ならびに、更なる記録および処理を行うためにマスター画像から所望の画像コンテンツを削除することが、最終的に可能になる。
［図面の詳細な説明］
図１は、その信号を圧縮ユニット７〜１２に送信する、６つのカメラユニット１〜６の配列および２つのマイクロホン１３および１４を示し、圧縮ユニット７〜１２は、その出力をＦＰＧＡ１５に配信し、ＦＰＧＡ１５は、出力をフラッシュ記憶ユニット１６（本明細書では図示されない、複数のフラッシュモジュールで構成され得る）の中に送り込むために、信号を相互接続することによってソートしている。

読み出しは、後処理システム２３とのＵＳＢＩＩ接続を介して行われる。後処理システム２３において、これらの信号は繋ぎ合わされて一続きの全体画像２０になる。出力１７は、水平方向１８および垂直方向１９の動き検出の信号、および、うねりまたは捻れ（表示せず）の信号を含み、それにより、マスター画像２１が全体画像２０から選択される。可動フレーム２２は、従来のビデオ編集ソフトウェアを用いて、マスター画像２１からフォーマットおよび特定のビューを選択する可能性を実証する。

図２は、ヘッドバンド２９で携行される、サラウンド撮影用の一式のカメラを示し、モジュール５０〜５７が見えている一方、別の５つは背面にある。
図３は、ネックレス３１に取り付けられたカメラ装置３０の装着状態を例証する。

図４は、チケットポケット３３に入った、別のカメラ装置３２を示す。
図５は、６つのカメラモジュール３４〜３９の実行可能な組立品を開示する。各カメラモジュールは、連結ピン４１および４２と共に、複数の層および電子部品（見えていない）を包含するプリント基板４０（代表例）に取り付けられる。

これらのプリント基板は、保持ブリッジ４３および４４に取り付け可能である一方、連結ピン４１および４２は、可撓性のある相互連結部４５に通じている。相互連結部４５は、何らかの電子機器（図示せず）を有していてよく、別の一組の相互連結ピン４６および４７で終端している。一組の相互連結ピン４６および４７は、マザーボード（図示せず）に差し込まれることが可能である。

Claims (25)

1. 同一のカメラモジュールの配列を備えた携帯型広角映像記録・処理システムであって、
   前記カメラモジュールの連続画像は、無線送信されるか、または、付属するジャイロセンサの出力と共に記録および処理され、カメラ列の動きを外挿すると共に、電子的に繋ぎ合わされる
   ことを特徴とする携帯型広角映像記録・処理システム。
2. 請求項１に記載の携帯型広角映像記録・処理システムであって、
   カメラシステムは、記録または無線送信のためにのみ用いられる一方、前記画像の前記処理は、カメラ装置外のコンピュータシステムで行われる
   ことを特徴とする携帯型広角映像記録・処理システム。
3. 請求項１および２に記載の携帯型広角映像記録・処理システムであって、
   前記カメラモジュールの画像コンテンツは、フラッシュメモリ装置に連続して転送され、該フラッシュメモリ装置内に記憶される
   ことを特徴とする携帯型広角映像記録・処理システム。
4. 請求項３に記載の携帯型広角映像記録・処理システムであって、
   前記連続した転送は、書替え可能ゲートアレイ（ＦＰＧＡ）によって実現される
   ことを特徴とする携帯型広角映像記録・処理システム。
5. 請求項２に記載の携帯型映像記録・処理システムであって、
   無線送信は、ＵＨＦ通信を介して実行される
   ことを特徴とする携帯型映像記録・処理システム。
6. 請求項１に記載の携帯型広角映像記録・処理システムであって、
   前記カメラ装置の動きは、一体化された３軸ジャイロセンサから記録または転送される
   ことを特徴とする携帯型広角映像記録・処理システム。
   
7. 請求項６に記載の携帯型映像記録・処理システムであって、
   前記ジャイロセンサは、ＭＥＭＳ（微小電子機械システム）の内界センサタイプである
   ことを特徴とする携帯型映像記録・処理システム。
8. 請求項１に記載の携帯型映像記録・処理システムであって、
   全てのカメラモジュールは、別個の揺れ防止装置を包含する
   ことを特徴とする携帯型映像記録・処理システム。
9. 請求項８に記載の携帯型映像記録・処理システムであって、
   揺れ防止は、レンズの動きを修正することによって実行される
   ことを特徴とする携帯型映像記録・処理システム。
10. 請求項８に記載の携帯型映像記録・処理システムであって、
    揺れ防止は、前記画像センサの位置を修正することによって実行される
    ことを特徴とする携帯型映像記録・処理システム。
11. 請求項１および６〜１０に記載の携帯型映像記録・処理システムであって、
    別個の揺れ防止装置の追跡データは、前記カメラ列のジャイロデータと共に後に処理されるために、別個のビデオストリームと並行して登録および処理される
    ことを特徴とする携帯型映像記録・処理システム。
12. 請求項１に記載の携帯型映像記録・処理システムであって、
    全てのカメラモジュールの出力は、送信または記録の前に圧縮される
    ことを特徴とする携帯型映像記録・処理システム。
13. 請求項１２に記載の携帯型映像記録・処理システムであって、
    映像圧縮は、Ｈ．２６４コ−デックを用いて実行される
    ことを特徴とする携帯型映像記録・処理システム。
14. 請求項１に記載の携帯型広角映像記録・処理システムであって、
    撮影の水平角は、サラウンドビューを網羅する
    ことを特徴とする携帯型広角映像記録・処理システム。
15. 請求項１に記載の携帯型広角映像記録・処理システムであって、
    撮像の全角度は、人間の主たる視野、例えば、少なくとも１５０°×８０°と重複する
    ことを特徴とする携帯型広角映像記録・処理システム。
16. 請求項１に記載の携帯型広角映像記録・処理システムであって、
    隣接するカメラモジュールの画像は、部分的に重複する
    ことを特徴とする携帯型広角映像記録・処理システム。
17. 請求項１６に記載の携帯型広角映像記録・処理システムであって、
    重複するデータは、より良好な繋ぎ合わせに加えて、色ノイズおよび不鮮明の電子的修正にも使用される
    ことを特徴とする携帯型広角映像記録・処理システム。
18. 請求項１に記載の携帯型広角映像記録・処理システムであって、
    前記別個のカメラモジュールの前記画像は、傾きおよび不鮮明が修正され、一続きの全体画像を形成するために繋ぎ合わされる
    ことを特徴とする携帯型広角映像記録・処理システム。
19. 請求項１に記載の携帯型広角映像記録・処理システムであって、
    繋ぎ合わせのための画像部分の配分は、少なくとも５°の重複部で正確に角度調整することによって実現される
    ことを特徴とする携帯型広角映像記録・処理システム。
20. 請求項１に記載の携帯型広角映像記録・処理システムであって、
    前記画像部分の前記調整は、微分可能な外形線および形状のような、重複する画像コンテンツの認識および共焦点センタリングによって実現される
    ことを特徴とする携帯型広角映像記録・処理システム。
21. 請求項１９および２０に記載の携帯型広角映像記録・処理システムであって、
    両工程は一体となっている
    ことを特徴とする携帯型広角映像記録・処理システム。
22. 請求項１８および１１に記載の携帯型広角映像記録・処理システムであって、
    マスター画像を構築するために前記全体画像から内フレームが選択される一方、前記カメラ装置の前記動きおよび別個の揺れ防止修正を外挿する
    ことを特徴とする携帯型広角映像記録・処理システム。
23. 請求項１および１９に記載の携帯型広角映像記録・処理システムであって、
    前記マスター画像は、標準のビデオフォーマットを超える、水平および垂直な視野角を備え、その結果、選択されたコンテンツに焦点を合わせること、または、選択されたコンテンツを削除することが可能になる
    ことを特徴とする携帯型広角映像記録・処理システム。
24. 請求項１に記載の携帯型映像記録・処理システムであって、
    異なるビデオフォーマットおよびスクリーンウィンドウの抽出は、合成された前記マスター画像から実行される
    ことを特徴とする携帯型映像記録・処理システム。
25. 請求項１に記載の携帯型広角映像記録・処理システムであって、
    前記カメラモジュールの、自動調整されたパラメータの全ては、後処理において適切な移行を実現するために、メモリ装置に記録されるか、または、制御センタに転送される
    ことを特徴とする携帯型広角映像記録・処理システム。

Images