JP2013187642A - 撮像装置、撮像装置制御システム、及びコンピュータプログラム - Google Patents

Abstract

【課題】複数のカメラを同期して撮影する撮像システムにおいて、撮像素子の画素クロックがわずかに違った場合でも、クロック差の累積による複数のカメラ間での露光タイミングのずれを防止し、長時間にわたり動画撮影する場合でも、露光タイミングや撮影シーンが一致した良好な多視点映像を撮影可能とする。
【解決手段】複数のカメラを同期させて撮像を行う撮像装置であって、撮像手段で受光した映像から光パルス信号を抽出する光パルス抽出手段と、前記光パルス抽出手段が抽出した情報を基に前記撮像手段の駆動条件を含むカメラ設定情報の設定を行い（変更し）、設定されたカメラ設定情報に基づいて前記撮像手段を制御する制御手段と、を備える。
【選択図】図１

Description

本発明は、複数のカメラで同期撮影を行う撮像装置の制御技術に関する。

近年、デジタルカメラ、カメラ付き携帯電話やスマートフォンによって手軽に動画撮影が可能となってきている。また、映像観察方法の多様化に伴い、一つの被写体を複数の方向から撮影する機会も増えてきている。撮影スタジオなど特殊な環境においては、複数のカメラを１つの制御装置に接続して、撮影の開始、終了、およびフレームレートを一元管理することにより、複数のカメラによって撮影された映像を切替えて観察しても、フレーム同期に狂いのない良好な多視点映像を撮影することが可能である。

例えば、特許文献１は、同期基準信号に同期した映像フレーム内の映像フレームとフレーム周期が異なる撮像フレームの先頭位置を示すリセット位相を示す情報を、上記映像フレームの１つ前の映像フレームのフレーム周期内に複数の撮像装置にそれぞれ送信するリセット位相送信部を有するコントローラと、被写体からの光を撮像する撮像部と、上記コントローラから送信された上記リセット位相を示す情報に基づき、１撮像フレーム分の撮像を開始するように上記撮像部を駆動する撮像駆動部と、上記撮像部で撮像された１撮像フレーム分の撮像データを、上記コントローラから送信された上記同期基準信号に基づき外部に出力する出力部とを有する複数の撮像装置とを備えるマルチカメラシステムを開示する。

また、特許文献２は、あらかじめ設定されたパターンで信号を発生する信号源から発生する前記信号を検出可能な位置に設置された１以上のカメラからなり、前記カメラは前記信号に基づいてシャッタータイミングを生成するものである。

図６はこのような撮影システムの一構成例を示す機能ブロック図である。図６に示すように、信号源１０３は、通信パルス生成手段１０３−１と、ＬＥＤなどのパルス発光に適した発光手段１０３−２とを有している。

カメラ１０１ａは、画像を撮影するための撮像素子の駆動回路等を含む撮像手段１１１ａと、通信手段１１５ａと、シャッタータイミングを生成するシャッタータイミング生成手段１１８ａと、全体を制御する制御手段（ＣＰＵ）１２１ａと、ハードディスクやメモリなどの録画手段１２３ａと、を有している。これにより、カメラ間の同期が保証される。

特許第４５０１７５８号公報 特開２００９−１４７５９７号公報

しかしながら、特許文献１に記載された技術は、コントローラと、撮像部を駆動する撮像駆動部とを有しており、大変高価で大規模なものになるという問題があった。

また、特許文献２に記載された技術は、安価で簡便な方法であり、シャッタータイミングを生成することから考えて、静止画撮影には適しているが、動画撮影する場合においては、撮像素子からデータを読み出す画素クロックのわずかな違いの累積により、複数のカメラ間で露光タイミングに狂いが生じ、長時間にわたり動画撮影する場合においては、露光タイミングずれの累積が撮影シーンのずれを引き起こし、良好な多視点映像を撮影できないという問題があった。

本発明は、安価で小規模なシステムであり、かつ、すべてのカメラにおいて同一のパラメータで画素クロックを生成することにより、長時間にわたり動画撮影する場合においても、露光タイミングずれの累積が撮影シーンのずれを生じさせることのない、良好な多視点映像を撮影することができる技術を提供することを目的とする。

本発明の一観点によれば、複数のカメラを同期させて撮像を行う撮像装置であって、撮像手段で受光した映像から光パルス信号を抽出する光パルス抽出手段と、前記光パルス抽出手段が抽出した情報を基に前記撮像手段の駆動条件を含むカメラ設定情報の設定（変更）を行い、設定されたカメラ設定情報に基づいて前記撮像手段を制御する制御手段と、を備えたことを特徴とする撮像装置が提供される。

前記カメラ設定情報は、撮像装置の録画開始タイミング、録画時間、フレームレートの少なくともいずれか１を含むものである。これにより、動画の撮影におけるカメラ間の同期を簡単に行うことができる。

さらに、前記光パルス抽出手段から前記制御手段に送られた光パルス信号を受け取り、カメラ設定に関する電気的なクロック信号を生成して前記撮像手段に戻すクロック生成手段を有することが好ましい。
前記光パルス信号は、前記カメラ設定情報を出力する信号源からの信号であることが好ましい。

本発明は、前記信号源を有することを特徴とする上記のいずれかに記載の撮像装置である。
また、本発明は、上記のいずれか１に記載の撮像装置を複数有し、さらに、前記信号源を有することを特徴とする撮像システムである。

本発明の他の観点によれば、複数のカメラを同期させて撮像を行う撮像装置を用いた撮像方法であって、撮像した映像から光パルス信号を抽出する光パルス抽出ステップと、前記光パルス抽出ステップにおいて抽出した情報を基に前記撮像装置の駆動条件を含むカメラ設定情報の設定を行い、設定されたカメラ設定情報に基づいて前記撮像装置を制御するステップと、を備えたことを特徴とする撮像方法が提供される。

また、本発明は、コンピュータに、前記撮像方法を実行させるためのプログラムであっても良いし、当該プログラムを記録するコンピュータ読み取り可能な記録媒体であっても良い。

本発明によれば、すべてのカメラにおいて同一のパラメータで画素クロックを生成することにより、長時間にわたり動画撮影する場合においても、露光タイミングずれの累積が撮影シーンのずれを生じさせることのない、良好な多視点映像を撮影することができる。また、安価で小規模なシステムとすることができる。

本発明の第１の実施形態における撮影システムの構成例を示す図である。 本発明の第１の実施形態における一構成例を示す機能ブロック図である。 本発明の第１の実施形態における制御処理の流れを示すフローチャート図である。 本発明の第２の実施形態における撮影システムの構成例を示す図である。 本発明の第２の実施態における一構成例を示す機能ブロック図である。 一般的な撮影システムの構成例を示す図である。

＜第１の実施形態＞
図１は、本発明の第１の実施形態よる撮像システムの概要を示す図であり、図２は、図１のシステムの一構成例を示す機能ブロック図である。図３は、撮影処理の流れを示すフローチャート図である。

図１に示すように、撮像システムＡは、複数台のカメラ、ここでは、２台のカメラ１である、カメラ（１）１ａと、カメラ（２）１ｂと、信号源３と、を有する。信号源３は、カメラの撮影可能範囲内に配置される。

図２に示すように、信号源３は、通信パルス生成手段３−１と、ＬＥＤなどのパルス発光に適した発光手段３−２とを有している。信号源３は、例えばメモリに記憶されている設定データに基づいて、設定データに対応する通信パルス生成手段３−１に発光させるための制御信号を通信パルス生成手段３−１に提供する。発光手段３−２から発光する光パルス信号は、例えば赤外線リモコンから発光する赤外線の制御データと同様に、カメラ設定情報を含む。

カメラ１は、画像を撮影するための撮像素子の駆動回路等を含む撮像手段１１と、撮像手段１１からの信号のうち画像信号を除去して光パルス信号を抽出する光パルス抽出手段１５と、クロック信号を生成するクロック生成手段１７と、全体を制御する制御手段（ＣＰＵ）２１と、ハードディスクやメモリなどの録画手段２３と、を有している。光パルス抽出手段１５は、撮像手段１１で受光した映像から光パルス信号を抽出する。撮像手段１１は、光センサであるため、カメラ設定情報を含む光パルス信号を読みとることができる。光パルス抽出手段１５から制御手段２１に送られた光パルス信号は、カメラ設定に関する電気的な制御信号としてクロック生成手段１７に送られ、クロック信号を生成して撮像手段１１を制御する。

これにより、信号源３からのカメラ設定情報は、信号源３を同時に撮影するカメラ１ａとカメラ１ｂとに伝えられる。そのために、信号源３は、カメラの撮影可能範囲内に配置される。

信号源３の発光手段３−２の波長は、一般的な撮像素子において受光可能な可視光領域、あるいは近赤外光領域である。通信パルス生成手段３−１に基づく発光手段３−２の発光周波数をカメラ１のフレームレートの１／２の周波数に設定する。このように周波数を設定することで、信号源３の発光タイミングとカメラの受光タイミングとを同期させることなく通信を行うことができる。すなわち、立ち上がりのタイミングを判別出来ない場合でも、パルス信号（列）を２回に１回は補足することができる。

例えば、信号源の発光周波数を１２０Ｈｚとし、カメラのフレームレートを２４０Ｈｚとする。高フレームレートで取得した画像と、１つ前のフレームの画像とを比較すると、点滅するＬＥＤ以外の領域はほぼ変化が無く、両画像の差分を取ることで発光手段３−２のＯＮ／ＯＦＦをカメラ１側で認識することができる。

また、撮像手段１１による画像データには、光パルス信号が含まれるが、これらの光パルス信号は、実際のフレームレートを考慮すると、画像上にはほとんど影響を与えない。これらの影響を、制御手段２１ａの制御により除去する構成としても良い。

図３は、本発明の第１の実施形態における制御処理の流れを示すフローチャート図である。
撮影時に（ステップＳ１でＹＥＳ）、信号源３からカメラ１へ、カメラ１における録画開始タイミング、録画時間、および、フレームレートなどのカメラ設定情報の通信を行う（ステップＳ２）。複数のカメラ１ａ・１ｂで長時間録画する際の露光タイミングの同期制御をより正確に行うために、撮像素子の駆動回路に入力するクロック周波数、撮像素子の駆動回路内部のクロック分周逓倍比率、および撮像素子からのデータ読み出し周期に係る１フレームのライン数と１ラインの画素数を通信し、全てのカメラ間で一致させるように制御手段２１により制御する（ステップＳ３）。

カメラ１では、受信した情報に基づき、録画開始タイミング、録画時間、および、フレームレートなどの制御設定を変更し（ステップＳ４）、変更により指定された録画開始タイミングから録画時間分の映像を指定されたフレームレートで撮影した画像を記録する（ステップＳ５）。録画手段２３への記録処理が完了した後に（ステップＳ６でＹＥＳ）、次の撮影に備えて、カメラ１においては、通信に適したフレームレートに戻る（ステップＳ７）。

上記記載の方法を用いて、複数のカメラ１ａ・１ｂによる撮影を行うことにより、長時間にわたり動画撮影する場合においても、撮影を継続させつつ、露光タイミングずれの累積が撮影シーンのずれを生じさせることのない、良好な多視点映像を撮影可能である。

＜第２の実施形態＞
本発明の第２の実施形態を、第１の実施形態との違いを明確にするように以下に説明する。

図４は本発明の第２実施形態における撮影システムＢの構成図であり、図５は、本発明の第２の実施形態における撮影システムＢの一構成例を示す機能ブロック図である。図４に示すように、少なくとも２つ以上のカメラ５１を被写体５の周囲に設置する。

図５に示すように、少なくとも１つのカメラ（１）５１ａは信号源７５ａを内蔵する。信号源７５ａを内蔵するカメラ５１ａは、自身の撮影設定を他のカメラ５１ｂ、５１ｃに伝達可能とするための通信パルス生成手段７５ａ−１と発光手段７５ａ−２を備える。図４に示すように、カメラ（２）５１ｂ及びカメラ（３）５１ｃを、被写体５とカメラ（１）５１ａの発光手段７５ａ−２とを撮影可能な位置に配置する。カメラ（１）５１ａに内蔵された通信パルス生成手段７５ａ−１は、カメラ（１）５１ａの撮影設定を、カメラ（２）５１ｂ、および、カメラ（３）５１ｃと、に伝達するための信号を生成する。

以下、第１の実施形態と同様に、信号源７５ａからカメラ５１ｂ・５１ｃへ、録画開始タイミング、録画時間、およびフレームレートなどのカメラ設定情報の伝えるための通信を行う。複数のカメラ５１ａ・５１ｂ・５１ｃで長時間録画する際の露光タイミングの同期制御をより正確に行うために、撮像素子の駆動回路に入力するクロック周波数、撮像素子の駆動回路内部のクロック分周逓倍比率、および撮像素子からのデータ読み出し周期に係る１フレームのライン数と１ラインの画素数を通信し、全てのカメラ間で一致させる。

カメラ５１ｂ・５１ｃでは、受信した情報に基づき制御設定を変更し、指定された録画開始タイミングから録画時間分の映像を指定されたフレームレートで記録する。記録が完了した後に、次の撮影に備えて、通信に適したフレームレートに戻る。

上記記載の方法を用いて、複数のカメラ５１による撮影を行うことにより、長時間にわたり動画撮影する場合においても、露光タイミングずれの累積が撮影シーンのずれを生じさせることのない、良好な多視点映像を撮影可能である。

本発明によれば、すべてのカメラにおいて同一のパラメータで画素クロックを生成することにより、長時間にわたり動画撮影する場合においても、露光タイミングずれの累積が撮影シーンのずれを生じさせることのない、良好な多視点映像を撮影することができる。また、安価で小規模なシステムとすることができる。

また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
例えば、１台の情報端末や機器などに複数のカメラや撮像素子が設けられている場合を含む。

また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。尚、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。機能の一部又は全部を、集積回路により実現しても良い。

本発明は、撮影システムに利用可能である。

Ａ…撮像システム、１…カメラ、３…信号源、３−１…通信パルス生成手段、３−２…発光手段、５…被写体、１１…撮像手段、１５…光パルス抽出手段、１７…クロック生成手段、２１…制御手段（ＣＰＵ）、２３…録画手段。

Claims (8)

1. 複数のカメラを同期させて撮像を行う撮像装置であって、
   撮像手段で受光した映像から光パルス信号を抽出する光パルス抽出手段と、
   前記光パルス抽出手段が抽出した情報を基に前記撮像手段の駆動条件を含むカメラ設定情報の設定を行い（変更し）、設定されたカメラ設定情報に基づいて前記撮像手段を制御する制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記カメラ設定情報は、撮像装置の録画開始タイミング、録画時間、フレームレートの少なくともいずれか１を含むことを特徴とする請求項１に記載の撮像装置。
3. さらに、前記光パルス抽出手段から前記制御手段に送られた光パルス信号を受け取り、カメラ設定に関する電気的なクロック信号を生成して前記撮像手段に戻すクロック生成手段を有することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記光パルス信号は、前記カメラ設定情報を出力する信号源からの信号であることを特徴とする請求項１から３までのいずれか１項に記載の撮像装置。
5. 前記信号源を有することを特徴とする請求項１から３までのいずれか１項に記載の撮像装置。
6. 請求項１から５までのいずれか１項に記載の撮像装置を複数有し、
   さらに、前記信号源を有することを特徴とする撮像システム。
7. 複数のカメラを同期させて撮像を行う撮像装置を用いた撮像方法であって、
   撮像した映像から光パルス信号を抽出する光パルス抽出ステップと、
   前記光パルス抽出ステップにおいて抽出した情報を基に前記撮像装置の駆動条件を含むカメラ設定情報の設定を行い、設定されたカメラ設定情報に基づいて前記撮像装置を制御するステップと、
   を備えたことを特徴とする撮像方法。
8. コンピュータに、請求項７に記載の撮像方法を実行させるためのプログラム。

Images