JP2011055294A - 撮像装置、撮像システム及び撮像方法 - Google Patents

Abstract

【課題】複数の撮像装置間において時刻の差分がある場合でも、複数の画像データの撮影時刻の時間的前後関係と時間的距離を明確にすることが可能な撮像装置、撮像システム及び撮像方法を提供する。
【解決手段】第一の時刻情報を送信し、第一の時刻情報の送信元を特定する識別子を生成、送信し、被写体の撮影によって第一の画像データを生成し、第一の画像データの撮影時刻に関する第一の撮影時刻情報を識別子と関連付けて記憶する第一の撮像装置と；第一の時刻情報を受信し、識別子を受信し、被写体の撮影によって第二の画像データを生成し、第一の時刻情報と第二の時刻情報との間の差分情報を使用して第二の画像データの撮影時刻に関する第二の撮影時刻情報を識別子と関連付けて記憶する第二の撮像装置と；を備える。
【選択図】図２

Description

本発明は、撮像装置、撮像システム及び撮像方法に関する。

デジタルスチルカメラやビデオカメラ等の撮像装置は、時計手段を有しており、時計手段に基づいて生成される時刻情報を保持する。しかし、複数台の撮像装置は、それぞれ個別に時刻情報を保持している。また、ユーザーの使用の仕方として、一旦時刻情報が設定されると長期にわたって時刻情報が再設定されない場合が多い。この場合、撮像装置に内蔵された時計手段の精度によって、時刻が徐々に正確な値からずれていくため、複数の撮像装置間では、時刻が一致しているとは限らなかった。

そして、時刻が徐々にずれていき、複数の撮像装置間で時刻が一致していないという状況では、画像データのメタデータ（例えばＥＸＩＦ等）に記録された時刻情報は、各撮像装置間の時刻差を含むことになる。そのため、別々の撮像装置で撮影された複数の画像データを、時刻情報に基づいて一致させたり、時系列を意識した処理をしたりすることは困難であった。

特許文献１では、各ビデオカメラ間で正確にタイムコードの同期を取り、映像信号と音声信号とに同じタイムコードを付加する技術が開示されている。

特開２００７−８１６８６号公報

特許文献１に記載されているように、撮影前に撮像装置間の時刻合わせを行う技術は、従来から存在している。しかし、あくまでもマスター（時刻合わせの基準）となる撮像装置の時刻が正確なものであって、その他の複数の撮像装置の時刻をマスターに合わせることで、撮影された全ての画像データに正確な時刻が記録されることを保証しようとするものであった。

しかし、複数のマスターが存在して、複数の現場毎のマスターとなる撮像装置の時刻がずれていた場合は、現場毎に時刻がずれることになる。そのため、全ての画像データに統一した正確な時刻を記録することができないという結果になる。その上、画像データを参照したところで、時刻情報以外に時刻情報に関するデータがないため、画像データ間で時刻がずれているかどうか、どのくらいずれているかなどを知ることは不可能であった。

ところで、撮影後の複数の画像データの処理において、必ずしも全ての画像データに統一した正確な時刻を記録する必要はない。例えば、撮影時間や撮影場所が近い状況での撮影シーン（以下、「セッション」ともいう。）が、ひとまとまりのデータとして扱うことができれば十分な場合がある。この場合、一つのセッション内で時刻を合わせることができればよい。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、複数の撮像装置間において時刻の差分がある場合でも、複数の画像データの撮影時刻の時間的前後関係と時間的距離を明確にすることが可能な、新規かつ改良された撮像装置、撮像システム及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、第一の時刻情報を逐次更新する第一の時計部と；第一の時刻情報を送信する時刻情報送信部と；第一の時刻情報の送信元を特定する識別子を生成する識別子生成部と；識別子を送信する識別子送信部と；被写体の撮影によって第一の画像データを生成する第一の画像データ生成部と；第一の画像データの撮影時刻に関する第一の撮影時刻情報を識別子と関連付けて記憶する第一の記憶部と；第二の時刻情報を逐次更新する第二の時計部と、第一の時刻情報を受信する時刻情報受信部と、識別子を受信する識別子受信部と、被写体の撮影によって第二の画像データを生成する第二の画像データ生成部と、第一の時刻情報と第二の時刻情報との間の差分情報を使用して第二の画像データの撮影時刻に関する第二の撮影時刻情報を識別子と関連付けて記憶する第二の記憶部と、第二の画像データを第二の撮影時刻情報と識別子と共に送信する画像データ送信部とを有する第二の撮像装置から、第二の画像データを第二の撮影時刻情報と識別子と共に受信する画像データ受信部と；を備える撮像装置が提供される。

上記識別子と、第一の撮影時刻情報と、第二の撮影時刻情報に基づいて、第一の画像データと第二の画像データに対して画像処理を施す画像処理部を更に備えてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、第二の時刻情報を逐次更新する第二の時計部と：第一の時刻情報を逐次更新する第一の時計部と、第一の時刻情報を送信する時刻情報送信部と、第一の時刻情報の送信元を特定する識別子を生成する識別子生成部と、識別子を送信する識別子送信部と、被写体の撮影によって第一の画像データを生成する第一の画像データ生成部と、第一の画像データの撮影時刻に関する第一の撮影時刻情報を識別子と関連付けて記憶する第一の記憶部とを有する第一の撮像装置から、第一の時刻情報を受信する時刻情報受信部と；識別子を受信する識別子受信部と；被写体の撮影によって第二の画像データを生成する第二の画像データ生成部と；第一の時刻情報と第二の時刻情報との間の差分情報を使用して第二の画像データの撮影時刻に関する第二の撮影時刻情報を識別子と関連付けて記憶する第二の記憶部と；を備える撮像装置が提供される。

上記第二の画像データを第二の撮影時刻情報と識別子と共に送信する画像データ送信部を更に備えてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、第一の時刻情報を逐次更新する第一の時計部と、第一の時刻情報を送信する時刻情報送信部と、第一の時刻情報の送信元を特定する識別子を生成する識別子生成部と、識別子を送信する識別子送信部と、被写体の撮影によって第一の画像データを生成する第一の画像データ生成部と、第一の画像データの撮影時刻に関する第一の撮影時刻情報を識別子と関連付けて記憶する第一の記憶部とを有する第一の撮像装置と；第二の時刻情報を逐次更新する第二の時計部と、第一の時刻情報を受信する時刻情報受信部と、識別子を受信する識別子受信部と、被写体の撮影によって第二の画像データを生成する第二の画像データ生成部と、第一の時刻情報と第二の時刻情報との間の差分情報を使用して第二の画像データの撮影時刻に関する第二の撮影時刻情報を識別子と関連付けて記憶する第二の記憶部とを有する第二の撮像装置と；を備える撮像システムが提供される。

上記識別子と、第一の撮影時刻情報と、第二の撮影時刻情報に基づいて、第一の画像データと第二の画像データに対して画像処理を施す画像処理装置を更に備えてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、第一の時計部が逐次更新する第一の時刻情報を送信するステップと、第一の時刻情報の送信元を特定する識別子を生成するステップと、識別子を送信するステップと、被写体の撮影によって第一の画像データを生成するステップと、第一の記憶部が第一の画像データの撮影時刻に関する第一の撮影時刻情報を識別子と関連付けて記憶するステップと、第二の時計部が逐次更新する第二の時刻情報を受信するステップと、識別子を受信するステップと、被写体の撮影によって第二の画像データを生成するステップと、第二の記憶部が第一の時刻情報と第二の時刻情報との間の差分情報を使用して第二の画像データの撮影時刻に関する第二の撮影時刻情報を識別子と関連付けて記憶するステップとを備える撮像方法が提供される。

以上説明したように本発明によれば、複数の撮像装置間において時刻の差分がある場合でも、複数の画像データの撮影時刻の時間的前後関係と時間的距離を明確にすることができる。

本発明の一実施形態に係る撮像システムを示す説明図である。 同実施形態に係る撮像装置１００を示すブロック図である。 撮像装置１００の表示部１０８に表示される画面１０の一例である。 図４（Ａ）は、基準となる基準時刻情報を送信する撮像装置１００Ａが生成する画像ファイル３１０を示し、図４（Ｂ）は、基準時刻情報を受信する撮像装置１００Ｂが生成する画像ファイル３２０を示す。 同実施形態に係る撮像システムの時刻合わせ機能の動作を示すフローチャートである。 同実施形態に係る撮像システムの時刻合わせ機能の動作を示すフローチャートである。 撮像装置１００Ａ，１００Ｂで撮影された複数の画像の撮影順及び配置順を示す説明図である。 複数のカメラ１〜６で撮影された画像の撮影順を示す説明図である。 同実施形態に係る画像処理装置２００の構成を示すブロック図である。 同実施形態の撮像システムを用いたパノラマ合成処理を示す説明図である。 撮像装置１００Ａと撮像装置１００Ｂを用いた撮影状態を示す説明図である。 撮像装置１００Ａで撮影された音声と撮像装置１００Ｂで撮影された音声のずれを示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本発明の一実施形態に係る撮像システム
２．本実施形態に係る撮像装置の構成
３．ファイル送受信後の画面の表示例
４．画像ファイルの構成
５．撮像システムの時刻合わせ機能の動作
６．本実施形態に係る画像処理装置の構成及び動作
７．本実施形態による効果
８．時刻合わせ機能におけるセッションについて
９．パノラマ合成処理について
１０．映像と音声のタイミング補正について

＜１．撮像システム＞
まず、図１を参照して、本発明の一実施形態に係る撮像システムについて説明する。図１は、本実施形態に係る撮像システムを示す説明図である。

本実施形態では、デジタルスチルカメラ、ビデオカメラ等の撮像装置１００が複数台存在しており、撮影した結果得られる画像データを相互に送受信する。そして、本実施形態によれば、複数台の撮像装置１００間で時刻の調整ができ、撮像装置１００の時刻情報を補正するか、又は他の撮像装置１００との時間差情報を画像データのメタデータに記録する。その結果、複数台の撮像装置１００で撮影された画像データについて、時系列処理や、時系列処理を伴う画像処理を容易に行うことができる。

図１では、撮像装置１００Ａ，１００Ｂがデータを送受信する場合について示している。撮像装置１００Ａは、時刻合わせ機能において基準となる時刻情報を他の撮像装置１００に送信する。一方、撮像装置１００Ｂは、時刻合わせ機能において基準となる時刻情報を撮像装置１００Ａから受信する。本実施形態の撮像システムでは、時刻情報の送受信に合わせて、セッションＩＤが撮像装置１００Ａから撮像装置１００Ｂに送信される。セッションＩＤは、時刻合わせ毎にユニークとなるように、撮像装置１００が独自に生成するものである。セッションＩＤは、識別子の一例であり、基準となる時刻情報を送信する撮像装置１００Ａ（送信元）を特定できる。また、セッションＩＤによれば、時刻合わせ機能の設定処理がどの撮像装置１００で行われたかを特定できる。

撮像装置１００Ａは、セッションＩＤを内部情報として記憶しておく。時刻情報とセッションＩＤを受信した撮像装置１００Ｂは、受信した時刻情報に基づいて、撮像装置１００Ａの時刻情報との差分を算出する。そして、撮像装置１００Ｂは、撮像装置１００Ａの時刻情報と一致するように撮像装置１００Ｂの時刻情報を補正する。または、撮像装置１００Ｂは、差分の時刻情報とセッションＩＤを内部情報として記憶する。なお、撮像装置１００Ｂにおける撮像装置１００Ａの時刻情報の保持の実装方法は他の方法でもよい。

また、撮像装置１００Ａ側で撮像装置１００Ｂの時刻合わせが終了したことを認識するために、図１に示すように、Acknowledge（ＡＣＫ）が撮像装置１００Ｂから撮像装置１００Ａに送信されてもよい。

＜２．撮像装置の構成＞
次に、図２を参照して、本実施形態に係る撮像装置１００の構成について説明する。図２は、本実施形態に係る撮像装置１００を示すブロック図である。
撮像装置１００は、例えば、撮像部１０２と、メモリ１０４と、記憶部１０６と、表示部１０８と、操作部１１２と、画像処理部１１４と、圧縮処理部１１６と、時計部１２０と、ＣＰＵ１３０と、通信制御部１４０などを有する。

撮像部１０２は、レンズなどの光学系、ＣＣＤイメージセンサー又はＣＭＯＳイメージセンサーなどの撮像素子、前処理部などからなる。撮像部１０２は、被写体からの光情報を電気信号に変換し、画像信号として信号を画像処理部１１４などに送る。

メモリ１０４には、ＣＰＵ１３０で実行されるプログラムが記録され、ＣＰＵ１３０においてプログラムが実行される際に読み出される。また、本実施形態の時刻情報やセッションＩＤを記憶する。

記憶部１０６は、例えばＨＤＤ、フラッシュメモリなどであり、撮影された画像データを記録したり、記録された画像データが読み出されたりする。記憶部１０６は、第一の記憶部又は第二の記憶部の一例であり、画像データや、撮影時刻情報、セッションＩＤを記憶する。画像データと撮影時刻情報とセッションＩＤは相互に関連付けて記憶される。

表示部１０８は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどである。表示部１０８は、撮影前の被写体を画面に表示したり（ライブビュー表示）、撮影後の画像を画面に表示したりする。また、撮像装置１００の各種設定に関するメニューを画面に表示する。

操作部１１２は、例えば十字キー、決定ボタン、シャッターボタン、撮影ボタンなどである。操作部１１２は、ユーザーの操作を受け付けて、操作信号を生成し、ＣＰＵ１３０などに送る。静止画撮影の場合、シャッターボタンが操作されると、半押し状態でフォーカス制御が行われ、全押し状態でシャッターが切られて撮影が完了する。動画撮影の場合、待機状態で撮影ボタンが押されると動画撮影が開始され、撮影中に撮影ボタンが押されると動画撮影が完了する。

画像処理部１１４は、撮像部１０２から受けた画像信号に対して各種画像処理を施す。画像処理がされた画像データは、記憶部１０６や圧縮処理部１１６などに送られる。画像処理部１１４は第一の画像データ生成部又は第二の画像データ生成部の一例である。

圧縮処理部１１６は、画像処理がされた画像データを例えばＪＰＥＧ方式などで符号化処理（圧縮処理）する。圧縮処理された画像データは、記憶部１０６などに送られる。

時計部１２０は、第一の時計部及び第二の時計部の一例であり、撮像装置１００の時刻情報を逐次更新する。時計部１２０が有する時刻はユーザーの操作によって変更可能である。本実施形態では、時計部１２０が有する時刻情報は、ＣＰＵ１３０の時刻情報処理部１３４によって読み出されて、画像ファイルに書き込まれたり、時刻情報処理部１３４によって変更されたりする。時計部１２０や時刻情報の逐次更新の実装方法は、通常使用される技術を使用でき、本明細書では詳細な説明は省略する。

ＣＰＵ１３０（Central Processing Unit）は、演算処理装置、制御装置などであり、メモリ１０４に記録されたプログラムを実行する。本実施形態のＣＰＵ１３０は、例えばセッションＩＤ処理部１３２、時刻情報処理部１３４、要求ＡＣＫ送受信部１３６、画像ファイル処理部１３８などを有する。

通信制御部１４０は、例えば無線通信などでデータ伝送を制御する。本実施形態では、他の撮像装置１００に画像データや時刻情報、セッションＩＤを送信したり、反対に画像データや時刻情報、セッションＩＤなどを他の撮像装置１００から受信したりする。通信制御部１４０は、画像データ受信部又は画像データ送信部の一例である。

次に、ＣＰＵ１３０が有するセッションＩＤ処理部１３２、時刻情報処理部１３４、要求ＡＣＫ送受信部１３６、画像ファイル処理部１３８について説明する。

セッションＩＤ処理部１３２は、撮像装置１００が基準となる時刻情報の送信側となった場合、識別子生成部、識別子送信部の一例であり、セッションＩＤを生成し、生成したセッションＩＤを他の撮像装置１００に送信する。また、セッションＩＤ処理部１３２は、撮像装置１００が基準となる時刻情報の受信側となった場合、識別子受信部の一例であり、セッションＩＤを他の撮像装置１００から受信する。

時刻情報処理部１３４は、撮像装置１００が基準となる時刻情報の送信側となった場合、時刻情報送信部の一例であり、時計部１２０が有する時刻情報を他の撮像装置１００に送信する。また、時刻情報処理部１３４は、撮像装置１００が基準となる時刻情報の受信側となった場合、時刻情報受信部の一例であり、時計部１２０が有する時刻情報を他の撮像装置１００から受信する。

要求ＡＣＫ送受信部１３６は、撮像装置１００が基準となる時刻情報の受信側となった場合、時刻情報及びセッションＩＤを時刻情報送信側の撮像装置１００に要求する。また、要求ＡＣＫ送受信部１３６は、時刻合わせ機能の設定が完了した旨のＡＣＫ（Acknowledge）を時刻情報送信側の撮像装置１００に送信する。

画像ファイル処理部１３８は、撮像装置１００が基準となる時刻情報の送信側となった場合、画像データと画像データの撮影時刻に関する撮影時刻情報とセッションＩＤが記録された画像ファイルを生成する。また、画像ファイル処理部１３８は、撮像装置１００が基準となる時刻情報の受信側となった場合、画像データと画像データの撮影時刻に関する補正後の撮影時刻情報とセッションＩＤが記録された画像ファイルを生成する。または、画像ファイル処理部１３８は、撮像装置１００が基準となる時刻情報の受信側となった場合、画像データと画像データの撮影時刻に関する撮影時刻情報、基準となる撮影時刻との差分情報とセッションＩＤが記録された画像ファイルを生成する。

＜３．ファイル送受信後の画面の表示例＞
次に、図３を参照して、本実施形態の撮像システムにおいて、複数の撮像装置１００間で画像ファイルの送受信が行われた時の画面の表示例について説明する。図３は、撮像装置１００の表示部１０８に表示される画面１０の一例である。

画面１０には、撮像装置１００におけるライブビュー表示又は撮影された画像がフレーム１２に表示される。また、フレーム１２の下には、複数のサムネイル画像１４と、サムネイル画像１４に対応する他の撮像装置１００の名称１６が表示される。

複数のサムネイル画像１４は、他の撮像装置１００で撮影されて、他の撮像装置１００から受信した画像である。本実施形態の撮像システムでは、複数の撮像装置１００から画像を受信することができる。従って、どの撮像装置１００から受信した画像であるかを特定するため、撮像装置１００の名称がサムネイル画像１４に対応して表示される。複数のサムネイル画像１４は、例えば時間順に配置される。

本実施形態の時刻合わせ機能によれば、同一セッション内の画像は、複数の撮像装置１００それぞれが内蔵する時計の時刻情報のずれが解消されている。従って、複数のサムネイル画像１４は、実際の出来事に対応した時系列で配置される。一方、本実施形態によらず従来のシステムで複数のサムネイル画像を時間順に配置しようとすると、配列順は、複数の撮像装置１００それぞれが内蔵する時計の時刻情報に依存する。そのため、実際の出来事に対応せず、画像が前後して配置される場合がある。

＜４．画像ファイルの構成＞
次に、図４を参照して、本実施形態の撮像装置１００が生成する画像ファイル３１０，３２０の構成について説明する。図４（Ａ）は、基準となる基準時刻情報を送信する撮像装置１００Ａが生成する画像ファイル３１０を示し、図４（Ｂ）は、基準時刻情報を受信する撮像装置１００Ｂが生成する画像ファイル３２０を示す。

画像ファイル３１０，３２０は撮影完了毎に撮像装置１００Ａ，１００Ｂで生成される。画像データ３１４，３２４は撮像装置１００Ａ，１００Ｂが撮影して得られる画像に関するデータである。

画像ファイル３１０は、例えばメタデータ３１２と画像データ３１４などからなる。また、画像ファイル３２０は、例えばメタデータ３２２と画像データ３２４などからなる。メタデータ３１２，３２２は、例えばＥＸＩＦデータである。

メタデータ３１２には、撮像装置１００Ａが被写体を撮影した時刻が記録される。記録される撮影時刻は撮像装置１００Ａの時計部１２０が保持する時刻情報である。メタデータ３２２には、撮像装置１００Ｂが被写体を撮影した時刻が記録される。記録される撮影時刻は、撮像装置１００Ａから受けた基準時刻情報に基づいて補正され、撮像装置１００Ｂの時計部１２０が保持する補正後の時刻情報である。または、記録される撮影時刻は撮像装置１００Ｂの時計部１２０が保持する時刻情報と、撮像装置１００Ａから受けた基準時刻情報との間の差分時間である。

更に、メタデータ３１２には、撮像装置１００Ａが生成したセッションＩＤが記録される。セッションＩＤは、本実施形態における複数の撮像装置１００間の時刻合わせ機能を開始するたびに新たに生成される識別子である。メタデータ３２２には、撮像装置１００Ａから受けたセッションＩＤが記録される。

時刻合わせ機能を使用した場合、撮像装置１００Ａと撮像装置１００Ｂは、共通の時刻情報とセッションＩＤを保持している。そして、撮像装置１００Ａと撮像装置１００Ｂが撮影を行うと、撮影後に生成される画像ファイル３１０，３２０には、共通の撮影時刻情報とセッションＩＤが記録される。

なお、撮影時刻情報及びセッションＩＤは、必ずしも画像データ３１４，３２４と同一ファイルのメタデータ３１２，３２２に記録される必要はない。例えば、撮影時刻情報及びセッションＩＤが、画像データ３１４，３２４と別の領域に保存され、後から特定の画像データに対応した撮影時刻情報及びセッションＩＤであることが認識できるように保存されていればよい。

＜５．撮像システムの時刻合わせ機能の動作＞
次に、図５及び図６を参照して、本実施形態に係る撮像システムの時刻合わせ機能の動作について説明する。図５及び図６は、本実施形態に係る撮像システムの時刻合わせ機能の動作を示すフローチャートである。

ここで、撮像装置１００Ａが基準時刻情報を他の撮像装置１００Ｂに送信する送信側の撮像装置であり、撮像装置１００Ｂが基準時刻情報を撮像装置１００Ａから受信する受信側の撮像装置である。

まず、撮像装置１００Ａがセッション時刻合わせ機能をＯＮに設定し、時刻合わせ機能を開始する（ステップＳ１０１）。すると、撮像装置１００Ａの画面に、時刻合わせの対象とする他の撮像装置１００Ｂの時刻合わせ機能をＯＮにするように促す表示がされる（ステップＳ１０２）。このとき、撮像装置１００Ａでは、受信側の他の撮像装置１００ＢがＯＮ設定になるのを待つ待機状態になる（ステップＳ１０３）。

撮像装置１００Ｂでは、セッション時刻合わせ機能がＯＮに設定され、時刻合わせ機能が開始される（ステップＳ２０１）。次に、撮像装置１００Ｂは、撮像装置１００Ａが有する基準となる基準時刻情報、及びセッションＩＤの送信を要求する（ステップＳ２０２）。撮像装置１００Ｂは、撮像装置１００Ａへの要求後、撮像装置１００Ａからの応答を待つ状態となり、時刻情報及びセッションＩＤの受信待機状態となる（ステップＳ２０３）。

撮像装置１００Ａは、撮像装置１００Ｂから基準時刻情報及びセッションＩＤの要求が送信されると、撮像装置１００Ａは受信側のＯＮ設定待機状態を終了し、セッションＩＤを生成、保存する（ステップＳ１０４）。生成されたセッションＩＤは、例えばメモリ１０４などに内部情報として保持される。なお、ステップＳ１０４のセッションＩＤの生成・保存処理は、次のステップＳ１０５の時刻情報及びセッションＩＤ送信処理までに終了していればよく、ステップＳ１０３の待機状態開始後である必要はない。

続いて、撮像装置１００Ａは、撮像装置１００Ｂに時刻情報及びセッションＩＤを送信する（ステップＳ１０５）。撮像装置１００Ａは、送信後に撮像装置１００Ｂの時刻情報の設定完了通知を待つ。一方、撮像装置１００Ｂは、時刻情報及びセッションＩＤの受信待機状態を終了して、時刻情報及びセッションＩＤを受信する（ステップＳ２０４）。そして、撮像装置１００Ｂは、受信した撮像装置１００Ａの時刻情報とセッションＩＤを内部情報として記憶する。そして、受信した時刻情報に基づいて、撮像装置１００Ｂの時刻情報を補正するか、又は受信した時刻情報との差分時刻を差分情報として設定、保持する（ステップＳ２０５）。

その後、撮像装置１００Ｂは、時刻情報の設定が完了した旨を伝えるため、設定完了のＡＣＫを撮像装置１００Ａに送信する（ステップＳ２０６）。そして、撮像装置１００Ｂは時刻合わせが完了し（ステップＳ２０７）、本実施形態の時刻合わせ機能によって時刻が調整された状態で撮影が可能な撮影待機状態となる（ステップＳ２０８）。また、撮像装置１００Ａは、設定完了のＡＣＫを受信すると（ステップＳ１０６）、時刻合わせが完了する（ステップＳ１０７）。そして、本実施形態の時刻合わせ機能が有効な状態で撮影が可能な撮影待機状態となる（ステップＳ１０８）。その後、撮像装置１００Ａ，１００Ｂで撮影が行われる（ステップＳ１０９，Ｓ２０９）。

＜６．本実施形態に係る画像処理装置の構成及び動作＞
次に、撮影された画像を処理する画像処理装置２００の構成及び動作について説明する。図９は、本実施形態に係る画像処理装置２００の構成を示すブロック図である。

画像処理装置２００は、複数の撮像装置１００で撮影され、生成された画像ファイルを受けて、画像ファイルを画像処理する。画像処理装置２００は、パーソナルコンピュータ等の情報処理装置などである。本実施形態の画像処理装置２００は、図４を用いて説明した画像ファイル３１０，３２０を読み取って、セッション毎に複数の画像を実際の出来事に対応した時系列で配置することができる。

画像処理装置２００は、例えば、メモリ２０２と、記憶部２０４と、通信制御部２０６と、ＣＰＵ２１０と、操作部２２０と、表示部２３０などからなる。

メモリ２０２には、ＣＰＵ２１０で実行されるプログラムが記録され、ＣＰＵ２１０においてプログラムが実行される際に読み出される。

記憶部２０４は、例えばＨＤＤ、フラッシュメモリなどであり、撮像装置１００で撮影された画像データを記録したり、記録された画像データを読み出したりする。

通信制御部２０６は、例えば有線通信、無線通信又はＤＶＤなどの光ディスクやメモリカードなどの外部記録メディアを経由するなどしてデータ伝送を制御する。本実施形態では、撮像装置１００から画像ファイルを受けて、同時に画像ファイルに記録された時刻情報、セッションＩＤを受ける。

ＣＰＵ２１０（Central Processing Unit）は、演算処理装置、制御装置などであり、メモリ２０２に記録されたプログラムを実行する。本実施形態のＣＰＵ２１０は、セッション決定部２１２や撮影時刻決定部２１４などを有する。

セッション決定部２１２は、画像ファイル３１０，３２０に記録されたセッションＩＤに基づいて、画像データがいずれのセッションに属するかを決定する。また、撮影時刻決定部２１４は、セッションＩＤと、画像ファイル３１０，３２０に記録された撮影時刻情報に基づいて、画像データの撮影時刻を決定する。これによって、同一セッション内では、異なる複数の撮像装置１００で撮影された複数の画像を実際の出来事に対応した時系列で配置できる。

操作部２２０は、例えばキーボード、マウスなどである。操作部２２０は、ユーザーの操作を受け付けて、操作信号を生成し、ＣＰＵ２１０などに送る。

表示部２３０は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどである。表示部２３０は、撮像装置１００で撮影された画像を画面に表示する。また、画像処理設定に関するアプリケーションを画面に表示する。

なお、画像処理装置２００が複数の画像を配置する処理は、撮像装置１００で実行できるようにしてもよい。このとき、セッション決定部２１２や撮影時刻決定部２１４が行う処理は、撮像装置１００のＣＰＵ１３０で行われる。

＜７．本実施形態による効果＞
次に、本実施形態の時刻合わせ機能によって得られる効果について説明する。
本実施形態の時刻合わせ機能によれば、同一セッション内の画像は、複数の撮像装置１００それぞれが内蔵する時計の時刻情報のずれが解消される。従って、例えば、複数の画像を実際の出来事に対応した時系列で配置することが容易になる。一方、本実施形態によらず従来のシステムでは、画像が有する時刻情報は、複数の撮像装置１００それぞれが内蔵する時計の時刻情報に依存する。そのため、画像が有する時刻情報に基づいて画像を時間順に配置しようとした場合、実際の出来事に対応せず、画像が前後して配置される場合がある。

図７は、撮像装置１００Ａ，１００Ｂで撮影された複数の画像の撮影順及び配置順を示す説明図である。図７で示す例では、撮像装置１００Ａが、画像Ａ−１，Ａ−２，Ａ−３を順次撮影し、撮像装置１００Ｂが、画像Ｂ−１，Ｂ−２，Ｂ−３を順次撮影したとする。このとき、撮像装置１００Ａと撮像装置１００Ｂでは内蔵する時計の時刻がずれている。図７の例では、撮像装置１００Ａが１０：００である時、撮像装置１００Ｂは１０：０５であり、５分のずれが生じている。

従来の技術によれば、画像ファイルのメタデータに記録された時刻情報は、画像を撮影した撮像装置１００Ａ，１００Ｂが内蔵する時計の時刻情報に基づいている。従って、複数の撮像装置１００で撮影された画像を時間順に配置するため、メタデータに記録された時刻情報を参照すると、図７の破線で示した矢印の順に画像が配置される。実際は、画像Ａ−１と画像Ａ−２の間に画像Ｂ−１が撮影され、画像Ａ−２と画像Ａ−３の間に画像Ｂ−２，Ｂ−３が撮影されている。しかし、従来の技術では、画像Ａ−２の後に画像Ｂ−１が配置され、画像Ｂ−１の後に画像Ａ−３，Ｂ−２，Ｂ−３が順に配置されてしまう。

一方、本実施形態によれば、セッションＩＤと、画像ファイル３１０に記録された撮影時刻情報、画像ファイル３２０に記録された補正後撮影時刻情報又は撮影時刻情報及び差分時間情報に基づいて、撮像装置１００Ａと撮像装置１００Ｂの時間差を調整できる。そのため、複数の撮像装置１００で撮影された画像を時間順に配置すると、図７の実線で示した矢印の順に画像を配置でき、実際の出来事の時系列と一致させることができる。

＜８．時刻合わせ機能におけるセッションについて＞
次に、図８を参照して、本実施形態の時刻合わせ機能におけるセッションについて説明する。図８は、複数のカメラ１〜６で撮影された画像の撮影順を示す説明図である。図８では、上から下方向に時間が経過していることを示す。

まず、カメラ２が送信側の撮像装置１００Ａに相当し、カメラ２はセッションＩＤを生成し、受信側の撮像装置１００ＢにセッションＩＤを送信する（ステップＳ１１１）。このとき、カメラ１，３，４が受信側の撮像装置１００Ｂに相当し、セッションＩＤを受信する（ステップＳ２１１，Ｓ２１２，Ｓ２１３）。カメラ２が生成するセッションＩＤは、図８の例ではＩＤ０１であり、セッションＩＤの送受信によってカメラ１，２，３，４に共通したセッションＩＤが保持される。従って、セッションＩＤが一致する同一のセッションＳＥ０１内の複数の画像データは、時刻情報を調整でき、実際の出来事の時系列と一致させることができる。また、図８では、カメラ３が送信側の撮像装置１００Ａに相当し、カメラ４が受信側の撮像装置１００Ｂに相当する場合も示している（ステップＳ１２１，Ｓ２２１）。カメラ３が生成するセッションＩＤは、図８の例ではＩＤ０２であって、カメラ１が生成したＩＤ０１とは別のセッションＩＤが生成される。

一方、カメラ５も送信側の撮像装置１００Ａに相当し、カメラ５はセッションＩＤを生成し、受信側の撮像装置１００ＢにセッションＩＤを送信する（ステップＳ１３１）。このとき、カメラ６が受信側の撮像装置１００Ｂに相当し、セッションＩＤを受信する（ステップＳ２３１）。カメラ２が生成するセッションＩＤは、図８の例ではＩＤ０３であり、セッションＩＤの送受信によってカメラ５，６に共通したセッションＩＤが保持される。従って、セッションＩＤが一致する同一のセッションＳＥ０３内の複数の画像データは、時刻情報を調整でき、実際の出来事の時系列と一致させることができる。反対に、セッションＩＤが異なり相違するセッション（例えばＳＥ０１とＳＥ０３の関係）の画像データを画像処理（合成、編集など）する際には、時刻情報にずれがあることを認識できる。そして、時刻情報にずれがあることを認識できるため、注意して画像処理（合成、編集など）を行うことができる。

従来の技術には、基準となる撮像装置（親撮像装置）があって、親撮像装置の時刻情報に基づいて子撮像装置の時刻情報を調整するものがある。複数の親撮像装置がある場合、親撮像装置間の時刻情報が一致していれば、親撮像装置が異なる子撮像装置間の画像データも同一のグループに属する画像として扱うことができる。しかし、いったん画像が撮影されると、個々の画像データはどの親撮像装置の時刻情報に基づいた時刻情報が記録されているか分からなくなる。そのため、親撮像装置間の時刻情報がずれていた場合、複数の撮像装置で撮影された画像データを混在させてしまうと、合成、編集などの画像処理をする際、不都合が生じる。一方、本実施形態によれば、この不都合を解消できる。

＜９．パノラマ合成処理について＞
次に、本実施形態の撮像システムを用いてパノラマ合成処理をする場合について説明する。図１０は、本実施形態の撮像システムを用いたパノラマ合成処理を示す説明図である。

図１０（Ａ）に示すように、被写体の中央の人物が重複するように左側部分を撮像装置１００Ａが撮影し、右側部分を撮像装置１００Ｂが撮影する場合を想定する。被写体は図１０（Ｂ）〜図１０（Ｅ）の順番で動いているとする。即ち、パノラマ画像を得るため、複数のカメラを使用して撮影範囲を広げる撮影を行っている。

撮像装置１００Ａは、撮像装置１００Ａの時刻Ａ_１と時刻Ｃ_１で撮影しており、撮像装置１００Ｂは、撮像装置１００Ｂの時刻Ａ_２と時刻Ｄ_２で撮影している。時刻Ａは、撮像装置１００Ａの時刻Ａ_１、撮像装置１００Ｂの時刻Ａ_２と一致し、時刻Ｃは、撮像装置１００Ａの時刻Ｃ_１と一致し、時刻Ｄは、撮像装置１００Ｂの時刻Ｄ_２と一致している。

本実施形態によれば、撮像装置１００Ａの時刻Ａ_１と、撮像装置１００Ｂの時刻Ａ_２とが一致していることが認識できるため、両者を合成する際、問題なく二つの画像を選択でき容易に合成することができる。

一方、撮影のタイミングが僅かにずれるなどした場合でも、撮像装置１００内部の時刻に依存することなく、複数のカメラの時間差を認識できるため、実際の出来事の時系列上で時刻が近い画像を選択でき、ずれの少ない合成画像を生成できる。例えば、被写体の時刻Ｄの状態のパノラマ画像を得ようとした場合、まず、撮像装置１００Ｂの時刻Ｄ_２の画像が選択され、次に、撮像装置１００Ａの画像のうち時刻Ｄに対して近い時刻Ｃ_１の画像が選択される。

このように、本実施形態によれば、二つ又はそれ以上の複数の撮像装置１００の時刻情報を予め一致させておくか、後から時刻情報を一致させることが可能な情報を記録しておく。その結果、時刻を意識した合成処理が可能となり、結果的により高精度な合成処理をすることができる。

＜１０．映像と音声のタイミング補正について＞
次に、本実施形態の撮像システムを用いて、映像と音声のタイミング補正をする場合について説明する。図１１は、撮像装置１００Ａと撮像装置１００Ｂを用いた撮影状態を示す説明図であり、撮像装置１００Ａと撮像装置１００Ｂが被写体４０１，４０２を撮影している状態を示す。図１２は、撮像装置１００Ａで撮影された音声と撮像装置１００Ｂで撮影された音声のずれを示す説明図である。

図１１に示すように、撮像装置１００Ａが被写体４０１の近傍にあり、撮像装置１００Ｂが被写体４０２の近傍にある場合を想定する。そして、被写体４０１と被写体４０２は３４０ｍ程度離れているものとする。この場合、音の伝播速度によって、被写体４０１の発した音声は、撮像装置１００Ｂの位置では撮像装置１００Ａの位置で取得される音声に比べて１秒程度の音の遅延が生じる。そのため、図１２（Ａ）に示すように、撮像装置１００Ｂの撮影において、被写体４０１の発した音声は撮像装置１００Ａに比べて１秒分遅く記録される。反対に、撮像装置１００Ａの撮影において、被写体４０２の発した音声は撮像装置１００Ｂに比べて１秒分遅く記録される。

撮像装置１００Ａを用いて撮影された映像と、撮像装置１００Ｂを用いて撮影された時の音声を使用して、映像データ（映像作品）を作成する場合について説明する。このとき、二つの撮像装置１００Ａ，１００Ｂで記録された音声（例えば被写体４０２が発生した音声「ワー」）を基準に、二つの撮像装置１００Ａ，１００Ｂで記録された音声「ワー」が一致するように編集したとする。すると、図１２（Ｂ）に示すように、作成された映像では撮像装置１００Ａで撮影された映像と音声が約２秒ずれて全く一致しなくなる。反対に、被写体４０１が発した音声「ウォー」を基準としても一致することはない。いずれにしても、両者の完全な一致は望めないが、より中庸な時間的補正ができればよい。

従来の技術で、二つの撮像装置１００Ａ，１００Ｂが内蔵する時計の時刻情報を基準に映像と音声を一致させようとしても、二つの撮像装置１００Ａ，１００Ｂの時刻がそもそもずれていた場合は、図１２（Ｃ）に示すように、映像と音声を一致させることはできない。一方、本実施形態によれば、撮像装置１００Ａと撮像装置１００Ｂの時刻情報又は時刻差情報を認識できるため、図１２（Ｄ）に示すように、音声の時間的なずれを簡単に補正できる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００，１００Ａ，１００Ｂ 撮像装置
１０２ 撮像部
１０４，２０２ メモリ
１０６，２０４ 記憶部
１０８，２３０ 表示部
１１２，２２０ 操作部
１１４ 画像処理部
１１６ 圧縮処理部
１２０ 時計部
１３０，２１０ ＣＰＵ
１３２ セッションＩＤ処理部
１３４ 時刻情報処理部
１３６ 要求ＡＣＫ送受信部
１３８ 画像ファイル処理部
１４０，２０６ 通信制御部
２００ 画像処理装置
２１２ セッション決定部
２１４ 撮影時刻決定部

Claims (7)

1. 第一の時刻情報を逐次更新する第一の時計部と；
   前記第一の時刻情報を送信する時刻情報送信部と；
   前記第一の時刻情報の送信元を特定する識別子を生成する識別子生成部と；
   前記識別子を送信する識別子送信部と；
   被写体の撮影によって第一の画像データを生成する第一の画像データ生成部と；
   前記第一の画像データの撮影時刻に関する第一の撮影時刻情報を前記識別子と関連付けて記憶する第一の記憶部と；
   第二の時刻情報を逐次更新する第二の時計部と、前記第一の時刻情報を受信する時刻情報受信部と、前記識別子を受信する識別子受信部と、被写体の撮影によって第二の画像データを生成する第二の画像データ生成部と、前記第一の時刻情報と前記第二の時刻情報との間の差分情報を使用して前記第二の画像データの撮影時刻に関する第二の撮影時刻情報を前記識別子と関連付けて記憶する第二の記憶部と、前記第二の画像データを前記第二の撮影時刻情報と前記識別子と共に送信する画像データ送信部とを有する第二の撮像装置から、前記第二の画像データを前記第二の撮影時刻情報と前記識別子と共に受信する画像データ受信部と；
   を備える、撮像装置。
2. 前記識別子と、前記第一の撮影時刻情報と、前記第二の撮影時刻情報に基づいて、前記第一の画像データと前記第二の画像データに対して画像処理を施す画像処理部を更に備える、請求項１に記載の撮像装置。
3. 第二の時刻情報を逐次更新する第二の時計部と：
   第一の時刻情報を逐次更新する第一の時計部と、前記第一の時刻情報を送信する時刻情報送信部と、前記第一の時刻情報の送信元を特定する識別子を生成する識別子生成部と、前記識別子を送信する識別子送信部と、被写体の撮影によって第一の画像データを生成する第一の画像データ生成部と、前記第一の画像データの撮影時刻に関する第一の撮影時刻情報を前記識別子と関連付けて記憶する第一の記憶部とを有する第一の撮像装置から、前記第一の時刻情報を受信する時刻情報受信部と；
   前記識別子を受信する識別子受信部と；
   被写体の撮影によって第二の画像データを生成する第二の画像データ生成部と；
   前記第一の時刻情報と前記第二の時刻情報との間の差分情報を使用して前記第二の画像データの撮影時刻に関する第二の撮影時刻情報を前記識別子と関連付けて記憶する第二の記憶部と；
   を備える、撮像装置。
4. 前記第二の画像データを前記第二の撮影時刻情報と前記識別子と共に送信する画像データ送信部を更に備える、請求項３に記載の撮像装置。
5. 第一の時刻情報を逐次更新する第一の時計部と、
   前記第一の時刻情報を送信する時刻情報送信部と、
   前記第一の時刻情報の送信元を特定する識別子を生成する識別子生成部と、
   前記識別子を送信する識別子送信部と、
   被写体の撮影によって第一の画像データを生成する第一の画像データ生成部と、
   前記第一の画像データの撮影時刻に関する第一の撮影時刻情報を前記識別子と関連付けて記憶する第一の記憶部と、
   を有する第一の撮像装置と；
   第二の時刻情報を逐次更新する第二の時計部と、
   前記第一の時刻情報を受信する時刻情報受信部と、
   前記識別子を受信する識別子受信部と、
   被写体の撮影によって第二の画像データを生成する第二の画像データ生成部と、
   前記第一の時刻情報と前記第二の時刻情報との間の差分情報を使用して前記第二の画像データの撮影時刻に関する第二の撮影時刻情報を前記識別子と関連付けて記憶する第二の記憶部と、
   を有する第二の撮像装置と；
   を備える、撮像システム。
6. 前記識別子と、前記第一の撮影時刻情報と、前記第二の撮影時刻情報に基づいて、前記第一の画像データと前記第二の画像データに対して画像処理を施す画像処理装置を更に備える、請求項５に記載の撮像システム。
7. 第一の時計部が逐次更新する第一の時刻情報を送信するステップと、
   前記第一の時刻情報の送信元を特定する識別子を生成するステップと、
   前記識別子を送信するステップと、
   被写体の撮影によって第一の画像データを生成するステップと、
   第一の記憶部が前記第一の画像データの撮影時刻に関する第一の撮影時刻情報を前記識別子と関連付けて記憶するステップと、
   第二の時計部が逐次更新する第二の時刻情報を受信するステップと、
   前記識別子を受信するステップと、
   被写体の撮影によって第二の画像データを生成するステップと、
   第二の記憶部が前記第一の時刻情報と前記第二の時刻情報との間の差分情報を使用して前記第二の画像データの撮影時刻に関する第二の撮影時刻情報を前記識別子と関連付けて記憶するステップと、
   を備える、撮像方法。

Images