JP2009049509A - 画像処理システム、画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 撮影装置によって撮影した画像を補正するための補正情報であって、製品として出荷された後に生じたバラツキにも対応可能な補正情報を容易に生成することを可能にするとともに、生成した補正情報を適切に管理・提供することが可能な画像処理システム、画像処理装置及び画像処理方法を提供する。
【解決手段】 画像処理システム１は、３Ｄ多眼カメラ１０及び画像処理装置１００を含んでおり、３Ｄ多眼カメラ１０によって撮影される画像の補正に使用する補正情報を生成するためのシステムである。３Ｄ多眼カメラ１０は、複数の撮影部１２を備えており、補正用チャート１５０を撮影する。補正用チャート１５０を撮影して得られたチャート画像１５０Ｐは、画像処理装置１００に送出される。画像処理装置１００は、３Ｄ多眼カメラ１０からチャート画像１５０Ｐ及び補正関連情報１５０Ｉを取得して補正情報Ｄ１０を生成する。
【選択図】 図１

Description

本発明は画像処理システム、画像処理装置及び画像処理方法に係り、特に多視点の画像を撮影する撮影装置の光学系等の誤差に起因する画像の補正を行う技術に関する。

特許文献１には、複数の撮影レンズを有する撮像装置において、撮影レンズ間の焦点距離、Ｆナンバー、撮影レンズ光軸角が異なる場合に、各撮影レンズ間の差を補正することが開示されている。

特許文献２には、複数のカメラからなるステレオカメラを用いて検査スクリーンを撮影し、ステレオ画像特性のバラツキを補正するための補正データを生成するステレオ画像特性検査システムが開示されている。

特許文献３には、画像を記録保存可能な撮像装置において、画像補正データを取得して画像補正を行うことが開示されている。

特許文献４には、複数のモノキュラ画像の集合体として構成された立体画像データが記録される３Ｄ画像ファイルにおいて、複数のモノキュラ画像の撮影時の撮影条件の同一性を示す情報を含むメタデータを付加することが開示している。
特開平７−８７３８５号公報 特開２００３−２５４７４８号公報 特開２００６−１９７２１２号公報 特開２００７−２８２９５号公報（請求項８）

特許文献１に記載の技術では、撮像装置が製品として出荷された後に生じたバラツキに対応するための画像補正をユーザが自分で行うことは困難であった。

また、特許文献２から４に記載の技術では、カメラごとに補正データを生成して、当該補正データを総合的に管理することはできなかった。

本発明はこのような事情に鑑みてなされたもので、撮影装置によって撮影した画像を補正するための補正情報であって、製品として出荷された後に生じたバラツキにも対応可能な補正情報を容易に生成することを可能にするとともに、生成した補正情報を適切に管理・提供することが可能な画像処理システム、画像処理装置及び画像処理方法を提供することを目的とする。

上記課題を解決するために、本発明の第１の態様に係る画像処理システムは、画像処理装置と、前記画像処理装置と通信可能な撮影装置とを備えており、前記撮影装置は、画像を撮影するための撮影手段と、前記撮影手段によって補正用チャートを撮影して得られたチャート画像を前記画像処理装置に送出する画像送出手段と前記チャート画像の撮影に関連する補正関連情報を前記画像処理装置に送出する関連情報送出手段とを備え、前記画像処理装置は、前記撮影装置から送出されたチャート画像を取得するチャート画像取得手段と、前記撮影装置から送出された補正関連情報を取得する補正関連情報取得手段と、前記チャート画像及び前記補正関連情報を送出した撮影装置によって撮影された画像の補正に用いる補正情報を生成するとともに、該撮影装置を特定するための撮影装置特定情報を前記補正情報に付加する補正情報生成手段とを備えることを特徴とする。

上記第１の態様によれば、補正用チャートを撮影して得られたチャート画像と撮影時の補正関連情報を画像処理装置に送出して補正情報を生成し、チャート画像を撮影した撮影装置を特定するための情報とともに保存することで、画像の補正を行うときに適切な補正情報を提供することができる。

本発明の第２の態様に係る画像処理システムは、上記第１の態様において、前記撮影手段は、複数視点からの画像を撮影することを特徴とする。

本発明の第３の態様に係る画像処理システムは、上記第１又は第２の態様において、前記画像処理装置は、前記撮影装置によって撮影された補正対象画像を取得する画像取得手段と、前記補正対象画像を撮影した撮影装置の撮影装置特定情報に基づいて、前記補正情報生成手段によって生成された補正情報の中から前記補正対象画像を撮影した撮影装置の補正情報を取得する補正情報取得手段と、前記補正情報を用いて前記補正対象画像を補正する画像補正手段とを更に備えることを特徴とする。

上記第３の態様によれば、画像処理装置において生成、保存された補正情報の中から、補正対象画像を撮影した撮影装置用の補正情報を読み出して画像を補正することができる。これにより、様々な撮影装置に対応する補正情報を、画像処理装置において総合的に管理することができる。

本発明の第４の態様に係る画像処理システムは、上記第１から第３の態様において、前記画像処理装置は、前記撮影装置特定情報によって特定される撮影装置に対して前記補正情報を送出する補正情報送出手段を更に備え、前記撮影装置は、前記画像処理装置から送出された補正情報を取得する補正情報取得手段と、前記補正情報を用いて前記補正対象画像を補正する画像補正手段とを更に備えることを特徴とする。

上記第４の態様によれば、画像処理装置において生成、保存された補正情報の中から、補正対象画像を撮影した撮影装置用の補正情報を読み出して当該撮影装置に送出することにより、撮影装置側で画像を補正することができる。これにより、様々な撮影装置に対応する補正情報を、画像処理装置において総合的に管理することができる。

本発明の第５の態様に係る画像処理システムは、上記第４の態様において、前記画像処理装置は、前記補正情報送出手段により補正情報を送出するときに、前記撮影装置との間で通信可能であるかどうかを確認する確認手段を更に備えることを特徴とする。

上記第５の態様によれば、送出先の撮影装置が補正情報を受入可能であるかどうか事前に確認するようにしたので、送出先の撮影装置に適切な補正情報を確実に提供することができる。

本発明の第６の態様に係る画像処理システムは、上記第４又は第５の態様において、前記撮影装置は、前記補正情報取得手段により取得した補正情報から撮影装置特定情報を取得し、自己の撮影装置特定情報と照合することを特徴とする。

上記第６の態様によれば、撮影装置が取得した補正情報が適切なものであるかどうか確認することができる。

本発明の第７の態様に係る画像処理システムは、上記第４から第６の態様において、前記画像処理装置は、前記チャート画像の撮影時の設定情報を取得する取得手段を更に備え、前記補正情報生成手段は、前記設定情報を前記撮影装置特定情報として前記補正情報に付加し、前記補正情報取得手段は、前記補正対象画像の撮影時の設定情報と同一の設定情報が付加された補正情報を取得することを特徴とする。

上記第７の態様によれば、撮影時の設定情報に基づいて、補正対象画像の補正に使用する補正情報を特定することができる。

本発明の第８の態様に係る画像処理システムは、上記第１から第７の態様において、前記画像処理装置は、前記チャート画像及び補正関連情報を送出した撮影装置を特定するための識別子を取得する取得手段を更に備え、前記補正情報生成手段は、前記チャート画像を撮影した撮影装置を特定するための識別子を前記撮影装置特定情報として前記補正情報に付加することを特徴とする。

上記第８の態様によれば、撮影装置に固有の識別子（カメラＩＤ）に基づいて、補正対象画像の補正に使用する補正情報を特定することができる。

本発明の第９の態様に係る画像処理システムは、上記第１から第８の態様において、前記画像処理装置は、前記補正用チャートを画像データとして記憶する第１の記憶手段と、前記撮影装置からの要求に応じて、前記補正用チャートを前記撮影装置に送出する第１の送出手段とを更に備えることを特徴とする。

上記第９の態様によれば、補正用チャートを撮影装置に提供することにより、補正情報の作成作業を容易に行うことができる。

本発明の第１０の態様に係る画像処理システムは、上記第１から第９の態様において、前記画像処理装置は、前記チャート画像の撮影及び送出を行うための手順が記載されたマニュアル情報を記憶する第２の記憶手段と、前記撮影装置からの要求に応じて、前記マニュアル情報を前記撮影装置に送出する第２の送出手段とを更に備えることを特徴とする。

上記第１０の態様によれば、マニュアル情報を提供することにより、一般のユーザであっても補正情報の作成作業を容易に行うことができる。

本発明の第１１の態様に係る画像処理システムは、上記第１０の態様において、前記撮影装置は、画像を表示するための表示手段を更に備え、前記第２の記憶手段は、前記表示手段に表示可能な形式の画像データとして前記マニュアル情報を記憶することを特徴とする。

上記第１１の態様によれば、通常の撮影装置に設けられた画像表示用の表示手段にマニュアル情報を表示させることができるので、マニュアル情報の確認のための特別な装置又は作業工程を要しない。これにより、補正情報の作成作業をより容易化することができる。

本発明の第１２の態様に係る画像処理装置は、撮影装置によって補正用チャートを撮影して得られたチャート画像を取得する画像取得手段と、前記チャート画像の撮影に関連する補正関連情報を前記撮影装置から取得する補正関連情報取得手段と、前記チャート画像及び前記補正関連情報を送出した撮影装置によって撮影された画像の補正に用いる補正情報を生成するとともに、該撮影装置を特定するための撮影装置特定情報を前記補正情報に付加する補正情報生成手段とを備えることを特徴とする。

本発明の第１３の態様に係る画像処理装置は、上記第１２の態様において、前記チャート画像取得手段は、前記補正用チャートが複数視点から撮影されたチャート画像を取得すること特徴とする。

本発明の第１４の態様に係る画像処理装置は、上記第１２又は第１３の態様において、前記撮影装置によって撮影された補正対象画像を取得する画像取得手段と、前記補正対象画像を撮影した撮影装置の撮影装置特定情報に基づいて、前記補正情報生成手段によって生成された補正情報の中から前記補正対象画像を撮影した撮影装置の補正情報を取得する補正情報取得手段と、前記補正情報を用いて前記補正対象画像を補正する画像補正手段とを更に備えることを特徴とする。

本発明の第１５の態様に係る画像処理装置は、上記第１２から第１４の態様において、前記撮影装置特定情報によって特定される撮影装置に対して前記補正情報を送出する補正情報送出手段を更に備えることを特徴とする。

本発明の第１６の態様に係る画像処理装置は、上記第１５の態様において、前記補正情報送出手段により補正情報を送出するときに、前記撮影装置との間で通信可能であるかどうかを確認する確認手段を更に備えることを特徴とする。

本発明の第１７の態様に係る画像処理装置は、上記第１４から第１６の態様において、前記チャート画像の撮影時の設定情報を取得する取得手段を更に備え、前記補正情報生成手段は、前記設定情報を前記撮影装置特定情報として前記補正情報に付加し、前記補正情報取得手段は、前記補正対象画像の撮影時の設定情報と同一の設定情報が付加された補正情報を取得することを特徴とする。

本発明の第１８の態様に係る画像処理装置は、上記第１２から第１７の態様において、前記チャート画像及び補正関連情報を送出した撮影装置を特定するための識別子を取得する取得手段を更に備え、前記補正情報生成手段は、前記チャート画像を撮影した撮影装置を特定するための識別子を前記撮影装置特定情報として前記補正情報に付加することを特徴とする。

本発明の第１９の態様に係る画像処理装置は、上記第１２から第１８の態様において、前記補正用チャートを画像データとして記憶する第１の記憶手段と、前記撮影装置からの要求に応じて、前記補正用チャートを前記撮影装置に送出する第１の送出手段とを更に備えることを特徴とする。

本発明の第２０の態様に係る画像処理装置は、上記第１２から第１９の態様において、前記チャート画像の撮影及び送出を行うための手順が記載されたマニュアル情報を記憶する第２の記憶手段と、前記撮影装置からの要求に応じて、前記マニュアル情報を前記撮影装置に送出する第２の送出手段とを更に備えることを特徴とする。

本発明の第２１の態様に係る画像処理装置は、上記第２０の態様において、前記第２の記憶手段は、前記撮影装置に設けられた画像表示用の表示手段に表示可能な形式の画像データとして前記マニュアル情報を記憶することを特徴とする。

本発明の第２２の態様に係る画像処理方法は、撮影装置によって補正用チャートを撮影して得られたチャート画像を、画像処理装置に送出する画像送出工程と、前記チャート画像の撮影に関連する補正関連情報を、前記撮影装置から前記画像処理装置に送出する補正関連送出取得工程と、前記画像処理装置によって、前記チャート画像及び前記補正関連情報を送出した撮影装置によって撮影された画像の補正に用いる補正情報を生成するとともに、該撮影装置を特定するための撮影装置特定情報を前記補正情報に付加する補正情報生成工程とを備えることを特徴とする。

本発明の第２３の態様に係る画像処理方法は、上記第２２の態様において、前記チャート画像取得工程では、前記補正用チャートが複数視点から撮影されたチャート画像を取得すること特徴とする。

本発明の第２４の態様に係る画像処理方法は、上記第２２又は第２３の態様において、前記撮影装置によって撮影された補正対象画像を、前記画像処理装置に送出する画像送出工程と、前記補正対象画像を撮影した撮影装置の撮影装置特定情報に基づいて、前記補正情報生成工程において生成された補正情報の中から前記補正対象画像を撮影した撮影装置の補正情報を取得する補正情報取得工程と、前記補正情報を用いて前記補正対象画像を補正する画像補正工程とを更に備えることを特徴とする。

本発明の第２５の態様に係る画像処理方法は、上記第２２から第２４の態様において、前記撮影装置特定情報によって特定される撮影装置に対して前記画像処理装置から補正情報を送出する補正情報取得工程と、前記撮影装置において、前記画像処理装置から送出された補正情報を用いて前記補正対象画像を補正する画像補正工程とを更に備えることを特徴とする。

本発明の第２６の態様に係る画像処理方法は、上記第２５の態様において、前記補正情報送出手段により補正情報を送出するときに、前記撮影装置との間で通信可能であるかどうかを前記画像処理装置により確認する確認工程を更に備えることを特徴とする。

本発明の第２７の態様に係る画像処理方法は、上記第２５又は第２６の態様において、前記撮影装置は、前記補正情報取得工程において取得した補正情報から撮影装置特定情報を取得し、自己の撮影装置特定情報と照合することを特徴とする。

本発明の第２８の態様に係る画像処理方法は、上記第２４から第２７の態様において、前記チャート画像の撮影時の設定情報を取得する取得工程を更に備え、前記補正情報生成工程では、前記設定情報を前記撮影装置特定情報として前記補正情報に付加し、前記補正情報取得工程では、前記補正対象画像の撮影時の設定情報と同一の設定情報が付加された補正情報を取得することを特徴とする。

本発明の第２９の態様に係る画像処理方法は、上記第２２から第２８の態様において、前記チャート画像及び補正関連情報を送出した撮影装置を特定するための識別子を取得する取得工程を更に備え、前記補正情報生成工程では、前記チャート画像を撮影した撮影装置を特定するための識別子を前記撮影装置特定情報として前記補正情報に付加することを特徴とする。

本発明の第３０の態様に係る画像処理方法は、上記第２２から第２９の態様において、前記撮影装置からの要求に応じて、画像データとして前記画像処理装置に記憶された補正用チャートを前記撮影装置に送出する第１の送出工程を更に備えることを特徴とする。

本発明の第３１の態様に係る画像処理方法は、上記第２２から第３０の態様において、前記撮影装置からの要求に応じて、前記チャート画像の撮影及び送出を行うための手順が記載されたマニュアル情報を前記撮影装置に送出する第２の送出工程を更に備えることを特徴とする。

本発明の第３２の態様に係る画像処理方法は、上記第３１の態様において、前記マニュアル情報は、前記撮影装置に設けられた画像表示用の表示工程に表示可能な形式の画像データとして前記画像処理装置に記憶されることを特徴とする。

本発明によれば、補正用チャートを撮影して得られたチャート画像と撮影時の補正関連情報を画像処理装置に送出して補正情報を生成し、チャート画像を撮影した撮影装置を特定するための情報とともに保存することで、画像の補正を行うときに適切な補正情報を提供することができる。

以下、添付図面に従って本発明に係る画像処理システム、画像処理装置及び画像処理方法の好ましい実施の形態について説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像処理システムの主要構成を示すブロック図である。図１に示すように、本実施形態に係る画像処理システム１は、３Ｄ多眼カメラ１０及び画像処理装置１００を含んでおり、３Ｄ多眼カメラ１０によって撮影される画像の補正に使用する補正情報を生成するためのシステムである。

３Ｄ多眼カメラ１０は、複数の撮影部１２を備えており、補正用チャート１５０を撮影する。補正用チャート１５０を撮影して得られたチャート画像１５０Ｐは、画像処理装置１００に送出される。

画像処理装置１００は、３Ｄ多眼カメラ１０からチャート画像１５０Ｐ及び補正関連情報１５０Ｉ（例えば、チャート画像１５０Ｐの撮影時の撮影条件を含む情報）を取得して補正情報Ｄ１０を生成する。画像処理装置１００によって生成された補正情報Ｄ１０は、３Ｄ多眼カメラ１０に送出され、３Ｄ多眼カメラ１０によって撮影される画像の補正に使用される。

［３Ｄ多眼カメラ１０の構成］
図２は、３Ｄ多眼カメラ１０の主要構成を示すブロック図である。図２に示すように、３Ｄ多眼カメラ１０（以下、カメラ１０という）は、複数の撮影部１２−１、１２−２、…、１２−Ｎ（Ｎ≧２）を備えており、同一の被写体を多視点から撮影した視差画像を取得し、３次元表示用の画像ファイルとして記録する。

本体ＣＰＵ１４（以下、ＣＰＵ１４という）は、各種の操作部材からの入力に基づき所定の制御プログラムに従ってカメラ１０全体の動作を統括制御する制御手段として機能する。

カメラ１０は、ユーザからの入力を受け付けるための操作部材として、電源スイッチ（電源ＳＷ）６８、レリーズボタン４６及び入力部２６を備えている。

電源スイッチ６８は、カメラ１０の電源のオン・オフの切り替え手段として機能する。ＣＰＵ１４は、電源スイッチ６８がオン操作されたことを検知すると、電源制御部６４に対して起動指令の信号を与えて、電源制御部６４を起動させる。電源制御部６４は、ＤＣ／ＤＣコンバータ６２を制御して、バッテリ６６から供給される電力を所要の電圧に変換させてカメラ１０内の各部に供給させる。これにより、カメラ１０が動作可能になる。

レリーズボタン４６は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影モード時には、レリーズボタン４６が半押しされると、撮影準備処理（即ち、ＡＥ（Automatic Exposure：自動露出）、ＡＦ（Auto Focus：自動焦点合わせ）、ＡＷＢ（Automatic White Balance：自動ホワイトバランス））が行われ、レリーズボタン４６が全押しされると、画像の撮影・記録処理が行われる。また、動画撮影モード時には、レリーズボタン４６が全押しされると、動画の撮影が開始され、再度全押しされると、撮影が終了する。設定により、レリーズボタン４６が全押しされている間、動画の撮影が行われ、全押しが解除されると、撮影を終了するようにすることもできる。なお、静止画撮影用のレリーズボタンと動画撮影用のレリーズボタンを別々に設けるようにしてもよい。

入力部２６は、モードスイッチ、モードダイヤル、十字ボタン、ズームボタン、ＭＥＮＵ／ＯＫボタン、ＤＩＳＰボタン及びＢＡＣＫボタン等の操作入力手段を含んでいる。入出力ポート（Ｉ／Ｏ）２８は、入力部２６からの入力に使用される端子である。

モードスイッチは、カメラ１０の動作モードを再生モードと撮影モードとの間で切り替えるための操作手段として機能する。

モードダイヤルは、カメラ１０の撮影モードを切り替えるための操作手段であり、モードダイヤルの設定位置に応じて、２次元の静止画を撮影する２Ｄ静止画撮影モード、２次元の動画を撮影する２Ｄ動画撮影モード、３次元の静止画を撮影する３Ｄ静止画撮影モード及び３次元の動画を撮影する３Ｄ動画撮影モードの間で撮影モードが切り替えられる。なお、以下の説明では、２Ｄ静止画撮影モード及び２Ｄ動画撮影モードを２Ｄモード、３Ｄ静止画撮影モード及び３Ｄ動画撮影モードを３Ｄモードという。

十字ボタンは、上下左右４方向に押圧操作可能に設けられており、各方向のボタンには、カメラ１０の動作モード等に応じた機能が割り当てられる。例えば、撮影モード時には、左ボタンにマクロ機能のオン／オフを切り替える機能が割り当てられ、右ボタンにフラッシュ発光モードと非発光モードとを切り替える機能が割り当てられる。また、撮影モード時には、上ボタンに表示部３８の明るさを替える機能が割り当てられ、下ボタンにセルフタイマのオン／オフを切り替える機能が割り当てられる。再生モード時には、左ボタンにコマ送りの機能が割り当てられ、右ボタンにコマ戻しの機能が割り当てられる。また、再生モード時には、上ボタンに表示部３８の明るさを替える機能が割り当てられ、下ボタンに再生中の画像を削除する機能が割り当てられる。また、各種設定時には、表示部３８に表示されたカーソルを各ボタンの方向に移動させる機能が割り当てられる。

ズームボタンは、撮影部１２−１、１２−２、…、１２−Ｎのズーミング操作を行うための操作手段であり、望遠側へのズームを指示するズームテレボタンと、広角側へのズームを指示するズームワイドボタンとを備えている。

ＭＥＮＵ／ＯＫボタンは、メニュー画面の呼び出し（ＭＥＮＵ機能）に用いられるとともに、選択内容の確定、処理の実行指示等（ＯＫ機能）に用いられ、カメラ１０の設定状態に応じて割り当てられる機能が切り替えられる。メニュー画面では、ＭＥＮＵ／ＯＫボタンは、例えば、露出値、色合い、撮影感度、記録画素数等の画質調整やセルフタイマの設定、測光方式の切り替え、デジタルズームを使用するか否か等、カメラ１０が持つすべての調整項目の設定が行われる。カメラ１０は、このメニュー画面で設定された条件に応じて動作する。

ＤＩＳＰボタンは、表示部３８の表示内容の切り替え指示等の入力に用いられ、ＢＡＣＫボタンは入力操作のキャンセル等の指示の入力に用いられる。

ＣＰＵ１４には、バス１６を介してシステムメモリ１８及び不揮発性メモリ２０が接続されている。システムメモリ１８は、ＣＰＵ１４が実行する制御プログラム及び制御に必要な各種データ等が格納されるＲＯＭと、ＣＰＵ１４の演算作業用領域（ワークメモリ）として使用されるＲＡＭを含んでいる。不揮発性メモリ２０は、ユーザ設定情報等のカメラ１０の動作に関する各種設定情報等を格納するためのメモリである。不揮発性メモリ２０は、電源オフ後にも格納した情報を保持することが可能になっている。

カメラ１０は、メモリカード３２を装着するためのメモリカードスロット３４を備えている。メモリカード３２としては、例えば、ｘＤピクチャカード（登録商標）、ＳＤカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の媒体を用いることができる。カードインターフェイス部（カードＩ／Ｆ）３６は、ＣＰＵ１４からの指令に従い、メモリカード３２に対するデータの読み書きを制御する。

表示部３８は、例えば、カラー液晶パネル又は有機ＥＬを備えた表示装置により構成される。表示部３８は、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩとして使用される。また、表示部３８は、撮影モード時に、撮影部１２により撮影されたライブビュー画像（スルー画）を表示する電子ファインダとして利用される。

カメラ１０は、画像を表示部３８に２次元で再生（２Ｄ再生）するための２Ｄ再生モードと、３次元で再生（３Ｄ再生）するための３Ｄ再生モードとを有している。ここで、３Ｄ再生の方式としては、例えば、特殊なメガネを使用するアナグリフ方式、カラーアナグリフ方式、偏光フィルタ方式、時分割立体テレビジョン方式のほか、例えば、表示部３８前面に垂直方向のスリットを形成し、スリット後方の表示部３８の表示面に左右の像を示す短冊状の画像断片を交互に配列して表示するパララックスバリア（視差バリア）方式、かまぼこ状のレンズ群を有したいわゆるレンチキュラレンズを表示部３８の表面に配置するレンチキュラ方式、マイクロレンズアレイシートを用いるインテグラルフォトグラフィ方式、干渉現象を利用するホログラフィ方式を適用可能である。なお、３次元表示を行うための手段は、上記に列挙したものに限定されるものではない。

表示制御部４０は、メモリカード３２又は撮影部１２から読み出された画像データを表示用の画像信号（例えば、ＮＴＳＣ信号、ＰＡＬ信号又はＳＣＡＭ信号）に変換して表示部３８に出力する。フレームメモリ４２は、表示用の画像データを一時記憶する。ＯＳＤ生成部４４は、所定の文字、図形情報（例えば、オンスクリーン表示用のデータ）を表示制御部４０に出力する。表示制御部４０は、ＯＳＤ生成部４４から入力されたオンスクリーン表示用のデータを表示用の画像信号に重畳して表示部３８に出力する。また、表示制御部４０は、所定のインターフェイス（例えば、ＵＳＢ、IEEE1394、ＬＡＮ）を介して接続された外部表示装置（不図示）に表示用の画像信号を出力可能となっている。

コネクタ２２は、外部機器（例えば、パーソナルコンピュータ、携帯情報端末、画像ストレージ装置、サーバ）と接続するためのインターフェイスである。ＵＳＢドライバ２４は、コネクタ２２を介して接続された外部機器との間の入出力の制御を行うとともに、所定のプロトコル処理を行う。なお、外部機器との間の通信の方式としては、ＵＳＢのほか、例えば、IEEE1394、ＬＡＮ、赤外線通信（ＩｒＤＡ）等を用いてもよい。

タイマ５２は、タイマ撮影時に時間を測定するための回路である。カレンダ・時計５４は、日付及び時刻の計時を行うための回路である。なお、カレンダ・時計５４は、電源オフ時にもバッテリ６６又はバックアップ用の電池（不図示）から電源の供給を受けて動作するようになっている。

次に、カメラ１０の撮影機能について説明する。なお、図２では、各撮影部１２−１、１２−２、…、１２−Ｎ内の各部にそれぞれ符号１、２、…、Ｎを付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号１、２、…、Ｎを省略して説明する。

撮影部１２は、光学系７０、撮像素子７２、アナログ信号処理部７４、Ａ／Ｄ変換器７６、駆動制御部７８、タイミングジェネレータ（ＴＧ）８０及び積算回路８２を含んでいる。

光学系７０は、ズームレンズ、フォーカスレンズ及び絞りを備えている。ＣＰＵ１４は、入力部２６からの入力に従って、光学系７０のズーム、フォーカス及び絞りを制御するための制御信号を駆動制御部７８に出力する。駆動制御部７８は、ＣＰＵ１４からの制御信号に従って、ズームレンズの位置を制御してズーミングを行うとともに、フォーカスレンズの位置を制御してフォーカシングを行う。また、駆動制御部７８は、ＣＰＵ１４からの制御信号に従って、絞りの開口量（絞り値、Ｆ値）を制御して撮像素子７２への入射光量を制御する。

ＣＰＵ１４は、各撮影部の光学系７０−１、７０−２、…、７０−Ｎを同期させて駆動する。即ち、光学系７０−１、７０−２、…、７０−Ｎは、常に同じ焦点距離（ズーム倍率）に設定され、常に同じ被写体にピントが合うように焦点調節が行われる。また、常に同じ入射光量（絞り値）となるように絞りが調整される。

撮像素子７２は、カラーＣＣＤ固体撮像素子により構成されている。なお、本実施形態では、撮像素子７２としてＣＣＤを用いたが、例えば、ＣＭＯＳ等の他の形態の撮像素子を用いるようにしてもよい。

撮像素子７２（以下、ＣＣＤ７２という）の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でＲ、Ｇ、Ｂの３色のカラーフィルタが配置されている。光学系７０によってＣＣＤ７２の受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１４の指令に従ってＴＧ８０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ７２から順次読み出される。ＣＣＤ７２は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタスピード）が制御される。また、ＣＰＵ１４は、ＣＣＤ７２のＯＦＤ（Overflow Drain）の電位を制御して、ＣＣＤ７２のフォトダイオードに蓄積される信号電荷の上限値を調整する。

アナログ信号処理部７４は、ＣＣＤ７２から出力された画像信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、画像信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含み、ＣＣＤ７２から出力される画像信号を相関２重サンプリング処理するとともに増幅する。アナログ信号処理部７４におけるＲ、Ｇ、Ｂ信号の増幅ゲインは、撮影感度（ＩＳＯ感度）に相当する。ＣＰＵ１４は、この増幅ゲインを調整することにより撮影感度を設定する。

Ａ／Ｄ変換器７６は、アナログ信号処理部７４から出力されたアナログの画像信号をデジタルの画像信号に変換する。Ａ／Ｄ変換器７６から出力されたＲ、Ｇ、Ｂの画像信号は、システムメモリ１８のＲＡＭに格納される。

デジタル信号処理部３０は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、階調変換処理回路（例えば、ガンマ補正回路）、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、システムメモリ１８のＲＡＭに格納されたＲ、Ｇ、Ｂの画像信号に対して所定の信号処理を行う。即ち、Ｒ、Ｇ、Ｂの画像信号は、デジタル信号処理部３０において輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）を含むＹＵＶ信号に変換されるとともに、階調変換処理（例えば、ガンマ補正）等の所定の処理が施される。デジタル信号処理部３０により処理された画像データはフレームメモリ４２に格納される。

撮影した画像を表示部３８に出力する場合、フレームメモリ４２から画像データが読み出されて表示制御部４０に送られる。表示制御部４０は、入力された画像データを表示用の所定方式のビデオ信号（例えば、ＮＴＳＣ方式のカラー複合画像信号）に変換して表示部３８に出力する。

フレームメモリ４２は、少なくとも２つの記憶領域（以下、Ａ領域及びＢ領域という）を有している。各撮影部１２−１、１２−２、…、１２−Ｎから出力された画像データは、撮影コマごとにまとめられてフレームメモリ４２のＡ領域及びＢ領域に交互に書き込まれる。ライブビュー画像（スルー画）を表示する場合には、フレームメモリ４２のＡ領域及びＢ領域に書き込まれた画像データは交互に読み出されて、表示制御部４０によってビデオ信号に変換された後、表示部３８に供給される。これにより、撮影中の画像がリアルタイムに表示部３８に表示される。撮影者は、このライブビュー画像によって撮影画角を確認できる。

レリーズボタンが半押しされ、Ｓ１がオンすると、ＡＥ及びＡＦ処理が開始される。積算回路８２は、Ａ／Ｄ変換器７６からＲ、Ｇ、Ｂの画像信号を取り込み、ＡＦ制御に必要な焦点評価値を算出する。積算回路８２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカスエリア内の信号を切り出すフォーカスエリア抽出部、及びフォーカスエリア内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカスエリア内の絶対値データを焦点評価値としてＣＰＵ１４に出力する。

ＣＰＵ１４は、ＡＦ制御時には積算回路８２−１、８２−２、…、８２−Ｎのいずれか１つから焦点評価値を取り込んで、焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズを移動させることにより、主要被写体への焦点合わせを行う。例えば、ＣＰＵ１４は、ＡＦ制御時には、まず、フォーカスレンズを至近から無限遠まで移動させ、その移動過程で積算回路８２から焦点評価値を逐次取得し、その焦点評価値が極大となる位置を検出する。そして、検出された焦点評価値が極大の位置を合焦位置と判定し、その位置にフォーカスレンズ４４を移動させる。これにより、フォーカスエリアに位置する被写体（主要被写体）にピントが合わせられる。

また、積算回路８２は、Ａ／Ｄ変換器７６からＲ、Ｇ、Ｂの画像信号を取り込み、ＡＥ制御及びＡＷＢ制御に必要な積算値を算出する。即ち、積算回路８２は、１画面を複数のエリア（例えば、８×８＝６４エリア）に分割し、分割されたエリアごとにＲ、Ｇ、Ｂ信号の積算値を算出する。

ＣＰＵ１４は、ＡＥ制御時に、積算回路８２−１、８２−２、…、８２−Ｎのいずれか１つからエリアごとのＲ、Ｇ、Ｂ信号の積算値を取得し、被写体の明るさ（測光値）を求めて、適正な露光量を得るための露出設定を行う。即ち、ＣＰＵ１４は、撮影感度、絞り値、シャッタスピードを設定する。また、ＣＰＵ１４は、オート撮影時にフラッシュ発光の要否を判定し、フラッシュ発光モード／非発光モードの設定を行う。

ＣＰＵ１４は、フラッシュ発光モードの場合にフラッシュ制御部５０に制御信号を送って動作させる。フラッシュ制御部５０は、フラッシュ発光部（放電管、キセノン管）４８を発光させるための電流を供給するためのメインコンデンサを含んでおり、ＣＰＵ１４からのフラッシュ発光指令に従ってメインコンデンサの充電制御、フラッシュ発光部４８の放電（発光）のタイミング及び放電時間の制御等を行う。なお、フラッシュ発光部４８としては、ＬＥＤ等の他の発光手段を用いてもよい。

また、ＣＰＵ１４は、ＡＷＢ制御時に、積算回路８２−１、８２−２、…、８２−Ｎのいずれか１つからエリアごとのＲ、Ｇ、Ｂ信号の積算値を取得してデジタル信号処理部３０に入力する。デジタル信号処理部３０は、積算回路８２により算出された積算値に基づいてホワイトバランス調整用のゲイン値を算出する。また、デジタル信号処理部３０は、積算回路８２により算出された積算値に基づいて光源種を検出する。

レリーズボタン４６が半押しされて（Ｓ１オン）、ＡＥ及びＡＦ処理が行われた後、レリーズボタン４６が全押しされると（Ｓ２オン）、記録用の撮影動作がスタートする。

２Ｄモード時には、Ｓ２オンに応動して取得された画像データはデジタル信号処理部３０において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、システムメモリ１８のＲＡＭに格納される。上記ＲＡＭに格納されたＹ／Ｃ信号は、圧縮・伸張処理部５８によって圧縮された後、所定形式の画像ファイルとしてメモリカード３２に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像ファイルとして記録される。

一方、３Ｄモード時には、Ｓ２オンに応動して、撮影部１２−１、１２−２、…、１２−Ｎから多視点の画像データが取得される。この多視点の画像データは、デジタル信号処理部３０においてＹ／Ｃ信号に変換され、ガンマ補正等の所定の処理が施された後、システムメモリ１８のＲＡＭに格納される。

画像差分演算回路５６は、上記多視点の画像データの中の所定の１枚の基準画像のＹ／Ｃ信号と、該基準画像以外の画像のＹ／Ｃ信号との差分情報を求める。ここで、基準画像としてどの撮影部によって撮影された画像を用いるかについては、設定により変更可能となっている。

上記基準画像のＹ／Ｃ信号が圧縮・伸張処理部５８によって圧縮される。そして、圧縮されたＹ／Ｃ信号と差分情報とを格納する３Ｄ画像ファイルが生成されてメモリカード３２に記録される。ここで、差分情報は、３Ｄ画像ファイル内に付加情報として記録されるようにしてもよいし、上記３Ｄ画像ファイルと関連付けられた別のファイルとして記録されるようにしてもよい。

次に、カメラ１０の画像再生機能について説明する。モード選択スイッチにより再生モードが選択されると、メモリカード３２に記録されている最終の画像ファイル（最後に記録された画像ファイル）が読み出されて、画像の再生動作がスタートする。

読み出された画像ファイルが２Ｄ画像ファイルの場合には、圧縮・伸張処理部５８によって非圧縮のＹ／Ｃ信号に伸張される。このＹ／Ｃ信号は、表示制御部４０によって表示用の画像信号に変換されて表示部３８に出力される。これにより、当該画像ファイルの画像内容が表示部３８に表示される。

画像の再生中に（動画の先頭フレーム再生中も含む）、十字キーの右キー又は左キーを操作することによって、再生対象の画像ファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルがメモリカード３２から読み出されて表示部３８に再生表示される。

２Ｄ再生モードで３Ｄ画像ファイルを再生する場合には、画像生成部６０により３Ｄ画像ファイルから基準画像の圧縮画像データが読み出される。そして、基準画像の圧縮画像データは伸張処理された後、上記と同様にして表示制御部４０に出力される。これにより、３Ｄ画像ファイル中の基準画像が２Ｄ再生される。

一方、３Ｄ再生モードで３Ｄ画像ファイルを再生する場合、画像生成部６０によって３Ｄ画像ファイルから基準画像の圧縮画像データと差分情報とが読み出される。次に、基準画像の圧縮画像データが圧縮・伸張処理部５８によって伸張され、基準画像のＹ／Ｃ信号が生成される。画像生成部６０は、基準画像のＹ／Ｃ信号と差分情報から多視点の画像データを生成して表示制御部４０に出力する。これにより、３Ｄ画像ファイルが３Ｄ再生される。

なお、本実施形態では、多視点画像を記録する際に、Ｙ／Ｃ信号の差分情報を求めるようにしたが、Ｒ、Ｇ、Ｂ信号の差分情報を求めるようにしてもよい。この場合、３Ｄ表示を行う際には、基準画像のＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換した後、基準画像のＲ、Ｇ、Ｂ信号と差分情報から多視点の画像データを生成して出力するようにすればよい。

［画像処理装置（ＰＣ）１００の構成］
図３は、画像処理装置１００の主要構成を示すブロック図である。本実施形態では、画像処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）によって構成されている。図３に示すように、中央処理装置（ＣＰＵ）１０２は、バス１０４を介して画像処理装置１００内の各ブロックに接続されており、各ブロックの動作を制御する。主メモリ１０６は、制御プログラムが格納される記憶領域や、プログラム実行時の作業領域を含んでいる。ハードディスク装置１０８には、画像処理装置１００のオペレーティングシステム（ＯＳ）や、各種のアプリケーションソフト、カメラ１０又はメモリカード３２から読み込まれた画像ファイル等が格納される。ＣＤ−ＲＯＭ装置１１０は、図示せぬＣＤ−ＲＯＭからのデータの読み込みを行う。カードインターフェイス部（カードＩ／Ｆ）１１２は、メモリカード３２内の画像データの読み書きを行う。表示メモリ１１６は、表示用データを一時記憶する。モニタ１１８は、例えば、ＣＲＴ（Cathode Ray Tube）モニタや液晶モニタにより構成され、この表示メモリ１１６から出力される画像データ、文字データ等に基づいて画像や文字等を表示する。キーボード１２０及びマウス１２２は、操作者からの操作入力を受け付けて、操作入力に応じた信号をＣＰＵ１０２に入力する。なお、ポインティングデバイスとしては、マウス１２２のほか、タッチパネルやタッチパッド等を用いることができる。マウスコントローラ１２４は、マウス１２２の状態を検出してモニタ１１８上のマウスポインタの位置、及びマウス１２２の状態等を示す信号をＣＰＵ１０２に出力する。オーディオ入出力回路１２６には、マイク１２８及びスピーカ１３０が接続され、各種の音声信号が入力されるとともに、キーボード１２０等からの操作入力に応じて各種動作音が再生出力される。通信インターフェイス部（通信Ｉ／Ｆ）１３２は、インターネットＮＷとの間のデータの送受信の制御を行うとともに、所定のプロトコル処理を行う。ＵＳＢインターフェイス部（ＵＳＢ Ｉ／Ｆ）１３４は、カメラ１０及びプリンタ１３６等のＵＳＢ接続可能な機器との間の入出力の制御を行うとともに、所定のプロトコル処理を行う。

［補正情報の生成処理］
次に、補正情報の生成処理について、図４のデータフロー図を参照して説明する。まず、ユーザからの入力に応じて、カメラ１０から画像処理装置１００に補正用チャートの送出が要求される。画像処理装置１００は、カメラ１０からの補正用チャートの送出要求に応じて補正用チャート１５０及び説明用画像を読み出し（ステップＳ１０、Ｓ１２）、カメラ１０に送出する。

次に、カメラ１０において、撮影モードが３Ｄモードに設定されて、補正用チャート１５０が多視点から撮影が行われる（ステップＳ１４）。補正用チャート１５０を撮影して得られたチャート画像は、カメラ１０から画像処理装置１００に送出される。

図５は、補正用チャート１５０を示す平面図である。図５に示すように、補正用チャート１５０は、白黒のパターンが形成されたシートである。なお、補正用チャート１５０の例としては、図５に示したもののほか、特開平９−４２９４６号公報の図５又は図６、特開平１０−１０４０３３号公報の図１０に記載されているものがある。

図６は、説明用画像を示す図である。図６に示すように、説明用画像（HELP.JPG）は、チャート画像の撮影、補正情報の生成のためのマニュアルが記載された画像ファイルである。説明用画像は、画像ファイルであるため、撮影した画像と同様にして表示部３８に表示させることができる。ステップＳ１４では、ユーザは、図６の説明用画像の記載に従って、カメラ１０側にダウンロードした補正用チャート１５０を印刷して撮影する。これにより、チャート画像１５０Ｐが生成される。なお、チャート画像の撮影、補正情報の生成のためのマニュアルは、画像ファイル以外の形態（例えば、テキストデータ）で提供されるようにしてもよい。

次に、画像処理装置１００は、カメラ１０から送出されたチャート画像１５０Ｐ及び補正関連情報１５０Ｉを取得する（ステップＳ１６、Ｓ１８）。

図７は、補正関連情報１５０Ｉの構造を模式的に示すブロック図である。図７に示すように、補正関連情報１５０Ｉには、チャート画像１５０Ｐの撮影に使用されたカメラ１０に特定するためのカメラＩＤ、チャート画像１５０Ｐの撮影に用いた撮影部１２の数を示す視点数、視点ごとの撮影情報（例えば、座標情報、焦点距離、絞り、シャッタスピード、感度）及びチャート画像１５０Ｐの撮影時における輻輳角の情報が格納されている。

次に、画像処理装置１００は、カメラ１０から取得したチャート画像１５０Ｐ中の各視点画像のパターンの位置、形状、歪み、色を示す情報、及び補正関連情報１５０Ｉに基づいて補正情報を生成し、所定の格納形式でハードディスク装置１０８に保存する（ステップＳ２０）。ここで、補正情報とは、例えば、光学系７０−１〜７０−Ｎの設計誤差、光学系７０−１〜７０−Ｎ内のレンズ特性を示す情報、レンズの歪み、取付誤差（例えば、レンズの位置関係を示す数値パラメータ）、色収差を示す情報である。補正情報の補正方法及び補正情報を用いた画像の補正方法としては、例えば、特開平８−１４８２８号公報、特開２００２−２７５０７号公報に記載されているものを適用することができる。

図８は、補正情報の格納形式を模式的に示すブロック図である。図８に示すように、補正情報Ｄ１０は、チャート画像１５０Ｐの撮影に使用したカメラ１０を特定するためのカメラＩＤ、補正情報を特定するための補正情報ＩＤ及び補正情報の格納領域を含んでいる。

図９は、補正情報の格納形式の別の実施例を示すブロック図である。図９に示す例では、補正情報Ｄ１０は、補正情報ＩＤ、チャート画像１５０Ｐの撮影に使用したカメラ１０を特定するためのカメラ情報及び補正情報の格納領域を含んでいる。ここで、カメラ情報は、例えば、撮影部１２の焦点距離、絞り、シャッタスピード、撮影感度、輻輳角、カメラ位置に関する情報を含んでいる。

次に、画像処理装置１００は、カメラ１０から補正情報の送出要求を受け付けると、補正情報を送出するかどうかの判定を行う（ステップＳ２２）。そして、画像処理装置１００は、補正情報の送出を要求してきたカメラ１０のカメラＩＤ又はカメラ情報に基づいて補正情報を読み出してカメラ１０に送出する（ステップＳ２４）。カメラ１０は、この補正情報を取得して、メモリカード３２又は不揮発性メモリ２０に記録する（ステップＳ２６）。

図１０は、画像処理装置１００における補正情報の生成処理を示すフローチャートである。まず、チャート画像１５０Ｐ及び補正関連情報を取得すると（ステップＳ３０、Ｓ３２）、チャート画像１５０Ｐ及び補正関連情報に基づいて補正情報Ｄ１０が生成される（ステップＳ３４）。ここで、補正情報の生成が正常に終了すると（ステップＳ３６のＹｅｓ）、補正情報Ｄ１０が所定の格納形式のデータとしてハードディスク装置１０８に保存される（ステップＳ４０）。一方、補正情報の生成が正常に終了しなかった場合には（ステップＳ３６のＮｏ）、エラー処理が実行され、補正情報が生成されなかったこと及び補正用チャート１５０の撮影をやり直すことを促すエラーメッセージがモニタ１１８に表示される（ステップＳ３８）。

次に、カメラ１０から補正情報Ｄ１０の配信要求を受信すると（ステップＳ４２のＹｅｓ）、当該配信要求を送信してきたカメラ１０のカメラＩＤ又はカメラ情報を用いてハードディスク装置１０８に保存された補正情報Ｄ１０が検索され、補正情報の配信が実行される（ステップＳ４４）。

［画像の補正処理］
次に、補正情報を用いた画像の補正処理をカメラ１０で行う場合の処理の流れについて、図１１のフローチャートを参照して説明する。まず、撮影モードが３Ｄモードに設定されて、補正対象の多視点画像が撮影され（ステップＳ５０）、撮影時の補正関連情報が取得される（ステップＳ５２）。そして、カメラ１０から画像処理装置１００に補正情報の配信要求が送信される（ステップＳ５４）。

補正情報を取得すると、カメラ１０において、補正情報に付されたカメラＩＤ又はカメラ情報と、自己のカメラＩＤ又はカメラ情報とを照合する。補正情報が取得できなかった場合、又は取得した補正情報のカメラＩＤ又はカメラ情報が自己のものと一致しなかった場合には（ステップＳ５６のＮｏ）、ステップＳ５０において撮影された未補正のままの多視点画像から３Ｄ画像ファイルが生成されてメモリカード３２に保存される（ステップＳ５８）。一方、取得した補正情報のカメラＩＤ又はカメラ情報が自己のものと一致した場合には（ステップＳ５６のＹｅｓ）、ステップＳ５０において撮影された多視点画像が補正されて補正済み画像が生成される（ステップＳ６０）。そして、補正済み画像から３Ｄ画像ファイルが生成されてメモリカード３２に保存される（ステップＳ６２）。

画像の補正処理は、画像処理装置１００において行うことも可能である。図１２は、補正情報を用いた画像の補正処理を画像処理装置１００で行う場合の処理を示すフローチャートである。まず、画像処理装置１００は、ＵＳＢ Ｉ／Ｆ１３４を介して接続されたカメラ１０又はカードＩ／Ｆ１１２を介して接続されたメモリカード３２から、補正対象の多視点画像（ステップＳ７０）及び当該多視点画像の撮影時の補正関連情報が取得される（ステップＳ７２）。

次に、ハードディスク装置１０８に保存された補正情報の中から、上記多視点画像を撮影したカメラ１０とカメラＩＤ又はカメラ情報が一致する補正情報が検索される（ステップＳ７４）。ここで、補正情報が取得できなかった場合には（ステップＳ７６のＮｏ）、ステップＳ７０において取得した未補正のままの多視点画像から３Ｄ画像ファイルが生成されてハードディスク装置１０８に保存される（ステップＳ７８）。一方、カメラＩＤ又はカメラ情報が一致する補正情報を取得した場合には（ステップＳ７６のＹｅｓ）、ステップＳ７０において撮影された多視点画像が補正されて補正済み画像が生成される（ステップＳ８０）。そして、補正済み画像から３Ｄ画像ファイルが生成されてハードディスク装置１０８に保存される（ステップＳ８２）。

本実施形態によれば、補正用チャート１５０を撮影して得られたチャート画像１５０Ｐと撮影時の補正関連情報を画像処理装置１００に送出して補正情報を生成し、カメラ１０を特定するための情報（カメラＩＤ）とともに保存することで、多視点画像の補正を行うときに適切な補正情報を提供することができる。また、本実施形態では、説明用画像をカメラ１０に送出するようにしたので、説明用画像をカメラ１０の表示部３８に表示させて手順を確認しながら容易に補正用チャート１５０の撮影及び補正情報の生成を実行することができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。なお、以下の説明において上記第１の実施形態と同様の構成については、同一の参照符号を付して説明を省略する。

本実施形態は、画像処理装置１００からカメラ１０に補正情報を送出する際に、カメラ１０との間の通信可能かどうかを確認するようにしたものである。

図１３は、本実施形態に係る補正情報の生成処理を示すデータフロー図である。まず、ユーザからの入力に応じて、カメラ１０から画像処理装置１００に補正用チャートの送出が要求される。画像処理装置１００は、カメラ１０からの補正用チャートの送出要求に応じて補正用チャート１５０及び説明用画像を読み出し（ステップＳ９０、Ｓ９２）、カメラ１０に送出する。

次に、カメラ１０において、撮影モードが３Ｄモードに設定されて、補正用チャート１５０が多視点から撮影が行われる（ステップＳ９４）。補正用チャート１５０を撮影して得られたチャート画像は、カメラ１０から画像処理装置１００に送出される。

画像処理装置１００は、カメラ１０から送出されたチャート画像及び補正関連情報を取得する（ステップＳ９６、Ｓ９８）。そして、画像処理装置１００は、取得したチャート画像及び補正関連情報に基づいて補正情報を生成する（ステップＳ１００）。

画像処理装置１００は、補正情報の生成が終了すると、チャート画像１５０Ｐの送出元のカメラ１０のカメラＩＤにより、補正情報の送出先のカメラ１０を決定する（ステップＳ１０２）。そして、画像処理装置１００は、送出先のカメラ１０に対して、補正情報の受入が可能であるかどうか（通信が可能であるかどうか）確認するためのメッセージを送信する。カメラ１０は、このメッセージに応答して補正情報の送出要求を画像処理装置１００に送出する。

画像処理装置１００は、カメラ１０から補正情報の送出要求を受け付けると、補正情報を送出するかどうかの判定を行う（ステップＳ１０４）。そして、画像処理装置１００は、補正情報の送出を要求してきたカメラ１０のカメラＩＤ又はカメラ情報に基づいて補正情報を読み出してカメラ１０に送出する（ステップＳ１０６）。カメラ１０は、この補正情報を取得して、メモリカード３２又は不揮発性メモリ２０に記録する（ステップＳ１０８）。

本実施形態によれば、送出先のカメラ１０が補正情報を受入可能であるかどうか事前に確認するようにしたので、送出先のカメラ１０に適切な補正情報を確実に提供することができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。なお、以下の説明において上記第１の実施形態と同様の構成については、同一の参照符号を付して説明を省略する。

図１４は、本実施形態に係る画像処理システムの主要構成を示すブロック図である。図１４に示すように、本実施形態に係る画像処理装置２００は、インターネットＮＷに接続可能なサーバにより構成される。

カメラ１０は、インターネットＮＷに接続可能な情報端末２５０（例えば、パーソナルコンピュータ又は携帯電話機）を介して画像処理装置２００との間で通信が可能となっている。

図１４に示すように、画像処理装置２００は、本体ＣＰＵ２０２、メモリ２０６、ディスク装置２０８、入出力ポート（Ｉ／Ｏ）２１０、入出力装置２１２及び通信インターフェイス部（通信Ｉ／Ｆ）２１４を備えている。

本体ＣＰＵ２０２は、バス２０４を介して画像処理装置２００内の各ブロックに接続されており、各ブロックの動作を制御する。メモリ２０６は、制御プログラムが格納される記憶領域や、プログラム実行時の作業領域を含んでいる。ディスク装置２０８には、画像処理装置２００のオペレーティングシステム（ＯＳ）や、各種のアプリケーションソフト、カメラ１０から読み込まれた画像ファイル等が格納される。入出力装置２１２は、操作者からの操作入力を受け付けて、入出力ポート（Ｉ／Ｏ）２１０を介して操作入力に応じた信号をＣＰＵ２０２に入力する。通信Ｉ／Ｆ２１４は、インターネットＮＷとの間のデータの送受信の制御を行うとともに、所定のプロトコル処理を行う。

本実施形態に係る画像処理システム１においても、上記図４及び図１０から図１３に示した処理を行うことにより、カメラ１０に適切な補正情報を提供することができる。

本発明の第１の実施形態に係る画像処理システムの主要構成を示すブロック図 本発明の第１の実施形態に係る３Ｄ多眼カメラ１０の主要構成を示すブロック図 本発明の第１の実施形態に係る画像処理装置１００の主要構成を示すブロック図 本発明の第１の実施形態に係る補正情報の生成処理を示すデータフロー図 補正用チャート１５０を示す平面図 説明用画像を示す図 補正関連情報１５０Ｉの構造を模式的に示すブロック図 補正情報の格納形式を模式的に示すブロック図 補正情報の格納形式の別の実施例を示すブロック図 画像処理装置１００における補正情報の生成処理を示すフローチャート 補正情報を用いた画像の補正処理をカメラ１０で行う場合の処理を示すフローチャート 補正情報を用いた画像の補正処理を画像処理装置１００で行う場合の処理を示すフローチャート 本発明の第２の実施形態に係る補正情報の生成処理を示すデータフロー図 本発明の第３の実施形態に係る画像処理システムの主要構成を示すブロック図

符号の説明

１…画像処理システム、１０…３Ｄ多眼カメラ、１２…撮影部、１００…画像処理装置（ＰＣ）、１５０…補正用チャート、２００…画像処理装置（サーバ）

Claims (32)

1. 画像処理装置と、前記画像処理装置と通信可能な撮影装置とを備えており、
   前記撮影装置は、
   画像を撮影するための撮影手段と、
   前記撮影手段によって補正用チャートを撮影して得られたチャート画像を前記画像処理装置に送出する画像送出手段と
   前記チャート画像の撮影に関連する補正関連情報を前記画像処理装置に送出する関連情報送出手段とを備え、
   前記画像処理装置は、
   前記撮影装置から送出されたチャート画像を取得するチャート画像取得手段と、
   前記撮影装置から送出された補正関連情報を取得する補正関連情報取得手段と、
   前記チャート画像及び前記補正関連情報を送出した撮影装置によって撮影された画像の補正に用いる補正情報を生成するとともに、該撮影装置を特定するための撮影装置特定情報を前記補正情報に付加する補正情報生成手段と、
   を備えることを特徴とする画像処理システム。
2. 前記撮影手段は、複数視点からの画像を撮影することを特徴とする請求項１記載の画像処理システム。
3. 前記画像処理装置は、
   前記撮影装置によって撮影された補正対象画像を取得する画像取得手段と、
   前記補正対象画像を撮影した撮影装置の撮影装置特定情報に基づいて、前記補正情報生成手段によって生成された補正情報の中から前記補正対象画像を撮影した撮影装置の補正情報を取得する補正情報取得手段と、
   前記補正情報を用いて前記補正対象画像を補正する画像補正手段と、
   を更に備えることを特徴とする請求項１又は２記載の画像処理システム。
4. 前記画像処理装置は、前記撮影装置特定情報によって特定される撮影装置に対して前記補正情報を送出する補正情報送出手段を更に備え、
   前記撮影装置は、
   前記画像処理装置から送出された補正情報を取得する補正情報取得手段と、
   前記補正情報を用いて前記補正対象画像を補正する画像補正手段と、
   を更に備えることを特徴とする請求項１から３のいずれか１項記載の画像処理システム。
5. 前記画像処理装置は、前記補正情報送出手段により補正情報を送出するときに、前記撮影装置との間で通信可能であるかどうかを確認する確認手段を更に備えることを特徴とする請求項４記載の画像処理システム。
6. 前記撮影装置は、前記補正情報取得手段により取得した補正情報から撮影装置特定情報を取得し、自己の撮影装置特定情報と照合することを特徴とする請求項４又は５記載の画像処理システム。
7. 前記画像処理装置は、前記チャート画像の撮影時の設定情報を取得する取得手段を更に備え、
   前記補正情報生成手段は、前記設定情報を前記撮影装置特定情報として前記補正情報に付加し、
   前記補正情報取得手段は、前記補正対象画像の撮影時の設定情報と同一の設定情報が付加された補正情報を取得することを特徴とする請求項４から６のいずれか１項記載の画像処理システム。
8. 前記画像処理装置は、前記チャート画像及び補正関連情報を送出した撮影装置を特定するための識別子を取得する取得手段を更に備え、
   前記補正情報生成手段は、前記チャート画像を撮影した撮影装置を特定するための識別子を前記撮影装置特定情報として前記補正情報に付加することを特徴とする請求項１から７のいずれか１項記載の画像処理システム。
9. 前記画像処理装置は、
   前記補正用チャートを画像データとして記憶する第１の記憶手段と、
   前記撮影装置からの要求に応じて、前記補正用チャートを前記撮影装置に送出する第１の送出手段と、
   を更に備えることを特徴とする請求項１から８のいずれか１項記載の画像処理システム。
10. 前記画像処理装置は、
    前記チャート画像の撮影及び送出を行うための手順が記載されたマニュアル情報を記憶する第２の記憶手段と、
    前記撮影装置からの要求に応じて、前記マニュアル情報を前記撮影装置に送出する第２の送出手段と、
    を更に備えることを特徴とする請求項１から９のいずれか１項記載の画像処理システム。
11. 前記撮影装置は、画像を表示するための表示手段を更に備え、
    前記第２の記憶手段は、前記表示手段に表示可能な形式の画像データとして前記マニュアル情報を記憶することを特徴とする請求項１０記載の画像処理システム。
12. 撮影装置によって補正用チャートを撮影して得られたチャート画像を取得する画像取得手段と、
    前記チャート画像の撮影に関連する補正関連情報を前記撮影装置から取得する補正関連情報取得手段と、
    前記チャート画像及び前記補正関連情報を送出した撮影装置によって撮影された画像の補正に用いる補正情報を生成するとともに、該撮影装置を特定するための撮影装置特定情報を前記補正情報に付加する補正情報生成手段と、
    を備えることを特徴とする画像処理装置。
13. 前記チャート画像取得手段は、前記補正用チャートが複数視点から撮影されたチャート画像を取得すること特徴とする請求項１２記載の画像処理装置。
14. 前記撮影装置によって撮影された補正対象画像を取得する画像取得手段と、
    前記補正対象画像を撮影した撮影装置の撮影装置特定情報に基づいて、前記補正情報生成手段によって生成された補正情報の中から前記補正対象画像を撮影した撮影装置の補正情報を取得する補正情報取得手段と、
    前記補正情報を用いて前記補正対象画像を補正する画像補正手段と、
    を更に備えることを特徴とする請求項１２又は１３記載の画像処理装置。
15. 前記撮影装置特定情報によって特定される撮影装置に対して前記補正情報を送出する補正情報送出手段を更に備えることを特徴とする請求項１２から１４のいずれか１項記載の画像処理装置。
16. 前記補正情報送出手段により補正情報を送出するときに、前記撮影装置との間で通信可能であるかどうかを確認する確認手段を更に備えることを特徴とする請求項１５記載の画像処理装置。
17. 前記チャート画像の撮影時の設定情報を取得する取得手段を更に備え、
    前記補正情報生成手段は、前記設定情報を前記撮影装置特定情報として前記補正情報に付加し、
    前記補正情報取得手段は、前記補正対象画像の撮影時の設定情報と同一の設定情報が付加された補正情報を取得することを特徴とする請求項１４から１６のいずれか１項記載の画像処理装置。
18. 前記チャート画像及び補正関連情報を送出した撮影装置を特定するための識別子を取得する取得手段を更に備え、
    前記補正情報生成手段は、前記チャート画像を撮影した撮影装置を特定するための識別子を前記撮影装置特定情報として前記補正情報に付加することを特徴とする請求項１２から１７のいずれか１項記載の画像処理装置。
19. 前記補正用チャートを画像データとして記憶する第１の記憶手段と、
    前記撮影装置からの要求に応じて、前記補正用チャートを前記撮影装置に送出する第１の送出手段と、
    を更に備えることを特徴とする請求項１２から１８のいずれか１項記載の画像処理装置。
20. 前記チャート画像の撮影及び送出を行うための手順が記載されたマニュアル情報を記憶する第２の記憶手段と、
    前記撮影装置からの要求に応じて、前記マニュアル情報を前記撮影装置に送出する第２の送出手段と、
    を更に備えることを特徴とする請求項１２から１９のいずれか１項記載の画像処理装置。
21. 前記第２の記憶手段は、前記撮影装置に設けられた画像表示用の表示手段に表示可能な形式の画像データとして前記マニュアル情報を記憶することを特徴とする請求項２０記載の画像処理装置。
22. 撮影装置によって補正用チャートを撮影して得られたチャート画像を、画像処理装置に送出する画像送出工程と、
    前記チャート画像の撮影に関連する補正関連情報を、前記撮影装置から前記画像処理装置に送出する補正関連送出取得工程と、
    前記画像処理装置によって、前記チャート画像及び前記補正関連情報を送出した撮影装置によって撮影された画像の補正に用いる補正情報を生成するとともに、該撮影装置を特定するための撮影装置特定情報を前記補正情報に付加する補正情報生成工程と、
    を備えることを特徴とする画像処理方法。
23. 前記チャート画像取得工程では、前記補正用チャートが複数視点から撮影されたチャート画像を取得すること特徴とする請求項２２記載の画像処理方法。
24. 前記撮影装置によって撮影された補正対象画像を、前記画像処理装置に送出する画像送出工程と、
    前記補正対象画像を撮影した撮影装置の撮影装置特定情報に基づいて、前記補正情報生成工程において生成された補正情報の中から前記補正対象画像を撮影した撮影装置の補正情報を取得する補正情報取得工程と、
    前記補正情報を用いて前記補正対象画像を補正する画像補正工程と、
    を更に備えることを特徴とする請求項２２又は２３記載の画像処理方法。
25. 前記撮影装置特定情報によって特定される撮影装置に対して前記画像処理装置から補正情報を送出する補正情報取得工程と、
    前記撮影装置において、前記画像処理装置から送出された補正情報を用いて前記補正対象画像を補正する画像補正工程と、
    を更に備えることを特徴とする請求項２２から２４のいずれか１項記載の画像処理方法。
26. 前記補正情報送出手段により補正情報を送出するときに、前記撮影装置との間で通信可能であるかどうかを前記画像処理装置により確認する確認工程を更に備えることを特徴とする請求項２５記載の画像処理方法。
27. 前記撮影装置は、前記補正情報取得工程において取得した補正情報から撮影装置特定情報を取得し、自己の撮影装置特定情報と照合することを特徴とする請求項２５又は２６記載の画像処理方法。
28. 前記チャート画像の撮影時の設定情報を取得する取得工程を更に備え、
    前記補正情報生成工程では、前記設定情報を前記撮影装置特定情報として前記補正情報に付加し、
    前記補正情報取得工程では、前記補正対象画像の撮影時の設定情報と同一の設定情報が付加された補正情報を取得することを特徴とする請求項２４から２７のいずれか１項記載の画像処理方法。
29. 前記チャート画像及び補正関連情報を送出した撮影装置を特定するための識別子を取得する取得工程を更に備え、
    前記補正情報生成工程では、前記チャート画像を撮影した撮影装置を特定するための識別子を前記撮影装置特定情報として前記補正情報に付加することを特徴とする請求項２２から２８のいずれか１項記載の画像処理方法。
30. 前記撮影装置からの要求に応じて、画像データとして前記画像処理装置に記憶された補正用チャートを前記撮影装置に送出する第１の送出工程を更に備えることを特徴とする請求項２２から２９のいずれか１項記載の画像処理方法。
31. 前記撮影装置からの要求に応じて、前記チャート画像の撮影及び送出を行うための手順が記載されたマニュアル情報を前記撮影装置に送出する第２の送出工程を更に備えることを特徴とする請求項２２から３０のいずれか１項記載の画像処理方法。
32. 前記マニュアル情報は、前記撮影装置に設けられた画像表示用の表示工程に表示可能な形式の画像データとして前記画像処理装置に記憶されることを特徴とする請求項３１記載の画像処理方法。

Images