JP2017092850A - 撮像装置、撮像方法および会議端末装置 - Google Patents

Abstract

【課題】１つの撮像部により異なる２つのパラメータで被写体を撮像した２つの画像を生成する。
【解決手段】本発明に撮像装置は、第１タイミングにおいて第１センサパラメータにより被写体を撮像して撮像データを生成し、第２タイミングにおいて第２センサパラメータにより被写体を撮像して撮像データを生成する撮像部と、第１タイミングにおいて撮像された撮像データに基づく第１画像データを生成する第１画像生成部と、第２タイミングにおいて撮像された撮像データに基づく第２画像データを生成する第２画像生成部と、第１画像データと第２画像データとを１つのフレームに合成した合成画像データを生成する合成部と、を備える。
【選択図】図９

Description

本発明は、撮像装置、撮像方法および会議端末装置に関する。

複数の会議室を用いて会議を行う遠隔会議システムが普及している。この会議システムは、一方の参加者がいる会議室において、会議端末装置を用いて参加者の画像および音声を収集して、これらのデジタルデータを他方の参加者がいる会議室の会議端末装置にネットワークを介して送信する。そして、他方の参加者がいる会議室の会議端末装置が、ディスプレイに画像を表示したり、スピーカで音声を出力したりする。会議システムでは、このような処理を複数の会議室の間で相互に行う。

特許文献１には、複数の目的画像を１つの広角画像から切り出して時分割多重処理をする撮像装置が記載されている。特許文献２には、複数の参加者を撮像した広範囲の画像と、広範囲の画像の一部分をクローズアップした狭範囲の画像とを配信する映像配信システムが記載されている。

会議システムでは、例えば３６０°の画角範囲を撮像可能なパノラマカメラを用いて、複数の参加者を撮像した広角画像を配信することができる。また、会議システムでは、複数の参加者のうちの発言をしている参加者（発言者）を検出し、その発言者をクローズアップした話者画像を配信することができる。これにより、会議システムでは、他の会議室の参加者に対して、広角画像により参加者全員を認識させることができるとともに、話者画像により何れの参加者が発言しているのかを認識させることができる。

また、このような会議システムでは、広角画像データの一部分を繰り出して、話者画像を生成する場合がある。これにより、会議システムでは、話者画像を生成するための専用のカメラを備えなくてよいので、構成を簡易にすることができる。

ところで、従来の会議システムでは、広角画像の露出が適切となるように露光時間が制御される。しかし、例えば会議室の一部の壁に窓があり、その窓の外から強い光が入射している場合、窓の手前の参加者は逆光状態となる。このため、従来の会議システムは、窓の手前の参加者が発言者となった場合、発言者が黒潰れした話者画像を生成してしまっていた。従って、従来の会議システムでは、広角画像と話者画像との両者をそれぞれ適切な露出で撮像することができなかった。

本発明は、上記に鑑みてなされたものであって、１つの撮像部により異なる２つのパラメータで被写体を撮像した２つの画像を生成する撮像装置、撮像方法および会議端末装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に撮像装置は、第１タイミングにおいて第１センサパラメータにより被写体を撮像して撮像データを生成し、第２タイミングにおいて第２センサパラメータにより前記被写体を撮像して前記撮像データを生成する撮像部と、前記第１タイミングにおいて撮像された前記撮像データに基づく第１画像データを生成する第１画像生成部と、前記第２タイミングにおいて撮像された前記撮像データに基づく第２画像データを生成する第２画像生成部と、前記第１画像データと前記第２画像データとを１つのフレームに合成した合成画像データを生成する合成部と、を備える。

本発明によれば、１つの撮像部により異なる２つのパラメータで被写体を撮像した２つの画像を生成することができる。

図１は、実施形態に係る会議システムを示す図である。 図２は、会議端末装置の使用例を示す図である。 図３は、会議端末装置のハードウェア構成を示す図である。 図４は、会議端末装置の機能構成を示す図である。 図５は、撮像装置および複数のマイクロホンの配置の一例を示す図である。 図６は、集音部の機能構成を示す図である。 図７は、撮像装置により生成される出力画像の一例を示す図である。 図８は、撮像装置のハードウェア構成を示す図である。 図９は、撮像装置の機能構成を示す図である。 図１０は、現像処理部の機能構成を示す図である。 図１１は、測定部の機能構成を示す図である。 図１２は、パラメータの設定の流れを示す図である。 図１３は、第１画像生成部および第２画像生成部の機能構成を示す図である。 図１４は、逆光の参加者を含む部分領域を切り出して話者画像を生成した場合の出力画像の一例を示す図である。

図１は、実施形態に係る会議システム１０を示す図である。会議システム１０は、互いに離れた位置の参加者に、会議等のコミュニケーションをさせるためのシステムである。

会議システム１０は、複数の会議端末装置２０と、中継装置２２とを備える。複数の会議端末装置２０および中継装置２２は、ネットワークを介して相互に接続して、データを送受信する。ネットワークは、ＬＡＮ（Local Area Network）であってもよいし、ＷＡＮ（Wide Area Network）であってもよいし、ＷＡＮに公衆回線が含まれていてもよいし、どのようなネットワークであってもよい。

複数の会議端末装置２０のそれぞれは、同一の機能および構成を有する。複数の会議端末装置２０のそれぞれは、異なる場所（本実施形態においては異なる会議室）に配置される。それぞれの会議室には、少なくとも一人の参加者が存在する。

会議システム１０は、一方の会議端末装置２０から他の会議端末装置２０へと、一方の会議端末装置２０が設置された会議室内の参加者を撮像した映像データ、および、参加者の音声を表す音声データをリアルタイムで送信する。なお、会議システム１０は、一方の会議端末装置２０から他の会議端末装置２０へと一方向に情報を伝達してもよいし、双方向に情報を送信してもよい。また、会議システム１０は、１つの会議端末装置２０から複数の他の会議端末装置２０へと同時に情報を送信してもよい。

中継装置２２は、例えばサーバまたはコンピュータ等の情報処理装置である。中継装置２２は、会議端末装置２０と他の会議端末装置２０との間の中継装置２２を介した通信を確立する。そして、中継装置２２は、会議端末装置２０から受信したデータを他の会議端末装置２０へと転送する。

図２は、会議端末装置２０の使用例を示す図である。会議端末装置２０は、会議室内の参加者を撮像する。また、会議端末装置２０は、会議室内の参加者の音声を集音する。会議端末装置２０は、会議室内の参加者を撮像した映像データおよび参加者の音声を集音した音声データを他の会議端末装置２０へと送信する。

また、会議端末装置２０は、表示装置と接続され、他の会議端末装置２０から受信した映像データを表示装置に表示させる。また、会議端末装置２０は、スピーカと接続され、他の会議端末装置２０から受信した音声データをスピーカから出力させる。会議端末装置２０は、表示装置およびスピーカを内蔵していてもよい。本実施形態においては、会議端末装置２０は、電子黒板２３と接続され、電子黒板２３に映像データを表示させ、電子黒板２３から音声データに応じた音声を出力させる。

また、会議端末装置２０は、会議室内の複数の参加者をフレーム内に撮像可能な位置に配置される。例えば、会議端末装置２０は、３６０°の全周を撮像可能なカメラを有する場合には、図２に示すように、テーブル上に配置されてもよい。また、会議端末装置２０は、天井に配置されてもよいし、会議室の一方の壁側に配置されてもよいし、電子黒板２３と一体とされていてもよい。

図３は、会議端末装置２０のハードウェア構成を示す図である。会議端末装置２０は、ＣＰＵ（Central Processing Unit）２４と、ＲＯＭ（Read Only Memory）２５と、ＲＡＭ（Random Access Memory）２６と、記憶装置２７と、マイクロホンアレイ２８と、撮像装置３０と、操作部３１と、音声出力ＩＦ部３２と、表示ＩＦ部３３と、外部機器接続ＩＦ部３４とを有する。

ＣＰＵ２４は、会議端末装置２０の全体の動作を制御する。また、ＣＰＵ２４は、プログラムを実行する。ＲＯＭ２５は、起動時においてＣＰＵ２４が実行するプログラム等を記憶する。ＲＡＭ２６は、ＣＰＵ２４が実行するデータを記憶し、ＣＰＵ２４のワークエリアとして機能する。記憶装置２７は、会議端末装置２０用の転送制御プログラム、アプリケーションプログラム、画像データおよび音声データ等を記憶する。記憶装置２７は、例えば、ハードディスクまたはフラッシュメモリ等である。

マイクロホンアレイ２８は、それぞれが指向性を有する複数のマイクロホン３６を含む。それぞれのマイクロホン３６は、設定された方向から発せられた音を集音して音声信号を生成する。

撮像装置３０は、ＣＰＵ２４の制御に従って被写体を撮像して画像データを生成する。撮像装置３０については詳細を後述する。マイクロホンアレイ２８および撮像装置３０は、会議端末装置の本体を構成する筐体とは別体に設けられてもよい。

操作部３１は、ユーザの操作情報を入力するためのキーボードおよびボタン等である。音声出力ＩＦ部３２は、ＣＰＵ２４の制御に従って、音声信号をスピーカに与えて音声を出力させる。表示ＩＦ部３３は、映像データを表示装置に与えて、映像データに応じた画像を表示装置に表示させる。外部機器接続ＩＦ部３４は、外部機器に接続するためのインターフェース回路である。外部機器接続ＩＦ部３４は、例えば、ＵＳＢ（Universal Serial Bus）ケーブル等を介して、外部のコンピュータまたは電子黒板２３等と接続する。

図４は、会議端末装置２０の機能構成を示す図である。会議端末装置２０は、集音部４１と、撮像装置３０と、通信部４２と、音声出力部４３と、表示制御部４４とを有する。

集音部４１は、周囲の音を集音して第１音声データを生成する。より具体的には、集音部４１は、会議室内における参加者の音声を集音し、第１音声データを生成する。また、集音部４１は、複数の参加者のうち発話中の参加者を検出し、検出した参加者の方向を表す方向情報を生成する。集音部４１は、生成した方向情報を撮像装置３０に与える。

撮像装置３０は、周囲の被写体を撮像して第１映像データを生成する。より具体的には、撮像装置３０は、会議室内の複数の参加者を１つのフレーム内に収まるように撮像した第１画像データと、発話中の参加者を撮像した第２画像データとを生成する。撮像装置３０は、第１画像データと第２画像データとを１つのフレーム内に合成した合成画像データを生成する。そして、撮像装置３０は、合成画像データを含む第１映像データを出力する。

通信部４２は、撮像装置３０により出力された第１映像データおよび集音部４１により出力された第１音声データを、他の会議端末装置２０（他の装置）にネットワークを介して送信する。また、通信部４２は、他の会議端末装置２０から、第２映像データおよび第２音声データを受信する。

音声出力部４３は、通信部４２が受信した第２音声データに応じた音声をスピーカから出力させる。表示制御部４４は、通信部４２が受信した第２映像データを表示装置に表示させる。

図５は、撮像装置３０および複数のマイクロホン３６の配置の一例を示す図である。複数のマイクロホン３６のそれぞれは、指向性を有する。複数のマイクロホン３６は、撮像装置３０の画角の範囲内における異なる方向の音を検出できるように、それぞれが画角の内において分散して配置される。例えば、撮像装置３０が３６０°の範囲を撮像可能な場合には、複数のマイクロホン３６は、図５に示されるように、会議端末装置２０の筐体の周囲に放射状に配置される。

また、複数のマイクロホン３６のそれぞれの指向性の方向と、撮像装置３０により撮像される画角の基準方向（例えば、画角の中心方向、または、画角の左端または右端の方向）との対応関係は、会議端末装置２０に予め設定されている。撮像装置３０は、この対応関係を予め取得して記憶する。これにより、撮像装置３０は、複数のマイクロホン３６により検出された音声の発生方向と、予め登録された対応関係とに基づき、音声発生方向が、撮像された画像内における何れの位置であるかを算出することができる。従って、撮像装置３０は、集音部４１から受け取った方向情報に基づき、フレーム内における発話中の参加者を含む部分領域を特定することができる。

図６は、集音部４１の機能構成を示す図である。集音部４１は、ＣＰＵ２４がプログラムを実行することにより実現される。

集音部４１は、音声取得部４６と、方向検出部４７と、音声生成部４８とを有する。音声取得部４６は、マイクロホンアレイ２８を構成する複数のマイクロホン３６のそれぞれから音声信号を取得する。

方向検出部４７は、複数のマイクロホン３６から取得した複数の音声信号から、音声が発せられた方向を検出する。例えば、方向検出部４７は、複数のマイクロホン３６に到達した音の遅延量等に基づき方向を検出する。そして、方向検出部４７は、検出した方向を示す方向情報を撮像装置３０に与える。

音声生成部４８は、複数のマイクロホン３６から取得した複数の音声信号から第１音声データを生成する。音声生成部４８は、例えば、有効な方向の音声信号の選択および有効な複数の音声信号の積算等をして、第１音声データを生成する。音声生成部４８は、生成した第１音声データを通信部４２に与える。

図７は、撮像装置３０により生成される出力画像５０の一例を示す図である。撮像装置３０は、会議室内の複数の参加者を１つのフレーム内に収まるように撮像した広角画像５２を表す第１画像データを生成する。例えば、撮像装置３０は、３６０°の画角を有するレンズ等を用いて撮像したＲＡＷ画像データに対して所定の歪補正処理等を行うことにより第１画像データを生成する。

また、撮像装置３０は、集音部４１から受け取った方向情報に基づき、第１画像データにおける発話中の参加者が含まれる部分領域５６を検出する。撮像装置３０は、第１画像データから、部分領域５６に対応する画像を抽出する。そして、撮像装置３０は、抽出した部分画像を拡大または縮小して、話者画像５４を表す第２画像データを生成する。

そして、撮像装置３０は、広角画像５２を表す第１画像データと、話者画像５４を表す第２画像データとを１つのフレーム内に合成して出力画像５０を生成する。そして、撮像装置３０は、出力画像５０を表す合成画像データを含む第１映像データを出力する。

図８は、撮像装置３０のハードウェア構成を示す図である。撮像装置３０は、レンズ光学系６０と、イメージセンサ６２と、現像処理回路６４と、画像処理回路６６と、合成回路６８と、出力回路７０と、制御回路７２と、メモリ７４と、補正値記憶部７６とを有する。

レンズ光学系６０は、被写体からの反射光をイメージセンサ６２上に集光する。イメージセンサ６２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）等の固体撮像装置を含む。イメージセンサ６２は、光電変換、電荷読み出し、信号増幅、アナログ／デジタル変換を行って、被写体を表す撮像データ（ＲＡＷ画像データ）を出力する。

現像処理回路６４は、イメージセンサ６２から出力された撮像データに対して現像処理等を行って、予め定められた形式の中間画像データを生成する。また、現像処理回路６４は、イメージセンサ６２を制御するためのセンサパラメータおよび現像処理のための現像パラメータの生成元となる測定値を、撮像データから算出する。例えば、現像処理回路６４は、イメージセンサ６２の自動露出制御をするためのＡＥ測光値および現像処理回路６４のオートホワイトバランス制御をするためのＡＷＢ測光値を算出する。

画像処理回路６６は、中間画像データから広角画像５２を表す第１画像データを生成する処理、および、中間画像データから話者画像５４を表す第２画像データを生成する処理を実行する。具体的には、画像処理回路６６は、中間画像データに対する歪補正処理をする。また、画像処理回路６６は、歪補正がされた中間画像データから、所定のフレーム番号のフレームの取得、画像抽出および拡大縮小処理をして、第１画像データおよび第２画像データを生成する。

合成回路６８は、第１画像データと第２画像データとを合成して合成画像データを生成する。出力回路７０は、合成回路６８により生成された合成画像データを含む映像データを出力する。例えば、出力回路７０は、所定のビデオデータ用のシリアルＩ／Ｆを介して映像データを出力する。

制御回路７２は、例えば、ＭＰＵ（Micro-Processing Unit）等であって装置全体の制御をする。さらに、制御回路７２は、現像処理回路６４により算出された測定値に基づき、イメージセンサ６２の動作を制御するためのセンサパラメータを生成する。そして、制御回路７２は、生成したセンサパラメータをイメージセンサ６２に設定する。また、制御回路７２は、現像処理回路６４により算出された測定値に基づき、現像処理回路６４の動作を制御するための現像パラメータを生成する。そして、制御回路７２は、生成した現像パラメータを現像処理回路６４に設定する。

メモリ７４は、例えば、ＲＡＭ等であり、撮像データ、中間画像データ、第１画像データ、第２画像データおよび合成画像データを記憶する。メモリ７４は、現像処理回路６４、画像処理回路６６および合成回路６８が処理を行うためにデータを記憶するワーキングエリアとして機能する。補正値記憶部７６は、例えば、フラッシュメモリ等の不揮発メモリである。補正値記憶部７６は、例えば、３６０°の広角画像の歪を補正すための補正値データを記憶する。補正値記憶部７６は、例えば、工場出荷時またはキャリブレーション時等に生成された補正値データを予め記憶する。補正値記憶部７６に記憶された補正値は、例えば、画像処理回路６６の動作に先だって、メモリ７４に転送される。

図９は、撮像装置３０の機能構成を示す図である。撮像装置３０は、図８に示したハードウェアがソフトウェアと協働することにより、図９に示すような機能ブロックを実現する。すなわち、撮像装置３０は、撮像部８０と、現像処理部８２と、領域指定部８４と、測定部８６と、パラメータ生成部８８と、設定部９０と、歪補正部９２と、第１画像生成部９４と、第２画像生成部９６と、合成部９８とを有する。

撮像部８０は、被写体を撮像して撮像データを生成する。撮像部８０は、イメージセンサ６２により実現される。撮像部８０は、複数の参加者を１つのフレーム内に含む広角の撮像データを生成する。例えば、撮像部８０は、３６０°の画角の撮像データを生成する。

撮像部８０は、設定部９０から第１センサパラメータと第２センサパラメータとが設定される。第１センサパラメータおよび第２センサパラメータは、例えば、シャッタースピードおよび露光時間等のイメージセンサ６２を制御するために必要なパラメータである。

撮像部８０は、第１タイミングにおいて第１センサパラメータにより被写体を撮像して撮像データを生成する。また、撮像部８０は、第１タイミングとは異なる第２タイミングにおいて、第２センサパラメータにより被写体を撮像して撮像データを生成する。

例えば、撮像部８０は、フレームタイミング毎に、第１タイミングと第２タイミングとを切り替える。撮像部８０は、例えば、奇数番号のフレーム（奇数フレーム）のタイミング（第１タイミング）において、第１センサパラメータにより被写体を撮像し、偶数番号のフレーム（偶数フレーム）のタイミング（第２タイミング）において、第２センサパラメータにより被写体を撮像する。なお、奇数フレームが第２タイミング、偶数フレームが第１タイミングであってもよい。

現像処理部８２は、撮像部８０により生成された撮像データに対して現像処理を実行し、予め定められた形式の中間画像データを生成する。例えば、現像処理部８２は、黒レベル補正、欠陥画素補正、シェーディング補正、ホワイトバランス調整、ゲイン調整、ＷＢ（ホワイトバランス）調整、デモザイキング、輪郭強調、色補正、ＮＲ(ノイズリダクション)、ガンマ調整、トーンカーブ調整等の現像処理を行う。さらに、現像処理部８２は、ＲＡＷ画像データからＲＧＢデまたはＹＣｂＣｒ等の色差信号データへの変換を行う。また、現像処理部８２は、予め定められた画像フォーマットの中間画像データへの変換処理およびタイミング調整を行う。現像処理部８２は、現像処理回路６４により実現される。

現像処理部８２は、設定部９０から第１現像パラメータと第２現像パラメータとが設定される。第１現像パラメータおよび第２現像パラメータは、例えば、ホワイトバランス調整のための色毎のゲイン等を含む現像処理に必要なパラメータである。

現像処理部８２は、第１タイミングにおいて撮像された撮像データに対して第１現像パラメータに基づき現像処理を実行する。また、現像処理部８２は、第２タイミングにおいて撮像された撮像データに対して第２現像パラメータに基づき現像処理を実行する。

例えば、現像処理部８２は、例えば奇数フレームの撮像データに対して第１現像パラメータにより現像処理を実行し、偶数フレームの撮像データに対して第２現像パラメータにより現像処理を実行する。なお、奇数フレームが第２タイミング、偶数フレームが第１タイミングである場合には、現像処理部８２は、奇数フレームの撮像データに対して第２現像パラメータにより現像処理を実行し、偶数フレームの撮像データに対して第１現像パラメータにより現像処理を実行する。

領域指定部８４は、方向情報を外部の集音部４１から受け取る。方向情報には、撮像部８０の画角内における何れかの方向が示される。領域指定部８４は、方向情報に基づき、撮像部８０により生成される撮像データのフレーム内における一部の領域を示す部分領域を指定する。部分領域は、撮像データのフレーム内において、例えば、一人の参加者を含む程度の画角の範囲の領域である。例えば、撮像データが３６０°の画角のフレームを有する場合には、領域指定部８４は、３０°程度の画角の範囲の領域を、部分領域として指定してよい。領域指定部８４は、指定した部分領域を特定する情報を、測定部８６および第２画像生成部９６に与える。領域指定部８４は、制御回路７２により実現される。

測定部８６は、撮像データのフレーム内の所定領域から第１測定値を算出する。また、測定部８６は、撮像データのフレーム内の部分領域から第２測定値を算出する。ここで、所定領域は、広角画像５２を生成するための画像範囲である。所定領域は、撮像データの有効範囲の全体であってもよいし、有効範囲から数パーセント小さい範囲であってもよい。また、部分領域は、所定領域内に含まれる範囲である。

また、第１測定値は、第１センサパラメータおよび第１現像パラメータの生成の元となる情報である。第２測定値は、第２センサパラメータおよび第２現像パラメータの生成の元となる情報である。

測定部８６は、例えば、撮像データのフレーム内の所定領域の光量を表す第１測定値（第１ＡＥ測光値）を算出し、撮像データにおける部分領域の光量を表す第２測定値（第２ＡＥ測光値）を算出する。また、測定部８６は、例えば、撮像データにおける所定領域の色毎の光量差を表す第１測定値（第１ＡＷＢ測光値）を算出し、撮像データにおける部分領域の色毎の光量差を表す第２測定値（第２ＡＷＢ測光値）を算出する。

さらに、測定部８６は、第１タイミングに撮像された撮像データに基づき第１測定値を算出する。また、測定部８６は、第２タイミングに撮像された撮像データに基づき第２測定値を算出する。例えば、測定部８６は、奇数フレームの撮像データから第１測定値を算出し、偶数フレームの撮像データから第２測定値を算出する。なお、奇数フレームが第２タイミング、偶数フレームが第１タイミングである場合には、測定部８６は、奇数フレームの撮像データから第２測定値を算出し、偶数フレームの撮像データから第１測定値を算出する。測定部８６は、現像処理回路６４により実現される。

パラメータ生成部８８は、測定部８６から第１測定値および第２測定値を受け取る。パラメータ生成部８８は、第１測定値に基づき第１センサパラメータを生成し、第２測定値に基づき第２センサパラメータを生成する。例えば、パラメータ生成部８８は、第１ＡＥ測光値に基づきイメージセンサ６２の露光時間を算出し、算出した露光時間を含む第１センサパラメータを生成する。また、パラメータ生成部８８は、第２ＡＥ測光値に基づきイメージセンサ６２の露光時間を算出し、算出した露光時間を含む第２センサパラメータを生成する。

また、パラメータ生成部８８は、第１測定値に基づき第１現像パラメータを生成し、第２測定値に基づき第２現像パラメータを生成する。例えば、パラメータ生成部８８は、第１ＡＷＢ測光値に基づき色毎のゲインを算出し、算出した色毎のゲインを含む第１現像パラメータを生成する。また、パラメータ生成部８８は、第２ＡＷＢ測光値に基づき色毎のゲインを算出し、算出した色毎のゲインを含む第２現像パラメータを生成する。

パラメータ生成部８８は、第１測定値を受け取る毎に、第１センサパラメータおよび第１現像パラメータを生成する。また、パラメータ生成部８８は、第２測定値を受け取る毎に、第２センサパラメータおよび第２現像パラメータを生成する。例えば、パラメータ生成部８８は、フレームタイミング毎に、第１センサパラメータおよび第１現像パラメータ、または、第２センサパラメータおよび第２現像パラメータを生成する。パラメータ生成部８８は、制御回路７２により実現される。

設定部９０は、第１センサパラメータおよび第２センサパラメータを撮像部８０に設定する。また、設定部９０は、第１現像パラメータおよび第２現像パラメータを現像処理部８２に設定する。

設定部９０は、例えば、フレームタイミング毎に、第１センサパラメータまたは第２センサパラメータを切り替えて設定する。また、設定部９０は、例えば、フレームタイミング毎に、第１現像パラメータおよび第２現像パラメータを切り替えて設定する。設定部９０は、制御回路７２により実現される。

歪補正部９２は、現像処理部８２から中間画像データを受け取る。歪補正部９２は、中間画像データに対して、予め登録された歪補正値に基づき広角のレンズにより撮像したことにより生じる画像の歪を補正する。歪補正部９２は、画像処理回路６６により実現される。

第１画像生成部９４は、第１タイミングにおいて撮像された撮像データに基づく第１画像データを生成する。例えば、奇数フレームが第１タイミングである場合、第１画像生成部９４は、歪補正がされた中間画像データの奇数フレームを抽出して第１画像データを生成する。なお、偶数フレームが第１タイミングである場合には、第１画像生成部９４は、歪補正がされた中間画像データの偶数フレームを抽出して第１画像データを生成する。

さらに、第１画像生成部９４は、歪補正がされた中間画像データのフレーム内の所定領域の画像を抽出して、第１画像データを生成する。所定領域は、測定部８６が第１測定値を算出する範囲と同一である。従って、所定領域は、撮像データの有効範囲の全体であってもよいし、有効範囲から数パーセント小さい範囲であってもよい。第１画像生成部９４は、画像処理回路６６により実現される。

第２画像生成部９６は、第２タイミングにおいて撮像された撮像データに基づく第２画像データを生成する。例えば、偶数フレームが第２タイミングである場合、第２画像生成部９６は、歪補正がされた中間画像データの偶数フレームを抽出して第２画像データを生成する。なお、奇数フレームが第２タイミングである場合には、第２画像生成部９６は、歪補正がされた中間画像データの奇数フレームを抽出して第２画像データを生成する。

さらに、第２画像生成部９６は、領域指定部８４から部分領域を特定する情報を受け取る。そして、第２画像生成部９６は、歪補正がされた中間画像データのフレーム内の部分領域の画像を抽出して、第２画像データを生成する。

部分領域は、測定部８６が第２測定値を算出する範囲と同一である。従って、部分領域は、所定領域内に含まれる範囲である。また、第２画像生成部９６は、例えば、フレームタイミング毎に異なる部分領域を受け取ってもよい。従って、部分領域は、フレームタイミング毎に、フレーム内の抽出位置が異なる場合もある。第１画像生成部９４は、画像処理回路６６により実現される。

合成部９８は、第１画像生成部９４により生成された第１画像データと、第２画像生成部９６により生成された第２画像データとを取得する。そして、合成部９８は、第１画像データと第２画像データとを１つのフレームに合成した合成画像データを生成する。合成部９８は、合成回路６８により実現される。

図１０は、現像処理部８２の機能構成を示す図である。現像処理部８２は、黒レベル補正部１１２と、欠陥画素補正部１１４と、シェーディング補正部１１６と、ゲイン調整部１１８と、ＷＢ調整部１２０と、デモザイキング部１２２と、ＹＲＧＢ分離部１２４と、輪郭強調部１２６と、色補正部１２８と、ＮＲ部１３０と、加算部１３２と、ガンマ調整部１３４と、トーンカーブ調整部１３６と、フォーマット変換部１３８と、タイミング調整部１４０とを含む。

黒レベル補正部１１２は、撮像部８０から撮像データを受け取り、イメージセンサ６２の暗電流ノイズの影響を抑制する。黒レベル補正部１１２は、設定部９０から現像パラメータに含まれる抑制量に応じてノイズを抑制する。設定部９０は、露光時間または周囲温度に応じてノイズの抑制量をフレーム毎に更新する。

欠陥画素補正部１１４は、黒レベル補正部１１２から撮像データを受け取る。欠陥画素補正部１１４は、イメージセンサ６２の画素欠陥を補正する。

シェーディング補正部１１６は、欠陥画素補正部１１４から撮像データを受け取る。シェーディング補正部１１６は、レンズによる周辺減光を補正する。

ゲイン調整部１１８は、シェーディング補正部１１６から撮像データを受け取る。ゲイン調整部１１８は、撮像データのそれぞれのピクセル値にゲインを乗じて明るさを調整する。ゲイン調整部１１８は、設定部９０から現像パラメータに含まれるゲインを受け取る。設定部９０は、ＡＥ測光値を元に最適なゲインを算出してフレーム毎に更新する。

ＷＢ調整部１２０は、ゲイン調整部１１８から撮像データを受け取る。ＷＢ調整部１２０は、例えばＲのピクセル値およびＢのピクセル値にゲインを乗じて、照明色等の違いを吸収して、色毎のバランスを調整する。これにより、ＷＢ調整部１２０は、白い部分を白画像とすることができる。ＷＢ調整部１２０は、設定部９０から現像パラメータに含まれる色毎のゲインを受け取る。設定部９０は、ＡＷＢ測光値を元に最適な色毎のゲインを算出してフレーム毎に更新する。

デモザイキング部１２２は、ＷＢ調整部１２０から撮像データを受け取る。デモザイキング部１２２は、カラーフィルタで格子状となっているＲ、Ｇ、Ｂの情報を色補間する。

ＹＲＧＢ分離部１２４は、デモザイキング部１２２から撮像データを受け取る。ＹＲＧＢ分離部１２４は、ＲＧＢの画像データから、輝度（Ｙ）データと色（ＲＧＢ）画像データとを算出する。ＹＲＧＢ分離部１２４は、輝度（Ｙ）データおよび色（ＲＧＢ）画像データを測定部８６に与える。

輪郭強調部１２６は、ＹＲＧＢ分離部１２４から輝度（Ｙ）データを受け取る。輪郭強調部１２６は、被写体の輪郭部分を強調する強調データを生成する。輪郭強調部１２６は、設定部９０から現像パラメータに含まれる強調量を受け取る。設定部９０は、露光時間に応じて強調量をフレーム毎に更新する。

色補正部１２８は、ＹＲＧＢ分離部１２４から色（ＲＧＢ）画像データを受け取る。色補正部１２８は、色相および彩度を調整する。

ＮＲ部１３０は、色補正部１２８から色（ＲＧＢ）画像データを受け取る。ＮＲ部１３０は、画像中のランダムノイズおよび色ノイズの影響を抑制する。ＮＲ部１３０は、設定部９０から現像パラメータに含まれる抑制量に応じてノイズを抑制する。設定部９０は、露光時間または周囲温度に応じてノイズの抑制量をフレーム毎に更新する。

加算部１３２は、ＮＲ部１３０から色（ＲＧＢ）画像データを受け取り、輪郭強調部１２６から強調データを受け取る。加算部１３２は、色（ＲＧＢ）画像データに強調データを加算して、輪郭強調をする。

ガンマ調整部１３４は、加算部１３２から色画像（ＲＧＢ）データを受け取る。ガンマ調整部１３４は、出力機器のガンマ特性に合わせて入出力特性を調整する。

トーンカーブ調整部１３６は、ガンマ調整部１３４から色（ＲＧＢ）画像データを受け取る。トーンカーブ調整部１３６は、入出力特性を調整して、コントラストを調整する。

フォーマット変換部１３８は、トーンカーブ調整部１３６から色（ＲＧＢ）画像データを受け取る。フォーマット変換部１３８は、色（ＲＧＢ）画像データをＹＣｂＣｒ等の色差信号へ変換して、所定のフォーマットの中間画像データを生成する。

タイミング調整部１４０は、フォーマット変換部１３８から所定のフォーマットの中間画像データを受け取る。タイミング調整部１４０は、所定の映像信号フォーマットの規格に準拠したタイミングで中間画像データを出力する。

なお、現像処理部８２では、各機能ブロックの処理順番が入れ替わっていてもよい。つまり、現像処理部８２は、上述した順序以外で処理を実行してもよい。また、黒レベル補正部１１２は、撮像部８０（イメージセンサ６２）が含んでいてもよい。

図１１は、測定部８６の機能構成を示す図である。測定部８６は、例えば、第１選択部１５０と、第１ＡＥ測光部１５２と、第２ＡＥ測光部１５４と、第２選択部１５６と、第１ＡＷＢ測光部１５８と、第２ＡＷＢ測光部１６０とを含む。

第１選択部１５０は、現像処理部８２のＹＲＧＢ分離部１２４から、輝度（Ｙ）データを受け取る。第１選択部１５０は、フレーム番号に応じて、輝度（Ｙ）データを第１ＡＥ測光部１５２または第２ＡＥ測光部１５４に与える。例えば、第１タイミングが奇数フレーム、第２タイミングが偶数フレームの場合、第１選択部１５０は、奇数フレームの輝度（Ｙ）データを第１ＡＥ測光部１５２に与え、偶数フレームの輝度（Ｙ）データを第２ＡＥ測光部１５４に与える。また、例えば、第１タイミングが偶数フレーム、第２タイミングが奇数フレームの場合、第１選択部１５０は、偶数フレームの輝度（Ｙ）データを第１ＡＥ測光部１５２に与え、奇数フレームの輝度（Ｙ）データを第２ＡＥ測光部１５４に与える。

第１ＡＥ測光部１５２は、受け取った第１タイミングの輝度（Ｙ）データにおける所定領域のデータに基づき、所定領域の光量を表す第１ＡＥ測光値を算出する。所定領域は、フレーム内における例えば有効画像範囲である。従って、第１ＡＥ測光値は、フレーム全体の光量を表す。第１ＡＥ測光部１５２は、第１ＡＥ測光値を第１測定値としてパラメータ生成部８８に与える。

第２ＡＥ測光部１５４は、領域指定部８４から部分領域を特定する情報を受け取る。第２ＡＥ測光部１５４は、受け取った第２タイミングの輝度（Ｙ）データにおける部分領域のデータに基づき、部分領域の光量を表す第２ＡＥ測光値を算出する。部分領域は、フレーム内における第２測定値を算出する範囲である。従って、第２ＡＥ測光値は、発話中の参加者を含む画像領域における光量を表す。第２ＡＥ測光部１５４は、第２ＡＥ測光値を第２測定値としてパラメータ生成部８８に与える。

第２選択部１５６は、現像処理部８２のＹＲＧＢ分離部１２４から、色（ＲＧＢ）画像データを受け取る。第２選択部１５６は、フレーム番号に応じて、色（ＲＧＢ）画像データを第１ＡＷＢ測光部１５８または第２ＡＷＢ測光部１６０に与える。例えば、第１タイミングが奇数フレーム、第２タイミングが偶数フレームの場合、第２選択部１５６は、奇数フレームの色（ＲＧＢ）画像データを第１ＡＷＢ測光部１５８に与え、偶数フレームの色（ＲＧＢ）画像データを第２ＡＷＢ測光部１６０に与える。また、例えば、第１タイミングが偶数フレーム、第２タイミングが奇数フレームの場合、第２選択部１５６は、偶数フレームの色（ＲＧＢ）画像データを第１ＡＷＢ測光部１５８に与え、奇数フレームの色（ＲＧＢ）画像データを第２ＡＷＢ測光部１６０に与える。

第１ＡＷＢ測光部１５８は、受け取った第１タイミングの色（ＲＧＢ）画像データにおける所定領域のデータに基づき、所定領域の色毎の光量差を表す第１ＡＷＢ測光値を算出する。第１ＡＷＢ測光値は、フレーム全体の色毎の光量差を表す。第１ＡＷＢ測光部１５８は、第１ＡＷＢ測光値を第１測定値としてパラメータ生成部８８に与える。

第２ＡＷＢ測光部１６０は、領域指定部８４から部分領域を特定する情報を受け取る。第２ＡＷＢ測光部１６０は、受け取った第２タイミングの色（ＲＧＢ）画像データにおける部分領域のデータに基づき、部分領域の色毎の光量差を表す第２ＡＷＢ測光値を算出する。第２ＡＷＢ測光値は、発話中の参加者を含む画像領域における色毎の光量差を表す。第２ＡＷＢ測光部１６０は、第２ＡＷＢ測光値を第２測定値としてパラメータ生成部８８に与える。

以上の構成により、測定部８６は、撮像データのフレーム内の所定領域から第１測定値を算出し、撮像データのフレーム内の部分領域から第２測定値を算出することができる。さらに、測定部８６は、第１タイミングに撮像された撮像データに基づき第１測定値を算出し、第２タイミングに撮像された撮像データに基づき第２測定値を算出することができる。

図１２は、パラメータの設定の流れを示す図である。まず、ステップＳ１１において、撮像部８０は、第１タイミング（ここでは奇数フレーム）において被写体を撮像する。続いて、ステップＳ１２において、現像処理部８２は、奇数フレームの撮像データに対して現像処理を実行する。続いて、ステップＳ１３において、測定部８６は、現像処理中において生成されたデータ（例えば、輝度（Ｙ）データおよび色（ＲＧＢ）画像データ）を取得し、取得したデータのうちの所定領域（例えばフレーム全体）のデータに基づき第１測定値（例えば、第１ＡＥ測光値および第１ＡＷＢ測光値）を生成する。続いて、ステップＳ１４において、パラメータ生成部８８は、第１測定値を取得して、パラメータ（第１センサパラメータおよび第１現像パラメータ）を生成する。

続いて、ステップＳ１５において、設定部９０は、奇数フレームの撮像データに基づき生成されたパラメータを、１フレーム期間保持する。続いて、ステップＳ１６において、設定部９０は、次の奇数フレームに対する撮像処理のために、撮像部８０に対して第１センサパラメータを設定する。これと並行して、ステップＳ１７において、設定部９０は、次の奇数フレームに対する現像処理のために、現像処理部８２に対して第１現像パラメータを設定する。

そして、次の奇数フレームにおいて、撮像部８０は、直前の奇数フレームの撮像データに基づき生成された第１センサパラメータに基づき被写体を撮像する（Ｓ１８）。さらに、現像処理部８２は、奇数フレームの撮像データに対して、直前の奇数フレームの撮像データに基づき生成された第１現像パラメータに基づき現像処理を実行する（Ｓ１９）。以後、撮像装置３０は、奇数フレーム毎に同様の処理を実行する。

一方、ステップＳ２０において、領域指定部８４は、集音部４１から取得した方向情報に算出した部分領域を特定する情報を、測定部８６に与える。続いて、ステップＳ２１において、撮像部８０は、第２タイミング（ここでは偶数フレーム）において被写体を撮像する。続いて、ステップＳ２２において、現像処理部８２は、偶数フレームの撮像データに対して現像処理を実行する。

続いて、ステップＳ２３において、測定部８６は、現像処理中において生成されたデータ（例えば、輝度（Ｙ）データおよび色（ＲＧＢ）画像データ）を取得し、取得したデータのうちの部分領域（発話中の参加者を含む領域）のデータに基づき第２測定値（例えば、第２ＡＥ測光値および第２ＡＷＢ測光値）を生成する。続いて、ステップＳ２４において、パラメータ生成部８８は、第２測定値を取得して、パラメータ（第２センサパラメータおよび第２現像パラメータ）を生成する。

続いて、ステップＳ２５において、設定部９０は、偶数フレームの撮像データに基づき生成されたパラメータを、１フレーム期間保持する。続いて、ステップＳ２６において、設定部９０は、次の偶数フレームに対する撮像処理のために、撮像部８０に対して第２センサパラメータを設定する。これと並行して、ステップＳ２７において、設定部９０は、次の偶数フレームに対する現像処理のために、現像処理部８２に対して第２現像パラメータを設定する。

そして、次の偶数フレームにおいて、撮像部８０は、直前の偶数フレームの撮像データに基づき生成された第２センサパラメータに基づき被写体を撮像する（Ｓ２８）。さらに、現像処理部８２は、偶数フレームの撮像データに対して、直前の偶数フレームの撮像データに基づき生成された第２現像パラメータに基づき現像処理を実行する（Ｓ２９）。以後、撮像装置３０は、偶数フレーム毎に同様の処理を実行する。

このようなフローにより処理することにより、撮像装置３０は、第１タイミング（奇数フレーム）の撮像処理および現像処理を、１つ前の第１タイミング（奇数フレーム）の撮像データに基づき生成されたパラメータにより実行させることができる。また、撮像装置３０は、第２タイミング（偶数フレーム）の撮像処理および現像処理を、１つ前の第２タイミング（偶数フレーム）の撮像データに基づき生成されたパラメータにより実行させることができる。

これにより、撮像装置３０は、第１タイミングおよび第２タイミングのそれぞれにおいて、他方のタイミングで撮像された画像の影響を受けることなく、撮像処理および現像処理のためのパラメータを設定することができる。

図１３は、第１画像生成部９４および第２画像生成部９６の機能構成を示す図である。第１画像生成部９４は、第１取得部１７０と、第１抽出部１７２と、第１スケーリング部１７４とを含む。

第１取得部１７０は、歪補正部９２により歪補正がされた中間画像データにおける、第１タイミングにおいて撮像された画像データのフレームを取得する。例えば、奇数フレームが第１タイミングである場合、第１取得部１７０は、中間画像データの奇数フレームを取得する。

第１抽出部１７２は、第１取得部１７０が取得した中間画像データのフレーム内における所定領域を切り出す。第１抽出部１７２は、中間画像データの全体をそのまま出力してもよいし、フレーム全体から数パーセント分をカットした領域を切り出してもよい。

第１スケーリング部１７４は、第１抽出部１７２が切り出した所定領域の画像データを予め設定された大きさの画像に拡大または縮小する。拡大または縮小率は予め設定されていてもよいし、制御回路７２等から設定されてもよい。そして、第１スケーリング部１７４は、拡大または縮小した所定領域の画像データを、第１画像データとして後段の合成部９８へ出力する。

第２画像生成部９６は、第２取得部１７６と、第２抽出部１７８と、第２スケーリング部１８０とを含む。第２取得部１７６は、歪補正部９２により歪補正がされた中間画像データにおける、第２タイミングにおいて撮像された画像データのフレームを取得する。例えば、偶数フレームが第２タイミングである場合、第２取得部１７６は、中間画像データの偶数フレームを取得する。

第２抽出部１７８は、領域指定部８４から部分領域を特定する情報を取得する。第２抽出部１７８は、第２取得部１７６が取得した中間画像データのフレーム内における部分領域を抽出する。

第２スケーリング部１８０は、第２抽出部１７８が切り出した部分領域の画像データを予め設定された大きさの画像に拡大または縮小する。拡大または縮小率は予め設定されていてもよいし、制御回路７２等から設定されてもよい。そして、第２スケーリング部１８０は、拡大または縮小した部分領域の画像データを、第２画像データとして後段の合成部９８へ出力する。

図１４は、逆光の参加者を含む部分領域５６を切り出して話者画像５４を生成した場合の出力画像５０の一例を示す図である。合成部９８は、一例として、フレームの下側に、広角画像５２（第１画像データ）を配置し、フレームの上側に話者画像５４（第２画像データ）を配置した出力画像５０（合成画像データ）を生成する。合成部９８は、このような配置に限らず、他の配置により広角画像５２と話者画像５４とを合成した出力画像５０を生成してもよい。

ここで、話者画像５４の切り出し元の部分領域５６が、窓の手前に位置する逆光の参加者（Ｄの参加者）を含む領域であったとする。このような場合、広角画像５２は、フレーム全体の光量に基づき露光時間を制御して撮像されているので、逆光の参加者（Ｄの参加者）が黒潰れしている。

これに対して、話者画像５４は、部分領域５６内の光量に基づき露光時間を制御して撮像さているので、逆光の参加者（Ｄの参加者）が黒潰れせずに鮮明に表示される。

このように撮像装置３０は、例えば３６０°の広角画像を撮像および現像処理するためのパラメータと、発話中の参加者をクローズアップした話者画像を撮像および現像処理するためのパラメータとをそれぞれ適切に設定することができる。これにより、撮像装置３０は、広角画像５２と話者画像５４とをともに鮮明に表示した合成画像を生成することができる。

以上、本発明の実施形態を説明したが、実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能である。

１０ 会議システム
２０ 会議端末装置
２２ 中継装置
２３ 電子黒板
２４ ＣＰＵ
２５ ＲＯＭ
２６ ＲＡＭ
２７ 記憶装置
２８ マイクロホンアレイ
３０ 撮像装置
３１ 操作部
３２ 音声出力ＩＦ部
３３ 表示ＩＦ部
３４ 外部機器接続ＩＦ部
３６ マイクロホン
４１ 集音部
４２ 通信部
４３ 音声出力部
４４ 表示制御部
４６ 音声取得部
４７ 方向検出部
４８ 音声生成部
５０ 出力画像
５２ 広角画像
５４ 話者画像
５６ 部分領域
６０ レンズ光学系
６２ イメージセンサ
６４ 現像処理回路
６６ 画像処理回路
６８ 合成回路
７０ 出力回路
７２ 制御回路
７４ メモリ
７６ 補正値記憶部
８０ 撮像部
８２ 現像処理部
８４ 領域指定部
８６ 測定部
８８ パラメータ生成部
９０ 設定部
９２ 歪補正部
９４ 第１画像生成部
９６ 第２画像生成部
９８ 合成部
１１２ 黒レベル補正部
１１４ 欠陥画素補正部
１１６ シェーディング補正部
１１８ ゲイン調整部
１２０ ＷＢ調整部
１２２ デモザイキング部
１２４ ＹＲＧＢ分離部
１２６ 輪郭強調部
１２８ 色補正部
１３０ ＮＲ部
１３２ 加算部
１３４ ガンマ調整部
１３６ トーンカーブ調整部
１３８ フォーマット変換部
１４０ タイミング調整部
１５０ 第１選択部
１５２ 第１ＡＥ測光部
１５４ 第２ＡＥ測光部
１５６ 第２選択部
１５８ 第１ＡＷＢ測光部
１６０ 第２ＡＷＢ測光部
１７０ 第１取得部
１７２ 第１抽出部
１７４ 第１スケーリング部
１７６ 第２取得部
１７８ 第２抽出部
１８０ 第２スケーリング部

特開２００６−２２２８１６号公報 特許第４３７３６４５号公報

Claims (12)

1. 第１タイミングにおいて第１センサパラメータにより被写体を撮像して撮像データを生成し、第２タイミングにおいて第２センサパラメータにより前記被写体を撮像して前記撮像データを生成する撮像部と、
   前記第１タイミングにおいて撮像された前記撮像データに基づく第１画像データを生成する第１画像生成部と、
   前記第２タイミングにおいて撮像された前記撮像データに基づく第２画像データを生成する第２画像生成部と、
   前記第１画像データと前記第２画像データとを１つのフレームに合成した合成画像データを生成する合成部と、
   を備える撮像装置。
2. 前記第１画像生成部は、フレーム内の所定領域の画像を表す前記第１画像データを生成し、
   前記第２画像生成部は、前記所定領域内の部分領域の画像を表す前記第２画像データを生成する
   請求項１に記載の撮像装置。
3. 前記部分領域を指定する領域指定部と、
   前記撮像データのフレーム内の前記所定領域から第１測定値を算出し、前記撮像データのフレーム内の前記部分領域から第２測定値を算出する測定部と、
   前記第１測定値に基づき前記第１センサパラメータを生成し、前記第２測定値に基づき前記第２センサパラメータを生成するパラメータ生成部と、
   前記第１センサパラメータおよび前記第２センサパラメータを前記撮像部に設定する設定部と、
   をさらに備える請求項２に記載の撮像装置。
4. 前記領域指定部は、前記撮像部の画角内における何れかの方向を示す方向情報を受け取り、前記方向情報に位置の前記部分領域を指定する
   請求項３に記載の撮像装置。
5. 前記測定部は、前記撮像データのフレーム内の前記所定領域の光量を表す前記第１測定値を算出し、前記撮像データにおける前記部分領域の光量を表す前記第２測定値を算出し、
   前記パラメータ生成部は、前記第１測定値に基づく露光時間を含む前記第１センサパラメータを生成し、前記第２測定値に基づく露光時間を含む前記第２センサパラメータを生成する
   請求項３または４に記載の撮像装置。
6. 前記撮像部により生成された前記撮像データに対して現像処理を実行し、予め定められた形式の中間画像データを生成する現像処理部をさらに備え、
   前記第１画像生成部は、前記中間画像データのフレーム内の前記所定領域を抽出して前記第１画像データを生成し、
   前記第２画像生成部は、前記中間画像データのフレーム内の前記部分領域の画像を抽出して前記第２画像データを生成する
   請求項３から５の何れか１項に記載の撮像装置。
7. 前記設定部は、第１現像パラメータおよび第２現像パラメータを前記現像処理部に設定し、
   前記現像処理部は、前記第１タイミングにおいて撮像された前記撮像データに対して前記第１現像パラメータに基づき現像処理を実行し、前記第２タイミングにおいて撮像された前記撮像データに対して前記第２現像パラメータに基づき現像処理を実行する
   請求項６に記載の撮像装置。
8. 前記測定部は、前記撮像データのフレーム内の前記所定領域の色毎の光量差を表す前記第１測定値を算出し、前記撮像データにおける前記部分領域の色毎の光量差を表す前記第２測定値を算出し、
   前記パラメータ生成部は、前記第１測定値に基づく色毎のゲインを含む前記第１現像パラメータを生成し、前記第２測定値に基づく色毎のゲインを含む前記第２現像パラメータを生成する
   請求項７に記載の撮像装置。
9. 前記測定部は、前記第１タイミングに撮像された前記撮像データに基づき前記第１測定値を算出し、前記第２タイミングに撮像された前記撮像データに基づき前記第２測定値を算出する
   請求項３から８の何れか１項に記載の撮像装置。
10. 前記撮像部は、フレームタイミング毎に、前記第１センサパラメータにより前記被写体を撮像する前記第１タイミングと、前記第２センサパラメータにより前記被写体を撮像する前記第２タイミングとを切り替える
    請求項９に記載の撮像装置。
11. 撮像装置において実行される撮像方法であって、
    撮像部が、第１タイミングにおいて第１センサパラメータにより被写体を撮像して撮像データを生成し、第２タイミングにおいて第２センサパラメータにより前記被写体を撮像して前記撮像データを生成し、
    第１画像生成部が、前記第１タイミングにおいて撮像された前記撮像データに基づく第１画像データを生成し、
    第２画像生成部が、前記第２タイミングにおいて撮像された前記撮像データに基づく第２画像データを生成し、
    合成部が、前記第１画像データと前記第２画像データとを１つのフレームに合成した合成画像データを生成する
    撮像方法。
12. 周囲の音を集音して第１音声データを生成する集音部と、
    周囲の被写体を撮像して第１映像データを生成する撮像装置と、
    前記第１映像データおよび前記第１音声データを他の装置にネットワークを介して送信し、前記他の装置から第２映像データおよび第２音声データを受信する通信部と、
    前記第２音声データに応じた音声をスピーカから出力させる音声出力部と、
    前記第２映像データを表示装置に表示させる表示制御部と、
    を備え、
    前記撮像装置は、
    第１タイミングにおいて第１センサパラメータにより被写体を撮像して撮像データを生成し、第２タイミングにおいて第２センサパラメータにより前記被写体を撮像して前記撮像データを生成する撮像部と、
    前記第１タイミングにおいて撮像された前記撮像データに基づく第１画像データを生成する第１画像生成部と、
    前記第２タイミングにおいて撮像された前記撮像データに基づく第２画像データを生成する第２画像生成部と、
    前記第１画像データと前記第２画像データとを１つのフレームに合成した合成画像データを生成する合成部と、
    を有する会議端末装置。

Images