JP2017169111A - 撮像制御装置、および撮像制御方法、ならびに撮像装置 - Google Patents

Abstract

【課題】複数の撮像デバイスで同一被写体を略同一の露光タイミングで撮像できるようにする。
【解決手段】本開示の撮像制御装置は、ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、撮像条件に基づいて同期させる撮像制御部を備える。
【選択図】図１８

Description

本開示は、複数の撮像デバイスの制御に関する撮像制御装置、および撮像制御方法、ならびに撮像装置に関する。

従来から、２つの撮像装置を用いて、高視野かつ高解像度の画像を撮像する撮像システムが提案されている（例えば、特許文献１参照）。

特開２００３−１３４３７５号公報

複数の撮像デバイスを用いた撮像を行う場合、各撮像デバイス間で露光タイミングが適切に制御されていることが望ましい。

複数の撮像デバイスで同一被写体を略同一の露光タイミングで撮像することができるようにした撮像制御装置、および撮像制御方法、ならびに撮像装置を提供することが望ましい。

本開示の一実施の形態に係る撮像制御装置は、ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、撮像条件に基づいて同期させる撮像制御部を備えたものである。

本開示の一実施の形態に係る撮像制御方法は、ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、撮像条件に基づいて同期制御するようにしたものである。

本開示の一実施の形態に係る撮像装置は、ローリングシャッタ方式により露光を行う第１の撮像デバイスと、第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスと、第１の撮像デバイスの露光タイミングと第２の撮像デバイスの露光タイミングとを、撮像条件に基づいて同期させる撮像制御部とを備えたものである。

本開示の一実施の形態に係る撮像制御装置、撮像制御方法、または撮像装置では、ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとが、撮像条件に基づいて適切に同期制御される。

本開示の一実施の形態に係る撮像制御装置、撮像制御方法、または撮像装置によれば、第１の撮像デバイスの露光タイミングと第２の撮像デバイスの露光タイミングとを撮像条件に基づいて適切に同期制御するようにしたので、複数の撮像デバイスで同一被写体を略同一の露光タイミングで撮像することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の第１の実施の形態に係る撮像装置の第１の概略構成を示す構成図である。 第１の実施の形態に係る撮像装置の第２の概略構成を示す構成図である。 第１の実施の形態に係る撮像装置の機能ブロックの一例を表すブロック図である。 撮像素子の画素配列の一例を表す説明図である。 図３の合成処理部の信号処理の概念の一例を表す説明図である。 図３の合成処理部の機能ブロックの一例を表すブロック図である。 図６の合成処理部における信号処理手順の一例を表す流れ図である。 画素補間の一例を表す説明図である。 中心画素がＧ画素のときの補間フィルタの一例を表す説明図である。 中心画素がＲ画素またはＢ画素のときの補間フィルタの一例を表す説明図である。 図６の相関処理部における相関処理の一例を表す説明図である。 図６の相関処理部における相関処理の一例を表す説明図である。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに同一画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示す説明図である。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに同一画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示すタイミング図である。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに異なる画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示す説明図である。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに異なる画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示すタイミング図である。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに異なる画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示す説明図である。 画角の違いに基づいて図１６の露光タイミングを最適化した例を示すタイミングである。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに同一画角、かつ異なる解像度（画素数）で撮像する場合の露光タイミングの一例を示す図である。 第１および第２の撮像デバイスにおいてローリングシャッタ方式によって互いに同一画角、かつ異なる解像度（画素数）で撮像する場合の露光タイミングの一例を示すタイミング図である。 解像度（画素数）の違いに基づいて図２０の露光タイミングを最適化した例を示すタイミング図である。 露光タイミングの同期制御を行うための制御部の第１の構成例を示すブロック図である。 露光タイミングの同期制御を行うための制御部の第２の構成例を示すブロック図である。 露光タイミングの同期制御を行うための制御部の第３の構成例を示すブロック図である。 露光タイミングの同期制御を行うための制御部の第４の構成例を示すブロック図である。 第１および第２の撮像デバイスの少なくとも一方がズーミングを行う場合の露光タイミングの同期制御の一例を示す流れ図である。 第１および第２の撮像デバイスが双方とも固定焦点で撮像を行う場合の露光タイミングの同期制御の一例を示す流れ図である。 第１の実施の形態の変形例に係る撮像装置の概略構成を示す構成図である。 第２の実施の形態に係る撮像装置概略構成を示す構成図である。 図２９の撮像装置の機能ブロックの一例を表すブロック図である。 図３０の合成処理部の機能ブロックの一例を表すブロック図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（２つの撮像デバイスによって互いに画角の異なる２つの画像データを生成し、合成する撮像装置）
１．１ 撮像装置の概要（図１〜図５）
１．２ 合成処理部の詳細説明（図５〜図１２）
１．３ ２つの撮像デバイス間の同期制御の説明（図１３〜図２７）
１．４ 効果
１．５ 第１の実施の形態の変形例（図２８）
２．第２の実施の形態（３つの撮像デバイスによって互いに画角の異なる３つの画像データを生成し、合成する撮像装置）（図２９〜図３１）
３．その他の実施の形態

＜１．第１の実施の形態＞
［１．１ 撮像装置の概要］
図１および図２は、本開示の第１の実施の形態に係る撮像装置１の概略構成の一例を示している。

本実施の形態に係る撮像装置１は、第１の撮像デバイス１０と第２の撮像デバイス２０との２つの撮像デバイスを用いて、画角の広い、高解像度の画像を得ることを可能にするものである。

第１の撮像デバイス１０と第２の撮像デバイス２０は、例えば、物理的な配置が互いに水平となるように配置されている。第１の撮像デバイス１０の光軸ＡＸ１と第２の撮像デバイス２０の光軸ＡＸ２とは、例えば、図１に示したように、互いに平行となっていてもよい。または、例えば図２に示したように、光軸ＡＸ１と光軸ＡＸ２とが互いに非平行となっていてもよい。光軸ＡＸ１と光軸ＡＸ２とが互いに非平行である場合、撮像装置１から離れるにつれて光軸ＡＸ１と光軸ＡＸ２との間隙が狭まる方向を向いていることが好ましい。

第１の撮像デバイス１０と第２の撮像デバイス２０は、同一の被写体を、撮像領域が互いに異なるようにして撮像することが可能となっている。例えば、図１および図２に示したように、第２の撮像デバイス２０は、第１の撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域を撮像領域Ｒ２とすることが可能となっている。これにより、第１および第２の撮像デバイス１０，２０は、画像データ（撮像データ）として、各々で画角の互いに異なる第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を生成することが可能となっている。撮像デバイス１０は、例えば、相対的に画角の広い第１のＲＡＷデータＩｒａｗ１を撮像により生成する。撮像デバイス２０は、例えば、第１のＲＡＷデータＩｒａｗ１よりも画角の狭い第２のＲＡＷデータＩｒａｗ２を撮像により生成する。第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の具体例については、後に詳述する。

図３は、撮像装置１の機能ブロックの一例を表したものである。撮像装置１は、例えば、第１および第２の撮像デバイス１０，２０と、信号処理部３０と、制御部４０とを備えている。制御部４０は、第１および第２の撮像デバイス１０，２０と信号処理部３０とを制御する。

（第１の撮像デバイス１０）
第１の撮像デバイス１０は、例えば、第１の撮像素子１１および第１の光学レンズ１２を有している。第１の光学レンズ１２は、第１の被写体光Ｌ１を集光して、第１の撮像素子１１の光入射面に入射させる。第１の光学レンズ１２は、例えば、第１の撮像デバイス１０において固定されている。このとき、第１の撮像デバイス１０の焦点距離が一定値で固定されている。第１の撮像デバイス１０は、さらに、例えば、アイリスや可変光学ＬＰＦ（ローパスフィルタ）を、第１の撮像素子１１の光入射面側に有していてもよい。第１の撮像素子１１の構成については後述する。

（第２の撮像デバイス２０）
第２の撮像デバイス２０は、例えば、第２の撮像素子２１および第２の光学レンズ２２を有している。第２の光学レンズ２２は、第２の被写体光Ｌ２を集光して、第２の撮像素子２１の光入射面に入射させる。第２の光学レンズ２２は、例えば、第２の撮像デバイス２０において固定されている。このとき、第２の撮像デバイス２０の焦点距離が一定値で固定されている。第２の撮像デバイス２０は、さらに、例えば、アイリスや可変光学ＬＰＦを、第２の撮像素子２１の光入射面側に有していてもよい。

第１の撮像デバイス１０と第２の撮像デバイス２０は、例えば第１の光学レンズ１２と第２の光学レンズ２２とによって、光学的に各々の画角を異ならせることが可能となっている。例えば、後述する図２２等に示すように、第１の光学レンズ１２と第２の光学レンズ２２とを双方ともズームレンズとすることによって、光学的に各々の画角を異ならせることが可能となっている。または、後述する図２４に示すように、第１の光学レンズ１２と第２の光学レンズ２２とのいずれか一方をズームレンズとし、他方を単焦点レンズとすることによって、光学的に各々の画角を異ならせることを可能にしてもよい。または、後述する図２５に示すように、第１の光学レンズ１２と第２の光学レンズ２２とを画角が互いに異なる単焦点レンズ（固定焦点レンズ）で構成してもよい。

（第１および第２の撮像素子１１，２１）
次に、第１および第２の撮像素子１１，２１について説明する。第１および第２の撮像素子１１，２１は、例えば、複数の光電変換素子が所定の間隔で２次元配置された受光部と、受光部の光入射面に配置されたカラーフィルタアレイとを有している。第１および第２の撮像素子１１，２１は、例えば単板式の固体撮像素子であり、例えば、単板式のＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサによって構成されている。第１および第２の撮像素子１１，２１において、カラーフィルタアレイは、例えば、図４に示したように、Ｒ（赤），Ｇ（緑），Ｂ（青）の３つの色の配列からなるベイヤ配列となっている。なお、カラーフィルタアレイは、例えば、Ｒ，Ｇ，ＢにＷ（白）を加えたＲＧＢＷ配列となっていてもよい。または、Ｙ（イエロー）、Ｃ（シアン）、Ｍ（マゼンタ）等の配列となっていてもよい。なお、以下では、カラーフィルタアレイが、ＲＧＢ配列からなるベイヤ配列となっている場合を例にして説明する。

第１および第２の撮像素子１１，２１は、例えば、第１および第２の光学レンズ１２，２２等を経由して入射してきた第１および第２の被写体光Ｌ１，Ｌ２を、受光部およびカラーフィルタアレイで離散的にサンプリングすることにより、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を生成する。

第１の撮像素子１１は、例えば、相対的に画角の広い第１のＲＡＷデータＩｒａｗ１を生成する。第１の撮像デバイス１０では、例えば、第１の光学レンズ１２の焦点距離を相対的に短くすることにより、画角が相対的に広い第１のＲＡＷデータＩｒａｗ１が得られる。

第２の撮像素子２１は、例えば、第１のＲＡＷデータＩｒａｗ１よりも画角の狭い第２のＲＡＷデータＩｒａｗ２を生成する。第２の撮像デバイス２０では、例えば、第２の光学レンズ２２の焦点距離を相対的に長くすることにより、画角が相対的に狭い第２のＲＡＷデータＩｒａｗ２が得られる。

第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２は、それぞれ、例えば、カラーフィルタアレイに含まれる複数種類の色情報のうちのいずれか１種類の色情報が画素ごとに設定されたモザイクデータである。例えば、カラーフィルタアレイが、ＲＧＢ配列からなるベイヤ配列となっている場合には、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２は、カラーフィルタアレイに含まれる赤色情報、緑色情報および青色情報のうちのいずれか１種類の色情報が画素ごとに設定されたモザイクデータとなっている。この場合、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２からカラー画像データＩｃｏｌを生成するためには、全ての画素について全ての色情報を、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２から生成するデモザイク処理が必要となる。本実施の形態では、デモザイク処理を行う前の第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２において合成が行われる。第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の合成については、後に詳述する。

（信号処理部３０）
次に、信号処理部３０について説明する。信号処理部３０は、例えば、図３に示したように、合成処理部３１およびカメラ信号処理部３２を有している。合成処理部３１は、第１および第２の撮像デバイス１０，２０によって生成された第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を互いに合成することにより、合成ＲＡＷデータＩｒａｗを生成する。カメラ信号処理部３２は、合成処理部３１で生成された合成ＲＡＷデータＩｒａｗに対してデモザイク処理を行うことにより、カラー画像データＩｃｏｌを生成する。カラー画像データＩｃｏｌは、例えば、カラーフィルタアレイに含まれる全ての種類の色情報を画素ごとに含んで構成されている。カラーフィルタアレイがＲＧＢのベイヤ配列となっている場合には、カラー画像データＩｃｏｌは、例えば、画素ごとにＲＧＢの色情報を含んで構成されている。

図５は、合成処理部３１における信号処理の概念の一例を表したものである。図５は、合成処理部３１における信号処理の分かりやすさが優先されている関係で、簡潔な説明となっている。そのため、図５では、上記の符号とは異なる符号が用いられている。

合成処理部３１は、第１の撮像デバイス１０からワイド画像データＩｗｉｄｅを取得し、第２の撮像デバイス２０からテレ画像データＩｔｅｌｅを取得する。テレ画像データＩｔｅｌｅは、ワイド画像データＩｗｉｄｅと比べて、画角が小さくなっている。テレ画像データＩｔｅｌｅは、ワイド画像データＩｗｉｄｅの外縁を除く所定の領域αと対応している。合成処理部３１は、第１および第２の撮像デバイス１０，２０の倍率と、ワイド画像データＩｗｉｄｅおよびテレ画像データＩｔｅｌｅの画像サイズとに基づいて、所定の領域αを設定する。

合成処理部３１は、ワイド画像データＩｗｉｄｅから、所定の領域αを切り出すことにより、画像データＩｗｉｄｅ’を生成する。合成処理部３１は、第１および第２の撮像デバイス１０，２０の倍率に基づいて、テレ画像データＩｔｅｌｅを縮小することにより、画像データＩｔｅｌｅ’を生成する。合成処理部３１は、画像データＩｗｉｄｅ’と画像データＩｔｅｌｅ’とを互いに合成することにより、合成画像データＩｆｕｓｉｏｎを生成する。ここで、第１の撮像デバイス１０の倍率が１倍となっており、第２の撮像デバイス２０の倍率が２倍となっているとする。このとき、合成処理部３１は、例えば、ユーザによって指定された倍率が１倍のときには、ワイド画像データＩｗｉｄｅを、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が２倍以上のときには、テレ画像データＩｔｅｌｅをユーザによって指定された倍率に拡大したものを、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が１倍〜２倍のときには、ワイド画像データＩｗｉｄｅにおいて、所定の領域αを合成画像データＩｆｕｓｉｏｎに置き換えた合成画像データＩｍｅｒｇｅを、合成ＲＡＷデータＩｒａｗとして出力する。

なお、実際には、画像データＩｗｉｄｅ’と画像データＩｔｅｌｅ’とには、視差に起因する位置ずれや、第１および第２の撮像デバイス１０，２０間の感度違いおよび露光違いがある場合がある。また、合成画像データＩｆｕｓｉｏｎには、第１および第２の撮像デバイス１０，２０のナイキスト周波数を超える高周波成分が含まれている場合もある。そもそも、画像データＩｗｉｄｅ’や画像データＩｔｅｌｅ’はモザイクデータであるので、画像データＩｗｉｄｅ’と画像データＩｔｅｌｅ’とを互いに精度よく合成するためには、画像データＩｗｉｄｅ’や画像データＩｔｅｌｅ’に対して画素補間を行うことが好ましい。従って、合成処理部３１は、画像データＩｗｉｄｅ’や画像データＩｔｅｌｅ’に対して、以下に示したような各種の信号処理を行うことが好ましい。

［１．２ 合成処理部の詳細説明］
図６は、合成処理部３１の機能ブロックの一例を表したものである。図７は、合成処理部３１における信号処理手順の一例を表したものである。

合成処理部３１は、位置合わせ部１３０および合成部１４０を有している。位置合わせ部１３０は、第１および第２の撮像デバイス１０，２０によって生成された第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に基づいて、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の位置合わせデータを生成する。合成部１４０は、位置合わせ部１３０によって生成された位置合わせデータに基づいて第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２を互いに合成する。

位置合わせ部１３０は、例えば、切出部１３１、ゲイン補正部１３２、画素補正部１３３，１３４、縮小部１３５および視差算出部１３６を有している。

切出部１３１は、第１のＲＡＷデータＩｒａｗ１において、第２のＲＡＷデータＩｒａｗ２との合成を行うフュージョン領域β（図５の領域αに相当）を指定する。具体的には、切出部１３１は、第１および第２の撮像デバイス１０，２０の倍率と、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の画像サイズとに基づいて、フュージョン領域βを指定する。切出部１３１は、例えば、第１および第２の撮像デバイス１０，２０の倍率と、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の画像サイズとに基づいて、第１のＲＡＷデータＩｒａｗ１における、フュージョン領域βの座標を指定する。切出部１３１は、例えば、指定した座標に基づいて、フュージョン領域βに対応するＲＡＷデータＩｒａｗ１ａを、第１のＲＡＷデータＩｒａｗ１から切り出す（ステップＳ１０１）。

なお、合成処理部３１は、ＲＡＷデータＩｒａｗ１ａおよび第２のＲＡＷデータＩｒａｗ２に対して、ＯＰＢ（Optical Black）減算を行ってもよい。ＯＰＢ減算とは、暗電流などに起因して生じるノイズ成分を除外することを指している。合成処理部３１は、例えば、ＲＡＷデータＩｒａｗ１ａおよび第２のＲＡＷデータＩｒａｗ２から、第１および第２の撮像デバイス１０，２０が遮光されているときに生じるノイズ成分を除外してもよい。このとき、ノイズ成分の除外により、ＲＡＷデータＩｒａｗ１ａおよび第２のＲＡＷデータＩｒａｗ２において値が負となる画素がある場合には、合成処理部３１は、その画素の座標を記憶しておく。

ゲイン補正部１３２は、ＲＡＷデータＩｒａｗ１ａおよび第２のＲＡＷデータＩｒａｗ２における色情報ごとのゲイン比（例えば、ＲＧＢゲイン比）を算出する。ゲイン補正部１３２は、例えば、ＲＡＷデータＩｒａｗ１ａ内の平均値を色情報ごとに算出するとともに、第２のＲＡＷデータＩｒａｗ２内の平均値を色情報ごとに算出する。ゲイン補正部１３２は、例えば、ＲＡＷデータＩｒａｗ１ａ，Ｉｒａｗ２における、色情報ごとの平均値の比から、補正ゲインを色情報ごとに算出する。ゲイン補正部１３２は、算出した補正ゲインに基づいて、第２のＲＡＷデータＩｒａｗ２を補正し（ステップＳ１０２）、これにより、ＲＡＷデータＩｒａｗ２ａを生成する。

画素補正部１３３は、ＲＡＷデータＩｒａｗ１ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ１ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ１ｂを生成する（ステップＳ１０３）。画素補正部１３４は、ＲＡＷデータＩｒａｗ２ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ２ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ２ｂを生成する。

画素補正部１３３は、例えば、図８に示したように、ＲＧＢ配列からなるベイヤ配列を有するＲＡＷデータＩｒａｗ１ａから、緑色情報からなる補間ＲＡＷデータＩｒａｗ１ｂを生成する。画素補正部１３３は、さらに、例えば、図８に示したように、ＲＧＢ配列からなるベイヤ配列を有するＲＡＷデータＩｒａｗ２ａから、緑色情報からなる補間ＲＡＷデータＩｒａｗ２ｂを生成する。このとき、中心画素（補間対象の画素）がＧ画素のときには、画素補正部１３３は、例えば、図９に示したような補間フィルタＦを用いて、中心画素の緑色情報を補正する。また、中心画素（補間対象の画素）がＲ画素またはＢ画素のときには、画素補正部１３３は、中心画素の色情報を、例えば、図１０に示したような補間フィルタＦを用いて生成した緑色情報に置き換える。

縮小部１３５は、第１および第２の撮像デバイス１０，２０の倍率に基づいて、補間ＲＡＷデータＩｒａｗ２ｂを縮小する（ステップＳ１０４）。視差算出部１３６は、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃに基づいて、位置合わせデータとしての視差情報Ｄｉｓｐを算出する（ステップＳ１０５）。視差情報Ｄｉｓｐは、第１の撮像デバイス１０と第２の撮像デバイス２０との位置が互いに一致していないことから生じる画像上の位置ずれ量に相当するものである。視差算出部１３６は、例えば、２つの画像間での動きベクトル推定法などを用いて、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃから視差情報Ｄｉｓｐを生成する。

合成部１４０は、例えば、フュージョン部１４１、ＬＰＦ（ローパスフィルタ）部１４２、相関処理部１４３、マージ部１４４および選択部１４５を有している。

フュージョン部１４１は、２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する（ステップＳ１０６）。具体的には、フュージョン部１４１は、視差情報Ｄｉｓｐに基づいて２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する。

ＬＰＦ部１４２は、合成ＲＡＷデータＩｒａｗ３ａに含まれる、第１および第２の撮像デバイス１０，２０のそれぞれのナイキスト周波数を超える高周波成分を減衰させることにより、合成ＲＡＷデータＩｒａｗ３ｂを生成する（ステップＳ１０７）。これにより、偽色の発生が抑制される。

相関処理部１４３は、合成ＲＡＷデータＩｒａｗ３ａまたは合成ＲＡＷデータＩｒａｗ３ａに所定の処理を行った合成ＲＡＷデータＩｒａｗ３ｂに対して、相関処理を行う（ステップＳ１０８）。相関処理部１４３は、例えば、図１１に示したように、合成ＲＡＷデータＩｒａｗ３ａまたは合成ＲＡＷデータＩｒａｗ３ｂに対して、第１のＲＡＷデータＩｒａｗ１と補間ＲＡＷデータＩｒａｗ１ｂとの差分である色差成分（Ｉｒａｗ１−Ｉｒａｗ１ｂ）を付加する。相関処理には色比を用いることも可能である。相関処理部１４３は、例えば、図１２に示したように、合成ＲＡＷデータＩｒａｗ３ａまたは合成ＲＡＷデータＩｒａｗ３ｂに対して、第１のＲＡＷデータＩｒａｗ１と補間ＲＡＷデータＩｒａｗ１ｂとの比である色比成分（Ｉｒａｗ１／Ｉｒａｗ１ｂ）を乗じてもよい。これにより、相関処理部１４３は、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２の配列に対応する配列のＲＡＷデータＩｒａｗ３ｃを生成する。

マージ部１４４は、第１のＲＡＷデータＩｒａｗ１と、ＲＡＷデータＩｒａｗ３ｃとを互いに合成することにより、デモザイク処理用のＲＡＷデータＩｒａｗ３ｄを生成する（ステップＳ１０９）。このとき、マージ部１４４は、例えば、ＲＡＷデータＩｒａｗ３ｃの周縁に、色情報ゼロの額縁状の領域を設けることにより、ＲＡＷデータＩｒａｗ３ｃの画像サイズを、第１のＲＡＷデータＩｒａｗ１の画像サイズに揃える。続いて、マージ部１４４は、例えば、第１のＲＡＷデータＩｒａｗ１のうちのフュージョン領域αの色情報をゼロにする。さらに、マージ部１４４は、例えば、第１のＲＡＷデータＩｒａｗ１に、第１のＲＡＷデータＩｒａｗ１の画像サイズに揃えたＲＡＷデータＩｒａｗ３ｃを足し合わせる。つまり、マージ部１４４は、例えば、第１のＲＡＷデータＩｒａｗ１のうちのフュージョン領域αを、ＲＡＷデータＩｒａｗ３ｃに置き換える。

なお、合成処理部３１がＯＰＢ減算を行った場合には、マージ部１４４は、合成処理を行う前に、ＯＰＢ減算によって除外したノイズ成分を、符号も考慮した上で、ＲＡＷデータＩｒａｗ３ｃに加算してもよい。

選択部１４５は、ユーザによって指定される倍率に応じて、出力する合成ＲＡＷデータＩｒａｗを選択する。第１の撮像デバイス１０の倍率が１倍となっており、第２の撮像デバイス２０の倍率が２倍となっているとする。このとき、選択部１４５は、例えば、ユーザによって指定された倍率が１倍のときには、第１のＲＡＷデータＩｒａｗ１を、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が２倍以上のときには、第２のＲＡＷデータＩｒａｗ２をユーザによって指定された倍率に拡大したものを、合成ＲＡＷデータＩｒａｗとして出力する。合成処理部３１は、例えば、ユーザによって指定された倍率が１倍〜２倍のときには、ＲＡＷデータＩｒａｗ３ｄを、合成ＲＡＷデータＩｒａｗとして出力する。

（撮像装置１における合成処理の効果）
本実施の形態に係る撮像装置１では、第１の撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域が第２の撮像デバイス２０の撮像領域Ｒ２となっている。さらに、撮像装置１では、相対的に画角の広い第１のＲＡＷデータＩｒａｗ１と、第１のＲＡＷデータＩｒａｗ１よりも画角の狭い第２のＲＡＷデータＩｒａｗ２とが、第１および第２の撮像デバイス１０，２０によって生成される。これにより、合成ＲＡＷデータＩｒａｗのうち外縁を除く所定の領域（フュージョン領域β）と、第２のＲＡＷデータＩｒａｗ２とが互いに合成される。言い換えると、枠状の第１のＲＡＷデータＩｒａｗ１に、第２のＲＡＷデータＩｒａｗ２が嵌め込まれる。その結果、第１および第２の撮像デバイス１０，２０を用いて、画角の広い、高解像度の画像を得ることができる。また、第１および第２の撮像デバイス１０，２０における第１および第２の光学レンズ１２，２２の双方を固定焦点レンズで構成したとしても、機械的なズーム機構を用いずに光学ズームを実現できる。

また、撮像装置１では、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に含まれる所定種類の色情報に基づいて、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に含まれる全ての画素の補間が行われる。これにより、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に対してデモザイク処理を行った上で合成処理を行うときと同程度の精度で、合成処理を行うことができる。

また、撮像装置１では、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２から生成した２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｂに基づいて、位置合わせデータとしての視差情報Ｄｉｓｐが生成される。これにより、視差情報Ｄｉｓｐを用いることにより、補間ＲＡＷデータＩｒａｗ１ｂと補間ＲＡＷデータＩｒａｗ２ｃとの合成精度を高くすることができる。

また、撮像装置１では、合成ＲＡＷデータＩｒａｗ３ａに含まれる、第１および第２の撮像デバイス１０，２０の各々のナイキスト周波数を超える高周波成分がＬＰＦ部１４２によって減衰される。これにより、ＲＡＷデータＩｒａｗａ１と、ＲＡＷデータＩｒａｗ３ｃとを互いに合成したときに、偽色の発生を抑えることができる。

また、撮像装置１では、合成ＲＡＷデータＩｒａｗ３ｃまたは合成ＲＡＷデータＩｒａｗ３ａに所定の処理を行ったもの（合成ＲＡＷデータＩｒａｗ３ｂ）に対して、色差成分（Ｉｒａｗ１−Ｉｒａｗ１ｂ）が付加される。このように、撮像装置１では、色情報を少なくして合成処理が行われた後に、合成ＲＡＷデータＩｒａｗ３ｃまたは合成ＲＡＷデータＩｒａｗ３ｂに対して、失われた色情報が戻される。従って、撮像装置１では、合成処理に要する処理コストや消費電力を低減しつつ、合成精度を高くすることができる。

また、撮像装置１では、第１のＲＡＷデータＩｒａｗ１と、ＲＡＷデータＩｒａｗ３ｃとを互いに合成することにより生成したＲＡＷデータＩｒａｗ３ｄに対してデモザイク処理が行われる。このように、撮像装置１では、ＲＡＷデータでの合成がなされた後にデモザイク処理が行われるので、デモザイク処理が行われた後に合成がなされる場合と比べて、処理コストや消費電力を低減することができる。

［１．３ ２つの撮像デバイス間の同期制御の説明］
上記した撮像装置１のように、第１および第２の撮像デバイス１０，２０を用いた撮像を行う場合、各撮像デバイス間で露光タイミングが適切に制御されていることが望ましい。一般に、ＣＭＯＳ等のイメージセンサを備える撮像デバイスにおける電子シャッタの方式としては、グローバルシャッタ方式とローリングシャッタ方式とが知られている。グローバルシャッタ方式では、全ての画素に同時に電子シャッタ動作を行う。このため、グローバルシャッタ方式では露光のタイミングが全画素で同じである。一方、ローリングシャッタ方式では、例えば１水平ラインずつ電子シャッタ動作を行う。このため、ローリングシャッタ方式では、露光のタイミングが例えば１水平ラインずつ、シフトした状態となる。このため、特に、第１および第２の撮像デバイス１０，２０においてローリングシャッタ方式により露光を行う場合、各撮像デバイス間で露光タイミングが適切に制御されていることが望ましい。

なお、以下では、適宜、図１ないし図３等に示した撮像装置１の構成に対応付けた説明を行うが、本開示による同期制御の技術は、図１ないし図３等に示した撮像装置１の構成以外にも適用可能である。例えば、本開示による同期制御の技術は、第１および第２の撮像デバイス１０，２０で生成された画像データを、上記した本実施の形態の画像合成処理技術以外の方法で合成する場合にも適用可能である。また、本開示による同期制御の技術は、単に２つの画像データを生成するのみで画像合成を行わない場合にも、適用可能である。また、以下では、２つの撮像デバイス間の同期制御を例にして説明するが、後述する第２の実施の形態のように、３つの撮像デバイスを用いる場合、または４つ以上の撮像デバイスを用いる場合にも本開示による同期制御の技術を適用することが可能である。

（同一画角、かつ同一解像度（画素数）で撮像する場合）
図１３および図１４は、第１および第２の撮像デバイス１０，２０においてローリングシャッタ方式によって互いに同一画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示している。図１３の左側には、第１の撮像デバイス１０の第１の撮像素子１１によって生成される画像データおよび露光タイミングを模式的に示す。図１３の右側には、第２の撮像デバイス２０の第２の撮像素子１２によって生成される画像データおよび露光タイミングを模式的に示す。図１４には、第１および第２の撮像デバイス１０，２０における撮像の同期信号ＸＶＳのタイミングと、第１の撮像素子１１および第２の撮像素子１２におけるそれぞれのシャッタタイミング（リセットタイミング）および画素データの読み出しタイミングとを示す。後述する図１７ないし図２１にも、同様のタイミングを示す。

図１３および図１４に示したように、第１および第２の撮像デバイス１０，２０において、同一の被写体を互いに同一画角で撮像する場合、撮像領域は互いに略同一である。この場合、撮像（露光）の開始位置は被写体における略同一の位置ｐ１である。このため、第１および第２の撮像素子１１，２１におけるそれぞれのシャッタタイミングおよび画素データの読み出しタイミングを同じにすれば、同一の被写体位置を互いに同じタイミングで撮像（露光）することができる。また、その場合、第２の撮像素子１２における読み出し期間および露光期間は、第１の撮像素子１１における読み出し期間Ｔｒ１および露光期間Ｔｅ１と同じになる。

（異なる画角で撮像する場合）
図１５および図１６は、第１および第２の撮像デバイス１０，２０においてローリングシャッタ方式によって互いに異なる画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示している。

図１５および図１６に示したように、第１および第２の撮像デバイス１０，２０において、同一の被写体を互いに異なる画角で撮像する場合、撮像領域は互いに異なる。図１５および図１６の例では、第１の撮像デバイス１０は相対的に画角の広いワイド画角で撮像を行い、第２の撮像デバイス２０は相対的に画角の狭いテレ画角で撮像を行っている。この場合、第２の撮像デバイス２０の撮像領域は、第１の撮像デバイス１０に比べて相対的に狭い。第１の撮像デバイス１０の撮像（露光）の開始位置が被写体における位置ｐ１であるとすると、第２の撮像デバイス２０の撮像（露光）の開始位置は被写体における位置ｐ１よりも内側の位置ｐ２となる。このため、第１および第２の撮像素子１１，２１におけるそれぞれのシャッタタイミングおよび画素データの読み出しタイミングを同じにし、また、読み出し期間Ｔｒ１および露光期間Ｔｅ１も第１および第２の撮像素子１１，２１で同じにすると、第１の撮像素子１１と第２の撮像素子２１とで、同一の被写体位置を異なるタイミングで撮像（露光）することになる。このように、同一の被写体位置を互いに異なるタイミングで撮像（露光）すると、例えば手ぶれがあった場合や、被写体に動きがある場合に、第１および第２の撮像デバイス１０，２０で撮像された互いの画像間で相関が取れなくなるおそれがある。

図１７および図１８は、第１および第２の撮像デバイス１０，２０においてローリングシャッタ方式によって互いに異なる画角、かつ同一解像度（画素数）で撮像する場合の露光タイミングの一例を示している。

図１８では、第１および第２の撮像デバイス１０，２０における画角の違いに基づいて図１６の露光タイミングを最適化した例を示している。第１および第２の撮像デバイス１０，２０において互いに異なる画角、かつ同一解像度（画素数）で撮像する場合、図１８に示したように、相対的に画角の狭い撮像を行う第２の撮像素子２１の露光開始タイミングを、相対的に画角の広い撮像を行う第１の撮像素子１１の露光開始タイミングに対して遅延させることが望ましい。また、画角の狭い撮像を行う第２の撮像素子２１における画素データの読み出し速度を、画角の広い撮像を行う第１の撮像素子１１における画素データの読み出し速度よりも高速にすることが望ましい。図１８の例では第１の撮像素子１１の読み出し開始タイミングは時間ｔ１である。第２の撮像素子２１の読み出し開始タイミングは時間ｔ１から、画角の違いに応じて遅延させた時間ｔ２となっている。また、第２の撮像素子２１の読み出し期間は、第１の撮像素子１１の読み出し期間Ｔｒ１に対し、画角の違いに応じて高速化された期間Ｔｒ２となっている。このようなタイミング制御を行うことにより、第１および第２の撮像デバイス１０，２０において、同一の被写体位置を互いに同じタイミングで撮像（露光）することができる。

なお、読み出し速度の高速化は、ビニング（binning）によって行ってもよい。ビニングとは、近傍にある複数の同色画素をアナログ的に加算する技術である。ビニングによって読み出し画素数を減らすことで、読み出し速度の高速化を図ることができる。

（異なる解像度（画素数）で撮像する場合）
図１９および図２０は、第１および第２の撮像デバイス１０，２０においてローリングシャッタ方式によって互いに同一画角、かつ異なる解像度（画素数）で撮像する場合の露光タイミングの一例を示している。

図１９および図２０に示したように、第１および第２の撮像デバイス１０，２０において、同一の被写体を互いに同一画角、かつ異なる解像度（画素数）で撮像する場合、撮像領域自体は互いに略同一である。この場合、第１および第２の撮像素子１１，２１におけるそれぞれの画素データの読み出し速度を同じにすると、画素数が異なるために、撮像領域が同じであるに関わらず、読み出し期間に違いが生じてしまう。図２０の例では、第１の撮像素子１１は相対的に画素数が多く高解像度で撮像を行い、第２の撮像素子２１は相対的に画素数が少なく低解像度で撮像を行っている。この場合、第２の撮像素子２１の読み出し期間は、第１の撮像素子１１の読み出し期間Ｔｒ１に対し、画素数の違いに応じて高速化された期間Ｔｒ２となる。このため、第１の撮像素子１１と第２の撮像素子２１とで、同一の被写体位置を異なるタイミングで撮像（露光）することになる。

図２１は、第１および第２の撮像デバイス１０，２０における解像度（画素数）の違いに基づいて図２０の露光タイミングを最適化した例を示している。第１および第２の撮像デバイス１０，２０において、同一の被写体を互いに同一画角、かつ異なる解像度（画素数）で撮像する場合、図２１に示したように、相対的に画素数の少ない第２の撮像素子２１における画素データの読み出し速度を、相対的に画素数の多い第１の撮像素子１１における画素データの読み出し速度よりも遅くすることが望ましい。逆にいうと、画素数の多い第１の撮像素子１１における画素データの読み出し速度を、画素数の少ない第２の撮像素子２１における画素データの読み出し速度よりも高速にすることが望ましい。このようなタイミング制御を行うことにより、第１および第２の撮像デバイス１０，２０において、同一の被写体位置を互いに同じタイミングで撮像（露光）することができる。

（露光タイミングの同期制御を行うための制御部の構成例）
図２２および図２３は、露光タイミングの同期制御を行うための制御部の第１および第２の構成例を示している。図２２および図２３は、第１の撮像デバイス１０の第１の光学レンズ１２と、第２の撮像デバイス２０の第２の光学レンズ２２とが、双方ともズームレンズを有する場合の構成例である。

図２２に示したように、制御部４０は、初期値格納部４１と、撮像制御部６０と、レンズ制御部７０とを有していてもよい。なお、図２３に示したように、初期値格納部４１、撮像制御部６０、およびレンズ制御部７０を、制御部４０の外に設けてもよい。

撮像制御部６０は、読み出し制御部６１と、シャッタ制御部６２とを含んでもよい。読み出し制御部６１は、第１および第２の撮像素子１１，２１におけるそれぞれの画素データの読み出しタイミングを制御する。シャッタ制御部６２は、第１および第２の撮像素子１１，２１におけるそれぞれのシャッタタイミングを制御する。

レンズ制御部７０は、フォーカス制御部７１と、ズーム制御部７２とを含んでもよい。フォーカス制御部７１は、第１および第２の光学レンズ１２，２２のフォーカシングの制御を行う。ズーム制御部７２は、第１および第２の光学レンズ１２，２２のズーミングの制御を行う。ズーム制御部７２は、第１および第２の光学レンズ１２，２２のズーム倍率の情報を、読み出し制御部６１とシャッタ制御部６２とに送信する。

初期値格納部４１は、第１の撮像デバイス１０および第２の撮像デバイス２０における初期の撮像条件の情報を格納する。初期の撮像条件は、例えば、画角、画素数、クロック速度、フレームレート、露光時間、および動作モード等の露光タイミングに影響を与えるパラメータを含んでいてもよい。

撮像制御部６０は、ローリングシャッタ方式により露光を行う第１の撮像デバイス１０の露光タイミングと、第１の撮像デバイス１０とは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイス２０の露光タイミングとを、撮像条件に基づいて同期させる。

ここで、撮像条件は、画角および画素数の少なくとも１つを含んでいてもよい。第２の撮像デバイス２０の撮像条件は、第１の撮像デバイス１０の撮像条件に対して画角および画素数の少なくとも一方が異なっていてもよい。

また、撮像条件は、ズームレンズのズーム倍率を含んでいてもよい。撮像制御部６０は、第１の撮像デバイス１０の露光タイミングと第２の撮像デバイス２０の露光タイミングとを、ズーム倍率に基づいて動的に同期させてもよい。

撮像制御部６０は、上述の図１８に示した例のように、第１の撮像デバイス１０および第２の撮像デバイス２０のうち、相対的に画角の狭い撮像を行う撮像デバイスの露光開始タイミングを、相対的に画角の広い撮像を行う撮像デバイスの露光開始タイミングに対して遅延させる制御を行ってもよい。この場合、撮像制御部６０は、画角の狭い撮像を行う撮像デバイスにおける画素データの読み出し速度を、画角の広い撮像を行う撮像デバイスにおける画素データの読み出し速度よりも高速化させる制御を行ってもよい。

また、撮像制御部６０は、上述の図２１に示した例のように、第１の撮像デバイス１０および第２の撮像デバイス２０のうち、相対的に画素数の多い撮像デバイスにおける画素データの読み出し速度を、相対的に画素数の少ない撮像デバイスにおける画素データの読み出し速度よりも高速にする制御を行ってもよい。

図２４は、露光タイミングの同期制御を行うための制御部の第３の構成例を示している。図２４の構成例は、図２２の構成例における第１の光学レンズ１２に代えて第１の光学レンズ１２Ａを備えている。第１の光学レンズ１２Ａは、ズームレンズに代えて固定焦点レンズを含んでいる。この構成例では、ズーム制御部７２は、第２の光学レンズ２２のズーミングの制御を行う。その他の構成は、図２２の構成例と略同様であってもよい。

図２５は、露光タイミングの同期制御を行うための制御部の第４の構成例を示している。図２５の構成例は、図２２の構成例における第１の光学レンズ１２に代えて第１の光学レンズ１２Ａを備えている。また、図２２の構成例における第２の光学レンズ２２に代えて第２の光学レンズ２２Ａを備えている。第１および第２の光学レンズ１２Ａ，２２Ａは、ズームレンズに代えて固定焦点レンズを含んでいる。

図２５の構成例では、レンズ制御部７０からズーム制御部７２を省いたレンズ制御部７０Ａを備えた構成にすることができる。この構成例では、撮像制御部６０は、第１の撮像デバイス１０の露光タイミングと第２の撮像デバイス２０の露光タイミングとを、初期値格納部４１に格納された初期の撮像条件に基づいて同期させる。その他の構成は、図２２の構成例と略同様であってもよい。

図２６は、第１および第２の撮像デバイスの少なくとも一方がズーミングを行う場合（図２２ないし図２４の構成例）における露光タイミングの同期制御の一例を示している。

撮像制御部６０は、電源がオンされると（ステップＳ２０１）、初期値格納部４１から初期パラメータを読み込む（ステップＳ２０２）。初期パラメータは、例えば、画素数、クロック速度、フレームレート、露光時間、および動作モード等の露光タイミングに影響を与える初期の撮像条件であってもよい。ズーム倍率によって画角は動的に変わるので、次に、撮像制御部６０は、ズーム制御部７２からズームレンズのズーム倍率の情報を読み込む（ステップＳ２０３）。これにより、ズーム倍率に応じた画角が決定される。次に、撮像制御部６０は、取得した画角等の撮像条件に基づいて、第１および第２の撮像素子１１，２１におけるそれぞれの画素データの読み出しタイミングを決定する（ステップＳ２０４）。次に、撮像制御部６０は、取得した画角等の撮像条件に基づいて、第１および第２の撮像素子１１，２１におけるそれぞれのシャッタタイミングを決定する（ステップＳ２０５）。次に、撮像制御部６０は、決定したシャッタタイミングおよび読み出しタイミングで、第１および第２の撮像素子１１，２１に撮像を開始させる（ステップＳ２０６）。

図２７は、第１および第２の撮像デバイスが双方とも固定焦点で撮像を行う場合（図２５の構成例）における露光タイミングの同期制御の一例を示している。

撮像制御部６０は、電源がオンされると（ステップＳ２０１）、初期値格納部４１から初期パラメータを読み込む（ステップＳ２０２Ａ）。初期パラメータは、例えば、画角、画素数、クロック速度、フレームレート、露光時間、および動作モード等の露光タイミングに影響を与える初期の撮像条件であってもよい。次に、撮像制御部６０は、取得した画角等の撮像条件に基づいて、第１および第２の撮像素子１１，２１におけるそれぞれの画素データの読み出しタイミングを決定する（ステップＳ２０４）。次に、撮像制御部６０は、取得した画角等の撮像条件に基づいて、第１および第２の撮像素子１１，２１におけるそれぞれのシャッタタイミングを決定する（ステップＳ２０５）。次に、撮像制御部６０は、決定したシャッタタイミングおよび読み出しタイミングで、第１および第２の撮像素子１１，２１に撮像を開始させる（ステップＳ２０６）。

［１．４ 効果］
以上のように、本実施の形態によれば、第１の撮像デバイス１０の露光タイミングと第２の撮像デバイス２０の露光タイミングとを撮像条件に基づいて適切に同期制御するようにしたので、複数の撮像デバイスで同一被写体を略同一の露光タイミングで撮像することができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。

［１．５ 第１の実施の形態の変形例］
図２８は、第１の実施の形態の変形例に係る撮像装置２００の概略構成を示している。

上記した撮像装置１では、合成処理部３１の後段にカメラ信号処理部３２を設けた構成となっているが、図２８に示した撮像装置２００のように、第１および第２のカメラ信号処理部２３０，２４０の後段に合成処理部２５０を設けた構成であってもよい。

撮像装置２００は、第１の撮像デバイス１０で得られた第１のＲＡＷデータＩｒａｗ１をカラー画像Ｉｃｏｌ１に変換するカメラ信号処理部２３０と、第２の撮像デバイス２０で得られた第２のＲＡＷデータＩｒａｗ２をカラー画像Ｉｃｏｌ２に変換するカメラ信号処理部２４０とを備えている。撮像装置２００は、さらに、第１および第２のカメラ信号処理部２３０，２４０で得られたカラー画像Ｉｃｏｌ１，Ｉｃｏｌ２を互いに合成することにより、カラー画像Ｉｃｏｌ３を生成する合成処理部２５０を備えている。このように、撮像装置２００では、カラー画像化（デモザイク処理）が第１および第２の撮像デバイス１０，２０ごとに行われるとともに、カラー画像化（デモザイク処理）がなされた後に、画像合成がなされる。

なお、上記した撮像装置１では、画角の互いに異なる第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に基づいて生成された位置合わせデータに基づいて、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２が互いに合成される。つまり、上記した撮像装置１では、デモザイク処理が行われる前のＲＡＷデータの段階で合成が行われるので、デモザイク処理の回数を１回に減らすことができる。さらに、上記した撮像装置１では、合成対象である第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２は、本変形例の撮像装置２００の合成対象であるカラー画像データＩｃｏｌ１，Ｉｃｏｌ２と比べて、画素ごとの色情報が少ないので、合成のために必要な演算量を抑えることができる。従って、上記した撮像装置１では、本変形例の撮像装置２００に比べて、デモザイク処理および合成処理に要する処理コストや消費電力を低減することができる。

また、上記した撮像装置１では、合成処理部３１からはＲＡＷデータＩｒａｗが出力される。これにより、合成処理部３１の後段であるカメラ信号処理部３２には、通常のカメラ信号処理部等を、改変を加えずにそのまま用いることもできる。つまり、上記した撮像装置１では、カメラ信号処理部３２に対して、単一の撮像デバイスのＲＡＷ出力に対する、デモザイク処理以降の処理構成に一切の変更を行っていないものを適用することができる。従って、上記した撮像装置１では、単一の撮像デバイスを使ったときと同様の簡便さで、デモザイク処理および合成処理に要する処理コストや消費電力を低減することができる。

＜２．第２の実施の形態＞
次に、本開示の第２の実施の形態について説明する。以下では、上記第１の実施の形態と略同様の構成および作用を有する部分については、適宜説明を省略する。

上記第１の実施の形態では、撮像装置１は第１および第２の撮像デバイス１０，２０を備えていたが、３つ以上の撮像デバイスを備えていてもよい。例えば、図２９および図３０に示したように、撮像装置１は第１および第２の撮像デバイス１０，２０と第３の撮像デバイス５０との３つの撮像デバイスを備えていてもよい。第１、第２および第３の撮像デバイス１０，２０，５０は、例えば、物理的な配置が互いに水平となるように配置されている。第１の撮像デバイス１０の光軸ＡＸ１と、第２の撮像デバイス２０の光軸ＡＸ２と、第３の撮像デバイス５０の光軸ＡＸ３とは、例えば、図２９示したように、互いに非平行となっている。このとき、光軸ＡＸ１，ＡＸ２，ＡＸ３は、撮像装置１から離れるにつれて光軸ＡＸ１，ＡＸ２，ＡＸ３のそれぞれの間隙が互いに狭まる方向を向いていることが好ましい。光軸ＡＸ１，ＡＸ２，ＡＸ３は、互いに平行となっていてもよい。

本実施の形態では、位置合わせ部１３０は、第１、第２および第３の撮像デバイス１０，２０，５０の各々によって生成された３つ以上のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４に基づいて、３つ以上のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４の位置合わせデータを生成する。合成部１４０は、位置合わせ部１３０によって生成された位置合わせデータに基づいて３つ以上のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４を互いに合成する。

本実施の形態では、第２の撮像デバイス２０は、第１の撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域を撮像領域Ｒ２としている。第３の撮像デバイス５０は、第３の撮像素子５１および第３の光学レンズ５２を有しており、第２の撮像デバイス２０の撮像領域Ｒ２のうち外縁を除く領域を撮像領域Ｒ３としている。第３の光学レンズ５２は、第３の被写体光Ｌ３を集光して、第３の撮像素子５１の光入射面に入射させる。第１、第２および第３の撮像デバイス１０，２０，５０は、各々で画角の互いに異なる第１、第２および第３のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４を生成する。第１の撮像デバイス１０は、最も画角の広い第１のＲＡＷデータＩｒａｗ１を撮像により生成する。第２の撮像デバイス２０は、第１のＲＡＷデータＩｒａｗ１よりも画角の狭い第２のＲＡＷデータＩｒａｗ２を撮像により生成する。第３の撮像デバイス５０は、第２のＲＡＷデータＩｒａｗ２よりも画角の狭い第３のＲＡＷデータＩｒａｗ４を撮像により生成する。

本実施の形態では、合成処理部３１は、第１のＲＡＷデータＩｒａｗ１のうち外縁を除く所定の領域と、ＲＡＷデータＩｒａｗａ２との合成と、ＲＡＷデータＩｒａｗａ２のうち外縁を除く所定の領域と、第３のＲＡＷデータＩｒａｗ４との合成とを行う。

図３１は、本実施の形態における合成処理部３１の機能ブロックの一例を表したものである。本実施の形態では、位置合わせ部１３０は、第３のＲＡＷデータＩｒａｗ４用の信号処理ブロックを有しており、例えば、ゲイン補正部１３７、画素補正部１３８および縮小部１３９を有している。

ゲイン補正部１３７は、第２および第３のＲＡＷデータＩｒａｗ２，Ｉｒａｗ４における色情報ごとのゲイン比（例えば、ＲＧＢゲイン比）を算出する。ゲイン補正部１３７は、例えば、第２のＲＡＷデータＩｒａｗ２内の平均値を色情報ごとに算出するとともに、第３のＲＡＷデータＩｒａｗ４内の平均値を色情報ごとに算出する。ゲイン補正部１３７は、例えば、第２および第３のＲＡＷデータＩｒａｗ２，Ｉｒａｗ４における、色情報ごとの平均値の比から、補正ゲインを色情報ごとに算出する。ゲイン補正部１３７は、算出した補正ゲインに基づいて、第３のＲＡＷデータＩｒａｗ４を補正し、これにより、ＲＡＷデータＩｒａｗ４ａを生成する。

画素補正部１３８は、ＲＡＷデータＩｒａｗ４ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ４ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ４ｂを生成する。画素補正部１３８は、ＲＡＷデータＩｒａｗ４ａに含まれる所定種類の色情報（例えば、緑色情報）に基づいて、ＲＡＷデータＩｒａｗ４ａに含まれる全ての画素の補間を行うことにより、位置合わせデータとして、所定種類の色情報（例えば、緑色情報）からなる補間ＲＡＷデータＩｒａｗ４ｂを生成する。

画素補正部１３８は、例えば、図８に示したように、ＲＧＢ配列からなるベイヤ配列を有するＲＡＷデータＩｒａｗ４ａから、緑色情報からなる補間ＲＡＷデータＩｒａｗ４ｂを生成する。このとき、中心画素（補間対象の画素）がＧ画素のときには、画素補正部１３８は、例えば、図９に示したような補間フィルタＦを用いて、中心画素の緑色情報を補正する。また、中心画素（補間対象の画素）がＲ画素またはＢ画素のときには、画素補正部１３３は、中心画素の色情報を、例えば、図１０に示したような補間フィルタＦを用いて生成した緑色情報に置き換える。

縮小部１３９は、第２および第３の撮像デバイス２０，５０の倍率に基づいて、補間ＲＡＷデータＩｒａｗ４ｂを縮小する。視差算出部１３６は、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃ，Ｉｒａｗ４ｃに基づいて、位置合わせデータとしての視差情報Ｄｉｓｐを算出する。視差情報Ｄｉｓｐは、第１の撮像デバイス１０と第２の撮像デバイス２０との位置が互いに一致していないことから生じる画像上の位置ずれ量と、第２の撮像デバイス２０と第３の撮像デバイス５０との位置が互いに一致していないことから生じる画像上の位置ずれ量とに相当するものである。視差算出部１３６は、例えば、２つの画像間での動きベクトル推定法などを用いて、補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃ，Ｉｒａｗ４ｃから視差情報Ｄｉｓｐを生成する。

本実施の形態では、フュージョン部１４１は、２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成するとともに、２つの補間ＲＡＷデータＩｒａｗ２ｃ，Ｉｒａｗ４ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する。具体的には、フュージョン部１４１は、視差情報Ｄｉｓｐに基づいて、２つの補間ＲＡＷデータＩｒａｗ１ｂ，Ｉｒａｗ２ｃを合成するとともに、２つの補間ＲＡＷデータＩｒａｗ２ｃ，Ｉｒａｗ４ｃを合成することにより合成ＲＡＷデータＩｒａｗ３ａを生成する。

本実施の形態では、画角の互いに異なる第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２に基づいて生成された位置合わせデータに基づいて、第１および第２のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２が互いに合成される。さらに、画角の互いに異なる第２および第３のＲＡＷデータＩｒａｗ２，Ｉｒａｗ４に基づいて生成された位置合わせデータに基づいて、第２および第３のＲＡＷデータＩｒａｗ２，Ｉｒａｗ４が互いに合成される。つまり、本実施の形態では、デモザイク処理が行われる前のＲＡＷデータの段階で合成が行われるので、デモザイク処理の回数を減らすことができる。さらに、本実施の形態における合成対象である第１、第２および第３のＲＡＷデータＩｒａｗ１，Ｉｒａｗ２，Ｉｒａｗ４は、従来の合成対象であるカラー画像データと比べて、画素ごとの色情報が少ない。従って、デモザイク処理および合成処理に要する処理コストや消費電力を低減することができる。

また、本実施の形態では、第１の撮像デバイス１０の撮像領域Ｒ１のうち外縁を除く領域が第２の撮像デバイス２０の撮像領域Ｒ２となっており、第２の撮像デバイス２０の撮像領域Ｒ２のうち外縁を除く領域が第３の撮像デバイス５０の撮像領域Ｒ３となっている。さらに、本実施の形態では、相対的に画角の広い第１のＲＡＷデータＩｒａｗ１と、第１のＲＡＷデータＩｒａｗ１よりも画角の狭い第２のＲＡＷデータＩｒａｗ２と、第２のＲＡＷデータＩｒａｗ２よりも画角の狭い第３のＲＡＷデータＩｒａｗ４とが第１、第２および第３の撮像デバイス１０，２０，５０によって生成される。これにより、合成ＲＡＷデータＩｒａｗのうち外縁を除く所定の領域（フュージョン領域β）と、第２のＲＡＷデータＩｒａｗ２とが互いに合成される。さらに、第２のＲＡＷデータＩｒａｗ２のうち外縁を除く所定の領域と、第３のＲＡＷデータＩｒａｗ４とが互いに合成される。言い換えると、枠状の第１のＲＡＷデータＩｒａｗ１に、第２のＲＡＷデータＩｒａｗ２が嵌め込まれるとともに、枠状の第２のＲＡＷデータＩｒａｗ２に、第３のＲＡＷデータＩｒａｗ４が嵌め込まれる。その結果、第１、第２および第３の撮像デバイス１０，２０，５０を用いて、画角の広い、高解像度の画像を得ることができる。また、第１、第２および第３の撮像デバイス１０，２０，５０における第１、第２および第３の光学レンズ１２，２２，５２の全てを固定焦点レンズで構成したとしても、機械的なズーム機構を用いずに光学ズームを実現できる。

その他の構成および動作、ならびに効果は、上記第１の実施の形態と略同様であってもよい。

＜３．その他の実施の形態＞
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。

図１に示した撮像装置１等が適用されるカメラとしてのバリエーションは様々な形態を考えることができる。第１の光学レンズ１２等は、固定式でも交換式でもよい。第１の光学レンズ１２等が交換式のレンズ部である場合、図２２および図２３等に示したレンズ制御部７０および撮像制御部６０は、カメラ本体側に設けられていてもよいし、交換式のレンズ部側に設けられていてもよい。

また、図１に示した撮像装置１等において、信号処理部３０で生成されたカラー画像データＩｃｏｌを、外部メモリに保存したり、ディスプレイに表示するようにしてもよい。また、保存や表示の代わりに、カラー画像データＩｃｏｌをネットワークで他の装置に伝送しても構わない。また、図１に示した信号処理部３０が、撮像装置１の本体とは別であっても構わない。例えば、信号処理部３０が、撮像装置１に接続されたネットワークの先にあっても構わない。また、撮像装置１の本体では画像処理を行わずに、外部メモリに画像データを保存してＰＣ（パーソナルコンピュータ）等の別の装置で画像処理を行っても構わない。

なお、信号処理部３０の処理は、コンピュータによるプログラムとして実行することが可能である。本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。

また、本技術による一連の画像処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体にあらかじめ記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

また、例えば、本技術は以下のような構成を取ることができる。
（１）
ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、前記第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、前記撮像条件に基づいて同期させる撮像制御部
を備えた撮像制御装置。
（２）
前記撮像条件は、画角および画素数の少なくとも１つを含み、
前記第２の撮像デバイスの撮像条件は、前記第１の撮像デバイスの撮像条件に対して画角および画素数の少なくとも一方が異なる
上記（１）に記載の撮像制御装置。
（３）
前記第１の撮像デバイスおよび前記第２の撮像デバイスの初期の前記撮像条件の情報を格納する格納部をさらに備え、
前記撮像制御部は、前記第１の撮像デバイスの露光タイミングと前記第２の撮像デバイスの露光タイミングとを、前記初期の撮像条件に基づいて同期させる
上記（１）または（２）に記載の撮像制御装置。
（４）
前記第１の撮像デバイスおよび前記第２の撮像デバイスの少なくとも一方は、ズームレンズを有し、
前記撮像条件は、少なくとも前記ズームレンズのズーム倍率を含み、
前記撮像制御部は、前記第１の撮像デバイスの露光タイミングと前記第２の撮像デバイスの露光タイミングとを、前記ズーム倍率に基づいて同期させる
上記（１）ないし（３）のいずれか１つに記載の撮像制御装置。
（５）
前記撮像条件は、少なくとも画角を含み、
前記撮像制御部は、前記第１の撮像デバイスおよび前記第２の撮像デバイスのうち、相対的に画角の狭い撮像を行う撮像デバイスの露光開始タイミングを、相対的に画角の広い撮像を行う撮像デバイスの露光開始タイミングに対して遅延させる
上記（１）ないし（４）のいずれか１つに記載の撮像制御装置。
（６）
前記撮像制御部は、前記画角の狭い撮像を行う撮像デバイスにおける画素データの読み出し速度を、前記画角の広い撮像を行う撮像デバイスにおける画素データの読み出し速度よりも高速にする
上記（５）に記載の撮像制御装置。
（７）
前記撮像条件は、少なくとも画素数を含み、
前記撮像制御部は、前記第１の撮像デバイスおよび前記第２の撮像デバイスのうち、相対的に画素数の多い撮像デバイスにおける画素データの読み出し速度を、相対的に画素数の少ない撮像デバイスにおける画素データの読み出し速度よりも高速にする
上記（１）ないし（４）のいずれか１つに記載の撮像制御装置。
（８）
ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、前記第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、前記撮像条件に基づいて同期制御する
撮像制御方法。
（９）
ローリングシャッタ方式により露光を行う第１の撮像デバイスと、
前記第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスと、
前記第１の撮像デバイスの露光タイミングと前記第２の撮像デバイスの露光タイミングとを、前記撮像条件に基づいて同期させる撮像制御部と
を備えた撮像装置。
（１０）
前記第１の撮像デバイスおよび前記第２の撮像デバイスにおいて互いに異なる画角で撮像されることにより生成された、互いに撮像領域の異なる２つの画像データを合成する合成部
をさらに備えた
上記（９）に記載の撮像装置。
（１１）
前記合成部は、
前記２つの画像データのうち相対的に画角の広い画像データにおける外縁を除く所定の領域内に、相対的に画角の狭い画像データが含まれるように、前記２つの画像データを合成する
上記（１０）に記載の撮像装置。

１…撮像装置、１０…第１の撮像デバイス、１１…第１の撮像素子、１２，１２Ａ…第１の光学レンズ、２０…第２の撮像デバイス、２１…第２の撮像素子、２２，２２Ａ…第２の光学レンズ、３０…信号処理部、４０…制御部、４１…初期値格納部、５０…第３の撮像デバイス、５１…第３の撮像素子、５２…第３の光学レンズ、６０…撮像制御部、６１…読み出し制御部、６２…シャッタ制御部、７０，７０Ａ…レンズ制御部、７１…フォーカス制御部、７２…ズーム制御部、１３０…位置合わせ部、１３１…切出部、１３２…ゲイン補正部、１３３…画素補正部、１３４…画素補正部、１３５…縮小部、１３６…視差算出部、１３７…ゲイン補正部、１３８…画素補正部、１３９…縮小部、１４０…合成部、１４１…フュージョン部、１４２…ＬＰＦ部、１４３…相関処理部、１４４…マージ部、１４５…選択部、２００…撮像装置、２３０…第１のカメラ信号処理部、２４０…第２のカメラ信号処理部、２５０…合成処理部、ＡＸ１，ＡＸ２…光軸、Ｄｉｓｐ…視差情報、Ｉｃｏｌ，Ｉｃｏｌ１，Ｉｃｏｌ２…カラー画像データ、Ｉｒａｗ１…第１のＲＡＷデータ、Ｉｒａｗ２…第２のＲＡＷデータ、Ｉｒａｗ４…第３のＲＡＷデータ、Ｉｒａｗ１ａ…ＲＡＷデータ、Ｉｒａｗ２ａ，Ｉｒａｗ２ｃ…ＲＡＷデータ、Ｉｒａｗ３ｃ，Ｉｒａｗ３ｄ…ＲＡＷデータ、Ｉｒａｗ，Ｉｒａｗ３ａ，Ｉｒａｗ３ａ’，Ｉｒａｗ３ｂ…合成ＲＡＷデータ、Ｉｒａｗ１ｂ，Ｉｒａｗ２ｂ…補間ＲＡＷデータ、Ｉｄｅｖ，Ｉｏｕｔ…画像データ、Ｉｆｕｓｉｏｎ，Ｉｍｅｒｇｅ…合成画像データ、Ｉｔｅｌｅ…テレ画像データ、Ｉｔｅｌｅ’…画像データ、Ｉｗｉｄｅ…ワイド画像データ、Ｉｗｉｄｅ’…画像データ、Ｌ１…第１の被写体光、Ｌ２…第２の被写体光、Ｌ３…第３の被写体光、ｐ１，ｐ２…位置、Ｔｒ１，Ｔｒ２…読み出し期間、Ｔｅ１…露光期間、Ｒ１，Ｒ２，α…領域、β…フュージョン領域。

Claims (11)

1. ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、前記第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、前記撮像条件に基づいて同期させる撮像制御部
   を備えた撮像制御装置。
2. 前記撮像条件は、画角および画素数の少なくとも１つを含み、
   前記第２の撮像デバイスの撮像条件は、前記第１の撮像デバイスの撮像条件に対して画角および画素数の少なくとも一方が異なる
   請求項１に記載の撮像制御装置。
3. 前記第１の撮像デバイスおよび前記第２の撮像デバイスの初期の前記撮像条件の情報を格納する格納部をさらに備え、
   前記撮像制御部は、前記第１の撮像デバイスの露光タイミングと前記第２の撮像デバイスの露光タイミングとを、前記初期の撮像条件に基づいて同期させる
   請求項１に記載の撮像制御装置。
4. 前記第１の撮像デバイスおよび前記第２の撮像デバイスの少なくとも一方は、ズームレンズを有し、
   前記撮像条件は、少なくとも前記ズームレンズのズーム倍率を含み、
   前記撮像制御部は、前記第１の撮像デバイスの露光タイミングと前記第２の撮像デバイスの露光タイミングとを、前記ズーム倍率に基づいて同期させる
   請求項１に記載の撮像制御装置。
5. 前記撮像条件は、少なくとも画角を含み、
   前記撮像制御部は、前記第１の撮像デバイスおよび前記第２の撮像デバイスのうち、相対的に画角の狭い撮像を行う撮像デバイスの露光開始タイミングを、相対的に画角の広い撮像を行う撮像デバイスの露光開始タイミングに対して遅延させる
   請求項１に記載の撮像制御装置。
6. 前記撮像制御部は、前記画角の狭い撮像を行う撮像デバイスにおける画素データの読み出し速度を、前記画角の広い撮像を行う撮像デバイスにおける画素データの読み出し速度よりも高速にする
   請求項５に記載の撮像制御装置。
7. 前記撮像条件は、少なくとも画素数を含み、
   前記撮像制御部は、前記第１の撮像デバイスおよび前記第２の撮像デバイスのうち、相対的に画素数の多い撮像デバイスにおける画素データの読み出し速度を、相対的に画素数の少ない撮像デバイスにおける画素データの読み出し速度よりも高速にする
   請求項１に記載の撮像制御装置。
8. ローリングシャッタ方式により露光を行う第１の撮像デバイスの露光タイミングと、前記第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスの露光タイミングとを、前記撮像条件に基づいて同期制御する
   撮像制御方法。
9. ローリングシャッタ方式により露光を行う第１の撮像デバイスと、
   前記第１の撮像デバイスとは異なる撮像条件でローリングシャッタ方式により露光を行う第２の撮像デバイスと、
   前記第１の撮像デバイスの露光タイミングと前記第２の撮像デバイスの露光タイミングとを、前記撮像条件に基づいて同期させる撮像制御部と
   を備えた撮像装置。
10. 前記第１の撮像デバイスおよび前記第２の撮像デバイスにおいて互いに異なる画角で撮像されることにより生成された、互いに撮像領域の異なる２つの画像データを合成する合成部
    をさらに備えた
    請求項９に記載の撮像装置。
11. 前記合成部は、
    前記２つの画像データのうち相対的に画角の広い画像データにおける外縁を除く所定の領域内に、相対的に画角の狭い画像データが含まれるように、前記２つの画像データを合成する
    請求項１０に記載の撮像装置。

Images