JP2014127757A - 撮像装置 - Google Patents

Abstract

【課題】データバスの混雑を抑えた状態で、固体撮像装置が出力する高いフレームレートで高解像度の画素信号に応じた画像データを取得することができる撮像装置を提供する。
【解決手段】二次元の行列状に配置された複数の画素を有し、複数の画素のそれぞれに入射された被写体光に応じた画素信号を出力する固体撮像装置と、固体撮像装置から出力された画素信号を取得し、該取得した画素信号に応じた画像データを出力する複数の画像取得部と、を備え、複数の画像取得部のそれぞれは、固体撮像装置に配置された全ての画素が被写体光を撮像する撮像領域を該画像取得部の数に分割した、いずれか１つの分割撮像領域の画素信号を取得し、該取得した分割撮像領域の画素信号に応じた画像データを、それぞれの分割画像データとして出力する。
【選択図】図１

Description

本発明は、撮像装置に関する。

一般的なデジタルスチルカメラやビデオカメラなどの撮像装置は、固体撮像装置から出力された画素信号を取得する画像取得部や、その他の構成要素が、データバスを介して、データを一時的に記憶するＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に接続された構成になっている（特許文献１参照）。そして、撮像装置で撮影する際に、画像取得部が、固体撮像装置から取得した画素信号に応じた画像データを、データバスを介してＤＲＡＭに転送して格納し（書き込み）、その他の構成要素が、ＤＲＡＭに格納されている画像データを読み出してそれぞれの処理を行う。

撮像装置に備えた画像取得部やその他の構成要素は、ＤＲＡＭとのデータのやり取りをＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）によって行うためのＤＭＡ−ＩＦ（インターフェース）をそれぞれ備えている。そして、それぞれのＤＭＡ−ＩＦは、内部のデータバッファとして、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのメモリを備えている。

また、従来から、画像取得部が固体撮像装置から取得しＤＲＡＭに格納した（書き込んだ）画像データに対して画像処理を行う画像処理部を複数備え、それぞれの画像処理部が並列に画像処理を行う構成の撮像装置が実用化されている。このような画像処理部を複数備えた撮像装置では、ＤＲＡＭに格納されている画像データを同時に画像処理することによって、動画の撮影途中に静止画を撮影する機能や、広角（ワイド）の動画と望遠（テレ）の動画とを撮影する機能など、異なる種類や異なるサイズ（画角）の撮影を同時に行う機能を実現している。

例えば、動画と静止画とを同時に撮影する撮像装置には、固体撮像装置が撮像する全体の領域の画像データに対して画像処理を行う静止画用の画像処理部と、この静止画用の画像処理部よりも少ない領域の画像データに対して画像処理を行う動画用の画像処理部とを備えている。また、例えば、広角の画像と望遠の画像とを同時に撮影する撮像装置には、固体撮像装置が撮像する全体の領域の画像データに対して画像処理を行う広角用の画像処理部と、固体撮像装置が撮像する全体の領域から一部を切り出した望遠の領域の画像データに対して画像処理を行う望遠用の画像処理部とを備えている。

また、近年では、例えば、水平方向に隣接する２画素の画素信号や、垂直方向に隣接する２画素の画素信号など、同時に複数の画素信号を出力する固体撮像装置も実用化されている。

また、例えば、特許文献２のように、撮像装置に複数の画像処理部を備え、固体撮像装置から取得した画素信号に応じた画像データに対して行う画像処理の負荷を軽減する技術が開示されている。特許文献２で開示された技術では、連写撮影時に、まず、１つの画像処理部が１コマ分の画像データを逐次バッファメモリに蓄積ながら、蓄積した画像データを順次読み出して画像処理を行う。そして、バッファメモリの残りの容量が少なくなってきたときに別の画像処理部を起動し、２つの画像処理部が交互にバッファメモリに蓄積された画像データを読み出して、並列に画像処理を行っている。

特開２０１０−１９９８８０号公報 特開２０１０−１０３９３５号公報

ところで、今後の撮像装置においては、撮影する画像の高画質化のために、より多くの画素数の動画を高いフレームレートで撮影することが求められている。例えば、静止画と同様のサイズの動画や、横方向が４，０００画素前後で縦方向が２，０００画素前後の、いわゆる、４Ｋ２Ｋサイズといわれるような高解像度の動画の撮影が求められている。

しかしながら、上述したように、画像取得部がＤＲＡＭに格納する（書き込む）画像データの転送に用いられるデータバスは、例えば、撮影した画像の表示を制御する表示制御部などの、撮像装置に備えたその他の構成要素と共有している。そして、画像取得部は、１枚分の画像データ、すなわち、固体撮像装置が撮像する全体の領域の画素信号に応じた画像データを、ＤＲＡＭに転送している（書き込んでいる）。また、特許文献２で開示された撮像装置のように複数の画像処理部を備えた撮像装置であっても、同様に、固体撮像装置から取得した画素信号に応じた１コマ分の画像データをバッファメモリに蓄積させるのは、１つの画像処理部のみである。

このため、固体撮像装置から取得する画素信号の量が増えると、画像取得部が画像データをＤＲＡＭに転送する（書き込む）ために多くの時間を要してしまい、画像取得部がデータバスを占有する時間が増えてしまう。これにより、その他の構成要素がＤＲＡＭとのデータのやり取りを行う時間が短くなり、データバスが混雑してしまう。この混雑度の影響によって、撮像装置に備えたその他の構成要素に対するデータバスの応答速度が遅くなってしまう。すなわち、１つの構成要素によるデータバスの占有時間が増えると、データバスの混雑度の影響によって共有するデータバスに接続されたその他の構成要素からのＤＲＡＭへのアクセス要求に対する応答速度が遅くなってしまう。これにより、撮像装置では、画像取得部によるＤＲＡＭへの画像データの転送（書き込み）以外の、例えば、画像処理部による画像処理や、表示制御部による表示処理が間に合わず、撮像装置の全体の動作が破綻してしまうなどの問題が発生する。

このため、従来から、画像取得部などの撮像装置に備えたそれぞれの構成要素には、ＤＭＡ−ＩＦ内に容量の大きなＳＲＡＭ（データバッファ）を備え、それぞれの構成要素からのＤＲＡＭへのアクセス要求を調停することによって、データバスが混雑している場合でもそれぞれの構成要素とＤＲＡＭとの間のデータのやり取りが破綻してしまうことを回避している。

しかしながら、固体撮像装置の高速化によって、固体撮像装置が画素信号を出力する速度が、画像取得部が画像データをＤＲＡＭに転送する（書き込む）速度よりも速くなったり、設計時に想定していなかった画素数で高いフレームレートの画像を扱わなければならなかったりした場合には、画像取得部が大量の画像データを、データバスを介してＤＲＡＭに転送することになる。これにより、予期しないデータバスの混雑が発生し、画像取得部がデータバスを介して転送する画像データの量がＤＲＡＭ−ＩＦ内に備えたＳＲＡＭ（データバッファ）の容量を容易に超えてしまうことが考えられる。これにより、上述したような撮像装置の全体の動作の破綻が発生し、商品価値の高い撮像装置を開発し、提供することが困難になってしまう。

このことから、高いフレームレートでの高解像度の動画を撮影においては、画像取得部がＤＲＡＭに画像データを転送する（書き込む）際のデータバスの混雑度がボトルネック（支障）になると考えられる。

本発明は、上記の課題認識に基づいてなされたものであり、データバスの混雑を抑えた状態で、固体撮像装置が出力する高いフレームレートで高解像度の画素信号に応じた画像データを取得することができる撮像装置を提供することを目的としている。

上記の課題を解決するため、本発明の撮像装置は、二次元の行列状に配置された複数の画素を有し、複数の前記画素のそれぞれに入射された被写体光に応じた画素信号を出力する固体撮像装置と、前記固体撮像装置から出力された前記画素信号を取得し、該取得した画素信号に応じた画像データを出力する複数の画像取得部と、を備え、複数の前記画像取得部のそれぞれは、前記固体撮像装置に配置された全ての前記画素が前記被写体光を撮像する撮像領域を該画像取得部の数に分割した、いずれか１つの分割撮像領域の前記画素信号を取得し、該取得した前記分割撮像領域の画素信号に応じた画像データを、それぞれの分割画像データとして出力する、ことを特徴とする。

また、本発明の撮像装置において、複数の前記画像取得部のそれぞれは、異なる前記分割撮像領域にそれぞれ対応し、それぞれの前記画像取得部は、前記固体撮像装置から順次出力されてくる前記画素信号の内、対応する前記分割撮像領域の前記画素信号のそれぞれを取得し、該取得した前記画素信号のそれぞれに応じた前記分割画像データを順次出力する、ことを特徴とする。

また、本発明の撮像装置において、前記画像取得部は、取得した前記画素信号に対して予め定めた処理を施した処理画像データを生成して出力する画素信号処理部と、前記処理画像データを、対応する前記分割撮像領域の前記分割画像データとして、該画像取得部が接続されたデータバスに接続された記憶部に転送する画像データ転送部と、を備えることを特徴とする。

また、本発明の撮像装置において、前記画素信号処理部は、対応する前記分割撮像領域の前記画素信号を第１のクロック信号に同期したタイミングで順次取得し、生成した前記処理画像データを第２のクロック信号に同期したタイミングで順次出力し、前記画像データ転送部は、前記処理画像データを、前記分割画像データとして、前記第２のクロック信号に同期したタイミングで前記記憶部に転送する、ことを特徴とする。

また、本発明の撮像装置において、前記第１のクロック信号の周期は、前記固体撮像装置が前記画素信号のそれぞれを順次出力する周期であり、前記第２のクロック信号の周期は、前記第１のクロック信号の周期を、当該撮像装置に備えた前記画像取得部の数で倍数した周期以内の周期である、ことを特徴とする。

また、本発明の撮像装置において、前記画素信号処理部は、前記第１のクロック信号に同期したタイミングで前記画素信号に応じた画像データを順次保持し、前記第２のクロック信号に同期したタイミングで保持した前記画像データを出力するバッファ部、を備えることを特徴とする。

また、本発明の撮像装置において、前記画素信号処理部は、前記固体撮像装置の行方向に配置された前記画素に対応するそれぞれの前記画素信号に対してリサイズ処理を行った水平処理画像データを順次出力する水平方向リサイズ部と、前記水平処理画像データに対して、前記固体撮像装置に配置された前記画素における列方向にリサイズ処理を行った垂直処理画像データを順次出力する垂直方向リサイズ部と、を備え、前記垂直方向リサイズ部は、前記バッファ部を具備し、前記第１のクロック信号に同期したタイミングで前記水平処理画像データを順次、前記バッファ部に保持させ、前記第２のクロック信号に同期したタイミングで前記バッファ部から順次読み出した前記水平処理画像データに対して、前記列方向のリサイズ処理を行った前記垂直処理画像データを順次出力する、ことを特徴とする。

また、本発明の撮像装置は、２つの前記画像取得部、を備え、前記撮像領域を２分割し、一方の前記画像取得部が、２分割した前記撮像領域の内、一方の前記分割撮像領域から取得した前記画素信号に応じた画像データを、第１の分割画像データとして出力し、他方の前記画像取得部が、２分割した前記撮像領域の内、他方の前記分割撮像領域から取得した前記画素信号に応じた画像データを、第２の分割画像データとして出力する、ことを特徴とする。

また、本発明の撮像装置は、撮像装置は、前記撮像領域を左右に２分割し、一方の前記画像取得部が、２分割した前記撮像領域の内、左側の前記分割撮像領域から取得した前記画素信号に応じた画像データを、第１の分割画像データとして出力し、他方の前記画像取得部が、２分割した前記撮像領域の内、右側の前記分割撮像領域から取得した前記画素信号に応じた画像データを、第２の分割画像データとして出力する、ことを特徴とする。

また、本発明の撮像装置において、分割した左側の前記分割撮像領域と右側の前記分割撮像領域とのそれぞれは、前記撮像領域を分割する位置で互いに隣接している、ことを特徴とする。

また、本発明の撮像装置において、前記画像取得部のそれぞれが、取得した前記画素信号に対してフィルタ処理またはリサイズ処理を行うとき、分割した左側の前記分割撮像領域と右側の前記分割撮像領域とのそれぞれには、前記撮像領域を分割する位置で互いに隣接している部分に、左側の前記分割撮像領域と右側の前記分割撮像領域とのそれぞれに含まれる前記画素信号が互いに重複しているのり代領域を含む、ことを特徴とする。

また、本発明の撮像装置において、前記のり代領域に含まれる前記画素信号の量は、前記画像取得部のそれぞれが行うフィルタ処理またはリサイズ処理に用いるフィルタのタップ数に応じて決定する、ことを特徴とする。

本発明によれば、データバスの混雑を抑えた状態で、固体撮像装置が出力する高いフレームレートで高解像度の画素信号に応じた画像データを取得することができるという効果が得られる。

本発明の実施形態における撮像装置において画像取得に関わる構成要素の概略構成を示したブロック図である。 本実施形態の撮像装置に備えた画像取得部が対応するイメージセンサの撮像領域の一例を説明する図である。 本実施形態の撮像装置に備えた画像取得部がイメージセンサから取得した画像データを転送するタイミングの一例を示したタイミングチャートである。 本実施形態の撮像装置に備えた画像取得部がリサイズ処理を行う場合の概略構成を示したブロック図である。 本実施形態の撮像装置に備えた画像取得部におけるリサイズ処理動作の一例を説明する図である。 本実施形態の撮像装置に備えた画像取得部が高解像度の画像に対するリサイズ処理を行う場合の動作の一例を説明する図である。 本実施形態の撮像装置に備えた画像取得部が対応するイメージセンサの撮像領域の一例を説明する図である。 本実施形態の撮像装置に備えた画像取得部が画像データを転送するタイミングを調整する場合の概略構成を示したブロック図である。 本実施形態の撮像装置に備えた画像取得部が画像データを転送するタイミングを調整する場合の一例を示したタイミングチャートである。 本実施形態の撮像装置に備えた画像取得部が出力する画像データの一例を説明する図である。

以下、本発明の実施形態について、図面を参照して説明する。図１は、本実施形態における撮像装置において画像取得に関わる構成要素の概略構成を示したブロック図である。図１において、撮像装置１０は、イメージセンサ１００と、２つの画像取得部２１０および画像取得部２２０と、ＤＲＡＭ３００と、を備えている。撮像装置１０内の画像取得部２１０、画像取得部２２０、およびＤＲＡＭ３００は、データバス４００を介してそれぞれ接続され、例えば、ＤＭＡによってＤＲＡＭ３００へのデータの書き込み、およびＤＲＡＭ３００からのデータの読み出しを行う。

なお、図１には、撮像装置１０に備えた構成要素の内、イメージセンサ１００から出力された画素信号の取得に関わる構成要素に注目し、イメージセンサ１００から取得した画素信号に応じた画像データをＤＲＡＭ３００に転送する（書き込む）ときに動作する構成要素のみを示している。すなわち、撮像装置１０には、図１に示した構成要素以外にも、従来の撮像装置と同様に、例えば、画像データに対して圧縮処理などの画像処理を施す画像処理部や、画像データを表示デバイスに表示するための制御を行う表示処理部や、画像データを記録媒体に記録させるための制御を行うカードＩＦ（インターフェース）部や、撮像装置１０の全体の制御を行うＣＰＵなどの構成要素を備えているが、図１には示していない。なお、撮像装置１０に備える図１に示した構成要素以外の構成要素や、その構成要素の動作は、従来の撮像装置と同様である。従って、図１に示した構成要素以外の構成要素や、その構成要素の動作に関する詳細な説明は省略する。

イメージセンサ１００は、不図示のレンズによって結像された被写体の光学像を光電変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表される固体撮像装置である。イメージセンサ１００は、被写体光を撮像する領域（以下、「撮像領域」という）に備えた画素が出力する全ての画素信号、すなわち、二次元の行列状に配置された複数の画素が被写体光を撮像する撮像領域全体の画素信号を、撮像したフレーム毎に順次、画像取得部２１０と画像取得部２２０とのそれぞれに出力する。

画像取得部２１０および画像取得部２２０のそれぞれは、イメージセンサ１００から入力された画素信号を取り込み、前処理、リサイズ処理、切り出し処理などの処理を施し、処理した結果の画像データを、ＤＲＡＭ３００に転送して格納する（書き込む）。画像取得部２１０と画像取得部２２０とのそれぞれは、イメージセンサ１００の撮像領域全体の内、対応する撮像領域の画素が出力した画素信号を処理した結果の画像データを、ＤＲＡＭ３００にそれぞれ転送する（書き込む）。画像取得部２１０は、画素信号処理部２１１と、ＤＭＡ−ＩＦ部２１２と、を備えている。また、画像取得部２２０は、画素信号処理部２２１と、ＤＭＡ−ＩＦ部２２２と、を備えている。

ここで、画像取得部２１０および画像取得部２２０のそれぞれが対応する撮像領域について説明する。図２は、本実施形態の撮像装置１０に備えた画像取得部（画像取得部２１０および画像取得部２２０）が対応するイメージセンサ１００の撮像領域の一例を説明する図である。なお、図２には、イメージセンサ１００が撮像領域内の画素が画素信号を出力する順番も併せて模式的に示している。

撮像装置１０には、画像取得部２１０と画像取得部２２０との２つの画像取得部を備えている。このため、撮像装置１０では、図２に示したように、イメージセンサ１００の撮像領域全体を、互いが隣接する２つの領域に分割し、２分割したそれぞれの撮像領域を、画像取得部２１０または画像取得部２２０のいずれかが処理する領域として割り当てる。以下の説明においては、図２に示した一例において、２分割した左側の撮像領域１を画素信号処理部２１１に割り当て、右側の撮像領域２を画素信号処理部２２１に割り当てた場合について説明する。なお、イメージセンサ１００の撮像領域全体を分割する際には、撮像領域全体を分割する位置で、互いの撮像領域が重なる（オーバーラップする）部分があってもよいが、説明を容易にするため、画像取得部２１０と画像取得部２２０とのそれぞれに割り当てられる撮像領域は重複（オーバーラップ）していないものとする。

画素信号処理部２１１および画素信号処理部２２１のそれぞれは、イメージセンサ１００から入力された、対応する撮像領域の画素信号に対して、キズ補正や、シェーディング補正や、フィルタ処理などの前処理や、リサイズ処理、切り出し処理などの処理を施した画像データを、対応するＤＭＡ−ＩＦ部２１２またはＤＭＡ−ＩＦ部２２２に出力する。より具体的には、画素信号処理部２１１が、イメージセンサ１００から入力された撮像領域１の画素信号に対して処理を施して、処理した結果の画像データを、第１の画像データとしてＤＭＡ−ＩＦ部２１２に出力する。また、画素信号処理部２２１が、画素信号処理部２１１が処理する撮像領域１に隣接する撮像領域２の画素信号に対して処理を施して、処理した結果の画像データを、第２の画像データとしてＤＭＡ−ＩＦ部２２２に出力する。

ＤＭＡ−ＩＦ部２１２およびＤＭＡ−ＩＦ部２２２のそれぞれは、対応する画素信号処理部２１１または画素信号処理部２２１から入力された第１の画像データまたは第２の画像データを、ＤＭＡによってデータバス４００に出力して、ＤＲＡＭ３００に転送して格納する（書き込む）。より具体的には、ＤＭＡ−ＩＦ部２１２が画素信号処理部２１１から入力された第１の画像データを、ＤＭＡによってデータバス４００を介してＤＲＡＭ３００に転送する（書き込む）。また、ＤＭＡ−ＩＦ部２２２が画素信号処理部２２１から入力された第２の画像データを、ＤＭＡによってデータバス４００を介してＤＲＡＭ３００に転送する（書き込む）。これにより、ＤＲＡＭ３００には、イメージセンサ１００の撮像領域全体の画素信号に応じた画像データが転送される（書き込まれる）。

なお、ＤＭＡ−ＩＦ部２１２およびＤＭＡ−ＩＦ部２２２のそれぞれは、画像データをＤＲＡＭ３００に格納する（書き込む）際、ＤＲＡＭ３００に格納される画像データが、イメージセンサ１００から取得した画像と同じ配置になるように、第１の画像データと第２の画像データとをＤＲＡＭ３００に転送して格納する（書き込む）。つまり、第１の画像データと第２の画像データとを合わせことによって、イメージセンサ１００から取得した１枚分の画素信号に応じた１枚分の画像データとしてＤＲＡＭ３００に格納される（書き込まれる）ように、第１の画像データと第２の画像データとのＤＲＡＭ３００への転送を制御する。

なお、ＤＭＡ−ＩＦ部２１２およびＤＭＡ−ＩＦ部２２２のそれぞれには、ＤＭＡによってそれぞれの画像データをＤＲＡＭ３００に転送する際に出力するＤＭＡアクセス要求が調停された場合に、ＤＲＡＭ３００への画像データの転送が待たされる時間を吸収することができるだけの容量を持ったＳＲＡＭを、データバッファとして備えている。これは、一般的なＤＭＡ−ＩＦ部の構成と同様である。従って、ＤＭＡ−ＩＦ部２１２およびＤＭＡ−ＩＦ部２２２のそれぞれに備えたデータバッファ（ＳＲＡＭ）の動作に関する詳細な説明は省略する。

ＤＲＡＭ３００は、画像取得部２１０と画像取得部２２０とのそれぞれからデータバス４００を介して転送されてきた第１の画像データおよび第２の画像データを、それぞれ記憶する。また、ＤＲＡＭ３００は、撮像装置１０内に備えたそれぞれの構成要素の処理過程における様々なデータを記憶する。なお、上述したように、撮像装置１０では、ＤＭＡによってＤＲＡＭ３００へのデータの書き込み、およびＤＲＡＭ３００からのデータの読み出しを行う。従って、ＤＲＡＭ３００は、不図示のＤＲＡＭコントローラによって、データバス４００に接続されている撮像装置１０に備えた複数の構成要素からのアクセス要求（ＤＭＡアクセス要求）が調停され、ＤＲＡＭ３００へのデータの転送（書き込み）、およびＤＲＡＭ３００からのデータの取得（読み出し）が制御される。

このような構成によって撮像装置１０では、イメージセンサ１００が撮像する撮像領域全体を分割し、分割したそれぞれの撮像領域に対応する画像取得部２１０および画像取得部２２０が、それぞれの撮像領域の画素が出力する画素信号に応じた画像データを、ＤＲＡＭ３００に転送する（書き込む）。

次に、撮像装置１０において、画像取得部２１０および画像取得部２２０のそれぞれが、イメージセンサ１００から取得した画素信号に応じた画像データをＤＲＡＭ３００にそれぞれ転送する（書き込む）動作について説明する。図３は、本実施形態の撮像装置１０に備えた画像取得部（画像取得部２１０および画像取得部２２０）がイメージセンサ１００から取得した画像データを転送するタイミングの一例を示したタイミングチャートである。

イメージセンサ１００は、図２に示したように、撮像領域の行（ライン）毎に画素信号を順次出力する。このとき、イメージセンサ１００は、それぞれのラインの画素信号を、水平同期信号ＨＤに同期したタイミングで出力する。図３には、イメージセンサ１００が１ライン目の画素信号と２ライン目の画素信号とを、水平同期信号ＨＤに同期して出力しているときのタイミングを示している。なお、イメージセンサ１００の他のラインの画素信号も図３に示したタイミングチャートに引き続き、同様のタイミングで出力される。

イメージセンサ１００が、水平同期信号ＨＤに応じて、１ライン目の画素信号を出力すると、画素信号処理部２１１は、対応する撮像領域１の画素信号を取得し、取得した１ライン目の撮像領域１の画素信号に対して処理を施して、１ライン目の第１の画像データをＤＭＡ−ＩＦ部２１２に出力する。そして、ＤＭＡ−ＩＦ部２１２は、画素信号処理部２１１から入力された１ライン目の第１の画像データを、ＤＲＡＭ３００に転送する（書き込む）。

また、イメージセンサ１００が、１ライン目の撮像領域２の画素信号を出力すると、画素信号処理部２２１は、対応する撮像領域２の画素信号を取得し、取得した１ライン目の撮像領域２の画素信号に対して処理を施して、１ライン目の第２の画像データをＤＭＡ−ＩＦ部２１２に出力する。そして、ＤＭＡ−ＩＦ部２２２は、画素信号処理部２２１から入力された１ライン目の第２の画像データを、ＤＲＡＭ３００に転送する（書き込む）。

続いて、イメージセンサ１００が、水平同期信号ＨＤに応じて、２ライン目の画素信号を出力すると、画素信号処理部２１１は、同様に、対応する撮像領域１の画素信号を取得し、取得した２ライン目の撮像領域１の画素信号に対して処理を施した２ライン目の第１の画像データをＤＭＡ−ＩＦ部２１２に出力する。そして、ＤＭＡ−ＩＦ部２１２は、同様に、画素信号処理部２１１から入力された２ライン目の第１の画像データを、ＤＲＡＭ３００に転送する（書き込む）。

また、イメージセンサ１００が、２ライン目の撮像領域２の画素信号を出力すると、画素信号処理部２２１は、同様に、対応する撮像領域２の画素信号を取得し、取得した２ライン目の撮像領域２の画素信号に対して処理を施して、２ライン目の第２の画像データをＤＭＡ−ＩＦ部２１２に出力する。そして、ＤＭＡ−ＩＦ部２２２は、同様に、画素信号処理部２２１から入力された２ライン目の第２の画像データを、ＤＲＡＭ３００に転送する（書き込む）。

このように、撮像装置１０では、画素信号処理部２１１と画素信号処理部２２１とのそれぞれが、対応する撮像領域１または撮像領域２の画素信号をイメージセンサ１００から取得して、処理を施した第１の画像データまたは第２の画像データを、ＤＭＡ−ＩＦ部２１２またはＤＭＡ−ＩＦ部２２２に出力する。そして、ＤＭＡ−ＩＦ部２１２とＤＭＡ−ＩＦ部２２２とのそれぞれは、画素信号処理部２１１または画素信号処理部２２１から入力された第１の画像データまたは第２の画像データを、ＤＲＡＭ３００に転送する（書き込む）。

このとき、図３を見てわかるように、画素信号処理部２１１と画素信号処理部２２１とのそれぞれは、イメージセンサ１００が出力する画素信号を、従来の撮像装置が取得する画素信号の半分だけ取得すればよい。そして、ＤＭＡ−ＩＦ部２１２とＤＭＡ−ＩＦ部２２２とのそれぞれは、画素信号処理部２１１または画素信号処理部２２１から入力された第１の画像データまたは第２の画像データを、次のラインの第１の画像データまたは第２の画像データが画素信号処理部２１１または画素信号処理部２２１から入力されるまでにＤＲＡＭ３００に転送すれば（書き込めば）よい。より具体的には、ＤＭＡ−ＩＦ部２１２とＤＭＡ−ＩＦ部２２２とのそれぞれは、画素信号処理部２１１または画素信号処理部２２１から入力された、従来の撮像装置に対して半分の第１の画像データまたは第２の画像データのＤＲＡＭ３００への転送（書き込み）を、水平同期信号ＨＤの１周期の期間（１ライン分の期間）で完了すればよい。これは、ＤＭＡ−ＩＦ部２１２とＤＭＡ−ＩＦ部２２２とのそれぞれは、ＤＲＡＭ３００への画像データの転送（書き込み）を、従来の撮像装置に対して２倍の期間内に完了すればよいことになる。

このため、例えば、ＤＭＡ−ＩＦ部２１２とＤＭＡ−ＩＦ部２２２とのそれぞれは、撮像装置１０内に備えた他の構成要素からのアクセス要求（ＤＭＡアクセス要求）によって、ＤＲＡＭ３００への画像データの転送（書き込み）が待たされた場合でも、余裕を持って画像データの転送（書き込み）を完了することができる。これにより、撮像装置１０が撮影する画像の高画質化のために、イメージセンサ１００が出力する画素信号の量が多くなった場合でも、データバス４００の混雑を抑えた状態で、イメージセンサ１００が出力する高いフレームレートで高解像度の画素信号に応じた画像データを、ＤＲＡＭ３００に転送する（書き込む）ことができる。

次に、撮像装置１０に備えた画像取得部２１０および画像取得部２２０のそれぞれの動作について説明する。図４は、本実施形態の撮像装置１０に備えた画像取得部（画像取得部２１０および画像取得部２２０）がリサイズ処理を施す場合の概略構成を示したブロック図である。図４に示した画像取得部２１０は、図１に示したように、画素信号処理部２１１と、ＤＭＡ−ＩＦ部２１２と、を備えている。そして、画像取得部２１０内の画素信号処理部２１１は、水平方向リサイズ部２１１１と、垂直方向リサイズ部２１１２と、を備えている。図４示した画像取得部２１０は、撮像装置において一般的に処理が可能であるリサイズ処理を施す場合の画像取得部の構成を示している。なお、本実施形態においては、撮像装置１０に同じ構成の２つの画像取得部２１０および画像取得部２２０を備えているが、図４には、画像取得部２１０のみを示している。

水平方向リサイズ部２１１１は、イメージセンサ１００の撮像領域において対応する撮像領域１または撮像領域２に備えた水平方向（行方向）に予め定めた数の画素が出力した画素信号を用いて水平方向のリサイズ処理を行う。
垂直方向リサイズ部２１１２は、イメージセンサ１００の撮像領域において対応する撮像領域１または撮像領域２に備えた垂直方向（列方向）に予め定めた数の画素が出力した画素信号を用いて垂直方向のリサイズ処理を行う。

画像取得部２１０によるリサイズ処理では、図５に示したように、まず、水平方向にリサイズ処理を行い、その後、垂直方向のリサイズ処理を行うことによって、イメージセンサ１００の撮像領域全体のから取得した画素信号（以下、「取得画像」という）に対するリサイズ処理を施す。図５には、画像取得部２１０が、取得画像を、まず、水平方向が１９２０画素の大きさにリサイズ処理し、続いて、垂直方向が１０８０画素の大きさにリサイズ処理する場合の一例を示している。

画像取得部２１０によるリサイズ処理、すなわち、水平方向リサイズ部２１１１と垂直方向リサイズ部２１１２のそれぞれにおけるリサイズ処理では、例えば、隣接する予め定めた数の画素が出力した画素信号のそれぞれに対して、予め定めた係数を乗じることによって、リサイズ処理後の画素信号の値を求める。このとき、水平方向リサイズ部２１１１では、イメージセンサ１００から順次出力されてくる画素信号を用いてリサイズ処理をすることができる。しかし、垂直方向リサイズ部２１１２では、イメージセンサ１００が撮像領域の行（ライン）毎に画素信号を出力するため、リサイズ処理に用いる垂直方向に隣接した画素が出力する画素信号は、異なるライン内に含まれていることになる。このことから、垂直方向リサイズ部２１１２では、リサイズ処理に用いる垂直方向に隣接した画素数分の各ラインの画素信号の全てを、一旦保持しておく必要がある。このため、垂直方向リサイズ部２１１２には、リサイズ処理に用いる複数ライ分の画素信号を一旦保持することができるだけの容量を持ったＳＲＡＭ２１１３を、ラインバッファとして備えている。以下の説明においては、ＳＲＡＭ２１１３を、「ラインバッファ２１１３」ともいう。

例えば、イメージセンサ１００が、ベイヤー配列のカラーフィルタが撮像面に貼付されている固体撮像装置であり、画像取得部２１０によるリサイズ処理において、隣接する同じ色の４画素が出力した画素信号を用いて垂直方向のリサイズ処理を行う場合を考える。ベイヤー配列のイメージセンサ１００においては、例えば、赤色（Ｒ）の画素や青色（Ｂ）の画素の画素信号は、１ラインおきに出力される。このため、垂直方向リサイズ部２１１２は、垂直方向に隣接する４画素が出力した画素信号を用いて垂直方向のリサイズ処理を行うために、７ライン分の画素信号を一旦保持するラインバッファ２１１３を備えることになる。

ここで、撮像装置１０に高解像度のイメージセンサ１００を備えた場合における、画像取得部２１０と画像取得部２２０とによるリサイズ処理について説明する。図６は、本実施形態の撮像装置１０に備えた画像取得部（画像取得部２１０および画像取得部２２０）が高解像度の画像に対するリサイズ処理を行う場合の動作の一例を説明する図である。図６には、現在の動画撮影において主流である１０８０Ｐ形式の解像度（１９２０画素×１０８０画素）の動画像よりも大きく、今後対応が求められると考えられる４Ｋ２Ｋサイズの解像度（４０９６画素×２１６０画素）の動画像を生成する場合の動作の一例を示している。

上述したように、撮像装置１０においては、画像取得部２１０と画像取得部２２０とが、イメージセンサ１００の撮像領域全体を２分割したそれぞれの撮像領域（撮像領域１および撮像領域２）の画素信号に対して処理を施したそれぞれの画像データ（第１の画像データまたは第２の画像データ）を、ＤＲＡＭ３００に転送する（書き込む）。従って、画像取得部２１０と画像取得部２２０とは、図６に示したように、イメージセンサ１００から取得した取得画像を左右に２分割したそれぞれの取得画像に対して、同じリサイズ処理を施す。

より具体的には、画像取得部２１０内の水平方向リサイズ部２１１１が、まず、２分割した取得画像の一方（例えば、左側の領域）を、水平方向が２０４８画素の大きさにリサイズ処理し、続いて、画像取得部２１０内の垂直方向リサイズ部２１１２が、垂直方向が２１６０画素の大きさにリサイズ処理し、画像取得部２１０内のＤＭＡ−ＩＦ部２１２が、リサイズ処理後の画像データを、ＤＲＡＭ３００に転送する（書き込む）。また、画像取得部２２０内の水平方向リサイズ部２１１１が、まず、２分割した取得画像の他方（例えば、右側の領域）を、水平方向が２０４８画素の大きさにリサイズ処理し、続いて、画像取得部２２０内の垂直方向リサイズ部２１１２が、垂直方向が２１６０画素の大きさにリサイズ処理し、画像取得部２２０内のＤＭＡ−ＩＦ部２１２が、リサイズ処理後の画像データを、ＤＲＡＭ３００に転送する（書き込む）。これにより、ＤＲＡＭ３００に格納された（書き込まれた）画像データは、図６に示したように、水平方向が４０９６画素で垂直方向が２１６０画素の大きさの画像データになる。

なお、画像取得部２１０と画像取得部２２０とのそれぞれがリサイズ処理をする際には、フィルタ処理などの別の処理も実施する。このため、画像取得部２１０と画像取得部２２０とのそれぞれが処理する領域に取得画像を２分割する際には、図７に示したように、分割したそれぞれの領域の取得画像で、画素信号が重複（オーバーラップ）する部分、いわゆる「のり代部分」を持つように分割した撮像領域１と撮像領域２とのそれぞれを、画素信号処理部２１１と画素信号処理部２２１とのそれぞれに割り当てる。なお、撮像領域１と撮像領域２とのそれぞれにおけるのり代部分に含まれる画素信号の量は、リサイズ処理におけるフィルタ処理で用いるフィルタに必要なタップ数に応じて決定される。これは、リサイズ処理した結果の画像の画角を、リサイズ処理をする前の画像の画角と同じにするためには、フィルタ処理においてフィルタのタップ数分の画素信号を余計に処理する必要があることによるものである。

このように、撮像装置１０では、イメージセンサ１００から取得した取得画像を分割し、画像取得部２１０と画像取得部２２０とが分割したそれぞれの取得画像を分担して同じ処理を施す。これにより、それぞれの画像取得部における処理の負荷を必要以上に大きくすることなく、高解像度の取得画像に対する処理を施した画像データを、ＤＲＡＭ３００に転送する（書き込む）ことができる。

また、上述したように、撮像装置１０では、画像取得部２１０内のＤＭＡ−ＩＦ部２１２と、画像取得部２２０内のＤＭＡ−ＩＦ部２２２とのそれぞれは、画像データのＤＲＡＭ３００への転送（書き込み）に、従来の撮像装置よりも２倍の時間を使用することができる。このため、画像取得部２１０および画像取得部２２０では、イメージセンサ１００から入力された画素信号を処理した結果の画像データをＤＲＡＭ３００に転送する（書き込む）際のタイミングを調整することができる。

次に、撮像装置１０に備えた画像取得部２１０および画像取得部２２０のそれぞれが、画像データをＤＲＡＭ３００に転送する（書き込む）際のタイミングを調整する動作について説明する。図８は、本実施形態の撮像装置１０に備えた画像取得部（画像取得部２１０および画像取得部２２０）が画像データを転送するタイミングを調整する場合の概略構成を示したブロック図である。図８に示した画像取得部２１０は、図１に示したように、画素信号処理部２１１と、ＤＭＡ−ＩＦ部２１２と、を備えている。そして、画像取得部２１０内の画素信号処理部２１１は、図４に示したように、水平方向リサイズ部２１１１と、垂直方向リサイズ部２１１２と、を備えている。図８示した画像取得部２１０は、垂直方向リサイズ部２１１２内に備えたＳＲＡＭ２１１３（ラインバッファ２１１３）を利用して、画像データをＤＲＡＭ３００に転送する（書き込む）際のタイミングを調整する場合の画像取得部の構成を示している。なお、本実施形態においては、撮像装置１０に同じ構成の２つの画像取得部２１０および画像取得部２２０を備えているが、図８には、画像取得部２１０のみを示している。

画像取得部２１０によるタイミング調整では、垂直方向リサイズ部２１１２に入力された、水平方向リサイズ部２１１１が水平方向のリサイズ処理を行った画像データをラインバッファ２１１３に書き込む速度と、垂直方向のリサイズ処理を行うためにラインバッファ２１１３に保持された画像データを読み出す速度とを変えることによって、画像取得部２１０がリサイズ処理を施した画像データをＤＭＡ−ＩＦ部２１２に出力するタイミングを変更する。

図８には、水平方向リサイズ部２１１１が水平方向のリサイズ処理を行った画像データをラインバッファ２１１３に書き込む際に同期するクロック信号ＣＬＫ＿Ａのタイミングから、ラインバッファ２１１３に保持された画像データを読み出す際に同期する、クロック信号ＣＬＫ＿Ａよりも遅いクロック信号ＣＬＫ＿Ｂのタイミングに変更される位置、すなわち、クロック載せ替えの位置を、模式的に示している。なお、クロック信号ＣＬＫ＿Ａは、例えば、イメージセンサ１００が画素信号を出力するクロック信号に相当する。また、クロック信号ＣＬＫ＿Ｂは、垂直方向リサイズ部２１１２がラインバッファ２１１３に保持された画像データを読み出す速度を変えることができるクロック信号であれば、クロック信号ＣＬＫ＿Ａの周期を変更したクロック信号や、クロック信号ＣＬＫ＿Ａの一部の波形を歯抜けにしたクロック信号など、いかなるクロック信号であってもよい。ただし、クロック信号ＣＬＫ＿Ｂの周期は、クロック信号ＣＬＫ＿Ａの２倍の周期以内である必要がある。これは、本実施形態では、画像取得部２１０内のＤＭＡ−ＩＦ部２１２が画像データをＤＲＡＭ３００に転送する（書き込む）ために使用することができる時間が、従来の撮像装置よりも２倍の時間であることによるものである。

なお、上記の説明においては、イメージセンサ１００から入力された画素信号に対して、画像取得部２１０がリサイズ処理を施す際に、垂直方向リサイズ部２１１２に備えたラインバッファ２１１３を利用してクロックの載せ替えを行う場合について説明したが、リサイズ処理を施さずにクロックの載せ替えを行う構成にすることもできる。この場合、クロックの載せ替えに利用するバッファ部は、垂直方向リサイズ部２１１２内に備えたラインバッファ２１１３であってもよいし、画素信号処理部２１１内に備えた上述したキズ補正、シェーディング補正、フィルタ処理などの前処理や、切り出し処理や、その他の処理を施す構成要素に備えたバッファであってもよい。

ここで、撮像装置１０において、画像取得部２１０および画像取得部２２０のそれぞれによるクロックの載せ替えについて説明する。図９は、本実施形態の撮像装置１０に備えた画像取得部（画像取得部２１０および画像取得部２２０）が画像データを転送するタイミングを調整する場合の一例を示したタイミングチャートである。なお、以下の説明においては、画像取得部２２０内の画素信号処理部２２１に備えた水平方向リサイズ部２１１１を水平方向リサイズ部２２１１とし、垂直方向リサイズ部２１１２を垂直方向リサイズ部２２１２として説明する。また、垂直方向リサイズ部２２１２に備えたＳＲＡＭ（ラインバッファ）を、ラインバッファ２２１３として説明する。

イメージセンサ１００は、上述したように、水平同期信号ＨＤに同期したタイミングで、撮像領域の行（ライン）毎に画素信号を順次出力する。図９には、イメージセンサ１００が１ライン目の画素信号と２ライン目の画素信号とを、水平同期信号ＨＤに同期して出力しているときのタイミングを示している。なお、イメージセンサ１００の他のラインの画素信号も図９に示したタイミングチャートに引き続き、同様のタイミングで出力される。

イメージセンサ１００が、水平同期信号ＨＤに応じて、１ライン目の画素信号を出力すると、画像取得部２１０内の画素信号処理部２１１は、クロック信号ＣＬＫ＿Ａに同期したタイミングで対応する撮像領域１の画素信号を取得し、水平方向リサイズ部２１１１が、取得した１ライン目の撮像領域１の画素信号に対して水平方向のリサイズ処理を行った画像データを、垂直方向リサイズ部２１１２に出力する。続いて、垂直方向リサイズ部２１１２は、クロック信号ＣＬＫ＿Ａに同期したタイミングで水平方向リサイズ部２１１１が水平方向のリサイズ処理を行った画像データをラインバッファ２１１３に書き込み、クロック信号ＣＬＫ＿Ｂに同期したタイミングで垂直方向のリサイズ処理を行った１ライン目の第１の画像データをＤＭＡ−ＩＦ部２１２に出力する。そして、ＤＭＡ−ＩＦ部２１２は、垂直方向リサイズ部２１１２から入力された１ライン目の第１の画像データを、ＤＲＡＭ３００に転送する（書き込む）。

また、イメージセンサ１００が、１ライン目の撮像領域２の画素信号を出力すると、画像取得部２２０内の画素信号処理部２２１は、クロック信号ＣＬＫ＿Ａに同期したタイミングで対応する撮像領域２の画素信号を取得し、水平方向リサイズ部２２１１が、取得した１ライン目の撮像領域２の画素信号に対して水平方向のリサイズ処理を行った画像データを、垂直方向リサイズ部２２１２に出力する。続いて、垂直方向リサイズ部２２１２は、クロック信号ＣＬＫ＿Ａに同期したタイミングで水平方向リサイズ部２２１１が水平方向のリサイズ処理を行った画像データをラインバッファ２２１３に書き込み、クロック信号ＣＬＫ＿Ｂに同期したタイミングで垂直方向のリサイズ処理を行った１ライン目の第２の画像データをＤＭＡ−ＩＦ部２２２に出力する。そして、ＤＭＡ−ＩＦ部２２２は、垂直方向リサイズ部２２１２から入力された１ライン目の第２の画像データを、ＤＲＡＭ３００に転送する（書き込む）。

続いて、イメージセンサ１００が、水平同期信号ＨＤに応じて、２ライン目の画素信号を出力すると、画像取得部２１０内の画素信号処理部２１１は、同様に、クロック信号ＣＬＫ＿Ａに同期したタイミングで対応する撮像領域１の画素信号を取得し、水平方向リサイズ部２１１１が、取得した２ライン目の撮像領域１の画素信号に対して水平方向のリサイズ処理を行った画像データを、垂直方向リサイズ部２１１２に出力する。続いて、垂直方向リサイズ部２１１２は、同様に、クロック信号ＣＬＫ＿Ａに同期したタイミングで水平方向リサイズ部２１１１が水平方向のリサイズ処理を行った画像データをラインバッファ２１１３に書き込み、クロック信号ＣＬＫ＿Ｂに同期したタイミングで垂直方向のリサイズ処理を行った２ライン目の第１の画像データをＤＭＡ−ＩＦ部２１２に出力する。そして、ＤＭＡ−ＩＦ部２１２は、同様に、垂直方向リサイズ部２１１２から入力された２ライン目の第１の画像データを、ＤＲＡＭ３００に転送する（書き込む）。

また、イメージセンサ１００が、２ライン目の撮像領域２の画素信号を出力すると、画像取得部２２０内の画素信号処理部２２１は、同様に、クロック信号ＣＬＫ＿Ａに同期したタイミングで対応する撮像領域２の画素信号を取得し、水平方向リサイズ部２２１１が、取得した２ライン目の撮像領域２の画素信号に対して水平方向のリサイズ処理を行った画像データを、垂直方向リサイズ部２２１２に出力する。続いて、垂直方向リサイズ部２２１２は、同様に、クロック信号ＣＬＫ＿Ａに同期したタイミングで水平方向リサイズ部２２１１が水平方向のリサイズ処理を行った画像データをラインバッファ２２１３に書き込み、クロック信号ＣＬＫ＿Ｂに同期したタイミングで垂直方向のリサイズ処理を行った２ライン目の第２の画像データをＤＭＡ−ＩＦ部２２２に出力する。そして、ＤＭＡ−ＩＦ部２２２は、同様に、垂直方向リサイズ部２２１２から入力された２ライン目の第２の画像データを、ＤＲＡＭ３００に転送する（書き込む）。

このように、撮像装置１０では、画素信号処理部２１１と画素信号処理部２２１とのそれぞれが、対応する撮像領域１または撮像領域２の画素信号をクロック信号ＣＬＫ＿Ａに同期したタイミングでイメージセンサ１００から取得し、リサイズ処理を施した第１の画像データまたは第２の画像データを、クロック信号ＣＬＫ＿Ｂに同期したタイミングでＤＭＡ−ＩＦ部２１２またはＤＭＡ−ＩＦ部２２２に出力する。そして、ＤＭＡ−ＩＦ部２１２とＤＭＡ−ＩＦ部２２２とのそれぞれは、画素信号処理部２１１または画素信号処理部２２１から入力された第１の画像データまたは第２の画像データを、ＤＲＡＭ３００に転送する（書き込む）。

これにより、撮像装置１０では、イメージセンサ１００から入力された画素信号に対してリサイズ処理を施した画像データをＤＲＡＭ３００に転送する（書き込む）際のタイミングを、クロック信号ＣＬＫ＿Ａに同期したタイミングからクロック信号ＣＬＫ＿Ｂに同期したタイミングに調整することができる。このことにより、撮像装置１０では、データバス４００の混雑をさらに抑えた状態で、高解像度の取得画像に対する処理を施した画像データを、ＤＲＡＭ３００に転送する（書き込む）ことができる。また、撮像装置１０では、一部の構成要素、すなわち、垂直方向リサイズ部２１１２に備えたラインバッファ２１１３以降の回路、および垂直方向リサイズ部２２１２に備えたラインバッファ２２１３以降の回路がクロック信号ＣＬＫ＿Ａよりも遅いクロック信号ＣＬＫ＿Ｂに同期したタイミングで動作することになるため、撮像装置１０の消費電力を削減することができる。

ここで、撮像装置１０における画像取得部２１０および画像取得部２２０のそれぞれの動作について説明する。図１０は、本実施形態の撮像装置１０に備えた画像取得部（画像取得部２１０および画像取得部２２０）が出力する画像データの一例を説明する図である。なお、図１０には、イメージセンサ１００と、イメージセンサ１００から出力された画素信号を取得する画像取得部２１０および画像取得部２２０のみを示している。

撮像装置１０では、イメージセンサ１００の撮像領域全体を左右に２分割することによって、図１０（ａ）に示したように、画像取得部２１０が２分割した左側の撮像領域１の画素信号を取得し、画像取得部２２０が２分割した右側の撮像領域２の画素信号を取得し、それぞれ取得した画素信号に応じた画像データ（第１の画像データおよび第２の画像データ）を、ＤＲＡＭ３００に転送する（書き込む）ことができる。

また、撮像装置１０では、イメージセンサ１００が高いフレームレートで高解像度の画素信号を出力する場合でも、イメージセンサ１００の撮像領域全体を左右に２分割し、それぞれの撮像領域の画素信号を、画像取得部２１０と画像取得部２２０とのそれぞれが取得することによって、高解像度の画素信号に応じた画像データを、ＤＲＡＭ３００に転送する（書き込む）ことができる。図１０（ｂ）には、画像取得部２１０が２分割した左側の２０００画素の第１の画像データを、画像取得部２２０が２分割した右側の２０００画素の第２の画像データを、それぞれＤＲＡＭ３００に転送する（書き込む）場合を示している。これにより、ＤＲＡＭ３００に格納された（書き込まれた）画像データは、４０００画素の大きさの画像データになる。

なお、撮像装置１０では、画像取得部２１０と画像取得部２２０とのそれぞれの動作を制御することによって、従来の撮像装置と同様の機能を実現することができる。例えば、撮像装置１０が、従来の撮像装置と同様に、広角（ワイド）の動画と望遠（テレ）の動画とを同時に撮影する場合には、図１０（ｃ）に示したように、画像取得部２１０が広角（ワイド）側の撮像領域の画素信号を取得し、画像取得部２２０が望遠（テレ）側の撮像領域の画素信号を取得し、それぞれ取得した画素信号に応じた画像データ（広角側の画像データおよび望遠側の画像データ）を、ＤＲＡＭ３００に転送する（書き込む）こともできる。

また、撮像装置１０では、データバス４００の混雑度が低く、１つの画像取得部で画素信号の取得と画像データの転送（書き込み）とを行うことができる場合には、画像取得部２１０または画像取得部２２０のいずれか一方の画像取得部を停止させることもできる。図１０（ｄ）には、画像取得部２２０の動作を停止（ＯＦＦ）し、画像取得部２１０でイメージセンサ１００が出力する画素信号を取得と画像データの転送（書き込み）とを行う場合を示している。これにより、撮像装置１０では、一方の画像取得部を停止させることによって、消費電力を削減することができる。

上記に述べたとおり、本発明を実施するための形態によれば、固体撮像装置が撮像する撮像領域全体を分割し、撮像装置に備えた複数の画像取得部のそれぞれが、対応する分割したそれぞれの撮像領域の画素信号を取得する。また、本発明を実施するための形態によれば、複数の画像取得部のそれぞれは、対応するそれぞれの撮像領域の画素信号に応じたそれぞれの画像データを、ＤＲＡＭに転送する（書き込む）。これにより、それぞれの画像取得部は、固体撮像装置が出力する画素信号を、従来の撮像装置が取得する画素信号の半分だけ取得すればよくなる。また、それぞれの画像取得部は、次に対応する撮像領域の画素信号が固体撮像装置から入力されるまでに、それぞれの画像データをＤＲＡＭに転送すれば（書き込めば）よく、画像データのＤＲＡＭへの転送（書き込み）に、従来の撮像装置よりも２倍の時間を使用することができる。このことにより、本発明を実施するための形態では、それぞれの画像取得部が余裕を持って画素信号の取得と画像データの転送（書き込み）と完了することができ、撮像装置に備える固体撮像装置が出力する画素信号の量が多くなった場合でも、撮像装置内のデータバスの混雑を抑えた状態で、固体撮像装置が出力する高いフレームレートで高解像度の画素信号に応じた画像データを、ＤＲＡＭに転送する（書き込む）ことができる。

また、本発明を実施するための形態では、それぞれの画像取得部が余裕を持って画素信号の取得と画像データの転送（書き込み）と完了することができるため、固体撮像装置から入力された画素信号を処理した結果の画像データをＤＲＡＭに転送する（書き込む）際のタイミングを調整する、すなわち、クロックの載せ替えをすることができる。このことにより、本発明を実施するための形態では、撮像装置内のデータバスの混雑をさらに抑えた状態で、撮像装置に備えた一部の構成要素の処理の負荷を抑えることができ、撮像装置の消費電力を削減することができる。これにより、商品価値の高い撮像装置を開発し、提供することができる。

なお、本実施形態においては、撮像装置１０内に２つの画像取得部２１０および画像取得部２２０を備え、イメージセンサ１００の撮像領域全体を２分割し、画像取得部２１０と画像取得部２２０とが、対応する撮像領域１の画素信号と撮像領域２の画素信号とを取得して、同じ処理を施した画像データをＤＲＡＭ３００に転送する（書き込む）場合について説明した。しかし、撮像装置に備える画像取得部の数や、イメージセンサ１００の撮像領域を分割する数は、本発明を実施するための形態に示した構成のみに限定されるものではない。例えば、撮像装置内に４つの画像取得部を備え、イメージセンサ１００の撮像領域全体を、撮像装置内に備えた画像取得部と同じ数の４分割にし、それぞれの画像取得部が、対応するそれぞれの撮像領域の画素信号を取得して、同じ処理を施した画像データをＤＲＡＭ３００に転送する（書き込む）構成にすることもできる。この場合には、それぞれの画像取得部は、イメージセンサ１００が出力する画素信号を、従来の撮像装置が取得する画素信号の１／４だけ取得すればよくなり、それぞれの画像取得部内のＤＭＡ−ＩＦ部は、それぞれの画像取得部内の画素信号処理部から入力された画像データを、次のラインの画像データが画素信号処理部から入力されるまでにＤＲＡＭ３００に転送すれば（書き込めば）よくなる。これにより、それぞれの画像取得部内のＤＭＡ−ＩＦ部は、画素信号処理部入力された１／４の画像データのＤＲＡＭ３００への転送（書き込み）を、従来の撮像装置に対して４倍の期間内に完了すればよくなり、つまり、撮像装置内に備えた画像取得部と同じ数の４倍の期間内に完了すればよくなり、さらに余裕を持って画像データの転送（書き込み）を完了することができる。

また、本実施形態においては、画像取得部２１０および画像取得部２２０がリサイズ処理を施す場合の構成について説明した。しかし、画像取得部２１０および画像取得部２２０におけるリサイズ処理は、撮像装置１０に備えた画像取得部２１０および画像取得部２２０が実施する処理の一例を示すものである。また、画像取得部２１０および画像取得部２２０が実施するリサイズ処理の方法は、本発明を実施するための形態に示した方法のみに限定されるものではない。従って、本発明の趣旨を逸脱しない範囲であれは、本実施形態に示したキズ補正、シェーディング補正、フィルタ処理などの前処理や、切り出し処理を含め、その他のいかなる処理を画像取得部２１０および画像取得部２２０が実施する場合であっても同様に、本発明の考え方を適用することができる。

また、本実施形態においては、垂直方向リサイズ部２１１２に備えたラインバッファ２１１３を利用してクロックの載せ替えを行うことによって、垂直方向リサイズ部２１１２に備えたラインバッファ以降の回路が同期するクロックに載せ替える場合について説明した。しかし、画像取得部２１０および画像取得部２２０においてクロックの載せ替えを行う位置は、一例を示すものであり、本発明の趣旨を逸脱しない範囲であれは、画像取得部２１０および画像取得部２２０において処理を行う構成要素に応じて、画像取得部２１０および画像取得部２２０内のいかなる位置であっても同様に、本発明の考え方を適用することができる。

なお、本実施形態における水平方向と垂直方向とを逆に考えることができる場合にも、同様に、本発明の考え方を適用することができる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１０・・・撮像装置
１００・・・イメージセンサ（固体撮像装置）
２１０，２２０・・・画像取得部
２１１，２２１・・・画素信号処理部
２１１１・・・水平方向リサイズ部
２１１２・・・垂直方向リサイズ部
２１１３・・・ＳＲＡＭ，ラインバッファ（バッファ部）
２１２，２２２・・・ＤＭＡ−ＩＦ部（画像データ転送部）
３００・・・ＤＲＡＭ（記憶部）
４００・・・データバス

Claims (12)

1. 二次元の行列状に配置された複数の画素を有し、複数の前記画素のそれぞれに入射された被写体光に応じた画素信号を出力する固体撮像装置と、
   前記固体撮像装置から出力された前記画素信号を取得し、該取得した画素信号に応じた画像データを出力する複数の画像取得部と、
   を備え、
   複数の前記画像取得部のそれぞれは、
   前記固体撮像装置に配置された全ての前記画素が前記被写体光を撮像する撮像領域を該画像取得部の数に分割した、いずれか１つの分割撮像領域の前記画素信号を取得し、該取得した前記分割撮像領域の画素信号に応じた画像データを、それぞれの分割画像データとして出力する、
   ことを特徴とする撮像装置。
2. 複数の前記画像取得部のそれぞれは、
   異なる前記分割撮像領域にそれぞれ対応し、
   それぞれの前記画像取得部は、
   前記固体撮像装置から順次出力されてくる前記画素信号の内、対応する前記分割撮像領域の前記画素信号のそれぞれを取得し、該取得した前記画素信号のそれぞれに応じた前記分割画像データを順次出力する、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記画像取得部は、
   取得した前記画素信号に対して予め定めた処理を施した処理画像データを生成して出力する画素信号処理部と、
   前記処理画像データを、対応する前記分割撮像領域の前記分割画像データとして、該画像取得部が接続されたデータバスに接続された記憶部に転送する画像データ転送部と、
   を備えることを特徴とする請求項２に記載の撮像装置。
4. 前記画素信号処理部は、
   対応する前記分割撮像領域の前記画素信号を第１のクロック信号に同期したタイミングで順次取得し、生成した前記処理画像データを第２のクロック信号に同期したタイミングで順次出力し、
   前記画像データ転送部は、
   前記処理画像データを、前記分割画像データとして、前記第２のクロック信号に同期したタイミングで前記記憶部に転送する、
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記第１のクロック信号の周期は、
   前記固体撮像装置が前記画素信号のそれぞれを順次出力する周期であり、
   前記第２のクロック信号の周期は、
   前記第１のクロック信号の周期を、当該撮像装置に備えた前記画像取得部の数で倍数した周期以内の周期である、
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記画素信号処理部は、
   前記第１のクロック信号に同期したタイミングで前記画素信号に応じた画像データを順次保持し、前記第２のクロック信号に同期したタイミングで保持した前記画像データを出力するバッファ部、
   を備えることを特徴とする請求項５に記載の撮像装置。
7. 前記画素信号処理部は、
   前記固体撮像装置の行方向に配置された前記画素に対応するそれぞれの前記画素信号に対してリサイズ処理を行った水平処理画像データを順次出力する水平方向リサイズ部と、
   前記水平処理画像データに対して、前記固体撮像装置に配置された前記画素における列方向にリサイズ処理を行った垂直処理画像データを順次出力する垂直方向リサイズ部と、
   を備え、
   前記垂直方向リサイズ部は、
   前記バッファ部を具備し、
   前記第１のクロック信号に同期したタイミングで前記水平処理画像データを順次、前記バッファ部に保持させ、
   前記第２のクロック信号に同期したタイミングで前記バッファ部から順次読み出した前記水平処理画像データに対して、前記列方向のリサイズ処理を行った前記垂直処理画像データを順次出力する、
   ことを特徴とする請求項６に記載の撮像装置。
8. 当該撮像装置は、
   ２つの前記画像取得部、
   を備え、
   前記撮像領域を２分割し、
   一方の前記画像取得部が、２分割した前記撮像領域の内、一方の前記分割撮像領域から取得した前記画素信号に応じた画像データを、第１の分割画像データとして出力し、
   他方の前記画像取得部が、２分割した前記撮像領域の内、他方の前記分割撮像領域から取得した前記画素信号に応じた画像データを、第２の分割画像データとして出力する、
   ことを特徴とする請求項１から請求項７のいずれか１の項に記載の撮像装置。
9. 当該撮像装置は、
   前記撮像領域を左右に２分割し、
   一方の前記画像取得部が、２分割した前記撮像領域の内、左側の前記分割撮像領域から取得した前記画素信号に応じた画像データを、第１の分割画像データとして出力し、
   他方の前記画像取得部が、２分割した前記撮像領域の内、右側の前記分割撮像領域から取得した前記画素信号に応じた画像データを、第２の分割画像データとして出力する、
   ことを特徴とする請求項８に記載の撮像装置。
10. 分割した左側の前記分割撮像領域と右側の前記分割撮像領域とのそれぞれは、
    前記撮像領域を分割する位置で互いに隣接している、
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記画像取得部のそれぞれが、取得した前記画素信号に対してフィルタ処理またはリサイズ処理を行うとき、
    分割した左側の前記分割撮像領域と右側の前記分割撮像領域とのそれぞれには、
    前記撮像領域を分割する位置で互いに隣接している部分に、左側の前記分割撮像領域と右側の前記分割撮像領域とのそれぞれに含まれる前記画素信号が互いに重複しているのり代領域を含む、
    ことを特徴とする請求項９に記載の撮像装置。
12. 前記のり代領域に含まれる前記画素信号の量は、
    前記画像取得部のそれぞれが行うフィルタ処理またはリサイズ処理に用いるフィルタのタップ数に応じて決定する、
    ことを特徴とする請求項１１に記載の撮像装置。

Images