JP2015154413A - 情報処理装置、情報処理方法、情報処理システム、および撮像装置 - Google Patents

Abstract

【課題】シャッタスピードの異なる複数の撮影画像を短時間で生成することができるようにする。【解決手段】本開示の情報処理装置は、第１の露光期間に基づく第１の画像と、前記第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成する画像処理部を備える。【選択図】図１

Description

本開示は、撮像機能を有する撮像装置および、そのような撮像装置に適用可能な情報処理装置、情報処理方法、情報処理システムに関する。

ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサを備える撮像装置において、電子シャッタの方式としては、グローバルシャッタ方式とローリングシャッタ方式とが知られている。グローバルシャッタ方式では、全ての画素に同時に電子シャッタ動作を行う。このため、グローバルシャッタ方式では露光のタイミングが全画素で同じである。ローリングシャッタ方式では、例えば１水平ラインずつ電子シャッタ動作を行う。このため、ローリングシャッタ方式では、露光のタイミングが例えば１水平ラインずつ、シフトした状態となる。ローリングシャッタ方式は、フォーカルプレーンシャッタ方式とも呼ばれる。

特開２０１３−０８１０６０号公報 特開２０１１−２４４３０９号公報

撮像装置において、例えば特許文献１に記載されているように、ダイナミックレンジ拡大のために、露光期間（シャッタスピード）の異なる複数の撮影画像を合成する方法が知られている。この方法では、時間的に重複しない期間に撮影された複数の撮影画像を合成するため、例えば被写体が移動する等した場合に合成後の画像品質が劣化してしまう。特許文献１に記載の方法では、イメージセンサからの信号の読み出しライン数を少なくし、読み出しスピードが早い動画モードしか対応できない。特許文献１に記載の方法で静止画を撮影すると、フォーカルプレーン歪みが発生し、画質が大幅に劣化してしまう。

特許文献２では、イメージセンサにおける第１のラインと、第１のラインとは異なる第２のラインとの２つのラインのシャッタスピードを異なる値にすることで、複数の撮影画像を生成する方法が提案されている。この方法では、イメージセンサにおける信号の蓄積期間の開始時間が揃えられるため、複数の撮影画像間で撮影開始のタイムラグは発生しないが、空間座標の異なる２ラインの画像を合成するため、不自然な模様が発生する可能性がある。また、合成前の撮影画像の垂直ライン数も半減してしまう。

本開示の目的は、シャッタスピードの異なる複数の撮影画像を短時間で生成することができる情報処理装置、情報処理方法、情報処理システム、および撮像装置を提供することにある。

本開示による情報処理装置は、第１の露光期間に基づく第１の画像と、第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成する画像処理部を備えたものである。

本開示による情報処理方法は、第１の露光期間に基づく第１の画像と、第１の露光期間を含む第２の露光期間に基づく第２の画像とを画像処理部によって生成するようにしたものである。

本開示による情報処理システムは、第１の露光期間に基づく第１の画像と、第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成する画像処理部を備えたものである。
なお、本開示による情報処理システムは、露光開始タイミングの異なる複数枚の撮影画像データを出力する撮像装置をさらに備えていてもよい。画像処理部は、撮像装置から出力された複数枚の撮影画像データに基づいて、第１の画像および第２の画像を生成するようにしてもよい。

本開示による撮像装置は、第１の露光期間に基づく第１の画像と、第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成する画像処理部を備えたものである。
なお、本開示による撮像装置は、露光開始タイミングの異なる複数枚の撮影画像データを出力するセンサ部をさらに備えていてもよい。画像処理部は、センサ部から出力された複数枚の撮影画像データに基づいて、第１の画像および第２の画像を生成するようにしてもよい。

本開示による情報処理装置、情報処理方法、情報処理システム、または撮像装置では、第１の露光期間に基づく第１の画像と、第１の露光期間を含む第２の露光期間に基づく第２の画像とが生成される。

本開示の情報処理装置、情報処理方法、情報処理システム、または撮像装置によれば、第１の露光期間に基づく第１の画像と、第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成するようにしたので、シャッタスピードの異なる複数の撮影画像を短時間で生成することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の一実施の形態に係る撮像装置の一構成例を示すブロック図である。 図１に示した撮像装置におけるイメージセンサの回路構成の一例を表す回路図である。 イメージセンサの回路を一層で構成した場合の構成図である。 イメージセンサの回路構成を積層構造にした場合の構成図である。 イメージセンサにおける露光タイミングの一例を示す説明図である。 撮影画像の合成処理の一例を表す流れ図である。 露光処理およびメモリ記録処理の一例を表す流れ図である。 図７に続く処理の一例を表す流れ図である。 撮影画像の生成処理の第１の例を示す説明図である。 撮影画像の生成処理の第２の例を示す説明図である。 撮影画像の生成処理の第３の例を示す説明図である。 第１の変形例に係る撮像装置の一構成例を示すブロック図である。 第２の変形例に係る情報処理装置および情報処理システムの一構成例を示すブロック図である。 メカシャッタを用いて撮影を行う第１の比較例における露光タイミングの一例を示す説明図である。 メカシャッタを用いずに、電子的なフォーカルプレーンシャッタ方式で撮影を行う第２の比較例における露光タイミングの一例を示す説明図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
＜１．構成＞
［１．１ 撮像装置の全体構成例］
［１．２ センサ部（イメージセンサ）の構成例］
＜２．動作＞
［２．１ 比較例の露光タイミングの例］
［２．２ 画像合成処理の例］
＜３．効果＞
＜４．変形例＞
［４．１ 第１の変形例］
［４．２ 第２の変形例］（情報処理システムの構成例）
＜５．その他の実施の形態＞

＜１．構成＞
［１．１ 撮像装置の全体構成例］
図１は、本開示の一実施の形態に係る撮像装置１の全体構成例を表すものである。
撮像装置１は、イメージセンサ１００と、カメラ制御・信号処理部２００と、インタフェース１１６とを備えている。インタフェース１１６は、カメラ制御・信号処理部２００とイメージセンサ１００との間で画像データおよび各種制御信号等の信号伝送を可能にするためのものである。

イメージセンサ１００は、画素アレイ部１１１と、周辺回路部１１０とを有している。周辺回路部１１０は、Ａ／Ｄ変換部（ＡＤＣ（Analog Digital Converter））１１３と、フレームメモリ１１５とを有している。カメラ制御・信号処理部２００は、合成処理部２０１と、カメラ信号処理部２０２と、カメラ制御部２０３とを有している。

図１では、画素アレイ部１１１と周辺回路部１１０とを別々の層に形成した積層構造の例を示しているが、画素アレイ部１１１と周辺回路部１１０とを同一の層に形成した構造であってもよい。さらに、周辺回路部１１０のＡＤＣ１１３とフレームメモリ１１５とを別々の層に形成した３層以上の多層構造であってもよい。画素アレイ部１１１と周辺回路部１１０は電気的に接続されており、画素アレイ部１１１の信号（光が光電変換された信号）が周辺回路部１１０に電気信号として伝達される。

画素アレイ部１１１は、行列状に配置された複数の画素を有する画素部となっている。画素アレイ部１１１は、１画素につき１色のカラーフィルタを持ったベイヤー配列や、１画素に複数色のカラーフィルタを持つ構造であっても良い。

ＡＤＣ１１３は、画素アレイ部１１１における各画素列に対して複数設けられている。ＡＤＣ１１３を所定エリアごとに複数設け、画素アレイ部１１１を所定単位のエリアに区切り、エリアごとにＡＤ変換を行うことで、並列処理能力を高め、全画素を高いフレームレートでＡＤ変換できる能力を持つことが好ましい。例えば全画素について２４０ｆｐｓの処理能力を持つことが好ましい。究極的には１画素につき１つのＡＤＣ１１３を搭載してもよい。

フレームメモリ１１５は、ＡＤＣ１１３から出力された全画素の画素データを複数フレーム分、高速で記録することのできるメモリ部となっている。イメージセンサ１００内に高速記録が可能なフレームメモリ１１５を持ち、イメージセンサ１００からカメラ制御・信号処理部２００にデータ出力するときはゆっくり転送することで、インタフェース１１６での転送律速を回避することができる。このため、伝送路の設計自由度が向上し、信号処理ＬＳＩ（大規模集積回路）の処理速度もそこまで速くなくとも良い。

合成処理部２０１は、後述するように、第１の露光期間に基づく第１の画像と、第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成する画像処理部となっている。イメージセンサ１００は、後述するように、露光開始タイミングの異なる複数枚の撮影画像データをフレームメモリ１１５を介して合成処理部２０１に出力可能となっている。合成処理部２０１は、後述するように、イメージセンサ１００から出力された、露光開始タイミングの異なる複数枚の撮影画像データに基づいて、第１の画像および第２の画像を生成する。

カメラ信号処理部２０２は、一般的なカメラ現像処理を行い、図示しないモニタや記録装置等に画像データを外部出力するようになっている。ここで、一般的なカメラ現像処理とは、例えば欠陥補正、黒レベル調整、デモザイク処理、ホワイトバランス処理、ガンマ補正処理、Ｊｐｅｇ圧縮等の処理であってもよい。

カメラ制御部２０３は、撮像装置１の全体制御や、ユーザの指示に基づく撮影条件の設定処理等を行うようになっている。

［１．２ センサ部（イメージセンサ）の構成例］
図２は、イメージセンサ１００の回路構成の一例を表している。図２に示されるイメージセンサ１００は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。

図２に示されるように、イメージセンサ１００は、制御部１０１と、画素アレイ部１１１と、選択部１１２と、ＡＤＣ１１３と、定電流回路部１１４とを有していてもよい。

制御部１０１は、イメージセンサ１００の各部を制御し、画像データ（画素信号）の読み出し等に関する処理を実行させる。

画素アレイ部１１１は、フォトダイオード等の光電変換素子を有する画素構成が行列（アレイ）状に配置される画素領域である。画素アレイ部１１１は、制御部１０１に制御されて、各画素で被写体の光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、各画素に蓄積された電荷を画素信号として出力する。

画素１２１および画素１２２は、その画素アレイ部１１１に配置される画素群の中の、上下に隣接する２画素を示している。画素１２１および画素１２２は、互いに同じカラム（列）の連続する行の画素である。図２の例の場合、画素１２１および画素１２２に示されるように、各画素の回路には、光電変換素子並びに４つのトランジスタが用いられている。なお、各画素の回路の構成は、任意であり、図２に示される例以外であってもよい。

一般的な画素アレイには、カラム（列）ごとに、画素信号の出力線が設けられる。画素アレイ部１１１の場合、１カラム（列）ごとに、２本（２系統）の出力線が設けられる。１カラムの画素の回路は、１行おきに、この２本の出力線に交互に接続される。例えば、上から奇数番目の行の画素の回路が一方の出力線に接続され、偶数番目の行の画素の回路が他方の出力線に接続される。図２の例の場合、画素１２１の回路は、第１の出力線（ＶＳＬ１）に接続され、画素１２２の回路は、第２の出力線（ＶＳＬ２）に接続される。

なお、図２においては、説明の便宜上、１カラム分の出力線のみ示されているが、実際には、各カラムに対して、同様に２本ずつ出力線が設けられる。各出力線には、そのカラムの画素の回路が１行おきに接続される。

選択部１１２は、画素アレイ部１１１の各出力線をＡＤＣ１１３の入力に接続するスイッチを有し、制御部１０１に制御されて、画素アレイ部１１１とＡＤＣ１１３との接続を制御する。つまり、画素アレイ部１１１から読み出された画素信号は、この選択部１１２を介してＡＤＣ１１３に供給される。

選択部１１２は、スイッチ１３１、スイッチ１３２、およびスイッチ１３３を有する。スイッチ１３１（選択ＳＷ）は、互いに同じカラムに対応する２本の出力線の接続を制御する。例えば、スイッチ１３１がオン（ＯＮ）状態になると、第１の出力線（ＶＳＬ１）と第２の出力線（ＶＳＬ２）が接続され、オフ（ＯＦＦ）状態になると切断される。

詳細については後述するが、イメージセンサ１００においては、各出力線に対してＡＤＣが１つずつ設けられている（カラムＡＤＣ）。したがって、スイッチ１３２およびスイッチ１３３がともにオン状態であるとすると、スイッチ１３１がオン状態になれば、同カラムの２本の出力線が接続されるので、１画素の回路が２つのＡＤＣに接続されることになる。逆に、スイッチ１３１がオフ状態になると、同カラムの２本の出力線が切断されて、１画素の回路が１つのＡＤＣに接続されることになる。つまり、スイッチ１３１は、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数を選択する。

詳細については後述するが、このようにスイッチ１３１が画素信号の出力先とするＡＤＣの数を制御することにより、イメージセンサ１００は、そのＡＤＣの数に応じてより多様な画素信号を出力することができる。つまり、イメージセンサ１００は、より多様なデータ出力を実現することができる。

スイッチ１３２は、画素１２１に対応する第１の出力線（ＶＳＬ１）と、その出力線に対応するＡＤＣとの接続を制御する。スイッチ１３２がオン（ＯＮ）状態になると、第１の出力線が、対応するＡＤＣの比較器の一方の入力に接続される。また、オフ（ＯＦＦ）状態になるとそれらが切断される。

スイッチ１３３は、画素１２２に対応する第２の出力線（ＶＳＬ２）と、その出力線に対応するＡＤＣとの接続を制御する。スイッチ１３３がオン（ＯＮ）状態になると、第２の出力線が、対応するＡＤＣの比較器の一方の入力に接続される。また、オフ（ＯＦＦ）状態になるとそれらが切断される。

選択部１１２は、制御部１０１の制御に従って、このようなスイッチ１３１乃至スイッチ１３３の状態を切り替えることにより、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数を制御することができる。

なお、スイッチ１３２やスイッチ１３３（いずれか一方若しくは両方）を省略し、各出力線と、その出力線に対応するＡＤＣとを常時接続するようにしてもよい。ただし、これらのスイッチによって、これらの接続・切断を制御することができるようにすることにより、１つの画素の信号の出力先とするＡＤＣ（カラムＡＤＣ）の数の選択の幅が拡がる。つまり、これらのスイッチを設けることにより、イメージセンサ１００は、より多様な画素信号を出力することができる。

なお、図２においては、１カラム分の出力線に対する構成のみ示されているが、実際には、選択部１１２は、カラムごとに、図２に示されるのと同様の構成（スイッチ１３１乃至スイッチ１３３）を有している。つまり、選択部１１２は、各カラムについて、制御部１０１の制御に従って、上述したのと同様の接続制御を行う。

ＡＤＣ１１３は、画素アレイ部１１１から各出力線を介して供給される画素信号を、それぞれＡ／Ｄ変換し、デジタルデータとして出力する。ＡＤＣ１１３は、画素アレイ部１１１からの出力線ごとのＡＤＣ（カラムＡＤＣ）を有する。つまり、ＡＤＣ１１３は、複数のカラムＡＤＣを有する。１出力線に対応するカラムＡＤＣは、比較器、Ｄ／Ａ変換器（ＤＡＣ）、およびカウンタを有するシングルスロープ型のＡＤＣである。

比較器は、そのＤＡＣ出力と画素信号の信号値とを比較する。カウンタは、画素信号とＤＡＣ出力が等しくなるまで、カウント値（デジタル値）をインクリメントする。比較器は、ＤＡＣ出力が信号値に達すると、カウンタを停止する。その後カウンタ１，２によってデジタル化された信号をＤＡＴＡ１およびＤＡＴＡ２よりイメージセンサ１００の外部に出力する。

カウンタは、次のＡ／Ｄ変換のためデータ出力後、カウント値を初期値（例えば０）に戻す。

ＡＤＣ１１３は、各カラムに対して２系統のカラムＡＤＣを有する。例えば、第１の出力線（ＶＳＬ１）に対して、比較器１４１（ＣＯＭＰ１）、ＤＡＣ１４２（ＤＡＣ１）、およびカウンタ１４３（カウンタ１）が設けられ、第２の出力線（ＶＳＬ２）に対して、比較器１５１（ＣＯＭＰ２）、ＤＡＣ１５２（ＤＡＣ２）、およびカウンタ１５３（カウンタ２）が設けられている。図示は省略しているが、ＡＤＣ１１３は、他のカラムの出力線に対しても同様の構成を有する。

ただし、これらの構成の内、ＤＡＣは、共通化することができる。ＤＡＣの共通化は、系統ごとに行われる。つまり、各カラムの互いに同じ系統のＤＡＣが共通化される。図２の例の場合、各カラムの第１の出力線（ＶＳＬ１）に対応するＤＡＣがＤＡＣ１４２として共通化され、各カラムの第２の出力線（ＶＳＬ２）に対応するＤＡＣがＤＡＣ１５２として共通化されている。なお、比較器とカウンタは、各出力線の系統ごとに設けられる。

定電流回路部１１４は、各出力線に接続される定電流回路であり、制御部１０１により制御されて駆動する。定電流回路部１１４の回路は、例えば、ＭＯＳ（Metal Oxide Semiconductor）トランジスタ等により構成される。この回路構成は任意であるが、図２においては、説明の便宜上、第１の出力線（ＶＳＬ１）に対して、ＭＯＳトランジスタ１６１（ＬＯＡＤ１）が設けられ、第２の出力線（ＶＳＬ２）に対して、ＭＯＳトランジスタ１６２（ＬＯＡＤ２）が設けられている。

制御部１０１は、例えばユーザ等の外部から要求を受け付けて読み出しモードを選択し、選択部１１２を制御して、出力線に対する接続を制御する。また、制御部１０１は、選択した読み出しモードに応じて、カラムＡＤＣの駆動を制御したりする。さらに、制御部１０１は、カラムＡＤＣ以外にも、必要に応じて、定電流回路部１１４の駆動を制御したり、例えば、読み出しのレートやタイミング等、画素アレイ部１１１の駆動を制御したりする。

つまり、制御部１０１は、選択部１１２の制御だけでなく、選択部１１２以外の各部も、より多様なモードで動作させることができる。したがって、イメージセンサ１００は、より多様な画素信号を出力することができる。

なお、図２に示される各部の数は、不足しない限り任意である。例えば、各カラムに対して出力線が３系統以上設けられ、各カラムに対してＡＤＣが３つ以上設けられるようにしてもよい。

なお、上述したように、各カラムに対して複数のＡＤＣを設けると、例えば、図３に示される１層の構造では、チップサイズが増大し、コストが増大してしまう恐れがある。そこで、図４に示されるように、チップの積層化をするようにしてもよい。

図４の場合、イメージセンサ１００は、画素アレイ部１１１が主に形成される画素チップ１００−１と、出力回路、周辺回路、フレームメモリ１１５およびＡＤＣ１１３等が形成される周辺回路チップ１００−２、およびパッド（ＰＡＤ）との複数チップにより構成される。画素チップ１００−１の画素アレイ部１１１の出力線とドライブ線が貫通ビア（ＶＩＡ）を介して周辺回路チップ１００−２の回路と接続されている。

このような構成とすることにより、チップサイズを小さくすることができ、コストを削減させることができる。また、配線層のスペースに余裕ができるので、配線の引き回しも容易になる。さらに、複数チップ化することにより、各チップをそれぞれ最適化することができる。例えば、画素チップにおいては、配線層による光学的な反射による量子効率の低下を防ぐためにより少ない配線層で低背化を実現し、周辺回路チップにおいては、配線間カップリング対策など最適化を可能にするために配線層の多層化を実現することができる。例えば、周辺回路チップの配線層を、画素チップの配線層よりも多層化することもできる。

＜２．動作＞
図５は、本実施の形態のイメージセンサ１００における露光タイミングの一例を示している。図５において横軸は時間、縦軸は画素アレイ部１１１における上下方向の画素ラインの位置を示している。図５の例では、露光期間ｔａ（例えば１／６０ｓ）での撮影を２枚連続して行う例を示している。時刻ｔ１〜ｔ２に１枚目の撮影、時刻ｔ２〜ｔ３に２枚目の撮影を行っている。

本実施の形態におけるイメージセンサ１００では、ＡＤＣ１１３の搭載数を多くすることで、画素アレイ部１１１における全画素の画素データの読み出し時間を短くし、後述する比較例のようなメカシャッタを使用せずとも、フォーカルプレーン歪みの少ない良好な画質を実現できる。また、メカシャッタを使用しないことで、メカ的な駆動時間が無くなり、連写した場合のレスポンス低下も抑えられる。Ｎ枚目のシャッタを切り終えてから、Ｎ＋１枚目のシャッタを切るまでの時間を短くできる。

［２．１ 比較例の露光タイミングの例］
ここで、図５に示した本実施の形態における露光タイミングに対する比較例の露光タイミングの例を説明する。

図１４は、メカシャッタを用いて撮影を行う第１の比較例における露光タイミングの一例を示している。図１５は、メカシャッタを用いない、第２の比較例における露光タイミングの一例を示している。第１および第２の比較例では、画素アレイ部１１１においてＡＤＣ１１３を例えば１列につき１つのみ搭載している構成となっている。図１４および図１５において横軸は時間、縦軸は画素アレイ部１１１における上下方向のライン位置を示している。図１４および図１５では、図５の撮影例に対応させて、露光期間ｔａ（例えば１／６０ｓ）での撮影を２枚連続して行う例を示している。

図１４に示した第１の比較例では、全画素を複数回露光する場合は、例えば、１回シャッタを切ったあと，２回目のシャッタを切るまでにタイムラグが発生する。また、ＡＤＣ１１３の搭載数が少なく、画素アレイ部１１１における全画素の画素データの読み出しスピードが非常に遅くなっている。このため、メカシャッタを閉じている間にゆっくり画素データを読み出すことでフォーカルプレーン歪みを回避している。また、メカシャッタの先膜から後膜までの時間間隔を同じにすることで、画素の上下での露光期間を同じにすることができる。メカシャッタのスピードを速く、例えば１／２４０ｓにすることでフォーカルプレーン歪みを小さくすることができる。

しかしながら、図１４に示した第１の比較例では、１枚目の撮影画像データを得るための露光期間と２枚目の撮影画像データを得るための露光期間との間の期間において、画素データを読み出すための時間が必要となるため、撮影不能期間が生ずる。このため，この２枚の撮影画像データを重ね合わせて例えば１／３０ｓの合成画像を得ようとしても、動物体が不自然につながったり、合成後の撮影開始から終了までの時間が実際には１／３０ｓより長くなってしまう。

図１５に示した第２の比較例では、ＡＤＣ１１３の搭載数が少なく、かつメカシャッタを用いていないため、画素の上下で、露光タイミングおよび画素データの読み出しタイミングに大きな差が生じる。例えば、画素の上から下までの露光スピードおよび読み出しスピードは１／１０ｓ〜１／２０程度であり、これにより、フォーカルプレーン歪みが生ずる。

［２．２ 画像合成処理の例］
図６は、本実施の形態に係る撮像装置１における撮影画像の合成処理の流れの一例を表している。カメラ制御部２０３は、まず、露光期間と撮影枚数との撮影条件を決定する（ステップＳ１１）。撮影条件は、撮像装置１側で自動的に行ってもよいし、ユーザが指定したものであってもよい。イメージセンサ１００では、その撮影条件での露光処理と、それによって得られたＮ枚の撮影画像データのフレームメモリ１１５へのメモリ記録処理とを行う（ステップＳ１２）。次に、フレームメモリ１１５から合成処理部２０１へのデータ転送を行う（ステップＳ１３）。フレームメモリ１１５には、合成処理に必要な複数の撮影画像データが合成処理部２０１に転送される。合成処理部２０１では、複数の撮影画像データに基づいて画像の合成処理を行う（ステップＳ１４）。

ここで、図６のステップＳ１２において、撮像装置１では、例えばフレームメモリ１１５に第１の露光期間内に露光された１枚目の第１の撮影画像データを記録する処理と、後述するような２枚目の第２の撮影画像データを得るための露光処理とを並列して行う。

このため、図６のステップＳ１２では例えば図７および図８に示したような処理を行う。なお、図８は、図７に続く処理の一例を表している。

まず、イメージセンサ１００において１枚目の撮影画像の露光を開始する（ステップＳ２１）。１枚目の撮影画像の露光が終了（ステップＳ２２）すると、１枚目の撮影画像データのフレームメモリ１１５へのメモリ記録の開始処理（ステップＳ２３Ａ１）およびメモリ記録の終了処理を行う（ステップＳ２４Ａ１）。また、１枚目の撮影画像データのメモリ記録処理と並列して、２枚目の撮影画像の露光の開始処理（ステップＳ２３Ｂ１）および露光の終了処理を行う（ステップＳ２４Ｂ１）。

以降、図８に示したように、Ｎ−１枚目の撮影画像データのフレームメモリ１１５へのメモリ記録の開始処理（ステップＳ２３Ａｎ−１）およびメモリ記録の終了処理を行う（ステップＳ２４Ａｎ−１）。また、Ｎ−１枚目の撮影画像データのメモリ記録処理と並列して、Ｎ枚目の撮影画像の露光の開始処理（ステップＳ２３Ｂｎ−１）および露光の終了処理を行う（ステップＳ２４Ｂｎ−１）。

Ｎ枚目の撮影画像の露光が終了（ステップＳ２４Ｂｎ−１）すると、Ｎ枚目の撮影画像データのフレームメモリ１１５へのメモリ記録の開始処理（ステップＳ２３Ａｎ）およびメモリ記録の終了処理を行う（ステップＳ２４Ａｎ）。これにより、Ｎ枚の撮影画像データがフレームメモリ１１５に記録される。

（撮影画像の生成処理の具体例）
図９〜図１１を参照して、所望とする撮影画像の生成処理の具体例を説明する。図９〜図１１において、横軸は時間、縦軸は画素アレイ部１１１における上下方向の画素ラインの位置を示している。

図９は、撮影画像の生成処理の第１の例を示している。図９の例では、図６のステップＳ１１における撮影条件をユーザが指定した場合を想定している。例えば、ユーザによって所望の露光期間（シャッタスピード）と撮影枚数とが指定される。撮像装置１では、ユーザによって指定された撮影条件を満たすように露光処理、および画像処理を行う。ただし、撮影枚数の上限はフレームメモリ１１５の大きさに依存する。

ユーザによって指定されたＮ枚の所望の画像の露光期間を、期間の短い側から順にＳｔ１，Ｓｔ２，…Ｓｔｎとする。これらの所望の露光期間Ｓｔ１，Ｓｔ２，…Ｓｔｎの画像を生成するために、撮像装置１では、実際に撮影する際の露光期間を以下のように設定する。
実際に撮影する１枚目の露光期間：Ｓｔ１、
実際に撮影する２枚目の露光期間：Ｓｔ２−Ｓｔ１、
…、
実際に撮影するＮ枚目の露光期間：Ｓｔｎ−Ｓｔｎ−１

図９では、ユーザによって所望の画像として、露光期間Ｓｔ１，Ｓｔ２，Ｓｔ３の３枚の画像が指定された場合の例を示している。例えば露光期間Ｓｔ１が１／６０ｓの第１の画像と、露光期間Ｓｔ２が１／５０ｓの第２の画像と、露光期間Ｓｔ３が１／４０ｓの第３の画像とをユーザが指定した場合を示している。

この場合、撮像装置１では、第１の露光期間Ｓｔ１での撮影と、第２の露光期間Ｓｔ２と第１の露光期間Ｓｔ１との差分期間（Ｓｔ２−Ｓｔ１）での撮影と、第３の露光期間Ｓｔ３と第２の露光期間Ｓｔ２との差分期間（Ｓｔ３−Ｓｔ２）での撮影とを行う。これにより、フレームメモリ１１５には第１の露光期間Ｓｔ１で撮影された第１の撮影画像データと、差分期間（Ｓｔ２−Ｓｔ１）で撮影された第２の撮影画像データと、差分期間（Ｓｔ３−Ｓｔ２）で撮影された第３の撮影画像データとが記録される。

合成処理部２０１は、ユーザが指定した所望の第１の露光期間Ｓｔ１の第１の画像を、第１の露光期間Ｓｔ１で撮影された第１の撮影画像データに基づいて生成する。また、合成処理部２０１は、ユーザが指定した所望の第２の露光期間Ｓｔ２の第２の画像を、第１の撮影画像データと第２の撮影画像データとを合成することにより生成する。

このようにして得られた最終的な複数の画像では、露光期間として、少なくとも第１の露光期間Ｓｔ１が重複している。すなわち、本実施の形態では、露光期間の異なる複数の撮影画像を生成する際に、部分的に撮影時間を重複させることができる。これにより、全体的な撮影時間を短縮することができる。

なお、合成処理部２０１において、ダイナミックレンジを拡大した画像を生成するようにしてもよい。例えば、第１の露光期間Ｓｔ１の第１の画像と、第２の露光期間Ｓｔ２の第２の画像とを合成することにより、ダイナミックレンジが拡大された合成画像を得ることができる。

また、合成処理部２０１における撮影画像データの合成方法としては、以下のような方法がある。

方法１）単純合成
位置合わせをせず、単純に指定枚数分の撮影画像データの加算を行う。

方法２）位置合わせ
フレーム間で動きベクトル等を算出し、位置やあおりを合わせ、精度良く加算しても良い。

方法３）ダイナミックレンジ拡大
加算後に飽和レベルを超えてしまう場合は、飽和を超えたレベルの階調を失わず合成することで。ダイナミックレンジの拡大も見込める。

図１０は、撮影画像の生成処理の第２の例を示している。図１０の例では、図６のステップＳ１１における撮影条件を撮像装置１側で自動的に行う場合を想定している。例えば、撮像装置１側で既知の手法により、推奨シャッタスピードを決定する。そして、例えば推奨シャッタスピードから±０．３ＥＶの撮影画像を最終的に生成する。なお、ＥＶ値は任意であり、ユーザによって指定されたものであってもよい。

この第２の例においても、画像の生成処理および合成処理は基本的に上記第１の例と同様である。一番早いシャッタスピードを最初に撮影し、順次差分を撮影していく。撮影順番は−０．３，±０，＋０．３の順となる。フレームメモリ１１５に十分余裕がある場合はＥＶ値は細かく割り振っても良い。
例えば、
−０．３，−０．２，−０．１，±０，＋０．１，＋０．２，＋０．３
のように割り振っても良い。合成処理部２０１で合成する際には、撮像装置１側で適切なシャッタスピードを１枚以上指定しても良いが（例えば−０．３〜＋０．３ＥＶまで０．１ＥＶ刻みで合計７枚保存）、ユーザが選べるようにしても良い．

図１０の例では、推奨シャッタスピードが１／１００ｓの場合で、ＥＶ値の変動を全てシャッタスピード変化とした場合、−０．３，−０．２，−０．１，０，＋０．１，＋０．２，＋０．３のシャッタスピードはそれぞれ、１／１３０ｓ，１／１２０ｓ，１／１１０ｓ，１／１００ｓ，１／９０ｓ，１／８０ｓ，１／７０ｓとなる。このシャッタスピードを早いものから撮影していく。

図１０の例では、撮像装置１で実際に撮影する際の露光期間は以下のようになる。
実際に撮影する１枚目の露光期間：Ｓｔ１＝１／１３０ｓ
実際に撮影する２枚目の露光期間：Ｓｔ２−Ｓｔ１＝（１／１３０−１／１２０）ｓ
実際に撮影する３枚目の露光期間：Ｓｔ３−Ｓｔ２＝（１／１２０−１／１１０）ｓ
実際に撮影する４枚目の露光期間：Ｓｔ４−Ｓｔ３＝（１／１１０−１／１００）ｓ
実際に撮影する５枚目の露光期間：Ｓｔ５−Ｓｔ４＝（１／１００−１／９０）ｓ
実際に撮影する６枚目の露光期間：Ｓｔ６−Ｓｔ５＝（１／９０−１／８０）ｓ
実際に撮影する７枚目の露光期間：Ｓｔ７−Ｓｔ６＝（１／８０−１／７０）ｓ

図１１は、撮影画像の生成処理の第３の例を示している。フレームメモリ１１５に記録する複数枚の撮影画像データは、あらかじめ決められた所定の時間間隔Ｓｔ０で露光することにより得られた画像データであってもよい。例えば短いシャッタスピードで高速に多数枚撮影し、多数枚の撮影画像データをフレームメモリ１１５に記録する。合成処理部２０１では、多数枚の撮影画像データを適宜加算して所望のシャッタスピードの画像を生成する。

図１１では、所定の時間間隔Ｓｔ０を１／１００００ｓとして、１０００枚の撮影画像データをフレームメモリ１１５に記録する例を示している。これにより、撮影画像データを例えば１０枚加算すれば１／１０００ｓのシャッタスピード（露光期間Ｓｔ１０）で撮影した画像と同等のものが得られる。１０００枚加算すれば１／１０ｓのシャッタスピード（露光期間Ｓｔ１０００）で撮影した画像と同等のものが得られる。

＜３．効果＞
以上のように、本実施の形態によれば、第１の露光期間に基づく第１の画像と、第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成するようにしたので、シャッタスピードの異なる複数の撮影画像を短時間で生成することができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態および変形例についても同様である。

＜４．変形例＞
［４．１ 第１の変形例］
図１２は、第１の変形例に係る撮像装置１Ａの一構成例を示している。図１２の撮像装置１Ａのように、合成処理部２０１をイメージセンサ１００内に設けるようにしてもよい。

［４．２ 第２の変形例］（情報処理システムの構成例）
図１３は、第２の変形例に係る情報処理装置２０１および情報処理システムの一構成例を示している。図１３に示したように、撮像装置１Ｂとは別の情報処理装置２内に合成処理部２０１を設けた情報処理システムを構築してもよい。撮像装置１Ｂと情報処理装置２との接続は、無線または有線によるネットワーク接続であってもよい。また、いわゆるクラウドコンピューティングのような形態で合成処理部２０１の処理を行ってもよい。例えば、インターネット等のネットワーク上のサーバで合成処理部２０１の処理を行うような形態であってもよい。

＜５．その他の実施の形態＞
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。

例えば、本技術は以下のような構成を取ることができる。
（１）
第１の露光期間に基づく第１の画像と、前記第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成する画像処理部
を備える情報処理装置。
（２）
前記画像処理部は、露光開始タイミングの異なる複数枚の撮影画像データに基づいて、前記第１の画像および前記第２の画像を生成する
上記（１）に記載の情報処理装置。
（３）
前記画像処理部は、
前記第１の画像を、前記第１の露光期間内に撮影された第１の撮影画像データに基づいて生成し、
前記第２の画像を、前記第１の撮影画像データと、前記第２の露光期間と前記第１の露光期間との差分期間内に撮影された少なくとも１枚の第２の撮影画像データとを合成することにより生成する
上記（１）または（２）に記載の情報処理装置。
（４）
前記画像処理部は、前記第１の画像と前記第２の画像とを合成した第３の画像をさらに生成する
上記（１）ないし（３）のいずれか１つに記載の情報処理装置。
（５）
前記撮影画像データを複数枚、記録することが可能なメモリ部をさらに備える
上記（２）または（３）に記載の情報処理装置。
（６）
前記複数枚の撮影画像データは、あらかじめ決められた所定の時間間隔で露光することにより得られた画像データである
上記（２）に記載の情報処理装置。
（７）
前記複数枚の撮影画像データは、前記第１の露光期間と、前記第２の露光期間と前記第１の露光期間との差分期間とに基づいて求められた時間間隔で露光することにより得られた画像データである
上記（２）に記載の情報処理装置。
（８）
第１の露光期間に基づく第１の画像と、前記第１の露光期間を含む第２の露光期間に基づく第２の画像とを画像処理部によって生成する
情報処理方法。
（９）
第１の露光期間に基づく第１の画像と、前記第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成する画像処理部
を備える情報処理システム。
（１０）
露光開始タイミングの異なる複数枚の撮影画像データを出力する撮像装置をさらに備え、
前記画像処理部は、前記撮像装置から出力された前記複数枚の撮影画像データに基づいて、前記第１の画像および前記第２の画像を生成する
上記（９）に記載の情報処理システム。
（１１）
第１の露光期間に基づく第１の画像と、前記第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成する画像処理部
を備える撮像装置。
（１２）
露光開始タイミングの異なる複数枚の撮影画像データを出力するセンサ部をさらに備え、
前記画像処理部は、前記センサ部から出力された前記複数枚の撮影画像データに基づいて、前記第１の画像および前記第２の画像を生成する
上記（１１）に記載の撮像装置。
（１３）
前記センサ部内に、
行列状に配置された複数の画素を有する画素部と、
前記画素部における各画素列に対して複数設けられたＡ／Ｄ変換部とを含む
上記（１２）に記載の撮像装置。
（１４）
前記センサ部内にさらに、
前記Ａ／Ｄ変換部から出力された画素データを複数フレーム分、記録するメモリ部を含む
上記（１３）に記載の撮像装置。
（１５）
前記メモリ部に、前記センサ部で前記第１の露光期間内に露光された第１の撮影画像データを記録する処理と、
前記センサ部において、前記第２の露光期間と前記第１の露光期間との差分期間内に第２の撮影画像データを得るための露光処理とを並列して行う
上記（１４）に記載の撮像装置。

１，１Ａ，１Ｂ…撮像装置、２…情報処理装置、１００…イメージセンサ、１０１…制御部、１１０…周辺回路部、１１１…画素アレイ部、１１２…選択部、１１３…ＡＤＣ、１１４…定電流回路部、１１５…フレームメモリ、１１６…インタフェース、１２１，１２２…画素、１３１〜１３３…スイッチ、１４１…比較器、１４２…ＤＡＣ、１４３…カウンタ、１５１…比較器、１５２…ＤＡＣ、１５３…カウンタ、１６１，１６２…ＭＯＳトランジスタ、２００…カメラ制御・信号処理部、２０１…合成処理部、２０２…カメラ信号処理部、２０３…カメラ制御部。

Claims (15)

1. 第１の露光期間に基づく第１の画像と、前記第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成する画像処理部
   を備える情報処理装置。
2. 前記画像処理部は、露光開始タイミングの異なる複数枚の撮影画像データに基づいて、前記第１の画像および前記第２の画像を生成する
   請求項１に記載の情報処理装置。
3. 前記画像処理部は、
   前記第１の画像を、前記第１の露光期間内に撮影された第１の撮影画像データに基づいて生成し、
   前記第２の画像を、前記第１の撮影画像データと、前記第２の露光期間と前記第１の露光期間との差分期間内に撮影された少なくとも１枚の第２の撮影画像データとを合成することにより生成する
   請求項１に記載の情報処理装置。
4. 前記画像処理部は、前記第１の画像と前記第２の画像とを合成した第３の画像をさらに生成する
   請求項１に記載の情報処理装置。
5. 前記撮影画像データを複数枚、記録することが可能なメモリ部をさらに備える
   請求項２に記載の情報処理装置。
6. 前記複数枚の撮影画像データは、あらかじめ決められた所定の時間間隔で露光することにより得られた画像データである
   請求項２に記載の情報処理装置。
7. 前記複数枚の撮影画像データは、前記第１の露光期間と、前記第２の露光期間と前記第１の露光期間との差分期間とに基づいて求められた時間間隔で露光することにより得られた画像データである
   請求項２に記載の情報処理装置。
8. 第１の露光期間に基づく第１の画像と、前記第１の露光期間を含む第２の露光期間に基づく第２の画像とを画像処理部によって生成する
   情報処理方法。
9. 第１の露光期間に基づく第１の画像と、前記第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成する画像処理部
   を備える情報処理システム。
10. 露光開始タイミングの異なる複数枚の撮影画像データを出力する撮像装置をさらに備え、
    前記画像処理部は、前記撮像装置から出力された前記複数枚の撮影画像データに基づいて、前記第１の画像および前記第２の画像を生成する
    請求項９に記載の情報処理システム。
11. 第１の露光期間に基づく第１の画像と、前記第１の露光期間を含む第２の露光期間に基づく第２の画像とを生成する画像処理部
    を備える撮像装置。
12. 露光開始タイミングの異なる複数枚の撮影画像データを出力するセンサ部をさらに備え、
    前記画像処理部は、前記センサ部から出力された前記複数枚の撮影画像データに基づいて、前記第１の画像および前記第２の画像を生成する
    請求項１１に記載の撮像装置。
13. 前記センサ部内に、
    行列状に配置された複数の画素を有する画素部と、
    前記画素部における各画素列に対して複数設けられたＡ／Ｄ変換部とを含む
    請求項１２に記載の撮像装置。
14. 前記センサ部内にさらに、
    前記Ａ／Ｄ変換部から出力された画素データを複数フレーム分、記録するメモリ部を含む
    請求項１３に記載の撮像装置。
15. 前記メモリ部に、前記センサ部で前記第１の露光期間内に露光された第１の撮影画像データを記録する処理と、
    前記センサ部において、前記第２の露光期間と前記第１の露光期間との差分期間内に第２の撮影画像データを得るための露光処理とを並列して行う
    請求項１４に記載の撮像装置。

Images