JP2020108022A - 撮像装置、撮像システム、移動体及び撮像装置の制御方法 - Google Patents

Abstract

【課題】露光時間の異なる複数の画像を取得する場合において、画質を維持しつつフリッカ現象の影響を低減することができる撮像装置を提供すること。【解決手段】入射光に応じた電荷を生成する光電変換部と、前記電荷を保持する電荷保持部と、前記光電変換部から前記電荷保持部に前記電荷を転送する電荷転送部と、前記電荷保持部に転送された電荷に基づく信号を出力する出力部と、第１露光時間において前記光電変換部で生じた電荷に基づく第１画像データを取得する第１取得部と、前記電荷転送部によって前記光電変換部から前記電荷保持部に複数回にわたって転送された電荷の露光時間の合計であり、かつ前記第１露光時間よりも長い第２露光時間において前記光電変換部で生じた電荷に基づく第２画像データを取得する第２取得部と、前記第２画像データの階調値を減少させて第３画像データを生成する圧縮部と、を備える。【選択図】図３

Description

本発明は、撮像装置、撮像システム、移動体及び撮像装置の制御方法に関する。

特許文献１には、互いに異なる露光量で複数の画像を撮影し、当該複数の画像を合成することによりダイナミックレンジが拡張された画像を生成することができる撮像装置が開示されている。

特開２０１３−７４３３４号公報

特許文献１に記載されているような露光時間の異なる複数の画像を撮影することができる撮像装置において、撮影された画像の明るさが光源の点滅に応じて変動するフリッカ現象が問題となり得る。

本発明は、露光時間の異なる複数の画像を取得する場合において、画質を維持しつつフリッカ現象の影響を低減することが可能な撮像装置、撮像システム、移動体及び撮像装置の制御方法を提供することを目的とする。

本発明の一観点によれば、入射光に応じた電荷を生成する光電変換部と、前記電荷を保持する電荷保持部と、前記光電変換部から前記電荷保持部に前記電荷を転送する電荷転送部と、前記電荷保持部に転送された電荷に基づく信号を出力する出力部と、第１露光時間において前記光電変換部で生じた電荷に基づく第１画像データを取得する第１取得部と、前記電荷転送部によって前記光電変換部から前記電荷保持部に複数回にわたって転送された電荷の露光時間の合計であり、かつ前記第１露光時間よりも長い第２露光時間において前記光電変換部で生じた電荷に基づく第２画像データを取得する第２取得部と、前記第２画像データの階調値を減少させて第３画像データを生成する圧縮部と、を備えることを特徴とする撮像装置が提供される。

本発明の他の一観点によれば、入射光に応じた電荷を生成する光電変換部と、前記電荷を保持する電荷保持部と、前記光電変換部から前記電荷保持部に前記電荷を転送する電荷転送部と、前記電荷保持部に転送された電荷に基づく信号を出力する出力部と、を備える撮像装置の制御方法であって、第１露光時間において前記光電変換部で生じた電荷に基づく第１画像データを取得するステップと、前記電荷転送部によって前記光電変換部から前記電荷保持部に複数回にわたって転送された電荷の露光時間の合計であり、かつ前記第１露光時間よりも長い第２露光時間において前記光電変換部で生じた電荷に基づく第２画像データを取得するステップと、前記第２画像データの階調値を減少させて第３画像データを生成するステップと、を備えることを特徴とする撮像装置の制御方法が提供される。

本発明によれば、露光時間の異なる複数の画像を取得する場合において、画質を維持しつつフリッカ現象の影響を低減することが可能な撮像装置、撮像システム、移動体及び撮像装置の制御方法が提供される。

第１実施形態に係る撮像素子の概略構成を示すブロック図である。 第１実施形態に係る画素の回路構成を示す図である。 第１実施形態に係る撮像装置の概略構成を示すブロック図である。 第１実施形態に係る撮像装置の動作を示すタイミング図である。 第１実施形態に係る撮像装置の動作を示すタイミング図である。 第１実施形態に係るダイナミックレンジ拡大処理における照度と出力レベルの関係の例を示すグラフである。 第１比較例に係るダイナミックレンジ拡大処理を説明する模式図である。 第２比較例に係るダイナミックレンジ拡大処理を説明する模式図である。 第１実施形態に係るダイナミックレンジ拡大処理を説明する模式図である。 第１実施形態に係る撮像装置の動作を示すフローチャートである。 第２実施形態に係る画素の回路構成を示す図である。 第２実施形態に係る撮像装置の動作を示すタイミング図である。 第３実施形態に係る撮像システムの構成例を示すブロック図である。 第４実施形態に係る撮像システム及び移動体の構成例を示す図である。

以下、図面を参照しつつ、本発明の実施形態を説明する。複数の図面にわたって同一の要素又は対応する要素には共通の符号が付されており、その説明は省略又は簡略化されることがある。

［第１実施形態］
図１は、本実施形態に係る撮像素子１００の概略構成を表すブロック図である。撮像素子１００は、画素アレイ１１０、垂直走査回路１２０、制御回路１３０、列増幅回路１４０、水平走査回路１５０及び出力回路１６０を備える。画素アレイ１１０は、複数の行及び複数の列をなすように配置された複数の画素１１１を備える。

制御回路１３０は、垂直走査回路１２０、列増幅回路１４０及び水平走査回路１５０の各部の駆動タイミングを制御する。垂直走査回路１２０は、画素１１１に含まれる複数のトランジスタをオン（導通状態）又はオフ（非導通状態）に制御するための制御信号を供給する。垂直走査回路１２０は、シフトレジスタ、アドレスデコーダ等の論理回路により構成され得る。画素アレイ１１０の各列には列信号線１１２が設けられており、画素１１１からの信号が列ごとに列信号線１１２に読み出される。

列増幅回路１４０は、列信号線１１２に出力された信号の増幅処理、画素１１１のリセット時の信号及び光電変換時の信号に基づく相関二重サンプリング処理等の処理を行う。水平走査回路１５０は、列増幅回路１４０の増幅器に接続されたスイッチをオン又はオフに制御するための制御信号を供給する。これにより、水平走査回路１５０は、選択した列の信号を出力回路１６０に出力させる制御を行う。

出力回路１６０は、バッファアンプ、差動増幅器等から構成され、列増幅回路１４０からの信号を撮像素子１００の外部の信号処理部に出力する。なお、列増幅回路１４０は、偽信号成分の補正などの信号処理を行う信号処理回路等の機能を含んでもよい。また、ＡＤ変換回路を更に撮像素子１００に設けることにより、撮像素子１００がデジタルの信号を出力する構成であってもよい。

図２は、第１実施形態に係る画素１１１の回路構成を示す図である。図２には例示として、２行２列分の４つの画素１１１が示されている。画素１１１は、光電変換部Ｄ１、電荷保持部Ｃ１、第１転送トランジスタＭ１、第２転送トランジスタＭ２、リセットトランジスタＭ３、増幅トランジスタＭ４、選択トランジスタＭ５及び排出トランジスタＭ６を有する。これらのトランジスタは、例えばＭＯＳトランジスタである。

光電変換部Ｄ１は、入射光を光電変換するとともに、光電変換によって生成される電荷を蓄積する。光電変換部Ｄ１としては、例えばフォトダイオードが用いられ得る。以下の説明では光電変換部Ｄ１はアノードとカソードを有するフォトダイオードであるものとする。光電変換部Ｄ１のアノードは接地電位線に接続されており、カソードは、第１転送トランジスタＭ１のソース及び排出トランジスタＭ６のソースに接続されている。第１転送トランジスタＭ１のドレインは第２転送トランジスタＭ２のソースに接続されている。第１転送トランジスタＭ１のドレインと第２転送トランジスタＭ２のソースとの間に寄生する容量は、電荷保持部Ｃ１を構成する。排出トランジスタＭ６のドレインは、排出電位ＶＯＦＤを供給する電位線に接続されている。

第２転送トランジスタＭ２のドレインは、リセットトランジスタＭ３のソース及び増幅トランジスタＭ４のゲートに接続されている。第２転送トランジスタＭ２のドレイン、リセットトランジスタＭ３のソース及び増幅トランジスタＭ４のゲートの接続ノードは、浮遊拡散領域ＦＤである。リセットトランジスタＭ３のドレインは、リセット電位ＶＲＥＳを供給する電位線に接続されている。増幅トランジスタＭ４のソースは、選択トランジスタＭ５のドレインに接続されている。増幅トランジスタＭ４のドレインは、電源電圧線に接続されている。選択トランジスタＭ５のソースは、列信号線１１２に接続されている。列信号線１１２には不図示の電流源が接続されている。

画素アレイ１１０の各行には、行方向（図２において横方向）に延在して、複数の制御信号線が配されている。垂直走査回路１２０は、複数の制御信号線を介して画素１１１内のトランジスタに制御信号を供給する。垂直走査回路１２０は、制御信号ＰＴＸ１、ＰＴＸ２、ＰＲＥＳ、ＰＳＥＬ、ＰＯＦＧを第１転送トランジスタＭ１、第２転送トランジスタＭ２、リセットトランジスタＭ３、選択トランジスタＭ５及び排出トランジスタＭ６のゲートにそれぞれ供給する。

第１転送トランジスタＭ１（電荷転送部）は、制御信号ＰＴＸ１によりオンに制御されることにより、光電変換部Ｄ１で生成された電荷を電荷保持部Ｃ１に転送する。電荷保持部Ｃ１は、光電変換部Ｄ１から転送された電荷を保持する。第２転送トランジスタＭ２は、制御信号ＰＴＸ２によりオンに制御されることにより、電荷保持部Ｃ１に保持された電荷を浮遊拡散領域ＦＤに転送する。

リセットトランジスタＭ３は、制御信号ＰＲＥＳによりオンに制御されることにより、浮遊拡散領域ＦＤの電位をリセットする。選択トランジスタＭ５は、制御信号ＰＳＥＬによりオンに制御されることにより、該当行の増幅トランジスタＭ４から列信号線１１２に信号を出力させる。このとき、増幅トランジスタＭ４と、列信号線１１２に接続された電流源は、浮遊拡散領域ＦＤに転送された電荷に応じた信号を出力するソースフォロワ回路を構成することにより、出力部として機能する。排出トランジスタＭ６は、制御信号ＰＯＦＧによりオンに制御されることにより、光電変換部Ｄ１に蓄積されている電荷を排出し、光電変換部Ｄ１のカソードの電位をリセットする。

これらの構成により、電荷保持部Ｃ１に電荷が保持されている間に光電変換部Ｄ１で電荷が生成され、光電変換部Ｄ１に蓄積される構成が実現される。これにより、撮像素子１００は、画素アレイ１１０内の複数の光電変換部Ｄ１において電荷蓄積の開始時刻と終了時刻を一致させるグローバル電子シャッタ方式の駆動を行うことができる。グローバル電子シャッタ方式による電荷蓄積の開始は、例えば、画素アレイ１１０内の複数の排出トランジスタＭ６を同時にオンからオフに制御して電荷を排出することによって実現することができる。また、グローバル電子シャッタ方式による電荷蓄積の終了は、例えば、画素アレイ１１０内の複数の第１転送トランジスタＭ１を同時にオフからオンに制御し、再びオフに制御して電荷を転送することによって実現することができる。

なお、排出トランジスタＭ６は必須ではなく、光電変換部Ｄ１からの電荷の排出先を撮像素子１００が形成されている半導体基板とするＶｅｒｔｉｃａｌ Ｏｖｅｒｆｌｏｗ Ｄｒａｉｎと呼ばれる構成に置き換えてもよい。また、電荷保持部Ｃ１の電位をリセットするための第２リセットトランジスタを更に追加してもよい。この場合、第２転送トランジスタＭ２をオンからオフにした後であって、光電変換部Ｄ１から電荷保持部Ｃ１に電荷を転送する前の期間に、当該第２リセットトランジスタをオンにして電荷保持部Ｃ１の電位をリセットしてもよい。

図３は、本実施形態の撮像装置１０の概略構成を示すブロック図である。撮像装置１０は、撮像素子１００、短秒露光画像取得部２０１、長秒露光画像取得部２０２、多重露光制御部２０３、階調圧縮部２０４、環境光検出部２０５、画像合成部２０６、階調変換部２０７及び画像記録部２０８を備える。撮像素子１００は、図１及び図２に示した構成のグローバル電子シャッタ方式のＣＭＯＳイメージセンサである。本実施形態では撮像素子１００は、デジタルの画像データを出力するものとする。また、撮像素子１００の出力ビット数は１２ビットであり、すなわち、撮像素子１００の出力値は、０から４０９５までの値を取り得る４０９６階調であるものとする。

撮像素子１００は、入射光による電荷の蓄積時間を相対的に短く設定した第１露光時間の第１画像データと、入射光による電荷の蓄積時間を相対的に長く設定した第２露光時間の第２画像データとを出力する。以下では、露光時間が相対的に短い第１露光時間を短秒露光、露光時間が相対的に長い第２露光時間を長秒露光と呼ぶこともある。

短秒露光画像取得部２０１（第１取得部）は、撮像素子１００から出力される短秒露光の第１画像データを取得する。また、長秒露光画像取得部２０２（第２取得部）は、撮像素子１００から出力される長秒露光の第２画像データを取得する。この、短秒露光の第１画像データと長秒露光の第２画像データは、たとえば１フレームごとに交互に撮像素子１００の画像データ出力端子から出力される。

環境光検出部２０５は、撮像装置１０の撮像環境における環境光を検出して環境光情報を取得する部分である。環境光検出部２０５は、環境光の強度の変動を検出することにより、照明光源の点滅周期に関する情報を環境光情報として取得することができる。また、環境光検出部２０５は、昼夜、夕暮れなどの周囲の明るさ状況を検出することができる。環境光検出部２０５は、多重露光の回数と、低輝度部の階調値の減少割合（階調値圧縮割合）などを設定する多重露光制御部２０３の動作を決めるために、これらの環境光情報を取得する。環境光検出部２０５は、撮像装置１０に搭載された環境光センサであり得る。なお、環境光検出部２０５は、他の装置から環境光情報を受信して、その環境光情報を多重露光制御部２０３に送信するものであってもよく、その場合、環境光検出部２０５は、環境光センサに代えてホストＰＣ、マイクロコントローラ等であり得る。

上述の第１画像データと第２画像データのうち、少なくとも第２画像データは、多重露光により取得された画像データである。多重露光とは、光電変換部Ｄ１から電荷保持部Ｃ１への電荷の転送を複数回に分けて行う処理である。なお、多重露光が行われる際の第１露光時間及び第２露光時間とは、複数回にわたって転送された電荷の露光時間の合計を意味するものとする。

多重露光の処理は、多重露光制御部２０３により制御される。多重露光制御部２０３は、環境光検出部２０５からの環境光情報を受けて、周囲の環境光の状況に応じた多重露光制御信号を生成する。多重露光制御部２０３は、多重露光制御信号を撮像素子１００及び階調圧縮部２０４に送信する。撮像素子１００に送信される多重露光制御信号は、多重露光動作のオン／オフ、多重露光の回数、多重露光の間隔等の制御に用いられる。階調圧縮部２０４に送信される多重露光制御信号は、階調圧縮のオン／オフ、圧縮する階調数の範囲、圧縮時のビットシフト量等の制御に用いられる。

階調圧縮部２０４（圧縮部）は、長秒露光画像取得部２０２により取得された長秒露光の第２画像データの階調値を減少させ、第３画像データを生成する。この処理は、具体的には、ビットシフトにより階調値を減少させてダイナミックレンジを圧縮するデジタル処理であり得る。これにより、低輝度のノイズが減少するようにダイナミックレンジを圧縮する画像処理が実現される。

画像合成部２０６は、短秒露光画像取得部２０１により取得された短秒露光の第１画像データと、階調圧縮部２０４から出力された第３画像データとを合成することにより、第４画像データを生成する。これにより、いわゆるハイダイナミックレンジ合成が行われ、ダイナミックレンジの広い第４画像データが生成される。

階調変換部２０７は、画像合成部２０６により生成された第４画像データを、ディスプレイ、画像記録部２０８等の出力系の機器の狭いダイナミックレンジに適した画像となるように階調変換を行う。これにより、出力系のダイナミックレンジに応じた適切な画像が生成される。この階調変換の処理は、例えば、ガンマ変換であり得る。階調変換部２０７で変換された画像データは、画像記録部２０８に出力される。画像記録部２０８は、例えば、ハードディスク、メモリカード等の記録装置である。なお、階調変換部２０７で変換された画像データは、画像記録部２０８に代えて液晶ディスプレイ等の表示装置に出力されてもよい。

以上のように、本実施形態では、短秒露光と長秒露光の２つの画像データからダイナミックレンジ合成画像を生成する。この合成処理では、画像中の明るい領域には短秒露光の画像データが用いられ、画像中の暗い領域には長秒露光の画像データが用いられる。これにより、明るい領域と暗い領域の両方を鮮明に表現することができるハイダイナミックレンジ合成が実現される。この技術は、例えば、明るい場所で逆光により影になっているときであっても人物の顔を認識する必要がある監視カメラ、トンネル内からトンネル外の明るい場所の信号機を認識する必要がある車載カメラ等に適用され得る。ここで、少なくとも長秒露光の第２画像データは、多重露光により取得された画像データである。まず、多重露光を行う理由について説明する。

近年、照明用の光源が蛍光灯、白熱灯等からＬＥＤに置き換えられている。ＬＥＤを用いた光源は、常時点灯ではなく、商用電源（５０Ｈｚ又は６０Ｈｚ）の倍以上の周波数で点滅するパルス点灯である場合がある。通常、この周波数は人が認識できる上限を超えているため、人の目にはこの点滅は認識されない。しかしながら、カメラにより６０フレーム／秒等のフレーム周波数による動画撮影を行うと、光源の点滅と撮影のフレーム周波数との関係によっては、フレーム画像の明るさが周期的に変動するフリッカ現象が発生する場合がある。このフリッカ現象により、例えば、照明の明るさが周期的に変動しているように見える動画が撮影されることがある。また、信号機を撮影した場合には、常時点灯しているはずの信号機が点滅しているように撮影される場合もある。

本実施形態では、多重露光を行うことにより、このようなフリッカ現象による明るさの変動を低減することができる。多重露光は、光源の点滅の周波数よりも高い周波数で繰り返し露光を行うことにより、明るさを平均化する手法である。これにより、光源の点滅による明るさの変化の影響を低減することができる。次に、多重露光の具体的な処理について説明する。

図４Ａ及び図４Ｂは、第１実施形態に係る撮像装置１０の動作を示すタイミング図である。図４Ａ及び図４Ｂは、第１画像データと第２画像データのいずれか一方の画像を取得する際の処理を示している。図４Ａは、複数フレームにわたる撮影処理の概略を示すタイミング図であり、図４Ｂは、１フレーム内の処理をより詳細に示すタイミング図である。

図４Ａには、電源波形ＰＳ、光源波形ＬＳ、及び制御信号ＰＯＦＧ、ＰＴＸ１、ＰＴＸ２（ｉ）、ＰＴＸ２（ｉ＋１）、ＰＴＸ２（ｉ＋２）、ＰＴＸ２（ｋ−１）、ＰＴＸ２（ｋ）のタイミングが示されている。図４Ａの電源波形ＰＳは、被写体を照らすＬＥＤ照明等の光源に供給されている交流電源の波形を全波整流した形で模式的に示すものである。交流電源は、例えば、５０Ｈｚや６０Ｈｚの周波数で電力を供給する電源である。図４Ａの期間Ｔ１１は、交流電源の周期に相当しており、例えば、１／５０秒又は１／６０秒である。

図４Ａの光源波形ＬＳは、電源波形ＰＳの電源を用いた光源の点灯状態を示すものである。光源波形ＬＳにおいて、ハイレベルは点灯状態、ローレベルは消灯状態を示している。電源波形ＰＳがある閾値以上の場合、光源波形ＬＳはハイレベルであり、光源は点灯状態になっている。一方、電源波形ＰＳが閾値未満の場合、光源波形ＬＳはローレベルであり、光源は消灯状態になっている。上述のとおり、環境光検出部２０５は、環境光の強度の変動と、照明光源の点滅周期に関する情報を取得する。そのため、光源波形ＬＳの波形自体、又は光源波形ＬＳに基づく点滅周期等を取得することが可能である。

期間Ｔ１２は、光源の点滅周期を示しており、交流電源の周期である期間Ｔ１１の１／２の長さの周期である。また、期間Ｔ１３は光源が点灯している期間を、期間Ｔ１４は光源が消灯している期間をそれぞれ示している。

図４Ａの制御信号ＰＯＦＧは、排出トランジスタＭ６のゲートに供給されるパルス信号の波形を示している。制御信号ＰＯＦＧがローレベルからハイレベルになると、排出トランジスタＭ６がオンになり、光電変換部Ｄ１に蓄積されている電荷が排出電位ＶＯＦＤを供給する電位線に排出される。本実施形態では、グローバル電子シャッタ方式による駆動が行われるため、すべての画素１１１において同じタイミングで制御信号ＰＯＦＧがハイレベルからローレベルになる。これにより、すべての画素１１１において同じタイミングで排出トランジスタＭ６がオンからオフになり、全ての画素１１１において同じタイミングで光電変換部Ｄ１での電荷蓄積が開始される。なお、本明細書において、「同じタイミング」とは、厳密に同時である必要はなく、グローバル電子シャッタ方式の駆動によって画像の歪みを抑制可能な程度に実質的に同じ時刻であればよい。

図４Ａの制御信号ＰＴＸ１は、第１転送トランジスタＭ１のゲートに供給されるパルス信号の波形を示している。制御信号ＰＴＸ１がローレベルからハイレベルになると、第１転送トランジスタＭ１がオンになり、光電変換部Ｄ１に蓄積されている電荷が電荷保持部Ｃ１に転送される。本実施形態では、グローバル電子シャッタ方式による駆動が行われるため、すべての画素１１１において同じタイミングで制御信号ＰＴＸ１がハイレベルからローレベルになる。これにより、すべての画素１１１において同じタイミングで第１転送トランジスタＭ１がオフになり、全ての画素１１１において同じタイミングで光電変換部Ｄ１での電荷蓄積が終了される。

期間Ｔ１５は、１回の電荷蓄積の開始から終了までの期間（サンプリング期間）を示している。本実施形態では、１フレーム期間内に短時間のサンプリング動作が複数回行われている。すなわち、すべての画素１１１において第１転送トランジスタＭ１が同じタイミングで間欠的に複数回オンになることによって、電荷が光電変換部Ｄ１から電荷保持部Ｃ１に間欠的に複数回転送されている。また、第１転送トランジスタＭ１がオンになる時刻においては、すべての画素１１１において排出トランジスタＭ６がオフとなるように、排出トランジスタＭ６も間欠的にオンとオフの動作が繰り返されている。このように、各サンプリング期間の開始と終了のタイミングを各行で一致させることにより、各行の露光時間を同一にすることができる。

図４Ａの制御信号ＰＴＸ２（ｉ）、ＰＴＸ２（ｉ＋１）、…は、第２転送トランジスタＭ２のゲートに供給されるパルス信号の波形を示している。括弧内の値は各制御信号が供給される画素アレイ１１０の行番号を示している。制御信号ＰＴＸ２（ｉ）がローレベルからハイレベルになると、ｉ行目の第２転送トランジスタＭ２がオンになり、電荷保持部Ｃ１に保持された電荷が浮遊拡散領域ＦＤに転送される。図４Ａに示されるように、制御信号ＰＴＸ２（ｉ）、ＰＴＸ２（ｉ＋１）、…は、行ごとに順次ハイレベルになる。これにより、第２転送トランジスタＭ２も行ごとに順次オンになり、電荷保持部Ｃ１に保持された電荷が浮遊拡散領域ＦＤに転送される。

ここで、期間Ｔ１６は、複数回の電荷の転送の開始から終了までの期間であり、言い換えると、ｉ行目の電荷保持部Ｃ１において電荷が保持されている期間である。期間Ｔ１６において、第１転送トランジスタＭ１が間欠的に複数回オンになることによって、光電変換部Ｄ１から電荷保持部Ｃ１に複数回にわたって電荷が転送される。そのため、期間Ｔ１６は、電荷保持部Ｃ１に保持される電荷が光電変換部Ｄ１で生成される期間であるともいえる。また、期間Ｔ１６は、複数回行われるサンプリング動作において、最初のサンプリング動作の開始から、最後のサンプリング動作の終了までの期間に相当するともいえる。本実施形態では、上述のような複数回の転送により、電荷保持部Ｃ１には多重露光による信号電荷が蓄積される。同様に、期間Ｔ１７は、ｉ＋１行目における最初のサンプリング動作の開始から、最後のサンプリング動作の終了までの期間を示している。

期間Ｔ１８（ｎ）、Ｔ１８（ｎ＋１）、…は、１フレームの期間を示している。括弧内の値はフレーム番号を示している。期間Ｔ１８（ｎ）、Ｔ１８（ｎ＋１）、…のそれぞれにおいて、１フレーム分の画像データが撮像素子１００から出力される。

図４Ｂを参照して各制御信号の関係をより詳細に説明する。図４Ｂの制御信号ＰＲＥＳ（ｉ）、ＰＲＥＳ（ｉ＋１）、…は、リセットトランジスタＭ３のゲートに供給されるパルス信号の波形を示している。括弧内の値は各制御信号が供給される画素アレイ１１０の行番号を示している。制御信号ＰＲＥＳ（ｉ）がローレベルからハイレベルになると、ｉ行目のリセットトランジスタＭ３がオンになり、浮遊拡散領域ＦＤの電位がリセットされる。図４Ｂに示されるように、制御信号ＰＲＥＳ（ｉ）、ＰＲＥＳ（ｉ＋１）、…は、行ごとに順次ハイレベルになる。これにより、リセットトランジスタＭ３も行ごとに順次オンになり、浮遊拡散領域ＦＤの電位がリセットされる。このリセットは、各行における電荷保持部Ｃ１から浮遊拡散領域ＦＤへの電荷の転送の直前に行われる。なお、リセットトランジスタＭ３によるリセットの後及び第２転送トランジスタＭ２による転送の後には、列増幅回路１４０による信号の読み出しが行われる。リセット後に読み出された信号は、相関二重サンプリングによるノイズ低減に用いられる。

期間Ｔ１５は、図４Ａと同様に１回のサンプリング期間を示している。期間Ｔ２１は、ｉ行目の読み出しが行われ、再度ｉ行目の読み出しが行われる期間であり、その長さは、１フレームの期間と同様である。期間Ｔ２２は、各行の信号が順次読み出される周期である、垂直走査周期を示すものである。本実施形態では、期間Ｔ２１内に複数回のサンプリングが行われることにより、多重露光が実現される。以上のように、本実施形態では複数回のサンプリングを行い、電荷保持部Ｃ１内で平均化してから読み出すことにより、多重露光が実現される。これにより、光源の点灯時と消灯時の信号電荷が平均化されるため、フリッカ現象による画質への影響が低減される。

なお、期間Ｔ１５の長さは、例えば、期間Ｔ１２の長さの１／２以下としてもよい。この場合、複数回のサンプリングのうちのいずれかが消灯時に行われた場合でも、同じフレームの別のサンプリングが点灯時に行われる可能性が高くなり、多重露光によるフリッカ現象の影響の低減効果が向上する。また、期間Ｔ１５の長さは、例えば、期間Ｔ１５の長さは、期間Ｔ１２の長さの１／４以下、１／８以下等のように期間Ｔ１２の長さの１／２よりも更に小さく設定してもよい。この場合、フリッカ現象の影響の低減効果が更に向上する。

期間Ｔ１６は、期間Ｔ１２よりも長く設定されていればよいが、期間Ｔ１６の長さを期間Ｔ１２に比べて２倍以上、３倍以上等のように大幅に長くしてもよい。この場合、光源の点灯時と消灯時の信号電荷との平均化の効果が大きくなり、フリッカ現象の影響の低減効果が更に向上する。また、例えば、期間Ｔ１６の長さを、光源が点滅する周期の整数倍としてもよい。特に、商用電源のように周波数又は周期が既知である場合には、期間Ｔ１６の長さを光源が点滅する周期の自然数倍（１以上の整数倍）とすることが容易である。この場合、期間Ｔ１６内における光源の点滅回数が一定になるため、フリッカ現象の影響の低減効果が更に向上する。

図５（ａ）及び図５（ｂ）は、第１実施形態に係るダイナミックレンジ拡大処理における照度と出力レベルの関係の例を示すグラフである。図５（ａ）及び図５（ｂ）を参照して、画像合成部２０６により行われるハイダイナミックレンジ合成処理の概略を説明する。

ハイダイナミックレンジ合成処理の一例として、露光時間の短い画像データと露光時間の長い画像データとを合成する処理を説明する。ここでは、２つの画像データの階調数は４０９６階調（１２ビット）であるものとし、合成後の画像データの階調数は６５５３６階調（１６ビット）相当であるものとする。この場合、ダイナミックレンジは、７２ｄＢ相当から９６ｄＢ相当に拡大する。

図５（ａ）は、画像合成前における照度と出力レベル（階調）との関係を示すグラフである。特性Ｐ１は、主に被写体の暗部領域の撮像に用いられるものであり、露光時間の長い画像の撮像時の照度に対する出力レベル特性である。特性Ｐ２は、主に被写体の明部領域の撮像に用いられるものであり、露光時間の短い画像の撮像時の照度に対する出力レベル特性である。特性Ｐ２の傾きは、特性Ｐ１の傾きと比較して緩やかである。ここでは、特性Ｐ１における露光時間は、特性Ｐ２における露光時間の１６倍であるものとする。より具体的には、露光時間の長い画像の撮像時の出力レベルは、照度が１０００ルクス（ｌｘ）で４０９５階調に達するのに対して、露光時間の短い画像の撮像時の出力レベルは、照度が１６倍の１６０００ｌｘで４０９５階調に達するように設定されている。

まず、露光時間の短い画像データをデジタル的に４ビットだけ上位側にビットシフトした画像を作成する。これによって、短い時間に露光で撮像された画像データは、階調数６５５３６階調の１６ビットのデータとなる。次に、シフト後の露光時間の短い画像データと露光時間の長い画像データとの合成を行う。この合成処理は、ある閾値以下の階調値では露光時間の長い画像データを用い、ある閾値よりも大きい階調値ではシフト後の露光時間の短い画像データを用いるというものであり得る。これにより、ダイナミックレンジが拡大された１６ビットの画像データが生成される。本例では、閾値が４０９５階調であるものとする。

図５（ｂ）は、画像合成後における照度と出力レベル（階調）との関係を示すグラフである。特性Ｐ１は、閾値である４０９５階調以下であるため、露光時間の長い画像に係る特性と同一である。特性Ｐ３は、閾値である４０９５階調よりも大きいことから、シフト後の露光時間の短い画像データの特性と同一である。特性Ｐ３は、特性Ｐ２を４ビットだけ上位側にシフトしたものである。合成後の画像の特性は、特性Ｐ１と特性Ｐ３をつなげたものに相当する。これによって合成後の画像は、１６ビットの階調精度を有しながら、飽和レベルが１６倍に大きくなっており、ダイナミックレンジの拡大された画像となる。本例においては、露光時間の比率は１６倍としているが、更に露光時間の比を大きく設定することで、１００ｄＢ以上の高いダイナミックレンジを有する画像を得ることも可能である。

本実施形態によれば、上述の多重露光と画像合成によるダイナミックレンジ拡大を組み合わせることによって、フリッカ現象による画質への影響低減とダイナミックレンジ拡大とを両立した高品質な撮像を実現することができる。

しかしながら、多重露光においては複数回にわたって転送された電荷が電荷保持部Ｃ１において加算されるため、画素欠陥、固定パターンノイズ、面内ムラ等に起因するノイズが多重露光の回数分だけ重畳されて画質が劣化する場合がある。特に、上述のダイナミックレンジ拡大後の画像においては、画像中の暗部に相当する部分の撮像に多重露光が用いられると、画質劣化が顕著になる。そこで、本実施形態では、階調圧縮部２０４は、多重露光された画像に対してダイナミックレンジ拡大の画像合成を行う前に、階調圧縮の処理を行う。階調圧縮部２０４は、多重露光により得られた長秒露光の第２画像データを階調圧縮する。これにより、画素欠陥等に起因するノイズのレベルが低減される。

図６（ａ）乃至図６（ｃ）は、第１比較例に係るダイナミックレンジ拡大処理を説明する模式図である。図７（ａ）乃至図７（ｃ）は、第２比較例に係るダイナミックレンジ拡大処理を説明する模式図である。図８（ａ）乃至図８（ｃ）は、第１実施形態に係るダイナミックレンジ拡大処理を説明する模式図である。これらの図を参照しつつ、ダイナミックレンジ拡大、多重露光及び階調圧縮の効果を説明する。

まず、第１比較例を説明する。図６（ａ）乃至図６（ｃ）に示す第１比較例は、多重露光制御部２０３による多重露光の制御を行わず、かつ階調圧縮部２０４での階調圧縮も行わない場合の例である。図６（ａ）乃至図６（ｃ）は、第１比較例でのダイナミックレンジ拡大処理時の信号レベルの変化を示す模式図である。

図６（ａ）は、長秒露光画像取得部２０２により取得される長秒露光の第２画像データの信号レベルの模式図である。図５（ａ）及び図５（ｂ）の例と同様に、撮像素子１００は１２ビット（４０９６階調）のデジタル信号を出力するものとする。このとき、第２画像データには、図６（ａ）に示されるように信号成分Ｓ１１に、２ビット相当のノイズ成分Ｎ１１が含まれているものとする。

図６（ｂ）は、短秒露光画像取得部２０１により取得される短秒露光の第１画像データの信号レベルの模式図である。撮像素子１００は、長秒露光の場合と同様に１２ビット（４０９６階調）のデジタル信号を出力する。このとき、第１画像データには、図６（ｂ）に示されるように信号成分Ｓ１２に、１ビット相当のノイズ成分Ｎ１２が含まれているものとする。画像合成部２０６は、第１画像データを４ビットだけ上位側にビットシフトする。信号成分Ｓ１３は、ビットシフト後の信号成分を示しており、ノイズ成分Ｎ１３は、ビットシフト後のノイズ成分を示している。４ビット分のビットシフトにより、ノイズ成分Ｎ１３の大きさは、１ビット相当から５ビット相当に大きくなっている。

図６（ｃ）は、画像合成部２０６における合成の前後での信号レベルの模式図である。第１比較例では、階調圧縮部２０４での階調圧縮は行われないため、長秒露光の第２画像データは、そのまま、４ビット分だけビットシフトされた短秒露光の第１画像データと合成される。合成後の出力信号のうちの４０９５階調以上の範囲である信号成分Ｓ１４には短秒露光の第１画像データが用いられる。また、合成後の出力信号のうちの４０９５階調未満の範囲である信号成分Ｓ１５には長秒露光の第２画像データが用いられる。合成後の出力信号に含まれるノイズ成分Ｎ１４は、長秒露光の第２画像データに含まれるノイズ成分Ｎ１１と同一である。したがって、ノイズ成分Ｎ１４のレベルは２ビット相当である。この例では多重露光を行わないため、多重露光によるノイズの増加はない。しかしながら、第１比較例の構成では上述のようにフリッカ現象による画質の劣化が生じる場合がある。

次に、第２比較例を説明する。図７（ａ）乃至図７（ｃ）に示す第２比較例は、多重露光制御部２０３による多重露光の制御を行うが、階調圧縮部２０４での階調圧縮は行わない場合の例である。図７（ａ）乃至図７（ｃ）は、第２比較例でのダイナミックレンジ拡大処理時の信号レベルの変化を示す模式図である。

図７（ａ）は、長秒露光画像取得部２０２により取得される長秒露光の第２画像データの信号レベルの模式図である。図５（ａ）及び図５（ｂ）の例と同様に、撮像素子１００は１２ビット（４０９６階調）のデジタル信号を出力するものとする。このとき、図７（ａ）左側に示されるように、１回の露光に対して２ビット相当のノイズ成分Ｎ１１が含まれる信号成分Ｓ１１が生じるものとする。

本例では、多重露光の回数が４回であるものとすると、４回の露光により図７（ａ）右側のように信号成分Ｓ２１、Ｓ２２、Ｓ２３、Ｓ２４が生じ、これらが加算された信号が第２画像データとして出力される。このとき、撮像素子１００の出力範囲は１２ビット（４０９６階調）であるため、４０９５以上の出力レベルはすべて上限値４０９５でクリップされる。このときに生じるノイズ成分Ｎ２１の大きさは、１回の露光に対するノイズ成分Ｎ１１の大きさの４倍になるため、４ビット相当に大きくなっている。

図７（ｂ）は、短秒露光画像取得部２０１により取得される短秒露光の第１画像データの信号レベルの模式図である。これは第１比較例と同様であるため説明を省略する。

図７（ｃ）は、画像合成部２０６における合成の前後での信号レベルの模式図である。第２比較例においても、階調圧縮部２０４での階調圧縮は行われないため、長秒露光の第２画像データは、そのまま４ビット分ビットシフトされた短秒露光の第１画像データと合成される。この場合も第１比較例と同様に、合成後の出力信号に含まれるノイズ成分Ｎ２２は、長秒露光の第２画像データに含まれるノイズ成分Ｎ２１と同一である。したがって、ノイズ成分Ｎ２２のレベルは４ビット相当である。この例では、多重露光を行ったことによりフリッカ現象の影響は低減されるものの、ノイズ成分Ｎ２２のレベルが増加する点が問題となり得る。

次に、本実施形態の構成におけるノイズ成分の変化を説明する。図８（ａ）乃至図８（ｃ）に示す例は、本実施形態に相当する例であり、多重露光制御部２０３による多重露光の制御を行い、かつ階調圧縮部２０４での階調圧縮も行う場合を示している。図８（ａ）乃至図８（ｃ）は、本実施形態でのダイナミックレンジ拡大処理時の信号レベルの変化を示す模式図である。

図８（ａ）は、長秒露光画像取得部２０２により取得される長秒露光の第２画像データの信号レベルの模式図及び階調圧縮部２０４による圧縮後の第３画像データの信号レベルの模式図である。図８（ａ）の左側及び中央に示される第２画像データの信号レベルは図７（ａ）と同様である。図８（ａ）の右側は、階調圧縮部２０４による圧縮後の第３画像データの信号レベルを示している。この処理では１２ビットのデータを１０ビットに圧縮する処理が行われている。この圧縮処理は具体的には、データを２ビットだけ下位側にビットシフトするものであってもよく、データを係数４で除算するものであってもよい。この処理により、第３画像データの信号成分Ｓ３１の階調値は１／４に小さくなっており、階調数は１０２４階調に減少している。このとき、ノイズ成分Ｎ３１の大きさも４ビット相当から２ビット相当に低減されている。したがって、階調圧縮部２０４により階調圧縮の処理を行って階調数を減少させることにより、多重露光により増大したノイズが低減される。

図８（ｂ）は、短秒露光画像取得部２０１により取得される短秒露光の第１画像データの信号レベルの模式図である。これは第１比較例及び第２比較例と同様であるため説明を省略する。

図８（ｃ）は、画像合成部２０６における合成の前後での信号レベルの模式図である。本実施形態では、階調圧縮部２０４での階調圧縮により生成された第３画像データと、４ビット分ビットシフトされた短秒露光の第１画像データとが合成される。合成後の出力信号に含まれるノイズ成分Ｎ３２は、階調圧縮後の第３画像データに含まれるノイズ成分Ｎ３１と同一である。したがって、ノイズ成分Ｎ３２のレベルは２ビット相当であり、当初のノイズ成分Ｎ１１と同等である。本実施形態では、多重露光を行ったことによりフリッカ現象の影響は低減される。さらに、多重露光によるノイズの増大の影響も階調圧縮により緩和される。

図９は、第１実施形態に係る撮像装置１０の動作を示すフローチャートである。図９を参照して撮像装置１０の動作を説明する。上述の説明において説明済みの処理についてはは説明を省略又は簡略化することがある。

ステップＳ１０１において、多重露光制御部２０３は、環境光検出部２０５により取得された環境光情報に基づいて、多重露光制御信号を撮像素子１００に送信して短秒露光のための第１露光時間を設定する。

ステップＳ１０２において、撮像素子１００は、短秒露光による撮像を行い、第１画像データを出力する。そして、短秒露光画像取得部２０１は、撮像素子１００から短秒露光の第１画像データを取得する。

ステップＳ１０３において、多重露光制御部２０３は、環境光検出部２０５により取得された環境光情報に基づいて、多重露光制御信号を撮像素子１００に送信して長秒露光のための第２露光時間を設定する。

ステップＳ１０４において、撮像素子１００は、長秒露光による撮像を行い、第２画像データを出力する。そして、長秒露光画像取得部２０２は、撮像素子１００から長秒露光の第２画像データを取得する。ステップＳ１０５において、階調圧縮部２０４は、第２画像データの階調数を減少させる階調圧縮を行い、第３画像データを生成し、取得する。このとき、階調圧縮部２０４は、環境光検出部２０５により取得された環境光情報に基づいて、多重露光制御部２０３が定めた制御信号により、取得した長秒露光画像の圧縮割合を制御する。

ステップＳ１０６において、画像合成部２０６は、第１画像データと、第３画像データとを合成する。これにより、いわゆるハイダイナミックレンジ合成が行われ、ダイナミックレンジの広い第４画像データが生成される。ステップＳ１０７において、階調変換部２０７は、画像記録部２０８等の出力系の機器の狭いダイナミックレンジに適した画像となるように、第４画像データの階調変換を行う。ステップＳ１０８において、画像記録部２０８は、階調変換後の画像データを記録する。なお、動画の撮影時においては、ステップＳ１０１からステップＳ１０８の処理が連続的に繰り返され、動画ファイルが生成される。

本実施形態では、撮像素子１００は、短秒露光の第１画像データと、長秒露光の第２画像データを出力する。ここで、少なくとも長秒露光は、光電変換部Ｄ１から電荷保持部Ｃ１に複数回にわたって電荷が転送される多重露光である。階調圧縮部２０４は第２画像データの階調値を減少させて第３画像データを生成する。このようにして、本実施形態の撮像装置１０は、画質を維持しつつフリッカ現象の影響を低減することが可能で、かつ露光時間の異なる複数の画像（第１画像データ及び第３画像データ）を取得することができる。また、撮像装置１０で取得された第１画像データ及び第３画像データはハイダイナミックレンジ合成に用いられるため、本実施形態によれば、高画質なハイダイナミックレンジ画像を生成することができる。

なお、本実施形態においては、少なくとも第２画像データが多重露光により生成されればよいが、第１画像データと第２画像データの両方が多重露光により生成されることが望ましい。この場合、画像中の階調値の小さい箇所と階調値が大きい箇所のいずれにおいてもフリッカ減少の影響を抑制することができる。

また、図３において、撮像素子１００以外の要素（画像合成部２０６等）は、撮像素子１００の外部に設けられているように図示されているが、これらの要素の一部又は全部は、撮像素子１００の内部に設けられていてもよい。また、画像合成部２０６、階調変換部２０７及び画像記録部２０８の一部又は全部は、撮像装置１０の外部の画像処理装置に設けられていてもよい。

［第２実施形態］
本発明の第２実施形態を説明する。本実施形態が第１実施形態と異なる点は、短秒露光の第１画像データの取得と長秒露光の第２画像データの取得が同一フレームに行われ得る点である。第１実施形態においては、撮像素子１００は、短秒露光の第１画像データと長秒露光の第２画像データを同一フレーム期間内に出力することを想定していない回路構成となっている。そのため、第１実施形態では、あるフレームで短秒露光の第１画像データを出力し、別のフレームで長秒露光の第２画像データを出力するというような方法によりフレームを分けて画像データの読み出しを行う必要がある。これに対し、本実施形態では、各画素に複数の電荷保持部を設けることにより、短秒露光の第１画像データの取得と長秒露光の第２画像データの取得を同一フレームに行うことができる。以下の説明において、第１実施形態と共通する部分については、適宜説明を省略する。

図１０は、第２実施形態に係る画素１１３の回路構成を示す図である。本実施形態では、各画素１１３内に第１転送トランジスタ、電荷保持部及び第２転送トランジスタが２個ずつ設けられている点が第１実施形態と異なる。すなわち、画素１１３には、第１実施形態の第１転送トランジスタＭ１、電荷保持部Ｃ１及び第２転送トランジスタＭ２に代えて、第１転送トランジスタＭ１Ａ、Ｍ１Ｂ、電荷保持部Ｃ１Ａ、Ｃ１Ｂ及び第２転送トランジスタＭ２Ａ、Ｍ２Ｂが設けられている。

第１転送トランジスタＭ１Ａ、Ｍ１Ｂのソースは、いずれも光電変換部Ｄ１のカソード及び排出トランジスタＭ６のソースに接続されている。第１転送トランジスタＭ１Ａのドレインは第２転送トランジスタＭ２Ａのソースに接続されている。第１転送トランジスタＭ１Ａのドレインと第２転送トランジスタＭ２Ａのソースとの間に寄生する容量は、電荷保持部Ｃ１Ａを構成する。第１転送トランジスタＭ１Ｂのドレインは第２転送トランジスタＭ２Ｂのソースに接続されている。第１転送トランジスタＭ１Ｂのドレインと第２転送トランジスタＭ２Ｂのソースとの間に寄生する容量は、電荷保持部Ｃ１Ｂを構成する。第２転送トランジスタＭ２Ａ、Ｍ２Ｂのドレインは、いずれもリセットトランジスタＭ３のソース及び増幅トランジスタＭ４のゲートに接続されている。垂直走査回路１２０は、制御信号ＰＴＸ１Ａ、ＰＴＸ１Ｂを第１転送トランジスタＭ１Ａ、Ｍ１Ｂのゲートにそれぞれ供給する。また、垂直走査回路１２０は、制御信号ＰＴＸ２Ａ、ＰＴＸ２Ｂを第２転送トランジスタＭ２Ａ、Ｍ２Ｂのゲートにそれぞれ供給する。

このような構成により、電荷保持部Ｃ１Ａに電荷が保持されている状態であっても、電荷保持部Ｃ１Ｂに更に電荷を転送することができる。このため、電荷保持部Ｃ１Ａ、Ｃ１Ｂに同一フレームの互いに異なる信号を保持することが可能となる。また、電荷保持部Ｃ１Ａ、Ｃ１Ｂに対して第１転送トランジスタＭ１Ａ、Ｍ１Ｂが独立して設けられているため、電荷保持部Ｃ１Ａ、Ｃ１Ｂに露光時間の異なるサンプリング動作を同一フレーム期間内に順次行うことができる。言い換えると、本実施形態の撮像装置１０は、第１画像データと第２画像データを同一のフレーム期間に取得することができる。

図１１は、第２実施形態に係る撮像装置１０の動作を示すタイミング図である。図１１には、電源波形ＰＳ及び制御信号ＰＯＦＧ、ＰＴＸ１Ａ、ＰＴＸ１Ｂ、ＰＴＸ２Ａ（ｉ）、ＰＴＸ２Ｂ（ｉ）、ＰＴＸ２Ａ（ｉ＋１）、ＰＴＸ２Ｂ（ｉ＋１）、ＰＴＸ２Ａ（ｉ＋２）、ＰＴＸ２Ｂ（ｉ＋２）のタイミングが示されている。括弧内の値は、第１実施形態と同様に画素アレイ１１０の行番号を示している。電源波形ＰＳ及び電源波形ＰＳに基づく電力が供給される光源については第１実施形態と同様であるため説明を省略する。

制御信号ＰＯＦＧがローレベルからハイレベルになると、排出トランジスタＭ６がオンになり、光電変換部Ｄ１に蓄積されている電荷が排出電位ＶＯＦＤを供給する電位線に排出される。制御信号ＰＴＸ１Ａがローレベルからハイレベルになると、第１転送トランジスタＭ１Ａがオンになり、光電変換部Ｄ１に蓄積されている電荷が電荷保持部Ｃ１Ａに転送される。制御信号ＰＴＸ１Ｂがローレベルからハイレベルになると、第１転送トランジスタＭ１Ｂがオンになり、光電変換部Ｄ１に蓄積されている電荷が電荷保持部Ｃ１Ｂに転送される。本実施形態においても、第１実施形態と同様にグローバル電子シャッタ方式による駆動が行われるため、すべての画素１１１において同じタイミングで制御信号ＰＯＦＧ、ＰＴＸ１Ａ、ＰＴＸ１Ｂのレベルが変動する。

期間Ｔ３２Ａ、Ｔ３２Ｂは、１回の電荷蓄積の開始から終了までの期間（サンプリング期間）を示している。期間Ｔ３２Ａは、電荷保持部Ｃ１Ａに転送され、保持される電荷についてのサンプリング期間であり、期間Ｔ３２Ｂは電荷保持部Ｃ１Ｂに転送され、保持される電荷についてのサンプリング期間である。

図１１に示されるように、期間Ｔ３２Ｂの長さは期間Ｔ３２Ａの長さよりも長い。そのため、電荷保持部Ｃ１Ａ、Ｃ１Ｂには、蓄積時間の異なる電荷が蓄積される。すなわち、期間Ｔ３２Ａは短秒露光に対応するサンプリング期間であり、期間Ｔ３２Ｂは長秒露光に相当するサンプリング期間である。これにより、同一フレーム期間内に露光時間の異なるサンプリング動作を行うことができる。

図１１では、期間Ｔ３２Ａと期間Ｔ３２Ｂは交互に配されており、互いに重複していないが、期間Ｔ３２Ｂと期間Ｔ３２Ａの長さが異なっていればこれらの一部が重複していてもよい。また、図１１において、制御信号ＰＴＸ１Ａがハイレベルになる周期と制御信号ＰＴＸ１Ｂがハイレベルになる周期とは同一であるが、これらは互いに異なっていてもよい。この場合、短秒露光と長秒露光とで多重露光の回数が異なる画像データが得られるがこれも許容される。

制御信号ＰＴＸ２Ａ（ｉ）がハイレベルになると、ｉ行目の第２転送トランジスタＭ２Ａがオンになり、電荷保持部Ｃ１Ａに保持された電荷が浮遊拡散領域ＦＤに転送される。また、制御信号ＰＴＸ２Ｂ（ｉ）がハイレベルになると、ｉ行目の第２転送トランジスタＭ２Ｂがオンになり、電荷保持部Ｃ１Ｂに保持された電荷が浮遊拡散領域ＦＤに転送される。

期間Ｔ３３Ａは、ｉ行目の電荷保持部Ｃ１Ａにおいて電荷が保持されている期間であり、期間Ｔ３３Ｂは、ｉ行目の電荷保持部Ｃ１Ｂにおいて電荷が保持されている期間である。期間Ｔ３３Ａ、Ｔ３３Ｂの間に第１転送トランジスタＭ１Ａ、Ｍ１Ｂが間欠的に複数回オンになることにより、複数回のサンプリングが行われるので、第１実施形態と同様に多重露光が実現される。これにより、第１実施形態と同様にフリッカ現象の影響が低減される。本例では、期間Ｔ３３Ａ、Ｔ３３Ｂのそれぞれにおいて３回のサンプリングが行われている。期間Ｔ３６（ｎ）、Ｔ３６（ｎ＋１）、…は、１フレームの期間を示している。括弧内の値はフレーム番号を示している。期間Ｔ３６（ｎ）、Ｔ３６（ｎ＋１）、…のそれぞれにおいて、１フレーム分の画像データが撮像素子１００から出力される。

本実施形態では、第１実施形態と同様に、短秒露光の第１画像データと、長秒露光の第２画像データを生成することができ、第１実施形態と同様に多重露光が実現可能な構成となっている。本実施形態の撮像装置１０は、第１実施形態と同様に、画質を維持しつつフリッカ現象の影響を低減することが可能で、かつ露光時間の異なる複数の画像（第１画像データ及び第３画像データ）を取得することができる。更に、本実施形態では、短秒露光の第１画像データの取得と長秒露光の第２画像データの取得を同一フレームに行うことができる。これにより、ハイダイナミックレンジ合成に用いられる２つの画像の撮影時間を近づけることができ、合成後の画像の画質がより向上する効果が得られる。

［第３実施形態］
次に、上述の実施形態による撮像装置を適用した装置の例を説明する。図１２は、本実施形態による撮像システム５００の構成を示すブロック図である。図１２に示す撮像装置１０は、上述の第１又は第２実施形態で述べた撮像装置１０のいずれかである。撮像装置１０が適用可能な撮像システム５００としては、例えば、デジタルカメラ、デジタルカムコーダー、監視カメラなどが挙げられる。図５に、上述の実施形態に記載の撮像装置１０を適用したデジタルカメラの構成例を示す。

図１２に例示した撮像システム５００は、撮像装置１０、被写体の光学像を撮像装置１０に結像させるレンズ５０２、レンズ５０２を通過する光量を可変にするための絞り５０４、レンズ５０２の保護のためのバリア５０６を有する。レンズ５０２及び絞り５０４は、撮像装置１０に光を集光する光学系である。

撮像システム５００は、また、撮像装置１０から出力される出力信号の処理を行う信号処理部５０８を有する。信号処理部５０８は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。

撮像システム５００は、更に、画像データを一時的に記憶するためのバッファメモリ部５１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）５１２を有する。更に撮像システム５００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体５１４、記録媒体５１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）５１６を有する。なお、記録媒体５１４は、撮像システム５００に内蔵されていてもよく、着脱可能であってもよい。

更に撮像システム５００は、各種演算を行うとともにデジタルカメラ全体を制御する全体制御・演算部５１８、撮像装置１０と信号処理部５０８に各種タイミング信号を出力するタイミング発生部５２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム５００は、少なくとも撮像装置１０と、撮像装置１０から出力された出力信号を処理する信号処理部５０８とを有すればよい。全体制御・演算部５１８及びタイミング発生部５２０は、上述の実施形態における制御信号の生成、参照電圧の生成等の光電変換装置の制御に関する機能の一部又は全部を実行するように構成してもよい。

撮像装置１０は、画像用信号を信号処理部５０８に出力する。信号処理部５０８は、撮像装置１０から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部５０８は、画像用信号を用いて、画像を生成する。

以上のように、本実施形態の撮像システム５００は、第１又は第２実施形態による撮像装置１０を含む。これにより、より高品質な撮像が可能な撮像システム５００を実現することができる。

［第４実施形態］
図１３（ａ）及び図１３（ｂ）は、本実施形態による撮像システム６００及び移動体の構成を示す図である。図１３（ａ）は、車載カメラに関する撮像システム６００の一例を示したものである。撮像システム６００は、上述の第１又は第２実施形態のいずれかに記載の撮像装置１０を有する。撮像システム６００は、撮像装置１０により取得された複数の画像データに対し、画像処理を行う画像処理部６１２と、撮像システム６００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差算出部６１４を有する。また、撮像システム６００は、算出された視差に基づいて対象物までの距離を算出する距離計測部６１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部６１８と、を有する。ここで、視差算出部６１４や距離計測部６１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部６１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム６００は、車両情報取得装置６２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム６００には、衝突判定部６１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ６３０が接続されている。すなわち、制御ＥＣＵ６３０は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム６００は、衝突判定部６１８での判定結果に基づいて、ドライバーへ警報を発する警報装置６４０とも接続されている。例えば、衝突判定部６１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ６３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置６４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム６００で撮像する。図１３（ｂ）に、車両前方（撮像範囲６５０）を撮像する場合の撮像システム６００を示した。車両情報取得装置６２０は、撮像システム６００を動作させ撮像を実行させるように指示を送る。第１又は第２実施形態による撮像装置１０を含む本実施形態の撮像システム６００は、測距の精度をより向上させることができる。

以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

［その他の実施形態］
なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。

上述の実施形態のタイミング図においては、動画撮影の場合の制御方法を例示しているが、本発明は静止画の撮影にも適用可能である。また、上述の実施形態のタイミング図の電子シャッタ方式は、グローバル電子シャッタ方式を前提としているが、これに限定されず、例えば、ローリングシャッタ方式であってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１ 短秒露光画像取得部
２０２ 長秒露光画像取得部
２０４ 階調圧縮部
Ｃ１、Ｃ１Ａ、Ｃ１Ｂ 電荷保持部
Ｄ１ 光電変換部
Ｍ１ 第１転送トランジスタ
Ｍ４ 増幅トランジスタ

Claims (15)

1. 入射光に応じた電荷を生成する光電変換部と、
   前記電荷を保持する電荷保持部と、
   前記光電変換部から前記電荷保持部に前記電荷を転送する電荷転送部と、
   前記電荷保持部に転送された電荷に基づく信号を出力する出力部と、
   第１露光時間において前記光電変換部で生じた電荷に基づく第１画像データを取得する第１取得部と、
   前記電荷転送部によって前記光電変換部から前記電荷保持部に複数回にわたって転送された電荷の露光時間の合計であり、かつ前記第１露光時間よりも長い第２露光時間において前記光電変換部で生じた電荷に基づく第２画像データを取得する第２取得部と、
   前記第２画像データの階調値を減少させて第３画像データを生成する圧縮部と、
   を備えることを特徴とする撮像装置。
2. 前記第１画像データと前記第３画像データとを合成して第４画像データを生成する画像合成部を更に備える
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記第４画像データを階調変換する階調変換部を更に備える
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記圧縮部は、前記第２画像データの階調値をビットシフトすることにより、前記第２画像データの階調値を減少させて前記第３画像データを生成する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第１取得部及び前記第２取得部は、前記第１画像データ及び前記第２画像データをそれぞれ所定のフレーム期間ごとに取得することが可能であり、
   前記第１画像データ及び前記第２画像データは同一のフレーム期間に取得される
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記第２画像データの生成において、前記光電変換部から前記電荷保持部に電荷が転送される回数は撮像環境の環境光に関する環境光情報に応じて定められる
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第３画像データの生成において、前記圧縮部で行う階調値の減少割合は、前記環境光情報に応じて定められる
   ことを特徴とする請求項６に記載の撮像装置。
8. 前記第２画像データの生成において、前記光電変換部から前記電荷保持部に電荷が転送される周期は、前記撮像環境における光源の点滅周期の１／２以下である
   ことを特徴とする請求項６又は７に記載の撮像装置。
9. 前記第２画像データの生成において、前記光電変換部から前記電荷保持部に複数回にわたって電荷が転送される期間の長さは、前記撮像環境における光源の点滅周期より長い
   ことを特徴とする請求項６乃至８のいずれか１項に記載の撮像装置。
10. 前記第２画像データの生成において、前記光電変換部から前記電荷保持部に複数回にわたって電荷が転送される期間の長さは、前記撮像環境における光源の点滅周期の自然数倍である
    ことを特徴とする請求項６乃至９のいずれか１項に記載の撮像装置。
11. 複数の行及び複数の列をなして配された複数の画素を更に備え、
    前記光電変換部と、前記電荷保持部と、前記電荷転送部とは、前記複数の画像の各々に含まれており、
    前記複数の画素において、前記光電変換部から前記電荷保持部への電荷の転送は同時に行われる
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記第１露光時間は、前記光電変換部から前記電荷保持部に複数回にわたって転送された電荷の露光時間の合計である
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 請求項１乃至１２のいずれか１項に記載の撮像装置と、
    前記撮像装置から出力される信号を処理する信号処理部と、
    を備えることを特徴とする撮像システム。
14. 移動体であって、
    請求項１乃至１２のいずれか１項に記載の撮像装置と、
    前記撮像装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と、
    を備えることを特徴とする移動体。
15. 入射光に応じた電荷を生成する光電変換部と、
    前記電荷を保持する電荷保持部と、
    前記光電変換部から前記電荷保持部に前記電荷を転送する電荷転送部と、
    前記電荷保持部に転送された電荷に基づく信号を出力する出力部と、
    を備える撮像装置の制御方法であって、
    第１露光時間において前記光電変換部で生じた電荷に基づく第１画像データを取得するステップと、
    前記電荷転送部によって前記光電変換部から前記電荷保持部に複数回にわたって転送された電荷の露光時間の合計であり、かつ前記第１露光時間よりも長い第２露光時間において前記光電変換部で生じた電荷に基づく第２画像データを取得するステップと、
    前記第２画像データの階調値を減少させて第３画像データを生成するステップと、
    を備えることを特徴とする撮像装置の制御方法。

Images