JP2006148549A - 撮像素子及び撮像装置 - Google Patents

Abstract

【課題】手ぶれ、被写体ぶれ発生によるずれが撮像画像の一部に発生する場合にも、適切にぶれ補正を行うことである。
【解決手段】複数の単位光電変換部が配列されたライン露光式の光電変換部と、前記光電変換部の各ラインの露光時間のうちの共通する時間の感度をアップして各単位光電変換部の画素信号を読み出す読み出し部と、を備える。
【選択図】図４

Description

本発明は、撮像素子及び撮像装置に関する。

従来、カメラでの撮影時に手ぶれが発生する場合があった。手ぶれとは、カメラのシャッタを切るときに、カメラ自体が動いたりして写真がぶれてしまうことである。これは、撮影者としての人間が生物学的に避けられない微小なゆれを起こすために、どうしても伴ってしまう現象である。手ぶれは、露光時間中のカメラの揺れであるため、屋外の天気がいい日の撮影等のシャッタスピードが高速であるシーンでは問題にならない。

しかしながら、夕暮れ時や室内等のシャッタスピードが低下する場合の撮影や、揺れが画像に大きく影響する望遠等の撮影の場合、手ぶれの影響が画像に現れてしまう。三脚を使う等して、カメラをきちんと固定して、カメラを揺らさずにシャッタを切ることにより回避できるが、携帯電話機等の携帯機器のカメラの場合、液晶画面越しに撮影することから、カメラが固定されず、手ぶれが多く発生する。また、携帯機器のカメラは、Ｆ値が低く、感度が低く、ストロボがない等のため、フィルムカメラより手ぶれが発生しやすくなっている。

上記のような撮影者の手の揺れが原因で発生する「光軸のずれ」を補正するのが、手ぶれ補正である。手ぶれ補正機能は、フィルムカメラでは、高級一眼レフカメラを中心に採用されていたが、近年、デジタルスチルカメラ、デジタルビデオカメラでも、手ぶれ補正機能を搭載した製品が増えている。手ぶれ補正としては、大きく分けて、シャッタスピードやＩＳＯ（International Organization for Standardization）感度を調整するだけの露光時間制御方法と、レンズや撮像素子をスライドさせることで光軸のずれを補正する光学的補正方法と、撮像画像を画像処理により補正する電子的補正方法と、がある。

露光時間制御方法は、シャッタスピードを制限し、高速シャッタ寄りの設定のみを用いることで手ぶれの影響を抑える方法である。露光時間制御方法では、低輝度シーンでは暗くなってしまうため、一般的に、ＩＳＯ感度を上げて対応する。

光学的補正方法は、角速度センサなどによって手ぶれの大きさを検出し、その大きさに合わせてレンズやＣＣＤを物理的に動かして光軸のずれを補正する（例えば、特許文献１参照）。光学的補正方法は、感度アップが不要であるため、それに伴うノイズの増加を防ぐことができるとともに、電子的補正方法と異なり、光軸上のぶれをキャンセルするため、画質劣化することがない。

電子的補正方法は、例えば、角速度センサ等によって手ぶれの大きさを検出し、センサからの読み出し又はメモリ読み出し位置を変えることにより手ぶれ補正する構成である（例えば、特許文献２参照）。また、動きベクトルを検出し、手ぶれの発生の有無を判定し、手ぶれ発生があった場合に手ぶれ補正処理を行う構成が考えられている（例えば、特許文献３参照）。また、動きベクトルを検出し、その検出結果に基づいて予測画像を生成して手ぶれ補正をする構成も考えられている（例えば、特許文献４参照）。

また、手ぶれ量のデータから、画素データの読み出し位置を決定し、読み出されるべき位置の画素が２つの画素にまたがるような位置に位置する画素である場合に、複数の画素データからその読み出すべき位置に位置する画素の画素データを生成（補間）する構成が考えられている（例えば、特許文献５参照）。
特開平６−３０３２６号公報 特開平５−１１０９３１号公報 特開２００３−１３４３８５号公報 特開２００４−４８３９０号公報 特開２００４−２６６３２２号公報

しかし、上記露光時間制御方法では、感度アップするため、それに伴うノイズが発生してしまう。また、特許文献１に記載のように、光学的補正方法では、角速度センサ等の手ぶれ検知センサや、レンズ、撮像素子を物理的に動かす部材が必要であるため、装置構成が複雑となり、装置のコンパクト化が困難であった。

また、特許文献２〜５に記載のように、従来の電子的補正方法では、手ぶれ検知センサを用いることなく、画像から手ぶれ方向及び手ぶれ量を検出できるが、手ぶれや被写体ぶれにより発生したずれが撮像画像の一部に発生しているとそのずれを検出及び補正できないおそれがあった。

本発明の課題は、手ぶれ、被写体ぶれ発生によるずれが撮像画像の一部に発生する場合にも、適切にぶれ補正を行うことである。

上記課題を解決するために、請求項１に記載の発明は、
複数の単位光電変換部が配列されたライン露光式の光電変換部と、
前記光電変換部の各ラインの露光時間のうちの共通する時間の感度をアップして前記各単位光電変換部の画素信号を読み出す読み出し部と、を備えることを特徴とする撮像素子である。

請求項２に記載の発明は、
被写体の光を結像する光学系と、
前記結像された光を変換して画像信号を出力する請求項１に記載の撮像素子と、を備えることを特徴とする撮像装置である。

請求項１に記載の発明によれば、光電変換部の各ラインの露光時間のうちの共通する時間の感度をアップして各単位光電変換部の画素信号を読み出すので、各ラインの画素信号に対する共通の露光時間の寄与を他の露光時間よりも大きくでき、手ぶれや被写体ぶれが発生し、画像信号の少なくとも一部にずれが発生する場合でも、そのずれが適切に補正された画像信号を容易に取得できるとともに、画像信号のノイズを低減できる。

請求項２に記載の発明によれば、各ラインの画素信号に対する共通の露光時間の寄与を他の露光時間よりも大きくでき、手ぶれや被写体ぶれが発生し、画像信号の少なくとも一部にずれが発生する場合でも、そのずれが適切に補正された画像信号を容易に撮像して取得できるとともに、画像信号のノイズを低減できる。

以下、添付図を参照して本発明に係る実施の形態を詳細に説明する。ただし、発明の範囲は、説明する例に限定されるものではない。

図１〜図４を参照して、本実施の形態の装置構成を説明する。図１に、本実施の形態のデジタルスチルカメラ１の内部構成を示す。

図１に示すように、撮像装置としてのデジタルスチルカメラ１は、光学系１０と、撮像素子２０と、制御部５０と、光学系駆動部６０と、画像処理部７０と、画像メモリ８０と、画像圧縮部９０と、画像記録部１００と、表示部１１０と、操作部１２０と、を備えて構成される。

光学系１０は、ズームレンズ等のレンズや絞り等を含む光学系であり、被写体からの光が入射され、撮像素子２０の撮像部２１に結像する。撮像素子２０は、撮像部２１と、ＡＦＥ（Analog Front End）３０と、タイミング発生部４０と、を備えて構成される。撮像部２１は、２次元マトリクス状（Ｘ−Ｙ）アドレス読み出し式撮像素子としてのライン露光型（ローリング・シャッタ）のＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等の撮像素子であるものとする。

ＡＦＥ３０は、センサ駆動回路、センサ出力のノイズを軽減させるＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路、信号の増幅を行うＡＧＣ（Automatic Gain Control：自動利得制御）回路、Ａ／Ｄ変換回路等から構成され、撮像部２１から出力されたアナログの画像信号に各処理を施してデジタル画像データを出力する。タイミング発生部４０は、制御部５０の制御により、撮像部２１及びＡＦＥ３０における画像信号出力用の各種タイミングをとるためのタイミング信号を出力する。

制御部５０は、デジタルスチルカメラ１の各部を制御する。制御部５０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を含み、ＲＯＭから読み出されてＲＡＭに展開された各種プログラムと、ＣＰＵとの協働で各種処理を実行する。

光学系駆動部６０は、制御部５０の制御により、変倍、フォーカス、絞り等において、光学系１０を駆動制御する。

画像処理部７０は、画像データに各種画像処理を施し、例えば、ＡＦＥ３０から出力されたデジタルの画像データを輝度信号及び色差信号に変換する。

画像メモリ８０は、画像データを読み出し及び書き込み可能に記憶する。画像圧縮部９０は、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式により、輝度信号及び色差信号で表現される画像データを圧縮する。画像記録部１００は、図示しないスロットにセットされた、ＳＤ（Secure Digital）メモリカード、メモリスティック、ｘＤピクチャカード等の記録メディアに画像データを記録する。

表示部１１０は、カラー液晶パネル、ＥＬ（ElectroLuminescent）ディスプレイ等であり、撮影後の画像データ、撮影前のスルー画像、各種操作画面等を表示する。操作部１２０は、レリーズボタン、各種モード、値を設定するための各種操作キーを含み、ユーザにより操作入力された情報を制御部５０に出力する。

次いで、図２、図３を参照して、撮像素子２０の構成を詳細に説明する。図２に、撮像部２１の構成を示す。図３に、光電変換部２１１の構成を示す。

図２に示すように、撮像部２１は、光電変換部２１１と、読み出し部としての、読み出し用垂直シフトレジスタ２１２、リセット用垂直シフトレジスタ２１３、水平シフトレジスタ２１４及び出力アンプ２１５と、を備える。

読み出し用垂直シフトレジスタ２１２は、光電変換部２１１で光電変換された信号電荷を水平画素列（走査線）毎に読み出すアドレス指定を行う。リセット用垂直シフトレジスタ２１３は、水平画素列（走査線）毎に各画素に蓄積された信号電荷をリセットするためのアドレス指定を行う。水平シフトレジスタ２１４は、光電変換部２１１で光電変換された信号電荷を水平画素列毎に水平転送する。

図３に示すように、光電変換部２１１は、二次元マトリクス状に配列されている複数の単位画素回路としての単位光電変換部２１１１と、読み出し用垂直シフトレジスタ２１２に接続されている複数の垂直走査線２１１２と、リセット用垂直シフトレジスタ２１３に接続されている複数のリセット走査線２１１３と、水平スイッチトランジスタ２１６を介して水平シフトレジスタ２１４及び出力信号線２１７に接続されている垂直信号線２１１４と、を有している。

各単位光電変換部２１１１は、フォトダイオード２１１５と、アンプ２１１６と、垂直走査線２１１２及び垂直信号線２１１４に接続されている選択トランジスタ２１１７と、リセット走査線２１１３に接続されているリセットトランジスタ２１１８等とを備える。

フォトダイオード２１１５で光電変換された信号電荷は、フォトダイオード２１１５の電圧変化に置き換えられ、アンプ２１１６で増幅される。そして、読み出し用垂直シフトレジスタ２１２から垂直走査線２１１２に順次選択パルスが印加されると、選択パルスの印加された垂直走査線２１１２に接続された選択トランジスタ２１１７がＯＮになり、アンプ２１１６で増幅された信号電荷が選択トランジスタ２１１７を介して垂直信号線２１１４に読み出される。そして、水平シフトレジスタ２１４から水平スイッチトランジスタ２１６に順次選択パルスが印加されると、垂直信号線２１１４上の信号電荷が、順次出力信号線２１７に読み出されて出力アンプ２１５で増幅され、その電圧信号が画素信号として出力される。

また、リセット用垂直シフトレジスタ２１３からリセットパルスが各リセット走査線２１１３に印加されると、リセットトランジスタ２１１８がＯＮになり、フォトダイオード２１１５の信号電荷がリセットされる。

タイミング発生部４０は、制御部５０から入力される露光時間指示信号に基づいて、撮像部２１の読み出し用垂直シフトレジスタ２１２、リセット用垂直シフトレジスタ２１３、水平シフトレジスタ２１４を駆動する各種タイミング信号を発生し、撮像部２１に出力する。また、各フレームの画像信号を区別するために用いられる読み出しタイミング信号を制御部５０に出力する。

ここで、デジタルスチルカメラ１における全体的な動作を説明する。被写体撮影では、被写体のモニタリング（スルー画像表示）と、画像撮影実行とが行われる。

モニタリングにおいては、光学系１０を介して得られた被写体の光が、撮像素子２０の撮像部２１に結像される。光学系１０の撮影光軸後方に配置された撮像部２１が、タイミング発生部４０のタイミング信号によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力としてのアナログの画素信号が１画面分出力される。

このアナログの画像信号は、ＡＦＥ３０によりＲＧＢの各原色成分毎に各処理が行われた後にデジタルの画像データに変換される。撮像素子２０から出力されたデジタルの画像データは、画像処理部７０により、画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成されて画像メモリ８０に格納され、定期的にその輝度信号及び色差信号が読み出されて、画像処理部７０によりそのビデオ信号に変換されて、表示部１１０に出力される。

この表示部１１０は、入力されるビデオ信号に基づいて画像表示し、モニタリングにおいては電子ファインダとして機能し、撮像画像をリアルタイムに表示することとなる。この状態で、随時、ユーザの操作部１２０を介する操作入力に基づいて、光学系駆動部６０の駆動により光学系１０の変倍、フォーカス、絞り等が設定される。

このようなモニタリング状態において、静止画撮影を行ないたいタイミングで、ユーザが操作部１２０のレリーズボタンを押下することにより、静止画像データが撮影される。レリーズボタンの押下のタイミングで、画像メモリ８０に格納された１コマの画像データが読み出される。そして、その画像データが画像圧縮部９０により圧縮され、その圧縮された画像データが、画像記録部１００により記録メディアに記録される。

次いで、図４を参照して、撮像素子２０における動作を説明する。図４（ａ）に、一般的なＣＭＯＳセンサにおける、時間に対する各ラインの露光タイミングを示す。図４（ｂ）に、本実施の形態の撮像素子２０における、時間に対する各ラインの露光タイミングを示す。

図４（ａ）に示すように、一般的なライン露光型のＣＭＯＳセンサにおける、時間に対する各ラインの露光時間は、水平方向の各ラインＬ０，Ｌ１，Ｌ２，Ｌ３，Ｌ４，…で、同じ値となるが、露光開始時間（露光タイミング）が、各ラインＬ０〜で、所定時間ずつ遅れていく。これは、ライン露光型のＣＭＯＳセンサでは、１ライン分のメモリしか有しないことに起因する。この各ラインでの露光タイミングのずれにより、手ぶれ、被写体ぶれが発生すると、撮像画像データ上の被写体像にずれが生じる。

本実施の形態においては、撮像素子２０において、図４（ｂ）に示すように、水平方向の各ラインＬ０〜の露光時間のうちの共通する時間に、光電変換部２１１の感度をアップして各画素信号を読み出すものとする。露光全体に対して、各ライン共通の感度アップされた時間での露光の寄与が大きくなるので、それらの画素信号から構成される画像信号における各ラインＬ０〜での露光タイミングのずれが緩和される。また、各ラインの露光時間のうちの共通する時間の感度を上げる構成であるので、各ラインの全露光時間の感度をアップする構成に比べて、画像信号のノイズを低減できる。

以上、本実施の形態によれば、撮像部２１の光電変換部２１１の各ラインの露光時間のうちの共通する時間の感度をアップして画素信号を読み出すので、各ラインの画素信号に対する共通の露光時間の寄与を他の露光時間の寄与よりも大きくでき、手ぶれや被写体ぶれが発生し、画像の少なくとも一部にずれが発生する場合でも、そのずれが適切に補正された画像信号を取得できるとともに、画像信号のノイズを低減できる。

なお、上記実施の形態における記述は、本発明に係る好適な撮像素子及び撮像装置の一例であり、これに限定されるものではない。

例えば、上記各実施の形態において、撮像装置として、デジタルスチルカメラの例を説明したがこれに限定されるものではなく、ビデオカメラや、撮像機能付の携帯電話機、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等の少なくとも撮像機能を有する携帯端末等の機器としてもよい。

また、撮像装置を、上記機器に搭載される撮像ユニットとしてもよい。ここで、図５を参照して、撮像装置としての撮像ユニット３５０を搭載した携帯電話機３００の例を説明する。図５に、携帯電話機３００の内部構成を示す。

図５に示すように、携帯電話機３００は、各部を統括的に制御すると共に各処理に応じたプログラムを実行する制御部（ＣＰＵ）３１０と、番号等をキーにより操作入力するための操作部３２０と、所定のデータの他に撮像した映像等を表示する表示部３３０と、アンテナ３４１を介して外部サーバ等との間の各種情報通信を実現するための無線通信部３４０と、撮像装置としての撮像ユニット３５０と、携帯電話機３００のシステムプログラムや各種処理プログラム等の必要な諸データを記憶している記憶部（ＲＯＭ）３６０と、制御部３１０によって実行される各種処理プログラムやデータ、若しくは処理データ、或いは撮像ユニット３５０により撮像データ等を一時的に格納する作業領域として用いられる一時記憶部（ＲＡＭ）３７０とを備えている。

撮像ユニット３５０は、光学系１０と、撮像素子２０と、鏡筒と、光学系１０及び撮像素子２０の駆動機構等と、を備えて構成され、撮像ユニット３５０自体は、制御部や画像処理部を有せず、コネクタ等により制御部、操作部、表示部等に結合されることを前提としたレンズユニットとする。具体的には、撮像ユニット３５０は、例えば、光学系における筐体の物体側端面が携帯電話機３００の背面（表示部３３０のメイン表示部を正面とする）に設けられ、メイン表示部の下方に相当する位置に配設される。また、撮像ユニット３５０の外部接続端子は、携帯電話機３００の制御部３１０と接続され、撮像ユニット３５０により撮像された輝度信号や色差信号等の画像信号が外部接続端子を介して制御部３１０側に出力される。また、撮像ユニット３５０から入力された画像信号は、携帯電話機３００の制御系により、記憶部３６０に記憶されたり、或いは表示部３３０で表示され、さらには、無線通信部３４０を介して映像情報として外部に送信される。

また、撮像装置としての撮像ユニットは、光学系１０と、撮像素子２０と、鏡筒と、光学系１０及び撮像素子２０の駆動機構等と、基板上に配置された制御部及び画像処理部等と、を有し、コネクタ等により表示部及び操作部等を有する別体に結合され用いられることを前提とするカメラモジュールとして構成してもよい。

本発明に係る実施の形態のデジタルスチルカメラ１の内部構成を示す図である。 撮像部２１の内部構成を示すブロック図である。 光電変換部２１１の構成を示す図である。 （ａ）は、一般的なＣＭＯＳセンサにおける、時間に対する各ラインの露光タイミングを示す図である。（ｂ）は、撮像素子２０における、時間に対する各ラインの露光タイミングを示す図である。 携帯電話機３００の内部構成を示すブロック図である。

符号の説明

１ デジタルスチルカメラ
２０ 撮像素子
２１ 撮像部
３０ ＡＦＥ
４０ タイミング発生部
２１１ 光電変換部
２１１１ 単位光電変換部
２１１２ 垂直走査線
２１１３ リセット走査線
２１１４ 垂直信号線
２１１５ フォトダイオード
２１１６ アンプ
２１１７ 選択トランジスタ
２１１８ リセットトランジスタ
２１２ 読み出し用垂直シフトレジスタ
２１３ リセット用垂直シフトレジスタ
２１４ 水平シフトレジスタ
２１５ 出力アンプ
２１６ 水平スイッチトランジスタ
２１７ 出力信号線
５０ 制御部
６０ 光学系駆動部
７０ 画像処理部
８０ 画像メモリ
９０ 画像圧縮部
１００ 画像記録部
１１０ 表示部
１２０ 操作部
３００ 携帯電話機
３１０ 制御部
３２０ 操作部
３３０ 表示部
３４０ 無線通信部
３４１ アンテナ
３５０ 撮像ユニット
３６０ 記憶部
３７０ 一時記憶部

Claims (2)

1. 複数の単位光電変換部が配列されたライン露光式の光電変換部と、
   前記光電変換部の各ラインの露光時間のうちの共通する時間の感度をアップして前記各単位光電変換部の画素信号を読み出す読み出し部と、を備えることを特徴とする撮像素子。
2. 被写体の光を結像する光学系と、
   前記結像された光を変換して画像信号を出力する請求項１に記載の撮像素子と、を備えることを特徴とする撮像装置。

Images