JP2007097085A - ディジタルカメラ - Google Patents

Abstract

【課題】コストが上がるのを抑え、また固体撮像素子が大きくなることを防ぎながら、なめらかな画像データを形成することが可能なディジタルカメラの提供。
【解決手段】ディジタルカメラ1は、操作部3、制御部5、タイミング発生部7、撮像駆動部9、撮像部11、光学系駆動部13、光学系15、前処理部17、入力画像調整部19、対応配列処理部21、積算部23、信号処理部25、モニタ27、記録メディア制御部29、およびメディア31を含み、撮像部11の撮像面は２つ領域に分割されている。積算部23は、画像データ83の画素データのうち、領域と領域とのつなぎ目部分に位置する画素データを積算する。また制御部5は積算部23が積算した値により領域間の違いを算出し、この違いにより画素データを補正する。よって、つなぎ目の目立たないなめらかな画像データを形成することが可能になる。
【選択図】図１

Description

本発明は、ディジタルカメラに関し、1画面を形成する撮像面が複数の領域に分割された固体撮像素子を含むディジタルカメラに関する。

ディジタルカメラには、被写界からの入射光から信号電荷を生成する受光素子がマトリックス状に複数配列された撮像面を含む固体撮像素子が設けられており、画像データは、この固体撮像素子の受光素子により生成された信号電荷が電気信号として取り出され、この電気信号が処理されることで形成される。近年ディジタルカメラは、静止画だけでなく動画も撮影できるように、また、高解像度の画像データを形成できるように進化しているため、固体撮像素子から電気信号を短い時間で取り出す必要が生じている。よって、撮像面を複数の領域に分割し、分割された領域毎に、すなわち並列に電気信号を取り出すことが行われている。

しかし、撮像面を複数の領域に分割して並列に電気信号を取り出す場合では、領域毎に特性の異なる電気信号が取り出されてしまい、その結果、領域毎に色合いや明るさ等が異なる、すなわち、領域毎にばらつきのある画素データを含んだ画像データが形成されてしまうという問題を有していた。

具体的に説明すると、固体撮像素子から電気信号を取り出す際は、受光素子により形成された信号電荷を電気信号に変換する処理が、固体撮像素子に含まれる出力部で行われる。撮像面を分割した場合では、この出力部が領域毎に設けられるようになる。しかし出力部を構成する回路素子の特性や増幅器のゲインは、出力部毎に異なるため、固体撮像素子から取り出された電気信号の黒レベルやゲイン等、すなわち電気信号の特性に差異が生じるようになり、その結果、領域毎にばらつきのある画素データを含むディジタル画像データが形成されてしまうのである。

特許文献１には、画像データに含まれるこのような領域毎のばらつきを改善し、ばらつきのないなめらかな画像データを形成することを目的とした固体撮像装置が開示されている。しかし、特許文献１が開示している固体撮像装置では、撮影を行う前に固体撮像素子に均一光を照射して信号を得、この信号を用いてそれぞれの領域の差を算出し、この差に応じて各領域の補正を行ってから撮影を行うため、均一光を照射する装置が必要になって、コストがかかるようになったり、固体撮像素子が大きくなるという問題を有していた。また、撮影を行う前に固体撮像素子に均一光を照射し信号を得る必要があるため、画像データを形成する際に撮影を2回行うようになり、撮影の間隔が長くなるという問題も有していた。
特開２００２−７７７２９号公報

本発明はこのような従来技術の欠点を解消し、コストが上がるのを抑え、また固体撮像素子が大きくなることを防ぎながら、なめらかな画像データを形成することが可能なディジタルカメラを提供することを目的とする。

上述の課題を解決するために、本発明では、画像データにおける、領域と領域とのつなぎ目となる部分と対応する画素データを比較して補正を行う。具体的に説明すると、領域と領域とのつなぎ目部分に対応する画素データから両者の違いを求め、この違いに応じて画素データのゲインを補正する。また画像データにおける、つなぎ目部分のオプティカルブラック部、すなわち、黒レベル検出部分に対応する画素データから両者の違いを求め、この違いに応じて例えば輝度や色あい等を補正する。このように領域と領域を比較して画素データのゲイン、輝度、または色合い等を補正するため、画素データ毎にばらつきのない画像データ、すなわちつなぎ目のわからないなめらかな画像データを形成することが可能になる。

つなぎ目部分、またはつなぎ目部分のオプティカルブラック部に対応する画像データから両者の違いを求める際は、これらの部分における画素データを領域毎に積算した値が用いられ、積算した値を基にして補正するか否かが判断される。また補正を行うか否かは、シャッタスピード、ISO感度、または温度に応じても判断される。

本発明によれば、領域と領域とのつなぎ目部分に対応する画素データから領域間の違いを求め、この違いに応じて画素データを補正するため、余計な素子を用いることなく、領域毎のつなぎ目をわからなくしたなめらかな画像データを形成することが可能である。よって、コストが上がるのを抑え、また固体撮像素子が大きくなることを防ぐことが可能になる。

次に添付図面を参照して本発明によるディジタルカメラの実施例を詳細に説明する。図１は、本発明によるディジタルカメラの実施例の構成を表すブロック図である。図１において、ディジタルカメラ1は、操作部3、制御部5、タイミング発生部7、撮像駆動部9、撮像部11、光学系駆動部13、光学系15、前処理部17、入力画像調整部19、対応配列処理部21、積算部23、信号処理部25、モニタ27、記録メディア制御部29、およびメディア31を含んでおり、被写界からの入射光を基にしてディジタル画像データを形成する装置である。より具体的に説明すると、被写界からの入射光を光学系15において取り込むとともに、操作部3で操作されることにより制御部5、光学系駆動部13および撮像駆動部9が制御されて撮像部11でこの被写界像を撮像し、得られたアナログ電気信号を前処理部17、および入力画像調整部19で処理してディジタル画像データを形成し、このディジタル画像データを対応配列処理部21、積算部23、および信号処理部25で処理してモニタ27に表示したり、メディア制御部29によりメディア31に記憶する装置である。なお、本発明の理解に直接関係のない部分は、図示を省略し冗長な説明を避ける。また以下の説明において各信号はその現れる接続線の参照番号で特定する。

操作部3は、操作者の指示が入力される手操作装置であり、操作者の手操作状態、例えば図示しないシャッタボタンのストローク操作に応じて、操作信号33を制御部5に供給する部分である。制御部5は、操作部3から供給される操作信号33に応動して、ディジタルカメラ1全体の動作を制御、統括する部分であり、本実施例では、光学系駆動部13およびタイミング発生部7と接続しこれらに必要な処理を行わせるための制御信号35、37を供給する。また、データバス39に接続して、このデータバス39に接続されている入力画像調整部19、対応配列処理部21、積算部23、信号処理部25、およびメディア制御部29に必要な処理を行わせる制御信号41をデータバスに供給する。

光学系駆動部13は、制御部5により制御されて後段の光学系15を駆動する駆動信号45を形成する部分である。本実施例では、制御部5は、操作部3からの操作信号33により光学系駆動部13を制御する制御信号37を形成し、これにより光学系駆動部13が光学系15を駆動する駆動信号45を形成する。光学系15は、具体的な構成を図示しないが、レンズ、絞り調整機構、シャッタ機構、ズーム機構、自動焦点 (Automatic Focus : AF) 調整機構、および自動露出 (Automatic Exposure : AE) 調整機構を含んでいる。なお、赤外線 (Infrared Rays : IR) カットフィルタや光学ローパスフィルタ (Low Pass Filter : LPF) を含むことも可能である。また光学系15は、光学系駆動部13からの駆動信号45により制御される。例えば本実施例では、光学系15は、光学駆動部13からの駆動信号45により、レンズ、自動焦点調整機構、自動露出調整機構が駆動して、所望の被写界像を取り込んで撮像部11に入射する。

タイミング発生部7は、制御部5により制御され、制御部5からの制御信号35に応動してタイミング信号47、49を形成する部分である。形成されたタイミング信号47、49は、撮像駆動部9、前処理部17へそれぞれ供給される。なお、どのようなタイミング信号を形成し、どこへ供給するかは制御部5の制御信号35により決定される。

撮像駆動部9は、タイミング発生部7からのタイミング信号47に応動して、信号電荷を読み出すための駆動信号53を形成する部分である。形成された駆動信号53は撮像部11へと供給される。撮像部11は、図２に示すように撮像画面の1画面を形成する撮像面57を含み、光学系15を介してこの撮像面57に結像される被写界象を撮像駆動部9からの駆動信号53に応じてアナログ電気信号に光電変換する、すなわち撮像する部分である。本実施例では撮像部11に、図２に示すように光電結合素子(Charge Coupled Device : CCD) を採用している。

図２は、図１に示す撮像部11の正面、すなわち撮像面53を概念的に示した図である。撮像面53は、図示しない２次元マトリックス状に配置された複数の受光素子と、各受光素子で発生した信号電荷の読み出しを制御する、図示しないトランスファーゲートと、受光素子のそれぞれの垂直方向、すなわち列とそれぞれ接続し、各受光素子に発生した電荷を垂直方向に転送する、図示しない垂直転送CCDと、受光素子の水平方向と、すなわち、行と平行するように設けられ、垂直転送CCDからの電荷を水平方向に転送する水平転送CCD 59、61と、各水平転送CCD 59の端に設けられた出力部63、65とを含んでいる。なお、図示しないが、撮像部11は色フィルタを含んでもよい。受光素子、トランスファーゲート、垂直転送CCD、水平転送CCD 59、61、および出力部63、65は、公知のものであり、また、色フィルタを含む場合も公知のものを採用する事が可能である。

撮像面57は、図２に示すように、撮像面57の実質的に中央67で、第１領域69と第２領域71の２つの領域に分割されており、各領域69、71に対応して、すなわち領域69、71毎に水平転送CCD 59、61と出力部63、69が設けられている。具体的には、第１領域69に水平転送CCD 59と出力部63が設けられ、また第２領域71に水平転送CCD 61と出力部65が設けられている。第１領域69に含まれる受光素子から垂直転送CCDへと転送された信号電荷は、水平転送CCD 59へと転送されて出力部63で光電変換され、アナログ電気信号73として出力される。また、第２領域71に含まれる受光素子から垂直転送CCDへと転送された信号電荷は、水平転送CCD 61へと転送されて出力部65で光電変換され、アナログ電気信号75として出力される。以上のようにして撮像部11では並列に光電変換を行っており、アナログ電気信号73とアナログ電気信号75の、２つのアナログ電気信号73、75を同時に出力している。出力されたアナログ電気信号73、75は前処理部17へと供給される。

なお本発明は、撮像面57を２つに分割することに限定するわけではなく、ディジタルカメラに合わせて任意の数に分割することが可能である。撮像面57をいくつの領域に分割した場合であっても、本実施例のように各領域に対応して水平転送CCDと出力回路が設けられる。

図１に戻って、前処理部17は、タイミング発生部7のタイミング信号49に応動してアナログ電気信号73、75におけるノイズを低減したり、ノイズを低減したアナログ電気信号73、75をディジタル信号へ変換したり、信号のゲインの調整を行う部分である。前処理部17には、アナログ電気信号73、75の両方が入力され、前処理部はこの２つのアナログ電気信号73、75の入力に対応して、出力信号77、79を形成し、この出力信号77、79を入力画像調整部19へ供給する。

入力画像調整部19は、２つの出力信号77、79から１つの出力データ、すなわち、ディジタル画像データ81を形成する部分であり、本実施例では、２つの出力信号77、79が有する周波数の2倍の周波数でサンプリングしてディジタル画像データ81を形成する。なお入力画像調整部19はこの機能に限定されるものではなく、例えば供給される出力信号77、79からディジタル画像データ81を形成するとともに、図示しないメモリにそれぞれ記憶することも可能である。入力画像調整部19により形成されたディジタル画像データ81は、データバス39を介して対応配列処理部21へ供給される。

対応配列処理部21は、入力されたディジタル画像データ81に含まれる画素データの配列を補正して1枚の画像に合成する部分であり、本実施例では、ディジタル画像データ81の画素データの配列を、走査線に対応した点の順に補正し、1枚の画像に合成されたディジタル画像データ83を形成する。形成されたディジタル画像データ83はデータバス39を介して積算部21へ供給される。

積算部21は、入力されたディジタル画像データ83のうち、領域と領域のつなぎ目の近傍に対応する画素データを領域毎に積算し、積算値85を形成する部分である。本実施例では、積算部21は、図２に示した第１領域69と第２領域71のつなぎ目である中央67の近傍の部分、すなわちつなぎ目部分に対応する画素データを領域69、71毎に積算する。このように積算することが必要になるのは、本実施例では撮像面57が分割されていることに起因する。

つまり、本実施例では、図２に示すように、撮像面57は第１領域69と第２領域71に分割されているため、ディジタル画像データ83は、第１領域69からのアナログ電気信号73により形成された画素データと、第２領域71からのアナログ電気信号75により形成された画素データの、２つの画素データから形成される。これらの画素データは、領域毎に出力部63、65を構成する各素子の特性等が異なるため、同じ被写界像を撮像した場合であっても領域毎に色合いや明るさが異なる。その結果、このような画素データを含むディジタル画像データ83は、表示した際に例えば画面の右側と左側とで色合いや明るさが異なる等の問題を有していた。よって本実施例では、積算部23で第１領域69と第２領域71のつなぎ目部分に対応する画素データを積算することにより、画素データの領域69、71間の違いを算出し、算出された値に応じて補正を行う。つまり、積算部23は、この補正を行う際に必要となる、画素データの色合いや明るさが領域69、71毎にどのくらい異なるのかを表す値を形成する部分であり、つなぎ目部分の画素データを領域69、71毎に積算した値を形成する部分である。積算部32が積算した値、すなわち積算値85は、データバス39を介して制御部5へ供給される。制御部5では、積算部23から供給された積算値85に応じて、この違いを基にしてつなぎ目のわからないなめらかな画像を形成するために各部を制御する。例えば、本実施例では、制御部5は、積算値85から、領域69、71間の違いを算出し、前処理部17や信号処理部25にこの違いを補間するために画素データのゲインや輝度や色合いを補正するよう指示を出す。

信号処理部25は、ディジタル画像データ83が入力されるとともに制御部5からの制御信号41が入力されて、この制御信号41に応じてディジタル画像データ83を処理する部分である。例えば本実施例では、信号処理部25は、制御部5からの制御信号41に応じて、入力されたディジタル画像データ83のうち、特定の画素データのゲインや輝度や色合いを補正して、第１領域69と第２領域71のつなぎ目が目立たないなめらかなディジタル画像データ87を形成する。また、補正後のディジタル画像データ87を後段のモニタ27に表示するためのデータ89や、またデータバスを介してメディア31に保存するためのデータ91に処理する。モニタ27は、例えば液晶モニタ等であり、信号処理部25から供給されるデータ89を表示する部分である。

メディア制御部29は、信号処理部25からのデータ91が入力されるとともに制御部5からの制御信号41が入力されて、データ91を後段のメディア31に記録させる駆動信号93を形成する部分である。またメディア31は、例えばメモリ等であり、信号処理部25から供給された信号91をメモリに記憶する。

以上のような構成のディジタルカメラ1には、撮像部11を含み被写界像を撮像してディジタル画像データを形成する装置が該当し、例えば、ディジタルカメラ、電子スチルカメラ、画像入力装置、ムービーカメラ、カメラが設けられた携帯電話、または、被写体を撮像してシールに印刷する装置等が挙げられるが、本発明はこれらに限定するわけではない。また本発明では、各部の構成を本実施例に限定するわけではなく、ディジタルカメラ1に応じて任意の構成を採用する事が可能である。

本実施例のディジタルカメラ1では、図２に示すように、撮像面57が第１領域69と第２領域71に分割されているため、出力部63、65の特性の違いにより、第１領域69からのアナログ電気信号により形成された画素データと、第２領域71からのアナログ電気信号により形成された画素データとでは、色合いや明るさ等の特性が異なっている。そこで本実施例では、積算部21で積算値を計算する。このことにより、画素データの特性が領域69、71毎にどのくらい異なるのかを把握することが可能になる。よって制御部5が、得られた積算値に応じて、信号処理部25を制御し、なめらかなディジタル画像データになるよう、画素データのゲインを補正する。以下、積算部21における積算処理と、信号処理部25における補正処理について詳細に説明する。

図３は、図１に示すディジタルカメラにおいて、操作部3から被写界像を撮像し、撮像後形成されたディジタル画像データをメディア31に記録するモード、すなわち、撮影モードで駆動する旨の駆動信号33が入力された際に行われる処理手順の一例を示した流れ図である。図１、図３において、ディジタルカメラの電源がオンとなり、操作部3から撮影モードで駆動する旨の駆動信号31がされる、すなわち、操作部3に設けられた図示しないシャッタがオンになると(ステップS1)、制御部5がタイミング発生部7を制御することにより、撮像部11からアナログ電気信号73、75が取り出され、前処理部17、入力画像調整部19、および対応配列処理部21を経て形成されたディジタル画像データ83が積算部23へ供給される(ステップS2)。

積算部23では、ディジタル画像データ83が入力されると、つなぎ目部分に対応する画素データを領域毎に積算する。本実施例では、つなぎ目部分に対応する画素データは、図２に示す第１領域69、および第２領域71により形成された画素データのうち、中央67近傍で形成された画素データであるため、この画素データを領域69、71毎に積算する(ステップS3)。つまり、図４に示すように、ディジタル画像データ83を出力した際に形成される画像において、第１領域69から形成された画素データにより形成される画素と、第２領域71から形成された画素データにより形成される画素とが隣り合う部分の画素を形成する画素データを、領域69、71毎に積算する。

図４は、図１に示す積算部23に供給されるディジタル画像データ83を出力した際に形成される画像95の概念図である。また、図５は、図４に示す画像95における、第１領域69から形成された画素データにより形成される画素と、第２領域71から形成された画素データにより形成される画素とが隣り合う部分、すなわちつなぎ目の近傍において円103で囲まれた部分を拡大した拡大概念図である。なお図５において図４と同じ参照番号は同様の構成を表すため説明を省略する。図４、図５を用いて積算される画素データについて詳しく説明すると、本実施例では、撮像面57を第１領域69と第２領域71の２つに分割しているため、ディジタル画像データ83を出力すると、第１領域69から読み出されたアナログ電気信号から形成された画素データにより形成される第１画像領域97と、第２領域から読み出されたアナログ電気信号から形成された画素データにより形成される第２画像領域99の2つの領域により画像95が構成される。第１画像領域97と第２画像領域99は、画像95の実質的に中央101につなぎ目が位置し、左側に第１画像領域97、右側に第２画像領域99が配置されている。

このような第１画像領域97と第２画像領域99では、例えば、色合いや明るさが異なっている。これは、第１領域69と第２領域71における出力部63、65の特性が異なるため、領域69、71毎に異なる特性を有する画素データされてしまうことに起因する。積算部23では、このような明るさや色合い、すなわち特性の違いを補間するために、中央101近傍の画素を形成する画素データを、領域69、71毎に、すなわち画像領域97、99毎に積算する。

具体的には図５に示すように、中央101近傍の画素、すなわち、つなぎ目から左右に1、2、3、4、5番目に位置する画素を形成する画素データを、第１画像領域97および第２画像領域99毎に積算する。また本実施例では、各画像領域97、99におけるつなぎ目から５番目までに対応する画像データを、一度に積算するわけではなく、つなぎ目を垂直方向に8つの部分に等分し、すなわち、第１画像領域におけるつなぎ目近傍を8等分、また第２画像領域におけるつなぎ目近傍を8等分し、分けられた部分毎に積算する。結局、図４に点線で示した部分毎、すなわち第１画像領域97では、上から順に、1A部分105、1B部分107、1C部分109、1D部分111、1E部分113、1F部分115、1G部分117、および1H部分119毎に、対応する画素データを積算し、また第２画像領域99では、上から順に2A部分121、2B部分123、2C部分125、2D部分127、2E部分129、2F部分131、2G部分133、および2H部分135毎に、対応する画素データを積算する。

なお本実施例に限定するわけではなく、積算するために使用する画素データの数は任意の数を採用する事が可能であり、また積算する際には、つなぎ目部分を任意の数に分けることが可能であって、つなぎ目部分を分けずに積算することも可能であり、任意のやり方を採用して積算することが可能である。なお積算する際に使用する画素データの数は、本実施例のようにつなぎ目から左右に複数ずつにした方が、画素データが有する誤差を吸収することが可能になるため好ましいが、これに限定するわけではない。また、ディジタルカメラ1が撮影する被写界に応じて、すなわち、景色を撮影する場合や、人を撮影する場合等に応じて、積算するために使用する画素データの数や、分け方を変更することも可能であるが、これに限定するわけではない。なお、積算する部分を本実施例のように分けることにより、積算を並列に行うことが可能になり、積算処理にかかる時間を短くすることが可能になる。

以上のようにして、積算部23は、つなぎ目から左右に1、2、3、4、5番目に位置する画素を形成する画素データの画素レベル値を、画像領域毎かつ部分毎に積算し、積算値を形成する。図６に本実施例で形成された積算値の一例を示す。図６において、横軸141は積算される各部分、縦軸143は画素レベル値、すなわち積算値を表し、点線145で第１画像領域97における画素データの各部分105、107、109、111、113、115、117、119の積算値を表し、実線147で第２画像領域99における画素データの各部分121、123、125、127、129、131、133、135の積算値を表している。なお、本実施例では各部分における画素データの画素レベル値を積算した値を、積算値にしているが、例えば積算した結果、それぞれの画素データのレベル値が高いために積算値が大きくなり、後段の制御部5において補正を行うか否かの判断時に、積算値が扱い難くなる等の問題が生じる場合では、積算部23は各部分の積算値の平均値、すなわち、各画素データの画素レベルを積算した値を積算した画素データの数で割った値を、制御部5に供給するようにしてもよい。なおこれに限定するわけではない。

積算部23は画素データの積算が終了すると、積算値を制御部5へ供給する。制御部5では、積算部23からの積算値が入力されると、第１画像領域97と第２画像領域99とで隣り合う部分の積算値から差分を計算し、この差分を用いて、第１領域69による画素データと第２領域69による画素データのつなぎ目、すなわち、第１画像領域97と第２画像領域99のつなぎ目が目立ってしまう部分があるかどうかを判断する(ステップS4)。例えば、1A部分の積算値と、2A部分の積算値の差分を計算し、1A部分と2A部分のつなぎ目が目立ってしまうかどうかを差分から判断する。なお他の部分においても同じである。

ここで、第１画像領域97と第２画像領域99のつなぎ目が目立ってしまう場合とは、計算された積算値の差分が小さい場合であると考えられる。なぜなら、積算値の差分が大きい場合は、つなぎ目で色や明るさが変わる被写界像であるため、画素データの特性の違いによる第１画像領域97と第２画像領域99のつなぎ目が目立たないと考えることができるからである。

例えば、図６を用いて説明すると、Cの部分、すなわち図３に示す1C部分109と2C部分125の差は大きいため、1C部分109と2C部分125では画素データの特性の違いが目立たないと考えられる。逆に、Gの部分、すなわち、図３に示す1G部分117と2G部分133の差は小さいため、1C部分117と2C部分133では画素データの特性の違いが目立ち、第１画像領域97と第２画像領域99のつなぎ目が目立っている可能性が考えられる。よって、制御部5は、1C部分109と2C部分125は補正せず、逆に1G部分117と2G部分133は補正すると判断する。なお他の部分も同様である。つまり、制御部5は、差分が一定値以下の場合は補正すると判断する。判断する際に用いる値は、例えば画像の種類等に応じて任意の値を採用する事が可能である。なお輝度が高い画像の場合や、画素データのレベル値が高いために積算値が大きくなる場合等では、積算値の差分が大きくなって、実際には補正をしなければならないのに補正しなくてもよいと判断してしまうことが考えられる。よってこのような場合は、通常使用する値よりも高めの値を用いて補正するか否かの判断をした方が好ましいが、本発明はこれに限定するわけではない。

以上のように判断を行い、補正しないと判断した部分については、制御部5は補正を行わずに、そのままのディジタル画像データ83をメディア31に記録するための信号にするために信号処理部25に処理させ、撮影モードを終了する(ステップS5)。逆に補正を行うと判断した部分については、制御部5は、画素データの特性の違いであるゲイン差を算出し(ステップS6)、信号処理部25に算出したゲイン差に応じて画素データのゲインを補正するよう制御信号41を供給する。ゲイン差は、例えば、一方の画像領域の画素データを基準とし、他方の画像領域の画素データを一方の画素データと実質的に同じになるように補正する場合では、一方の積算値を他方の積算値で割ることにより求めることが可能である。なお本発明はこれに限定するわけではなく、任意のやり方を採用してゲイン差を求めることが可能である。例えば、差分に対応したゲイン差を予め求めて表にしておき、表から求めることも可能である。なおこれに限定するわけではない。

信号処理部25では、供給される制御信号41に応じてディジタル画像データのゲイン83を補正する(ステップS7)。本実施例では、信号処理部25は、補正すると判断した部分のみ、画素データのゲインを補正している。なお本発明はこれに限定するわけではなく、例えば、すべての部分の画素データのゲインを補正することも可能であり、差分から求められた領域毎の違いやディジタル画像データに応じて、1部の画素データのみを補正するのか、または、すべての画素データを補正するのかを選択することが可能である。また本実施例では、制御部5は、ゲイン差を算出しているが、本発明はこれに限定するわけではなく、例えば、感度差を算出し、同じ感度になるようゲインを調整するようにすることも可能である。

信号処理部25は、以上のようにして補正を行うと、補正後のディジタル画像データをメディア31に記録するデータ91へ処理し、メディア31はメディア制御部29により制御されてデータ91を記録する。なお、これと共に信号処理部25がディジタル画像データをモニタ27に表示するためのデータ89に処理し、モニタ27で表示するようにすることも可能である。メディア31にデータ91が記録されると撮影モードでの駆動が終了する。

以上のようにしてディジタルカメラ1では、つなぎ目部分を比較することで画像データのゲインを補正し、つなぎ目の目立たないなめらかなディジタル画像データを記録する。記録されたディジタル画像データは、領域毎に異なる特性を有する画素データが補正されているため、つなぎ目の目立たないなめらかな画像を形成することが可能である。また本実施例では、つなぎ目部分のみを比較するため、積算処理、および補正処理を短い時間で行うことが可能である。

図７は、図１に示すディジタルカメラ1において、操作部3から撮影モードで駆動する旨の駆動信号33が入力された際に行われる処理手順の別の一例を示した流れ図である。なお図７において、ステップS1、ステップS2、およびステップS8は図３におけるステップS1、ステップS2、およびステップS8とそれぞれ同様の処理であるため、説明を省略する。図７に示す撮像モードでは、積算部23はつなぎ目部分に対応する画素データのうち、オプティカルブラック部、すなわち、受光素子における黒レベル検出部分に対応する画素データを積算し、積算値を形成する。制御部5では積算値から、画素データが有する領域毎の特性の違いを把握し、画素データを補正する。

なお図７に示す補正処理では、図３に示す補正処理と異なり、積算値の差分が大きい場合に補正を行う。これは、図７に示す例では、オプティカルブラック部における積算値の差分を計算しているため、差分が大きいということは、各領域69、71の出力部63、65の特性の違いが大きいことを示しているからである。また補正を行う際は、例えば、一方の領域の画素データの特性に合わせる場合では、他方の領域のすべての画素データを補正するというように、領域毎に行われ、領域における特定の部分毎に行われる事はない。以下、詳細に説明する。

図１、図７において、シャッタがオンになると(ステップS1)、撮像部11からアナログ電気信号73、75が取り出され、前処理部17、入力画像調整部19、および対応配列処理部21を経て形成されたディジタル画像データ83が積算部23へ供給される(ステップS2)。積算部23では、図８に示すようにつなぎ目すなわち中央101近傍の画素を形成する画素データのうち、オプティカルブラック部を形成する画素の画素データを積算する(ステップS3)。

図８は、積算部23に供給されるディジタル画像データ83を出力した際に形成される画像95の概念図である。なお図８において、図４と同じ参照番号は同様のものであるため説明を省略する。図８において、画像95には、被写界像を結像している有効部201と、有効部201の周囲に、オプティカルブラック部203が存在する。オプティカルブラック部203は黒レベルを検出するための部分であり、撮像部の受光素子を光学的に遮蔽することで形成される部分である。よってオプティカルブラック部203を形成する画素データの特性の違いは、各領域69、71の出力部63、65の違いを示すことになるため、図７に示す例では、このオプティカルブラック部203の画素データを積算することで、各領域69、71の出力部65、67違いを把握し、違いに応じて補正を行う。なお図４には、オプティカルブラック部203を描いていないが、それは図面が複雑になってわかりにくくなるのを避けるためであり、図４も図８と同様にオプティカルブラック部203が存在する。

積算部23はディジタル画像データ83が入力されると、ディジタル画像データ83に含まれる画素データのうち、中央101近傍のオプティカルブラック部203に位置する画素を形成する画素データを画像領域97、99毎に積算する。なお積算に用いる画素の数は、図５と同様、第１の画像領域97では中央101から左側に位置する５つ分の画素の画素データであり、第２の画像領域99では中央101から右側に位置する５つ分の画素の画素データである。

なお図８に示すように、オプティカルブラック部203は、有効部201の周囲に存在するため、中央101近傍には、上部と下部にオプティカルブラック部203がそれぞれ存在する。よって、積算部23は両方のオプティカルブラック部203を画像領域97、99毎に積算する。つまり、積算部23は、第１画像領域97では、1Aオプティカルブラック部205、1Bオプティカルブラック部207に対応する画素データをオプティカルブラック部205、207毎に積算し、第２画像領域99では、2Aオプティカルブラック部209、2Bオプティカルブラック部211に対応する画素データをオプティカルブラック部209、211毎に積算して積算値を形成する。なお本実施例に限定するわけではなく、例えば、オプティカルブラック部を画像領域97、99毎にまとめて積算することも可能であり、任意のやり方を採用することが可能である。積算部が形成した積算値は、データバス39を介して制御部5へ供給される。

制御部5では、積算部23からの積算値から、隣り合うオプティカルブラック部ごとに差分を計算し、補正を行うか否かを判断する(ステップS4)。具体的には、1Aオプティカルブラック部205と2Aオプティカルブラック部209の差分、および1Bオプティカルブラック部207と2Bオプティカルブラック部211の差分を計算し、差分が予め定められた所定値よりも小さい場合は補正を行わないと判断し(ステップS5)、信号処理部にそのままのディジタル画像データをメディアに記録するよう指示を出す。一方、差分が大きい場合は、補正を行うと判断し、画素データが有する領域69、71毎の特性の違いを計算する(ステップS6)。特性の違いは、例えば、一方の領域から形成された画素データを基準とし、他方の領域から形成された画素データを一方の領域から形成された画素データに合わせる場合では、一方の積算値を他方の積算値で割ることにより求めることが可能である。なお本発明はこれに限定するわけではなく、任意のやり方を採用して領域が違うことによる画素データの特性の違いを特定することが可能である。

制御部5は、画素データの違いを特定すると、その違いを補間し、なめらかな画像を形成するために、信号処理部25に画素データの補正を指示する。信号処理部25は、制御部5からの指示に応じて、画素データを補正する(ステップS7)。例えば本実施例では、信号処理部25は、第１の画像領域97を形成する画素データの色合いや輝度を、第２の画像領域99を形成する画素データに合うように補正する。なお本実施例に限定するわけではなく、任意に補正を行うことが可能である。また信号処理部25は、補正後のディジタル画像データ87をメディアに記録するデータ91へ処理し、メディア31はメディア制御部29により制御されてデータ91を記録する(ステップS8)。メディアに記録されると撮影モードでの駆動が終了する。

以上のようにしてディジタルカメラでは、つなぎ目部分のオプティカルブラック部を比較することで画像データを補正して、つなぎ目の目立たないなめらかなディジタル画像データを記録する。記録されたディジタル画像データは、領域毎に異なる特性を有する画素データが補正されているため、つなぎ目の目立たないなめらかな画像を形成することが可能である。

なお図３に示す撮影モードと図７に示す撮影モードの、どちらの撮影モードを採用するかは任意に選択することが可能であり、例えば、ディジタルカメラ1に図３に示す撮影モードと図７に示す撮影モードの両方の撮影モードを設定しておき、操作部3を操作することにより選択させるようにすることが可能であるが、本発明はこれに限定するわけではない。また、図３に示す撮影モードと図７に示す撮影モードとを組み合わせた撮影モード、すなわちつなぎ目部分の比較とつなぎ目部分におけるオプティカルブラック部の比較の両方を行い、両方を比較した結果に応じて画素データを補正するモードをディジタルカメラ1に設定することも可能であるが、本発明はこれに限定するわけではない。

なおすべての撮影モードでの駆動において、図３、および図７に示す積算処理、および、補正処理を行う撮影モードで駆動すること限定するわけではなく、例えばシャッタスピード、撮影感度、撮影時の温度に応じて、図３、および図７に示す積算処理、および、補正処理を行う撮影モードで駆動するようにディジタルカメラ1を設定してもよい。例えば、明るさはシャッタスピードと光学系の露出により決まるため、シャッタスピードが所定の値よりも遅い場合、すなわちシャッタスピードが所定値以上の場合は、明るいディジタル画像データが形成されるようになり、画素データの領域毎の違いが目立ってしまう場合が考えられる。よって、図３、図７に示す積算処理、および、補正処理を行う撮影モードで駆動するようにすれば、つなぎ目が目立たない滑らかな画像を得ることが可能になるため好ましいが、本発明はこれに限定するわけではない。

また例えば、撮影感度が通常の撮影感度と比較して高い場合、例えば撮像部が形成するアナログ信号電荷が少ない場合でもゲインを増やして美しいディジタル画像データを形成する場合等では、ディジタル画素データの領域毎の違いが目立ってしまう場合が考えられる。よって、所定の値よりも撮影感度が高い場合に図３および図７に示す積算処理、および、補正処理を行う撮影モードで駆動するようにすれば、つなぎ目が目立たない滑らかな画像を得ることが可能になるため好ましいが、本発明はこれに限定するわけではない。

また例えば、温度が高い環境に撮影モードで駆動する場合では、撮像部に含まれる出力部63、65における増幅率が変わってしまい画素データの領域毎の違いが目立ってしまう場合が考えられる。よって、所定の値よりも温度が高い環境の場合、例えば、温度が35度以上の場合等に、図３および図７に示す積算処理、および、補正処理を行う撮影モードで駆動するようにすれば、つなぎ目が目立たない滑らかな画像を得ることが可能になるため好ましいが、本発明はこれに限定するわけではない。

なおシャッタスピードや、撮影感度や、撮影時の温度に応じて、図３および図７に示す積算処理、および補正処理を行う撮影モードで駆動するか否かの判断は、ディジタルカメラ1の制御部5で行うことが可能である。例えば、シャッタスピードが所定の値よりも遅い場合、および撮影感度が通常の撮影感度と比較して高い場合は、制御部5が操作部3からの操作信号33によりシャッタスピードが所定の値よりも遅いという判断や、撮影感度が通常の撮影感度と比較して高いという判断をし、シャッタスピードが遅い場合や、感度が高い場合は、ディジタル画像データ83を積算部23に供給して積算値を得るように各部を制御することで、図３、および図７に示す積算処理、および、補正処理を行う撮影モードでの駆動が可能になる。

また、温度が高い場合の判断は、例えば、ディジタルカメラ1に図示しない温度計やセンサ等を設けて、温度が所定の値以上になった場合は、制御部5に温度が所定の値以上になった旨を知らせるようにしておき、その知らせを制御部5が受け取った際は、制御部5が、ディジタル画像データ83を積算部23に供給して積算値を得るように各部を制御することで、図３、および図７に示す積算処理、および、補正処理を行う撮影モードでの駆動が可能になる。なお本発明は、上述した場合に限定するわけではなく、画素データの領域毎の違いが目立ってしまう場合であれば、図３、および図７に示す積算処理、および、補正処理を行う撮影モードで駆動することが可能である。

図９は、図１に示すディジタルカメラにおいて、操作部3からディジタル画像データを拡大する旨の駆動信号33が入力された際に行われる処理手順の一例を示した流れ図である。なお図９において、ステップS4、ステップS5、ステップS6、およびステップS7は、図３に示すステップS4、ステップS5、ステップS6、およびステップS7とそれぞれ同様の処理であるため説明を省略する。図１、図９において、ディジタル画像データを拡大する旨の駆動信号33、すなわち、ディジタル画像データをモニタ27に一旦出力し、出力された画像の1部を拡大して表示する旨の駆動信号33が操作部3から入力される(ステップS1)。なお拡大するディジタル画像データは、一旦メディア31に記録されたものであってもよいし、これからメディア31に記録されるものであってもよい。制御部5は、駆動信号33が入力されると、ディジタル画像データの拡大される部分につなぎ目が含まれるかどうかを判断する(ステップS2)。その結果、含まれない場合は、そのままのディジタル画像データを拡大して表示し、処理を終了する。

一方、例えば図１０に示すように、拡大される部分につなぎ目部分が含まれる場合は、拡大される部分におけるつなぎ目部分に存在する画素を形成する画素データを積算するよう、積算部23に指示を出す。この指示を受けて、積算部23は、拡大される部分におけるつなぎ目部分に存在する画素を形成する画素データを積算する(ステップS3)。図１０は、ディジタル画像データを出力した際の画像95を示した概念図である。なお図１０において図３と同じ参照番号は同様の構成を示すため説明を省略する。例えば、図１０に点線221で示すように画像95の実質的に中央を拡大するために拡大される部分につなぎ目が含まれる場合では、積算部は、拡大される部分におけるつなぎ目を、図１０に点線223で示すように垂直方向に４つの部分に等分し、図５に示すようにつなぎ目から水平方向に5つ目までの画素データを部分毎に積算する。

なお、本実施例では４つに等分しているが、本発明はこれに限定するわけではなく、任意の数に等分することが可能である。さらに、拡大する部分につなぎ目が含まれる場合において、拡大する部分のつなぎ目部分のみを積算することに限定するわけではなく、例えば、ディジタル画像データ全体のつなぎ目部分を積算してもよい。

積算部23は、積算が終了すると、データバスを介して積算値を制御部5へ供給する。制御部5では、隣り合う部分ごとに積算値の差分を計算し、補正を行うかどうかを判断する(ステップS4)。なお図９に示す例では、有効部分の画素データを積算しているため、差分が大きい場合は、例えばつなぎ目部分で色が変わる画像等のようにつなぎ目部分が目立たない画像であるため補正を行う必要はない。逆に差分が小さい部分は、つなぎ目部分が目立つ画像であるため補正を行う必要がある。よって、制御部5は所定値よりも差分が大きい部分は補正を行わないと判断し(ステップS5)、補正を行わずにそのままのディジタル画像データを出力するよう信号処理部25へ指示を出す。

一方、差分が所定値よりも小さい部分は、補正を行うと判断し、画素データの特性の違い、例えば、ゲイン差や輝度差等を算出する(ステップS6)。その後、算出された違いを基に画素データを補正するよう信号処理部25に指示を出す。信号処理部25では、制御部からの指示に応じて画素データを補正する(ステップS7)。本実施例では、信号処理部25は、画素データのゲインを補正する。その後、信号処理部25は、モニタ27に表示するための信号に補正したディジタル画像データを処理し、モニタ27に拡大したディジタル画像データを出力する(ステップS8)。

以上のようにして本実施例では、ディジタル画像データを補正するため、ディジタル画像データを拡大する場合であってもつなぎ目が目立たないなめらかな画像を提供することが可能である。

図１１は、図１におけるディジタルカメラ1の別の補正処理の手順の一例の流れ図である。本実施例のディジタルカメラの積算部23では、図４に示すようにつなぎ目を垂直方向に分けて積算するため、分けられた部分における画素データが、部分毎に画素レベルが異なり、かつ、領域69、71で同じ被写界像から形成された画素データになるようにディジタル画像データを形成することによって、画素データのリニアリティの違い、すなわち、同じ色から形成される画素データの画素レベルの差を把握することが可能になる。以下、詳細に説明する。

ディジタルカメラ1は、例えば撮影を行う前等の設定の段階において、図１２に示すように、分けられた部分における画素データが、部分毎に画素レベルが異なり、かつ、領域69、71で同じ被写界像から形成された画素データになるようなディジタル画像データ、すなわち、調整画像データを作成するため、このような被写界像を撮影する(ステップS1)。撮影後形成された調整画像データは、積算部へと入力される。

図１２は、調整画像データを出力した際の画像241の概念図である。図１１において、図４、図８と同じ参照番号は同様の構成であるため説明を省略する。図１２において、画像241は、垂直方向に均等に6つの部分243、245、257、249、251、253に分けられている。各部分243、245、257、249、251、253は、上から順に、部分243、部分245、部分257、部分249、部分251で、一番下が部分253である。また、各部分243、245、257、249、251、253は、第１画像領域と第２画像領域99とで同じ被写界像、すなわち、同じ色から形成された画素データにより形成されており、部分243から部分253に向かって画素データの画素レベルが低くなっている。さらに各部分243、245、257、249、251、253の垂直方向の長さは、積算部23が積算する部分107、109、111、113、115、117、123、125、127、129、131、133と対応している。よって例えば、積算部23が積算する1B部分107の積算値と2B部分123の積算値は、画像領域97、99で特性が同じ場合では、同じ値が得られることとなる。

積算部23はこのような調整画像データにおける各部分107、109、111、113、115、117、121、123、125、127、129、131、133に対応する画素データを積算し積算値を形成する(ステップS2)。積算値は、制御部5へ供給される。制御部5では、入力された積算値から、同じ色に対する領域97、99間の違い、すなわち撮像部11における出力部63、65のリニアリティの違いを算出し(ステップS3)、同じ色に対して同じ画素レベルの画素データを形成できるよう、例えば信号処理部25または前処理部17においてかけるゲインを調整する(ステップS4)。また例えば、撮像部11の出力部63、65を補正することも可能であり、例えば、出力部63、65が同じ出力を形成するように、出力部63、65に設けられる増幅器のオフセット電圧等を調整すること等が可能である。なお本発明はこれに限定するわけではない。

以上のようにして本実施例では、調整画像データを用いることで、領域間における、同じ色より形成される画素データの画素レベルの違いを補正することが可能になるため、つなぎ目の目立たないなめらかなディジタル画像データを得ることが可能になる。

本発明によるディジタルカメラの実施例の構成を表すブロック図である。 図１に示す撮像部の正面を概念的に示した図である。 図１に示すディジタルカメラに撮影モードで駆動する旨の駆動信号が入力された際に行われる処理手順の一例を示した流れ図である。 画像の概念図である。 図４に示す画像におけるつなぎ目の近傍を拡大した拡大概念図である。 本実施例で形成される積算値の一例である。 図１に示すディジタルカメラに撮影モードで駆動する旨の駆動信号が入力された際に行われる処理手順の別の一例を示した流れ図である。 画像の概念図である。 図１に示すディジタルカメラにディジタル画像データを拡大する旨の駆動信号が入力された際に行われる処理手順の一例を示した流れ図である。 画像の概念図である。 図１におけるディジタルカメラの別の補正処理の手順の一例の流れ図である。 調整画像の概念図である。

符号の説明

1 ディジタルカメラ
3 操作部
5 制御部
7 タイミング発生部

Claims (11)

1. 被写界からの入射光から信号電荷を生成する受光素子がマトリックス状に複数配列された撮像面が複数の領域に分割され、該信号電荷から電気信号を形成する固体撮像素子を含み、該電気信号から画像データを形成するディジタルカメラにおいて、
   該画像データは、前記領域毎に異なる特性の画素データを含み、
   該ディジタルカメラは、該領域と領域とのつなぎ目となる部分と対応する該画素データを前記領域毎に積算する積算手段と、
   該積算手段が積算した値によって、前記画素データの特性の違いを算出する算出手段とを含み、
   該算出手段が積算した違いに応じて、補正を行うことを特徴とするディジタルカメラ。
2. 請求項１に記載のディジタルカメラにおいて、該ディジタルカメラは、さらに
   画素データを補正する補正手段を含み、
   該補正手段は、前記算出手段が算出した違いに応じて補正を行うことを特徴とするディジタルカメラ。
3. 請求項２に記載のディジタルカメラにおいて、前記算出手段は、前記積算手段が積算した値の差分を計算してから前記画素データの特性の違いを算出し、前記補正手段は、該差分が大きい場合は補正を行わないことを特徴とするディジタルカメラ。
4. 請求項２に記載のディジタルカメラにおいて、前記積算手段は、前記つなぎ目となる部分のオプティカルブラック部に対応する前記画素データを前記領域毎に積算し、
   前記補正手段は、該積算手段が積算した値に応じて補正を行うことを特徴とするディジタルカメラ。
5. 請求項１ないし４のいずれかに記載のディジタルカメラにおいて、該ディジタルカメラは、シャッタスピードに応じて補正を行うか否かを判断することを特徴とするディジタルカメラ。
6. 請求項１ないし４のいずれかに記載のディジタルカメラにおいて、該ディジタルカメラは、ISO感度に応じて補正を行うか否かを判断することを特徴とするディジタルカメラ。
7. 請求項１ないし４のいずれかに記載のディジタルカメラにおいて、該ディジタルカメラは、温度に応じて補正を行うか否かを判断することを特徴とするディジタルカメラ。
8. 請求項２ないし４のいずれかに記載のディジタルカメラにおいて、
   前記積算手段は、前記画像データが拡大される場合であって、該拡大される部分に前記つなぎ目となる部分が存在する場合は、前記拡大される部分における該つなぎ目となる部分に対応する該画素データを前記領域毎に積算し、
   前記補正手段は、該積算手段が積算した値に応じて補正を行うことを特徴とするディジタルカメラ。
9. 請求項１ないし８のいずれかに記載のディジタルカメラにおいて、前記積算手段は、前記被写界像に応じて前記積算するつなぎ目となる部分を変更することを特徴とするディジタルカメラ。
10. 請求項１ないし９のいずれかに記載のディジタルカメラにおいて、前記つなぎ目部分は前記領域毎に複数の部分に分けられ、
    前記積算手段は、該分けられた部分毎に積算することを特徴とするディジタルカメラ。
11. 請求項１０に記載のディジタルカメラにおいて、前記分けられた部分における画像データは、該部分毎に画素レベルが異なり、かつ、前記領域毎に同じ被写界像より形成された画素データであることを特徴とするディジタルカメラ。