JP2014060576A - 撮像装置、その制御方法、および制御プログラム - Google Patents

撮像装置、その制御方法、および制御プログラム Download PDF

Info

Publication number
JP2014060576A
JP2014060576A JP2012204264A JP2012204264A JP2014060576A JP 2014060576 A JP2014060576 A JP 2014060576A JP 2012204264 A JP2012204264 A JP 2012204264A JP 2012204264 A JP2012204264 A JP 2012204264A JP 2014060576 A JP2014060576 A JP 2014060576A
Authority
JP
Japan
Prior art keywords
transfer
point defect
vertical
unit
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012204264A
Other languages
English (en)
Inventor
Shinobu Watanabe
忍 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012204264A priority Critical patent/JP2014060576A/ja
Publication of JP2014060576A publication Critical patent/JP2014060576A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】HD動画時など読み出し領域以外を高速転送する撮像素子の駆動において、高フレームレートを維持しつつ容易に縦線の影響を低減する。
【解決手段】点欠陥検出部501は撮像素子の垂直転送手段に発生する点欠陥を検出し、アドレス記録部502は点欠陥を点欠陥情報として記録する。縦線検出部503は点欠陥情報から特定される補正対象列について、遮光画素から出力された遮光信号に応じて画面に現れる縦線を補正するための縦線補正値を算出する際、高速転送速度で画素信号が転送された転送期間および通常転送速度と高速転送速度との比に基づいて縦線補正値を検出する。縦線補正部504は縦線補正値に応じて補正対象列に係る画素信号の補正を行う。
【選択図】図5

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、撮像装置において撮影画像に生じる縦線を低減させるための制御に関する。
一般に、デジタルカメラなどの撮像装置ではCCDイメージセンサ(以下、CCDという)などの固体撮像素子(以下、単に撮像素子という)が備えられており、撮影の際に撮像素子の垂直転送路で発生する点欠陥が原因となって、画像に縦線が生じることがある。このような画像における縦線を低減するため、垂直方向(列方向)の画素を補正する手法として種々の手法が知られている。
ところで、撮像装置において、例えば、画面アスペクト比4:3の画像から画面アスペクト比16:9にその画角が異なる画像を切り出すことがある。この際、切り出し後の画像として用いられない領域については高速転送を行い、必要とする領域のみについて通常転送で読み出しを行って、高フレームレート化するようにしている。そして、常に通常転送を行う駆動では、撮像素子の垂直転送路上の点欠陥によって発生する縦線のレベルは列に対して一律である。
一方、読み出し以外の領域を高速転送する駆動では、撮像素子の垂直転送路上の点欠陥により発生する縦線のレベルは、高速転送することによって通常転送の場合よりも小さくなる。
そして、撮像素子においてその上下部に位置する画素群である垂直遮光部又は垂直ダミー部のいずれか一方で、通常転送期間における縦線レベルと高速転送期間における縦線レベルを検出して画素補正するようにしたものがある(特許文献1参照)。
特開2004−364266号公報
ところが、特許文献1に記載の撮像装置においては、縦線レベルを精度よく検出するためには、所定の行数の画素の出力を積分する必要がある。このため、撮像素子の上下部に位置する垂直遮光部又は垂直ダミー部の各々で縦線検出を行おうとすると、読み出す行数が多くなって、フレームレートが遅くなってしまう。さらに、積分する行数が多くなれば、不可避的に処理負荷が増大して、そのため、CPUなどの処理装置が高価となってしまう。
一方、フレームレートを速くするため、垂直遮光部又は垂直ダミー部の読み出し行数を減らすと、縦線レベルの検出精度が低下して、縦線補正を精度よく行うことができない。
従って、本発明の目的は、HD動画撮影時など、読み出し領域以外を高速転送する撮像素子の駆動において、高フレームレートを維持しつつ容易に縦線の影響を低減することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。
上記の目的を達成するため、本発明による撮像装置は、2次元マトリックス状に配列された複数の画素を備える画素部と、前記画素部から出力された電荷を垂直方向に転送する垂直転送手段と、前記垂直転送手段により転送された電荷を水平方向に転送する水平転送手段とを有する撮像素子を有し、前記垂直転送手段によって前記電荷を予め定められた通常転送速度と該通常転送速度よりも高速の高速転送速度で選択的に転送する撮像装置であって、前記垂直転送手段における点欠陥を点欠陥情報として記録する点欠陥情報記録手段と、前記点欠陥情報から特定される補正対象列について、前記高速転送速度で前記電荷が転送された転送期間および前記通常転送速度と前記高速転送速度との比に基づく縦線補正値を用いて前記補正対象列に係る画素信号の補正を行う補正手段とを有することを特徴とする。
本発明による制御方法は、2次元マトリックス状に配列された複数の画素を備える画素部と、前記画素部から出力された電荷を垂直方向に転送する垂直転送手段と、前記垂直転送手段により転送された電荷を水平方向に転送する水平転送手段とを有する撮像素子と、前記垂直転送手段における点欠陥を点欠陥情報として記録する点欠陥情報記録手段とを有し、前記垂直転送手段によって前記電荷を予め定められた通常転送速度と該通常転送速度よりも高速の高速転送速度で選択的に転送する撮像装置の制御方法であって、前記点欠陥情報から特定される補正対象列について、前記高速転送速度で前記電荷が転送された転送期間および前記通常転送速度と前記高速転送速度との比に基づく縦線補正値を用いて前記補正対象列に係る画素信号の補正を行う補正ステップとを有することを特徴とする。
本発明による制御プログラムは、2次元マトリックス状に配列された複数の画素を備える画素部と、前記画素部から出力された電荷を垂直方向に転送する垂直転送手段と、前記垂直転送手段により転送された電荷を水平方向に転送する水平転送手段とを有する撮像素子と、前記垂直転送手段における点欠陥を点欠陥情報として記録する点欠陥情報記録手段とを有し、前記垂直転送手段によって前記電荷を予め定められた通常転送速度と該通常転送速度よりも高速の高速転送速度で選択的に転送する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記点欠陥情報から特定される補正対象列について、前記高速転送速度で前記電荷が転送された転送期間および前記通常転送速度と前記高速転送速度との比に基づく縦線補正値を用いて前記補正対象列に係る画素信号の補正を行う補正ステップとを実行させることを特徴とする。
本発明によれば、読み出し領域以外を高速転送する撮像素子の駆動において、高フレームレートを維持しつつ容易に縦線の影響を低減することができる。
本発明の第1の実施形態による撮像装置の一例についてその構成を示すブロック図である。 図1に示す撮像素子の構造の一例を説明するための図である。 図2に示す撮像素子において4:3領域からHD動画などの画像を切り出しする際の動作を説明するためのタイミングチャートである。 図3で説明した4:3領域の全画素を読み出した際の縦線の発生の一例を説明するための図であり、(a)は4:3領域の全画素を読み出した際の画像を示す図、(b)は図3で説明した読み出しを行った際の画像を示す図、(c)は(b)に示す画像における縦線レベルを示す図、(d)は2フレームの画像を重ねて示す図である。 図1に示す縦線処理部の一例についてその構成を示すブロック図である。 図1に示すカメラにおける点欠陥の検出動作を説明するためのフローチャートである。 図1に示すカメラにおける縦線補正処理を説明するためのフローチャートである。 本発明の第2の実施形態によるカメラにおける点欠陥の検出動作を説明するためのフローチャートである。 本発明の第2の実施形態によるカメラにおける縦線補正処理を説明するためのフローチャートである。 図3で説明した4:3領域の全画素を読み出した際の縦線の発生の他の例を説明するための図であり、(a)は4:3領域の全画素を読み出した際の画像を示す図、(b)は図3で説明した読み出しを行った際の画像を示す図、(c)は(b)に示す画像における縦線レベルを示す図、(d)は2フレームの画像を重ねて示す図である。 本発明の第3の実施形態によるカメラに備えられた縦線処理部の一例を示すブロック図である。 図11に示す縦線処理部における画素補間を説明するための図である。 本発明の第3の実施形態によるカメラにおける縦線補正処理を説明するためのフローチャートである。 垂直転送路の点欠陥を高速転送された際に発生する縦線の一例を示す図である。 本発明の第4の実施形態によるカメラにおける点欠陥の検出動作を説明するためのフローチャートである。 本発明の第5の実施形態によるカメラにおける点欠陥の検出動作を説明するためのフローチャートである。 本発明の第6の実施形態によるカメラにおける縦線補正処理を説明するためのフローチャートである。
以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態による撮像装置の一例についてその構成を示すブロック図である。
図示の撮像装置は、例えば、デジタルカメラ(以下、単にカメラと呼ぶ)であり、カメラは、レンズおよびメカシャッターを含む撮像光学系101を有している。この撮像光学系101は、被写体像(光学像)を撮像素子102に結像する。撮像素子102は、光学像に応じた電気信号(アナログ信号)を出力する光電変換素子であり、ここでは、撮像素子102として、例えば、CCDを用いる。
撮像素子102の出力であるアナログ信号は、アナログ信号処理部(CDS)103に与えられ、CDS103は、当該アナログ信号に対して所定の信号処理を行ってアナログ画像信号を出力する。アナログ/デジタル変換部(ADC部)104は、CDS103の出力であるアナログ画像信号をデジタル画像信号に変換する。
縦線処理部105は、ADC部104から出力されたデジタル画像信号について、後述する縦線の検出および補正を行う。信号処理部106は、縦線処理部105から出力されたデジタル画像信号に対して、ホワイトバランス調整、γ補正、および画素補間などの画像処理を行う。
フレームメモリ部108は、デジタル画像信号を一時的に格納するメモリであって、例えば、DRAMで構成されている。信号圧縮部111は、フレームメモリ部108に格納されたデジタル画像信号をJPEG(Joint Photographic Experts Group)などの手法により圧縮する。信号圧縮部111における圧縮動作は撮影時のレリーズ動作に伴って開始される。
記録メディア部112は、圧縮されたデジタル画像信号を記憶するメモリであり、例えば、フラッシュメモリにより構成されている。NTSC/PALエンコーダ部109は、フレームメモリ部108に格納されたデジタル画像信号をNTSC(National Television System Committee)信号又はPAL(Phase Alternating by Line)信号に変換する。
電子ビューファインダ110は、NTSC信号又はPAL信号に応じた画像を表示する表示部である。システム制御部116は、カメラ全体の制御を司る。システム制御部116は、ユーザの指示に基づいてカメラの動作モードを設定するととともに、設定された動作モードに対応する情報をメモリ部113から検索する。
サーミスタ115(温度検出手段)は、撮像素子102周辺の温度を測定して、測定温度をシステム制御部116に送る。タイミング信号生成部107は、システム制御部116の制御下で、撮像素子102、アナログ信号処理部103、およびADC部104に対して、駆動のためのタイミング信号を出力する。なお、タイミング信号生成部107は、システム制御部116から供給される基準クロック信号に基づいてタイミング信号を出力する。
操作部114は、ユーザがカメラを起動させる場合、そして、露出条件、ズーム位置、および駆動モードなどのシステム設定情報などを変更する際に操作される。そして、操作部114は、ユーザからカメラのシステム設定情報の変更に係る変更情報が入力される都度、当該変更情報をシステム制御部116に入力する。操作部114は、例えば、電源スイッチ、シャッタボタン、モード切り換えスイッチ、および操作入力群などを有している
図2は、図1に示す差像素子102の構造の一例を説明するための図である。
撮像素子102は、2次元マトリックス状に配列された複数のフォトダイオードなどの受光素子(以下、画素ともいう)201を備えている。そして、列毎に垂直転送部202が対応付けられて、これら垂直転送部202は、1つの水平転送部203に接続される。
撮像素子102から画素信号を出力する際には、1フレーム毎に受光素子201で光電変換によって生じた電荷である画素信号が一斉に垂直転送部202に読み出される。そして、水平同期期間毎に垂直転送部202に読み出された画素信号が一斉に水平転送部203の方向に1画素分ずつずらすようにして垂直方向に転送される。
1ライン分(つまり、1行分)の画素信号が水平転送部203に転送されると、水平転送部203では、水平同期期間内に転送された画素信号を出力方向(水平方向)に1画素分ずつずらす1ライン分の水平転送を行う。これによって、1ライン分の画素信号がCDS103に出力される。そして、以下同様にして、全ライン分の画素信号がCDS103に出力される。
図3は、図2に示す撮像素子102において、4:3領域からHD(ハイビジョン)動画などの画像を切り出しする際の動作を説明するためのタイミングチャートである。
なお、撮像素子102に結像される画像は、後述するように3つの領域A〜Cからなるものとする。また、領域Dは、領域A〜Cまでの画像に対応する受光素子201からの電荷の読み出しに続いて、受光素子201に蓄積された電荷の読み出しを行なわない状態で垂直転送部202を駆動する空転送を所定行分だけ行なうことで画素情報がない空転送信号が出力されるダミー部である。そして、撮影される画像に対応付けて画面の上側から順次領域A〜Dが配置されているものとする。そして、領域A〜Dで構成される画面の画面アスペクト比は4:3であり、領域Bで構成される画面の画面アスペクト比は16:9であるものとする。
図3において、垂直同期信号VDに応じて、撮像素子102は、1垂直同期期間において1フレーム分の画素信号を出力する。撮像素子102は、電子シャッター信号Subによって受光素子201に溜まった電荷を掃き捨てる。撮像素子102は、読み出しゲート信号によって受光素子201に蓄積された電荷を垂直転送路202に読み出す。垂直転送路202は、垂直駆動信号(V転送パルス)によって駆動され、受光素子201から読み出された電荷が垂直転送される。
タイミング信号生成部107により電子シャッター信号Subが撮像素子102に与えられた後の時刻3aにおいて、システム制御部116は、タイミング信号生成部107を介して撮像光学系101を制御して露光(受光素子201における電荷の蓄積)を開始する。続いて、時刻3bにおいて、タイミング信号生成部107は、システム制御部116の制御下で読み出しゲート信号をオンする。これによって、露光を終了し、受光素子201に蓄積された電荷が、垂直転送部202に読み出される。
その後、期間3cにおいて、3領域A〜Cのうち画面の上部に対応する領域Aのライン数であるA行分の高速転送が行われ、期間3dにおいて、16:9領域である領域Bのライン数であるB行分について通常転送が行われる。そして、期間3eにおいて、画面の下部に対応する領域Cのライン数であるC行分について高速転送が行われる。さらに、期間3fにおいて、縦線検出用の領域Dについて縦線検出ライン数であるD行分の通常転送が行われる。
ここで、領域Dであるダミー部とは、受光素子201に蓄積された電荷の読み出しを行なわない状態で撮像素子102の垂直転送部202を駆動する空転送を行なうことで画素情報がない空転送信号が出力される部分である。
図4は、図3で説明した4:3領域の全画素から電荷を読み出した画像における縦線の発生の一例を説明するための図である。そして、図4(a)は、4:3領域の全画素の電荷を読み出した際の画像を示す図であり、図4(b)は、図3で説明した読み出しを行った際の画像を示す図である。また、図4(c)は、図4(b)に示す画像における縦線レベルを示す図であり、図4(d)は、2フレームの画像を重ねて示す図である。ここで、撮像素子102上では、像が上下逆に結像されるため、図2に示す撮像素子102における受光素子201が配置された撮像面の下側(すなわち、水平転送部203側)に領域A(405)の画像が結像し、図2の撮像面の上側に領域C(407)の画像が結像する。
いま、撮像素子102について、その全画素から電荷の読み出しを行った際、図4(a)に示す画像が得られたとする。ここでは、領域A〜C(有効部401)および領域D(ダミー部402)について全画素から電荷の読み出しが行われている。
ここで、全画素の電荷読み出しの際に、垂直転送部202に点欠陥403が発生しているものとする。この場合に、全領域A〜Dについて通常転送(つまり、通常転送速度)で読み出した電荷を転送すると、有効部401およびダミー部402ともに一律なレベルの縦線404が発生する。なお、図4(a)において×印で示す部分は点欠陥が存在する位置を示す。
一方、図4(b)に示すように、画面の上部(すなわち、撮像素子102の撮像面における下部)に位置する領域A(405)と画面の下部(すなわち、撮像素子102の撮像面における上部)に位置する領域C(407)とについて高速転送(つまり、高速転送速度)で受光素子201から垂直転送部202に読み出した電荷を転送し、領域B(406)と領域D(ダミー部408)について通常転送で受光素子201から垂直転送部202に読み出した電荷を転送する。この場合には、図4(c)に破線および実線で示すように、点欠陥の存在する箇所を中心として縦線のレベルに差が生じる(図4(c)の縦線レベルは、破線<実線である)。
ここで、高速転送時間が通常転送時間の1/n(nは1を超える数である)である場合、点欠陥を高速転送で通過した電荷に基づく画素信号は、点欠陥を通常転送で通過した電荷に基づく画素信号に比べてその縦線(破線で示す部分)のレベルが1/nとなる。このため、点欠陥を高速転送された電荷に基づく画素信号における縦線レベル(破線)と点欠陥を通常転送された電荷に基づく画素信号における縦線レベル(実線)とに1:nの差が生じることになる。
ここで、図4(c)に示すように、点欠陥を中心として破線および実線で示す縦線が発生する原因について説明する。
いま、図4(d)に示すように、2フレームの画像を重ねる。破線Aは、領域A(405)の画素から読み出された電荷が点欠陥403を高速転送されることで発生した縦線であって、実線で示す縦線のレベルの1/nとなる。また、実線Bは、領域B(406)の画素から読み出された電荷が点欠陥403を通常転送されることで発生した縦線である。
破線Cは、領域C(407)の画素から読み出された電荷が点欠陥403を高速転送されることで発生した縦線であって、実線で示す縦線のレベルの1/nとなる。実線Dは、領域Dの空転送による電荷が点欠陥403を通常転送されることで発生した縦線である。
点欠陥の発生箇所に応じて、領域D408に生じる縦線には、点欠陥を通常転送で電荷が通過することで生じる実線で示す列409、点欠陥を高速転送で電荷が通過することで生じる破線で示す列410、点欠陥を通常転送および高速転送で通過し破線および実線で示す列411が存在する。これら列は補正対象列である。
続いて、縦線の検出・補正について説明する。
図5は、図1に示す縦線処理部105の一例についてその構成を示すブロック図である。
縦線処理部105は、点欠陥検出部501、アドレス記録部502、縦線検出部503、縦線補正部504、および画像メモリ505を有している。
まず、垂直転送部202で発生する点欠陥の検出について説明すると、まず、システム制御部116は、タイミング信号生成部107を制御して、撮像素子102における垂直転送を一定時間停止させる。その後、システム制御部116は、タイミング信号生成部107によって受光素子201に蓄積された電荷を読み出さずに、垂直転送部202および水平転送部203を動作させて空信号を出力させる。
点欠陥検出部501は、出力された空信号に関して、予め定められた閾値(レベル)以上の空信号を検索して、その検索結果に応じて垂直転送部202における点欠陥のXアドレスおよびYアドレスを検出する。
高速転送を行う領域A(405)および領域C(407)、そして、通常転送を行う領域B(406)および領域D(408)の行数は、予め設計の際に決定されている。よって、システム制御部116は、点欠陥の検出の際に、領域B(406)および領域D(408)で生じる縦線のレベルが1/nになるXおよびYアドレスを検出する。
アドレス記録部502は、点欠陥検出部501によって検出された垂直転送部201における点欠陥のXおよびYアドレスを記録するとともに、縦線のレベルが1/nとなるXおよびYアドレスを記録する。
ここで、垂直転送部202で発生する点欠陥と点欠陥を高速転送された際に発生する縦線(破線A)および縦線CのXおよびYアドレスとを検出する際の動作について説明する。
図6は、図1に示すカメラにおける点欠陥の検出動作を説明するためのフローチャートである。なお、図6に示すフローチャートで行われる点欠陥検出処理は、非撮像時に予め行われる。ここで、非撮像時とは、例えば、工場の出荷時における点欠陥検出工程である。
点欠陥検出工程、つまり、点欠陥検出処理においては、まず、カメラの電源がONされる。これによって、システム制御部116は、タイミング信号生成部107を駆動して、撮像素子102の垂直転送部202における暗電流を除去するため全行数分以上の高速掃き出しを行う(ステップS602)。
続いて、システム制御部116は、タイミング信号生成部107を制御して、撮像素子102における垂直転送部202の動作を一定時間停止させる(ステップS603)。システム制御部116は、全受光素子201から電荷を読み出さずに、垂直転送路202に発生する点欠陥を含む空転送信号(垂直転送路信号)を読み出す(ステップS604)。
アナログ信号処理部103は、撮像素子102から出力された空転送信号をノイズの除去をおこないつつ増幅する。ADC部104は、アナログ信号処理部103よってノイズを除去されたアナログ信号をA/D変換して、デジタル信号とする。
点欠陥検出部501は、ADC部104から出力されたデジタル信号(つまり、空転送信号)のうち、そのレベルが予め定められた閾値に相当するデジタル値(レベル)R以上であるデジタル信号を検索して、点欠陥アドレスを検出する(ステップS605)。そして、アドレス記録部502は、点欠陥検出部501によって検出された垂直転送部201の点欠陥アドレス(XおよびYアドレス)を記録する(ステップS606)。
続いて、システム制御部116は、点欠陥検出部501によって検出された垂直転送部202の点欠陥アドレスと、高速転送が行われる領域AおよびCと、通常転送が行われる領域BおよびDのライン数とに応じて、縦線が1/nとなる破線Aおよび破線CのXおよびYアドレスを算出する(ステップS607)。
アドレス記録部502は、システム制御部116によって算出された縦線が1/nとなる破線A、破線CのXおよびYアドレスを記録する(ステップS608)。これによって、点欠陥検出が終了する。
ところで、点欠陥検出部501が点欠陥を検出する非撮像時は、点欠陥検出工程以外に、ユーザが撮像を行う前又は後のいずれかであってもよい。この場合、ユーザが撮影開始の操作をしてから実際に撮像を開始するまでにタイムラグがあると、ユーザに対して使い勝手が悪いと感じさせてしまうことが懸念される。
このため、撮像の直前には点欠陥の検出処理は行わずに、ユーザが主電源を切る操作又は撮影を停止する操作をした直後に点欠陥の検出を行うことが望ましい。
ここで、上記のステップS607において、破線AおよびCのXおよびYアドレスを算出する手法について説明する。
再び、図4を参照して、いま、ダミー部408を含む全領域についてそのYアドレスをYallとする。いま、点欠陥のYアドレスをYkとすると、破線Aの開始YアドレスYaはYa=Yk、実線Bの開始YアドレスYbはYb=Yk+A、破線Cの開始YアドレスYcはYc=Yk+A+B、実線Dの開始YアドレスYdはYd=Yk+A+B+Cと表すことができる。
ここで、Aは領域Aの有効画素の高速転送期間(ライン数)、Bは領域Bの有効画素の通常転送期間(ライン数)、Cは領域Cの有効画素の高速転送期間(ライン数)、そして、Dは領域Dのダミー部の通常転送期間(ライン数)である。
図4(d)に示すように、点欠陥の発生箇所によって、破線A、実線B、破線C、実線Dは、フレーム間を跨いで発生することがある。フレーム間を跨いで破線AおよびC又は、実線BおよびDが発生している場合、検出した縦線の開始アドレスYの値が全領域のアドレスYallより大きくなる。
開始アドレスYの値が全領域のアドレスYallより大きくなる場合には、次の式(1)によって開始アドレスYの値を置き換える。
Y=Y−Yall (1)
いま、図4(d)に示す列409、列410、および列411を例に挙げ、ダミー部408を含む全領域が1250行であるものとして、具体的に説明する。
領域A(405)における高速転送を100行、領域B(406)の有効画素領域を1000行、領域C(407)における高速転送を100行、そして、領域Dのダミー部408の読み出し行を50行とする。
列409において発生している点欠陥403のXおよびYアドレスを(10、0)とすると、破線Aの開始YアドレスYAはYa=0、実線Bの開始YアドレスYBはYb=100、破線Cの開始YアドレスYCはYc=1100、実線Dの開始YアドレスYDはYd=1250、そして、ダミー部を含む全領域はYall=1250行となる。
列409に発生する破線Aの全アドレスは(10、0)〜(10、99)、破線Cの全アドレスは(0、1100)〜(0、1249)となる。
列410において発生している点欠陥403のXおよびYアドレスを(1000、100)とすると、破線Aの開始YアドレスYaはYa2=100、実線Bの開始YアドレスYbはYb2=200、破線Cの開始YアドレスYcはYc2=1200、そして、実線Dの開始YアドレスYdはYd2=1300となる。
ここで、実線Dの開始YアドレスYdが、ダミー部408を含む全領域のYアドレスYallより大きくなっており、これは、列410に示す破線Cがフレーム間を跨いでいることを意味している。
このため、前述の式(1)によって、実線Dの開始YアドレスYdは、Yd2=Yd2−Yall=1300−1250=50で置き換えられることになる。
この結果、列410において破線Aの全アドレスは(1000、100)〜(1000、199)、破線Cの全アドレスは(1000、0)〜(1000、49)および(0、1200)〜(0、1250)となる。
列411において発生している点欠陥403のXおよびYアドレスを(2000、1130)とすると、破線Aの開始YアドレスYaはYa3=1130、実線Bの開始YアドレスYbはYb3=1230、破線Cの開始YアドレスYcはYc3=2230、そして、実線Dの開始YアドレスYdはYd3=2330となる。
ここで、破線Cの開始YアドレスYcが、ダミー部408を含む全領域YアドレスのYallより大きくなっており、これは、列411に示す実線Bがフレーム間を跨いでいることを意味している。
従って、上記の式(1)によって、破線Cの開始YアドレスYcは、Yc3=Yc3−Yall=2230−1250=980で置き換えられる。また、実線Dの開始YアドレスYdは、Yd3=2230−1250=1080で置き換えられる。
この結果、列411において破線Aの全アドレスは(2000、1130)〜(2000、1229)、破線Cの全アドレスは(2000、980)〜(2000、1080)となる。
このようにして、システム制御部116は、破線Aおよび破線CのXおよびYアドレスを検出する。
続いて、図5に示す縦線処理部105で行われる縦線補正について説明する。
縦線検出部503は、アドレス記録部502に記録された点欠陥が存在する列について、当該列のダミー部と隣接するダミー部との差分を縦線検出値とし、この縦線検出値に応じて縦線補正値を生成する。この際、アドレス記録部503に記録されていている点欠陥403をダミー部408における空信号が高速伝送される領域(部分)については、縦線検出値に対してn倍した値を検出値とする。
いま、縦線補正値をαとすると、縦線補正値αは、領域B(406)の画素から読み出された電荷が点欠陥を通常転送される領域(実線領域)の補正値である。なお、縦線検出部503は、縦線補正値αを1/n倍した縦線補正値βも生成する。
縦線補正値βは、領域B(406)の画素から読み出された電荷が点欠陥を高速転送される領域(破線領域)の補正値である。つまり、垂直転送部における転送速度の数と同数の複数の縦線補正値が算出されることになる。
例えば、ダミー部408のライン数をHd、その列のダミー部408の各ラインに対する水平方向に隣接するダミー部との差分値をR_dとすると、縦線補正値αは、次の式(2)で求められる。
α=(R_1+R_2+・・・+R_(HD)+R(Hd))/Hd (2)
ここで、dは定数である。
縦線補正部504は、アドレス記録部502に記録された点欠陥が存在する列について、画素から読み出された電荷が点欠陥を通常転送される領域においては、縦線補正値αを画素信号から減算する。一方、縦線補正部504は、画素から読み出された電荷が点欠陥を高速転送される領域においては、縦線補正値βを画素信号から減算する。さらに、縦線補正部504は、過補正を防ぐため、補正すべき画素信号の各々について補正を行う前に飽和しているか否かを検出する。
ここで、検出の結果、画素信号が飽和している場合には、縦線補正部504は、飽和している画素信号の補正を行わないようにしてもよい。また、補正すべき画素信号についてその周辺の画素信号が飽和している場合には、縦線補正部504は、当該画素信号の補正を行わないようにしてもよい。
さらに、補正すべき画素信号について補正前に飽和しているか否かを検出した際、縦線補正部504は、飽和している画素信号の補正後の値とその周辺の画素信号の値とを比較する。そして、補正後の値の方が補正前の値よりも低輝度である場合には、縦線補正部504は、飽和している画素信号の値を補正する代わりに、飽和している画素信号の値をその周辺の画素信号の値で置き換えるようにしてもよい。
図7は、図1に示すカメラにおける縦線補正処理を説明するためのフローチャートである。
まず、システム制御部116は、内蔵メモリ又はメモリ部113に記憶された測光データに従って、タイミング信号生成部107を介して撮像光学系101に備えられた絞り機能を有するメカシャッターを絞り値に応じて開放する。これによって、システム制御部116は撮像素子102の露光を開始する(ステップS701)。
続いて、システム制御部116は、測光データに従って撮像素子102の露光終了を待って、タイミング信号生成部107によって撮像素子102から画素信号の読み出しを開始する(電荷転送開始:ステップS702)。撮像素子102において画素信号の転送が開始されると、初めに、システム制御部116は、領域A(405)について高速転送を行う(ステップS703)。
続いて、システム制御部116は、領域B(406)について通常転送を行って(ステップS704)、領域B(406)の画素信号を読み出す。そして、システム制御部116は、CDS103およびADC部104を介して得られたデジタル画像信号を画像メモリ505に書き込む。
次に、システム制御部116は、領域C(407)について高速転送を行い(ステップS705)、さらに、領域D(408)について通常転送を行って、ダミー部の空信号(ダミー信号)を読み出す(ステップS706)。
前述のように、縦線検出部503は、アドレス記録部502に記録された点欠陥がある列を示すアドレス情報に応じて、垂直転送路に点欠陥があるか否かを判定する(ステップS707)。点欠陥があると判定すると(ステップS707において、YES)、縦線検出部503は、前述したようにして縦線補正値αおよびβを検出する(ステップS708)。
続いて、縦線補正部504は、点欠陥が存在する列に対して縦線補正値αおよびβを用いて、画像メモリ505に書き込まれた画像信号に対して縦線補正を行う(ステップS709)。
ここで、縦線補正に関して簡単に説明する。
いま、図4に実線で示す列の部分における画素信号をMn、破線で示す列の部分における画素信号をMm、補正後の実線部分における画素信号をUn、補正後の破線部分における画素信号をUmとする。
アドレス記録部502に記録されている実線BおよびDの領域(アドレス)について、縦線補正部504は、次の式(3)に応じた減算を行う。
Un=Mn−α (3)
また、アドレス記録部502に記録されている破線Aおよび破線Cの領域(アドレス)について、縦線補正部504は、次の式(4)に応じた減算を行う。
Um=Mm−β (4)
このようにして、縦線補正部504において点欠陥による縦線(実線および破線)の補正が行われた後、補正後の画像信号が、縦線補正部504から信号処理部106に送られる。信号処理部106は、システム制御部116の制御下で補正後の画像信号に対して現像処理を行う(ステップS710)。そして、縦線補正処理が終了する。
なお、ステップS707において、点欠陥が存在しないと判定された列について(ステップS707において、NO)、縦線補正部504は、縦線補正を行うことなく、当該列に係る画像信号を信号処理部106に送る。
このようにして、本発明の第1の実施形態では、撮像素子の垂直転送路で発生する点欠陥上を高速転送および通常転送で画素から出力された電荷を転送した結果、縦線が画面においてレベル差を有していても、縦線を精度よく補正することができる。この結果、縦線の影響を低減することができる。
つまり、第1の実施形態では、高フレームレートを維持しつつ容易に縦線の影響を低減することができる。
なお、第1の実施形態では、ダミー部を用いて縦線補正値の検出を行うようにしたが、光が遮光された画素領域である垂直遮光部(OB画素部(オプティカルブラック画素部)を用いて、縦線補正値の検出を行うようにしてもよい。
[第2の実施形態]
続いて、本発明の第2の実施形態によるカメラについて説明する。なお、第2の実施形態におけるカメラの構成は、図1に示すカメラと同様である。
上述の第1の実施形態においては、例えば、点欠陥検出工程で検出されたアドレス(欠陥アドレス)の全てについて撮影条件に拘わらず補正する例について説明した。ところが、縦線は温度に応じてそのレベルが上昇するので、撮影の際の撮像素子の温度が低い場合には、縦線補正が必要ないことがある。
そこで、第2の実施形態では、点欠陥検出の際に、欠陥アドレス(XおよびYアドレス)に加えて、点欠陥検出の際の温度情報および感度情報を予め取得して、縦線補正の際の温度および感度に応じて縦線補正を行うか否かを選択する。
図8は、本発明の第2の実施形態によるカメラにおける点欠陥の検出動作を説明するためのフローチャートである。なお、図8において、図6に示すフローチャートと同一のステップについては、同一の参照符号を付して説明を省略する。
ステップS604において、垂直転送路信号を読み出した後、システム制御部116は、点欠陥検出部501によって欠陥アドレスの検出とともに、点欠陥のレベルを示すキズレベルLt(LSB)を検出する(ステップS805)。そして、アドレス記録部502は、欠陥アドレスおよびキズレベルLt(LSB)を記録する(ステップS806)。
その後、ステップS607およびS608の処理が行われた後、システム制御部116は、点欠陥検出の際の温度情報Tc(℃)をサーミスタ115から得て、当該温度情報および操作部114で設定された感度情報を内蔵メモリに書き込む(ステップS809)。そして、システム制御部116は、点欠陥検出処理を終了する。
図9は、本発明の第2の実施形態によるカメラにおける縦線補正処理を説明するためのフローチャートである。なお、図9において、図7に示すステップと同一のステップについて同一の参照符号を付して説明を省略する。
ステップS706において、ダミー信号(遮光信号ともいう)を読み出した後、システム制御部116は、操作部114から撮影の際の感度情報を取得するとともに、サーミスタ115から撮像素子102の温度情報を取得する。そして、システム制御部116は、これら感度情報および温度情報を撮影時感度情報および撮影時温度情報としてその内蔵メモリに記憶する(ステップS907)。
続いて、システム制御部116は、点欠陥検出工程で得られた温度情報Tt(℃)を内蔵メモリから読み出すとともに、点欠陥のアドレス情報およびキズレベルLt(LSB)をアドレス記録部502から読み取る。そして、システム制御部116は、温度情報Tt(℃)、キズレベルLt、および撮影時温度情報Tc(℃)に基づいて、撮影時における点欠陥レベルLc(LSB)を次の式(5)に基づいて近似的に算出する(ステップS908)。
なお、一般に、点欠陥は、温度上昇約10℃で2倍に変化する。また、内蔵メモリには、撮影感度、つまり、感度情報毎に縦線のレベルが画面上問題とならない(つまり、無視できる)最大値が基準値S(基準レベル:LSB)として記憶されている。つまり、内蔵メモリ(基準設定手段)には、点欠陥検出工程で得られた感度情報および温度情報に対応づけて基準値Sが記憶されている。
Lc=2((Tc−Tt)/10)×Lt (5)
撮影時の点欠陥レベルLc(LSB)を算出した後、システム制御部116は、撮影時感度情報および撮影時温度情報に対応する基準値Sを内蔵メモリから検索する。そして、システム制御部116は、全ての欠陥アドレスについて撮影時の点欠陥レベルLc(LSB)が基準値S(LSB)以下であるか否かを判定する(ステップS909)。
全ての欠陥アドレスについてLc≦Sであると(ステップS909において、YES)、システム制御部116は、縦線補正の必要なしと判定する。そして、処理はステップS711の現像処理に進む。
一方、欠陥アドレスのうち一つでもLc>Sであると(ステップS909において、NO)、システム制御部116は、前述のステップS707の処理に進んで、前述のようにして縦線補正が行われることになる。
なお、動画の撮影には、フレーム毎にステップS907〜S909の処理を行うことが望ましいが、縦線補正に影響を与えない程度で定期的に行うようにしてもよい。
このように、本発明の第2の実施形態によれば、点欠陥検出工程などで得られた撮像素子の温度情報、点欠陥のアドレス情報、点欠陥レベル(キズレベル)、撮影時感度情報、および撮影時撮像素子に基づいて撮影時における点欠陥レベルを算出する。これによって、撮影中において補正値検出時間に起因するフレームレートの低下を防止して、縦線補正誤差を低減することができる。
[第3の実施形態]
続いて、本発明の第3の実施形態によるカメラについて説明する。なお、第3の実施形態によるカメラの構成は、図1に示すカメラと同様であり、また、撮像素子の構成は、図2に示す撮像素子と同様である。
図10は、図3で説明した4:3領域の全画素を読み出した際の縦線の発生の他の例を説明するための図である。そして、図10(a)は、4:3領域の全画素を読み出した際の画像を示す図であり、図10(b)は、図3で説明した読み出しを行った際の画像を示す図である。また、図10(c)は、図10(b)に示す画像における縦線レベルを示す図であり、図10(d)は、2フレームの画像を重ねて示す図である。
図10において、図4に示す要素と同一の要素については同一の参照番号を付す。図4で説明したように、縦線は点欠陥を中心として破線AおよびCと実線BおよびBにおいてそのレベルに差が生じる。
図11は、本発明の第3の実施形態によるカメラに備えられた縦線処理部105の一例を示すブロック図である。なお、図11に図5に示す構成要素と同一の構成要素については同一の参照番号を付して説明を省略する。
図11に示す縦線処理部105は、図5に示す縦線処理部105の構成に加えて、画素補間値算出部506および画素補間処理部507を有しており、図6で説明したようにして、点欠陥検出処理が行われる。
図10を参照して、いま、ダミー部408を含む全ライン数が1250ラインであるものとする。そして、領域Aの有効画素の高速転送期間を100ライン、領域Bの有効画素の通常転送期間を1000ライン、領域Cの有効画素の高速転送期間を100ライン、領域Dのダミー部の通常転送期間を50ラインとする。また、垂直ライン数(つまり、列数)は1500ラインであるものとする。
列409で発生している点欠陥403のXおよびYアドレスを(700、400)とすると、破線Aの開始YアドレスYaはYa=400、実線Bの開始YアドレスYbはYb=400+100=500、破線Cの開始YアドレスYcはYc=400+100+1000=1500、そして、実線Dの開始YアドレスYdはYd=400+100+1000+100=1600となる。
ここで、破線Cの開始YアドレスYcがダミー部408を含む全領域のYアドレスのYallより大きくなっており、これは、列409に示す実線Bがフレーム間を跨いでいることを意味している。このため、破線Cの開始YアドレスYcは、Yc=Yc−Yall=1500−1250=250となる。また、実線Dの開始YアドレスYdは、Yd=1600−1250=350で置き換えられる。
この結果、列409において、破線Aの全アドレスは(450、400)〜(400、499)、破線Cの全アドレスは(400、250)〜(400、349)となる。
なお、欠陥アドレスを検出する際には、ダミー部408と領域B(406)に発生する破線AおよびCのXおよびYアドレスのみを検出するようにしてもよい。
また、図11に示す縦線補正部504は、点欠陥のある列に対して、式(4)で説明したように、縦線補正値αを画素信号から減算する。これによって、点欠陥を通常転送される列で発生する実線BおよびDで示す縦線を補正することができる。
ところで、図11に示す縦線補正部504では、アドレス記録部502に予め記録された欠陥アドレス(領域AおよびDのアドレス)に応じて、縦線補正値αを用いて縦線補正を行っているが、点欠陥を高速転送される破線AおよびCの画素信号について、縦線補正値αで補正を行うと誤補正となる。
このため、図11に示す縦線処理部105では、画素補間値算出部506および画素補間処理部507によって、破線AおよびCについてはその周辺画素から補間値を算出して画素補間を行う。
図12は、図11に示す縦線処理部105における画素補間を説明するための図である。
図12において、ベイヤ配列された撮像素子102について点欠陥があり、図10に示す破線AおよびCの画素の一部が斜線領域1201で示されている。画素補間値算出部506は、例えば、Gr画素1202に関する画素補間値を左右周辺のGr画素1203およびGr画素1204の加算平均値から算出する。
画素補間処理部507は、Gr画素1203およびGr画素1204の加算平均値と破線領域1201のGr画素1202の画素値とを置換処理する。
ここでは、Gr画素について当該画素の周辺画素で補間する場合について説明したが、破線領域1201に位置するGb画素、R画素、およびB画素に欠陥がある場合についても、同様に左右周辺の同色画素の加算平均値で置換処理が行われる。
このようにして、補間処理を行えば、垂直転送部202に発生する点欠陥を高速転送されることにより発生する破線領域1201の縦線を補正することができる。
図13は、本発明の第3の実施形態によるカメラにおける縦線補正処理を説明するためのフローチャートである。なお、図13において、図7に示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。
図13に示す例では、垂直転送路202に点欠陥があると(ステップS707において、YES)、縦線検出部503は前述したように、縦線補正値αを検出する(ステップS708)。続いて、縦線補正部504は、画素メモリ505に記憶された画像信号について、欠陥アドレスに応じて実線BおよびDを縦線補正値αで補正を行う(ステップS1209)。そして、縦線補正後の画像信号は画素補間値検出部506に送られる。
画素補間値検出部506は、欠陥アドレスを参照して、垂直転送路202に点欠陥が存在する列について、破線AおよびCの画素の補間値を、前述したようにして検出する(ステップS1210)。続いて、画素補間処理部507は、破線AおよびCの画素について補間値を用いて補間処理を行う(ステップS1211)。そして、補間処理後の画像信号は、信号処理部106に送られて、現像処理が行われる。
このように、本発明の第3の実施形態では、撮像素子の垂直転送路で発生する点欠陥上を高速転送および通常転送で画素から読み出された電荷を転送した結果、縦線が画面においてレベル差を有していても、縦線を精度よく補正することができる。この結果、縦線の影響を低減することができる。
[第4の実施形態]
次に、本発明の第4の実施形態によるカメラについて説明する。なお、第4の実施形態によるカメラの構成は図1に示すカメラと同様であり、また、撮像素子の構成は図2に示す撮像素子と同様である。
上述の第3の実施形態においては、垂直転送路202に生じた点欠陥を通常転送される画素信号については縦線補正値αで補正を行い、点欠陥を高速転送される画素信号については補間処理を行って縦線を軽減する例について説明した。ところが、垂直転送路202で生じる点欠陥の位置によっては、ダミー部を用いて精度よく縦線補正値αを検出できないことがある。
そこで、第4の実施形態では、点欠陥を高速転送された際に発生する破線AおよびCがダミー部408(領域D)に発生する場合には、当該列に対応する全ての画素のXおよびYアドレスをアドレス記録部502に記録する。
図14は、垂直転送路の点欠陥を高速転送された際に発生する縦線の一例を示す図である。
図14において、いま、点欠陥1401が発生しているXおよびYアドレスを(150、100)とすると、破線Aの開始YアドレスYaはYa2=100、実線Bの開始YアドレスYbはYb2=100+100=200、破線Cの開始YアドレスYcはYc2=100+100+1000=1200、実線Dの開始YアドレスYdはYd2=100+100+1000+100=1300となる。
ここでは、実線Dの開始YアドレスYd2が、ダミー部408を含む全ライン数のYアドレスYallより大きくなっており、これは列1401に示す破線Cが、フレーム間を跨いでいることを意味している。
このため、実線Dの開始YアドレスYd2は、Yd2=Yd2−Yall=1300−1250=50で置き換えられる。この結果、列1401において、破線Aの全アドレスは(1000、100)〜(1000、199)、破線Cの全アドレスは(1000、0)〜(1000、49)、(0、1200)〜(0、1250)となる。つまり、破線Cは、全てダミー部408(領域D)に含まれることになる。
図15は、本発明の第4の実施形態によるカメラにおける点欠陥の検出動作を説明するためのフローチャートである。なお、図15において、図6および図8に示すステップと同一のステップについては、同一の参照符号を付して説明を省略する。
ステップS607において、破線Aおよび破線C(高速転送される領域)のXおよびYアドレスを算出した後、システム制御部116は、破線AおよびCの少なくともいずれかがダミー部408(領域D)に含まれるか否かを判定する(ステップS1501)。破線AおよびCの少なくともいずれかがダミー部408に含まれると判定すると(ステップS1501において、YES)、システム制御部116は、アドレス記録部502を制御して、当該点欠陥列に当たる全ての画素のアドレスを記録する(ステップS1502)。そして、システム制御部116は、点欠陥検出処理を終了する。
一方、破線AおよびCがダミー部408に含まれないと判定すると(ステップS1501において、NO)、システム制御部116は、アドレス記録部502を制御して、破線部AおよびCに当たる画素のみのXおよびYアドレスをアドレス記録部502に記録する(ステップS1503)。そして、システム制御部116は、点欠陥検出処理を終了する。
このようにして、ダミー部408に破線AおよびCの少なくともいずれかが存在する場合には、当該列の全画素のXおよびYアドレスを記録する。このようにして検出された列の画素に関しては、第3の実施形態で説明した縦線補正は行われず、当該列の全ての画素について周辺の画素から補間値を算出して画素補間が行われる。
このように、本発明の第4の実施形態では、ダミー部408からのダミー信号が垂直転送路に発生する点欠陥を高速転送で通過して、ダミー部408に縦線(実線で示す)が発生しない特定な列に対しては補間処理を行って、縦線の影響を低減することができる。
[第5の実施形態]
続いて、本発明の第5の実施形態によるカメラについて説明する。なお、第5の実施形態によるカメラの構成は図1に示すカメラと同様であり、また、撮像素子の構成は図2に示す撮像素子と同様である。
上述の第4の実施形態では、ダミー部408のダミー信号が垂直転送路202の点欠陥を高速転送される場合において説明したが、点欠陥が発生する位置によっては、ダミー部408に実線および破線で示す部分が存在することもある。
第5の実施形態では、ダミー部408に実線および破線で示す部分が存在する場合に、縦線が実線となるライン数が所定の数以上であると、破線AおよびCのXおよびYアドレスのみを記録する。一方、縦線が実線となるライン数が所定のライン数より少ないと、当該列の全てのXおよびYアドレスを記録する。
なお、ここでは、所定のライン数は、例えば、設計時に決定される定数であり、一般的には、実線で示す縦線のレベルを精度よく検出するために必要なライン数は、32ライン以上あることが望ましい。
図16は、本発明の第5の実施形態によるカメラにおける点欠陥の検出動作を説明するためのフローチャートである。なお、図16において、図6、図8、および図15に示すステップと同一のステップについては同一の参照符号を付して説明を省略する。
図15で説明したように、ステップS1501において、システム制御部116は、破線AおよびCのいずれかがダミー部408(領域D)に含まれるか否かを判定する。破線AおよびCの少なくともいずれかがダミー部408に含まれると判定すると(ステップS1501において、YES)、システム制御部116は、ダミー部408に破線AおよびCの少なくともいずれかが何ライン含まれているかを算出する。
続いて、システム制御部116は、ダミー部408のライン数をLd、ダミー部408に発生する破線で示すライン数をhとして次の式(6)に応じて判定を行う。
Ld−h≧N (6)
Ld−h≧Nであると(ステップS1602において、YES)、システム制御部116は、アドレス記録部502を制御して、当該列全ての画素のXおよびYアドレスを記録する(ステップS1603)
一方、Ld−h<Nであると(ステップS1602において、NO)、システム制御部116は、アドレス記録部502を制御して、縦線が破線となる破線AおよびCの全てのXおよびYアドレスを記録する(S1604)。
なお、破線AおよびCがダミー部408に含まれないと判定すると(ステップS1501において、YES)、システム制御部116は、ステップS1604の処理を行う。
以上のようにして、ダミー部408に存在する破線AおよびCのライン数に応じて記録するXおよびYアドレスを変更する。
第5の実施形態では、縦線補正を行う際、破線AおよびCのライン数が所定のライン数N以上であると、第4の実施形態で説明したようにして、当該列の全画素に対して周辺の画素を用いて補間処理を行う。
一方、破線AおよびCのライン数が所定のライン数N未満であると、第3の実施形態で説明したように、縦線補正値αを用いて補正を行うとともに、破線AおよびCについては補間処理を行う。
第5の実施の形態で用いる縦線補正値αは次のようにして求められる。
前述のように、縦線補正値αを算出するにあって、ダミー部408に係る欠陥アドレスはアドレス記録部502に記録されていない。
そこで、ダミー部408のライン数をHd、ダミー部408において欠陥列と水平方向に隣接する列との差分値をRdとし、ダミー部408に発生する破線のライン数をhとすると、縦線補正値αは次の式(7)によって算出することができる。
α=(R_1+R_2+・・・+R_(Hd−h−1)+R_(Hd−h))/(Hd−h) (7)
ここで、dは定数である。
このように、第5の実施形態では、ダミー部408に実線および破線で示す縦線の両方が発生する列についても、縦線の低減を行うことができる。
[第6の実施形態]
続いて、本発明の第6の実施形態によるカメラについて説明する。なお、第6の実施形態によるカメラの構成は図1に示すカメラと同様であり、また、撮像素子の構成は図2に示す撮像素子と同様である。
前述したように、縦線のレベルは撮像素子102の温度によって影響される。この場合には、第2の実施形態で説明したように、点欠陥検出工程においてXおよびYアドレスを記録するとともに、その際の温度情報および感度情報を記録する。そして、縦線補正の際の温度情報および感度情報に応じて、縦線補正を行うか否かを選択することになる。
図17は、本発明の第6の実施形態によるカメラにおける縦線補正処理を説明するためのフローチャートである。なお、図17において、図9および図13に示すステップと同一のステップについては同一の参照符号を付す。
図17に示す処理では、第2の実施形態(図9)で説明したようにして、ステップS701〜S706の処理が行われて、続いて、ステップS907〜S909の処理が行われる。そして、ステップS707の処理を行った後、ステップS708、ステップS1209〜S1211の処理が行われる。そして、最後に、ステップS710の処理が行われることになる。
このように、本発明の第6の実施形態では、点欠陥検出工程などで得られた撮像素子の温度情報、点欠陥のアドレス情報、点欠陥レベル(キズレベル)、撮影時感度情報、および撮影時撮像素子に基づいて撮影時における点欠陥レベルを算出する。これによって、撮影中において補正値検出時間に起因するフレームレートの低下を防止して、縦線補正誤差を低減することができる。
なお、画素補間処理部507は、主に受光素子で発生する点欠陥を補正する際に用いられるが、上述のようにして、縦線補正を行えば、縦線の低減も可能となる。さらに、画素補間処理部502は、縦線処理部105に備えられるとしたが、例えば、後段の信号処理部106に備えるようにしてもよい。
以上のように、本発明の実施の形態によれば、読みだし領域以外の電荷(画素信号)を高速転送する駆動を行う際に生じるレベルの異なる縦線を、高い精度で目立たなくすることができる結果、高画質の画像を得ることが可能となる。
上述の説明から明らかなように、図1に示す例においては、システム制御部116、信号処理部106、および縦線処理部105が点欠陥検出手段、点欠陥情報記録手段、補正値算出手段、および補正手段として機能する。そして、補正手段はレベル算出手段および縦線補正手段を有することになる。
また、図11に示す例では、画素補間値算出部506および画素補間処理部507が補間値算出手段および補正手段として機能することになる。加えて、図1に示す例では、システム制御部116が割合算出手段として機能する。
なお、前述のように、撮像素子は垂直転送部の転送速度に対応して複数の領域に分割されている。そして、補正対象列の補正を行う際には、縦線補正値および補間値を選択的に用いて補正が行われる。また、高速転送速度による転送の割合が所定の値以上となると、補正対象列の全ての画素信号について補間値が算出される。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
上記の制御方法および制御プログラムの各々は、少なくとも点欠陥検出ステップ、点欠陥情報記録ステップ、補正値算出ステップ、および補正ステップを有している。
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。
102 撮像素子
105 縦線処理部
106 信号処理部
107 タイミング信号生成部
108 フレームメモリ部
116 システム制御部
115 サーミスタ
201 受光素子(画素部)
202 垂直転送部
203 水平転送部

Claims (9)

  1. 2次元マトリックス状に配列された複数の画素を備える画素部と、前記画素部から出力された電荷を垂直方向に転送する垂直転送手段と、前記垂直転送手段により転送された電荷を水平方向に転送する水平転送手段とを有する撮像素子を有し、前記垂直転送手段によって前記電荷を予め定められた通常転送速度と該通常転送速度よりも高速の高速転送速度で選択的に転送する撮像装置であって、
    前記垂直転送手段における点欠陥を点欠陥情報として記録する点欠陥情報記録手段と、
    前記点欠陥情報記録手段に記録された点欠陥情報から特定される補正対象列について、前記高速転送速度で前記電荷が転送された転送期間および前記通常転送速度と前記高速転送速度との比に基づく縦線補正値を用いて前記補正対象列に係る画素信号の補正を行う補正手段とを有することを特徴とする撮像装置。
  2. 前記点欠陥情報記録手段に記録された点欠陥情報から特定される補正対象列について、前記高速転送速度で前記画素が転送された転送期間および前記通常転送速度と前記高速転送速度との比に基づいて、前記縦線補正値を算出する補正値算出手段を有し、
    前記補正値算出手段は、前記垂直転送手段における転送速度の数と同数の複数の縦線補正値を算出し、前記複数の縦線補正値は互いに異なることを特徴とする請求項1に記載の撮像装置。
  3. 前記垂直転送手段における点欠陥を検出する点欠陥検出手段と、
    前記点欠陥検出手段によって前記点欠陥が検出された際の前記撮像素子の温度情報および撮影条件に対応づけて前記縦線のレベルが無視できる基準レベルが設定された基準設定手段と、
    前記撮像素子の温度を検出して撮影時温度情報を得る温度検出手段とを有し、
    前記点欠陥検出手段は、前記点欠陥として当該点欠陥の位置を示すアドレスおよび前記点欠陥のレベルを示すキズレベルを検出しており、
    前記点欠陥情報記録手段は前記点欠陥情報として前記アドレスおよび前記キズレベルを記憶し、
    前記補正手段は、前記温度情報、前記キズレベル、および前記撮影時温度情報に基づいて、撮影時における点欠陥レベルを求めるレベル算出手段と、
    前記点欠陥レベルが前記基準レベルを超えた際、前記補正値算出手段で算出された前記縦線補正値に応じて前記補正対象列に係る画素信号の補正を行う縦線補正手段とを有することを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記補正対象列の周辺に位置する画素の画素信号に応じて補間値を算出する補間値算出手段を有し、
    前記補正手段は、前記縦線補正値および前記補間値を選択的に用いて前記補正対象列に係る画素信号の補正を行うことを特徴とする請求項1に記載の撮像装置。
  5. 前記補正手段は、前記補正対象列において前記通常転送速度で転送される領域の画素信号については前記縦線補正値を用いて補正を行い、前記高速転送速度で転送される領域については前記補間値を用いて補正を行うことを特徴とする請求項4に記載の撮像装置。
  6. 前記撮像素子から前記画素信号を読み出す際、前記通常転送速度による転送と前記高速転送速度による転送の割合を求める割合算出手段を有し、
    前記補正手段は前記割合に応じて前記縦線補正値および前記補間値を選択的に用いて前記補正対象列の画素信号の補正を行うことを特徴とする請求項4に記載の撮像装置。
  7. 前記補間値算出手段は前記高速転送速度による転送の割合が所定の値以上となると、前記補正対象列の全ての画素信号について前記補間値を算出することを特徴とする請求項6に記載の撮像装置。
  8. 2次元マトリックス状に配列された複数の画素を備える画素部と、前記画素部から出力された電荷を垂直方向に転送する垂直転送手段と、前記垂直転送手段により転送された電荷を水平方向に転送する水平転送手段とを有する撮像素子と、前記垂直転送手段における点欠陥を点欠陥情報として記録する点欠陥情報記録手段とを有し、前記垂直転送手段によって前記電荷を予め定められた通常転送速度と該通常転送速度よりも高速の高速転送速度で選択的に転送する撮像装置の制御方法であって、
    前記点欠陥情報から特定される補正対象列について、前記高速転送速度で前記電荷が転送された転送期間および前記通常転送速度と前記高速転送速度との比に基づく縦線補正値を用いて前記補正対象列に係る画素信号の補正を行う補正ステップとを有することを特徴とする制御方法。
  9. 2次元マトリックス状に配列された複数の画素を備える画素部と、前記画素部から出力された電荷を垂直方向に転送する垂直転送手段と、前記垂直転送手段により転送された電荷を水平方向に転送する水平転送手段とを有する撮像素子と、前記垂直転送手段における点欠陥を点欠陥情報として記録する点欠陥情報記録手段とを有し、前記垂直転送手段によって前記電荷を予め定められた通常転送速度と該通常転送速度よりも高速の高速転送速度で選択的に転送する撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記点欠陥情報から特定される補正対象列について、前記高速転送速度で前記電荷が転送された転送期間および前記通常転送速度と前記高速転送速度との比に基づく縦線補正値を用いて前記補正対象列に係る画素信号の補正を行う補正ステップとを実行させることを特徴とする制御プログラム。
JP2012204264A 2012-09-18 2012-09-18 撮像装置、その制御方法、および制御プログラム Pending JP2014060576A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012204264A JP2014060576A (ja) 2012-09-18 2012-09-18 撮像装置、その制御方法、および制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012204264A JP2014060576A (ja) 2012-09-18 2012-09-18 撮像装置、その制御方法、および制御プログラム

Publications (1)

Publication Number Publication Date
JP2014060576A true JP2014060576A (ja) 2014-04-03

Family

ID=50616673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012204264A Pending JP2014060576A (ja) 2012-09-18 2012-09-18 撮像装置、その制御方法、および制御プログラム

Country Status (1)

Country Link
JP (1) JP2014060576A (ja)

Similar Documents

Publication Publication Date Title
JP6016412B2 (ja) 撮像装置および信号処理方法
JP4468276B2 (ja) ディジタルカメラ
JP4501994B2 (ja) 撮像装置
JP5541718B2 (ja) 撮像装置及びその欠陥画素検出方法
JP6271926B2 (ja) 撮像装置、その制御方法、及びプログラム
JP2010056795A (ja) 撮像装置及びその制御方法
JP5657184B2 (ja) 撮像装置及び信号処理方法
JP2009033321A (ja) 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP2011217356A (ja) 固体電子撮像装置およびその動作制御方法
JP5499853B2 (ja) 電子カメラ
JP2012231262A (ja) 撮像装置、ぶれ補正方法、制御プログラム、及び制御プログラムを記録する記録媒体
JP2001086411A (ja) 固体撮像装置
JP2011120111A (ja) 固体撮像装置および電子情報機器
JP2007312076A (ja) 画像データのノイズ低減装置およびその制御方法
JP2007020045A (ja) 電子カメラ
JP2019080261A (ja) 撮像装置
JP2014060576A (ja) 撮像装置、その制御方法、および制御プログラム
JP5271201B2 (ja) 画像信号処理装置及び撮像装置
JP2007243558A (ja) 固体撮像装置
JP5127510B2 (ja) 撮像装置、及び撮像装置の制御方法
JP5341536B2 (ja) 撮像装置
JP2005210164A5 (ja)
JP2005210164A (ja) 欠陥画素補正装置
JP6659163B2 (ja) フラッシュバンド判定装置、その制御方法、およびプログラム
JP2008283477A (ja) 画像処理装置及び画像処理方法