JP2004153377A

JP2004153377A - Line crawl correcting apparatus

Info

Publication number: JP2004153377A
Application number: JP2002313899A
Authority: JP
Inventors: Miho Sakai; 美保酒井; Noritoshi Shibuya; 文紀渋谷
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-10-29
Filing date: 2002-10-29
Publication date: 2004-05-27
Anticipated expiration: 2022-10-29
Also published as: JP4096698B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a line crawl correcting apparatus that can appropriately correct the line crawl depending on the luminance level of an object, suppresses the side effects of the correction as much as possible, and is capable of obtaining a satisfactory image. <P>SOLUTION: The line crawl correcting apparatus comprises a luminance level detection section 5 for detecting the luminance level according to the luminance signal as the output of a luminance signal generation section 2; and a multiplier (A) 18 for multiplying the output of the luminance level detection section by a setting value, thus appropriately correcting the line crawl according to the luminance level of the object, suppressing the side effect by the correction as much as possible, and hence obtaining the satisfactory image. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ等の撮像素子を用いた撮像装置において、撮像素子のバラツキにより発生する各ライン間の信号レベルの差を信号処理によって補正する装置に関する技術である。
【０００２】
【従来の技術】
近年、撮像装置の性能、機能向上の一環として、高画質化に対する技術等が多数、提案されている。
【０００３】
まずは、代表的な撮像装置の信号の流れを図９を用いて説明する。図９において、９１は被写体からの光学信号を入射するためのレンズ、９２はレンズ９１からの光学信号を電気信号に変換する撮像素子、９３は前記被写体の明度情報を撮像素子９２の出力信号より輝度信号として生成する輝度信号発生部、９４は前記被写体の彩度及び色相情報をクロマ信号として生成するクロマ信号発生部、９５は前記輝度信号と前記クロマ信号からテレビジョンなどの表示媒体に出力するための信号に変換するエンコーダ、９６は前記輝度信号と前記クロマ信号から磁気記録媒体等の記録媒体のフォーマットに変換する信号処理部である。
【０００４】
以上のように構成された撮像装置において、輝度信号生成部内９３の処理の一つに、撮像素子９２のバラツキにより発生する各ライン間の信号レベルの差を信号処理によって補正する装置（以下、ラインクロール補正装置と称す）がある。一般的に前記各ライン間の信号レベルの差は、特開２００１−３３９６２４号公報の従来技術で説明されている通り、撮像素子９２内のフォトダイオード上に配置されている色フィルタの分光特性の差により発生するものであり、輝度信号のレベルと各ラインの信号レベル差のレベルは比例する。図１０（ａ）に代表的な色フィルタ配列を、図１０（ｂ）に輝度信号と各ライン間のバラツキの関係図を示す。
【０００５】
次に、従来のラインクロール補正装置について説明する。
【０００６】
従来の技術としては特開２００１−３３９６２４号公報の実施例に提案されており、図１１は従来のラインクロール補正装置におけるブロック図である。１は被写体より入射された光学信号を電気信号に変換し、画素信号として出力する撮像素子、２は画素信号より輝度信号を生成する輝度信号生成部、３は輝度信号生成部２からの輝度信号を１水平ライン期間遅延させて出力する１水平期間遅延回路（以下、１ＨＤＬと記す）、４は１ＨＤＬ３からの輝度信号を１水平ライン期間遅延させて出力する１ＨＤＬ、５は輝度信号生成部２及び１ＨＤＬ３、１ＨＤＬ４からの輝度信号から垂直方向の高周波成分を検出する高周波成分検出部、６は高周波成分検出部５からの高周波成分の絶対値を演算する絶対値演算部、８は絶対値演算部６の出力値をある設定値発生部７ａからの設定値（Ａ）から減算する減算器（Ａ）、９は減算器（Ａ）８からの出力の負の値に対して０を出力するリミッタ（Ａ）、１０はリミッタ（Ａ）９の出力に所定係数発生部１１からの所定係数（ＧＡＩＮ）を乗算する乗算器（Ｂ）、１２は乗算器（Ｂ）１０の出力値がある第２の設定値発生部１３からの設定値（Ｂ）以上になった時に一定の値を出力するリミッタ（Ｂ）、１４はリミッタ（Ｂ）１２の出力と高周波成分検出部５の出力とを乗算する乗算器（Ｃ）、１５は乗算器（Ｃ）１４の出力を１ＨＤＬ３の出力から減算する減算器（Ｂ）である。
【０００７】
以上のように構成された従来のラインクロール補正装置について、以下その動作について説明する。
【０００８】
まず、輝度信号生成部２で撮像素子１からの出力である画素信号より各水平ライン毎に輝度信号が生成される。そして、１水平ラインの遅延素子である２本の１ＨＤＬ３、４によって、垂直方向に３ラインの輝度信号が同時化される。同時化された３ラインの輝度信号は、高周波成分検出部５に入力されて、垂直方向の高周波信号が分離される。高周波成分検出部５からの出力信号は絶対値演算部６に入力されて絶対値に変換され、減算器（Ａ）８にて、設定値発生部７ａからの設定値（Ａ）の値から減算される。減算器（Ａ）８の出力は、リミッタ（Ａ）９にて、負の値が０に固定される。リミッタ（Ａ）９の出力は所定係数発生部１１からの所定係数（ＧＡＩＮ）と乗算器（Ｂ）１０にて乗算されて、リミッタ（Ｂ）１２において第２の設定値発生部１３からの設定値（Ｂ）以上の値を、第２の設定値発生部１３からの設定値（Ｂ）に固定する処理が行なわれる。リミッタ（Ｂ）１２の出力は、乗算器（Ｃ）１４にて、高周波成分検出部５の出力と乗算されたのち、減算器（Ｂ）１５において、１ＨＤＬ３の出力の輝度信号から減算されることによって、ラインクロールを抑圧した輝度信号が、輝度信号出力端子１６から出力される。
【０００９】
図３は、処理すべき画像の例を示す模式図である。図３において、３１は実際に撮影した画像全体を示す画像、３２は画像中の暗い部分の被写体、３３は被写体３２に重なるように位置した被写体３２よりも明るい被写体、３４は被写体３３以外の部分の被写体で、画像３１中もっとも明るい部分である。この画像３１は例えば、夜間に照明が点灯した明るい家屋内を撮影した状態を示し、被写体３２は例えば家屋に配された窓で、夜間であるため窓を介して見える屋外は暗い。被写体３３は例えば窓（被写体３２）の前に位置した被撮影物を示し、照明により明るく照らされているため被写体３２よりも明るいが、被写体３４よりは暗い。被写体３４は例えば家屋の屋内壁で、被写体３３よりも明るい色調のものを用い、画像３１内で最も明るい被写体となっている。３５は画像３１中に発生したラインクロール成分である。
【００１０】
以下この画像に対して施される信号処理の波形を説明する。図１２は図１１のラインクロール補正装置を、図３に示す画像に施した場合の各ブロックの出力信号波形を示す図である。
【００１１】
輝度信号は図３の画像３１において、３２、３３、３４の被写体のほかに、３５のラインクロール成分を含んだものであり、この画像３１に対して垂直方向の矢印３６における画像データを、水平方向に展開したものが、図１２（ａ）である。信号値１２１−２は、被写体３３に対するデータを示し、信号値１２１−１、１２１−３はそれぞれ被写体３２、３４に対するデータを示し、輝度信号に含まれるラインクロール成分を示す。ここで、被写体３４の輝度レベルは被写体３２に比べて高いため、信号値１２１−３のラインクロール成分は信号値１２１−１のラインクロール成分より大きい。なお、信号値１２１−２には信号値１２１−１と同等のラインクロールの成分を含んでいる。
【００１２】
図１１の１ＨＤＬ３、４で同時化された垂直３ラインの輝度信号から、高周波成分検出部５にて例えば、
Ｆ（ｚ）＝−１／４・ｚ^−１＋２／４・ｚ^０−１／４・ｚ^１
の式で表されるハイパスフィルタで検出された出力信号を、図１２（ｂ）の波形１２２に示す。高周波成分検出部５の出力波形１２２を入力して得られる絶対値演算部６の出力は波形１２２の負の信号が正値に変換されることで、図１２（ｃ）の波形１２３−１のようになる。波形１２３−１の信号は、次段の減算器（Ａ）８にて、設定値発生部７ａからの設定値（Ａ）の値から減算される。設定値（Ａ）７ａの値を被写体３２におけるラインクロール成分である信号値１２１−１の振幅より大きい値である図１２（ｃ）のＴＨ１２３−２のように設定した場合、減算器（Ａ）８の出力は、図１２（ｄ）の波形１２４のようになる。
【００１３】
減算器（Ａ）８の出力は、リミッタ（Ａ）９にて負の値が０に固定されることから、リミッタ（Ａ）９の出力は、波形１２４にて、１２４−１の負の信号を０に固定した図１２（ｅ）の波形１２５となる。これにより、ＴＨ１２３−２より大きな振幅を持つ高周波信号については、リミッタ（Ａ）９の出力は０に固定されることになる。
【００１４】
次にリミッタ（Ａ）９の出力は所定係数発生部１１からの所定係数（ＧＡＩＮ）と、乗算器（Ｂ）１０にて乗算され、図１２（ｆ）の波形１２６となる。リミッタ（Ｂ）１２にて、第２の設定値発生部１３からの設定値（Ｂ）の値以上の信号に対して第２の設定値発生部１３からの設定値（Ｂ）の値に固定されるが、例として、図１２（ｆ）のＴＨ１２６−１の値が１．０に設定されていると仮定すると、リミッタ（Ｂ）１２の出力波形は、図１２（ｇ）の波形１２７のようになる。
【００１５】
リミッタ（Ｂ）１２の出力は、乗算器（Ｃ）１４にて、高周波成分検出部５の出力である図１２（ｂ）の波形１２２に乗算されて、図１２（ｈ）の波形１２８のようになる。図１２（ｃ）にてＴＨ１２３−２より小さい振幅の信号部分ではリミッタ（Ｂ）１２の出力が１．０のため、高周波成分検出部５の出力がそのまま出力され、それ以外の部分では、リミッタ（Ｂ）１２の出力が０のため、波形１２８は０に固定される。最後に、１ＨＤＬ３の出力から乗算器（Ｃ）１４の出力が減算されることにより、図１２（ｉ）の波形１２９が得られる。
【００１６】
【特許文献１】
特開２００１−３３９６２４号公報
【００１７】
【発明が解決しようとする課題】
以上のように、ラインクロール成分の振幅は輝度信号のレベルに比例するため、図１１に示すラインクロール補正装置を用いたラインクロール抑圧方法において、設定値発生部７ａからの設定値を図１２（ｃ）のＴＨ１２３−２のように、被写体３２におけるラインクロール成分である信号値１２１−１の振幅より大きい値に設定すると、被写体３４におけるラインクロール成分である信号値１２１−３は抑圧できないという問題を有していた。
【００１８】
また、設定値７ａを被写体３４におけるラインクロール成分の振幅より大きい値に設定した場合の各ブロックの出力波形を図１３に示す。図１１に示すラインクロール補正装置において、設定値発生部７ａからの設定値を図１３（ｃ）のＴＨ１３３−２のように、被写体３４におけるラインクロール成分である信号値１３１−１の振幅より大きい値に設定すると、信号値１３９−１のように被写体３３が太くなり、垂直方向の解像度が低下するという問題を有していた。
【００１９】
本発明は上記従来の問題点を解決するもので、被写体の輝度レベルに応じて適切なラインクロール補正を行うことができ、可能な限り補正による副作用を抑圧し、良好な画像を得ることができるラインクロール補正装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記課題を解決するために本発明は、被写体より入射された光学信号を電気信号に変換し画素信号として出力する撮像素子と、前記撮像素子からの画素信号より輝度信号を生成する輝度信号生成手段と、前記輝度信号生成手段からの輝度信号の垂直方向の高周波成分を検出する高周波成分検出手段と、前記高周波成分検出手段の出力信号の絶対値を演算する絶対値演算手段と、前記輝度信号生成手段からの輝度信号のレベルを検出する輝度レベル検出手段と、前記輝度レベル検出手段の出力に第１の設定値を乗算する第１の乗算手段と、前記第１の乗算手段の出力から前記絶対値演算手段の出力を減算する第１の減算手段と、前記第１の減算手段の出力の負の値に対して０を出力する第１のリミッタと、前記第１のリミッタの出力に所定係数を乗算する第２の乗算手段と、前記第２の乗算手段の出力値が第２の設定値以上になった時に一定の値を出力する第２のリミッタと、前記第２のリミッタの出力と前記高周波成分検出手段の出力とを乗算する第３の乗算手段と、前記第３の乗算手段の出力を前記輝度信号から減算する第２の減算手段と具備するものであり、これにより、輝度信号のレベルを検出し、ラインクロール抑圧レベルを輝度信号のレベルに応じて変化させることで、被写体の輝度レベルに応じたラインクロール補正を行うことができ、良好な画像が得られる。
【００２１】
【発明の実施の形態】
本発明の請求項１に記載の発明は、被写体より入射された光学信号を電気信号に変換し画素信号として出力する撮像素子と、前記撮像素子からの画素信号より輝度信号を生成する輝度信号生成手段と、前記輝度信号生成手段からの輝度信号の垂直方向の高周波成分を検出する高周波成分検出手段と、前記高周波成分検出手段の出力信号の絶対値を演算する絶対値演算手段と、前記輝度信号生成手段からの輝度信号のレベルを検出する輝度レベル検出手段と、前記輝度レベル検出手段の出力に第１の設定値を乗算する第１の乗算手段と、前記第１の乗算手段の出力から前記絶対値演算手段の出力を減算する第１の減算手段と、前記第１の減算手段の出力の負の値に対して０を出力する第１のリミッタと、前記第１のリミッタの出力に所定係数を乗算する第２の乗算手段と、前記第２の乗算手段の出力値が第２の設定値以上になった時に一定の値を出力する第２のリミッタと、前記第２のリミッタの出力と前記高周波成分検出手段の出力とを乗算する第３の乗算手段と、前記第３の乗算手段の出力を前記輝度信号から減算する第２の減算手段と具備するものである。
【００２２】
請求項２に記載の発明は、被写体より入射された光学信号を電気信号に変換し画素信号として出力する撮像素子と、前記撮像素子からの画素信号の垂直方向の高周波成分を検出する高周波成分検出手段と、前記高周波成分検出手段の出力信号の絶対値を演算する絶対値演算手段と、前記撮像素子からの画素信号のレベルを検出する画素レベル検出手段と、前記画素レベル検出手段の出力に第１の設定値を乗算する第１の乗算手段と、前記第１の乗算手段の出力から前記絶対値演算手段の出力を減算する第１の減算手段と、前記第１の減算手段の出力の負の値に対して０を出力する第１のリミッタと、前記第１のリミッタの出力に所定係数を乗算する第２の乗算手段と、前記第２の乗算手段の出力値が第２の設定値以上になった時に一定の値を出力する第２のリミッタと、前記第２のリミッタの出力と前記高周波成分検出手段の出力とを乗算する第３の乗算手段と、前記第３の乗算手段の出力を前記画素信号から減算する第２の減算手段と具備するものである。
【００２３】
この構成によって、輝度信号のレベルを検出し、ラインクロール抑圧レベルを輝度信号のレベルに応じて変化させることで、被写体の輝度レベルに応じたラインクロール補正を行うことができ、良好な画像が得られる。
【００２４】
以下、本発明の実施の形態について図１から図５を用いて詳細に説明する。
【００２５】
（実施の形態１）
図１は、本発明の実施の形態にかかるラインクロール補正装置のブロック図である。図１において、１は被写体より入射された光学信号を電気信号に変換し、画素信号として出力する撮像素子、２は画素信号より輝度信号を生成する輝度信号生成手段である輝度信号生成部、３は輝度信号生成部２からの輝度信号を１水平ライン期間遅延させて出力する１水平期間遅延回路（以下、１ＨＤＬと記す）、４は１ＨＤＬ３からの輝度信号を１水平ライン期間遅延させて出力する１ＨＤＬ、５は輝度信号生成部２及び１ＨＤＬ３、１ＨＤＬ４からの輝度信号から垂直方向の高周波成分を検出する高周波成分検出手段である高周波成分検出部、６は高周波成分検出部５からの高周波成分の絶対値を演算する絶対値演算手段である絶対値演算部、８は絶対値演算部６の出力値をある設定値発生部７ａからの第１の設定値（以下、設定値（Ａ）と記す）から減算する第１の減算手段である減算器（Ａ）、９は減算器（Ａ）８からの出力の負の値に対して０を出力する第１のリミッタであるリミッタ（Ａ）、１０はリミッタ（Ａ）９の出力に所定係数発生部１１からの所定係数（ＧＡＩＮ）を乗算する第２の乗算手段である乗算器（Ｂ）、１２は乗算器（Ｂ）１０の出力値がある第２の設定値発生部１３からの第２の設定値（以下、設定値（Ｂ）と記す）以上になった時に一定の値を出力する第２のリミッタであるリミッタ（Ｂ）、１４はリミッタ（Ｂ）１２の出力と高周波成分検出部５の出力とを乗算する第３の乗算手段である乗算器（Ｃ）、１５は乗算器（Ｃ）１４の出力を１ＨＤＬ３の出力から減算する第２の減算手段である減算器（Ｂ）である。１７は輝度信号生成部２からの輝度信号を入力とし、輝度レベルを輝度レベル情報として出力する輝度レベル検出手段である輝度レベル検出回路、１８は設定値発生部７からの設定値と輝度レベル検出回路１７からの出力とを乗算する第１の乗算手段である乗算器（Ａ）である。
【００２６】
以上のように構成された本実施の形態のラインクロール補正装置について、図１を用いて、以下その動作について説明する。
【００２７】
撮像素子１からの出力である画素信号より各水平ライン毎に生成された輝度信号が輝度信号生成部２から出力される。そして、１水平ラインの遅延素子である２本の１ＨＤＬ３、４によって、垂直方向に３ラインの輝度信号が同時化される。同時化された３ラインの輝度信号は、高周波成分検出部５に入力されて、垂直方向の高周波信号が分離される。
【００２８】
また、同時化された３ラインの輝度信号は、輝度レベル検出回路１７にも入力され、輝度レベル検出回路１７から出力される輝度レベルと設定値発生部７からの設定値とが乗算器（Ａ）１８にて乗算され、ラインクロール抑圧レベルとして出力される。
【００２９】
高周波成分検出部５からの出力信号は絶対値演算部６に入力されて絶対値に変換され、減算器（Ａ）８にて、前記ラインクロール抑圧レベルから減算される。減算器（Ａ）８の出力は、リミッタ（Ａ）９にて、負の値が０に固定される。リミッタ（Ａ）９の出力は所定係数発生部１１からの所定係数（ＧＡＩＮ）と乗算器（Ｂ）１０にて乗算されて、リミッタ（Ｂ）１２において第２の設定値発生部１３からの設定値（Ｂ）以上の値を、第２の設定値発生部１３からの設定値（Ｂ）に固定する処理が行なわれる。
【００３０】
リミッタ（Ｂ）１２の出力は、乗算器（Ｃ）１４にて、高周波成分検出部５の出力と乗算されたのち、減算器（Ｂ）１５において、１ＨＤＬ３の出力の輝度信号から減算されることによって、ラインクロールを抑圧した輝度信号が、輝度信号出力端子１６から出力される。
【００３１】
輝度レベル検出部１７についてさらに詳しく図４とともに説明する。
【００３２】
図４は本実施の形態による輝度レベル検出部１７の内部構成の一例を示す図である。図１の輝度レベル検出部１７において、入力される同時化された３ラインの輝度信号に対して第１のラインの輝度信号がフリップフロップ（ＦＦ）４１＿１、４１＿２、…、４１＿Ｎ、によって水平方向に同時化され、第２のラインの輝度信号がフリップフロップ４２＿１、４２＿２、…、４２＿Ｎ、によって水平方向に同時化され、第３のラインの輝度信号がフリップフロップ４３＿１、４３＿２、…、４３＿Ｎ、によって水平方向に同時化される。各ライン同時化された水平Ｎ画素の信号を加算器４４で加算し、加算器４４の出力が正規化回路４５にて１／（３×Ｎ）倍され、輝度レベルとして出力される。
【００３３】
図５は輝度レベルとラインクロール抑圧レベルの特性を示す図である。このようにして得られたラインクロール抑圧レベルは、被写体の輝度レベルに応じた値になり、従来技術のように輝度レベルによってラインクロールが抑圧されないということがなく、適切なラインクロール補正が可能となる。
【００３４】
図１のラインクロール補正装置を、図３に示す画像に施した場合の信号処理の波形を図２に示す。図３の画像３１に対して垂直方向の矢印３６における画像データを水平方向に展開したものが図２（ａ）であり、図１２（ａ）と同一の信号である。信号値２１−２は被写体３３に対するデータを示し、信号値２１−１、２１−３はそれぞれ被写体３２、３４に対するデータを示し、輝度信号に含まれるラインクロール成分を示す。ここで、被写体３４の輝度レベルは被写体３２に比べて高いため、信号値２１−３のラインクロール成分は信号値２１−１のラインクロール成分より大きい。なお、信号値２１−２には信号値２１−１と同等のラインクロールの成分を含んでいる。
【００３５】
図２（ｂ）の波形２２は図１の１ＨＤＬ３、４で同時化された垂直３ラインの輝度信号から、高周波成分検出部５によって検出された出力信号を示したものであり、図１２（ｂ）の波形１２２と同一の信号である。図２（ｃ）の波形２３−１は波形２２の負の信号が正値に変換する絶対値演算部６の出力信号を示したものであり、図１２（ｃ）の波形１２３−１と同一の信号である。
【００３６】
図２（ｃ）の波形２３−１に対して、輝度レベル検出部１７と設定値発生部７からの設定値（Ａ）の値を乗算器（Ａ）１８にて乗算したラインクロール抑圧レベルは図２（ｃ）のＴＨ２３−２のようになり、輝度レベルに応じた信号になっている。波形２３−１の信号は、次段の減算器（Ａ）８にて、乗算器（Ａ）１８の値から減算され、減算器（Ａ）８の出力は、図２（ｄ）の波形２４のようになる。
【００３７】
減算器（Ａ）８の出力は、リミッタ（Ａ）９にて負の値が０に固定されることから、リミッタ（Ａ）９の出力は、波形２４にて、波形２４−１の負の信号を０に固定した図２（ｅ）波形２５となる。これにより、ＴＨ２３−２より大きな振幅を持つ高周波信号については、リミッタ（Ａ）９の出力は０に固定されることになる。
【００３８】
次にリミッタ（Ａ）９の出力は所定係数発生部１１からの所定係数（ＧＡＩＮ）と、乗算器（Ｂ）１０にて乗算され、図２（ｆ）の波形２６となる。リミッタ（Ｂ）１２にて、第２の設定値発生部１３からの設定値（Ｂ）の値以上の信号に対して第２の設定値発生部１３からの設定値（Ｂ）の値に固定されるが、例として、図２（ｆ）のＴＨ２６−１の値が１．０に設定されていると仮定すると、リミッタ（Ｂ）１２の出力波形は図２（ｇ）の波形２７のようになる。
【００３９】
リミッタ（Ｂ）１２の出力は、乗算器（Ｃ）１４にて、高周波成分検出部５の出力である図２（ｂ）の波形２２に乗算されて、図２（ｈ）の波形２８のようになる。図２（ｃ）にてＴＨ２３−２より小さい振幅の信号部分ではリミッタ（Ｂ）１２の出力が１．０のため、高周波成分検出部５の出力がそのまま出力され、それ以外の部分では、リミッタ（Ｂ）１２の出力が０のため、波形２８は０に固定される。最後に、１ＨＤＬ３の出力から乗算器（Ｃ）１４の出力が減算されることにより、図２（ｉ）の波形２９が得られる。
【００４０】
以上のように本実施の形態によれば、輝度信号生成部２の出力である輝度信号より輝度レベルを検出する輝度レベル検出部１７と、輝度レベル検出部の出力にある設定値を乗算する乗算器（Ａ）１８とを設けることにより、被写体の輝度レベルに応じて適切なラインクロール補正を行なうことができ、可能な限り補正による副作用（解像度の低下）を抑圧し、良好な画像を得ることができる。
【００４１】
（実施の形態２）
図６は本発明の実施の形態２にかかるラインクロール補正装置のブロック図である。図６において、本発明の実施の形態１と異なる点を説明し、同じ効果を有する構成においては同一番号を付与し、詳しい説明は省略する。
【００４２】
図６において、図１の構成と異なるのは、実施の形態１での構成が撮像素子１からの出力が複数画素を混合した画素信号出力（図７に垂直方向に画素信号を混合した場合の画素信号出力の一例を示す）において、輝度信号生成部２の出力である輝度信号に適応してラインクロール抑圧を行っているのに対し、実施の形態２での構成は撮像素子１から画素混合をせずに出力された画素信号（図８に画素信号出力の一例を示す）に適応してラインクロール抑圧を行うという点である。
【００４３】
そして実施の形態２においても、撮像素子１の出力である画素信号より画素レベルを検出する画素レベル検出手段である画素レベル検出部１７ａと、画素レベル検出部１７ａの出力にある設定値を乗算する第１の乗算手段である乗算器（Ａ）１８とを設けることにより、被写体の画素レベルに応じて適切なラインクロール補正を行うことができ、本発明の実施の形態１と同様の効果を得ることができる。
【００４４】
以上のように本実施の形態によれば、輝度信号生成部の出力信号からではなく、撮像素子１の出力である画素信号に対してラインクロール抑圧を行うことにより、被写体の輝度レベルに応じて適切なラインクロール補正を行なうことができ、可能な限り補正による副作用を抑圧し、良好な画像を得ることができる。
【００４５】
【発明の効果】
以上のように本発明では、輝度信号等のレベル情報に適応してラインクロール抑圧レベルを制御することにより、被写体の輝度レベルに応じて適切なラインクロール補正を行うことができ、可能な限り補正による副作用を抑圧し、良好な画像が得られるという優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるラインクロール補正装置の一例を示すブロック図
【図２】本発明におけるラインクロール補正装置で行なわれる信号波形を示す波形図
【図３】処理すべき画像の例を示す模式図
【図４】図１の輝度レベル検出部の内部構成の一例を示すブロック図
【図５】本発明における輝度レベルとラインクロール抑圧レベルの特性を示す特性図
【図６】本発明の実施の形態２におけるラインクロール補正装置の一例を示すブロック図
【図７】本発明の実施の形態１における画素信号出力の一例を示す模式図
【図８】本発明の実施の形態２における画素信号出力の一例を示す模式図
【図９】撮像装置の一例を示すブロック図
【図１０】（ａ）代表的な色フィルタ配列を示す模式図
（ｂ）輝度信号と各ライン間のバラツキの関係を示す特性図
【図１１】従来のラインクロール補正装置のブロック図
【図１２】従来のラインクロール補正装置における信号波形を示す波形図
【図１３】従来のラインクロール補正装置における信号波形を示す波形図
【符号の説明】
１撮像素子
２輝度信号生成部
３、４、１９、２０１ＨＤＬ（１水平期間遅延回路）
５、５ａ高周波成分検出部
６絶対値演算部
７設定値
８、１５減算器
９リミッタ
１０、１４、１８乗算器
１１所定係数（ＧＡＩＮ）
１２リミッタ
１３設定値
１６輝度信号出力端子
１６ａ画素信号出力端子
１７輝度レベル検出部
１７ａ画素レベル検出部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image pickup apparatus using an image pickup device such as a CCD, and relates to a technique for correcting a difference in signal level between lines generated due to a variation in the image pickup device by signal processing.
[0002]
[Prior art]
2. Description of the Related Art In recent years, many techniques for improving image quality have been proposed as a part of improving the performance and functions of imaging devices.
[0003]
First, the signal flow of a typical imaging device will be described with reference to FIG. In FIG. 9, reference numeral 91 denotes a lens for receiving an optical signal from a subject, 92 denotes an image sensor for converting an optical signal from the lens 91 into an electric signal, and 93 denotes brightness information of the subject based on an output signal of the image sensor 92. A luminance signal generating unit 94 for generating a luminance signal, a chroma signal generating unit 94 for generating chroma and hue information of the subject as a chroma signal, and 95 outputting the luminance signal and the chroma signal to a display medium such as a television. And an encoder 96 for converting the luminance signal and the chroma signal into a format of a recording medium such as a magnetic recording medium.
[0004]
In the imaging apparatus configured as described above, one of the processes in the luminance signal generation unit 93 is a device that corrects a signal level difference between lines generated due to a variation in the imaging element 92 by signal processing (hereinafter, a line processing unit). Crawl correction device). Generally, the difference in signal level between the respective lines is, as described in the related art of JP-A-2001-339624, the spectral characteristic of a color filter disposed on a photodiode in the image sensor 92. This is caused by the difference, and the level of the luminance signal is proportional to the level of the signal level difference of each line. FIG. 10A shows a typical color filter array, and FIG. 10B shows a relationship diagram between a luminance signal and variations between lines.
[0005]
Next, a conventional line crawl correction device will be described.
[0006]
A conventional technique is proposed in an embodiment of Japanese Patent Application Laid-Open No. 2001-339624, and FIG. 11 is a block diagram of a conventional line crawl correction device. Reference numeral 1 denotes an image sensor that converts an optical signal incident from a subject into an electric signal and outputs the signal as a pixel signal. Reference numeral 2 denotes a luminance signal generation unit that generates a luminance signal from the pixel signal. Reference numeral 3 denotes a luminance signal from the luminance signal generation unit 2. Is a one horizontal line delay circuit (hereinafter referred to as 1HDL), which is delayed by one horizontal line period, 4 is a 1HDL that delays the luminance signal from 1HDL3 by one horizontal line period and is output, 5 is a luminance signal generation unit 2 and 1HDL3, a high-frequency component detection unit for detecting a high-frequency component in the vertical direction from the luminance signal from 1HDL4; 6, an absolute value calculation unit for calculating the absolute value of the high-frequency component from the high-frequency component detection unit 5; Subtracters (A) and 9 for subtracting the output value of (1) from the set value (A) from a certain set value generating section 7a, and a limiter (0) for outputting 0 to the negative value of the output from the subtractor (A) 8. A) Reference numeral 10 denotes a multiplier (B) for multiplying the output of the limiter (A) 9 by a predetermined coefficient (GAIN) from a predetermined coefficient generation unit 11, and 12 denotes a second set value generator having an output value of the multiplier (B) 10. The limiter (B), which outputs a constant value when the value becomes equal to or more than the set value (B) from the unit 13, and the multiplier (C) which multiplies the output of the limiter (B) 12 by the output of the high-frequency component detection unit 5 ) And 15 are subtracters (B) for subtracting the output of the multiplier (C) 14 from the output of 1HDL3.
[0007]
The operation of the conventional line crawl correction device configured as described above will be described below.
[0008]
First, the luminance signal generation unit 2 generates a luminance signal for each horizontal line from a pixel signal output from the image sensor 1. Then, the two 1HDLs 3 and 4 as delay elements for one horizontal line synchronize three lines of luminance signals in the vertical direction. The synchronized three-line luminance signals are input to the high-frequency component detector 5, where the high-frequency signals in the vertical direction are separated. The output signal from the high-frequency component detector 5 is input to an absolute value calculator 6 and converted into an absolute value. The subtracter (A) 8 subtracts the output signal from the set value (A) from the set value generator 7a. Is done. A negative value of the output of the subtractor (A) 8 is fixed to 0 by a limiter (A) 9. The output of the limiter (A) 9 is multiplied by a multiplier (B) 10 with a predetermined coefficient (GAIN) from a predetermined coefficient generator 11, and the output from a second set value generator 13 is set in a limiter (B) 12. Processing for fixing the value equal to or larger than the value (B) to the set value (B) from the second set value generating unit 13 is performed. The output of the limiter (B) 12 is multiplied by the output of the high-frequency component detector 5 by the multiplier (C) 14 and then subtracted from the luminance signal of the output of the 1HDL3 by the subtractor (B) 15. As a result, a luminance signal in which line crawl is suppressed is output from the luminance signal output terminal 16.
[0009]
FIG. 3 is a schematic diagram illustrating an example of an image to be processed. In FIG. 3, reference numeral 31 denotes an image showing the entire image actually captured, 32 denotes a subject in a dark portion of the image, 33 denotes a subject brighter than the subject 32 positioned so as to overlap the subject 32, and 34 denotes a portion other than the subject 33. Is the brightest part in the image 31. The image 31 shows, for example, a state in which a bright house where the lighting is turned on is photographed at night, and the subject 32 is, for example, a window arranged in a house. The subject 33 indicates, for example, a subject located in front of a window (subject 32), and is brighter than the subject 32 but darker than the subject 34 because it is brightly illuminated by illumination. The subject 34 is, for example, an indoor wall of a house having a lighter color tone than the subject 33, and is the brightest subject in the image 31. Reference numeral 35 denotes a line crawl component generated in the image 31.
[0010]
Hereinafter, waveforms of signal processing performed on the image will be described. FIG. 12 is a diagram showing output signal waveforms of each block when the line crawl correction device of FIG. 11 is applied to the image shown in FIG.
[0011]
The luminance signal contains 35 line crawl components in addition to the subjects 32, 33, and 34 in the image 31 of FIG. FIG. 12A is a view developed in the direction. The signal value 121-2 indicates data for the subject 33, and the signal values 121-1 and 121-3 indicate data for the subjects 32 and 34, respectively, and indicate a line crawl component included in the luminance signal. Here, since the luminance level of the subject 34 is higher than that of the subject 32, the line crawl component of the signal value 121-3 is larger than the line crawl component of the signal value 121-1. Note that the signal value 121-2 includes a line crawl component equivalent to the signal value 121-1.
[0012]
From the luminance signals of three vertical lines synchronized by 1HDL3 and 4 in FIG.
F (z) =-／ · z^-1+ 2 / 4.z⁰-1 / 4.z¹
The output signal detected by the high-pass filter expressed by the following equation is shown by a waveform 122 in FIG. The output of the absolute value calculation unit 6 obtained by inputting the output waveform 122 of the high frequency component detection unit 5 is obtained by converting a negative signal of the waveform 122 into a positive value. Become like The signal of the waveform 123-1 is subtracted from the value of the set value (A) from the set value generator 7a by a subtractor (A) 8 at the next stage. When the value of the set value (A) 7a is set as TH123-2 in FIG. 12C which is a value larger than the amplitude of the signal value 121-1 which is the line crawl component in the subject 32, the subtracter (A) The output of No. 8 is as shown by a waveform 124 in FIG.
[0013]
Since the output of the subtracter (A) 8 has a negative value fixed to 0 by the limiter (A) 9, the output of the limiter (A) 9 is a negative signal of 124-1 in the waveform 124. Is fixed to 0, and becomes a waveform 125 in FIG. Thus, the output of the limiter (A) 9 is fixed to 0 for a high-frequency signal having an amplitude larger than TH123-2.
[0014]
Next, the output of the limiter (A) 9 is multiplied by a predetermined coefficient (GAIN) from the predetermined coefficient generator 11 in the multiplier (B) 10 to obtain a waveform 126 in FIG. The limiter (B) 12 fixes the value of the set value (B) from the second set value generator 13 to a signal equal to or larger than the set value (B) from the second set value generator 13. However, as an example, assuming that the value of TH126-1 in FIG. 12F is set to 1.0, the output waveform of the limiter (B) 12 becomes the waveform 127 of FIG. Become like
[0015]
The output of the limiter (B) 12 is multiplied by the multiplier (C) 14 with the waveform 122 of FIG. 12B, which is the output of the high-frequency component detection unit 5, to obtain a waveform 128 of FIG. become. In FIG. 12C, the output of the limiter (B) 12 is 1.0 in a signal portion having an amplitude smaller than TH123-2, so that the output of the high-frequency component detection section 5 is output as it is, and in other portions, the limiter (B) is limited. (B) Since the output of 12 is 0, the waveform 128 is fixed to 0. Finally, the output of the multiplier (C) 14 is subtracted from the output of 1HDL3, and the waveform 129 in FIG. 12 (i) is obtained.
[0016]
[Patent Document 1]
JP 2001-396624 A
[0017]
[Problems to be solved by the invention]
As described above, since the amplitude of the line crawl component is proportional to the level of the luminance signal, in the line crawl suppressing method using the line crawl correction device shown in FIG. If the value is set to a value larger than the amplitude of the signal value 121-1 as the line crawl component in the subject 32 as in TH123-2 of c), the signal value 121-3 as the line crawl component in the subject 34 cannot be suppressed. Had.
[0018]
FIG. 13 shows the output waveform of each block when the setting value 7a is set to a value larger than the amplitude of the line crawl component in the subject 34. In the line crawl correction device shown in FIG. 11, the set value from the set value generation unit 7a is larger than the amplitude of the signal value 131-1 which is the line crawl component in the subject 34, as shown in TH133-2 of FIG. When the value is set to a value, the subject 33 becomes thick like the signal value 139-1, and there is a problem that the resolution in the vertical direction is reduced.
[0019]
The present invention solves the above-described conventional problems, and can perform appropriate line crawl correction according to the luminance level of a subject, suppress side effects due to correction as much as possible, and obtain a good image. An object is to provide a line crawl correction device.
[0020]
[Means for Solving the Problems]
In order to solve the above-described problems, the present invention provides an image pickup device that converts an optical signal incident from a subject into an electric signal and outputs the signal as a pixel signal, and a luminance signal generation unit that generates a luminance signal from the pixel signal from the image pickup device A high-frequency component detecting means for detecting a vertical high-frequency component of the luminance signal from the luminance signal generating means; an absolute value calculating means for calculating an absolute value of an output signal of the high-frequency component detecting means; Means for detecting the level of a luminance signal from the means, first multiplying means for multiplying the output of the luminance level detecting means by a first set value, and calculating the absolute value from the output of the first multiplying means. First subtraction means for subtracting the output of the value calculation means, a first limiter for outputting 0 for a negative value of the output of the first subtraction means, and a predetermined coefficient for the output of the first limiter A second multiplying means for multiplying, a second limiter for outputting a constant value when an output value of the second multiplying means becomes equal to or more than a second set value, an output of the second limiter, A third multiplying means for multiplying the output of the high-frequency component detecting means, and a second subtracting means for subtracting the output of the third multiplying means from the luminance signal. By detecting the level and changing the line crawl suppression level according to the level of the luminance signal, line crawl correction according to the luminance level of the subject can be performed, and a good image can be obtained.
[0021]
BEST MODE FOR CARRYING OUT THE INVENTION
According to the first aspect of the present invention, there is provided an image pickup device that converts an optical signal incident from a subject into an electric signal and outputs the signal as a pixel signal, and a luminance signal generation device that generates a luminance signal from the pixel signal from the image pickup device. Means, high frequency component detecting means for detecting a vertical high frequency component of the luminance signal from the luminance signal generating means, absolute value calculating means for calculating an absolute value of an output signal of the high frequency component detecting means, and the luminance signal A luminance level detecting means for detecting a level of the luminance signal from the generating means; a first multiplying means for multiplying an output of the luminance level detecting means by a first set value; First subtraction means for subtracting the output of the absolute value calculation means, a first limiter for outputting 0 for a negative value of the output of the first subtraction means, and a predetermined value for the output of the first limiter Coefficient A second multiplying means for calculating, a second limiter for outputting a constant value when an output value of the second multiplying means becomes equal to or more than a second set value, an output of the second limiter, A third multiplying means for multiplying the output of the high-frequency component detecting means with the output of the high-frequency component detecting means; and a second subtracting means for subtracting the output of the third multiplying means from the luminance signal.
[0022]
According to a second aspect of the present invention, there is provided an image pickup device that converts an optical signal incident from a subject into an electric signal and outputs the signal as a pixel signal, and a high frequency component detection device that detects a vertical high frequency component of the pixel signal from the image pickup device. Means, an absolute value calculating means for calculating an absolute value of an output signal of the high-frequency component detecting means, a pixel level detecting means for detecting a level of a pixel signal from the image sensor, and an output of the pixel level detecting means. A first multiplying means for multiplying the output of the first multiplying means, a first subtracting means for subtracting an output of the absolute value calculating means from an output of the first multiplying means, and a negative output of the first subtracting means. A first limiter that outputs 0 to the value of the first limiter, a second multiplication unit that multiplies the output of the first limiter by a predetermined coefficient, and an output value of the second multiplication unit is a second set value. A certain value when A second limiter to be applied, a third multiplying means for multiplying the output of the second limiter and the output of the high frequency component detecting means, and a third multiplying means for subtracting the output of the third multiplying means from the pixel signal. 2 subtraction means.
[0023]
With this configuration, by detecting the level of the luminance signal and changing the line crawl suppression level according to the level of the luminance signal, it is possible to perform line crawl correction according to the luminance level of the subject, and obtain a good image. Can be
[0024]
Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS. 1 to 5.
[0025]
(Embodiment 1)
FIG. 1 is a block diagram of a line crawl correction device according to an embodiment of the present invention. In FIG. 1, reference numeral 1 denotes an image sensor which converts an optical signal incident from a subject into an electric signal and outputs the signal as a pixel signal; 2 denotes a luminance signal generating unit which is a luminance signal generating unit which generates a luminance signal from the pixel signal; Is a one-horizontal-period delay circuit (hereinafter, referred to as 1HDL) for delaying and outputting the luminance signal from the luminance signal generator 2 for one horizontal line period, and 4 outputs the luminance signal from 1HDL3 with a delay of one horizontal line period. Reference numerals 1HDL and 5 denote high frequency component detectors, which are high frequency component detectors for detecting high frequency components in the vertical direction from luminance signals from the luminance signal generator 2 and 1HDL3 and 1HDL4. An absolute value calculating unit 8 serving as an absolute value calculating means for calculating a value calculates the output value of the absolute value calculating unit 6 as a first set value (hereinafter referred to as a set value )) Are subtracters (A) and 9 which are first subtracting means for subtracting from the negative value of the output from the subtractor (A) 8. A), 10 are multipliers (B) as second multiplication means for multiplying the output of the limiter (A) 9 by a predetermined coefficient (GAIN) from a predetermined coefficient generator 11, and 12 is a multiplier (B) 10 A limiter (B) that is a second limiter that outputs a constant value when the output value exceeds a second set value (hereinafter, referred to as a set value (B)) from a second set value generating unit 13 ), 14 are multipliers (C), which are third multiplication means for multiplying the output of the limiter (B) 12 and the output of the high-frequency component detection unit 5, and 15 is the output of the multiplier (C) 14 as the output of 1HDL3. A subtractor (B) which is a second subtraction means for subtracting from the subtractor. Reference numeral 17 denotes a luminance level detection circuit which is a luminance level detecting means which receives a luminance signal from the luminance signal generation unit 2 and outputs a luminance level as luminance level information, and 18 denotes a set value from the set value generation unit 7 and a luminance level detection. A multiplier (A) which is a first multiplication means for multiplying the output from the circuit 17.
[0026]
The operation of the line crawl correction device of the present embodiment configured as described above will be described below with reference to FIG.
[0027]
A luminance signal generated for each horizontal line from a pixel signal output from the image sensor 1 is output from the luminance signal generation unit 2. Then, the two 1HDLs 3 and 4 as delay elements for one horizontal line synchronize three lines of luminance signals in the vertical direction. The synchronized three-line luminance signals are input to the high-frequency component detector 5, where the high-frequency signals in the vertical direction are separated.
[0028]
The synchronized three-line luminance signal is also input to the luminance level detection circuit 17, and the luminance level output from the luminance level detection circuit 17 and the set value from the set value generation unit 7 are multiplied by a multiplier (A ) 18 and output as a line crawl suppression level.
[0029]
The output signal from the high frequency component detector 5 is input to an absolute value calculator 6 and converted into an absolute value, and is subtracted from the line crawl suppression level by a subtractor (A) 8. A negative value of the output of the subtractor (A) 8 is fixed to 0 by a limiter (A) 9. The output of the limiter (A) 9 is multiplied by a multiplier (B) 10 with a predetermined coefficient (GAIN) from a predetermined coefficient generator 11, and the output from a second set value generator 13 is set in a limiter (B) 12. Processing for fixing the value equal to or larger than the value (B) to the set value (B) from the second set value generating unit 13 is performed.
[0030]
The output of the limiter (B) 12 is multiplied by the output of the high-frequency component detector 5 by the multiplier (C) 14 and then subtracted from the luminance signal of the output of the 1HDL3 by the subtractor (B) 15. As a result, a luminance signal in which line crawl is suppressed is output from the luminance signal output terminal 16.
[0031]
The brightness level detecting section 17 will be described in more detail with reference to FIG.
[0032]
FIG. 4 is a diagram showing an example of the internal configuration of the luminance level detection unit 17 according to the present embodiment. In the luminance level detection unit 17 of FIG. 1, the luminance signals of the first line are horizontally converted by flip-flops (FF) 41_1, 41_2,. , 42_N, and the luminance signal of the second line is horizontally synchronized by flip-flops 42_1, 42_2,..., 42_N. Synchronized in the direction. The signals of the horizontal N pixels that have been synchronized for each line are added by an adder 44, and the output of the adder 44 is multiplied by 1 / (3 × N) by a normalization circuit 45 and output as a luminance level.
[0033]
FIG. 5 is a diagram illustrating characteristics of a luminance level and a line crawl suppression level. The line crawl suppression level obtained in this manner is a value corresponding to the luminance level of the subject, and the line crawl is not suppressed by the luminance level as in the related art, and appropriate line crawl correction can be performed. Become.
[0034]
FIG. 2 shows a waveform of signal processing when the line crawl correction device of FIG. 1 is applied to the image shown in FIG. FIG. 2A is a diagram in which the image data indicated by the arrow 36 in the vertical direction with respect to the image 31 in FIG. 3 is expanded in the horizontal direction, and is the same signal as FIG. The signal value 21-2 indicates data for the subject 33, and the signal values 21-1 and 21-3 indicate data for the subjects 32 and 34, respectively, and indicate a line crawl component included in the luminance signal. Here, since the luminance level of the subject 34 is higher than that of the subject 32, the line crawl component of the signal value 21-3 is larger than the line crawl component of the signal value 21-1. Note that the signal value 21-2 includes a line crawl component equivalent to the signal value 21-1.
[0035]
A waveform 22 in FIG. 2B shows an output signal detected by the high-frequency component detection unit 5 from the luminance signals of three vertical lines synchronized by the 1HDLs 3 and 4 in FIG. ) Is the same signal as the waveform 122. A waveform 23-1 in FIG. 2C shows an output signal of the absolute value calculation unit 6 in which a negative signal of the waveform 22 is converted into a positive value, and is the same as the waveform 123-1 in FIG. Signal.
[0036]
The line crawl suppression level obtained by multiplying the waveform 23-1 of FIG. 2C by the value of the setting value (A) from the luminance level detecting unit 17 and the setting value generating unit 7 by the multiplier (A) 18 is as follows. The signal becomes like TH23-2 in FIG. 2C, and is a signal corresponding to the luminance level. The signal of the waveform 23-1 is subtracted from the value of the multiplier (A) 18 by the subtracter (A) 8 at the next stage, and the output of the subtractor (A) 8 is the waveform 24 of FIG. become that way.
[0037]
Since the output of the subtracter (A) 8 has a negative value fixed to 0 by the limiter (A) 9, the output of the limiter (A) 9 is the negative of the waveform 24-1 in the waveform 24. The waveform 25 shown in FIG. 2E in which the signal is fixed to 0 is obtained. Thus, the output of the limiter (A) 9 is fixed to 0 for a high-frequency signal having an amplitude larger than TH23-2.
[0038]
Next, the output of the limiter (A) 9 is multiplied by a predetermined coefficient (GAIN) from the predetermined coefficient generator 11 in the multiplier (B) 10 to obtain a waveform 26 in FIG. The limiter (B) 12 fixes the value of the set value (B) from the second set value generator 13 to a signal equal to or larger than the set value (B) from the second set value generator 13. However, as an example, assuming that the value of TH26-1 in FIG. 2F is set to 1.0, the output waveform of the limiter (B) 12 is as shown in a waveform 27 in FIG. become.
[0039]
The output of the limiter (B) 12 is multiplied by the multiplier (C) 14 with the waveform 22 of FIG. 2B, which is the output of the high-frequency component detection unit 5, to obtain a waveform 28 of FIG. become. In FIG. 2C, the output of the limiter (B) 12 is 1.0 in a signal portion having an amplitude smaller than TH23-2, so that the output of the high-frequency component detection section 5 is output as it is, and in other portions, the limiter (B) is limited. (B) Since the output of 12 is 0, the waveform 28 is fixed to 0. Finally, by subtracting the output of the multiplier (C) 14 from the output of 1HDL3, the waveform 29 of FIG. 2 (i) is obtained.
[0040]
As described above, according to the present embodiment, the brightness level detection unit 17 that detects a brightness level from the brightness signal output from the brightness signal generation unit 2 and the multiplication that multiplies the set value in the output of the brightness level detection unit By providing the device (A) 18, appropriate line crawl correction can be performed according to the luminance level of the subject, and side effects (reduction in resolution) due to the correction are suppressed as much as possible to obtain a good image. Can be.
[0041]
(Embodiment 2)
FIG. 6 is a block diagram of the line crawl correction device according to the second embodiment of the present invention. In FIG. 6, points different from the first embodiment of the present invention will be described.
[0042]
6, the configuration of the first embodiment is different from the configuration of FIG. 1 in that the output from the image sensor 1 is a pixel signal output obtained by mixing a plurality of pixels (in the case where pixel signals are mixed in the vertical direction in FIG. 7). In the example of the pixel signal output, the line crawl suppression is performed in accordance with the luminance signal output from the luminance signal generation unit 2. On the other hand, in the configuration of the second embodiment, the pixel mixing from the image sensor 1 is performed. The point is that line crawl suppression is performed in accordance with a pixel signal output without performing the above operation (an example of a pixel signal output is shown in FIG. 8).
[0043]
Also in the second embodiment, the pixel level detector 17a, which is a pixel level detector that detects a pixel level from a pixel signal output from the image sensor 1, is multiplied by a set value in the output of the pixel level detector 17a. By providing the multiplier (A) 18 as the first multiplication means, it is possible to perform appropriate line crawl correction according to the pixel level of the subject, and obtain the same effect as that of the first embodiment of the present invention. be able to.
[0044]
As described above, according to the present embodiment, line crawl suppression is performed not on the output signal of the luminance signal generation unit but on the pixel signal output from the image sensor 1 so that the pixel crawl is suppressed according to the luminance level of the subject. Appropriate line crawl correction can be performed, side effects due to correction can be suppressed as much as possible, and good images can be obtained.
[0045]
【The invention's effect】
As described above, in the present invention, by controlling the line crawl suppression level according to the level information such as the luminance signal, it is possible to perform appropriate line crawl correction in accordance with the luminance level of the subject, The excellent effect of suppressing a side effect due to the above and obtaining a good image is obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating an example of a line crawl correction device according to a first embodiment of the present invention.
FIG. 2 is a waveform chart showing signal waveforms performed by the line crawl correction device according to the present invention.
FIG. 3 is a schematic diagram showing an example of an image to be processed;
FIG. 4 is a block diagram illustrating an example of an internal configuration of a luminance level detection unit in FIG. 1;
FIG. 5 is a characteristic diagram showing characteristics of a luminance level and a line crawl suppression level in the present invention.
FIG. 6 is a block diagram illustrating an example of a line crawl correction device according to a second embodiment of the present invention.
FIG. 7 is a schematic diagram illustrating an example of a pixel signal output according to the first embodiment of the present invention;
FIG. 8 is a schematic diagram illustrating an example of a pixel signal output according to the second embodiment of the present invention.
FIG. 9 is a block diagram illustrating an example of an imaging device.
FIG. 10A is a schematic diagram showing a typical color filter array.
(B) Characteristic diagram showing the relationship between the luminance signal and the variation between the lines
FIG. 11 is a block diagram of a conventional line crawl correction device.
FIG. 12 is a waveform chart showing signal waveforms in a conventional line crawl correction device.
FIG. 13 is a waveform chart showing signal waveforms in a conventional line crawl correction device.
[Explanation of symbols]
1 Image sensor
2 Luminance signal generator
3, 4, 19, 201 1 HDL (1 horizontal period delay circuit)
5, 5a High frequency component detection section
6 Absolute value calculation unit
7 Set value
8,15 Subtractor
9 Limiter
10, 14, 18 multiplier
11 Predetermined coefficient (GAIN)
12 Limiter
13 Set value
16 Luminance signal output terminal
16a Pixel signal output terminal
17 Luminance level detector
17a Pixel level detector

Claims

An image sensor that converts an optical signal incident from a subject into an electric signal and outputs the signal as a pixel signal; a luminance signal generator that generates a luminance signal from a pixel signal from the image sensor; and a luminance signal from the luminance signal generator High-frequency component detecting means for detecting a high-frequency component in the vertical direction, absolute value calculating means for calculating an absolute value of an output signal of the high-frequency component detecting means, and luminance for detecting a level of a luminance signal from the luminance signal generating means. Level detection means, first multiplication means for multiplying the output of the luminance level detection means by a first set value, and first multiplication means for subtracting the output of the absolute value calculation means from the output of the first multiplication means Subtraction means, a first limiter for outputting 0 for a negative value of the output of the first subtraction means, a second multiplication means for multiplying an output of the first limiter by a predetermined coefficient, No. A second limiter that outputs a constant value when an output value of the multiplying means becomes equal to or more than a second set value, and a third limiter that multiplies an output of the second limiter and an output of the high-frequency component detecting means. And a second subtractor for subtracting the output of the third multiplier from the luminance signal.

An image sensor that converts an optical signal incident from a subject into an electric signal and outputs the pixel signal as a pixel signal; a high-frequency component detector that detects a vertical high-frequency component of the pixel signal from the image sensor; and a high-frequency component detector. An absolute value calculating means for calculating an absolute value of an output signal; a pixel level detecting means for detecting a level of a pixel signal from the imaging device; and a first for multiplying an output of the pixel level detecting means by a first set value. Multiplying means, first subtracting means for subtracting the output of the absolute value calculating means from the output of the first multiplying means, and outputting 0 for a negative value of the output of the first subtracting means. A first limiter, a second multiplying means for multiplying an output of the first limiter by a predetermined coefficient, and a constant value when an output value of the second multiplying means is equal to or more than a second set value. A second limiter to output A third multiplier for multiplying an output of the second limiter by an output of the high frequency component detector, and a second subtractor for subtracting an output of the third multiplier from the pixel signal. A line crawl correction device characterized by the above-mentioned.