JP2008060779A

JP2008060779A - 映像信号処理装置及び映像信号処理方法

Info

Publication number: JP2008060779A
Application number: JP2006233500A
Authority: JP
Inventors: Toshiaki Nakakuki; 俊朗中莖
Original assignee: Sanyo Electric Co Ltd; Sanyo Semiconductor Co Ltd
Current assignee: Sanyo Electric Co Ltd; System Solutions Co Ltd
Priority date: 2006-08-30
Filing date: 2006-08-30
Publication date: 2008-03-13
Also published as: US8059205B2; US20080055472A1

Abstract

【課題】本発明は、良好な画質の映像が得られる映像信号処理装置を提供する。
【解決手段】１水平ラインが水平同期信号、黒レベルを示す黒レベル期間及び映像信号を示す有効信号期間を有する映像信号について、黒レベル期間においては、第１のリファレンス値Ｒｅｆ１に基づいて映像信号からオフセットされた値をクランプし、有効信号期間においては、第１のリファレンス値Ｒｅｆ１とは異なる第２のリファレンス値Ｒｅｆ２に基づいて映像信号をクランプするクランプ回路７２と、第２のリファレンス値Ｒｅｆ２を黒レベル期間にクランプされた信号レベルに基づいて求めるレベル演算回路６２と、を備える映像信号処理装置である。これによって、上記課題を解決できる。
【選択図】図１

Description

本発明は、映像信号を処理する映像信号処理装置及び映像信号処理方法に関する。より詳しくは、映像信号の黒レベルの制御を行う映像信号処理装置及び映像信号処理方法に関する。

撮像素子で得られた映像信号の黒レベルは、その素子が受けた光の強度に応じて変動し得る。そこで、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）固体撮像素子の場合、撮像部の有効画素領域の周縁部分に遮光された画素領域、すなわちオプティカルブラック（ＯｐｔｉｃａｌＢｌａｃｋ：ＯＰＢ）領域、を設け、このＯＰＢ領域に対応して得られるオプティカルブラック信号（ＯＰＢ信号）に基づいて映像の黒レベルを示す基準レベルをクランプする処理が行われる。また、その後段に設けられるＡＧＣ（ＡｕｔｏＧａｉｎＣｏｎｔｒｏｌ）回路の出力においても、そのゲインに応じて映像信号の黒レベルが変動し得る。そこで、ＡＧＣ回路の後段に黒レベルを制御するクランプ回路が設けられる。

例えば、特許文献１には、垂直オプティカルブラック信号を含む無効映像信号期間と、水平オプティカルブラック信号及び有効映像信号を含み無効映像信号期間に続く有効映像信号期間とを含む映像信号を処理し、映像信号を任意のゲインで増幅するＡＧＣ回路と、増幅された映像信号の基準レベルをクランプするクランプ回路とを備え、クランプ回路は、垂直オプティカルブラック信号をクランプするときと水平オプティカルブラック信号をクランプするときとにおいて異なるクランプ時定数でクランプを行う技術が開示されている。

特開２００５−１５０８０２号公報

ところで、従来の黒レベルのクランプ処理は、図６に示すように、アナログ処理において、アナログ／デジタル変換回路のクランプ範囲のＬｏｗリファレンス側（Ｌ側：電圧では画像信号の高電圧側となることが多い）付近でクランプ範囲内に基準黒レベルをクランプし、次に、デジタル処理において、基準黒レベルにローパスフィルタ処理を施し、最終的な基準黒レベルを求める。このようにして求められた基準黒レベルを画像信号から減算して、所望の画像信号レベルが得られる。

ところが、アナログ処理によってクランプされた基準黒レベルは画像信号に重畳しているノイズによって変動し得る。このため、クランプのレベルをアナログ／デジタル変換回路のクランプ範囲のＬｏｗリファレンス側に合わせてしまうと、図７に示すように、オプティカルブラック部においてＬｏｗリファレンスを下回るような（すなわち、クランプ範囲の高電圧限界を超えるような）ノイズがアナログ／デジタル変換回路によってクリップされてしまい、後段のデジタル処理において正確な黒レベルを求めることができなくなってしまう。

本発明は、映像信号の黒レベルのクランプを適切に行うことができ、良好な画質の映像を得ることを可能とする映像信号処理装置及び映像信号処理方法を提供することを目的とする。

本発明は、同期期間、黒レベルを示す黒レベル期間及び映像信号を示す有効信号期間を有する映像信号の処理を行う映像信号処理装置であって、前記黒レベル期間においては、第１のリファレンス値に基づいて前記映像信号からオフセットされた値をクランプし、前記有効信号期間においては、前記第１のリファレンス値とは異なる第２のリファレンス値に基づいて前記映像信号をクランプするクランプ回路を含み、前記第２のリファレンス値は、前記黒レベル期間にクランプされた信号レベルに基づいて求められることを特徴とする。

ここで、前記第２のリファレンス値は、前記黒レベル期間にクランプされた信号の平均値に基づいて算出されることが好適である。

さらに、前記クランプ回路でクランプされた信号をアナログ／デジタル変換するアナログ／デジタル変換回路をさらに含み、前記第１のリファレンス値は、前記クランプ回路において前記黒レベル期間の信号が前記アナログ／デジタル変換回路のダイナミックレンジの略中央でクランプされるように設定されることが好適である。

さらに、前記クランプ回路から出力された信号に対して欠陥補正を行う欠陥補正回路と、前記欠陥補正回路における処理後に、前記黒レベル期間の前記映像信号をクランプする第２のクランプ回路と、を備え、前記第２のリファレンス値は、前記第２のクランプ回路によってクランプされた信号レベルに基づいて求められることが好適である。この第２のクランプ回路の出力信号に基づいて前記第２のリファレンス値を決定することによって、より正確なクランプ処理を行うことができる。

また、本発明は、同期期間、黒レベルを示す黒レベル期間及び映像信号を示す有効信号期間を有する映像信号の処理を行う映像信号処理方法であって、前記黒レベル期間の映像信号を第１のリファレンス値に基づいてオフセットさせてクランプする第１クランプ処理と、前記有効信号期間の映像信号を前記第１のリファレンス値とは異なる第２のリファレンス値に基づいてクランプする第２クランプ処理と、前記第２のリファレンス値を前記第１クランプ処理においてクランプされた信号レベルに基づいて求めるリファレンス値算出処理と、を備えることを特徴とする映像信号処理方法である。

ここで、前記リファレンス値算出処理では、前記黒レベル期間にクランプされた信号の平均値に基づいて前記第２のリファレンス値が算出されることが好適である。

さらに、前記第１クランプ処理及び前記第２クランプ処理においてクランプされた信号をアナログ／デジタル変換するアナログ／デジタル変換処理をさらに含み、前記第１のリファレンス値は、前記第１クランプ処理においてクランプされる信号が前記アナログ／デジタル変換処理におけるダイナミックレンジの略中央でクランプされるように設定されることが好適である。

さらに、前記第１クランプ処理及び前記第２クランプ処理を受けた映像信号の欠陥補正を行う欠陥補正処理と、前記欠陥補正処理を受けた前記黒レベル期間の映像信号をクランプする第３クランプ処理と、を備え、前記第３クランプ処理によってクランプされた信号レベルに基づいて前記第２のリファレンス値が求められることが好適である。この第３クランプ処理に基づいて前記第２のリファレンス値を決定することによって、より正確なクランプ処理を行うことができる。

このように、黒レベルを決定するための信号を含む黒レベル期間と実際の映像信号を含む有効信号期間とにおいて、クランプ回路におけるリファレンス値を変更することによって、それぞれの期間の信号を正確に処理することを可能としている。

なお、映像信号が固体撮像装置から出力される場合、黒レベル期間は固体撮像素子に設けられたオプティカルブラック領域からの出力信号に相当する水平オプティカルブラック期間となる。

本発明によれば、黒レベルが適切に設定された良好な画質の映像を得ることができる。

本発明の実施の形態における映像信号処理装置は、図１に示すように、第１クランプ回路５０、アナログ／デジタル（Ａ／Ｄ）変換回路５２、欠陥補正回路５３、ノイズ抑制回路５５、デジタル信号処理回路５４、ゲイン設定回路５６、システム制御回路５８、第２クランプ回路６０及びレベル演算回路６２を含んで構成される。

システム制御回路５８は、カウンタ１２０と切替信号発生回路１２２とを含んで構成される。切替信号発生回路１２２は、カウンタ１２０を用いて第１クランプ回路５０に含まれるクランプ回路７２へ切替信号ＳＷを出力する。図２に、システム制御回路５８で切替信号ＳＷを発生させ、クランプ回路７２において映像信号の基準レベルをクランプする際のタイミングチャートを示す。

映像信号は、１画面単位で連続して構成される。１画面分の映像信号は、図２（ａ）〜（ｃ）に示すように、水平同期信号ＨＤによって区切られた１水平ライン分の映像信号を複数含んで構成される。１画面分の映像信号の先頭部分には垂直同期信号ＶＤを有し、映像信号の各画面の区切りを示している。各垂直同期信号ＶＤに同期させて画面の切り替えを行うと共に、各水平同期信号ＨＤに同期させて垂直走査を行ないながら１水平ラインの映像信号を水平走査することにより映像が再生される。

なお、撮像素子には、図３に示すように、外部からの光を受けることができるように光電変換素子が配列された有効画素領域１６０と、外部からの光を受けることができないように遮光された光電変換素子が配列されたオプティカルブラック（ＯｐｔｉｃａｌＢｌａｃｋ：ＯＰＢ）領域１６２とが設けられる。従って、撮像素子からの出力信号には、図２（ａ）〜（ｃ）のように、垂直同期信号ＶＤに続いて、ＯＰＢ領域１６２の一部である垂直オプティカルブラック領域１６２ｖに対応して得られる複数の水平ライン分の垂直オプティカルブラック信号による実際の映像信号の無い期間が含まれる。各垂直オプティカルブラック信号は１水平ライン毎に水平同期信号ＨＤで区切られる。その後、ＯＰＢ領域１６２の一部である水平オプティカルブラック領域１６２ｈに対応する水平オプティカルブラック期間及び有効画素領域１６０に対応して得られる実質的に画像情報を含んだ有効な映像信号を含む有効信号期間をそれぞれ含む複数の水平ライン分の映像信号が続くこととなる。水平オプティカルブラック期間及び有効信号期間は１水平ライン毎に水平同期信号ＨＤで区切られる。垂直オプティカルブラック領域１６２ｖ及び水平オプティカルブラック領域１６２ｈに対応して得られるＯＰＢ信号は、映像信号の黒レベルを決定するために用いられる。

そこで、カウンタ１２０に所定の周波数の基準クロックパルスを入力し、パルス数をカウントすることによって、水平オプティカルブラック領域１６２ｈに得られる水平オプティカルブラック信号をクランプするタイミング、及び、その後の有効映像信号期間の信号をクランプするタイミングを決定し、そのタイミングに応じて切替信号ＳＷを出力する。

すなわち、切替信号発生回路１２２は、映像信号の水平同期信号ＨＤを受けると、カウンタ１２０の値をリセットする。カウンタ１２０は、リセット後、基準クロックパルスが立ち上がる毎にカウント値を１ずつ増加させる。切替信号発生回路１２２は、図２（ｅ）に示すように、カウンタ１２０において水平同期信号ＨＤから水平オプティカル信号の開始時までの時間に相当するだけの基準クロックパルスのパルス数がカウントされると切替信号ＳＷを出力する。さらに、カウンタ１２０において水平同期信号ＨＤから有効映像信号期間の開始時までの時間に相当するだけの基準クロックパルスのパルス数がカウントされると再び切替信号ＳＷを出力する。切替信号ＳＷは、クランプ回路７２及び第２クランプ回路６０へ入力される。

第１クランプ回路５０は、ＡＧＣ回路７０、クランプ回路７２、デジタル／アナログ（Ｄ／Ａ）変換回路７４を備える。ＡＧＣ回路７０は、ＣＣＤ固体撮像素子等の撮像素子から映像信号（画像信号）を受け、その映像信号をゲイン設定回路５６から与えられるゲインＧに応じて増幅する。クランプ回路７２は、ＡＧＣ回路７０にて増幅された映像信号の黒レベルをクランプする回路である。クランプ回路７２は、具体的には、基準電圧源及びこれを映像信号線に接続するスイッチを含んで構成される。クランプ回路７２において映像信号の黒レベル及び有効信号レベルをクランプする際のタイミング、すなわちクランプタイミングはシステム制御回路５８によって設定される。

クランプ回路７２には、リファレンス設定用端子７２ａ，７２ｂが設けられている。リファレンス設定用端子７２ａ，７２ｂには、映像信号の黒レベル及び有効信号レベルのクランプの基準となるリファレンス値Ｒｅｆ１，Ｒｅｆ２がそれぞれ入力される。クランプ回路７２は、システム制御回路５８から切替パルスＳＷを受ける毎に、リファレンス設定用端子７２ａに入力されているリファレンス値Ｒｅｆ１とリファレンス設定用端子７２ｂに入力されているリファレンス値Ｒｅｆ２とを切り替えて、その値をクランプの基準（Ｌｏｗリファレンス値）として信号をクランプする。

リファレンス設定用端子７２ａには、電源電圧を可変抵抗器等で分圧した固定電圧値がリファレンス値Ｒｅｆ１として設定される。リファレンス値Ｒｅｆ１は、図４に示すように、大きく変動しない黒レベルの付近の信号がＡ／Ｄ変換回路５２のダイナミックレンジの中間付近でクランプされるように設定される。すなわち、図２（ｆ）及び（ｇ）に示すように、水平オプティカルブラック期間１６２ｈでは、Ｌｏｗリファレンス値からリファレンス値Ｒｅｆ１に応じた電圧値だけ映像信号がオフセットされて黒レベルとしてクランプされる。一方、リファレンス設定用端子７２ｂには、レベル演算回路６２から電圧値がリファレンス値Ｒｅｆ２として入力される。リファレンス値Ｒｅｆ２は、比較的変動が大きい有効信号がＡ／Ｄ変換回路５２のダイナミックレンジをできるだけ有効に利用できるように調整される。そして、有効信号期間においては、図２（ｇ）に示すように、このリファレンス値Ｒｅｆ２に基づいて有効信号期間に含まれる映像信号がクランプされて処理される。リファレンス値Ｒｅｆ２の設定については後述する。

クランプ回路７２にて黒レベルを調整された映像信号は、Ａ／Ｄ変換回路５２に入力される。Ａ／Ｄ変換回路５２は、映像信号をアナログ信号からデジタル信号に変換して出力する。デジタル映像信号は、欠陥補正回路５３へ出力される。欠陥補正回路５３では、送受信時、前段での処理などにおいて欠落した信号等のデジタル映像信号が補間処理等によって補正される。欠陥補正回路５３から出力されたデジタル信号は、ノイズ抑圧回路５５によりノイズが抑圧されて、デジタル信号処理回路５４及び第２クランプ回路６０へ出力される。

デジタル信号処理回路５４は、デジタル映像信号を受けて、デジタル映像信号の輝度信号や色差信号の生成処理の他、各種の画像処理を行うように構成することができる。それらのうち、図１には、本映像信号処理装置のゲインのフィードバック制御に関係する積分回路８０及び判定回路８２が示されている。積分回路８０は、例えば、１画面分の映像信号の積分値を求める。判定回路８２は、積分回路８０にて得られた積分値と所定の目標範囲とを比較し、積分値が目標範囲を下回ればゲインを上げる判定、積分値が目標範囲を上回ればゲインを下げる判定、また積分値が目標範囲内にあればゲインを現状のまま維持する判定を行う。判定回路８２で生成された判定結果は、ゲイン設定回路５６に送信される。ちなみに、積分回路８０で得られた積分値は、上述した各種信号処理の一例として、オートアイリス制御に用いることができる。

ゲイン設定回路５６は、判定結果を受けて、ＡＧＣ回路７０のゲインＧの設定を行う。ゲイン設定回路５６は、映像信号に伴う垂直同期信号ＶＤと同期してゲインＧをＤ／Ａ変換回路７４へ出力する。垂直同期信号ＶＤは、一画面分の映像信号の切り替えタイミングを示す信号であるので、ＡＧＣ回路７０のゲインＧは一画面分の映像信号毎に更新されることとなる。

ゲイン設定回路５６には、レジスタ１００が設けられている。レジスタ１００にＡＧＣ回路７０に対するゲイン値を予め複数種類格納しておき、受信した判定結果に応じて、それらのゲイン値のうちいずれか１つを選択して出力する。例えば、ゲイン設定回路５６は、前回選択されたゲイン値が格納されているレジスタ１００のアドレスを記憶しておき、判定結果がゲインＧをあげる判定であった場合にはその記憶されているアドレスに格納されているゲイン値よりも大きなゲイン値を格納するアドレスを指定し、そのアドレスに格納されているゲイン値を出力する。反対に、判定結果がゲインＧを下げる判定であった場合、記憶されているアドレスに格納されているゲイン値よりも小さなゲイン値を格納するアドレスを指定し、そのアドレスに格納されているゲイン値を出力する。また、判定結果が現状のゲインＧを維持する判定であった場合、記憶されているアドレスに格納されているゲイン値を読み出して出力するか、読み出しを行わずに現状のゲイン値を維持して出力する。

ゲインＧは、ゲイン設定回路５６からデジタル値で出力される。Ｄ／Ａ変換回路７４は、ゲインＧを受けて、その値をデジタルからアナログに変換してＡＧＣ回路７０へ出力する。ＡＧＣ回路７０は、このアナログに変換されたゲインＧに応じて、上述のとおりに映像信号の増幅を行う。このようにして、Ａ／Ｄ変換回路５２におけるデジタル化のダイナミックレンジに合わせて映像信号の強度が調整される。

第２クランプ回路６０は、ノイズ抑圧回路５５から信号を受けると、デジタル処理による第２のクランプ処理を行う。第２クランプ回路６０は、システム制御回路５８から切替信号ＳＷを受ける度に、Ａ／Ｄ変換回路５２から入力される信号をクランプする状態とクランプしない状態とを切り替える。すなわち、カウンタ１２０において水平同期信号ＨＤから水平オプティカル信号の開始時までの時間に相当するだけの基準クロックパルスのパルス数がカウントされたタイミングで切替信号発生回路１２２から出力された切替信号ＳＷを受けるとクランプを開始し、カウンタ１２０において水平同期信号ＨＤから有効映像信号期間の開始時までの時間に相当するだけの基準クロックパルスのパルス数がカウントされたタイミングで切替信号発生回路１２２から出力された切替信号ＳＷを受けるとクランプを停止する。これにより、水平オプティカルブラック期間（黒レベル期間）の信号のみをクランプすることができる。

第２クランプ回路６０は、水平オプティカルブラック期間においてＡ／Ｄ変換回路５２から入力されるデジタル化された信号を時間的に平滑化（平均化）してクランプし、レベル演算回路６２へ出力する。

レベル演算回路６２は、第２クランプ回路６０でクランプされた信号のレベルに基づいて、クランプ回路７２のリファレンス設定用端子７２ｂに設定されるリファレンス値Ｒｅｆ２を生成する。具体的には、第２クランプ回路６０から出力された信号からリファレンス値Ｒｅｆ１に応じたオフセット分を差し引いた値をリファレンス値Ｒｅｆ２として算出して出力する。リファレンス値Ｒｅｆ２は、リファレンス設定用端子７２ｂに入力される。

第２クランプ回路６０では、水平オプティカルブラック期間について時間的に平均化された黒レベルが算出される。このとき、クランプ回路７２において、図４に示すように、リファレンス値Ｒｅｆ１に基づいてオフセットされて黒レベルのアナログクランプが行われているので、黒レベルを平均化する際に黒レベルの時間的な変動の一部がクリップされることがなく、正しく平均化された黒レベルが出力される。そして、レベル演算回路６２では、図５に示すように、このように正しく平均化された黒レベルに合わせて有効信号期間のクランプのためのリファレンス値Ｒｅｆ２が決定され、有効信号期間に含まれる実質的に有効な映像信号を正しい黒レベルに合わせてクランプすることができる。

尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得る。

本発明の実施の形態における映像信号処理装置の構成を示すブロック図である。本発明の実施の形態における映像信号処理方法におけるタイミングチャートを示す図である。オプティカルブラック領域及び有効画素領域を含む撮像素子の構成の例を示す図である。本発明の実施の形態における黒レベル期間（水平オプティカルブラック期間）のクランプ処理を説明する図である。本発明の実施の形態における有効信号期間のクランプ処理を説明する図である。従来技術の映像信号のクランプ処理を説明する図である。従来技術における黒レベルのクリップを説明する図である。

符号の説明

５０第１クランプ回路、５２アナログ／デジタル変換回路、５３欠陥補正回路、５４デジタル信号処理回路、５５ノイズ抑制回路、５６ゲイン設定回路、５８システム制御回路、６０第２クランプ回路、６２レベル演算回路、７０ＡＧＣ回路、７２クランプ回路、７２ａ，７２ｂリファレンス設定用端子、７４デジタル／アナログ変換回路、８０積分回路、８２判定回路、１００レジスタ、１２０カウンタ、１２２切替信号発生回路、１６０有効画素領域、１６２オプティカルブラック領域。

Claims

同期期間、黒レベルを示す黒レベル期間及び映像信号を示す有効信号期間を有する映像信号の処理を行う映像信号処理装置であって、
前記黒レベル期間においては、第１のリファレンス値に基づいて前記映像信号からオフセットされた値をクランプし、
前記有効信号期間においては、前記第１のリファレンス値とは異なる第２のリファレンス値に基づいて前記映像信号をクランプするクランプ回路を含み、
前記第２のリファレンス値は、前記黒レベル期間にクランプされた信号レベルに基づいて求められることを特徴とする映像信号処理装置。
請求項１に記載の映像信号処理装置であって、
前記第２のリファレンス値は、前記黒レベル期間にクランプされた信号の平均値に基づいて算出されることを特徴とする映像信号処理装置。
請求項１又は２に記載の映像信号処理装置であって、
前記クランプ回路でクランプされた信号をアナログ／デジタル変換するアナログ／デジタル変換回路をさらに含み、
前記第１のリファレンス値は、前記クランプ回路において前記黒レベル期間の信号が前記アナログ／デジタル変換回路のダイナミックレンジの略中央でクランプされるように設定されることを特徴とする映像信号処理装置。
請求項１〜３のいずれか１つに記載の映像信号処理装置であって、
前記クランプ回路から出力された信号に対して欠陥補正を行う欠陥補正回路と、
前記欠陥補正回路における処理後に、前記黒レベル期間の前記映像信号をクランプする第２のクランプ回路と、を備え、
前記第２のリファレンス値は、前記第２のクランプ回路によってクランプされた信号レベルに基づいて求められることを特徴とする映像信号処理装置。
同期期間、黒レベルを示す黒レベル期間及び映像信号を示す有効信号期間を有する映像信号の処理を行う映像信号処理方法であって、
前記黒レベル期間の映像信号を第１のリファレンス値に基づいてオフセットさせてクランプする第１クランプ処理と、
前記有効信号期間の映像信号を前記第１のリファレンス値とは異なる第２のリファレンス値に基づいてクランプする第２クランプ処理と、
前記第２のリファレンス値を前記第１クランプ処理においてクランプされた信号レベルに基づいて求めるリファレンス値算出処理と、
を備えることを特徴とする映像信号処理方法。
請求項５に記載の映像信号処理方法であって、
前記リファレンス値算出処理では、前記黒レベル期間にクランプされた信号の平均値に基づいて前記第２のリファレンス値が算出されることを特徴とする映像信号処理方法。
請求項５又は６に記載の映像信号処理方法であって、
前記第１クランプ処理及び前記第２クランプ処理においてクランプされた信号をアナログ／デジタル変換するアナログ／デジタル変換処理をさらに含み、
前記第１のリファレンス値は、前記第１クランプ処理においてクランプされる信号が前記アナログ／デジタル変換処理におけるダイナミックレンジの略中央でクランプされるように設定されることを特徴とする映像信号処理方法。
請求項５〜７のいずれか１つに記載の映像信号処理方法であって、
前記第１クランプ処理及び前記第２クランプ処理を受けた映像信号の欠陥補正を行う欠陥補正処理と、
前記欠陥補正処理を受けた前記黒レベル期間の映像信号をクランプする第３クランプ処理と、を備え、
前記第３クランプ処理によってクランプされた信号レベルに基づいて前記第２のリファレンス値が求められることを特徴とする映像信号処理方法。