JP2007189391A - 映像信号処理回路 - Google Patents

Abstract

【課題】基板の小型化やアナログ回路部分のオンチップ化が進むカメラシステム等において、ズーム処理等のデジタル処理で有効データと無効データの混在の場合に消費電力変動が大きく、アナログ回路へのノイズの影響で画質が劣化する。
【解決手段】入力映像信号を基に映像データを生成する映像信号処理部１１と、映像信号処理部からの映像データをライン毎に一時記憶し、有効と無効に切り替えながら出力するラインメモリ１２と、映像データにデジタル処理を施すロジック部１６と、複数パターンのダミーデータのうちからパターン選択信号Ｓｐに応じたパターンのダミーデータＤ３を発生するダミーデータ発生部１４を含み、無効期間の映像データをロジック部の入力または出力においてダミーデータに置き換えるデータ置換部Ａ１と、映像データの値に応じてパターン選択信号Ｓｐを生成してダミーデータ発生部１４に送出するパターン選択制御部１３を備える。
【選択図】図１

Description

本発明は、イメージセンサ等による撮像信号を入力として映像データの信号処理を行い、外部のモニター等へ映像データを出力する映像信号処理回路に関する。

イメージセンサより入力される撮像信号に対して、例えばデジタルズーム（ＺＯＯＭ）の拡大・縮小処理を行う場合、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を有するシステムであれば、ＳＤＲＡＭにて映像データを保管した状態で処理することができる。しかし、小型・低コストを重視することからＳＤＲＡＭは用いないシステムの場合には、ラインメモリを用いてデジタルズーム処理を行う。ラインメモリを用いて垂直方向で必要なラインのみを処理する。

図１６はＳＤＲＡＭを有しない従来のデジタル信号処理を行う映像信号処理回路の概略構成を示すブロック図である。図１７はその動作を説明するタイミングチャートである。図１７において、ＨＤは水平同期信号である。

イメージセンサからの撮像信号が映像信号処理部４１に入力される。映像信号処理部４１は、入力した撮像信号を基に映像データ（輝度信号Ｙ、色差信号Ｃｒ，Ｃｂ）を生成し、ＳＲＡＭからなるラインメモリ４２へ出力する。ラインメモリ４２は、全てのライン信号を有効とする状態（Ｄ４１）で、映像信号処理部４１からの映像データを取り込む。ズームの倍率に応じてラインメモリ４２に対するアクセスタイミングが変更される。例えばズーム倍率が１／２の場合、有効信号は半分になるが、このとき、１ライン毎に有効ライン・無効ラインを切り替えてロジック部４３へ出力する（Ｄ４２）。ロジック部４３は、入力した映像データに対して同期したタイミングで補間処理（ズーム処理）を行う。補間処理された映像データ（Ｄ４３）は、有効・無効を切り替えながら有効無効識別フラグＦと共に出力パッド４４に出力され、出力パッド４４からさらに外部のモニター等へ出力される。外部での処理においては、有効無効識別フラグＦが“Ｈ”の期間を有効と扱うことで、映像データを正しく取り込むことができる。

なお、関連する先行技術として、入力信号の相関に基づいて信号自身を補正することによってノイズを軽減する方式が提案されている（特許文献１参照）。
特開平５−２３３８０３号公報（第２頁、第１−４図）

イメージセンサを用いたカメラシステムにおいては、基板の小型化やアナログ回路のオンチップ化が進み、それに伴ってアナログ回路に対するノイズの影響による画質劣化が懸念されている。図１８は図１６の映像信号処理回路４０とアナログ回路４５とが１チップ化されたＬＳＩ５０の構成を示す。

上記の従来方式においては、信号有効のラインではクロックごとに変化する映像データに対してデジタル処理が行われるが、信号無効のラインではデータが変化しないため電力が消費されない。このため、信号有効期間と信号無効期間とで消費電力Ｐが大きく変動する。映像信号処理回路４０での消費電力Ｐの大きな変動はノイズとなって電源ライン、ＧＮＤラインを介してアナログ回路４５へ伝播する。アナログ回路４５はノイズの影響に弱く、図１９に示す映像イメージのように、ラインごとに映像の濃淡が発生してしまう。

なお、上述の特許文献１においては、ノイズ源になる信号を制御することができず、結果として、十分なノイズ軽減効果は得られない。

本発明は、このような事情に鑑みて創作したものであり、デジタル信号処理によって生じる消費電力変動によるノイズの影響で映像に生じる濃淡をなくすことを目的としている。

本発明による映像信号処理回路は、
入力されてくる映像信号を基に映像データを生成する映像信号処理部と、
前記映像信号処理部からの映像データをライン毎に一時記憶し、有効と無効に切り替えながら出力するラインメモリと、
前記映像データに所定のデジタル処理を施して出力するロジック部と、
複数パターンのダミーデータのうちからパターン選択信号に応じた選択パターンのダミーデータを発生するダミーデータ発生部を含み、無効期間の前記映像データを前記ロジック部の入力または出力において前記ダミーデータ発生部からのダミーデータに置き換えるデータ置換部と、
前記映像データの値に応じて前記パターン選択信号を生成して前記ダミーデータ発生部に送出するパターン選択制御部とを備えたものである。

この構成において、映像信号処理部からの映像データはライン単位でラインメモリに一時記憶される。このとき、映像データはすべてのラインで有効なものとして扱われる。ラインメモリは、外部からのデジタル処理にかかわる指示により映像データを有効、無効に切り替えて出力する。有効期間では有効な映像データがラインメモリから出力されるが、無効期間ではラインメモリからの映像データは無効なものである。データ置換部は、その無効な映像データをダミーデータに置き換える。その置き換えは、ロジック部に対する入力の段階で行うのでもよいし、ロジック部からの出力の段階で行うのでもよい。

ここで、パターン選択制御部は、映像データの値に応じたパターン選択信号を生成してデータ置換部におけるダミーデータ発生部に送出する。パターン選択信号を受け取ったダミーデータ発生部は複数パターンのダミーデータのうちからパターン選択信号に応じた選択パターンのダミーデータを発生する。

ダミーデータは無効データとは異なり、あるレベルの信号成分を有している。したがって、ダミーデータがロジック部でデジタル処理を受けるときには、あるレベルの電力消費が行われる。ロジック部でダミーデータをデジタル処理する際の消費電力は、そのダミーデータのパターンによって変化するが、そのパターンとして、パターン選択制御部とダミーデータ発生部とは、映像データの値に応じた選択パターンのダミーデータを生成出力する。その結果、無効データの場合の消費電力は、有効データの場合の消費電力に近いものとなる。

とりわけ、パターン選択制御部は映像データの値に応じてパターン選択信号を生成し、これを受けたダミーデータ発生部はパターン選択信号に応じた選択パターンのダミーデータを発生するので、無効期間に映像データに置き換わるダミーデータは映像データの値に応じたものとなる。したがって、無効データの場合の消費電力を有効データの場合の消費電力にほぼ等しくすることができる。すなわち、消費電力の高精度な平坦化を実現し、消費電力変動を確実に抑制することが可能となる。これによってノイズの平均化が行われ、画質への悪影響の大幅な軽減が図られることになる。

上記構成の映像信号処理回路においては、前記データ置換部の構成について、次のようないくつかの好ましい態様がある。

すなわち、前記データ置換部として、前記ダミーデータ発生部と、前記ラインメモリからの前記映像データと前記ダミーデータ発生部からの前記ダミーデータとのいずれか一方を選択して前記ロジック部へ出力するセレクタとから構成されているという態様がある。この場合、ラインメモリから無効データが出力される期間においては、セレクタはダミーデータ発生部からのダミーデータを選択してロジック部に出力する。

また、前記データ置換部として、前記ダミーデータ発生部と、前記ロジック部からの前記映像データと前記ダミーデータ発生部からの前記ダミーデータとのいずれか一方を選択して出力するセレクタとから構成されているという態様がある。ダミーデータをロジック部においてデジタル処理することは、元来は無駄な電力消費につながるものである。低消費電力の観点からは好ましいものではない。一方、ロジック部の出力先にある出力パッドは外部とのインターフェイスを行う上でかなりの電流を消費するものであり、消費電力変動も大きいと考えられる。そこで、ロジック部において無効データをデジタル処理してもノイズの悪影響が比較的小さくてすむ条件では、ダミーデータ置き換えをロジック部の入力に対してではなく、ロジック部の出力すなわち出力パッドへの入力に対して行うようにする。ラインメモリからは有効データ、無効データのいずれもがロジック部に入力され、ロジック部でデジタル処理された映像データに対して、その無効期間ではダミーデータ置き換えが行われる。前記の条件ゆえに、ロジック部が無効データに対して行うデジタル処理ではあまりノイズの原因とはならない。ロジック部での消費電力の増大が抑制されるとともに、出力パッドでの消費電力変動が抑制され、ノイズを軽減することが可能になる。

また、前記データ置換部として、前記ダミーデータ発生部と、前記ラインメモリからの前記映像データと前記ダミーデータ発生部からの前記ダミーデータとのいずれか一方を選択して前記ロジック部へ出力する第１のセレクタと、前記ロジック部からの前記映像データと前記ダミーデータ発生部からの前記ダミーデータとのいずれか一方を選択して出力する第２のセレクタとから構成されているという態様がある。

これは、上記２つの態様を折衷したものに相当する。ロジック部での無効データのデジタル処理がノイズ発生を助長する可能性のあるときは第１のセレクタがダミーデータを選択して、無効データに代えてダミーデータをロジック部に供給する。これは、無効データのデジタル処理に起因する消費電力変動の増大を抑制することを主眼にしたモードである。一方、ロジック部での無効データのデジタル処理がノイズ発生を助長する可能性のないときは、第２のセレクタがダミーデータを選択して、出力パッドへ出力する。これは、ロジック部では無効データを扱わせて消費電力の無駄な増大を抑制することを主眼とするモードである。

上記構成において、前記ダミーデータ発生部は、
外部から任意のレジスタ値を設定可能なレジスタと、
前記パターン選択信号に応じて前記レジスタにおける互いに異なるレジスタ値のうちの１つを選択するレジスタ値セレクタと、
前記レジスタ値セレクタに対してレジスタ値を所定の順序でまたはランダムに選択させる制御を行う選択信号発生回路とから構成されているという態様がある。

これによれば、比較的簡単な構成で上記の機能を発揮するダミーデータ発生部を構成することができる。

また、上記の構成において、パターン選択制御部については、次のようないくつかの好ましい態様がある。

前記パターン選択制御部は、１画面分の映像信号の各ビット平均変化量を検出し、無効期間でのダミーパターンが前記検出したビット平均変化量と等しくなるように前記レジスタ設定値を決定するという態様がある。

また、前記パターン選択制御部は、１画面を複数に分割してそれぞれについて映像信号のビット平均変化量を検出し、それぞれのブロックにある無効ラインに対するレジスタ設定値はそれぞれのブロックで検出したビット平均変化量と等しくなるように決定するという態様がある。

また、前記パターン選択制御部は、有効ライン毎に映像信号のビット平均変化量を検出し、次の無効ラインでのレジスタ設定値はその無効ラインの前ラインでのビット平均変化量と等しくなるように決定するという態様がある。

また、前記パターン選択制御部は、有効ライン毎に映像信号のビット平均変化量を検出し、次の無効ラインでのレジスタ設定値はその無効ラインの前後ラインのビット平均変化量の平均値と等しくなるように決定するという態様がある。

また、前記パターン選択制御部は、１画面を複数に分割してそれぞれについて映像信号のビット平均変化量をメモリに蓄えておき、それぞれのブロックでの無効ラインに対するレジスタ設定値はメモリに蓄えられた前フレームでのビット平均変化量と現フレームでのビット平均変化量の平均値と等しくなるように決定するという態様がある。

また、前記パターン選択制御部は、１画面を複数に分割してそれぞれについて映像信号のビット平均変化量をメモリに蓄えておき、それぞれのブロックでの無効ラインに対するレジスタ設定値は前フレームでのビット平均変化量と現フレームでのビット平均変化量とのＩＩＲフィルターにて算出した値と等しくなるように決定するという態様がある。

また、前記パターン選択制御部は、１画面を複数に分割してそれぞれについて映像信号の平均値を算出して、その平均値の大きさにより無効ラインに対するレジスタ値を決定するという態様がある。

また、前記パターン選択制御部は、有効ラインの平均値を算出して、無効ラインではその前のラインあるいは前後のラインの平均値の大きさにより、無効ラインでのレジスタ設定値を決定するという態様がある。

また、上記の構成において、前記ダミーデータ発生部は、有効ライン１ライン分をメモリに蓄えておき、無効ライン期間はメモリからランダムにデータを読み出すことによりダミーパターン信号を生成するという態様がある。

本発明によれば、無効期間に映像データに置き換わるダミーデータを映像データの値に応じて調整するので、無効データの場合の消費電力を有効データの場合の消費電力にほぼ等しくし、消費電力変動を確実に抑制してノイズを抑制し、画質への悪影響を大幅に軽減することができる。

その結果として、小型基板上に実装された場合でも、またアナログ回路がシステムオンチップされたＬＳＩであっても、出力パッドからのアナログ回路への消費電力変動に起因する悪影響を抑制し、映像データの濃淡等の画質劣化を免れる。

また、カメラシステム構成に応じて対策回路構成を最小限に抑え、電力増加も可能な限り抑えることが可能となる。

以下、本発明にかかわる映像信号処理回路の実施の形態を図面に基づいて詳細に説明する。

（実施の形態１）
図１は本発明の実施の形態１における映像信号処理回路の構成を示すブロック図である。図１において、１１はイメージセンサからの撮像信号を基に映像データＤ１（輝度信号Ｙ、色差信号Ｃｒ，Ｃｂ）を生成する映像信号処理部（ＹＣ信号処理部）、１２は映像信号処理部１１から出力された映像データＤ１を取り込んで一時記憶し、ズームの倍率に応じてアクセスタイミングを変更して有効／無効の映像データＤ２を出力するＳＲＡＭ構成のラインメモリ、１３は映像信号処理部１１からの映像データＤ１の値に応じてパターン選択信号Ｓｐを生成してダミーデータ発生部１４に送出するパターン選択制御部、１４はパターン選択制御部１３からのパターン選択信号Ｓｐに応じて無効ライン毎に異なるダミーデータＤ３を発生して出力する例えばランダムパターン発生回路からなるダミーデータ発生部、１５はラインメモリ１２からの映像データＤ２とダミーデータ発生部１４からのダミーデータＤ３のうちいずれか一方を選択するもので、有効ラインを検知したときはラインメモリ１２からの映像データＤ２を選択する一方、無効ラインを検知するとダミーデータ発生部１４からのダミーデータＤ３を選択するセレクタ、１６はセレクタ１５からの選択データＤ４を取り込んでデジタル処理（ズーム処理）し、得られたデジタル処理映像データＤ５に有効無効識別フラグＦを付加して出力するロジック部、１７は外部のモニター等とインターフェイスをとってデジタル処理映像データＤ５を有効無効識別フラグＦとともに出力する出力パッドである。

本実施の形態では、ダミーデータ発生部１４とセレクタ１５とがデータ置換部Ａ１を構成している。

図２はパターン選択制御部１３の具体的構成を示す回路図である。複数ビットの映像データＤ１の各ビットに対して、フリップフロップ２１と排他的論理和回路（Ｅｘ−ＯＲ）２２の組が接続され、複数の排他的論理和回路２２の出力端子が加算回路２３に入力され、加算回路２３はパターン選択信号Ｓｐを出力するようになっている。

フリップフロップ２１は映像データＤ１の１ｂｉｔ分の映像信号を１クロック遅延させ、排他的論理和回路２２で現在の１ｂｉｔ分の映像信号と１クロック遅延した映像信号との排他的論理和をとる。その結果、そのビットが“Ｌ”→“Ｈ”または“Ｈ”→“Ｌ”に変化した場合には排他的論理和回路２５の出力は“Ｈ”となる。すなわち、フリップフロップ２１と排他的論理和回路２２の組は、１ｂｉｔ分の映像信号につきビット変化を検出する。同様の処理を映像信号のすべてのビットで行い、加算回路２３で“Ｈ”になったビット数を加算することにより、結果として、映像データＤ１のビット変化量を求める。このビット変化量は、“Ｌ”から“Ｈ”または“Ｈ”から“Ｌ”に変化したビットが何ビット存在するかを示すものである。パターン選択制御部１３は、このビット変化量をパターン選択信号Ｓｐとしてダミーデータ発生部１４に出力する。

図３はダミーデータ発生部１４の具体的構成を示す回路図である。このダミーデータ発生部１４は、レジスタ２４とレジスタ値セレクタ２５と選択信号発生回路２６から構成されている。あらかじめＬＳＩの外部からレジスタ２４に任意の値を書き込んでおく。選択信号発生回路２６から処理された選択信号Ｓｓはレジスタ値セレクタ２５によるレジスタ２４からのレジスタ設定値の選択を制御する。選択信号Ｓｓは、レジスタ設定値を１クロック毎に順番に選択するのでもよいし、ランダムに選択するのでもよい。

次に、上記のように構成された本実施の形態の映像信号処理回路の動作を図４のタイミングチャートに基づいて説明する。

映像信号処理部１１において、イメージセンサからの撮像信号が入力され、その撮像信号を基に映像データＤ１を生成し、ラインメモリ１２へ出力する。ラインメモリ１２は、全てのラインを有効とする状態で映像信号処理部１１からの映像データＤ１をライン単位で取り込み、一時記憶する。ラインメモリ１２は、指示されたズームの倍率に応じてアクセスタイミングを変更する。例えばズーム倍率が１／２の場合、映像信号処理部１１から全てが有効として入力された映像データＤ１に対して、１ライン毎に有効ライン・無効ラインを切り替えた映像データＤ２をセレクタ１５へ出力することにより、１フレーム内で有効信号を半分にする。

ダミーデータ発生部１４においては、無効ライン毎に異なるダミーデータＤ３を発生してセレクタ１５へ出力する。セレクタ１５は、外部からの有効・無効識別信号に基づいて有効ラインを検知するとラインメモリ１２からの映像データＤ２を選択し、無効ラインを検知するとダミーデータ発生部１４からのダミーデータＤ３を選択する。その結果の選択データＤ４をロジック部１６へ出力する。なお、有効・無効識別信号を用いる代わりに、あらかじめ無効ラインのビットパターンを決めておき、セレクタ１５がそのビットパターンを判断することによって無効ラインを検知する構成としてもよい。

映像データＤ２に無効ラインでのダミーデータＤ３が付加された選択データＤ４がロジック部１６へ入力され、ロジック部１６はこの選択データＤ４に対してズーム処理等のデジタル処理（補間処理）を行う。その結果のデジタル処理映像データＤ５は、有効データとダミーデータが混在したパターンとなる。ロジック部１６で得られたデジタル処理映像データＤ５と有効無効識別フラグＦとが関連付けられて出力パッド１７に出力され、出力パッド１７からさらに外部のモニター等へ出力される。外部での処理は、有効無効識別フラグＦが“Ｈ”の期間、信号を有効と扱うことで、映像データを正しく取り込むことができる。

従来の技術の場合の無効ラインのデータは、データそのものとしては常に一定のものである。これに対して、本実施の形態でのダミーデータＤ３は、一定のものではなく、ライン毎に異なる内容のデータとなっている。その結果、消費電力Ｐの変動を抑制し平坦化することができる。具体的には、図５の映像イメージに示すように、有効ラインＬ１と無効ラインＬ２との間で濃淡の発生を抑制することができる。

上記は、基本的動作の説明である。次に、特徴とする動作について説明する。

（１）パターン選択制御部１３は、映像信号処理部１１から入力した映像データＤ１のビット変化量を求め、ビット変化量に応じたパターン選択信号Ｓｐを生成して、ダミーデータ発生部１４のレジスタ２４に送出する。レジスタ２４はパターン選択信号Ｓｐに応じたレジスタ設定値に設定される。レジスタ２４におけるレジスタ設定値はレジスタ値セレクタ２５に出力される。選択信号発生回路２６からの選択信号Ｓｓがレジスタ値セレクタ２５を制御し、無効期間において１クロック毎に順番にレジスタ設定値を選択してダミーデータＤ３としてセレクタ１５に出力する。あるいは、選択信号Ｓｓがレジスタ設定値をランダムに選択して出力してもよい。それは、検出したビット変化量を１フレームで平均して、そのビット変化量と等しくなるようにレジスタ設定値を決定するものである。

以上のように、パターン選択制御部１３とダミーデータ発生部１４の協働により、映像データＤ１の値に応じた選択パターンのダミーデータＤ３を生成出力するので、結果として、無効データの場合の消費電力を有効データの場合の消費電力に等しくすることができる。すなわち、消費電力の高精度な平坦化を実現し、消費電力変動を確実に抑制することが可能となる。これによってノイズの平均化が行われ、画質への悪影響（ノイズの影響で映像に生じる濃淡など）の大幅な軽減が図られることになる。

以下、レジスタ２４におけるレジスタ設定値の決め方の他の方式について説明する。

ａ）図６のように１画面をいくつかに分割して、それぞれのブロックでビット変化量を検出する。各ブロックの無効ラインにレジスタ設定する値は、そのブロックでのビット変化量と同じ値になるように決定する。具体的には無効ラインＩ１に対するレジスタ設定値はブロックＢ１でのビット変化量と等しくなるように決定する。

ｂ）有効ライン毎にビット変化量を検出して、次の無効ラインでのレジスタ設定値はその無効ラインの前ラインでのビット変化量と等しくなるように決定する。具体的には、図７に示すように、無効ラインＩ２に対するレジスタ設定値は有効ラインＶ２で検出されたビット変化量と等しくなるように決定する。

ｃ）有効ライン毎にビット変化量を検出して、次の無効ラインでのレジスタ設定値はその無効ラインの前ラインと次ラインでのビット変化量の平均値と等しくなるように決定する。具体的には、無効ラインＩ２に対するレジスタ設定値は有効ラインＶ２とＶ２′のビット変化量の平均値と等しくなるように決定する。

ｄ）図８のように１画面をいくつかに分割して、それぞれのブロックでのビット変化量を検出して、その値をメモリに蓄えておく。次フレームでも同様の処理を行って、前フレームと現フレームの各ブロックでのビット変化量を平均した値と、各ブロックでの無効ラインに対するレジスタ設定値とが等しくなるように決定する。具体的には、前フレームでのブロックＢ２でのビット変化量と現フレームでのブロックＢ３でのビット変化量の平均値を算出して、そのビット変化量と等しくなるように無効ラインＩ３に対するレジスタ設定値を決定する。ここで、平均化するフレーム数は２以上のフレーム数である。

ｅ）有効ライン毎にビット変化量を検出して、各ラインでのビット変化量をメモリに蓄えておく。次フレームでも同様の処理を行い、前フレームで検出した各ラインに対するビット変化量と現フレームでのビット変化量との平均値を算出して、現フレームでの無効ラインに対するレジスタ設定値はその平均値と等しくなるように決定する。具体的には、図９に示すように、前フレームでのラインＬ３でのビット変化量と現フレームでのラインＬ４でのビット変化量の平均値が現フレームでの無効ラインＶ５に対するビット変化量が等しくなるようにレジスタ値を決定する。ここで平均化するフレームは２以上のフレーム数である。

また、上記のｄ），ｅ）の平均化する処理を図１０に示すようなＩＩＲフィルターで行ってもよい。ここで、３１はビット変化量に巡回係数ｋ１を乗算する乗算器、３２はメモリ出力に巡回係数ｋ２を乗算する乗算器、３３は乗算器３１の出力と乗算器３２の出力とを加算する加算器、３４は加算器３３の出力を一時記憶するメモリである。具体的には、１フレームでのビット変化量をメモリ３４に蓄え、次フレームでのビット変化量に１以下の巡回係数ｋ１を乗算した値とメモリ３４に蓄えた前フレームでのビット変化量に１以下の巡回係数ｋ２を乗算した値との加算を行う。巡回係数ｋ１，ｋ２は便宜決定するが、ｋ１＋ｋ２＝１とする。巡回係数ｋ１を大きくすると現フレームの影響が大きく反映され、巡回係数ｋ２を大きくすると前フレームまでの平均値が大きく反映される。

ｆ）１フレームの全データの平均値を算出して、次フレームでは前フレームの平均値に応じて無効ライン用にレジスタ設定値を決定する。決定方法は、平均値の大きさに応じて決定され、例えば平均値が「５」（２進数で「１０１」）であった場合には、映像信号のビット変化量を平均すると３ｂｉｔになるので、無効ラインに対するレジスタ設定値が「３」になるように決定する。

具体的には、出力データが４ｂｉｔであった場合には以下のように決定される。

i）平均値＝０ならビット変化量が０になるようにレジスタ設定値を決定
ii）平均値＝１ならビット変化量が１になるようにレジスタ設定値を決定
iii）２≦平均値≦３ならビット変化量が２になるようにレジスタ設定値を決定
iv）４≦平均値≦７ならビット変化量が３になるようにレジスタ設定値を決定
v）８≦平均値≦１５ならビット変化量が４になるようにレジスタ設定値を決定
ｇ）図６のように１画面を複数に分割してそれぞれの平均値よりそれぞれのブロックでの無効ラインに対するレジスタ設定値を決定する。平均値からレジスタ設定値を決定する方法はｆ）と同様とする。

ｈ）有効ライン毎に平均値を算出して、無効ラインに対するレジスタ設定値はその前ラインあるいは前後ラインの平均値から決定する。平均値からのレジスタ設定を決定する方法はｆ）と同様とする。

その他、変化量が大きくなるようにレジスタ設定値を決定する。

（２）１ライン分のメモリを内蔵させておき、有効ライン１ライン分の出力データをメモリに蓄えておき、無効ラインではメモリに蓄えておいた有効ラインのデータを読み出してダミーデータとするが、順番に読み出した場合にはゴーストノイズの原因であるので、メモリに対する読み出しアドレスをランダムにすることにより、ゴーストノイズを発生させることなく、有効ラインに近いダミーデータを出力させることができる。具体的には、図１１に示すように、有効ラインＶ６をメモリに蓄えておき、無効ラインＩ６では蓄えたメモリをランダムアドレスに読み出すことによりダミー信号を発生することができる。

今まで、ＺＯＯＭ回路を例に説明を行ったが、同じようにダミー発生回路とセレクタを用いることで、イメージセンサより入力される、信号のブランキング期間に関しても、同じような処理を行うことができる。

以上の処理により有効期間と無効期間での消費電力差がなくなり、消費電力差に起因したノイズ差による固定パターンノイズを低減させることができる。

（実施の形態２）
出力パッド１７は、電力面から考えた場合、外部とのインターフェースを行うために数ｍＡの電流を流すことから、消費電力変動がかなり大きなものとなり、ノイズの発生源となる。出力パッド１７からの出力における消費電力変動による悪影響を抑制するのが本発明の実施の形態２である。

図１２は本発明の実施の形態２における映像信号処理回路の構成を示すブロック図である。本実施の形態のデータ置換部Ａ２は、上記同様のダミーデータ発生部１４と、出力パッド１７の入力に対するロジック部１６の出力とダミーデータ発生部１４の出力とを切り替えるセレクタ１８とから構成されている。実施の形態１の場合のロジック部１６の入力側のセレクタ１５はない。ロジック部１６はラインメモリ１２からの映像データＤ２をそのまま受け入れる。セレクタ１８は、ロジック部１６からの映像データＤ６とダミーデータ発生部１４からのダミーデータＤ３のいずれかを選択する。その他の構成については、実施の形態１と同様であるので同一部分に同一符号を付すにとどめ、説明を省略する。

次に、以上のように構成された本実施の形態の映像信号処理回路の動作を図１３のタイミングチャートに基づいて説明する。

ラインメモリ１２からの映像データＤ２は、１ライン毎に有効ライン、無効ラインが切り替わる信号であり、そのままロジック部１６へ入力される。ロジック部１６では、ズーム処理等のデジタル処理（補間処理）を行う。その結果のデジタル処理映像データＤ６は、有効データと無効データが混在したパターンとなる。ロジック部１６で得られたデジタル処理映像データＤ６がセレクタ１８に出力される。セレクタ１８は、外部からの有効・無効識別信号に基づいて有効ラインを検知するとロジック部１６からのデジタル処理映像データＤ６を選択し、無効ラインを検知するとダミーデータ発生部１４からのダミーデータＤ３を選択し、選択したデータに有効無効識別フラグＦが関連付けられてデジタル処理映像データＤ７として出力パッド１７に出力され、出力パッド１７からさらに外部のモニター等へ出力される。

ロジック部１６での消費電力変動がアナログ回路に影響を及ぼさない程度に小さい場合に本実施の形態は有効である。レイアウトによっては、そのような状況が成立する。消費電力Ｐは、少し変動するものの、映像イメージに影響を与えるほどのものではない。

（実施の形態３）
上記の実施の形態１において、ロジック部１６では１ラインごとにダミーデータを含んだ映像データＤ４を信号処理している。ダミーデータといえどもある大きさの信号成分を含んでいるので、ダミーデータのデジタル処理には電力を消費することになる。逆にいうと、ダミーデータが電力を消費するゆえに、消費電力Ｐの変動を抑制してその平坦化が実現されている。しかし、このことは、低消費電力化の観点からはマイナスに作用しているといえる。この点の改善に配慮したのが本発明の実施の形態３である。本実施の形態３は、実施の形態１と実施の形態２を折衷したものに相当する。

図１４は本発明の実施の形態３における映像信号処理回路の構成を示すブロック図である。本実施の形態のデータ置換部Ａ３は、上記同様のダミーデータ発生部１４と、ロジック部１６の入力に対するラインメモリ１２の出力とダミーデータ発生部１４の出力とを切り替える第１のセレクタ１５と、出力パッド１７の入力に対するロジック部１６の出力とダミーデータ発生部１４の出力とを切り替える第２のセレクタ１８とから構成されている。その他の構成については、上記実施の形態と同様であるので同一部分に同一符号を付すにとどめ、説明を省略する。

次に、以上のように構成された本実施の形態の映像信号処理回路の動作を図１５のタイミングチャートに基づいて説明する。図１５において、点線から上は第１のセレクタ１５を活性化し、第２のセレクタ１８を非活性にしたときの動作を示し、点線から下は第２のセレクタ１８を活性化し、第１のセレクタ１５を非活性にしたときの動作を示す。

ロジック部１６での消費電力変動がアナログ回路に影響を及ぼす可能性のある状況では、第１のセレクタ１５が活性化され、第２のセレクタ１８はロジック部１６からの出力を選択する状態にロックされる。このときのロジック部１６がデジタル処理映像データＤ５を生成出力するまでの動作は、実施の形態１の場合と同様である。第２のセレクタ１８からは、デジタル処理映像データＤ５が有効無効識別フラグＦと関連付けられたデジタル処理映像データＤ８が出力パッド１７に出力され、出力パッド１７からさらに外部のモニター等へ出力される。

ロジック部１６での消費電力変動がアナログ回路に影響を及ぼす可能性のない状況では、第２のセレクタ１８が活性化され、第１のセレクタ１５はラインメモリ１２からの出力を選択する状態にロックされる。このときの第２のセレクタ１８がデジタル処理映像データＤ８を有効無効識別フラグＦに関連付けて生成出力し、出力パッド１７からさらに外部のモニター等へ出力される動作は、実施の形態２の場合と同様である。本実施の形態においても、消費電力Ｐは、少し変動するものの、映像イメージに影響を与えるほどのものではない。

なお、ユーザの設定により、第２のセレクタ１８を常時非活性としてもよく、あるいは逆に、第１のセレクタ１５を常時非活性としてもよい。

本発明の映像信号処理回路は、イメージセンサ等の撮像素子からの信号を入力とする信号処理の画質の向上手段として有用である。アナログをオンチップしたＬＳＩや、小型基板上で構成されるカメラシステムにおいて特に有用である。

本発明の実施の形態１における映像信号処理回路の構成を示すブロック図 本発明の実施の形態１におけるパターン選択制御部の具体的構成を示す回路図 本発明の実施の形態１におけるダミーデータ発生部の具体的構成を示す回路図 本発明の実施の形態１における映像信号処理回路の動作を示すタイミングチャート 本発明の実施の形態１における画像出力イメージ図 本発明の実施の形態におけるブロック分割図 本発明の実施の形態１における画像出力図（その１） 本発明の実施の形態１における画像出力図（その２） 本発明の実施の形態１における画像出力図（その３） 本発明の実施の形態１におけるＩＩＲフィルターの回路構成図 本発明の実施の形態１における画像出力図（その４） 本発明の実施の形態２における映像信号処理回路の構成を示すブロック図 本発明の実施の形態２における映像信号処理回路の動作を示すタイミングチャート 本発明の実施の形態３における映像信号処理回路の構成を示すブロック図 本発明の実施の形態３における映像信号処理回路の動作を示すタイミングチャート 従来のデジタル信号処理を行う映像信号処理回路の概略構成を示すブロック図 従来の映像信号処理回路の動作を示すタイミングチャート ＬＳＩ構成図 従来の画像出力イメージ図

符号の説明

Ａ１〜Ａ３ データ置換部
１１ 映像信号処理部
１２ ラインメモリ
１３ パターン選択制御部
１４ ダミーデータ発生部
１５ セレクタ（第１のセレクタ）
１６ ロジック部
１７ 出力パッド
１８ セレクタ（第２のセレクタ）
２１ フリップフロップ
２２ 排他的論理和回路
２３ 加算回路
２４ レジスタ
２５ レジスタ値セレクタ
２６ 選択信号発生回路
Ｄ１ 映像データ
Ｄ３ ダミーデータ
Ｄ４ 選択データ
Ｄ５，Ｄ６，Ｄ７，Ｄ８ デジタル処理映像データ
Ｓｐ パターン選択信号
Ｓｓ 選択信号

Claims (14)

1. 入力されてくる映像信号を基に映像データを生成する映像信号処理部と、
   前記映像信号処理部からの映像データをライン毎に一時記憶し、有効と無効に切り替えながら出力するラインメモリと、
   前記映像データに所定のデジタル処理を施して出力するロジック部と、
   複数パターンのダミーデータのうちからパターン選択信号に応じた選択パターンのダミーデータを発生するダミーデータ発生部を含み、無効期間の前記映像データを前記ロジック部の入力または出力において前記ダミーデータ発生部からのダミーデータに置き換えるデータ置換部と、
   前記映像データの値に応じて前記パターン選択信号を生成して前記ダミーデータ発生部に送出するパターン選択制御部とを備えた映像信号処理回路。
2. 前記データ置換部は、
   前記ダミーデータ発生部と、
   前記ラインメモリからの前記映像データと前記ダミーデータ発生部からの前記ダミーデータとのいずれか一方を選択して前記ロジック部へ出力するセレクタとから構成されている請求項１に記載の映像信号処理回路。
3. 前記データ置換部は、
   前記ダミーデータ発生部と、
   前記ロジック部からの前記映像データと前記ダミーデータ発生部からの前記ダミーデータとのいずれか一方を選択して出力するセレクタとから構成されている請求項１に記載の映像信号処理回路。
4. 前記データ置換部は、
   前記ダミーデータ発生部と、
   前記ラインメモリからの前記映像データと前記ダミーデータ発生部からの前記ダミーデータとのいずれか一方を選択して前記ロジック部へ出力する第１のセレクタと、
   前記ロジック部からの前記映像データと前記ダミーデータ発生部からの前記ダミーデータとのいずれか一方を選択して出力する第２のセレクタとから構成されている請求項１に記載の映像信号処理回路。
5. 前記ダミーデータ発生部は、
   外部から任意のレジスタ値を設定可能なレジスタと、
   前記パターン選択信号に応じて前記レジスタにおける互いに異なるレジスタ値のうちの１つを選択するレジスタ値セレクタと、
   前記レジスタ値セレクタに対してレジスタ値を所定の順序でまたはランダムに選択させる制御を行う選択信号発生回路とから構成されている請求項１から請求項４までのいずれかに記載の映像信号処理回路。
6. 前記パターン選択制御部は、１画面分の映像信号の各ビット平均変化量を検出し、無効期間でのダミーパターンが前記検出したビット平均変化量と等しくなるように前記レジスタ設定値を決定する請求項１から請求項５までのいずれかに記載の映像信号処理回路。
7. 前記パターン選択制御部は、１画面を複数に分割してそれぞれについて映像信号のビット平均変化量を検出し、それぞれのブロックにある無効ラインに対するレジスタ設定値はそれぞれのブロックで検出したビット平均変化量と等しくなるように決定する請求項１から請求項５までのいずれかに記載の映像信号処理回路。
8. 前記パターン選択制御部は、有効ライン毎に映像信号のビット平均変化量を検出し、次の無効ラインでのレジスタ設定値はその無効ラインの前ラインでのビット平均変化量と等しくなるように決定する請求項１から請求項５までのいずれかに記載の映像信号処理回路。
9. 前記パターン選択制御部は、有効ライン毎に映像信号のビット平均変化量を検出し、次の無効ラインでのレジスタ設定値はその無効ラインの前後ラインのビット平均変化量の平均値と等しくなるように決定する請求項１から請求項５までのいずれかに記載の映像信号処理回路。
10. 前記パターン選択制御部は、１画面を複数に分割してそれぞれについて映像信号のビット平均変化量をメモリに蓄えておき、それぞれのブロックでの無効ラインに対するレジスタ設定値はメモリに蓄えられた前フレームでのビット平均変化量と現フレームでのビット平均変化量の平均値と等しくなるように決定する請求項１から請求項５までのいずれかに記載の映像信号処理回路。
11. 前記パターン選択制御部は、１画面を複数に分割してそれぞれについて映像信号のビット平均変化量をメモリに蓄えておき、それぞれのブロックでの無効ラインに対するレジスタ設定値は前フレームでのビット平均変化量と現フレームでのビット平均変化量とのＩＩＲフィルターにて算出した値と等しくなるように決定する請求項１から請求項５までのいずれかに記載の映像信号処理回路。
12. 前記パターン選択制御部は、１画面を複数に分割してそれぞれについて映像信号の平均値を算出して、その平均値の大きさにより無効ラインに対するレジスタ値を決定する請求項１から請求項５までのいずれかに記載の映像信号処理回路。
13. 前記パターン選択制御部は、有効ラインの平均値を算出して、無効ラインではその前のラインあるいは前後のラインの平均値の大きさにより、無効ラインでのレジスタ設定値を決定する請求項１から請求項５までのいずれかに記載の映像信号処理回路。
14. 前記ダミーデータ発生部は、有効ライン１ライン分をメモリに蓄えておき、無効ライン期間はメモリからランダムにデータを読み出すことによりダミーパターン信号を生成する請求項１から請求項１３までのいずれかに記載の映像信号処理回路。

Images