JP2006135653A - 映像処理装置とこれを用いた撮像装置 - Google Patents

Abstract

【課題】解像度劣化やブロック雑音の発生を抑えて映像の品質を確保しながら、データ圧縮を可能とする。
【解決手段】映像信号は水平垂直フィルタ１０を通ってＦＮＲ回路３０に供給され、フレーム相関抽出回路３４でフレームメモリ３１での１フレーム前の映像信号との相関が抽出される。特性制御回路２０は、この相関値に応じて水平垂直フィルタ１０の水平，垂直方向の周波数特性を制御する。ＦＮＲ回路３０は、この相関に応じた割合で水平垂直フィルタ１０からの映像信号とフレームメモリ３１からの映像信号とを加算する巡回フィルタを有する。相関が低いとき、水平垂直フィルタ１０は映像信号を帯域制限して狭帯域の映像信号とし、ＦＮＲ回路３０では、巡回フィルタが作用せず、相関が高いとき、水平垂直フィルタ１０は帯域制限せず、ＦＮＲ回路３０では、巡回フィルタが作用してランダム雑音を抑圧する。
【選択図】図１

Description

本発明は、動画の映像データをデータ圧縮するに際しての画質改善やデータ圧縮率の向上を可能とする映像処理装置とこれを用いた撮像装置に関する。

映像データをデジタル信号に変換し、データ圧縮を施す映像処理装置を備えた撮像装置では、限られたデータ量で高画質化を図るためには、データの配分方法が非常に重要になる。例えば、映像データを記録したい映像データと記録する必要のない雑音とに分けて考えた場合、雑音に多くのデータ量を割り当てると、高画質の映像を得ることが非常に困難になる。この問題に関しては、映像のフレーム間の相関性を利用した雑音低減の技術が提案されている。これは、フレーム間の相関に応じてフレーム間巡回フィルタの巡回係数を変えることにより、無相関の雑音を低減するものである（例えば、特許文献１参照）。

また、離散コサイン変換を用いた映像データをデータ圧縮を用いた場合、画像を、例えば、８×８画素毎のブロックに分割し、ブロック毎に離散コサイン変換し、このとき、高域成分をカットすることにより、データ圧縮を行なう。このため、ブロック間で平均レベルが異なる場合があるが、隣接ブロック間で平均レベルが不連続に異なると、画像がモザイク状に見えるようになるブロック雑音が発生する。データ圧縮率を上げると、このブロック雑音により、モザイク状の画像が目立つようになるという問題がある。この問題に関しては、画像の水平方向の高域成分をカットする水平フィルタと垂直方向の高域成分をカットする垂直フィルタを用い、要求されるデータの圧縮率に応じてこれら水平フィルタと垂直フィルタの通過帯域を可変とすることにより、映像信号の周波数帯域を変えるようにしてデータ圧縮するようにした技術が提案されている。（例えば、特許文献２参照）。
特開２００３−２１９３６８号公報 特開平９−１７２６３７号公報

しかしながら、特許文献１記載の技術では、フレーム間の相関が低い映像では、充分な雑音低減効果が得られないという問題がある。

また、特許文献２記載の技術では、限られた通信速度の伝送路により、映像がさらに高画質でかつ滑らかに動作するように映像信号を伝送させたいという要望や限られた記録容量の記録媒体に、画質を劣化させることなく、さらに長時間記録をしたいという要望を充分に満足させるものではない。高画質の映像信号を上記の伝送路で伝送しようとすると、この映像信号の周波数帯域が制限されることになり、解像度が劣化するし、また、限られた容量の記録媒体に映像信号を記録する場合には、この映像信号を高いデータ圧縮率でデータ圧縮して記録することになるが、このようにすると、データ量が大幅に失われることになり、見た目で分かるような解像度劣化が生じるし、また、データの失われ方によっては、ブロック雑音が発生する。

本発明の目的は、かかる問題を解消し、解像度劣化やブロック雑音の発生を抑えて映像の品質を確保しながら、データ圧縮を可能とする映像処理装置とこれを用いた撮像装置を提供することにある。

上記目的を達成するために、本発明による映像処理装置は、映像信号のフレーム間相関を検出する第１の相関抽出手段と、第１の相関抽出手段によって検出されたフレーム相関に応じて、映像信号のフレーム内のフィルタ処理特性が変化する第１の処理手段と、第１の相関抽出手段によって検出されたフレーム相関に応じて、映像信号のランダム雑音を低減するフィルタ処理特性が変化する第２の処理手段と、第２の処理手段でフレーム相関に応じた処理特性でフレーム内処理され、第２の処理手段でフレーム相関に応じた処理特性でランダム雑音低減処理された映像信号をデータ圧縮するデータ圧縮手段とを備えたものである。

また、本発明による映像処理装置は、第１の処理手段が映像信号の水平，垂直方向の高域成分の制限特性が可変のフィルタであり、第２の処理手段が供給される現フレームの映像信号と１つ前のフレームの映像信号とをフレーム相関に応じた割合で加算するものである。

また、本発明による映像処理装置は、第２の処理手段が、現フレームの映像信号と１つ前のフレームの映像信号とをフレーム相関に応じた割合で加算する加算回路と、加算回路の出力映像信号が記憶されるフレームメモリとを備えており、フレームメモリに記憶された映像信号が１つ前のフレームの映像信号として読み出され、第１の相関抽出手段は、現フレームの映像信号とフレームメモリから読み出された１つ前の映像信号とからフレーム相関を検出するものである。

また、本発明による映像処理装置は、第１の相関抽出手段は、画素毎にフレーム相関を抽出し、映像信号のフレーム相関が低い画素に対しては、第１の処理手段が映像信号の水平，垂直方向の高域成分を抑制して帯域を制限し、かつ第２の処理手段は、１つ前のフレームの映像信号の加算の割合を小さくすることにより、ランダム雑音の低減作用を低下させ、映像信号のフレーム相関が高い画素に対しては、第１の処理手段が映像信号の水平，垂直方向の高域成分を制限しないようにし、かつ第２の処理手段は、１つ前のフレームの映像信号の加算の割合を大きくすることにより、ランダム雑音の低減作用を大きくするものである。

上記目的を達成するために、本発明による撮像装置は、撮像素子によって得られる映像信号を上記の映像処理装置で処理するものである。

また、本発明による撮像装置は、上記映像処理装置での第１の処理手段が、撮像素子によって得られる輝度信号の水平，垂直の高域成分を除去し、狭帯域の輝度信号を出力するローパスフィルタと、撮像素子によって得られる輝度信号の水平，垂直の高域成分を抽出するバンドパスフィルタと、ローパスフィルタから出力される狭帯域の輝度信号とバンドパスフィルタで抽出された高域成分とを、上記映像処理装置での第１の相関抽出手段で抽出されたフレーム相関に応じた割合で加算する加算手段とを備えたものである。

また、本発明による撮像装置は、撮像素子によって得られた映像信号から色差信号を生成する生成手段と、色差信号のフレーム相関を抽出する第２の相関抽出手段と、第２の相関抽出手段で抽出されたフレーム相関に応じて色差信号のランダム雑音を低減する第３の処理手段と、第３の処理手段で処理された色差信号をデータ圧縮する第２のデータ圧縮手段とを備えたものである。

また、本発明による撮像装置は、上記映像処理装置での第１の処理手段と上記映像処理装置での第２の処理手段との間に、ガンマ処理手段を設けたものである。

また、本発明による撮像装置は、輝度信号のフレーム相関を検出する第３の相関抽出手段と、第３の相関抽出手段によって検出されたフレーム相関に応じて、輝度信号のフレーム内の処理特性が変化する第４の処理手段と、第３の相関抽出手段によって検出されたフレーム相関に応じて、輝度信号のランダム雑音を低減する処理特性を可変とする第５の処理手段とを備えた映像処理手段と、映像処理手段によって処理された輝度信号を、撮像素子によって得られた映像信号からの色差信号とともに、変調する変調手段とを設け、変調手段の出力信号をモニタなどに供給するものである。

また、本発明による撮像装置は、上記第４の処理手段は、上記映像処理装置のローパスフィルタで出力される狭帯域の輝度信号と上記映像処理装置のバンドパスフィルタから出力される輝度信号の高域成分とを、第３の相関抽出手段で抽出されるフレーム相関に応じた割合で加算する加算手段を有するものである。

本発明によれば、フレーム間の相関が高い画素では、フレーム間の相関を利用したフィルタ処理特性でランダム雑音を除去でき、フレーム間の相関が低い画素でも、フレーム内処理を施して水平，垂直方向の周波数帯域を制限するので、充分な雑音の低減効果が得られ、データ圧縮率の向上を図ることができる。また、フレーム間の相関が低い画素は、動きがある被写体の映像の画素であるから、フレーム内処理で圧縮前の信号の周波数帯域を制限しても、視覚的には解像度劣化を生じることがない。このように、画素毎のフレーム間の相関に応じて、常にフレーム間処理による雑音の低減か、あるいは視覚的に冗長なデータである被写体の動きを表わす高域成分を削除するかするため、被写体の影響を受けることなく、大きな雑音低減効果を得ることができる。その結果、従来と同様の画質を得るものであれば、圧縮後のデータ量を従来技術よりも低減することができるし、圧縮後のデータ量を従来と同様とすれば、従来技術よりも画質劣化が少ない映像を得ることができる。

また、本発明によれば、データ圧縮のパラメータによる高圧縮化とは異なり、圧縮単位であるマクロブロックより狭い画素単位で細かく不要データを削除することができるため、ブロック雑音を発生させずに大きなデータ圧縮効果が期待できる。また、設定されたデータ圧縮率に応じてフィルタ処理特性の制御や周波数特性の制御を行なうものではなく、視覚的に不要な部分や冗長である部分を削除するものであるから、ブロック雑音などによる画質の劣化や解像度の劣化を伴うことなく、効率の良いデータ圧縮を行なうことができる。

以下、本発明の実施形態を図面を用いて説明する。

図１は本発明による映像処理装置の一実施形態を示すブロック図であって、１０は水平垂直フィルタ、２０は特性制御回路、３０はＦＮＲ（Field Noise Reduction：フィールド雑音低減）回路、３１はフレームメモリ、３２は加算回路、３３は帰還制御回路、３４はフレーム相関抽出回路、４０はデータ圧縮回路である。

同図において、入力映像信号は、特性制御回路２０によって水平方向と垂直方向の高域成分をカットする周波数特性が制御される水平垂直フィルタ１０を通して、ＦＮＲ回路３０に供給される。この水平垂直フィルタ１０は、例えば、映像信号の水平方向の高域成分をカットする水平フィルタと垂直方向の高域成分をカットする垂直フィルタとで構成され、これら水平フィルタと垂直フィルタの通過帯域が特性制御回路２０によって制御される。

ＦＮＲ回路３０では、この水平垂直フィルタ１０からの映像信号が加算回路３２を介してデータ圧縮回路４０に出力されるとともに、フレームメモリ３１に供給されて記憶される。このフレームメモリ３１は映像信号を１フレーム期間遅延するものであって、水平垂直フィルタ１０から次に供給される映像信号のフレームと同期して読み出され、帰還制御回路３３を通して加算回路３２に供給される。

また、ＦＮＲ回路３０では、水平垂直フィルタ１０からの映像信号とフレームメモリ３１から読み出される１つ前のフレームの映像信号とがフレーム相関抽出回路３４に供給され、これら前後するフレーム間の相関（差分値）が画素毎に抽出される。帰還制御回路３３は、フレームメモリ３１から読み出される１つ前のフレームの映像信号の画素毎にフレーム相関抽出回路３４で該当する画素に対して抽出されたフレーム相関の大きさ（上記差分値の大きさ）に応じた係数を乗算し、加算回路３２に供給する。

加算回路３２では、いま、帰還制御回路３３でフレームメモリ３１から読み出された映像信号の画素に乗算される係数をａとすると、この係数ａが乗算された画素と水平垂直フィルタ１０からの映像信号の画素とが加算され、この加算値が、さらに、１／（１＋ａ）倍されてフレームメモリ３１とデータ圧縮回路４０とに出力される。この係数ａが、画素毎に、フレーム相関抽出回路３４で抽出される相関値に応じて変化される。この加算動作はフレーム毎に繰り返されるものであり、従って、フレームメモリ３１と帰還制御回路３３と加算回路３２とは巡回フィルタを構成している。この巡回フィルタでは、フレーム相関抽出回路３４で抽出された上記相関値に応じて係数ａが変化し、この相関値の大きさに応じた割合で水平垂直フィルタ１０からの映像信号とフレームメモリ３１から読み出された映像信号とが加算回路３２で加算されることになる。なお、加算回路３２では、帰還制御回路３３で係数ａが乗算された映像信号に、水平垂直フィルタ１０からの映像信号に係数（１−ａ）を乗算して加算するようにしてもよい。ここで、この係数ａは、フレーム相関が高い画素ほど０．５に近くなり、フレーム相関が低い画素ほど０に近くなる。

また、フレーム相関抽出回路３４の抽出出力は特性制御回路２０に供給され、これにより、特性制御回路２０は、上記のように、水平垂直フィルタ１０からの映像信号とフレームメモリ３１から読み出される映像信号との相関の大きさに応じて、水平垂直フィルタ１０の周波数特性を画素毎に制御する。この周波数特性は、相関が低いほど高域側がより制限されるように、制御される。

ここで、映像の相関性が低いとは、フレーム間またはフィールド間で映像信号が変化する動きのある被写体の映像である。フレーム相関抽出回路３４で映像の相関性が低いと判断された画素では、特性制御回路２０が水平垂直フィルタ１０の映像信号に対する処理特性、即ち、周波数特性を、入力映像信号が帯域制限されてその水平方向と垂直方向の高域成分が抑圧されるように、制御する。また、ＦＮＲ回路３０では、帰還制御回路３３でフレームメモリ３１から読み出される映像信号の画素毎に乗算される上記の係数ａは小さく設定される。これにより、上記巡回フィルタによるフィルタ処理はほとんど行なわれず、水平垂直フィルタ１０から供給される映像信号は加算回路３２をほとんどそのままの状態で通過することになる。このように、映像の相関性が低いときには、水平垂直フィルタ１０で高域成分がより抑圧されるフィルタ処理（フレーム内のフィルタ処理）がなされ、ＦＮＲ回路３０での巡回フィルタによる処理（フレーム間のフィルタ処理）はほとんど行なわれない。

また、映像の相関性が高いとは、フレーム間またはフィールド間で映像信号の変化がなく、動きがない被写体の映像である。フレーム相関抽出回路３４で映像の相関性が高いと判断された画素では、特性制御回路２０が水平垂直フィルタ１０の映像信号に対する処理特性、即ち、周波数特性を、入力映像信号がほとんど帯域制限されないように、制御する。このため、入力映像信号はほとんどそのままの周波数特性をもって水平垂直フィルタ１０を通過し、ＦＮＲ回路３０に供給される。また、ＦＮＲ回路３０では、帰還制御回路３３でフレームメモリ３１から読み出される映像信号の画素毎に乗算される上記の係数ａは大きく設定される。これにより、水平垂直フィルタ１０から供給された映像信号に対して巡回フィルタによるフィルタ処理が行なわれ、無相関のランダム雑音が低減されることになる。このように、映像の相関性が高いときには、水平垂直フィルタ１０では帯域制限処理が行なわれず、ＦＮＲ回路３０で巡回フィルタ処理が行なわれることになり、高域成分が保存されたままランダム雑音が抑圧された映像信号が得られ、フレームメモリ３１とデータ圧縮回路４０とに供給される。このデータ圧縮回路４０には、図示しないが、ＤＶＤやＨＤＤなどの記録装置が接続されており、データ圧縮された映像信号がかかる記録装置に記録される。あるいはまた、送信装置が設けられ、このデータ圧縮回路４０でデータ圧縮された映像信号が送信されるようにしてもよい。

このように、この実施形態では、フレーム間またはフィールド間の相関に応じて、フレーム間またはフィールド間でのランダム雑音の抑圧、あるいはフレーム内またはフィールド内での高域信号を抑圧が行なわれるので、従来のフレーム間またはフィールド間でのランダム雑音の抑圧のみを行なう技術や高域成分の抑圧のみを行なう技術に比べて、映像信号をデータ圧縮する際のデータ量を効率良く減らすことができる。

また、上記の処理を画素単位で行なうことにより、きめ細かな処理が行なわれるため、大きなデータ量の削減効果を得ることができる。データ量が一定になるようにした場合、大きな画質改善効果を得ることができる。

さらに、フレーム間またはフィールド間で相関が低い映像の場合には、この映像は動く被写体の映像であるから、フレーム内またはフィールド内で周波数特性を制限しても、不要なデータ成分を除去するだけであって、視覚的に影響を及ぼすことが少なく、データ圧縮された映像信号をデータ伸長して再生表示しても、ブロック雑音もなく、解像度の劣化もない高画質の映像を得ることが可能となる。

図２は図１に示す映像処理装置を用いた本発明による撮像装置の第１の実施形態を示すブロック構成図であって、１は撮像装置、２はＣＤＳ（Correlated Double Sampling：相関二重サンプリング）／ＡＤ（アナログ・デジタル）コンバータ、３は色分離／ガンマ回路、４は色差信号生成回路、５はガンマ回路、３０ａは映像処理回路、１１は水平垂直ＬＰＦ（ローパスフィルタ）、１２は水平ＢＰＦ（バンドパスフィルタ）、１３は垂直ＢＰＦ、１４は加算回路、１５，１６は乗算回路、３０ａはＦＮＲ回路であり、図１に対応する部分には同一符号を付けて重複する説明を省略する。

同図において、撮像素子１の出力信号はＣＤＳ／ＡＤコンバータ２に供給される。このＣＤＳ／ＡＤコンバータ２では、ＣＤＳ回路によって撮像素子１の出力信号から画素毎の信号成分が抽出され、ＡＤコンバータによって画素毎の信号成分がデジタル信号に変換される。このデジタル信号は色分離／ガンマ回路３に供給され、Ｒ（赤），Ｇ（緑），Ｂ（青）の色信号が生成されるとともに、これら色信号がガンマ処理される。ガンマ処理された色信号は色差信号生成回路４に供給され、色差信号Ｒ−Ｙ，Ｂ−Ｙが生成されてＦＮＲ回路３０ａに供給される。このＦＮＲ回路３０ａは、図１に示すＦＮＲ回路３０と同様の構成をなして、夫々の色差信号Ｒ−Ｙ，Ｂ−Ｙに対して上記のフレーム間の相関が抽出され、巡回フィルタが抽出された相関値に応じたフィルタ処理を施す。このようにフィルタ処理されたこれら色差信号Ｒ−Ｙ，Ｂ−Ｙは、データ圧縮回路４０に供給される。

また、ＣＤＳ／ＡＤコンバータ２から出力されるデジタル信号は、水平垂直フィルタ１０に供給されて輝度信号Ｙが生成される。この輝度信号Ｙは、ガンマ回路５でガンマ処理され、ＦＮＲ回路３０でフィルタ処理されてデータ圧縮回路４０に供給される。

ＦＮＲ回路３０と水平垂直フィルタ１０と特性制御回路２０とは図１で説明した映像処理装置を構成するものであって、ＦＮＲ回路３０は図１に示す構成をなして、そのフレーム相関抽出回路３４（図１）で抽出される上記の相関値が特性制御回路２０に供給され、この特性制御回路２０はこの相関値に応じて水平垂直フィルタ１０の周波数特性を制御する。

水平垂直フィルタ１０は、ＣＤＳ／ＡＤコンバータ２から出力されるデジタル信号が供給される水平垂直ＬＰＦ１１，水平ＢＰＦ１２，垂直ＢＰＦ１３と、水平ＢＰＦ１２と垂直ＢＰＦ１３との出力信号に夫々係数を乗算する乗算回路１５，１６と、水平垂直ＬＰＦ１１の出力信号と乗算回路１５，１６の出力信号とを加算する加算回路１４とから構成されている。

撮像素子１には、撮像面に市松模様に色分離フィルタが設けられ、これら色分離フィルタを介して撮像が行なわれることにより、この色分離フィルタの走査方向の配列間隔に応じた周波数帯域の色成分が輝度成分に重畳された信号が得られ、これがＣＤＳ／ＡＤコンバータ２で処理されてデジタル信号となり、色分離／ガンマ回路１２や水平垂直フィルタ１０に出力されるのであるが、水平垂直フィルタ１０における水平垂直ＬＰＦ１１は供給されるデジタル信号での水平，垂直方向のかかる色成分を含む高域の情報成分（以下、高域成分という）を除去し、高域が制限された低域の輝度成分Ｙ_Lを抽出するものである。また、水平ＢＰＦ１２は、水平垂直ＬＰＦ１１で除去された高域成分の一部の色成分を含まない水平方向の高域の情報成分（これは輝度信号の水平方向の高域成分であって、以下、水平方向高域輝度成分という）Ｙ_HHを抽出し、垂直ＢＰＦ１３は、水平垂直ＬＰＦ１１で除去された高域成分の一部の色成分を含まない垂直方向の高域の情報成分（これは輝度信号の垂直方向の高域成分であって、以下、垂直方向高域輝度成分という）Ｙ_VHを抽出する。

水平ＢＰＦ１２から出力される水平方向高域輝度成分Ｙ_HHは、乗算回路１８で係数が乗算されて加算回路１４に供給され、また、垂直ＢＰＦ１３から出力される垂直方向高域輝度成分Ｙ_VHも、乗算回路１９で係数が乗算されて加算回路１４に供給され、水平垂直ＬＰＦ１１からの低域輝度成分Ｙ_Lと加算されて輝度信号Ｙが生成される。

水平垂直ＬＰＦ１１は、水平方向のＬＰＦと垂直方向のＬＰＦとからなり、垂直方向のＬＰＦでは、周知のように、映像信号を書き込み、読み出すフレームメモリあるいはラインメモリが用いられ、このフレームメモリあるいはラインメモリでの読出し方向を書込み方向とは直交する方向とし、このように読み出されて画素配列が垂直方向に変えられた映像信号をフィルタ処理をしている。そして、さらに別のフレームメモリあるいはラインメモリを用いてもとの水平方向の画素配列に逆変換されて低域の輝度信号Ｙ_Lが得られるようにする。垂直ＢＰＦ１３においても、フレームメモリあるいはラインメモリを用いた同様の画素配列の変換，逆変換が行なわれる。このために、水平垂直ＬＰＦ１１から出力される低域の輝度信号Ｙ_Lと垂直ＢＰＦ１３から出力される輝度信号の垂直方向の高域成分Ｙ_VHと水平ＢＰＦ１２から出力される輝度信号の水平方向の高域成分Ｙ_HHとの間で時間ずれが生ずるが、水平ＢＰＦ１２にメモリを設け、これでもってこの水平方向の高域成分Ｙ_VHを遅延させるなどして、かかる時間ずれが生じないようにしている。

ここで、乗算回路１５，１６での上記係数は夫々、特性制御回路２０によって画素毎に制御される。図１で説明したように、ＦＮＲ回路３０で輝度信号Ｙのフレーム相関が低いと判定された画素では、乗算回路１５，１６の係数は小さく設定され、加算回路１４からは高域成分が抑圧された狭帯域の輝度信号Ｙがデジタル信号として得られる。また、ＦＮＲ回路３０で輝度信号Ｙのフレーム相関が高いと判定された画素では、乗算回路１５，１６の係数は大きく設定され、加算回路１４からは水平ＢＰＦ１２や垂直ＢＰＦ１３で抽出された高域輝度成分Ｙ_HH，Ｙ_VHを含む広帯域の輝度信号Ｙがデジタル信号として得られる。

このようにして、水平垂直フィルタ１０９から出力される輝度信号Ｙは、ガンマ回路５でガンマ処理され、ＦＮＲ３０回路でフィルタ処理された後、データ圧縮回路４０に供給される。なお、ＦＮＲ回路３０では、図１で説明したのと同様、輝度信号Ｙが上記の狭帯域の輝度信号である場合には、巡回フィルタによるフィルタ処理がほとんどなされず、ほとんどそのままデータ圧縮回路４０に出力されるが、輝度信号Ｙが上記の広帯域の輝度信号である場合には、巡回フィルタによるフィルタ処理がなされてデータ圧縮回路４０に出力される。この実施形態においても、このデータ圧縮回路４０には、図示しないが、ＤＶＤやＨＤＤなどの記録装置が接続されており、データ圧縮された映像信号がかかる記録装置に記録される。あるいはまた、送信装置が設けられ、このデータ圧縮回路４０でデータ圧縮された映像信号が送信されるようにしてもよい。

この実施形態では、輝度信号の処理系において、ＦＮＲ回路３０内で検出される画素毎のフレーム間の相関に応じて、画素毎にフレーム間での巡回フィルタによる雑音低減とフレーム内の水平及び垂直方向の周波数帯域の制限を制御しており、フレーム間で相関が高い画素（被写体に動きがない映像の画素）に対しては、主としてＦＮＲ回路３０で巡回フィルタによる雑音低減を行ない、フレーム間で相関が低い画素（被写体に動きがある映像の画素）に対しては、水平垂直フィルタ１０で水平及び垂直方向の周波数帯域の制限を施している。このため、全ての画素がＦＮＲ回路３０で雑音低減処理が施されるか、水平垂直フィルタ１０で周波数帯域制限が施されるかするものであり、大きな雑音低減効果を得ることができる。そして、フレーム間で相関が低い画素に対して、フレーム内で周波数帯域を制限しても、映像は動く被写体を表わすものであるから、視覚上大きな弊害となるような画質劣化は生じない。換言すると、動きのある被写体の映像に関しては、輝度信号の高域成分は冗長な信号ともみなすことができ、かかる高域成分を被写体の動きの応じて削減することにより、視覚的に意味のある信号成分をデータ圧縮する成分に割り当てることができるものである。従って、データ量を一定にした場合には、画質が向上し、また、画質を一定にした場合には、データ量を削減することができる。

なお、図１における水平垂直フィルタ１０としては、一具体例として、図２に示す水平垂直フィルタ１０の構成を採ることもできる。

図３は図１に示す映像処理装置を用いた本発明による撮像装置の第２の実施形態を示すブロック構成図であって、５ａはガンマ回路、６０は演算処理回路、１５ａ，１５ｂは乗算回路、２０ａは特性制御回路、３０ｂはＦＮＲ回路、５０は演算処理回路、６０は変調回路であり、図２に対応する部分には同一符号をつけて重複する説明を省略する。

この第２の実施形態は、図２に示す撮像装置の第２の実施形態において、モニタ用などの他の用途のための映像信号も得られるようにしたものである。

同図において、図２に示した実施形態の構成に、さらに、演算処理回路５０，ガンマ回路５ａ，ＦＮＲ回路３０ｂ，特性制御回路２０ａ及び変調回路６０が追加された構成をなしている。

演算処理回路５０は演算回路１５ａ，１６ａと加算回路１４ａとから構成されている。この演算処理回路５０では、水平垂直フィルタ１０の水平ＢＰＦ１２からの水平方向高域輝度信号Ｙ_HHが乗算回路１５ａに供給されて係数が乗算され、水平垂直フィルタ１０の垂直ＢＰＦ１３からの垂直方向高域輝度信号Ｙ_VHが乗算回路１５ｂに供給されて係数が乗算され、さらに、水平垂直フィルタ１０の水平垂直ＬＰＦ１１からの低域輝度信号Ｙ_Lが加算回路１４ａに供給される。そして、この加算回路１４ａでは、この低域輝度信号Ｙ_Lと乗算回路１５ａ，１６ａから出力される高域輝度信号Ｙ_HH，Ｙ_VHとが加算され、輝度信号Ｙが生成される。

このようにして、水平垂直フィルタ１０で生成される低域輝度信号Ｙ_Lと高域輝度信号Ｙ_HH，Ｙ_VHとから生成された輝度信号Ｙは、ガンマ回路５ａでガンマ処理され、ＦＮＲ回路３０ｂでフィルタ処理された後、変調回路６０に供給される。このＦＮＲ回路３０ｂは、ＦＮＲ回路３０と同様、図１におけるＦＮＲ回路３０と同様の構成をなしており、このＦＮＲ回路３０ｂのフレーム相関抽出回路３４（図１）で抽出される上記の相関値が特性制御回路２０ａに供給される。この特性制御回路２０ａも図１における特性制御回路２０と同様の構成，同様の機能を有しており、ＦＮＲ回路３０ｂからで抽出される上記の相関値に応じて演算処理回路５０の乗算回路１５ａ，１５ｂでの係数を変化させる。これにより、演算処理回路５０から出力される輝度信号Ｙは、上記の相関値に応じて高域成分Ｙ_HH，Ｙ_VHが変化する。

ここで、ＦＮＲ３０ｂから出力される上記の相関値が小さい（フレーム間の相関が低い：映像に動きがある）場合には、特性制御回路２０ａの制御により、水平垂直フィルタ１０での乗算回路１５，１６と同様、演算処理回路５０の乗算回路１５ａ，１６ａでの上記係数は小さく設定され、これにより、演算処理回路５０からは帯域制限されて高域成分Ｙ_HH，Ｙ_VHが抑圧された輝度信号Ｙが出力される。このとき、ＦＮＲ回路３０ｂでは、図１に示すＦＮＲ回路３０と同様、巡回フィルタのフィルタ効果が抑圧されて、ガンマ処理された映像信号Ｙがほとんどそのまま変調回路６０に供給される。また、ＦＮＲ３０ｂから出力される上記の相関値が大きい（フレーム間の相関が高い：映像に動きがない）場合には、特性制御回路２０ａの制御により、水平垂直フィルタ１０での乗算回路１５，１６と同様、演算処理回路５０の乗算回路１５ａ，１６ａでの上記係数は大きく設定され、これにより、演算処理回路５０からは帯域制限されない広帯域の輝度信号Ｙが出力される。このとき、ＦＮＲ回路３０ｂでは、図１に示すＦＮＲ回路３０と同様、巡回フィルタが効果的に機能することにより、供給される輝度信号はランダム雑音が抑圧されて変調回路６０に供給される。

変調回路６０では、ＦＮＲ回路３０ａでフィルタ処理された色差信号も供給され、この色差信号とＦＮＲ回路３０ｂからの輝度信号とが変調されて（例えば、標準方式のカラー映像信号が生成されて）、モニタなどの所望の装置に供給される。

ここで、演算処理回路５０の乗算回路１５ａ，１６ａでの係数やＦＮＲ回路３０ｂでの加算回路３２や帰還制御回路３３（図２）で設定される係数（巡回フィルタの係数）は、モニタで良好な画像が得られるように、相関値に応じて制御される。即ち、水平垂直フィルタ１０での乗算回路１５，１６での係数やＦＮＲ回路３０での巡回フィルタの係数は記録装置に記録するのに適したデータ圧縮がなされるように設定でき、また、演算処理回路５０の乗算回路１５ａ，１６ａでの係数やＦＮＲ回路３０ｂでの巡回フィルタの係数は、モニタなどの目的とする所望の装置に適するように、設定できるものである。

このように、この撮像装置の第２の実施形態では、図２に示した第１の実施形態と同様の効果が得られるとともに、さらに、記録用として相応しい映像信号と変調回路６０に接続される目的の装置、例えば、モニタに相応しい映像信号とを同時に得ることができる。

なお、図３において、演算処理回路５０に水平垂直ＬＰＦと水平ＢＰＦと垂直ＬＰＦとを設け、水平垂直フィルタ１０と同じ構成としてもよい。図３に示す構成は、この演算処理回路５０にも、水平垂直フィルタ１０の水平垂直ＬＰＦ１１と水平ＢＰＦ１２と垂直ＬＰＦ１３とを併用して、構成を簡略化したものである。

また、図１〜図３に示す実施形態では、水平垂直フィルタ１０の後段にＦＮＲ３０を配置するようにしたが、これらの配置関係を逆にしてもよい。

本発明による映像処理装置の一実施形態を示すブロック構成図である。 本発明による撮像装置の第１の実施形態を示すブロック構成図である。 本発明による撮像装置の第２の実施形態を示すブロック構成図である。

符号の説明

１ 撮像装置
２ ＣＤＳ／ＡＤコンバータ
３ 色分離／ガンマ回路
４ 色差信号生成回路
５，５ａ ガンマ回路
１０ 水平垂直フィルタ
１１ 水平垂直ＬＰＦ
１２ 水平ＢＰＦ
１３ 垂直ＢＰＦ
１４，１４ａ 加算回路
１５，１６，１５ａ，１６ａ 乗算回路
２０，２０ａ 特性制御回路
３０，３０ａ，３０ｂ ＦＮＲ回路
３１ フレームメモリ
３２ 加算回路
３３ 帰還制御回路
３４ フレーム相関抽出回路
４０ データ圧縮回路
５０ 演算処理回路
６０ 変調回路

Claims (10)

1. 映像信号のフレーム間相関を検出する第１の相関抽出手段と、
   該第１の相関抽出手段によって検出された該フレーム相関に応じて、該映像信号のフレーム内のフィルタ処理特性が変化する第１の処理手段と、
   該第１の相関抽出手段によって検出された該フレーム相関に応じて、該映像信号のランダム雑音を低減するフィルタ処理特性が変化する第２の処理手段と、
   該第２の処理手段で該フレーム相関に応じたフィルタ処理特性でフレーム内処理され、該第２の処理手段で該フレーム相関に応じたフィルタ処理特性でランダム雑音低減処理された映像信号をデータ圧縮するデータ圧縮手段と
   を備えたことを特徴とする映像処理装置。
2. 請求項１において、
   前記第１の処理手段は、映像信号の水平，垂直方向の高域成分の制限特性が可変のフィルタであり、
   前記第２の処理手段は、供給される現フレームの映像信号と１つ前のフレームの映像信号とを前記フレーム間相関に応じた割合で加算することを特徴とする映像処理装置。
3. 請求項２において、
   前記第２の処理手段は、現フレームの映像信号と１つ前のフレームの映像信号とを前記フレーム間相関に応じた割合で加算する加算回路と、該加算回路の出力映像信号が記憶されるフレームメモリとを備えており、該フレームメモリに記憶された映像信号が前記１つ前のフレームの映像信号として読み出され、
   前記第１の相関抽出手段は、現フレームの映像信号と該フレームメモリから読み出された前記１つ前の映像信号とから前記フレーム相関を検出することを特徴とする映像処理装置。
4. 請求項２または３において、
   前記第１の相関抽出手段は、画素毎に前記フレーム相関を抽出し、
   前記映像信号の前記フレーム相関が低い画素に対しては、前記第１の処理手段が前記映像信号の水平，垂直方向の高域成分を抑制して帯域を制限し、かつ前記第２の処理手段が、前記１つ前のフレームの映像信号の前記加算の割合を小さくすることにより、前記ランダム雑音の低減作用を低下させ、
   前記映像信号の前記フレーム相関が高い画素に対しては、前記第１の処理手段が前記映像信号の水平，垂直方向の高域成分を抑制しないようにし、かつ前記第２の処理手段が、前記１つ前のフレームの映像信号の前記加算の割合を大きくすることにより、前記ランダム雑音の低減作用を高めさせることを特徴とする映像処理装置。
5. 撮像素子によって得られる映像信号を請求項１〜４のいずれか１つに記載の映像処理装置で処理することを特徴とする撮像装置。
6. 請求項５において、
   前記映像処理装置での前記第１の処理手段は、
   前記撮像素子によって得られる輝度信号の水平，垂直の高域成分を除去し、狭帯域の輝度信号を出力するローパスフィルタと、
   前記撮像素子によって得られる輝度信号の水平，垂直の高域成分を抽出するバンドパスフィルタと、
   該ローパスフィルタから出力される該狭帯域の輝度信号と該バンドパスフィルタで抽出された該高域成分とを、前記映像処理装置での前記第１の相関抽出手段で抽出されたフレーム相関に応じた割合で加算する加算手段と
   を備えたことを特徴とする撮像装置。
7. 請求項５または６において、
   前記撮像素子によって得られた映像信号から色差信号を生成する生成手段と、
   該色差信号のフレーム相関を抽出する第２の相関抽出手段と、
   該第２の相関抽出手段で抽出された該フレーム相関に応じて該色差信号のランダム雑音を低減する第３の処理手段と、
   該第３の処理手段で処理された該色差信号をデータ圧縮する第２のデータ圧縮手段と
   を備えたことを特徴とする撮像装置。
8. 請求項６または７において、
   前記映像処理装置での前記第１の処理手段と前記映像処理装置での前記第２の処理手段との間に、ガンマ処理手段を設けたことを特徴とする撮像装置。
9. 請求項６〜８のいずれかにおいて、
   前記輝度信号のフレーム相関を検出する第３の相関抽出手段と、該第３の相関抽出手段によって抽出された該フレーム相関に応じて、該輝度信号のフレーム内の処理特性が変化する第４の処理手段と、該第３の相関抽出手段によって検出された該フレーム相関に応じて、該輝度信号のランダム雑音を低減する処理特性が可変とする第５の処理手段とを備えた映像処理手段と、
   該映像処理手段によって処理された該輝度信号を、前記撮像素子によって得られた映像信号からの色差信号とともに、変調する変調手段と
   を設け、該変調手段の出力信号をモニタなどに供給することを特徴とする撮像装置。
10. 請求項９において、
    前記第４の処理手段は、請求項６に記載の前記ローパスフィルタで出力される狭帯域の輝度信号と請求項６に記載の前記バンドパスフィルタから出力される前記輝度信号の高域成分とを、前記第３の相関抽出手段で抽出される前記フレーム相関に応じた割合で加算する加算手段を有することを特徴とする撮像装置。

Images