JP2008160419A

JP2008160419A - 動き検出装置

Info

Publication number: JP2008160419A
Application number: JP2006346210A
Authority: JP
Inventors: Satoyuki Ishii; 聡之石井
Original assignee: Sanyo Electric Co Ltd; Sanyo Semiconductor Co Ltd
Current assignee: Sanyo Electric Co Ltd; System Solutions Co Ltd
Priority date: 2006-12-22
Filing date: 2006-12-22
Publication date: 2008-07-10
Also published as: KR100930448B1; KR20080059074A; TWI365670B; US20080226131A1; US7925054B2; TW200833129A

Abstract

【課題】映像信号からより正確な動き検出を行う。
【解決手段】映像信号から１フレーム間差分信号を抽出し（１０，１２）、１フレーム間差分信号を映像信号のフレームの垂直方向に対して所定周波数より低い垂直低域周波数信号と前記所定周波数以上の垂直高域周波数信号とに分離し（１４，１６，１８）、垂直低域周波数信号と垂直高域周波数信号とから映像信号のフレームの水平方向に対してそれぞれ異なる周波数帯域の信号を分離し（２０，２２）、これらの信号を混合する（２４）動き検出装置により上記課題を解決することができる。
【選択図】図１

Description

本発明は、映像信号から輝度信号と色信号とを分離する際の動きを検出するための動き検出装置に関する。

ＮＴＳＣ方式、ＰＡＬ方式のカラーテレビジョン信号では輝度信号と色信号が周波数多重されたコンポジット映像信号が使用されている。コンポジット映像信号に対してＹ／Ｃ分離処理、ノイズリダクション処理等を施すために動き検出が行われている。動き適応３次元Ｙ／Ｃ分離と呼ばれる処理では、輝度信号と色信号を分離する際に、ライン相関を利用した２次元Ｙ／Ｃ分離とフレーム相関を利用した３次元Ｙ／Ｃ分離とを動き検出結果に応じて切り替える。

また、特許文献１には、エッジを検出し、エッジ部分と判定された領域では動き検出の感度を下げて動きの誤検出を抑制した動き検出処理が開示されている。また、フレームメモリの入力信号、出力信号からそれぞれエッジを検出することによって、エッジ検出の精度を向上させている。

特開平１０−１０８０３９

ところで、映像信号から動きを検出する際においてエッジ部分で動きを誤検出する主な要因は、輝度信号と色信号のクロストークにある。例えば、ＮＴＳＣ方式では輝度信号はフレーム間で同相であるが、色信号は連続するフレーム間で逆位相である。色信号は、フレーム間で逆位相であるため、フレーム間差分信号には動き成分と色成分が含まれる。動き検出回路で、この色成分を動きと判定すると、ドット妨害やクロスカラー、映像のボケが発生する。

従来技術ではエッジ検出信号のレベルに応じて動き検出回路からの動き信号のレベルを減衰させている。エッジ検出回路では、帯域フィルタで輝度信号および色信号の変化に伴う周波数成分の変化を抽出することでエッジ成分を取り出している。

上記特許文献１の技術では、エッジと検出し辛いことが問題である。まず、輝度信号は白ピークで１００ＩＲＥであるが、変調色信号の最大振幅はカラーバーのシアンバー、レッドバーで６３ＩＲＥである。次にエッジ検出の帯域フィルタの問題がある。色信号が水平方向に変化する絵柄では、変調色信号の周波数成分は水平低域周波数に延びている。エッジ検出の帯域を水平低域に広げないと色信号が水平方向に急激に変化する絵柄では、これをエッジと検出できない場合がある。逆に水平低域に広げてエッジと検出する頻度が増した場合、映像に動きがあり、現フレーム信号と前フレーム信号で別の絵柄のエッジが重なることがある。この場合、映像が動いているにも係わらず、エッジありと判定し、動き検出感度を下げるように動作するので、動画と判定できない場合がある。

本発明は、上記課題を鑑み、映像信号からより確実に動きを検出することができる動き検出装置を提供することを目的とする。

本発明は、映像信号から１フレーム間差分信号を抽出し、前記１フレーム間差分信号から映像信号のフレームの垂直方向に対して所定周波数より低い垂直低域周波数信号と前記所定周波数以上の垂直高域周波数信号とに分離し、前記垂直低域周波数信号と前記垂直高域周波数信号とから映像信号のフレームの水平方向に対してそれぞれ異なる周波数帯域の信号を分離し、これらの信号を混合することを特徴とする動き検出装置である。

より具体的な構成は以下のようにすることができる。映像信号を１フレーム遅延するフレーム遅延部と、映像信号と、前記フレーム遅延部において遅延された映像信号と、の差を出力する減算器と、前記減算器の出力信号から映像信号のフレーム垂直方向に対する所定周波数帯域を分離して出力する第１垂直周波数フィルタと、前記減算器の出力信号から映像信号のフレーム垂直方向に対する前記第１垂直周波数フィルタより低い周波数帯域を分離して出力する第２垂直周波数フィルタと、前記第１垂直周波数フィルタの出力信号から映像信号のフレーム水平方向に対する所定周波数帯域を分離して出力する第１水平低域通過フィルタと、前記第２垂直周波数フィルタの出力信号から映像信号のフレーム水平方向に対する前記第１水平低域通過フィルタよりも広い周波数帯域を分離して出力する第２水平低域通過フィルタと、前記第１水平低域通過フィルタからの出力信号と前記第２水平低域通過フィルタからの出力信号とを混合して出力する合成部と、を備えることを特徴とする動き検出装置である。なお、前記合成部から出力された信号に対して非線形変換処理を施してもよい。

また、より具体的な構成は以下のようにすることもできる。映像信号を１フレーム遅延するフレーム遅延部と、映像信号と、前記フレーム遅延部において遅延された映像信号と、の差を出力する減算器と、前記減算器の出力信号から映像信号のフレーム垂直方向に対する所定周波数帯域を分離して出力する第１垂直周波数フィルタと、前記減算器の出力信号から映像信号のフレーム垂直方向に対する前記第１垂直周波数フィルタより低い周波数帯域を分離して出力する第２垂直周波数フィルタと、前記第１垂直周波数フィルタの出力信号から映像信号のフレーム水平方向に対する所定周波数帯域を分離して出力する第１水平低域通過フィルタと、前記第２垂直周波数フィルタの出力信号から映像信号のフレーム水平方向に対する前記第１水平低域通過フィルタよりも広い周波数帯域を分離して出力する第２水平低域通過フィルタと、前記第１水平低域通過フィルタからの出力信号を非線形変換する第１非線形変換部と、前記第２水平低域通過フィルタからの出力信号を非線形変換する第２非線形変換部と、前記第１非線形変換部からの出力信号と前記第２非線形変換部からの出力信号とを混合して出力する合成部と、を備えることを特徴とする動き検出装置である。

これらの動き検出装置によって得られた信号では、色成分の含まれない輝度信号の動きを検出することができる。

ここで、前記第１水平低域通過フィルタがメジアン処理部を含むことが好適である。

また、前記第２水平低域通過フィルタは、１ＭＨｚ以下の通過帯域を有することがより好適である。さらに、前記第１水平低域通過フィルタは、０．５ＭＨｚ以下の通過帯域を有することが好適である。

本発明によれば、１フレーム間差分信号の垂直高域成分と垂直低域成分でそれぞれの水平周波数帯域を切り分け、垂直高域成分の水平周波数帯域をより低域に設定することで、１フレーム間差分信号に含まれる色信号を除去することで、動き成分の検出精度を向上させるものである。また、従来技術であるエッジ検出回路を不要にできる効果もある。

［第１の実施の形態］
第１の実施における動き検出装置１００は、図１に示すように、フレームメモリ１０、減算器１２、ラインメモリ１４、減算器１６、加算器１８、第１水平低域通過フィルタ２０、第２水平低域通過フィルタ２２、合成器２４、絶対値処理部２６、非線形変換部２８、フレームメモリ３０、減算器３２、絶対値処理部３４、非線形変換部３６及び合成器３８を含んで構成される。

動き検出装置１００は、映像信号をフレームメモリ１０、減算器１２、フレームメモリ３０及び減算器３２に入力することによって、映像信号に含まれる動きを検出して出力する。以下、動き検出装置１００を構成する各部について説明する。

フレームメモリ１０は、入力した映像信号を１フレーム期間だけ遅延させて減算器１２へ出力する。

減算器１２は、外部から入力される映像信号を受けて、フレームメモリ１０において１フレーム期間遅延された映像信号との差分を算出し、１フレーム間差分信号としてラインメモリ１４、減算器１６及び加算器１８へ出力する。ＮＴＳＣ方式では、色副搬送波の位相は１フレーム毎に反転するので、１フレーム間差分信号には、動きの成分と色信号成分が含まれる。

ラインメモリ１４は、減算器１２によって、得られた１フレーム間差分信号を受けて、１ライン期間だけ遅延して減算器１６および加算器１８へ出力する。

減算器１６は、減算器１２によって得られた１フレーム間差分信号を受けて、ラインメモリ１４において１ライン期間遅延された１フレーム間差分信号との差分を算出し、第１水平低域通過フィルタ２０へ出力する。すなわち、減算器１６は、映像信号のフレームの垂直方向に向けて所定の周波数以上の周波数帯域の信号成分（以下、垂直高周波成分という）を抽出して第１水平低域通過フィルタ２０へ出力する。このとき、図２に示すように、加算器１８から出力される周波数成分よりも高周波数側の信号成分が抽出される。より具体的には、垂直方向への最大周波数ｆｖｍの略１／２以上の高周波数側の信号成分が抽出される。

加算器１８は、減算器１２によって得られた１フレーム間差分信号を受けて、ラインメモリ１４において１ライン期間遅延された１フレーム間差分信号との和を算出し、第２水平低域通過フィルタ２２へ出力する。加算器１８は、映像信号のフレームの垂直方向に向けての所定の周波数より低い周波数帯域の信号成分（以下、垂直低周波成分という）を抽出して第２水平低域通過フィルタ２２へ出力する。このとき、図２に示すように、減算器１６から出力される周波数成分よりも低周波数側の信号成分が抽出される。より具体的には、垂直方向への最大周波数ｆｖｍの略１／２より低い低周波数側の信号成分が抽出される。

第１水平低域通過フィルタ２０は、減算器１６で抽出された映像信号の垂直高周波成分から、映像信号のフレームの水平方向に向けての第１の閾値周波数ｆｈ１以下の周波数帯域の信号成分を抽出して合成器２４へ出力する。第２水平低域通過フィルタ２２は、加算器１８で抽出された映像信号の低周波成分から、映像信号のフレームの水平方向に向けての第２の閾値周波数ｆｈ２以下の周波数帯域の信号成分を抽出して合成器２４へ出力する。ここでは、第１の閾値周波数ｆｈ１は第２の閾値周波数ｆｈ２よりも低く設定する。すなわち、図３に示すように、第２水平低域通過フィルタ２２から出力される信号の周波数成分（水平周波数成分）が第１水平低域通過フィルタ２０から出力される信号の周波数成分（水平周波数成分）よりも広くなるように第１及び第２の閾値周波数ｆｈ１，ｆｈ２を設定する。

より具体的には、第２の閾値周波数ｆｈ２はフィルタ遮断周波数が映像信号の色成分の搬送信号の周波数（ＮＴＳＣでは約３．５８ＭＨｚ、ＰＡＬでは約４．４３ＭＨｚ）以下となるように設定することが好ましい。特に、フィルタ遮断周波数が１ＭＨｚ以下に設定することがより好適である。また、第１の閾値周波数ｆｈ１は、第２の閾値周波数ｆｈ２よりも低く設定され、そのフィルタ遮断周波数が０．５ＭＨｚ以下に設定されることがより好適である。

このように、本実施の形態の動き検出装置１００は、信号に含まれる垂直周波数の領域に応じて適用する水平低域通過フィルタを変えることによって、図３に示すように、高い垂直周波数領域の信号に対して狭い水平周波数帯域の信号が抽出され、低い垂直周波数領域の信号に対しては広い水平周波数帯域の信号が抽出されるようにフィルタリング処理する。

合成器２４は、第１水平低域通過フィルタ２０及び第２水平低域通過フィルタ２２から出力された信号を受けて、それらの信号を混合して出力する。すなわち、合成器２４はミキサー回路として機能する。

絶対値処理部２６は、合成器２４において得られた信号の正負の極性を取り除いて非線形変換部２８へ出力する。非線形変換部２８は、絶対値処理部２６において処理された信号のビット圧縮処理を行う。例えば、８ビットで表されていた信号を３ビットに変換する処理等を行う。

フレームメモリ３０は、外部から入力される映像信号を受けて、２フレーム（２画面）分の映像信号のデータを格納及び保持する。フレームメモリ３０は、２フレーム分の映像信号を格納しつつ、格納された映像信号を２フレーム期間だけ遅延させて減算器３２へ出力する。すなわち、フレームメモリ３０は、２フレーム遅延回路として機能する。

減算器３２は、外部から入力される映像信号を受けて、フレームメモリ３０において２フレーム期間遅延された映像信号との差分を算出し、２フレーム間差分信号として絶対値処理部３４へ出力する。ＮＴＳＣ方式では、２フレーム間離れた２つの信号間では、輝度信号、色信号はともに同相であるので、２フレーム間差分信号には輝度信号と色信号の２フレーム間の動き成分が含まれている。

絶対値処理部３４は、減算器３２において得られた信号の正負の極性を取り除いて非線形変換部３６へ出力する。非線形変換部３６は、絶対値処理部３４において処理された信号のビット圧縮処理を行う。具体的には、８〜９ビットで表されていた信号を２〜４ビットに変換する。

合成器３８は、非線形変換部２８及び非線形変換部３６からの出力を混成して動き検出信号として出力する。動き検出信号には、輝度成分の信号と色成分の信号とが混成されている。これにより、いずれか一方の成分の信号から動きを検出することができる。特に、非線形変換部２８から出力される信号には、図３に示すように、動き検出に有効なエッジを強調した周波数帯域の信号成分のみが含まれているので、従来よりも高い確度及び精度で動きを検出することができる。

[第２の実施の形態]
第２の実施における動き検出装置２００は、図４に示すように、フレームメモリ１０、減算器１２、ラインメモリ１４、減算器１６、加算器１８、第１水平低域通過フィルタ２０、第２水平低域通過フィルタ２２、絶対値処理部４０ａ，４０ｂ、非線形変換部４２ａ，４２ｂ、合成器４４、フレームメモリ３０、減算器３２、絶対値処理部３４、非線形変換部３６及び合成器３８を含んで構成される。

動き検出装置２００において動き検出装置１００と同じ機能を有する構成部には同じ符号を付して説明を省略する。

絶対値処理部４０ａは、第１水平低域通過フィルタ２０から出力された信号の正負の極性を取り除いて非線形変換部４２ａへ出力する。非線形変換部４２ａは、絶対値処理部４０ａにおいて処理された信号のビット圧縮処理を行う。絶対値処理部４０ｂは、第２水平低域通過フィルタ２２から出力された信号の正負の極性を取り除いて非線形変換部４２ｂへ出力する。非線形変換部４２ｂは、絶対値処理部４０ｂにおいて処理された信号のビット圧縮処理を行う。

合成器４４は、非線形変換部４２ａ，４２ｂから出力された信号を混合して合成器３８へ出力する。合成器３８は、合成器４４から出力された信号と、非線形変換部３６から出力された信号とを混合して出力する。

以上のように、第２の実施形態では、第１水平ＬＰＦ２０および第２水平ＬＰＦ２２の出力信号を混合する前に非線形変換処理を行うので、１フレーム間差分信号の垂直高域成分と垂直低域成分でそれぞれ最適な非線形特性を設定することができる。すわなち、非線形変換部４２ａをより静止画に判定し易い図５の特性ｂを選ぶことで１フレーム間差分信号に含まれる色成分の影響をさらに低減し、動き検出の精度を向上させることができる

［第３の実施の形態］
第３の実施における動き検出装置３００は、図６に示すように、フレームメモリ１０、減算器１２、ラインメモリ１４、減算器１６、加算器１８、第２水平低域通過フィルタ２２、処理回路３０２、絶対値処理部４０ａ，４０ｂ、非線形変換部４２ａ，４２ｂ、合成器４４、フレームメモリ３０、減算器３２、絶対値処理部３４、非線形変換部３６及び合成器３８を含んで構成される。

動き検出装置３００において動き検出装置２００と同じ機能を有する構成部には同じ符号を付して説明を省略する。第３の実施の形態では、第１水平低域通過フィルタ２０の代りに、処理回路３０２ａ，３０２ｂを備えることを特徴としている。

以下、処理回路３０２を色副搬送波の４逓倍のクロックで駆動する場合で説明する。処理回路３０２は、図７に示すように、メジアン処理部５０、クロック遅延回路５２ａ、５２ｂ、反転器５３ａ、５３ｂおよび減算器５４を含んで構成することができる。このクロック遅延回路５２ａ、５２ｂは、２クロック分の遅延回路として動作する。クロック遅延回路５２ａは、減算器１６から受けた信号を２クロック遅延して、メジアン処理部５０および減算器５４へ出力する。また、クロック遅延回路５２ｂは、クロック遅延回路５２ａから受けた信号を２クロック分遅延し、反転器５３ｂを介してメジアン処理部５０へ出力する。

メジアン処理部５０は、反転器５３ａ、５３ｂおよびクロック遅延回路５２ａからの出力信号を受けて、それらの信号値の中央値を抽出して減算器５４へ出力する。色副搬送波の４逓倍のクロックで駆動され、２クロック分離れた画素が入力する。減算器１６およびクロック遅延回路５２ｂからは反転器を介して入力される。色信号の変化がステップ状であれば、メジアン処理部５０からの出力信号はクロック遅延回路５２ａからの信号が出力される。

減算器５４はメジアン処理部５０、クロック遅延回路５２ａからの出力信号を受けて、それらの信号の差を算出して合成器２４へ出力する。色信号がステップ状に変化する絵柄ではメジアン処理部５０からの出力信号とクロック遅延回路５２ａからの出力信号は一致するので、減算器５４で色信号成分を打ち消し合うことができる。

このように、第１水平低域通過フィルタ２０をメジアン処理部５０を有する処理回路３０２に変更しても動き検出装置２００と同等の作用を得ることができる。同様に、図８に示す動き検出装置４００のように、第１の実施の形態における動き検出装置１００における第１水平低域通過フィルタ２０をメジアン処理部５０を有する処理回路３０２に変更してもよい。

第１の実施の形態における動き検出装置の構成を示す図である。本発明の実施の形態における動き検出処理を説明する図である。本発明の実施の形態における動き検出処理を説明する図である。第２の実施の形態における動き検出装置の構成を示す図である。第２の実施の形態における動き検出の特性を示す図である。第３の実施の形態における動き検出装置の構成を示す図である。メジアン処理部を有する処理回路の基本構成を示す図である。第４の実施の形態における動き検出装置の構成を示す図である。

符号の説明

１０フレームメモリ、１２減算器、１４ラインメモリ、１６減算器、１８加算器、２０第１水平低域通過フィルタ、２２第２水平低域通過フィルタ、２４合成器、２６絶対値処理部、２８非線形変換部、３０フレームメモリ、３２減算器、３４絶対値処理部、３６非線形変換部、３８合成器、４０ａ（第１）絶対値処理部、４０ｂ（第２）絶対値処理部、４２ａ（第１）非線形変換部、４２ｂ（第２）非線形変換部、４４合成器、５０メジアン処理部、５２ａ，５２ｂ画素メモリ、５４減算器、１００，２００，３００動き検出装置、３０２メジアン処理回路。

Claims

映像信号を１フレーム遅延するフレーム遅延部と、
映像信号と、前記フレーム遅延部において遅延された映像信号と、の差を出力する減算器と、
前記減算器の出力信号から映像信号のフレーム垂直方向に対する所定周波数帯域を分離して出力する第１垂直周波数フィルタと、
前記減算器の出力信号から映像信号のフレーム垂直方向に対する前記第１垂直周波数フィルタより低い周波数帯域を分離して出力する第２垂直周波数フィルタと、
前記第１垂直周波数フィルタの出力信号から映像信号のフレーム水平方向に対する所定周波数帯域を分離して出力する第１水平低域通過フィルタと、
前記第２垂直周波数フィルタの出力信号から映像信号のフレーム水平方向に対する前記第１水平低域通過フィルタよりも広い周波数帯域を分離して出力する第２水平低域通過フィルタと、
前記第１水平低域通過フィルタからの出力信号と前記第２水平低域通過フィルタからの出力信号とを混合して出力する合成部と、
を備えることを特徴とする動き検出装置。
映像信号を１フレーム遅延するフレーム遅延部と、
映像信号と、前記フレーム遅延部において遅延された映像信号と、の差を出力する減算器と、
前記減算器の出力信号から映像信号のフレーム垂直方向に対する所定周波数帯域を分離して出力する第１垂直周波数フィルタと、
前記減算器の出力信号から映像信号のフレーム垂直方向に対する前記第１垂直周波数フィルタより低い周波数帯域を分離して出力する第２垂直周波数フィルタと、
前記第１垂直周波数フィルタの出力信号から映像信号のフレーム水平方向に対する所定周波数帯域を分離して出力する第１水平低域通過フィルタと、
前記第２垂直周波数フィルタの出力信号から映像信号のフレーム水平方向に対する前記第１水平低域通過フィルタよりも広い周波数帯域を分離して出力する第２水平低域通過フィルタと、
前記第１水平低域通過フィルタからの出力信号を非線形変換する第１非線形変換部と、
前記第２水平低域通過フィルタからの出力信号を非線形変換する第２非線形変換部と、
前記第１非線形変換部からの出力信号と前記第２非線形変換部からの出力信号とを混合して出力する合成部と、
を備えることを特徴とする動き検出装置。
請求項１又は２に記載の動き検出装置であって、
前記第１水平低域通過フィルタがメジアン処理部を含むことを特徴とする動き検出装置。
請求項１〜３のいずれか１つに記載の動き検出装置であって、
前記第２水平低域通過フィルタは、１ＭＨｚ以下の通過帯域を有することを特長とする動き検出装置。
請求項１〜４のいずれか１つに記載の動き検出装置であって、
前記第１水平低域通過フィルタは、０．５ＭＨｚ以下の通過帯域を有することを特長とする動き検出装置。
映像信号から１フレーム間差分信号を抽出し、
前記１フレーム間差分信号から映像信号のフレームの垂直方向に対して所定周波数より低い垂直低域周波数信号と前記所定周波数以上の垂直高域周波数信号とに分離し、
前記垂直低域周波数信号と前記垂直高域周波数信号とから映像信号のフレームの水平方向に対してそれぞれ異なる周波数帯域の信号を分離し、
これらの信号を混合することを特徴とする動き検出装置。