JP2009055380A - 画像信号処理装置および画像信号処理方法 - Google Patents

Abstract

【課題】インターレース動画像データの表示において発生する動体の画像ずれを、小さなＣＰＵ負荷で、かつ、簡易な操作・設定で補正することを目的とする。
【解決手段】本発明に係る画像信号処理方法は、インターレース動画像データから１フレームの静止画を表示する工程Ｓ３と、前記静止画上に第１、第２のポインターを設定する工程（Ｓ４，Ｓ５）とを備える。そして、前記第１、第２のポインターに対応する座標位置の差分をオフセット値として算出する工程Ｓ６と、前記１フレームの静止画を構成する奇数、偶数フィールドの表示位置を前記オフセット値に応じて相対的に補正する工程Ｓ８とを備える。
【選択図】図５

Description

本発明は、インターレース動画像データの画像を静止画として表示する際に、画像のずれを補正する画像信号処理装置および画像信号処理方法に関するものである。

従来、インターレース動画像データから１フレームの静止画を表示すると、動体の動きが速い場合には、その動体の静止画を構成する奇数フィールド、偶数フィールドの間に画像ずれが生じる場合がある。動体の静止画における画像ずれを補正処理する画像信号処理装置および画像信号処理方法として、特許文献１に記載されたものが知られている。

特許文献１に記載の画像信号処理装置および画像信号処理方法では、インターレース動画像データを再生し、再生画像の動き部分を検出した後に、検出した動き部分に相当する画素データに対して所定のフィールド補間処理を施す。これにより、動体の画像ずれを補正する構成になっている。

特開平９−３０７８５７号公報

しかしながら、特許文献１に記載の画像信号処理装置および画像信号処理方法では、正確な動き検出を実現するため、背景差分検出や動体の動きベクトル抽出を行う高度な演算処理や検出アルゴリズムが必要となる。そのため、補正処理時のＣＰＵ負荷が大きいという問題があった。また、従来の動き検出は、所詮、輝度情報の変化を求めているにすぎず、動き検出の精度は、背景の状態により大きく影響を受ける。そのため、着目する動体に対し、精度の高い補正を行うことができない場合があるという問題があった。

本発明は、上記のような問題点を解決するためになされたものであり、インターレース動画像データの静止画表示において発生する動体の画像ずれを、小さなＣＰＵ負荷で、かつ、簡易な操作・設定で補正することを目的とする。

請求項１に係る画像信号処理装置は、インターレース動画像データから１フレームの静止画を表示する表示手段と、前記静止画上に第１、第２のポインターを設定する設定手段とを備える。そして、前記第１、第２のポインターに対応する座標位置の差分をオフセット値として算出する算出手段と、前記１フレームの静止画を構成する奇数、偶数フィールドの表示位置を前記オフセット値に応じて相対的に補正する補正手段とを備える。

本発明の画像信号処理装置によれば、インターレース動画像データの表示において発生する動体の画像ずれを、小さなＣＰＵ負荷で、かつ、簡易な操作・設定で補正することができる。

＜実施の形態１＞
図１は、本実施の形態に係る画像信号処理装置の構成を示す図である。図１に示すように、本実施の形態に係る画像信号処理装置は、デジタルレコーダー１と、パーソナルコンピュータ（ＰＣ）２と、入力装置３と、表示装置４とを備える。

デジタルレコーダー１は、インターレース動画像データや、対応する付加情報を関連付けてデジタル情報として記憶媒体に記録する。インターレース動画像データは、例えば、カメラ撮影した画像のデータであり、そのフレームは、図２（ａ）に示すような奇数フィールドの画像と、図２（ｂ）に示すような偶数フィールドの画像とからなる。付加情報には、例えば、録画時間が該当する。記憶媒体には、例えば、ＨＤＤ（ハードディスクドライブ）が該当する。

ＰＣ２は、本実施の形態では、図１に示すように、ＬＡＮ接続部２１と、制御部２２と、記憶装置２３と、表示ドライバー２４とを備える。ＰＣ２は、デジタルレコーダー１から、インターレース動画像データや、対応する付加情報を、ＬＡＮなどの伝送網を介してＬＡＮ接続部２１より取得する。

制御部２２は、本実施の形態では、図示しないＣＰＵ（Central Processing Unit）と、メモリーと、補正処理用バッファメモリーと、読み出しレジスタとを備える。ＰＣ２は、制御部２２により、ＬＡＮ接続部２１において取得した動画像データを、記憶装置２３に再記録する。また、ＰＣ２は、制御部２２により、ＬＡＮ接続部２１において取得した動画像データを表示ドライバー２４を介して表示装置４に表示する。制御部２２は、使用者からの操作に応じて制御を行う。使用者からの操作は、入力装置３を介して行われる。入力装置３には、例えば、キーボード、マウスが該当する。本実施の形態では、入力装置３は、マウスであるものとする。

制御部２２は、デジタルレコーダー１からのインターレース動画像データから、プログレッシブ画像、例えば、ＶＧＡ（Video Graphics Array）画像に変換し、変換した画像を表示装置４に表示する制御を行う。デジタルレコーダー１からのインターレース動画像データが、図２（ａ）に示す奇数フィールド画像と、図２（ｂ）に示す偶数フィールド画像とからなる場合、制御部２２は、これらの画像を図２（ｃ）に示すプログレッシブな画像に変換し、その画像を表示装置４において表示する。

記憶装置２３は、制御部２２により制御される。この記憶装置は、ＰＣ２に組み込まれた内蔵ＨＤＤの他、ＳＤメモリーカードなどのリムーバブルメディアを含む。

ここまでは、従来の画像信号処理装置の構成と同じである。従来の画像信号処理装置においても、背景画のように動きのない静止体を表示する場合には、インターレース動画像データの垂直同期信号や水平同期信号を起点として、プログレッシブ画像に変換表示しても、画像ずれなどの問題は発生しない。これに対し、デジタルレコーダー１が、例えば、監視用途に用いられ、暴走車のナンバープレートの動画像がデジタルレコーダー１に記録されていた場合を想定する。この場合に、動画像を静止させても、フィールド画像間で画像ずれが生じる。ここで、簡単のため、暴走車のナンバープレートを円図形として表した場合の静止画を図３（ａ）に示す。このように、静止画であってもフィールド画像間で画像ずれが生じるため、ナンバープレートの番号を正しく読み取れないという問題があった。

そこで、この問題を解決する本実施の形態に係る画像信号処理装置の補正処理について、以下説明する。本実施の形態に係る画像信号処理装置は、後述する表示手段と、設定手段と、算出手段と、補正手段と、記録手段とを備える。これらの手段は、制御部２２によって行われる。本実施の形態に係る画像信号処理装置では、使用者が、図４に示す表示装置４の画面を見ながら、入力装置３を手動で操作することにより補正を行う。

ここで、図４は、デジタルレコーダー１に記録されたインターレース動画像データに対して読込／再生／補正可能なプログラムを、ＰＣ２において起動した場合に、表示装置４に表示される画面の一例を示す図である。図４に示されるように、表示装置４には、画像表示エリア４１と、再生処理操作ボタンエリア４２と、補正画像読込ボタン４３と、補正実行ボタン４４と、補正画像保存ボタン４５とが表示される。

画像表示エリア４１は、主に、デジタルレコーダー１からのインターレース動画像データを表示するエリアである。再生処理操作ボタンエリア４２は、画像表示エリア４１において表示される動画像を再生するボタン、早送りするボタン、コマ送りするボタン、停止するボタンが配置されたエリアである。補正画像読込ボタン４３は、インターレース動画像データを構成するフレームのうち、補正したい１フレームの画像を確定するためのボタンである。補正画像保存ボタン４５は、補正された静止画の画像データを、オリジナル画像の付加情報と関連付けて記憶装置２３に保存するためのボタンである。

次に、本実施の形態に係る画像信号処理装置の動作を、図５のフローチャートを用いて説明する。制御部２２は、デジタルレコーダー１に記録されたインターレース動画像データを、再生処理操作ボタンエリア４２におけるボタン操作に応じて、自己が備えるメモリーに取り込む。そして、制御部２２は、そのメモリーに取り込んだインターレース動画像データを、表示装置４の画像表示エリア４１に表示する（ステップＳ１）。本実施の形態では、制御部２２は、インターレース動画像データを、再生処理操作ボタンエリア４２の早送りボタン操作に追従させて、高速再生で表示する制御や、再生処理操作ボタンエリア４２のコマ送りボタン操作に追従させて、コマ送り再生で表示する制御を行う。

次に、補正画像読込ボタン４３が押下されたか否かを判定する（ステップＳ２）。ここで、補正画像読込ボタン４３が押下されない場合は、ステップＳ１の動画像データの表示を継続して行う。ステップＳ１を行っている間に、画像表示エリア４１において、画像ずれが大きい動体が表示された場合、使用者は、補正画像読込ボタン４３を押下する。補正画像読込ボタン４３が押下されると、制御部２２は、押下時点のインターレース動画像データを、補正処理用バッファメモリーに取込む。そして、画像表示エリア４１において表示される画像データの読み出しを、上述のメモリーから、補正処理用バッファメモリーに切替える（ステップＳ３）。こうして、表示手段である制御部２２は、インターレース動画像データから１フレームの静止画を画像表示エリア４１に表示する。

次に、制御部２２は、ステップＳ３の静止画上に、補正の起点となる第１のポインターが設定されるのを待つ（ステップＳ４）。本実施の形態では、第１のポインターは、使用者によって操作される入力装置３のマウスカーソルにて設定される。本実施の形態では、画像ずれを生じている一方フィールドの適当な目標点に、第１のポインターが設定されることを想定している。また、本実施の形態では、制御部２２は、画像表示エリア４１の静止画上に第１のポインターを多重表示する制御を行う。

次に、制御部２２は、ステップＳ３の静止画上に、補正点となる第２のポインターが設定されるのを待つ（ステップＳ５）。本実施の形態では、第２のポインターも、使用者によって操作される入力装置３のマウスカーソルにて設定される。本実施の形態では、画像ずれを生じている他方フィールドにおける前記目標点と一致すべき点に、第２のポインターが設定されることを想定している。また、本実施の形態では、制御部２２は、画像表示エリア４１の静止画上に第２のポインターを多重表示する制御を行う。このように、設定手段である制御部２２は、静止画上に第１、第２のポインターを設定する。

次に、算出手段である制御部２２は、第１、第２のポインターに対応する座標位置の差分をオフセット値として算出する（ステップＳ６）。ここで、第１のポインターに対応する座標位置は（Ｘ１，Ｙ１）であるものとし、第２のポインターに対応する座標位置は（Ｘ２，Ｙ２）であるものとする。本実施の形態では、制御部２２は、第１のポインター（Ｘ１，Ｙ１）と、第２のポインター（Ｘ２，Ｙ２）とを表示画像のラインおよび画素に対応付けており、（Ｙ１−Ｙ２）ライン分を垂直方向のオフセット値、（Ｘ１−Ｘ２）画素分を水平方向のオフセット値として算出する。

次に、補正実行ボタン４４が押下されたか否かを判定する（ステップＳ７）。補正実行ボタン４４が、例えば、所定時間経過しても押下されなかった場合には、補正処理は終了する。

補正実行ボタン４４が押下された場合、補正手段である制御部２２は、１フレームの静止画を構成する奇数、偶数フィールドの表示位置をステップＳ６のオフセット値に応じて相対的に補正する（ステップＳ８）。本実施の形態では、制御部２２は、補正処理用バッファメモリーに記憶された奇数、偶数フィールド画像の読み出しレジスタのうち、第１のポインターに対応する一方のフィールド画像の読み出しレジスタに、ステップＳ６のオフセット値を設定する。そして、制御部２２は、オフセット値に応じて補正処理した１フレームの静止画を、表示ドライバー２４を介して、表示装置４に表示する制御を行う。

その結果、図３（ａ）に示された動体の画像に発生していた画像ずれは、図３（ｂ）に示すように解消される。こうして、着目した動体の画像ずれを解消することができる。例えば、動体が暴走車である場合に、暴走車のナンバープレートに大きな画像ずれがあっても、上述の補正により、正しく読み取ることができる。

ステップＳ８の後、補正画像保存ボタン４５が押下されたか否かを判定する（ステップＳ９）。補正画像保存ボタン４５が、例えば、所定時間経過しても押下されなかった場合には、補正処理は終了する。

補正画像保存ボタン４５が押下された場合には、記録手段である制御部２２は、制御部２２により補正された静止画の画像データを、対応する動画像データの付加情報に関連付けた情報とともに、所定の記録媒体である記憶装置２３に記録する（ステップＳ１０）。ここで、補正された静止画は、本実施の形態では、補正処理用バッファメモリーの読み出しレジスタにオフセット値を設定した状態で読み出されているステップＳ８の静止画像に該当する。また、対応する動画像データの付加情報は、例えば、動画像を録画したカメラ番号、録画日時やフレーム番号が該当する。ステップＳ１０が終了すると、補正処理は終了する。

以上の動作を行う画像信号処理装置、および、画像信号処理方法によれば、インターレース動画像データの表示において発生する動体の画像ずれに対し、使用者は、静止画像の表示を見ながら、表示位置を直接ずらすことができる。こうして、簡易な操作・設定により、画像ずれを最小にすることが可能となり、見やすい画像に補正することができる。また、以上の画像ずれの補正では、補正処理用バッファメモリーの読み出しレジスタにオフセット値を与える処理しか行われていない。そのため、小さなＣＰＵ負荷で画像ずれの補正を行うことができる。

また、本実施の形態では、補正後の静止画の画像データを記憶装置２３に保存する。これにより、画像ずれのない静止画を必要に応じて保存することができる。

なお、本実施の形態では、ステップＳ９で、補正画像保存ボタン４５が押下されない場合には、補正処理を終了するものとした。しかし、これに限ったものではなく、例えば、再生処理操作ボタンエリア４２のボタン、または、補正画像読込ボタン４３がされた場合に、画像表示エリア４１に表示されている静止画の補正を解消し、補正直前の表示状態に移行するものであってもよい。そして、その後、通常の動画像表示、つまり、再生処理操作ボタン４２による各々の再生モードに従って表示状態を変更する動画像表示に移行させるものであってもよい。

実施の形態１に係る画像信号処理装置の構成を示す図である。 インターレース動画像の表示画像を示す図である。 実施の形態１に係る画像信号処理装置の効果を示す図である。 実施の形態１に係る画像信号処理装置の構成を示す図である。 実施の形態１に係る画像信号処理方法を示す図である。

符号の説明

１ デジタルレコーダー、２ ＰＣ、３ 入力装置、４ 表示装置、２１ ＬＡＮ接続部、２２ 制御部、２３ 記憶装置、２４ 表示ドライバー、４１ 画像表示エリア、４２ 再生処理操作ボタンエリア、４３ 補正画像読込ボタン、４４ 補正実行ボタン、４５ 補正画像保存ボタン。

Claims (3)

1. インターレース動画像データから１フレームの静止画を表示する表示手段と、
   前記静止画上に第１、第２のポインターを設定する設定手段と、
   前記第１、第２のポインターに対応する座標位置の差分をオフセット値として算出する算出手段と、
   前記１フレームの静止画を構成する奇数、偶数フィールドの表示位置を前記オフセット値に応じて相対的に補正する補正手段とを備える、
   画像信号処理装置。
2. 前記補正手段により補正された前記静止画の画像データを、対応する前記動画像データの付加情報に関連付けた情報とともに所定の記録媒体に記録する記録手段をさらに備える、
   請求項１に記載の画像信号処理装置。
3. （ａ）インターレース動画像データから１フレームの静止画を表示する工程と、
   （ｂ）前記静止画上に第１、第２のポインターを設定する工程と、
   （ｃ）前記第１、第２のポインターに対応する座標位置の差分をオフセット値として算出する工程と、
   （ｄ）前記１フレームの静止画を構成する奇数、偶数フィールドの表示位置を前記オフセット値に応じて相対的に補正する工程とを備える、
   画像信号処理方法。

Images