JP2008262024A

JP2008262024A - 画像処理装置

Info

Publication number: JP2008262024A
Application number: JP2007104652A
Authority: JP
Inventors: Yoshinobu Okamoto; 義信岡本
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2007-04-12
Filing date: 2007-04-12
Publication date: 2008-10-30

Abstract

【課題】ＰＣＩバスを経由して画像データを表示メモリに転送する画像処理装置において、ＰＣＩバス帯域が取れない場合、転送するデータ量を少なくするためフレームレートを落としたり、画像サイズに制限を持たせるため、表示画像の品質が劣化する。
【解決手段】転送不能検出部１０５は、画像転送部１０４からの転送完了信号の数をカウントし、同期信号カウンタ１０３がカウントしているラインカウント値との差を監視する。ここで、画像データの転送が追いつかず、同期信号に基づくラインカウント値と転送完了カウント値の差が所定のしきい値を超えた場合、転送不能検出部１０５は画像転送部１０４に転送不能信号を出力する。画像転送部１０４は転送不能信号が入力された場合、転送中のそのフレームの画像データの転送をキャンセルし、その次のフレームの画像データの例えば先頭ラインから画像データ転送を再開して画像表示メモリ１０６に書き込む。
【選択図】図１

Description

本発明は画像処理装置に係り、特にアナログ画像又はディジタル画像を入力として受け、その入力画像を画像表示メモリに転送し、画像表示メモリに蓄積された画像データに基づき画像表示走査を行って画像表示する画像処理装置に関する。

現在、災害対策、犯罪防止、テロ対策のためセキュリティカメラシステムが重要な社会インフラになりつつある。このセキュリティカメラシステムの基本的な構成は、アナログカメラが所定の位置に設置され、そのアナログカメラで撮影して得られたアナログ映像信号をＨＤＤビデオレコーダに入力してディジタル映像化した後ハードディスク（ＨＤＤ）に記録し、又はＨＤＤビデオレコーダが監視画像としてマルチ画面等の画像処理を行い、表示を行う。

また、近年はネットワークカメラの普及により、カメラ側でディジタル画像がダイレクトに生成され、ネットワークを通じてＨＤＤレコーダに転送されてＨＤＤに記録するシステムがあったり、ネットワーク上を流れるカメラ画像をダイレクトに表示させたりするシステムも出現している。

ところで、監視画像を表示するハードウェアを実現するにあたり、例えば、汎用のマザーボードをプラットホームとする監視画像表示装置やＨＤＤレコーダを実現する場合、画像信号入力部、画像ディジタルデータ生成部はＰＣＩ(Peripheral Component Interconnect)ボードとして実現することが多く、ＰＣＩボードが生成した画像ディジタルデータはＰＣＩバスを介してマザーボードのメモリ上の画像メモリ領域にＤＭＡ(Direct Memory Access)転送され、中央処理装置（ＣＰＵCentral Processing Unit）が直接画像データを扱うこと無く表示を実現するいわゆるオーバーレイ機構により実現されることが多い。

現在最も普及しているＰＣＩバスはバスクロック３３ＭＨｚ、データバス幅３２ビットのインターフェースであり、１３３ＭＢｙｔｅ／秒の転送能力を有するが、更に監視画像の高画質化により、１フレームあたりの画像データのデータ量が多くなってきており、バスに負担がかかりつつある。また、ネットワーク処理やＨＤＤ記録処理のためのバス帯域も確保しつつ、オーバーレイを実現させる必要がある。

一方、大量のデータを転送するための技術として、複雑なデータ転送が可能な内部バスとは別に、単純な画像転送専用バスを追加することで内部バスに要求されるデータ転送量を削減し、システム全体のデータ転送能力を向上させる画像処理装置が従来提案されている（例えば、特許文献１参照）。

特開２００４−１７０４７５号公報

しかしながら、上記の従来の画像処理装置においては以下の課題がある。例えば、汎用のマザーボードをプラットホームとして、画像をキャプチャし、ディジタル化した画像データをマザーボード上のメモリへオーバーレイ転送を行うハードウェアを設ける装置の場合は、このハードウェアからマザーボード上のメモリにダイレクトにデータを渡すような専用バスは設けられない。従って、ＰＣＩバス上にハードウェアを設け、サウスブリッジを介してマザーボード上のメモリにＤＭＡ転送をかけてデータ転送を実現せざるを得ない。

また、ＰＣＩバスを経由して画像転送する装置とした場合において、ＰＣＩバス帯域が取れない場合、フレームレートを落としたり、画像サイズに制限を持たせたり、画像の品質を落としてデータ量を少なくする手段が取られることが多いが、以下のような課題が発生する。

第一に、フレームレートを落としたり、画像サイズに制限を持たせたり、画像の品質を落としてデータ量を少なくする手段を取った場合は画像表示品質を落とすことになり、商品力が下がる。第二に、ＰＣＩ−ＸやＰＣＩ−Ｅｘｐｒｅｓｓといったより高速なバスを採用した場合、品質を落とすことなく最大の品質の表示が実現できるが、ハードウェアのコストが上がることにより、高価な商品となる。

本発明は以上の点に鑑みなされたもので、画像データを転送しきれない場合に、そのフレームの画像データ転送をキャンセルして、次のフレームの最初又は途中から画像データの転送を開始することで、バス帯域に制限のあるハードウェアプラットホームにおいて高品質なオーバーレイ表示を実現し得る画像処理装置を提供することを目的とする。

上記の目的を達成するため、本発明の画像処理装置は、データバスを通じてディジタル画像データを画像表示メモリに転送して書き込み、画像表示メモリから読み出したディジタル画像データに基づき、画像表示走査を行って画像を表示部に表示する画像処理装置において、
入力された画像信号から、画像表示メモリに転送させるディジタル画像データと同期信号とを生成するディジタル画像データ生成手段と、同期信号を入力として受け、ディジタル画像データ生成手段から出力されるディジタル画像データの、１フレームを１周期とする水平ラインデータ出力回数をカウントする同期信号カウント手段と、ディジタル画像データ生成手段から出力されたディジタル画像データを一定ライン数分保持しつつ、所定の数のライン単位でデータバスを通じて画像表示メモリにディジタル画像データを転送すると共に、所定の数のライン単位での転送を完了する毎に転送完了信号を出力する画像転送手段と、転送完了信号の数をカウントして第１のカウント値を得ると共に、同期信号カウント手段の第２のカウント値に対する第１のカウント値の差を監視し、そのカウント値の差が所定のしきい値を超えた場合、画像転送手段に転送不能信号を出力して、画像転送手段により少なくとも転送中のフレームのディジタル画像データを破棄させると共に、破棄したフレームの次のフレームにおけるディジタル画像データの、予め定めたラインから転送を再開させる転送不能検出手段とを有することを特徴とする。

この発明では、転送不能検出手段が、同期信号カウント手段の第２のカウント値に対する第１のカウント値の差が所定のしきい値を超えた場合、ディジタル画像データ転送のためのデータバスの空きリソースを確保できず、一定のデータ量で出力されるディジタル画像データの転送が追いついていないと判断し、転送不能信号を出力して画像転送手段により少なくとも転送中のフレームのディジタル画像データを破棄させると共に、破棄したフレームの次のフレームにおけるディジタル画像データの、予め定めたライン（例えば、先頭ラインあるいは第２ライン以降の途中のライン）から転送を再開させるようにしたため、データバスが出せる転送パフォーマンスを有効に利用することができる。

また、上記の目的を達成するため、本発明の画像処理装置は、上記の画像転送手段が転送不能信号の入力数をカウントする転送不能信号カウント手段を有しており、転送不能信号カウント手段のカウント値が予め設定した所定のカウント値未満であるときは、転送不能信号が入力されたときに転送中のフレームのディジタル画像データを破棄すると共に、破棄したフレームの次のフレームのディジタル画像データの先頭ラインから転送を再開した後、１フレーム分のディジタル画像データの転送成功時は転送不能信号カウント手段をリセットし、転送不能信号カウント手段のカウント値が所定のカウント値に達したときは、転送不能信号が入力された時に転送中のフレームのディジタル画像データを破棄すると共に、破棄したフレームの次のフレームのディジタル画像データの第２ライン以降の予め定めた途中のラインから転送を再開することを特徴とする。

この発明では、転送不能信号の画像転送手段への入力数（転送不能信号の発生数）が所定のカウント値未満であるときは、画像転送手段により転送中のフレームのディジタル画像データを破棄させると共に、破棄したフレームの次のフレームのディジタル画像データの先頭ラインから転送を再開させることで、データバスが出せる転送パフォーマンスを有効に利用し、他方、転送不能信号の画像転送手段への入力数（転送不能信号の発生数）が所定のカウント値に達するような、データバスの画像転送不能の状態が所定期間連続的に発生する場合は、破棄したフレームの次のフレームの先頭ラインから転送を再開すると画面の下部領域が更新されない状態となるが、破棄したフレームの次のフレームのディジタル画像データの第２ライン以降の予め定めた途中のラインから転送を再開することで、上記の下部領域を転送不能となったフレームの次のフレームの画像で更新することができる。

本発明によれば、データバスが出せる転送パフォーマンスを有効に利用するようにしたため、固定的にフレームレートを落としたり、画像サイズに制限をもたせる従来の場合に比べて品質の良い画像表示ができる。

また、本発明によれば、転送不能信号の画像転送手段への入力数（転送不能信号の発生数）が所定のカウント値未満のときは画像表示メモリへ転送中のフレームのディジタル画像データを破棄させると共に、破棄したフレームの次のフレームのディジタル画像データの、先頭ラインから転送を再開させるようにしたため、従来に比べて高品質の画像表示ができ、特にデータバスの転送帯域に余裕があり、画像データを転送しきれない状態がごく稀な場合に有効であり、他方、データバスの画像転送不能の状態が所定期間連続的に発生する場合は、破棄したフレームの次のフレームのディジタル画像データの第２ライン以降の予め定めた途中のラインから転送を再開するようにしたため、破棄したフレームの次のフレームの先頭ラインから転送を再開すると上記の所定期間画面の下部領域が更新されない状態となる現象を転送不能となったフレームの次のフレームの画像で更新することができ、視覚上の違和感を軽減することができる。

次に、本発明に係る画像処理装置について、図面と共に詳細に説明する。図１は本発明になる画像処理装置の一実施の形態のブロック図を示す。同図において、画像入力部１０１はアナログ画像信号又はディジタル画像信号を入力する機能を有する。ディジタル画像データ生成部１０２は、入力画像信号からディジタル画像データと同期信号を生成する機能を有する。同期信号カウンタ１０３は、同期信号を入力として受け、１フレームを１周期とする出力ライン値をカウントする機能を有する。画像転送部１０４は、入力されたディジタル画像データをライン単位でデータバス１０７を通じて画像表示メモリ１０６に転送する機能を有する。転送不能検出部１０５は、同期信号と転送完了のカウント値を比較して転送不能を検出する機能を有する。

画像表示メモリ１０６は表示するディジタル画像データが書き込まれ、表示時に読み出される。画像信号生成部１０８は、データバス１０７を介して画像表示メモリ１０６から読み出されたディジタル画像データを入力として受け、そのディジタル画像データに基づき、画像表示走査を行い、モニタ１０９に画像をオーバレイ表示する。

次に、上記の構成による画像処理装置における各実施の形態の動作について、図２の画像表示走査の順番を示す図と共に説明する。

（第１の実施の形態）
まず、画像入力部１０１は、アナログ画像信号又はディジタル画像信号を入力として受け、ディジタル画像信号を出力する。入力画像信号がアナログ画像信号である場合はアナログ−ディジタル変換して得たディジタル画像信号を出力する。

次に、ディジタル画像データ生成部１０２は、画像入力部１０１から供給されたディジタル画像信号から画像表示メモリ１０６に転送させるディジタル画像データ、及び水平、垂直フレーム同期信号を生成する。同期信号カウンタ１０３は、ディジタル画像データ生成部１０２が出力した同期信号を入力として受け、ディジタル画像データ生成部１０２から入力されるディジタル画像データの、１フレームを１周期とする出力ライン値をカウントする。

画像転送部１０４は、ディジタル画像データ生成部１０２から入力されたディジタル画像データを一定ライン分保持しつつ、走査ライン単位でデータバス１０７を通じて画像表示メモリ１０６に転送し、転送を完了する毎に転送完了信号を転送不能検出部１０５に通知する。画像信号生成部１０８は、画像表示メモリ１０６に書き込まれたディジタル画像データを走査ライン単位でデータバス１０７を通じて読み出し、それを画像表示走査してモニタ１０９に画像表示させる。

また、転送不能検出部１０５は、画像転送部１０４が出力する転送完了信号の数をカウントし、同期信号カウンタ１０３がカウントしているラインカウント値との差を監視する。ここで、画像データ転送のためのデータバス１０７の空きリソースを確保できず、一定のデータ量でディジタル画像データ生成部１０２が出力する画像データに対して、画像データの転送が追いつかず、同期信号に基づくラインカウント値と転送完了カウント値の差が所定のしきい値を超えた場合、転送不能検出部１０５は画像転送部１０４に転送不能信号を出力する。

画像転送部１０４は転送不能信号が入力された場合、転送中のそのフレームの画像データの転送をキャンセルし、キャンセルしたフレームの次のフレームの画像データの先頭ライン、すなわち図２のライン０から画像データ転送を再開して画像表示メモリ１０６に書き込む。

これにより、画像信号生成部１０８により画像表示メモリ１０６から読み出されたディジタル画像データに基づくモニタ１０９のオーバーレイ画面上では転送不能となった瞬間にそのフレームのあるラインで画面更新が停止し、次フレームの画像データの先頭ラインから画面更新が再開される。なお、画像信号がＮＴＳＣ方式の場合は３０枚／秒のフレーム更新となっているため、上記のオーバーレイ画面でフレームのあるラインで画面更新が停止し、次フレームの画像データの先頭ラインから画面更新が再開されても、人間の視覚にとって違和感は殆ど生じない。

本実施の形態では、データバス１０７が出せる転送パフォーマンスを有効に利用しつつ、固定的にフレームレートを落としたり、画像サイズに制限を持たせたりする場合より品質の良い画像が表示できる。本実施の形態では、バスの転送帯域に余裕があり、転送しきれない状態がごく稀に起こる場合に有効である。

（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。本実施の形態のブロック構成は図１と同じである。また、本実施の形態において、転送不能を検出するステップまでの処理動作は第１の実施の形態と同じであるため説明を省略し、転送不能検出後の動作について説明する。

画像転送部１０４は転送不能検出部１０５から転送不能信号が入力された場合、転送中のフレームの画像データの転送をキャンセルし、そのフレームの次のフレームの画像データの途中の所定ライン、例えば図２の０ラインから２３９ラインまでの画像データの転送をキャンセルし、次のフレームの例えば図２の２４０ラインから画像データ転送を再開して画像表示メモリ１０６に書き込む。

これにより、画像信号生成部１０８により画像表示メモリ１０６から読み出されたディジタル画像データに基づくモニタ１０９のオーバーレイ画面上では転送不能となった瞬間にそのフレームのあるラインで画面更新が停止し、次のフレームの画像データに対して途中のラインから画面更新が再開される。

なお、転送不能となる事象が連続的に発生した場合、第１の実施の形態では画面上の下部領域が一定期間更新されない状態となり、視覚的な違和感が発生してしまうが、本実施の形態によれば、画面上の下部領域は転送不能となったフレームの次のフレームで更新されるため視覚的な違和感が発生しにくい。本実施の形態は、第１の実施の形態に比べてオーバーレイ画面の画像品質は劣るが、データバス１０７の転送帯域に余裕が無く、転送不能となることが多い場合に視覚的違和感が殆ど無いため有効である。

（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。本実施の形態のブロック構成は図１と殆ど同様であるが、画像転送部１０４が転送不能信号の発生数をカウントするカウンタを有している。また、本実施の形態では、転送不能検出までの処理動作は第１、第２の実施の形態と同じであるため説明を省略し、転送不能検出後の動作について説明する。

画像転送部１０４は転送不能検出部１０５から転送不能信号が入力された場合、転送中のフレームの画像データの転送をキャンセルし、転送をキャンセルしたフレームの次のフレームの画像データの先頭ライン、すなわち図２のライン０から画像データ転送を再開しつつ、入力される転送不能信号をカウンタによりカウントアップする。上記の次のフレームの１フレーム分の画像データの転送が成功した場合は、上記のカウンタをリセットする。

転送をフレームの途中でキャンセルした画像データのフレームの次のフレームの画像データの転送もフレームの途中でキャンセルするような転送不能検出が連続的に発生した場合は、画像転送部１０４内の転送不能信号計測用カウンタがカウントアップされていく。そして、そのカウンタ値が所定のしきい値に達した場合、画像転送部１０４は、転送中のフレームの画像データの転送をキャンセルし、そのフレームの次のフレームの画像データの途中の所定ライン、例えば図２の０ラインから２３９ラインまでの画像データの転送をキャンセルし、次のフレームの例えば図２の２４０ラインから画像データ転送を再開して画像表示メモリ１０６に書き込む。

これにより、画像信号生成部１０８により画像表示メモリ１０６から読み出されたディジタル画像データに基づくモニタ１０９のオーバーレイ画面上では転送不能となった瞬間にそのフレームのあるラインで画面更新が停止し、次フレームの画像データの先頭ラインから画面更新が再開されるが、転送不能となる事象が所定回数連続的に発生した場合は、その瞬間にそのフレームのあるラインで画面更新が停止し、次のフレームの画像データに対して途中のラインから画面更新が再開されるため、転送不能となる事象が所定回数連続的に発生した場合は、画面上の下部領域が更新される。

このように、本実施の形態によれば、転送不能の発生頻度が変化する（不安定である）場合に、転送不能の状況（離散的／連続的）に応じて画面更新の仕方が、視覚的な違和感が発生しにくいように適応的に変化する。本実施の形態は、データバス１０７の転送帯域の余裕が第１の実施の形態と第２の実施の形態の中間であり、また、転送不能となることが稀に起こる場合又はデータバス１０７の転送帯域の余裕が不安定である場合に有効であり、オーバーレイ画面の画像品質は第１の実施の形態と第２の実施の形態との中間の品質である。

なお、上記の３つの実施の形態の基本回路は共通であり、ハードウェアの条件、要求する品質に応じて第１〜第３の実施の形態を切り換えることも可能である。

本発明の画像処理装置の一実施の形態のブロック図である。画像表示走査の順番を示す図である。

符号の説明

１０１画像表示メモリ
１０２画像入力部
１０３ディジタル画像データ生成部
１０４同期信号カウンタ
１０５転送不能検出部
１０６画像転送部
１０７データバス
１０８画像信号生成部
１０９モニタ

Claims

データバスを通じてディジタル画像データを画像表示メモリに転送して書き込み、該画像表示メモリから読み出した前記ディジタル画像データに基づき、画像表示走査を行って画像を表示部に表示する画像処理装置において、
入力された画像信号から、前記画像表示メモリに転送させる前記ディジタル画像データと同期信号とを生成するディジタル画像データ生成手段と、
前記同期信号を入力として受け、前記ディジタル画像データ生成手段から出力された前記ディジタル画像データの、１フレームを１周期とする水平ラインデータ出力回数をカウントする同期信号カウント手段と、
前記ディジタル画像データ生成手段から出力された前記ディジタル画像データを一定ライン数分保持しつつ、所定数のライン単位で前記データバスを通じて前記画像表示メモリに前記ディジタル画像データを転送すると共に、前記所定数のライン単位での転送を完了する毎に転送完了信号を出力する画像転送手段と、
前記転送完了信号の数をカウントして第１のカウント値を得ると共に、前記同期信号カウント手段の第２のカウント値に対する該第１のカウント値の差を監視し、そのカウント値の差が所定のしきい値を超えた場合、前記画像転送手段に転送不能信号を出力して、前記画像転送手段により少なくとも転送中のフレームの前記ディジタル画像データを破棄させると共に、破棄したフレームの次のフレームにおける前記ディジタル画像データの、予め定めたラインから転送を再開させる転送不能検出手段と
を有することを特徴とする画像処理装置。
前記画像転送手段は、前記転送不能信号の入力数をカウントする転送不能信号カウント手段を有しており、前記転送不能信号カウント手段のカウント値が予め設定した所定のカウント値未満であるときは、前記転送不能信号が入力されたときに転送中のフレームの前記ディジタル画像データを破棄すると共に、破棄したフレームの次のフレームの前記ディジタル画像データの先頭ラインから転送を再開した後、１フレーム分の前記ディジタル画像データの転送成功時は前記転送不能信号カウント手段をリセットし、前記転送不能信号カウント手段のカウント値が前記所定のカウント値に達したときは、前記転送不能信号が入力されたときに転送中のフレームの前記ディジタル画像データを破棄すると共に、破棄したフレームの次のフレームの前記ディジタル画像データの第２ライン以降の予め定めた途中のラインから転送を再開することを特徴とする請求項１記載の画像処理装置。