JP2007535267A - 画像処理装置及び方法 - Google Patents

Abstract

画像処理装置４４０は、例えば、関心ある対象又はラインを有する領域に対応する関心領域に関して画像フレームを走査する（ステップ３０１）ＳＩＭＤ処理装置４０１を有する。夫々の関心領域は、直交グリッドへ再走査される。次に、直交グリッドは、それらが画像ラインのより小さなサブセットへ再配置されるようにフロアプランニングを行われる。フロアプランニングは、長方形の組を圧縮フレーム部分にマッピングする。随意的に、長方形は、それらがより密集して集められることを可能にするために回転され得る。次に、ＳＩＭＤ処理装置４０１は、フロアプランニングを受けた画像データを処理する（ステップ３０７）。画像データがＳＩＭＤ処理装置によって処理されると、ＤＳＰ４０５は、フロアプランニング中に記憶された情報により、処理されたデータを新たに関連付ける（ステップ３０９）。よって、画像処理装置は、ＳＩＭＤ処理装置４０１をより効率的に使用することができる。

Description

本発明は、画像処理装置及び方法、特に、単一命令多重データ（Ｓｉｎｇｌｅ Ｉｎｓｔｒｕｃｔｉｏｎ Ｍｕｌｔｉｐｌｅ Ｄａｔａ；ＳＩＭＤ）を用い、ＳＩＭＤタスクのフロアプランニングがより効率的なＳＩＭＤ処理を提供するために使用される画像処理装置に関する。

ＳＩＭＤ処理は、超並列処理を示すアプリケーションにとって高性能な計算パラダイムである。ＳＩＭＤ処理の使用を選ぶ１つのこのようなアプリケーションは、画像処理のアプリケーションである。ＳＩＭＤ処理装置、例えばＸｅｔａｌは、それらが必要とされようとされなかろうと、夫々のデータ項目（例えば、Ｘｅｔａｌの一列となった夫々の画素）に対してそれらの動作を実行する。言い換えると、処理動作は、処理動作が必要とされるか否かに関わらず、一列となった画素に対して実行される。従って、データ分布又は希薄（ｓｐａｒｓｉｔｙ）に依存して、多くの計算労力がこの技術により浪費されうる。

いよいよ、処理アルゴリズムは、画像の一部に作用するよう開発されてきている。例えば、テレビジョン処理、工業ビジョン又は医療画像では、画像のエッジに作用することが知られる（即ち、ライン処理）。また、例えば画像通信又は３Dレンダリングのようなアプリケーションでは、画像内の別々の対象に作用して（即ち、対象処理）、不要な処理動作の量を低減することが知られる。

幾つかの解決法は、ＳＩＭＤ計算資源の効率的な使用を実現するために存在する。例えば、１つの方法は、複数のＳＩＭＤ処理装置にわたって負荷を分散することである。他の方法は、疎構造で効率的に動作するために空間データ構造を使用するアルゴリズムを提供することである。例えば、このような技術は、１９９１年に開催された、複合システムのための意志決定支援に関するＩＥＥＥ国際会議においてシェンカー（Ｓｈａｎｋａｒ）等によって発表された「疎画像のための超並列処理（Ｍａｓｓｉｖｅ ｐａｒａｌｌｅｌｉｓｍ ｆｏｒ ｓｐａｒｓｅ ｉｍａｇｅｓ）」に開示される。しかし、このようなシステムは、それらが制御及びハードウェアのオーバーヘッドを必要とするという欠点を有する。

前出の方法は、また、関心のないデータ項目を処理するという欠点も有する。
「疎画像のための超並列処理（Ｍａｓｓｉｖｅ ｐａｒａｌｌｅｌｉｓｍ ｆｏｒ ｓｐａｒｓｅ ｉｍａｇｅｓ）」、シェンカー（Ｓｈａｎｋａｒ）等、複合システムのための意志決定支援に関するＩＥＥＥ国際会議、１９９１年

本発明は、前出の欠点を伴わず、且つ、不要なデータ処理動作の数を低減する、改良された画像処理装置及び方法を提供することを目的とする。

本発明の第１の態様に従って、画像信号を受信して、画像フレーム内の関心領域を識別するよう構成された処理手段を有する画像処理装置が提供される。再走査手段は、夫々の関心領域を直交グリッドに再走査するよう構成される。次に、前記再走査された領域は、当該画像処理装置が圧縮フレーム部分の前記再配置された領域を処理するように、再走査手段によって前記圧縮フレーム部分に再配置される。

本発明は、前記圧縮フレーム部分しか処理せず、それによって、当該画像処理装置のより効率的な使用を実現するという利点を有する。

本発明の他の態様に従って、ＳＩＭＤ処理装置により画像信号を処理する方法が提供される。当該方法は、画像フレーム内の関心領域を識別するステップと、夫々の関心領域を直交グリッドに再走査するステップとを有する。次に、前記再走査された領域は、圧縮フレーム部分のみがＳＩＭＤ処理装置によって処理されるように、前記圧縮フレーム部分に再配置される。

本発明のより良い理解のために、更に、どのように本発明が実施されうるかをより明らかに示すよう、以下、一例として、添付の図面を参照する。

図１は、複数の対象３を有する画像フレーム１を示す。画像フレーム１に作用するＳＩＭＤ処理装置は、画像フレーム１内の関心領域を識別する。関心領域は、例えば、対象３が置かれた領域に対応する。

関心領域を識別した後、例えばＳＩＭＤ処理装置によって、関心領域は、例えば、同時継続特許出願ＩＤ６１２８１４に記載される技術を用いて、直交グリッド５へと再走査される。再走査処理は、ライン又は長方形に基づく領域へと画像の領域を再走査するステップを含む。その領域で、ＳＩＭＤ処理装置は、そのライン又は長方形に基づく処理を効率的に実行することができる。望ましくは、直交グリッドへの関心領域の再走査は、ライン又はエッジを列又は行に置くように実行される。しかし、これは実行不可能でありうるから、これが正確に行又は列に関して実行されることは絶対不可欠ではない。

対象３を有する関心領域は、直交グリッド５へと再走査されるので、ＳＩＭＤ処理装置によって必要とされる更なる処理の量は、低減されて、直交グリッド５の最短寸法と同じになるラインに限定される。

図１に示される配置は、ＳＩＭＤ処理装置によって実行される計算動作の回数を僅かに低減しうるが、ＳＩＭＤ処理装置は、依然として、対象が存在しないところの全ての画像部分に対して多数の不要な処理を実行する。

図２は、本発明に従って実行される画像処理動作を示す。図１に記載されるように、予備処理動作は、対象が置かれた関心領域を識別するために実行される。次に、夫々の関心領域は、直交グリッド５へと再走査される。しかし、画像データを処理する前に、関心領域に対応する直交グリッド５は、圧縮フレーム部分７へとフロアプランニングを行われる。

これは、更なる処理が、圧縮フレーム部分７に対応する画像フレーム内のラインのサブセットにしか実行される必要がないことを意味する。更に、圧縮フレーム部分７内のラインのサブセットは、関心領域により、より密集してまとめられる。

図３は、本発明の画像処理方法に従って実行されるステップをより詳細に記述する。ステップ３０１で、関心領域は、画像フレーム内で識別される。関心領域は、例えば、関心のある対象３を有する領域に対応する。ステップ３０３で、夫々の関心領域は、直交グリッドへと再走査される。

次に、ステップ３０５で、直交グリッドは、それらが、圧縮フレーム部分に対応する画像ラインのより小さなサブセットへと再配置されるようにフロアプランニングを実行される。フロアプランニング実行ステップ３０５は、長方形の組、即ち、直交グリッド５を圧縮フレーム部分７にマッピングするステップから成る。随意的に、長方形は、直交グリッドが、圧縮フレーム部分７により密集してまとめられることを可能にするために、回転されうる。望ましくは、フロアプランニング実行ステップは、ＳＩＭＤ処理装置を支援するために使用される汎用の処理装置により実行される。他の目的に使用される従来のフロアプランニング・アルゴリズムとは対照的に、本発明によって実行されるフロアプランニング動作は、以下で述べられるように後で使用するために、元の長方形の移動に関する情報（及びその回転に関する情報）を記憶する。

次に、ＳＩＭＤ処理装置は、ステップ３０７で、フロアプランニングを受けた画像データを処理する。ＳＩＭＤ処理装置は、列を成す全ての画素に同様の命令を実行するので、フロアプランニングを受けた画像データは、より効率的に処理される。これは、より多くの対象が一列に集められるためであり、即ち、より多くの画素が有効に処理されることを意味する。画像データがＳＩＭＤ処理装置によって処理されると、その結果は、ステップ３０９で、前出の記憶された情報を用いて、それらの元のフレーム位置へ新たに関連付けられる。これは、フロアプランニング動作の前に、計算データを画像の領域と新たに関連付けるステップを含む。

随意的に、再走査ステップ３０３、フロアプランニング実行ステップ３０５及びＳＩＭＤ処理ステップ３０７は、必要ならば、処理の所望のレベルが達成されるまで繰り返されうる（ステップ３１１）。

図４は、図３で実行されるステップが、どのように画像処理装置で実現されるかを表す好ましい実施例を示す。画像処理装置４００は、メモリ４０７と、画像データ４１１を表示装置（図示せず。）へと供給するための表示処理装置４０９とを有する。画像処理装置４００は、センサ（図示せず。）から入力画像データ４０２を受信するＳＩＭＤ処理装置４０１を有する。ＳＩＭＤ処理装置４０１は、受信した画像信号内の関心領域を識別するために使用される（即ち、ステップ３０１に対応する。）。ＳＩＭＤ処理装置４０１からのデータは、ＦＰＧＡ４０３によって処理される。ＦＰＧＡ４０３は、ステップ３０３に対応して、画像データを直交グリッドへと再走査する。上述されるように、ステップ３０５のフロアプランニング動作は、望ましくは、汎用の処理装置、例えば、トリメディア（ＴｒｉＭｄｅｄｉａ）製ＤＳＰ４０５によって実行される。次に、フロアプランニングを受けた画像データは、ＳＩＭＤ処理装置４０１によって処理され、再関連付け又は再マッピング（ステップ３０９）は、トリメディア製ＤＳＰ４０５によって実行される。

上述された本発明は、ＳＩＭＤ処理のより効率的な使用が提供される画像処理装置及び方法を提供する。

当然のことながら、本発明は、好ましい実施例に記載される特定のアーキテクチャに限定されず、他のハードウェアアーキテクチャが、前出のアーキテクチャに類似する機能を提供するよう使用可能である。

更に、好ましい実施例は、画像内の関心領域の識別に関するが、本発明は、関心のあるライン又はエッジに等しく適用可能であり、これらのライン又はエッジは直交グリッドへと再走査される。例えば、図５ａは、エッジ５０３を有する画像フレーム５０１を示す。本発明に従って、エッジ５０３は、エッジが、図５ｂに示されるように、低減されたラインの組“Ｎ”の中にあるように再形成されても良い。再形成情報は、ＳＩＭＤ処理装置によって処理される画像データが処理後にその元の形へ再変形され得るように、記憶される。

本発明は、画像品質を向上させるためのテレビジョン画像の処理と、コンピュータ・ビジョン・アプリケーションでの対象認識の実行と、コンピュータゲーム、教育又はＣＡＤ／ＣＡＭのための画像レンダリングの実行と、ＭＰＥＧ４、Ｈ２６４＋のための対象に基づく符号化の実行と、医療システムのための画像処理の実行とを含め、多種多様なアプリケーションへ適用可能である。

留意すべきは、上記実施例は、本発明を限定するのではなく説明しており、当業者は、添付の特許請求の範囲によって定められる本発明の適用範囲から逸脱することなく多数の代わりの実施例を設計することができる点である。特許請求の範囲では、括弧内に置かれた如何なる参照符号も、特許請求の範囲を限定するように解釈されるべきではない。語「有する」は、いずれの請求項又は明細書全体に挙げられた以外の要素又はステップの存在を除外しているわけではない。ただ１つの要素の引用は、このような要素の複数の引用を除外しているわけではない。また、その逆も同様である。本発明は、幾つかの個別素子を有するハードウェアによって、更に、適切にプログラムされたコンピュータによって実施されても良い。幾つかの手段を列挙する請求項では、これらの手段のうちの幾つかは、ハードウェアの同一の物品によって具現化されても良い。特定の手段が列挙されているという単なる事実は、相互に異なる従属請求項において、これらの手段の組合せが有利に使用され得ないことを示しているわけではない。

画像フレーム内にまばらに分布した対象を有する画像を示す。 本発明に従って、処理の前に図１の対象にフロアプランニングを行った結果を示す。 フロアプランニング動作に含まれるステップを示す。 視覚アーキテクチャへのタスクのマッピングを示す。 ａ及びｂは、どのようにライン又はエッジが処理の前に再形成されうるかを示す。

Claims (20)

1. ＳＩＭＤ処理装置により画像信号を処理する方法であって：
   画像フレーム内の関心領域を識別する識別ステップ；
   夫々の関心領域を直交グリッドに再走査する再走査ステップ；
   前記再走査された領域を圧縮フレーム部分に再配置する再配置ステップ；及び
   前記圧縮フレーム部分を前記ＳＩＭＤ処理装置で処理する処理ステップ；
   を有する方法。
2. 前記再配置ステップは、前記関心領域を前記圧縮フレーム部分にフロアプランニングするステップを有する、ことを特徴とする請求項１記載の方法。
3. 前記再配置ステップは、１又はそれ以上の関心領域を回転させて、前記圧縮フレーム部分の領域が小さくされることを可能にするステップを更に有する、ことを特徴とする請求項１又は２記載の方法。
4. 前記再配置ステップは、前記画像フレーム内の領域の元の位置に関する情報を記憶するステップを更に有する、ことを特徴とする請求項１又は２記載の方法。
5. 前記再配置ステップは、前記領域の回転に関する情報を記憶するステップを更に有する、ことを特徴とする請求項３記載の方法。
6. 前記記憶された情報によって前記処理ステップの後に前記領域を再マッピングするステップを更に有する、請求項４又は５記載の方法。
7. 関心領域は、長方形、ライン又は対象のうちの１つである、ことを特徴とする請求項１乃至６のうちいずれか一項記載の方法。
8. 前記再配置ステップは、前記ＳＩＭＤ処理装置とは別の処理装置によって実行される、ことを特徴とする請求項１乃至７のうちいずれか一項記載の方法。
9. 前記再走査、再配置及び処理ステップは、繰り返される、ことを特徴とする請求項１乃至８のうちいずれか一項記載の方法。
10. 前記再走査ステップは、前記画像信号においてライン又はエッジを再形成するステップを更に有する、ことを特徴とする請求項１乃至９のうちいずれか一項記載の方法。
11. 画像信号を受信して、画像フレーム内の関心領域を識別するよう構成された処理手段；
    夫々の関心領域を直交グリッドに再走査するよう構成された再走査手段；
    前記再走査された領域を圧縮フレーム部分に再配置するよう構成された再配置手段；及び
    前記圧縮フレーム部分の前記再配置された領域を処理する処理手段；
    を有する画像処理装置。
12. 前記再配置手段は、前記関心領域を前記圧縮フレーム部分に再配置するフロアプランニング手段を有する、ことを特徴とする請求項１１記載の画像処理装置。
13. 前記再配置手段は、１又はそれ以上の関心領域を回転させて、前記圧縮フレーム部分の領域が小さくされることを可能にするよう構成される、ことを特徴とする請求項１１又は１２記載の画像処理装置。
14. 前記再配置手段は、前記画像フレーム内の領域の元の位置に関する情報を記憶するよう構成される、ことを特徴とする請求項１１又は１２記載の画像処理装置。
15. 前記再配置手段は、前記領域の回転に関する情報を記憶するよう構成される、ことを特徴とする請求項１４記載の画像処理装置。
16. 前記記憶された情報によって前記処理手段による処理の後に前記領域を再マッピングする手段を更に有する、請求項１４又は１５記載の画像処理装置。
17. 関心領域は、長方形又はラインを有する、ことを特徴とする請求項１１乃至１６のうちいずれか一項記載の画像処理装置。
18. 前記再配置手段は、ＳＩＭＤ処理装置とは別の処理装置を有する、ことを特徴とする請求項１１乃至１７のうちいずれか一項記載の画像処理装置。
19. 前記再走査手段、再配置手段及び処理手段は、繰り返し過程を実行するよう構成される、ことを特徴とする請求項１１乃至１８のうちいずれか一項記載の画像処理装置。
20. 前記再走査手段は、更に、前記画像信号においてライン又はエッジを再形成するよう構成される、ことを特徴とする請求項１１乃至１９のうちいずれか一項記載の画像処理装置。

Images