JP2008124742A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】画像を分割して所定の画像処理を実行する場合において、効率良くその画像処理を実行する。
【解決手段】入力画像を、ＤＣＴブロックから分割し、その結果得られた分割画像に対するＢＮＲ処理を実行する場合において、図５に示したように、例えば分割画像Ｄ１aと、分割画像Ｄ１aと隣接する分割画像Ｄ２aの一部であって、分割画像Ｄ１aの分割画像Ｄ２aとの境界部分に対するＢＮＲ処理において必要なマージン画像Ｍ１とからなる割当て画像Ｅ１を、入力画像Ｗaから抽出し、コプロセッサ１４−１に割当てるようにしたので、コプロセッサ１４−１は、分割画像Ｄ１aの分割画像Ｄ２aとの境界部分について特殊な処理を行うことなく、分割画像Ｄ１aに対してＢＮＲ処理を実行することができる。本発明は、画像処理装置に適用することができる。
【選択図】図５

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、例えば、画像を分割して所定の画像処理を実行する場合において、効率良くその画像処理を実行することができるようにする画像処理装置、画像処理方法、およびプログラムに関する。

画像に対する画像処理には、例えば、ブロック歪低減処理（特許文献１）など多くの処理が存在するが、その画像処理を、所定の画像（以下、適宜、処理対象画像）に対して１つのプロセッサで行う場合、処理対象画像の画サイズが大きいときには処理に時間がかかるときがあった。

そこで、画像の特徴や実行する画像処理に応じて処理対象画像をいくつかに分割し、複数のプロセッサのそれぞれに、分割した画像（以下、分割画像と称する）に対する画像処理を並列的に実行させることが試みられている。

特開平１０−１９１３３５号公報

しかしながら、分割画像の他の分割画像との境界部分に対する画像処理において、他の分割画像の一部を利用することが必要な場合、例えば、他の分割画像に対する処理結果を利用してその境界部分についての処理が実行される。

したがってこの場合、他の分割画像の処理を待つ必要があるので、分割画像の処理順序を考慮する必要があり、各プロセッサの制御が複雑になるとともに、各分割画像に対する画像処理を並列的に行うことができず、処理を迅速に行うことができない。

例えばアムダールの法則では、プログラム全体のうち並列に実行できる部分と、できない部分の割合をs(0<s<1)とすると、ｎ台のプロセッサによる速度向上が、1/(s+((1-s)/n))と定義されている。したがってこのアムダールの法則に従えば、仮に並列化できる部分の割合をs=0.5とした場合には100個のプロセッサを使用しても、パフォーマンスは２倍に至らない。タスク分割で並列化できる部分を0.5以上にすることは一般的に難しく、並列化の恩恵を受けることは難しいといえる。

また分割画像の他の分割画像との境界部分に対する画像処理において、他の分割画像の一部を利用することが必要な場合であっても、他の分割画像に対する処理結果を利用しないようにすることもできるが、その場合、その境界部分については、分割画像内の所定の部分を参照するなど特別な処理が必要となり、境界部分と他の部分の画像処理の条件を変更する必要があり、画像処理の演算が複雑になる。

このように従来においては、画像を分割して所定の画像処理を実行する場合において、効率良く画像処理を実行するができないときがあった。

本発明は、このような状況に鑑みてなされたものであり、画像を分割して所定の画像処理を実行する場合において、効率良くその画像処理を実行することができるようにするものである。

本発明の一側面の画像処理装置は、所定の画像処理を実行する２個以上のＮ個の実行手段と、入力画像を、所定の処理単位ブロックの境界部分からＮ個に分割し、その結果得られたＮ個の分割画像に対するＮ個の前記実行手段による前記画像処理の実行を制御する制御手段とを備える画像処理装置において、前記制御手段は、Ｎ個の分割画像毎に、第１の分割画像と、前記第１の分割画像と隣接する第２の分割画像の一部であって、前記第１の分割画像の所定の部分に対する前記画像処理においてマージン画像とからなる割当て画像を、前記入力画像から抽出するとともに、抽出したＮ個の割当て画像のそれぞれを、Ｎ個の実行手段に割当て、Ｎ個の前記実行手段のそれぞれは、並列的に、前記制御手段により割当てられた前記割当て画像に対して前記画像処理を実行する。

前記実行手段は、ブロック歪低減処理、またはフレーム歪低減処理を実行することができる。

前記処理手段は、複数の画像処理を実行し、前記制御手段は、各画像処理におけるマージン画像の中でその範囲が大きい方のマージン画像を含む画像を割当て画像として抽出することができる。

前記処理手段は、ブロック歪低減処理およびフレーム歪低減処理の両方を実行することができる。

本発明の一側面の画像処理方法は、所定の画像処理を実行する２個以上のＮ個の実行ステップと、入力画像を、所定の処理単位ブロックの境界部分からＮ個に分割し、その結果得られたＮ個の分割画像に対するＮ個の前記実行ステップの処理での前記画像処理の実行を制御する制御ステップとを含む画像処理方法において、前記制御ステップは、Ｎ個の分割画像毎に、第１の分割画像と、前記第１の分割画像と隣接する第２の分割画像の一部であって、前記第１の分割画像の所定の部分に対する前記画像処理においてマージン画像とからなる割当て画像を、前記入力画像から抽出するとともに、抽出したＮ個の割当て画像のそれぞれを、Ｎ個の実行ステップに割当て、Ｎ個の前記実行ステップのそれぞれは、並列的に、前記制御ステップにより割当てられた前記割当て画像に対して前記画像処理を実行する。

本発明の一側面のプログラムは、所定の画像処理を実行する２個以上のＮ個の実行ステップと、入力画像を、所定の処理単位ブロックの境界部分からＮ個に分割し、その結果得られたＮ個の分割画像に対するＮ個の前記実行ステップの処理での前記画像処理の実行を制御する制御ステップとを含む画像処理をコンピュータに実行させるプログラムにおいて、前記制御ステップは、Ｎ個の分割画像毎に、第１の分割画像と、前記第１の分割画像と隣接する第２の分割画像の一部であって、前記第１の分割画像の所定の部分に対する前記画像処理においてマージン画像とからなる割当て画像を、前記入力画像から抽出するとともに、抽出したＮ個の割当て画像のそれぞれを、Ｎ個の実行ステップに割当て、Ｎ個の前記実行ステップのそれぞれは、並列的に、前記制御ステップにより割当てられた前記割当て画像に対して前記画像処理を実行する画像処理をコンピュータに実行させる。

本発明の一側面の画像処理装置、画像処理方法、またはプログラムにおいては、入力画像が、所定の処理単位ブロックの境界部分からＮ個に分割され、その結果得られたＮ個の分割画像に対する画像処理の実行が制御され、その際、第１の分割画像と、前記第１の分割画像と隣接する第２の分割画像の一部であって、前記第１の分割画像の所定の部分に対する前記画像処理において必要な画像とからなる割当て画像が、前記入力画像から抽出されるとともに、抽出された割当て画像のそれぞれを、画像処理に割当てられ、割当てられた前記割当て画像に対して前記画像処理が並列的に、実行される。

本発明によれば、例えば、画像を分割して所定の画像処理を実行する場合において、効率良くその画像処理を実行することができる。

例えば、画像を分割して所定の画像処理を実行する場合において、分割境界に対してのみ行われる特殊処理の追加なく、さらに複数のコプロセッサにて並列して処理を行う際の実行の順序を制御する必要がないため簡単な制御にて高速に画像処理を実行することができる。またこれにより分割せずさらに単一のプロセッサで処理を行うときに比べて入力画像に対する画像処理を高速に行うことができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。したがって、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、
所定の画像処理を実行する２個以上のＮ個の実行手段（例えば、図１のコプロセッサ１４−１，１４−２）と、
入力画像を、所定の処理単位ブロックの境界部分からＮ個に分割し、その結果得られたＮ個の分割画像に対するＮ個の前記実行手段による前記画像処理の実行を制御する制御手段（例えば、図１のメインプロセッサ１１）と
を備える画像処理装置において、
前記制御手段は、Ｎ個の分割画像毎に、第１の分割画像と、前記第１の分割画像と隣接する第２の分割画像の一部であって、前記第１の分割画像の所定の部分に対する前記画像処理においてマージン画像とからなる割当て画像を、前記入力画像から抽出するとともに、抽出したＮ個の割当て画像のそれぞれを、Ｎ個の実行手段に割当て、
Ｎ個の前記実行手段のそれぞれは、並列的に、前記制御手段により割当てられた前記割当て画像に対して前記画像処理を実行する。

前記実行手段は、ブロック歪低減処理（例えば、図５）、またはフレーム歪低減処理（例えば、図９）を実行することができる。

前記処理手段は、複数の画像処理（例えば、ＢＮＲ処理およびＦＮＲ処理）を実行し、
前記制御手段は、各画像処理におけるマージン画像の中でその範囲が大きい方のマージン画像を含む画像を割当て画像として抽出することができる（例えば、図１０）。

前記処理手段は、ブロック歪低減処理およびフレーム歪低減処理の両方を実行する（例えば、図１０）ことができる。

本発明の画像処理方法、またはプログラムは、
所定の画像処理を実行する２個以上のＮ個の実行ステップ（例えば、図１１のステップＳ２またはステップＳ３）と、
入力画像を、所定の処理単位ブロックの境界部分からＮ個に分割し、その結果得られたＮ個の分割画像に対するＮ個の前記実行ステップの処理での前記画像処理の実行を制御する制御ステップ（例えば、図１１のステップＳ１）と
を含む画像処理方法、またはプログラムにおいて、
前記制御ステップは、Ｎ個の分割画像毎に、第１の分割画像と、前記第１の分割画像と隣接する第２の分割画像の一部であって、前記第１の分割画像の所定の部分に対する前記画像処理においてマージン画像とからなる割当て画像を、前記入力画像から抽出するとともに、抽出したＮ個の割当て画像のそれぞれを、Ｎ個の実行ステップに割当て、
Ｎ個の前記実行ステップのそれぞれは、並列的に、前記制御ステップにより割当てられた前記割当て画像に対して前記画像処理を実行する。

図１は、本発明を適用した画像処理装置１の構成例を示している。

メインプロセッサ１１は、メインメモリ１２に記憶されている、画像処理装置１に入力された入力画像から、所定の領域を割当て画像として抽出し、メモリバス１３を介して、コプロセッサ１４−１およびコプロセッサ１４−２に供給する。

メインプロセッサ１１は、コプロセッサ１４−１またはコプロセッサ１４−２から供給された、所定の画像処理が施された各割当て画像を、メインメモリ１２の、その割当て画像の入力画像上の位置に対応する位置の記憶領域に記憶する。メインプロセッサ１１は、必要に応じてその記憶領域に記憶された画像を、図示せぬ表示部に出力して表示させる。

２個のコプロセッサ１４−１およびコプロセッサ１４−２（以下、個々に区別する必要がない場合、単に、コプロセッサ１４と称する）は、必要に応じてローカルメモリ１５−１またはローカルメモリ１５−２を利用して、メインプロセッサ１１から供給された入力画像の割当て画像に対して所定の画像処理を施し、その結果得られた画像をメインプロセッサ１１に供給する。

なお図１の例では、２個のコプロセッサ１４が設けられているが、それ以上設けることもできる。

次に、画像処理装置１がブロック歪低減（ＢＮＲ（Block Noise Reduction））処理を実行する場合の各部の動作を説明する。

ＤＣＴ（離散コサイン変換）符号化等のブロック符号化による画像の圧縮または伸張が行われる場合、ブロック歪（すなわち、ブロックノイズ）が発生することが知られている。

このブロック歪低減処理は、ＤＣＴブロックの境界部分の所定の画素の画素値から得られた所定のパラメータにより算出された補正値により、ＤＣＴブロックの境界部分の画素の画素値が補正されることにより行われる。

例えば、図２に示すように、上下方向に隣接するＤＣＴブロック５１，５２の境界から上側および下側のそれぞれ４画素ずつの画素（図中、影が付されている画素）から得られた所定のパラメータにより算出された補正値により、その上側および下側のそれぞれ４画素ずつが補正範囲として、算出された補正値によってそれらの画素の画素値が補正される。

すなわち図３に示すＤＣＴブロック（図中、太線で囲まれている範囲）について、図中上下方向に隣接する上側のＤＣＴブロックの境界部分から４ラインについてＢＮＲ処理を施す場合には、下側のＤＣＴブロックの境界部分から４ライン（図中、影が付されている部分）の画素の画素値が必要となる。

また図４に示すように、上下方向に隣接する下側のＤＣＴブロックの境界部分から４ラインについてＢＮＲ処理を施す場合には、上側のＤＣＴブロックの境界部分から４ライン（図中、影が付されている部分）の画素の画素値が必要となる。

そこでＢＮＲ処理が実行される場合、メインプロセッサ１１は、例えば、図５に示すように、入力画像ＷaをＤＣＴブロックの境界部分から上下方向の２個の分割画像Ｄ１aと分割画像Ｄ２aに分割するとき、入力画像Ｗaから、上側の分割画像Ｄ１aと、その分割画像Ｄ１aの分割画像Ｄ２aとの境界にあるＤＣＴブロックに対するＢＮＲ処理において必要なその境界から下側４ライン（すなわち、分割画像Ｄ２aの上側４ラインの図中影が付されている部分）（以下、その部分の画像をマージン画像Ｍ１と称する）からなる割当て画像Ｅ１を抽出する。

メインプロセッサ１１はまた、入力画像Ｗaから、下側の分割画像Ｄ２aと、その分割画像Ｄ２aの分割画像Ｄ１aとの境界にあるＤＣＴブロックに対するＢＮＲ処理において必要なその境界から上側４ライン（すなわち、分割画像Ｄ１aの下側４ラインの図中影が付されている部分）（以下、その部分の画像をマージン画像Ｍ２と称する）からなる割当て画像Ｅ２を抽出する。

メインプロセッサ１１は、入力画像Ｗaから抽出した割当て画像Ｅ１を、例えばコプロセッサ１４−１に供給し、割当て画像Ｅ２を、コプロセッサ１４−２に供給する。

コプロセッサ１４−１は、図５に示すように、メインプロセッサ１１から供給された割当て画像Ｅ１に対して、図２および図３を参照して説明したＢＮＲ処理を施し、その結果得られた画像をメインプロセッサ１１に供給する。

メインプロセッサ１１から供給された割当て画像Ｅ１のマージン画像Ｍ１に対するＢＮＲ処理を施した結果は、割当て画像Ｅ２に対する処理の結果で得られる。したがってコプロセッサ１４−１は、割当て画像Ｅ１に対してＢＮＲ処理を施し、その結果得られる画像のうちマージン画像Ｍ１分を除いた分割画像Ｄ１a（以下、ＢＮＲ処理が施された分割画像Ｄ１aを分割画像Ｄ１bと称する）をメインプロセッサ１１に供給する。

コプロセッサ１４−２は、図５に示すように、メインプロセッサ１１から供給された割当て画像Ｅ２に対して、図２および図４を参照して説明したＢＮＲ処理を施す。

メインプロセッサ１１から供給された割当て画像Ｅ２のマージン画像Ｍ２に対するＢＮＲ処理を施した結果は、割当て画像Ｅ１に対する処理の結果で得られる。したがってコプロセッサ１４−２は、割当て画像Ｅ２に対してＢＮＲ処理を施し、その結果得られる画像のうちマージン画像Ｍ２分を除いた分割画像Ｄ２a（以下、ＢＮＲ処理が施された分割画像Ｄ２aを分割画像Ｄ２bと称する）をメインプロセッサ１１に供給する。

メインプロセッサ１１は、コプロセッサ１４−１から供給された分割画像Ｄ１bを、メインメモリ１２の、分割画像Ｄ１aの入力画像Ｗa上の位置に対応する位置の出力記憶領域に記述し（記憶し）、コプロセッサ１４−２から供給された分割画像Ｄ２bを、メインメモリ１２の、分割画像Ｄ２aの入力画像Ｗa上の位置に対応する位置の出力記憶領域に記述する（記憶する）。

コプロセッサ１４−１およびコプロセッサ１４−２から供給された分割画像Ｄ１bおよびＤ２bのそれぞれは、入力画像Ｗaの分割画像Ｄ１aおよび分割画像Ｄ２aに対応する画像なので、それらを、分割画像Ｄ１aおよび分割画像Ｄ２aの入力画像Ｗa上の位置に対応する位置の記憶領域に記述することにより、図５に示すように、ＢＮＲ処理が施された入力画像Ｗa（以下、ＢＮＲ処理が施された入力画像Ｗaを入力画像Ｗbと称する）を得ることができる。

以上のように、入力画像を、ＤＣＴブロックから分割し、その結果得られた分割画像に対するＢＮＲ処理を実行する場合において、図５に示したように、例えば分割画像Ｄ１aと、分割画像Ｄ１aと隣接する分割画像Ｄ２aの一部であって、分割画像Ｄ１aの分割画像Ｄ２aとの境界部分に対するＢＮＲ処理において必要なマージン画像Ｍ１とからなる割当て画像Ｅ１を、入力画像Ｗaから抽出し、コプロセッサ１４−１に割当てるようにしたので、コプロセッサ１４−１は、例えば、他のコプロセッサ１４−２の処理結果を待ったり、分割画像Ｄ１aの分割画像Ｄ２aとの境界部分について特殊な処理を行うことなく、分割画像Ｄ１aに対してＢＮＲ処理を実行することができる。

すなわち、各コプロセッサ１４の処理順序を考慮する必要がないので、コプロセッサ１４の制御が容易となり、また一定の条件の処理を繰り返し実行することができるので、ＢＮＲ処理を迅速に行うことができる。また当然、入力画像を分割せずさらに単一のプロセッサで処理を行うときに比べて入力画像に対する画像処理を高速に行うことができる。

次に、画像処理装置１がフレーム歪低減（ＦＮＲ(Frame Noise Reduction)）処理を行う場合の各部の動作を説明する。

映像信号のノイズ除去の方法として、フレーム相関と同時に映像信号の統計的性質、目の視覚特性を利用することによって効率良くノイズ除去するＦＮＲ(Frame Noise Reduction)処理が提案されている（例えば、特開昭５５−４２４７２号，テレビジヨン学会誌Vol．３７No.12(1983)56〜62頁参照）。

この処理は、映像信号中のフレーム相関のないノイズをフレーム差信号として検出し、さらにその中から２次元相関のないものをノイズとして入力映像信号から差し引くことにより行われる。

フレーム差信号から２次元相関のない成分を検出するには、フレーム差信号に直交変換を施せばよいが、その方式としては、アダマール変換と非線形回路を組合せた方式があり、このアダマール変換は、４×２画素ずつ画素が参照されて行われる。

したがって例えば図６に示すように、上下方向に隣接するＤＣＴブロック５１の、ＤＣＴブロック５２に隣接する４画素と、ＤＣＴブロック５２の、ＤＣＴブロック５１に隣接する４画素（図中、影が付されている画素）が参照されることがある。

すなわち図７に示すように、上下方向に隣接する上側のＤＣＴブロックについては、上側のＤＣＴブロックの、下側のＤＣＴブロックに隣接する１ラインと、下側のＤＣＴブロックの、上側のＤＣＴブロックに隣接する１ライン（図中、影が付されている部分）の画素が参照される。

また図８に示すように、下側のＤＣＴブロックについては、下側のＤＣＴブロックの、上側のＤＣＴブロックに隣接する１ラインと、上側のＤＣＴブロックの、下側のＤＣＴブロックに隣接する１ライン（図中、影が付されている部分）の画素の画素値が参照される。

そこでＦＮＲ処理が行われる場合、メインプロセッサ１１は、例えば図９に示すように、入力画像ＷaをＤＣＴブロックの境界部分から上下方向の２個の分割画像Ｄ１aとＤ２aに分割するとき、入力画像Ｗaから、上側の分割画像Ｄ１aと、その分割画像Ｄ１aの分割画像Ｄ２aとの境界にあるＤＣＴブロックに対するＦＮＲ処理において必要なその境界から下側１ライン（すなわち、分割画像Ｄ２aの上側１ラインの図中影が付されている部分の画像）（以下、マージン画像Ｍ１１と称する）からなる割当て画像Ｅ１１を抽出する。

メインプロセッサ１１はまた、入力画像Ｗaから、下側の分割画像Ｄ２aと、その分割画像Ｄ２aの分割画像Ｄ１aとの境界にあるＤＣＴブロックに対するＦＮＲ処理において必要なその境界から上側１ライン（すなわち、分割画像Ｄ１aの下側１ラインの図中影が付されている部分の画像）（以下、マージン画像Ｍ１２と称する）からなる割当て画像Ｅ１２を抽出する。

メインプロセッサ１１は、入力画像Ｗaから抽出した割当て画像Ｅ１１を、例えばコプロセッサ１４−１に供給し、割当て画像Ｅ１２を、コプロセッサ１４−２に供給する。

コプロセッサ１４−１は、図９に示すように、メインプロセッサ１１から供給された割当て画像Ｅ１１に対して、図６および図７を参照して説明したＦＮＲ処理を施す。

メインプロセッサ１１から供給された入力画像Ｗaの割当て画像Ｅ１１のマージン画像Ｍ１１にＦＮＲ処理を施した結果は、割当て画像Ｅ１２に対する処理の結果として得られる。したがってコプロセッサ１４−１は、割当て画像Ｅ１１に対してＦＮＲ処理を施し、その結果得られる画像のうちマージン画像Ｍ１１分を除いた分割画像Ｄ１a（以下、ＦＮＲ処理が施された分割画像Ｄ１aを分割画像Ｄ１cと称する）をメインプロセッサ１１に供給する。

コプロセッサ１４−２は、図９に示すように、メインプロセッサ１１から供給された割当て画像Ｅ１２に対して、図６および図８を参照して説明したＦＮＲ処理を施す。

メインプロセッサ１１から供給された入力画像Ｗaの割当て画像Ｅ１２のマージン画像Ｍ１２にＦＮＲ処理を施した結果は、割当て画像Ｅ１１に対する処理の結果として得られる。したがってコプロセッサ１４−２は、割当て画像Ｅ１２に対してＦＮＲ処理を施し、その結果得られる画像のうちマージン画像Ｍ１２分を除いた分割画像Ｄ２a（以下、ＦＮＲ処理が施された分割画像Ｄ２aを分割画像Ｄ２cと称する）をメインプロセッサ１１に供給する。

メインプロセッサ１１は、コプロセッサ１４−１から供給された分割画像Ｄ１cを、メインメモリ１２の、分割画像Ｄ１aの入力画像Ｗa上の位置に対応する位置の出力記憶領域に記述し（記憶し）、コプロセッサ１４−２から供給された分割画像Ｄ２cを、メインメモリ１２の、分割画像Ｄ２aの入力画像Ｗa上の位置に対応する位置の出力記憶領域に記述する（記憶する）。

コプロセッサ１４−１およびコプロセッサ１４−２から供給された分割画像Ｄ１cおよびＤ２cは、それぞれ分割画像Ｄ１aおよび分割画像Ｄ２aに対応する画像なので、それらを、分割画像Ｄ１aおよび分割画像Ｄ２aの入力画像Ｗa上の位置に対応する位置の出力記憶領域に記述することにより、ＦＮＲ処理が施された入力画像Ｗa（以下、ＦＮＲ処理が施された入力画像Ｗaを入力画像Ｗcと称する）を得ることができる。

以上のように、入力画像を、ＤＣＴブロックから分割し、その結果得られた分割画像に対するＦＮＲ処理を実行する場合において、図９に示したように、例えば分割画像Ｄ１aと、分割画像Ｄ１aと隣接する分割画像Ｄ２aの一部であって、分割画像Ｄ１aの分割画像Ｄ２aとの境界部分に対するＦＮＲ処理において必要なマージン画像Ｍ１１とからなる割当て画像Ｅ１１を、入力画像Ｗaから抽出し、コプロセッサ１４−１に割当てるようにしたので、コプロセッサ１４−１は、例えば、他のコプロセッサ１４−２の処理結果を待ったり、分割画像Ｄ１aの分割画像Ｄ２aとの境界部分について特殊な処理を行うことなく、分割画像Ｄ１aに対してＦＮＲ処理を実行することができる。

すなわち、各コプロセッサ１４の処理順序を考慮する必要がないので、コプロセッサ１４の制御が容易となり、また一定の条件の処理を繰り返し実行することができるので、ＦＮＲ処理を迅速に行うことができる。また当然、入力画像を分割せずさらに単一のプロセッサで処理を行うときに比べて入力画像に対する画像処理を高速に行うことができる。

なお以上においては、ＢＮＲ処理またはＦＮＲ処理がそれぞれ別個に行われたが、両方の処理を行うようにすることもできる。

この場合、ＢＮＲ処理のマージン画像Ｍ１，Ｍ２（図５）が４ラインで、ＦＮＲ処理のマージン画像Ｍ１１，Ｍ１２が１ライン（図９）であることより、これらの処理が各コプロセッサ１４においてシーケンシャルに行われる場合には４ラインのマージンが必要となるので、メインプロセッサ１１は、図１０に示すように、図５の場合と同様に、入力画像ＷaをＤＣＴブロックの境界部分から上下方向の２個の分割画像Ｄ１aとＤ２aに分割する場合、入力画像Ｗaから、上側の分割画像Ｄ１aと、その分割画像Ｄ１aの分割画像Ｄ２aとの境界にあるＤＣＴブロックに対するＢＮＲ処理において必要なその境界から下側４ラインのマージン画像Ｍ１とからなる割当て画像Ｅ１を抽出し、また下側の分割画像Ｄ２aと、その分割画像Ｄ２aの分割画像Ｄ１aとの境界にあるＤＣＴブロックに対するＢＮＲ処理において必要なその境界から上側４ラインのマージン画像Ｍ２とからなる割当て画像Ｅ２を抽出する。

すなわちこのように複数の処理を実行する場合、各処理におけるマージン画像の中でその範囲が大きい方のマージン画像を含む画像を割当て画像として抽出するようにしたので、各処理において必要な画像を確保することができる。

メインプロセッサ１１は、入力画像Ｗaから抽出した割当て画像Ｅ１を、例えばコプロセッサ１４−１に供給し、割当て画像Ｅ２を、コプロセッサ１４−２に供給する。

コプロセッサ１４−１は、図１０に示すように、メインプロセッサ１１から供給された割当て画像Ｅ１に対して、図２および図３を参照して説明したＢＮＲ処理を施すとともに、図６および図７を参照して説明したＦＮＲ処理を施し、その結果得られたＢＮＲ処理およびＦＮＲ処理が施された分割画像Ｄ１a（以下、ＢＮＲ処理およびＦＮＲ処理が施された分割画像Ｄ１aを分割画像Ｄ１eと称する）をメインプロセッサ１１に供給する。

コプロセッサ１４−２は、図１０に示すように、メインプロセッサ１１から供給された割当て画像Ｅ２に対して、図２および図４を参照して説明したＢＮＲ処理を施すとともに、図６および図８を参照して説明したＦＮＲ処理を施し、その結果得られたＢＮＲ処理およびＦＮＲ処理が施された分割画像Ｄ２a（以下、ＢＮＲ処理およびＦＮＲ処理が施された分割画像Ｄ２aを、分割画像Ｄ２eと称する）をメインプロセッサ１１に供給する。

メインプロセッサ１１は、コプロセッサ１４−１から供給された分割画像Ｄ１eを、メインメモリ１２の、分割画像Ｄ１aの入力画像Ｗa上の位置に対応する位置の出力記憶領域に記述し（記憶し）、コプロセッサ１４−２から供給された分割画像Ｄ２eを、メインメモリ１２の、分割画像Ｄ２aの入力画像Ｗa上の位置に対応する位置の出力記憶領域に記述する（記憶する）。

コプロセッサ１４−１およびコプロセッサ１４−２から供給された分割画像Ｄ１eおよび分割画像Ｄ２eは、それぞれ分割画像Ｄ１aおよび分割画像Ｄ２aに対応する画像なので、それらを、分割画像Ｄ１aおよび分割画像Ｄ２aの入力画像Ｗa上の位置に対応する位置の出力記憶領域に記述することにより、ＢＮＲ処理およびＦＮＲ処理が施された入力画像Ｗa（以下、ＢＮＲ処理およびＦＮＲ処理が施された入力画像Ｗaを、入力画像Ｗeと称する）を得ることができる。

次にＢＮＲ処理およびＦＮＲ処理を実行する場合のメインプロセッサ１１およびコプロセッサ１４−１の動作（図１０）を、図１１のフローチャートを参照して再度説明する。

ステップＳ１において、メインプロセッサ１１は、メインメモリ１２に記憶されている入力対象画像Ｗaから割当て画像Ｅ１を抽出し、それに属する一定数のライン（例えば、１６ライン）を読み出し、ローカルメモリ１５−１に転送し、図１２に示す記憶領域Ｘ１にコピーする。なおローカルメモリ１５−１へのデータ転送は、ＤＭＡ（Direct Memory Access）が用いられる。

ステップＳ２において、コプロセッサ１４−１は、ステップＳ１でローカルメモリ１５−１の記憶領域Ｘ１に記憶されたラインに対してＢＮＲ処理を施し、その結果得られた画像をローカルメモリ１５−１の記憶領域Ｘ２に記憶する。

次にステップＳ３において、コプロセッサ１４−１は、ステップＳ２で記憶領域Ｘ２に記憶された画像に対してＦＮＲ処理を施し、その結果得られた画像を、ローカルメモリ１５−１の記憶領域Ｘ１に、ステップＳ１でコピーされた画像に上書きする。

ステップＳ４において、コプロセッサ１４−１は、ステップＳ３でローカルメモリ１５−１の記憶領域Ｘ１に書き込んだ画像をメインメモリ１２に出力し、ステップＳ５において、メインプロセッサ１１は、コプロセッサ１４−１から出力された画像を、メインメモリ１２の、その画像の入力画像Ｗa上の位置に対応する位置の出力記憶領域に書き込む。

ステップＳ６において、メインプロセッサ１１は、コプロセッサ１４−１に、割当て画像Ｅ１のすべてのデータをローカルメモリ１５−１にコピーしたか否かを判定し、コピーしていない部分が残っていると判定した場合、ステップＳ１に戻り残りの画像について同様の処理を行う。

ステップＳ６で、割当て画像Ｅ１のすべてのデータをコピーしたと判定された場合、処理を終了する。

ここではメインプロセッサ１１とコプロセッサ１４−１間の動作について説明したが、メインプロセッサ１１とコプロセッサ１４−２も基本的には同様に動作する。

このようにローカルメモリ１５を利用してコプロセッサ１４が処理を実行するようにしたので、数ライン単位ではあるが、ＢＮＲ処理およびＦＮＲ処理の実行と、その処理結果の転送を並行して実行することができるので、並列処理をより効率的に行うことができる。

なお図５、図９、および図１０の例では、入力画像Ｗaを２等分したが、これは２個のコプロセッサ１４−１および１４−２が、分割画像Ｄ１aおよび分割画像Ｄ２aに対して略等しい処理時間で画像処理を実行することができることを前提としており、このように各プロセッサ１４における処理時間が略等しくなるように分割画像を入力画像Ｗaから分割するようにすれば、各コプロセッサ１４において並列処理が実行されるので、全体の処理時間をより短縮することができる。

次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図１３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

従来の画像処理装置の構成例を示すブロック図である。 ＢＮＲ処理を説明する図である。 ＢＮＲ処理を説明する他の図である。 ＢＮＲ処理を説明する他の図である。 ＢＮＲ処理が実行される場合の画像処理装置の各部の動作を説明する図である。 ＦＮＲ処理を説明する図である。 ＦＮＲ処理を説明する他の図である。 ＦＮＲ処理を説明する他の図である。 ＦＮＲ処理が実行される場合の画像処理装置の各部の動作を説明する図である。 ＢＮＲ処理およびＦＮＲ処理が実行される場合の画像処理装置の各部の動作を説明する図である。 ＢＮＲ処理およびＦＮＲ処理が実行される場合の画像処理装置の各部の動作を説明するフローチャートである。 ローカルメモリの記憶領域を示す図である。 コンピュータの構成例を示すブロック図である。

符号の説明

１ 画像処理装置， １１ メインプロセッサ， １２ メインメモリ， １３ メモリバス， １４ コプロセッサ， １５ ローカルメモリ， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (6)

1. 所定の画像処理を実行する２個以上のＮ個の実行手段と、
   入力画像を、前記Ｎ個の実行手段による所定の処理単位ブロックの境界部分からＮ個に分割し、その結果得られたＮ個の分割画像に対するＮ個の前記実行手段による前記画像処理の実行を制御する制御手段と
   を備える画像処理装置において、
   前記制御手段は、Ｎ個の分割画像毎に、第１の分割画像と、前記第１の分割画像と隣接する第２の分割画像の一部であって、前記第１の分割画像の所定の部分に対する前記画像処理において必要なマージン画像とからなる割当て画像を、前記入力画像から抽出するとともに、抽出したＮ個の割当て画像のそれぞれを、Ｎ個の実行手段に割当て、
   Ｎ個の前記実行手段のそれぞれは、並列的に、前記制御手段により割当てられた前記割当て画像に対して前記画像処理を実行する
   画像処理装置。
2. 前記実行手段は、ブロック歪低減処理、またはフレーム歪低減処理を実行する
   請求項１に記載の画像処理装置。
3. 前記処理手段は、複数の画像処理を実行し、
   前記制御手段は、各画像処理におけるマージン画像の中でその範囲が大きい方のマージン画像を含む画像を割当て画像として抽出する
   請求項１に記載の画像処理装置。
4. 前記処理手段は、ブロック歪低減処理およびフレーム歪低減処理の両方を実行する
   請求項３に記載の画像処理装置。
5. 所定の画像処理を実行する２個以上のＮ個の実行ステップと、
   入力画像を、所定の処理単位ブロックの境界部分からＮ個に分割し、その結果得られたＮ個の分割画像に対するＮ個の前記実行ステップの処理での前記画像処理の実行を制御する制御ステップと
   を含む画像処理方法において、
   前記制御ステップは、Ｎ個の分割画像毎に、第１の分割画像と、前記第１の分割画像と隣接する第２の分割画像の一部であって、前記第１の分割画像の所定の部分に対する前記画像処理において必要なマージン画像とからなる割当て画像を、前記入力画像から抽出するとともに、抽出したＮ個の割当て画像のそれぞれを、Ｎ個の実行ステップに割当て、
   Ｎ個の前記実行ステップのそれぞれは、並列的に、前記制御ステップにより割当てられた前記割当て画像に対して前記画像処理を実行する
   画像処理方法。
6. 所定の画像処理を実行する２個以上のＮ個の実行ステップと、
   入力画像を、所定の処理単位ブロックの境界部分からＮ個に分割し、その結果得られたＮ個の分割画像に対するＮ個の前記実行ステップの処理での前記画像処理の実行を制御する制御ステップと
   を含む画像処理をコンピュータに実行させるプログラムにおいて、
   前記制御ステップは、Ｎ個の分割画像毎に、第１の分割画像と、前記第１の分割画像と隣接する第２の分割画像の一部であって、前記第１の分割画像の所定の部分に対する前記画像処理において必要なマージン画像とからなる割当て画像を、前記入力画像から抽出するとともに、抽出したＮ個の割当て画像のそれぞれを、Ｎ個の実行ステップに割当て、
   Ｎ個の前記実行ステップのそれぞれは、並列的に、前記制御ステップにより割当てられた前記割当て画像に対して前記画像処理を実行する
   画像処理をコンピュータに実行させるプログラム。

Images