JP2003281518A - 画像処理装置および画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 分岐モジュールに至るまでの中間処理結果の
画像全体をバッファリングするようにした場合、メモリ
を大量に必要とし、またパイプライン型処理の利点を打
ち消す要因の一つとなる。 【解決手段】 処理モジュールの一つとして分岐処理部
２５を含むパイプライン処理において、当該分岐処理部
２５に対して、入力状態を管理する入力管理部２５１、
分岐先の情報を管理する分岐情報管理部２５２、容量の
上限を指定することが可能なバッファ部２５３および分
岐処理全体を制御する分岐制御部２５４を持たせ、分岐
処理部２５は画像全面分のバッファを持つこと無しに任
意の数の分岐処理に対応できるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル化された
画像データを処理する画像処理装置および画像処理方法
に関し、特に複数の要素機能的な画像処理モジュールを
用意して、その組み合わせにより多種多様な画像処理機
能を実現するような画像処理装置および画像処理方法に
関する。

【０００２】

【従来の技術】複数の要素機能的な画像処理モジュール
を用意して、その組み合わせにより多種多様な画像処理
機能を提供する技術は、例えば文書エディタや描画ツー
ル、あるいは画像伝送装置やプリンタ等、デジタル画像
を取り扱う様々なシステムにおいて利用される。そし
て、このような画像処理機能は、しばしば画像処理ライ
ブラリファイルとして提供され、その場合には画像処理
機能を利用したいアプリケーションプログラムとリンク
することによりその機能が利用される。

【０００３】画像を入力可能なＤＴＰ（デスクトップ・
パブリッシング）システム、画像を出力可能なプリント
システムなどでは、処理対象となる画像に対して、例え
ば拡大・縮小、回転、アフィン変換、色変換、フィル
タ、合成などの各種の画像処理が行われる。これらの処
理を行う際には、入力画像の属性や処理内容、手順、パ
ラメータなどが固定されている場合には専用のハードウ
ェアを用いて処理を行う場合もあるが、例えば色空間や
画素当たりのビット数が異なる様々な画像が入力された
り、処理内容や手順、パラメータなどが様々に変更され
る場合には、より柔軟性のある構成で対応することが必
要となる。

【０００４】このような要求を満たす手段としては、従
来、プログラマブルなモジュールをパイプライン形態や
ＤＡＧ（Directed Acyclic Graph：有向非循環グラフ）
形態に接続して、柔軟に所望の処理を行う技術が提案さ
れている（例えば、特開平５−２６０３７３号公報や特
開平７−１０５０２０号公報を参照）。

【０００５】特開平５−２６０３７３号公報には、複数
のプログラマブル演算処理部の各演算処理内容と、ネッ
トワーク部による各プログラマブル演算処理部の接続形
態とを、ホストコントロール手段を通じて外部から自在
に設定できるように構成することにより、高速かつ高度
な演算処理が可能で、機能変更、系統変更に対する自由
度が高いデジタル映像信号処理装置が記載されている。

【０００６】また、特開平７−１０５０２０号公報に
は、必要な機能モジュールを所望の順番でパイプライン
状に接続／初期化し、処理を行うことで柔軟に画像処理
を行うパイプライン化画像処理システムが記載されてい
る。当該パイプライン化画像処理システムでの動作は次
の通りである。

【０００７】すなわち、接続が終了すると、最後尾のモ
ジュールに対して必要に応じてヘッダの取得を要求し、
この要求は接続されたモジュールを順次遡って先頭の画
像入力モジュールに達して読み込まれる画像のヘッダ情
報を返し、各モジュールは自身が変更する部分の情報を
書き換えた後に後段のモジュールに渡す。例えば入力画
像のサイズが１０００×１０００画素であり、処理パイ
プラインの中に５００×５００画素への縮小処理モジュ
ールが含まれていた場合には、当該縮小モジュールは前
段から渡されたヘッダ情報のうちのサイズ情報を１００
０×１０００から５００×５００に変更して後段に渡
す。

【０００８】このような処理を順次繰り返して、最終的
に最後尾のモジュールは外部に対して当該画像処理パイ
プラインが出力する画像のヘッダ情報を出力する。次
に、得られたヘッダ情報などをもとにデータの処理を行
う。データの処理もヘッダの処理と同様に、最後尾のモ
ジュールに対して一定量のデータ出力を要求すると、最
後尾のモジュールは前段のモジュールに対してそれに必
要な画像データの入力を要求する。この要求は同様によ
り前段に対して遡って伝えられて画像入力モジュールに
伝えられ、必要な画像データが読み出されて後段に渡さ
れ、順次処理をされながら最終的に最後尾の処理モジュ
ールから出力される。

【０００９】上記の処理が画像の最後まで、または必要
な部分に対して行われると、処理パイプラインは不要と
なるので、最後尾のモジュールに対して終了を要求す
る。この終了要求もヘッダ情報取得や上記処理と同様に
モジュールの接続を遡って最前部の画像入力モジュール
に達し、画像入力モジュールは処理に用いたリソースを
解放するとともに自身を解放して後段に制御を返す。制
御が戻された後段も同様にリソースや自身を解放する処
理を行ってさらに後段に返し、最終的に最後尾のモジュ
ールのリソース／自身の解放が終了した時点で全ての操
作が終了する。

【００１０】特開平７−１０５０２０号公報に記載の上
記技術は、例えばＵＮＩＸ（登録商標）などのオペレー
ティングシステムで用いられている単一プロセッサによ
る多重処理パイプラインのシミュレーション方式を画像
処理などの分野に応用したものである。そして、特に画
像処理においては、１回の処理単位を例えば画像の１ラ
インのように画像の一部に限定することにより、各処理
モジュールが処理用に保持するメモリ領域を極めて少な
くすることが可能となる。

【００１１】その結果、少ないメモリ容量で複雑な処理
を実行できるコストの安い画像処理装置を提供すること
が可能となったり、あるいは仮想記憶をサポートするオ
ペレーティングシステム上で動作させる場合には、メモ
リ不足によるスワップアウトが最小限に抑えられるた
め、高速に処理を実行することが可能となる。

【００１２】さらに、他の従来技術として、例えば９０
度回転処理のように出力の1ラインを得るために入力画
像全体を必要とする処理や、入力画像を複数の処理モジ
ュールに対して出力する分岐モジュールなどの場合に
は、画像全体のバッファリングが終了したらそれよりも
前段のモジュールに対して終了処理を行うことで、必要
なメモリ資源を最小に抑えて高速に処理することを目指
した画像処理装置も提案されている（特開平８−２７２
９８１号公報参照）。

【００１３】

【発明が解決しようとする課題】これまで述べたよう
な、要素機能的なモジュールを任意に組み合わせて所望
の複雑な処理を行わせることが可能な画像処理装置を構
成する場合に、非常に特殊かつ重要なモジュールとし
て、入力画像を複数の処理モジュールに対して出力する
分岐モジュールがある。入力から最後尾の処理まで、一
度も分岐を行わずに済む処理も多いが、次のようなパイ
プライン処理の場合には分岐モジュールが必要となる。

【００１４】例えば、異なるカーネルサイズでフィルタ
処理を行った結果を比較し、その比較結果によって出力
を決定する適応的フィルタ処理などを行うパイプライン
処理のような場合である。具体的には、図１２に示すよ
うに、画像入力部１１１、拡縮処理部１１２、色変換処
理部１１３、分岐処理部１１４、フィルタ処理部１１５
−１，１１５−２および出力選択部１１６を含み、画像
記憶部１００に保持されている処理対象の画像データに
対して適応的フィルタ処理を行うようなパイプライン処
理である。

【００１５】このようなパイプライン処理において、分
岐モジュールを使わなければ、図１３に示すように、２
系統Ａ，Ｂのパイプラインを別々に生成して処理を行
い、その結果を統合するモジュールを作って処理する方
法を採ることになる。しかし、２系統のパイプラインを
別々に生成する構成を採った場合には、図１２の分岐モ
ジュールを使った場合と比較して、全く同じ画像入力処
理、拡縮処理、色変換処理が２度ずつ行われることにな
ってしまうため、リソース／処理速度の両面で大きな無
駄が発生してしまう。

【００１６】このような理由から、図１２に示すよう
に、分岐モジュールを用いてパイプラインを構築するの
が有効な手法となるのである。先述した特開平７−１０
５０２０号公報には、パイプラインのブランチング（分
岐化）、または「ファンアウト(fan-out)」パイプライ
ン部分が存在する旨が記載されている。しかし、動作の
詳細については何ら記載されておらず、当該公報の記載
内容からは、画像全体をバッファリングして各分岐先に
要求された中間処理結果を出力するしか実現方法がな
い。

【００１７】また、先述した特開平８−２７２９８１号
公報には、分岐モジュールよりも前段にあるモジュール
を解放することで既に無駄となったリソースを少しでも
解放し、また分岐した複数の出力先の全てで処理が終了
したかどうかをチェックするためのフラグまたはカウン
タを持ち、全てが終了したなら当該分岐モジュールが保
持していたバッファなどの解放と自身の解放を行う旨が
記載されている。しかし、この動作説明からも明らかな
ように、分岐モジュール中にはそこまでの中間処理結果
である画像全体をバッファリングする必要がある。

【００１８】以上述べたように、分岐モジュールは任意
のモジュールを組み合わせて所望の複雑な処理を実現す
るために非常に重要であるにもかかわらず、従来技術で
は、分岐モジュールに至るまでの中間処理結果の画像全
体をバッファリングする必要があるためメモリを大量に
必要とし、その結果、ＤＡＧ形式を含むパイプライン型
処理の利点、即ち少ないメモリで高速に処理できるとい
う利点を打ち消す要因の一つとなっていた。

【００１９】本発明は、上記課題に鑑みてなされたもの
であり、その目的とするところは、分岐モジュールを含
むパイプライン処理において、分岐モジュールに入力さ
れる中間結果の一部分のみをバッファリングする、また
は全くバッファリングすることなしに任意の分岐先に対
して要求された画像データを高速に出力可能な画像処理
装置および画像処理方法を提供することにある。

【００２０】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、処理対象の画像データを入力する画像
入力処理モジュールおよび入力された画像データを複数
の出力先に出力可能な分岐処理モジュールを含む複数の
処理モジュール（処理手段）がパイプライン形態に接続
されてなるパイプライン処理において、複数の処理モジ
ュールの各々に処理対象の画像データの先頭から処理を
やり直す機能を持たせるとともに、分岐処理モジュール
に少なくとも任意数の分岐先を管理する機能を持たせる
ようにしている。

【００２１】パイプライン処理において、複数の処理モ
ジュールの各々に処理対象の画像データの先頭から処理
をやり直す機能を持たせることで、処理対象の画像デー
タの再読み出しが可能となる。したがって、画像データ
を解析した結果を後段の処理で使用するような処理をコ
ンピュータ上のプログラムとして実現する場合に、従来
複数のパスで行っていた処理を１つのパスで実現でき
る。また、分岐処理モジュールに少なくとも任意数の分
岐先を管理する機能を持たせることで、画像全面分のバ
ッファを持つこと無しに任意の数の分岐処理に対応で
き、さらに後段に繋がる処理モジュールによっては全面
をバッファリングするのと同じ速度で分岐処理できる。

【００２２】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００２３】図１は、本発明の一実施形態に係る画像処
理装置（システム）の構成の一例を示すブロック図であ
る。図１から明らかなように、本実施形態に係る画像処
理装置は、画像記憶部１１、メモリ部１２、処理格納部
１３、画像出力部１４および制御部１５を有し、これら
構成要素がバスライン１６を介して相互に接続された構
成となっている。

【００２４】図１において、画像記憶部１１は、処理対
象であるデジタル化された画像データを保持する。メモ
リ部１２は、画像記憶部１１に保持された画像データ
や、各種処理を行うために必要な処理領域や各種の演算
途中結果、処理パラメータ等を保持する。なお、画像記
憶部１１についてはメモリ部１２と兼用するようにして
も良い。

【００２５】処理格納部１３は、画像記憶部１１に保持
された処理対象の画像データに対して所定の処理を実行
する各種の処理手段、例えば画像入力手段１３１、分岐
処理手段１３２、拡縮処理手段１３３、色変換処理手段
１３４、フィルタ処理手段１３５および出力選択処理手
段１３６を有している。この処理格納部１３内の各処理
手段や制御部１５などは、プログラムモジュールとして
メモリ部１２の中に展開されて動作しても良いし、コン
ピュータ上の処理プログラムモジュールとして存在して
も良いし、一部または全部が専用のハードウェアで構成
されていても良い。処理格納部１３内の各種の処理手段
の詳細については後述する。

【００２６】画像出力部１４は、画像記憶部１１に保持
された画像データが処理格納部１３内の各種の処理手段
によって処理された処理結果を、バスライン１６を通し
て図示したシステムの外部に出力する。制御部１５はＣ
ＰＵなどによって構成され、画像記憶部１１、メモリ部
１２、処理格納部１３および画像出力部１４の各処理の
制御を司っている。

【００２７】次に、処理格納部３に格納される各種の処
理手段について、幾つかの処理を例にとってその概要に
ついて説明する。

【００２８】先述したように、各種の処理手段はコンピ
ュータ上の処理プログラムモジュールとして存在しても
良いし、一部または全部が専用のハードウェアで構成さ
れていても良いが、以下では説明を簡単にするために、
コンピュータ上の処理プログラムモジュールとして実現
されている場合を例に挙げて説明する。

【００２９】図２は、処理モジュールの一つである拡縮
処理部２１の内部構成の一例を示すブロック図である。
この拡縮処理部２１は、図１の拡縮処理手段１３３に対
応している。図２から明らかなように、拡縮処理部２１
は、前段のモジュールから入力される画像を保持するた
めの入力バッファ２１１と、処理結果を後段のモジュー
ルに出力するための出力バッファ２１２と、拡縮処理を
制御する拡縮制御部２１３とを有する構成となってい
る。

【００３０】拡縮処理部２１は、図１において、モジュ
ール生成時に制御部１５から拡縮の倍率を指示され、必
要な情報などを処理格納部１３から取り出されて、メモ
リ部１２上にプログラムモジュールとして生成される。
その生成時に、拡縮制御部２１３は制御部１５から前段
のモジュールへの接続情報を与えられ、その情報に基づ
いて前段のモジュールに対して入力される画像情報の取
得要求を出して画像サイズやビット数などの情報を取得
し、メモリ部１２上に処理に必要な入力バッファ２１１
を生成する。

【００３１】次に、制御部１５から与えられた倍率情報
から出力画像情報を計算し、メモリ部１２上に後段のモ
ジュールに拡縮後の画像を出力するための出力バッファ
２１２を生成する。一例として、入力画像が１０００×
１０００画素の１画素当り８ビットの画像であり、拡縮
倍率が（０．６，１．０）であり、１回の出力単位が１
ラインである場合を想定すると、拡縮制御部２１３はメ
モリ部１２上に１０００バイト分の入力バッファ２１１
と、６００バイト（＝１０００×０．６）分の出力バッ
ファ２１２とを生成することになる。

【００３２】このようにして生成された拡縮処理部２１
において、後段のモジュールから出力要求を受けると、
その出力要求が拡縮制御部２１３に伝えられる。する
と、拡縮制御部２１３は、前段のモジュールに対して画
像の出力要求を出す。前段のモジュールはその要求に従
って1ライン（＝１０００バイト）分の画像データを自
身の出力バッファに書き込んで返す。このとき、拡縮制
御部２１３はその結果を入力バッファ２１１にコピーす
る。

【００３３】拡縮制御部２１３は次に、拡縮倍率に従っ
て出力バッファ２１２に入力バッファ２１１のデータを
０．６倍に縮小した画像データを書き込んで、その結果
を後段のモジュールに渡す。後段のモジュールは渡され
た出力データを自身の入力バッファにコピーする。な
お、縮小処理の技術は周知であるので、ここではその詳
細については説明を省略する。このような処理を画像の
ライン数分の回数（本例では、１０００回）繰り返すこ
とで、入力画像を（０．６，１．０）倍に縮小した画像
を出力する処理を実行する。

【００３４】ここでは説明の都合上、拡縮処理部２１が
入力バッファ２１１と出力バッファ２１２の両方を生成
／保持するように説明したが、出力バッファ２１２につ
いては後段のモジュールが生成して出力要求と共に拡縮
処理部２１に渡して書き込んでもらうように構成しても
良い。そのようにすれば、拡縮処理部２１の出力バッフ
ァ２１２は不要となり、また同様に前段のモジュールに
対して出力要求時に拡縮処理部２１の入力バッファ２１
１を渡せば前段のモジュールにも出力バッファは不要と
なり、入力時／出力時のバッファ間コピーも不要となる
ため処理速度を向上させることができる。

【００３５】以下の各処理モジュールの説明において
は、ブロック図上では出力バッファを図示するが、これ
は後段のモジュールから渡されるものとして説明する。

【００３６】図３は、ルックアップテーブル（ＬＵＴ）
や色変換マトリクスを使って入力画像の色変換処理を行
う色変換処理部２２の内部構成の一例を示すブロック図
である。この色変換処理部２２は、図１の色変換処理手
段１３４に対応している。色変換処理部２２も拡縮処理
部２１と同様に、前段のモジュールから入力される画像
を保持するための入力バッファ２２１と、処理結果を後
段のモジュールに出力するための出力バッファ２２２
と、色変換処理を制御する色変換制御部２２３とを有す
る構成となっている。

【００３７】色変換処理部２２は、図１において、モジ
ュール生成時に制御部１５から、例えばＬＵＴやマトリ
クスなどの処理パラメータを指示され、それを処理する
ために必要な情報などが処理格納部１３から取り出さ
れ、メモリ部１２上にプログラムモジュールとして生成
される。その生成時に、色変換制御部２２３は制御部１
５から前段のモジュールへの接続情報を与えられ、その
情報に基づいて前段のモジュールに対して入力される画
像情報の取得要求を出して画像サイズやビット数などの
情報を取得し、メモリ部１２上に処理に必要な入力バッ
ファ２２１を生成する。

【００３８】この色変換処理部２２において、後段のモ
ジュールから出力バッファ２２２を渡されて出力要求を
受けると、色変換制御部２２３は前段のモジュールに対
して入力バッファ２２１を渡して出力要求を行い、その
後に入力バッファ２２１に格納された画像データに対し
てＬＵＴやマトリクス処理を行ってその結果を出力バッ
ファ２２２に書き出して後段のモジュールに返す。

【００３９】図４は、畳み込みフィルタ処理を行うフィ
ルタ処理部２３の内部構成の一例を示すブロック図であ
る。フィルタ処理部２３は、図１のフィルタ処理手段１
３５に対応している。図４から明らかなように、フィル
タ処理部２３は、フィルタ係数サイズに対応した複数の
入力バッファ２３１と、処理結果を後段のモジュールに
出力するための出力バッファ２３２と、フィルタ処理を
制御するフィルタ制御部２３３とを有する構成となって
いる。

【００４０】図４には、例えば３×３サイズのフィルタ
処理を行う場合を想定した構成が示されている。図１に
おいて、制御部１５がモジュール生成時に３×３のフィ
ルタ係数を指示してフィルタ処理部２３を生成すると、
フィルタ制御部２３３は、入力バッファ２３１として入
力画像データの３ライン分を保持できるだけの容量をメ
モリ部１２上などに確保し、制御部１５から生成時に渡
された前段モジュールへの接続情報から前段を呼び出し
て最初の１ライン目を入力バッファ２３１の２番目に書
き込ませ、それを入力バッファ２３１の１番目にコピー
する。

【００４１】後段のモジュールから出力バッファ２３２
を渡されて出力要求を受けると、フィルタ制御部２３３
は前段のモジュールに入力バッファ２３１の３番目を渡
して２ライン目の画像データを書き込ませ、これら入力
バッファ２３１の１〜３番目の３ライン分のデータと、
３×３のフィルタ係数を順々に畳み込んで出力データを
計算し、出力バッファ２３２に書き出す。

【００４２】この処理を１ライン分について行うと、１
ライン分の出力結果が出力バッファ２３２に蓄えられる
ので、それを後段のモジュールに返す。その後、入力バ
ッファ２３１は２番目のデータを１番目に、３番目のデ
ータを２番目にコピーして、次のラインの処理に備え
る。

【００４３】図５は、２つの入力画像を受け取ってある
条件によりどちらかの画素値を選択して出力する出力選
択処理部２４の内部構成の一例を示すブロック図であ
る。この出力選択処理部２４は、図１の出力選択処理手
段１３６に対応している。図５から明らかなように、出
力選択処理部２４は、２つの入力画像のそれぞれに対応
した２つの入力バッファ２４１−１，２４１−２と、処
理結果を後段のモジュールに出力するための出力バッフ
ァ２４２と、出力選択処理を制御する出力選択制御部２
４３とを有する構成となっている。

【００４４】出力選択処理部２４は、図１において、モ
ジュール生成時に制御部１５から選択条件などの処理パ
ラメータを指示され、それを処理するために必要な情報
などが処理格納部１３から取り出され、メモリ部１２上
にプログラムモジュールとして生成される。その生成時
に、出力選択制御部２４３は制御部１５から２つの前段
モジュールへの接続情報を与えられ、その情報に基づい
て前段のモジュールに対して入力される画像情報の取得
要求を出して画像サイズやビット数などの情報を取得
し、メモリ部１２上に処理に必要な入力バッファ２４１
−１，２４１−２を生成する。

【００４５】この出力選択処理部２４において、後段の
モジュールから出力バッファ２４２を渡されて出力要求
を受けると、２つの前段のモジュールそれぞれに対して
入力バッファ２４１の１番目（２４１−１）と２番目
（２４１−２）とを渡して出力要求を行い、入力バッフ
ァに画像データを書き込んでもらう。その後、制御部１
５から指示された選択条件をもとに２つの入力バッファ
２４１−１，２４１−２に格納された画像データから画
素値を順次選択して出力バッファ２４２に書き出して後
段のモジュールに返す。

【００４６】以上、各種の処理モジュールについて通常
の処理動作の概要を説明した。これら各処理モジュール
には、これ以外に、それまでの処理を破棄して画像の先
頭から処理をやり直すリセット（再度初期化）動作や、
不要なデータの処理を省略するために処理を行わずに内
部状態のみ変更するスキップ（読み飛ばし）動作などの
機能が備わっていても良い。

【００４７】例えば、図４のフィルタ処理部２３に対し
て後段からリセット指示が与えられると、フィルタ制御
部２３３は、前段のモジュールに対して同様にリセット
指示を行い、その後に内部に保持している処理ライン数
カウンタを０にリセットするとともに、前段を呼び出し
て最初の１ライン目を入力バッファ２３１の２番目に書
き込ませ、それを入力バッファ２３１の１番目にコピー
する。このように動作することで、フィルタ処理部２３
は制御部１５によって生成されたのと同じ状態に復帰す
ることができる。

【００４８】また、例えば図３の色変換処理部２２に対
して後段からＫライン分の処理をスキップするよう指示
が与えられると、色変換制御部２２３は、前段のモジュ
ールに対して同様にＫライン分のスキップ指示を行い、
その後に内部に保持している処理ライン数カウンタにＫ
を加算する。

【００４９】上記のリセット／スキップ機能は、要求さ
れる処理の組み合わせや、分岐モジュールに保持可能な
バッファ部の容量などにより必要であったり不要であっ
たりする。以下の説明では、各具体例によってその要／
不要が異なるが、各モジュールはこのような機能を持っ
ていることを前提として、特に注釈なしに説明を行うも
のとする。

【００５０】以上、各種の処理モジュールについてその
概要を説明したが、本発明は、画像記憶部１１から画像
を読み出す画像入力モジュールなども含めて、これら複
数の処理モジュールを複雑に組み合わせてパイプライン
処理を行う際に必要となる分岐処理に関するものであ
る。

【００５１】以下では、本発明の特徴とする部分である
分岐処理部２５の構成およびその動作について、具体例
をもって詳細に説明する。この分岐処理部２５は、図１
の分岐処理手段１３２に対応している。

【００５２】［第１具体例］図６は、本発明の第１具体
例に係る分岐処理部２５の内部構成の一例を示すブロッ
ク図である。図６から明らかなように、分岐処理部２５
は、前段のモジュールからの入力状態を管理する入力管
理部２５１と、複数の分岐先それぞれについて分岐先情
報を管理する分岐情報管理部２５２と、入力した画像デ
ータを一時格納するバッファ部２５３と、これら各部を
制御する分岐制御部２５４とを有する構成となってい
る。

【００５３】図１において、制御部１５は処理格納部１
３から分岐処理手段１３２を読み出して、前段モジュー
ルへの接続情報とバッファ部２５３の容量の上限値を引
数としてメモリ部１２上に分岐処理部２５のモジュール
を生成する。すると、分岐処理部２５では、分岐制御部
２５４の制御に従って各部が次のように動作する。

【００５４】入力管理部２５１は、前段への接続情報と
読み出したライン数のカウンタを保持して、ライン数カ
ウンタを０に初期化する。分岐情報管理部２５２は、分
岐先を判別するためのインデックスとその分岐先が読み
出したライン数のカウンタの組を複数保持できる分岐先
管理リストを生成し、この時点ではまだ分岐先が無いの
で空の状態に初期化する。バッファ部２５３は、容量の
上限値から計算されるバッファリング可能なライン数の
バッファを生成／管理するためにラインバッファのポイ
ンタのリストを生成し、この時点ではまだ何も入力され
ていないので空の状態に初期化する。

【００５５】続いて制御部１５が、分岐処理部２５に対
して新たに分岐先を生成するよう指示すると、分岐制御
部２５４は、分岐情報管理部２５２を制御して分岐先毎
に異なる値を取るインデックスと０に初期化されたライ
ン数カウンタの組を生成させて前記分岐先管理リストに
登録させ、前記インデックスを制御部１５に返す。この
動作は、必要な分岐の数だけ繰り返される。

【００５６】このようにして分岐処理部２５が生成さ
れ、さらにモジュールが接続されて処理全体が例えば図
１２に示すパイプラインとして構築されたものとして、
以下、図７のフローチャートに従って後段のモジュール
から呼び出されたときの分岐処理部２５の動作について
詳細に説明する。

【００５７】ある分岐先から画像データの読み出し要求
があると、分岐制御部２５４は分岐先のインデックスを
取得して、その情報をもとに分岐情報管理部２５２の分
岐先管理リストを探索して同一のインデックスを持つ分
岐先情報を取得する（ステップＳ１１）。次いで、この
取得した分岐先情報からライン数カウンタの値を読み出
すことで、当該分岐先が次に必要とするライン情報を取
得する（ステップＳ１２）。例えば、ライン数カウンタ
の値が初期値の０であった場合には1ライン目を、１０
であった場合には１１ライン目をそれぞれ、当該分岐先
が要求していることが分る。

【００５８】次いで、分岐制御部３２４は、バッファ部
２５３のラインバッファのリストを探索してステップＳ
１２で判定した要求ラインが保持（バッファリング）さ
れているか否かをチェックし（ステップＳ１３）、もし
保持されていたらステップＳ１８に移行し、保持されて
いない場合には、入力管理部３２１から既に読み出した
ライン数のカウンタの値を取得する（ステップＳ１
４）。

【００５９】次いで、その取得した入力ライン数のカウ
ンタの値から、要求ラインが既に読み出し済みか否かを
判断し（ステップＳ１５）、既に読み出し済みならば、
バッファ部２５３にも保持されていない状態なので、入
力管理部２５１が保持している前段への接続情報をもと
に前段のモジュールをリセットして入力ライン数のカウ
ンタも０とし、画像の先頭ラインから読み出し直せるよ
うにする（ステップＳ１６）。

【００６０】まだ読み出していないならば、この時点で
（入力済みライン＜要求ライン）となっているはずなの
で、入力管理部２５１経由で前段のモジュールを呼び出
し、要求ラインに到達するまで空読みするか、または前
段側に接続されているモジュールがスキップ機能を持っ
ている場合には不要なラインをスキップして、要求ライ
ンを読み出してバッファ部２５３に格納する（ステップ
Ｓ１７）。この時点で要求ラインはバッファ部２５３に
格納されているので、呼出し分岐先から渡された出力バ
ッファにそのラインデータをコピーして返す（ステップ
Ｓ１８）。これで当該分岐先からの読み出し要求は処理
されたことになるので、一連の処理を終了する。

【００６１】なお、ここでは説明を簡単にするために詳
細を省略したが、ステップＳ１７の処理において、要求
ラインを読み出してバッファ部２５３に格納する際に、
もしバッファ部２５３が既に予め指定された容量の上限
に達しており新たなラインを格納できない場合には、既
に格納されているラインをバッファ部２５３から削除す
ることとなる。その際に、どのラインを削除するかにつ
いては幾つかの方式が考えられる。例えば、バッファ部
２５３への格納順の古いデータから順に削除する方式
や、格納されているもののうちから画像の先頭に近くに
位置するデータから順に削除する方式などを用いること
ができる。

【００６２】上述したように、処理モジュールの一つと
して分岐処理部２５を含むパイプライン処理において、
当該分岐処理部２５に対して、入力状態を管理する入力
管理部２５１、分岐先の情報を管理する分岐情報管理部
２５２、容量の上限を指定することが可能なバッファ部
２５３および分岐処理全体を制御する分岐制御部２５４
を持たせたことにより、分岐処理部２５は画像全面分の
バッファを持つこと無しに任意の数の分岐処理に対応す
ることができるため、少ないメモリ消費で分岐処理を行
うことができる。

【００６３】なお、後段に繋がる処理モジュールの種類
によっては全く前段のリセットを行わなくても分岐処理
を制御することが可能となるので、画像全面をバッファ
リングした場合とほぼ同じ処理速度で分岐を行うことが
可能となる。その例を、第２具体例として次に説明す
る。

【００６４】［第２具体例］本具体例では、図１２に示
すように、複数の処理モジュールが接続されてなるパイ
プラインを例に採って、前段側に接続されたモジュール
がリセット／スキップ機能を持たなくても限定された容
量のバッファのみで分岐処理を行う場合について説明す
る。

【００６５】図５において説明したように、出力選択処
理部２４は２つの前段のモジュールから画像を１ライン
単位で取得し、その入力を特定の条件で選択して１ライ
ンを出力するものであり、図１２のパイプライン処理で
は、その前段モジュールとして３×３フィルタ処理を行
うフィルタ処理部１（１１５−１）と、７×７フィルタ
処理を行うフィルタ処理部２（１１５−２）とが接続さ
れている。

【００６６】図４のフィルタ処理部２３での動作説明の
ように、３×３フィルタ処理の場合には出力の１ライン
先までを読み込んでおくことが必要であり、また同様
に、７×７フィルタ処理の場合には出力の３ライン先ま
でを読み込んでおくことが必要である。

【００６７】つまり、出力選択処理部２４が１ライン毎
に処理を行い、さらにフィルタ処理部１（１１５−１）
を先に呼び出すとすると、分岐処理部２５はフィルタ処
理部２（１１５−２）が先読みする３ライン分とフィル
タ処理部１（１１５−１）が先読みする１ライン分との
重複部分である３ライン分の範囲でのみ出力要求を受け
ることになる。そのため、分岐処理部２５中のバッファ
部２５３は、３ライン分をバッファリングするだけで前
段に対してリセットを行う必要が無くなり、画像全面を
バッファリングするのと同じ速度で分岐処理を行うこと
ができる。

【００６８】また、例えば図８に示したように、フィル
タ処理の代わりに異なる色変換処理を行ってその結果を
選択するような処理手順が必要なパイプライン処理の場
合を考える。図８中、図１２と同等部分には同一符号を
付して示している。

【００６９】図３において説明したように、色変換処理
部２２の動作は出力ラインと同じ入力ラインを必要とす
るだけなので、色変換処理部１（１１３−１）と色変換
処理部２（１１３−２）が要求するラインは全く同じラ
インとなる。そのため、分岐処理部２５（図８では、分
岐処理部１１４）は１ライン分をバッファリングするだ
けで前段に対してリセットを行う必要が無くなり、画像
全面をバッファリングするのと同じ速度で分岐処理を行
うことができる。

【００７０】以下に、本具体例における分岐処理部２５
での分岐処理の動作について、図９に示すフローチャー
トに従って説明する。

【００７１】ある分岐先から画像データの読み出し要求
があると、分岐制御部２５４は分岐先のインデックスを
取得して、その情報をもとに分岐情報管理部２５２の分
岐先管理リストを探索して同一のインデックスを持つ分
岐先情報を取得する（ステップＳ２１）。次いで、この
取得した分岐先情報からライン数カウンタの値を読み出
すことで、当該分岐先が次に必要とするライン情報を取
得する（ステップＳ２２）。例えば、ライン数カウンタ
の値が初期値の０であった場合には1ライン目を、１０
であった場合には１１ライン目をそれぞれ、当該分岐先
が要求していることが分る。

【００７２】次いで、分岐制御部２５４は、バッファ部
２５３のラインバッファのリストを探索してステップＳ
２２で判定した要求ラインが保持（バッファリング）さ
れている否かをチェックし（ステップＳ２３）、もし保
持されていたらステップＳ２６に移行し、保持されてい
ない場合には、入力管理部２５１から既に読み出したラ
イン数のカウンタの値を取得する（ステップＳ２４）。

【００７３】次いで、この取得した入力ライン数カウン
タの値をもとに、入力管理部２５１経由で前段のモジュ
ールを呼び出し、要求ラインに到達するまで空読みする
か、または前段側に接続されているモジュールがスキッ
プ機能を持っている場合には不要なラインをスキップし
て、要求ラインを読み出してバッファ部２５３に格納す
る（ステップＳ２５）。

【００７４】なお、後段にフィルタ処理や色変換処理を
接続した場合では空読み処理やスキップ処理は不要で、
入力管理部２５１経由で前段から順に次のラインを読み
出すだけで良い。また、ステップＳ２５の処理での最初
の時点では、（入力済みライン＜要求ライン）となって
いるはずなのでリセットが不要なのは前述した通りであ
る。

【００７５】ステップＳ２５の処理終了時点で、要求ラ
インはバッファ部２５３に格納されているので、呼出し
分岐先から渡された出力バッファにそのラインデータを
コピーして返す（ステップＳ２６）。これで当該分岐先
からの読み出し要求は処理されたことになるので、一連
の処理を終了する。

【００７６】なお、ここでは説明を簡単にするために詳
細を省略したが、ステップＳ２５の処理において、要求
ラインを読み出してバッファ部２５３に格納する際に、
もしバッファ部２５３が既に上限容量に達しており新た
なラインを格納できない場合のバッファの削除方法につ
いては、第１具体例の場合と同じ方法を用いる。

【００７７】上述したように、分岐処理部２５の後段に
繋がる処理モジュールによっては、必要十分なバッファ
を持つことでリセットやスキップを行わずに処理が可能
であり、これは処理モジュールを接続する制御部１５に
よって判定することが可能であるので、制御部１５が分
岐モジュールを生成する際に、後段に接続する処理モジ
ュールの種類を分析して分岐処理部２５のバッファ容量
の上限値を指示することにより実現することができる。

【００７８】ここでは、少ないメモリで画像全面をバッ
ファリングするのと同じ処理速度を得る方法を示した
が、例えば組み込み系システムのように処理速度よりも
メモリの制約が厳しい場合には、分岐処理部２５で全く
バッファを持たずに分岐処理を行うことが可能である。
その例を、第３具体例として次に説明する。

【００７９】［第３具体例］図１０は、本発明の第３具
体例に係る分岐処理部２５Ａの内部構成を示すブロック
図であり、図中、図６と同等部分には同一符号を付して
示している。図１０から明らかなように、本具体例に係
る分岐処理部２５Ａは、第１，第２具体例に係る分岐処
理部２５の構成に対してバッファ部２５３が無くなった
構成となっている。そのため、分岐処理部２５Ａの生成
時には、図１において、制御部１５は処理格納部１３か
ら分岐処理手段１３２を読み出して、前段モジュールへ
の接続情報だけを引数としてメモリ部１２上に分岐処理
部２５Ａのモジュールを生成する。

【００８０】このときは、バッファ部が存在しないの
で、引数としてバッファ容量の上限値は不要となる。分
岐処理部２５Ａの生成時の各部の動作は、バッファ部が
無いためにそれに関する処理が無いことを除いて、第１
具体例で説明したものと同じであるので説明を省略す
る。

【００８１】なお、本具体例においては、少なくとも分
岐処理部２５Ａの前段側に繋がっている入力を含む処理
モジュールの全てはリセット機能を持っているものとす
る。以下に、本具体例に係る分岐処理部２５Ａでの分岐
処理動作について、図１１に示すフローチャートに従っ
て説明する。

【００８２】ある分岐先から画像データの読み出し要求
があると、分岐制御部２５４は分岐先のインデックスを
取得して、その情報をもとに分岐情報管理部２５２の分
岐先管理リストを探索して同一のインデックスを持つ分
岐先情報を取得する（ステップＳ３１）。次いで、この
取得した分岐先情報からライン数カウンタの値を読み出
すことで、当該分岐先が次に必要とするライン情報を取
得する（ステップＳ３２）。例えば、ライン数カウンタ
の値が初期値の０であった場合には1ライン目を、１０
であった場合には１１ライン目をそれぞれ、当該分岐先
が要求していることが分る。

【００８３】次いで、分岐制御部２５４は、入力管理部
２５１から既に読み出したライン数のカウンタの値を取
得する（ステップＳ３３）。そして、この取得した入力
ライン数のカウンタの値から、要求ラインが既に読み出
し済みか否かを判断し（ステップＳ３４）、まだ読み出
していないならば、ステップＳ３６に移行する。既に読
み出し済みならば、入力管理部２５１が保持している前
段への接続情報をもとに前段のモジュールをリセットし
て入力ライン数カウンタも０とし、画像の先頭ラインか
ら読み出し直せるようにする（ステップＳ３５）。

【００８４】ステップＳ３５の処理終了時点で（入力済
みライン＜要求ライン）となっているはずなので、入力
管理部２５１経由で前段のモジュールを呼び出し、要求
ラインに到達するまで空読みするか、または前段側に接
続されているモジュールがスキップ機能を持っている場
合には不要なラインをスキップして、要求ラインを呼出
し分岐先から渡された出力バッファ上に読み出して返す
（ステップＳ３６）。これで当該分岐先からの読み出し
要求は処理されたことになるので、一連の処理を終了す
る。

【００８５】本具体例では、分岐処理部２５Ａからバッ
ファを削除することができるが、分岐先から同じライン
を要求されるとリセット機能を使って前段を画像の先頭
まで巻き戻して再処理することになるので、処理コスト
は他の具体例と比べて高いものとなる。ステップＳ３６
の処理においても述べたように、少なくとも分岐処理部
２５Ａよりも前段側の処理モジュールがスキップ機能を
持っていれば、その処理コストの増加を最小限に抑える
ことが出来る。

【００８６】

【発明の効果】以上説明したように、本発明によれば、
複数の要素機能的な画像処理モジュールを用意して、そ
の組み合わせにより多種多様な画像処理機能を提供する
際に必要となる画像の分岐処理について、これまで必要
不可欠であった画像全面分のバッファを、全く持たない
場合を含む任意の容量に削減することが可能となり、さ
らに後段に繋がる処理モジュールによっては全面をバッ
ファリングするのと同じ速度で分岐処理することが可能
となる。

【図面の簡単な説明】

【図１】 本発明の一実施形態に係る画像処理装置の構
成の一例を示すブロック図である。

【図２】 拡縮処理部の内部構成の一例を示すブロック
図である。

【図３】 色変換処理部の内部構成の一例を示すブロッ
ク図である。

【図４】 フィルタ処理部の内部構成の一例を示すブロ
ック図である。

【図５】 出力選択処理部の内部構成の一例を示すブロ
ック図である。

【図６】 本発明の第１具体例に係る分岐処理部の内部
構成の一例を示すブロック図である。

【図７】 第１具体例に係る分岐処理部の動作説明に供
するフローチャートである。

【図８】 本発明の第２具体例に係る処理モジュールの
組み合わせ例を示すブロック図である。

【図９】 第２具体例に係る処理モジュールの組み合わ
せでの動作説明に供するフローチャートである。

【図１０】 本発明の第３具体例に係る分岐処理部の内
部構成の一例を示すブロック図である。

【図１１】 第３具体例に係る分岐処理部の動作説明に
供するフローチャートである。

【図１２】 分岐を使った処理モジュールの組み合わせ
の一例を示すブロック図である。

【図１３】 分岐を使わないで図１２と同じ処理を実現
する場合の一例を示すブロック図である。

【符号の説明】

１１…画像記憶部、１２…メモリ部、１３…処理格納
部、１４…画像出力部、１５…制御部、２１…拡縮処理
部、２２…色変換処理部、２３…フィルタ処理部、２４
…出力選択処理部、２５，２５Ａ…分岐処理部、１３１
…画像入力手段、１３２…分岐処理手段、１３３…拡縮
処理手段、１３４…色変換処理手段、１３５…フィルタ
処理手段、１３６…出力選択処理手段

Claims (10)

【特許請求の範囲】
1. 【請求項１】 デジタル画像データを記憶する画像記憶
   手段と、 少なくとも前記画像記憶手段から要求された画像データ
   を順次読み出す機能を持つ画像入力手段と、 入力された画像データを複数の出力先に出力可能な分岐
   処理手段と、 少なくとも入力側に接続された前記画像入力手段または
   他の画像処理手段または前記分岐処理手段から処理に必
   要なデータ部分を取得して所定の処理を行う機能を持つ
   複数の画像処理手段とを具備し、 前記分岐処理手段は、少なくとも入力側に接続された前
   記画像入力手段または前記画像処理手段からの入力状況
   を管理する入力管理手段と、分岐先の情報を管理する分
   岐情報管理手段と、容量の上限を指定可能なバッファ手
   段と、分岐処理全体を制御する分岐制御手段とを有する
   ことを特徴とする画像処理装置。
2. 【請求項２】 前記分岐処理手段は、分岐先から出力要
   求を受けると、前記分岐制御手段が前記分岐情報管理手
   段から画像データのどの部分が出力要求されているかの
   情報を取得し、また前記バッファ手段から要求部分のデ
   ータが格納されているか否かの情報を取得し、格納され
   ていれば当該データを出力要求があった分岐先に対して
   出力し、前記バッファ手段に格納されていない場合には
   前記入力管理手段から要求部分を読み出して出力要求が
   あった分岐先に対して出力するとともに前記バッファ手
   段に格納することを特徴とする請求項１記載の画像処理
   装置。
3. 【請求項３】 前記画像入力手段は、少なくとも前記画
   像記憶手段から要求された画像データを順次読み出す機
   能に加えて、画像データの読み出しを先頭からやり直す
   機能を持ち、 前記画像処理手段は、少なくとも入力側に接続された前
   記画像入力手段または他の画像処理手段または前記分岐
   処理手段から処理に必要なデータ部分を取得して所定の
   処理を行う機能に加えて、該所定の処理を画像の先頭か
   らやり直すように状態を初期化する機能を持つことを特
   徴とする請求項１記載の画像処理装置。
4. 【請求項４】 前記分岐処理手段は、分岐先から出力要
   求を受けると、前記分岐制御手段が前記分岐情報管理手
   段から画像データのどの部分が出力要求されているかの
   情報を取得し、また前記バッファ手段から要求部分のデ
   ータが格納されているか否かの情報を取得し、格納され
   ていれば当該データを出力要求があった分岐先に対して
   出力し、前記バッファ手段に格納されていない場合には
   前記入力管理手段から要求部分が入力済みか否かの情報
   を取得し、要求部分がまだ入力側から入力されていない
   場合には入力側から要求部分を読み出して出力要求があ
   った分岐先に対して出力するとともに前記バッファ手段
   に格納し、既に入力側から入力済みである場合には入力
   側に対して処理を画像の先頭からやり直すように要求し
   て要求部分を読み出し直して出力要求があった分岐先に
   対して出力するとともに前記バッファ手段に格納するこ
   とを特徴とする請求項３記載の画像処理装置。
5. 【請求項５】 前記分岐処理手段は、前記バッファ手段
   に対してデータを格納する際に、もし予め指定された容
   量を超える場合には、格納順の古いデータから順に前記
   バッファ手段から破棄することを特徴とする請求項３又
   は４記載の画像処理装置。
6. 【請求項６】 前記分岐処理手段は、前記バッファ手段
   に対してデータを格納する際に、もし予め指定された容
   量を超える場合には、画像の先頭の近くに位置するデー
   タから順に前記バッファ手段から破棄することを特徴と
   する請求項３又は４記載の画像処理装置。
7. 【請求項７】 デジタル画像データを記憶する画像記憶
   手段と、 少なくとも前記画像記憶手段から要求された画像データ
   を順次読み出す機能と、画像データの読み出しを先頭か
   らやり直す機能とを持つ画像入力手段と、 入力された画像データを複数の出力先に出力可能な分岐
   処理手段と、 少なくとも入力側に接続された前記画像入力手段または
   他の画像処理手段または前記分岐処理手段から処理に必
   要なデータ部分を取得して所定の処理を行う機能と、該
   所定の処理を画像の先頭からやり直すように状態を初期
   化する機能とを持つ複数の画像処理手段とを具備し、 前記分岐処理手段は、少なくとも入力側に接続された前
   記画像入力手段または前記画像処理手段からの入力状況
   を管理する入力管理手段と、分岐先の情報を管理する分
   岐情報管理手段とを有することを特徴とする画像処理装
   置。
8. 【請求項８】 前記分岐処理手段は、分岐先から出力要
   求を受けると、前記分岐制御手段が前記分岐情報管理手
   段から画像データのどの部分が出力要求されているかの
   情報を取得し、また前記入力管理手段から要求されたデ
   ータ部分が入力済みか否かの情報を取得し、まだ入力側
   から入力されていない場合には入力側から要求部分を読
   み出して出力要求があった分岐先に対して出力し、既に
   入力側から入力済みである場合には入力側に対して処理
   を画像の先頭からやり直すよう要求して要求部分を読み
   出し直して出力要求があった分岐先に対して出力するこ
   とを特徴とする請求項７記載の画像処理装置。
9. 【請求項９】 前記画像入力手段および前記画像処理手
   段は、要求に応じて指定された部分についての処理を行
   わずスキップする機能を持ち、 前記分岐処理手段は、必要なデータ部分を得るためにそ
   の手前までの部分の処理をスキップするように入力側に
   要求することを特徴とする請求項１〜８のいずれかに記
   載の画像処理装置。
10. 【請求項１０】 処理対象の画像データを入力する画像
    入力処理モジュールおよび入力された画像データを複数
    の出力先に出力可能な分岐処理モジュールを含む複数の
    処理モジュールがパイプライン形態に接続されてなるパ
    イプライン処理において、 前記複数の処理モジュールの各々に処理対象の画像デー
    タの先頭から処理をやり直す機能を持たせるとともに、
    前記分岐処理モジュールに少なくとも任意数の分岐先を
    管理する機能を持たせたことを特徴とする画像処理方
    法。