JP2000353237A - マルチプロセッサ構成画像処理システム - Google Patents

Abstract

(57)【要約】 【課題】 処理分割に要するオーバーヘッドを軽減し、
処理全体のスループットを向上させるマルチプロセッサ
構成画像処理システムを得る。 【解決手段】 マルチプロセッサ構成の画像処理システ
ムにおいて、画像処理対象の画像データを保持する画像
データ保持機能と、処理対象となる画素をカウントする
画素カウント機能と、その出力結果より処理画素数が均
等となるように対象画像データを複数の部分画像に分割
する画像分割機能とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像処理システ
ムに関し、特にマルチプロセッシングが可能な画像処理
システムに関するものである。

【０００２】

【従来の技術】図１２は例えば特開平８−４４６７８号
公報に示された一般的なマルチプロセッサ構成の画像処
理システムを示したものであり、図において、１は画像
データを入力する、スキャナ、ＴＶカメラ等の画像入力
部、２は画像データを表示するＣＲＴ等の画像表示部、
３はオペレータが手操作入力を行うキーボード等の手操
作入力部、４は画像を出力するプリンタ等の画像出力
部、５は画像入力部１から入力された画像に対して、後
述する種々の画像処理を行って、画像表示部２や画像出
力部４に出力する画像処理部である。なお画像入力部
１、画像出力部４は他装置との通信による画像データの
入出力を行ってもよい。

【０００３】次に、上述した画像処理部５の詳細構成を
図１３に示す。提示する画像処理システムはＣＰＵを複
数備えたマルチプロセッサ型となっている。図１３にお
いて、１１６、１１７、１１８は実際に画像処理システ
ムを実行するＣＰＵである。１１１はＲＡＭまたはＲＯ
Ｍ等により構成され、実行する画像処理プログラムを格
納しているプログラム管理部、１１２は画像処理要求に
従って各ＣＰＵ１１６〜１１８に処理を分散して割り振
る、いわゆるスケジューリングを行うスケジューラ、１
１３は処理対象の画像画像データを管理する画像データ
管理部、１１４は例えばＣＰＵ１１６〜１１８等、提示
した構成において使用可能なＣＰＵのアドレスおよび性
能、また、現在の負荷状況を管理しているＣＰＵ管理テ
ーブルである。１１５は各種画像処理に関する基本的な
アルゴリズム情報が関数として格納されているアルゴリ
ズムテーブルである。１２２はＲＡＭであり、各ＣＰＵ
１１６〜１１８において作業領域として共有して使用さ
れる。図１３に示す各構成は内部バスにより接続されて
いる。

【０００４】次に動作を説明する。スケジューラ１１２
は、ＣＰＵ１１６〜１１８のいずれかにより制御されて
いる。また、プログラム管理部１１１に格納されている
画像処理プログラムはオペレータにより作成され、アル
ゴリズムテーブル１１５に登録されている関数を利用し
て動作する。またアルゴリズムテーブル１１５内の関数
のアルゴリズムを変更して利用する場合には、変更した
アルゴリズムの関数を作成し、アルゴリズムテーブル１
１５に登録する。なお、アルゴリズムテーブル１１５に
新たに関数を登録する場合、該関数が画像データをどの
ように分割して処理できるかの情報も登録しておく必要
がある。以降、複数のＣＰＵへの処理の割り振り結果、
すなわち、どのＣＰＵにどれだけの画像処理を分担させ
るかをスケジュールと称する。スケジューラ１１２にお
いては、スケジュールを決定するための情報として、画
像処理アルゴリズムテーブル１１５から画像処理で使用
する各関数における画像データの分割方法、また、ＣＰ
Ｕ管理テーブル１１４から各ＣＰＵ１１６〜１１８の性
能を調べて利用する。

【０００５】次にスケジューラ１１２の動作を図１４の
フローチャートを参照して説明する。ステップＳ６０１
において、スケジューラ１１２は画像処理プログラム管
理部１１１からの処理要求を待ち、処理要求が発生すれ
ばステップＳ６０２に進み、アルゴリズムテーブル１１
５を調べることによって、画像をどう分割できるかの情
報を得る。次にステップＳ６０３に進み、ＣＰＵ管理テ
ーブル１１４に基づいて現在利用可能なＣＰＵの数、お
よびそれぞれのＣＰＵの性能を調べ、ステップＳ６０４
でスケジューラ１１２は各ＣＰＵに現在の負荷の状態を
問い合わせる。ここで、ＣＰＵ１１６〜１１８が利用可
能であるとすると、スケジューラ１１２はステップＳ６
０２〜Ｓ６０４で得られた情報を基にステップＳ６０５
で、どのＣＰＵにどれだけの画像データを渡して処理さ
せるか、すなわちスケジュールを決定する。

【０００６】提示した例では、全画像データを後述する
各ＣＰＵのそれぞれに割り当てる。従って利用可能なＣ
ＰＵのそれぞれに割り当てられる画像データ量は異なっ
ている。スケジュールが決まれば、その後ステップＳ６
０６において、各ＣＰＵ１１６〜１１８へ画像データの
分割方法とその割当てを通知する。次にステップＳ６０
７において各ＣＰＵ１１６〜１１８へ画像処理コマンド
を通知する。各ＣＰＵ１１６〜１１８では、スケジュー
ラ１１２から通知された画像処理コマンドに基づいて画
像データ管理部１３で管理されているＲＡＭ１２２上の
画像データを処理し、処理が終了するとその旨のメッセ
ージをスケジューラ１１２へ通知する。なお、この時、
画像データ管理部１１３では、ＲＡＭ１２２上において
画像の同一領域を複数のＣＰＵが同時にアクセスするこ
とが無いように排他制御を行う。スケジューラ１１２は
各ＣＰＵが画像処理を実行している間は各ＣＰＵからの
通知を待っているか、または待ちながら別の処理を実行
していてもよい。

【０００７】ステップＳ６０８において、スケジューラ
１１２はＣＰＵ１１６〜１１８のうちの１つからの終了
メッセージを受け取ると、ステップＳ６０９で処理を割
り当てられたＣＰＵ１１６〜１１８の全てから終了メッ
セージを受け取ったか否か、すなわち、全ＣＰＵが処理
終了したか否かを確認し、終了していなければステップ
Ｓ６０８へ戻り、他のＣＰＵからのメッセージを待つ。
全てのＣＰＵの処理が終了したのであればステップＳ６
１０へ進み、スケジューラ１１２はプログラム管理部１
１１へ画像処理の終了を通知し、画像データ管理部１１
３で各部分画像の処理結果をＲＡＭ１２２上で統合して
１つの画像とするように依頼する。以上説明したように
してスケジューラ１１２では各ＣＰＵに画像処理のスケ
ジュールを制御する。

【０００８】次に図１３に示す画像データ管理部１１３
について詳細に説明する。画像データ管理部１１３は入
力画像、および処理後の画像を管理しており、スケジュ
ーラ１１２の指示に従って画像データの流れを制御す
る。ただし、画像データ管理部１１３は画像データの管
理を行えばよく、画像データはプロセス内、ＲＡＭ１２
２内、その他ファイル等、何処に存在していてもよい。
本例では図示していないファイル内に画像データが格納
されているとする。ＲＡＭ１２２も画像データ管理部１
１３によって管理されており、画像データの流れは次の
ようになる。画像データ管理部１１３はプログラム管理
部１１１からスケジューラ１１２へ要求した処理対象画
像データをファイルＩ／Ｏの機能を用いて読み出し、Ｒ
ＡＭ１２２上に展開する。この画像データをスケジュー
ラ１１２の指示に従って分割し、各ＣＰＵ１１６〜１１
８へ転送する。各ＣＰＵで処理が終了すると、画像デー
タ管理部１１３はそれぞれのＣＰＵから処理結果の画像
データを回収して統合し、処理結果としてファイルへ書
き出し、プログラム管理部１１１へ通知する。

【０００９】本例においては、スケジューラ１１２によ
り、使用可能な複数のＣＰＵに対して処理をそれぞれ分
割して割り振るが、この時、各ＣＰＵの処理効率を予め
予測することが必要となる。この予測されるＣＰＵの処
理効率を以下、予測効率と称し、本例における各ＣＰＵ
の予測効率の求め方、および画像の分割方法について説
明する。ＣＰＵの性能をＳ、ＣＰＵの負荷をｌｏａｄ
（１００％の負荷で“１”となる）とすると、ＣＰＵの
予測効率ｐｅは以下の式で表される。ｐｅ＝（１−ｌｏ
ａｄ）× Ｓここで、ＣＰＵの性能Ｓは実測値を基にし
て決定するのが最もよいが、例えばＳＰＥＣｉｎｔ９２
（整数演算性能）やＳＰＥＣｆｔ９２（浮動小数点演算
性能）といったベンチマークプログラムによるＣＰＵの
性能の指標を基にして決めてもよい。また、ＣＰＵの負
荷ｌｏａｄは、ＣＰＵが現在どれだけ利用されているか
を表すものであるため、ＣＰＵに実際に問い合わせるこ
とにより求められる。

【００１０】また、画像の分割は各ＣＰＵに対する処理
の割当てが予測効率ｐｅに比例するように決定する。た
だし、画像によってはその処理の種類によって、分割で
きる場所が限定される場合がある。そのような場合に
は、なるべく予測効率と比例するように分割可能な場所
で分割するように調整する。以下、本例における画像分
割の例を示す。

【００１１】例えば、６つのＣＰＵが利用可能であり、
それぞれの予測効率が１．０、０．６、０．５、０．
２、０．２、０．０であり、画像の大きさが５１２×５
１２であり、処理はライン単位であって、ラインの途中
で切断できないとする。この場合に、５１２ラインの画
像を１０：６：５：２：２に比例配分すると、それぞれ
２０、１２、１０、４、４、０ラインの割当てとなる。
しかし、これでは２ラインが余ってしまうため、実際に
は予測効率の最も高いＣＰＵに余りを割り当て、それぞ
れ２２、１２、１０、４、４、０ラインに分割して処理
を行う。一方、処理が画素単位の場合には、５１２×５
１２を１０：６：５：２：２に比例配分し、余りを予測
効率に応じて分配して割り当てると、それぞれ１０４８
６０、６２９１４、５２４２８、２０９７１、２０９７
１が割り当てられる。

【００１２】

【発明が解決しようとする課題】従来のマルチプロセッ
サ構成の画像処理システムは以上のように構成されてい
るので、システム仕様（カメラの設置アングル等）やＨ
／Ｗ仕様および処理アルゴリズムから予測効率が予見で
きる場合でも予測効率を算出しなければならず、かつ、
処理の都度、無条件に算出しなければならないので、そ
のオーバーヘッドが大きいという問題点があった。また
同一処理（演算）に対する処理分割しか考慮しておら
ず、各プロセッサに対して異なる処理（演算）を割当
て、並列実行させるための機能（処理分割方法）がない
という問題点もあった。

【００１３】この発明は上記のような問題を解決するた
めになされたものであり、従来例のように算出された予
測効率から割当て領域を決めるのではなく、各プロセッ
サの負荷（稼働率）が均等となるよう処理分割ライン
（処理画像データ量）を調節することにより処理分割に
要するオーバーヘッドを軽減し、処理全体のスループッ
トを向上させるマルチプロセッサ構成画像処理システム
を得ることを目的とする。

【００１４】さらに、処理分割ラインの変更を任意のタ
イミングで実行可能とし、無駄な処理分割ライン算出処
理をさせないことにより処理分割に要するオーバーヘッ
ドのさらなる軽減を図り、処理全体のスループットのさ
らなる向上を図るマルチプロセッサ構成画像処理システ
ムを得ることを目的とする。

【００１５】また、処理分割により並列実行を行う際の
分割数を動的に変更可能とすることで、装置を構成する
プロセッサのいくつかが故障等で動作しなくなった場合
には、残りのプロセッサでリカバー可能とする信頼性の
高いマルチプロセッサ構成画像処理システムを得ること
を目的とする。

【００１６】そして、同一処理（演算）に対する分割処
理はもちろん、異なる処理（演算）を割当てるといった
分割処理ができるマルチプロセッサ構成画像処理システ
ムを得ることを目的とする。

【００１７】さらにまた、分割処理時に個々の分割領域
毎に処理解像度を設定可能とすることで、プロセッサの
負荷の均等化を図り、処理全体のスループットを向上さ
せるマルチプロセッサ構成画像処理システムを得ること
を目的とする。

【００１８】

【課題を解決するための手段】この発明に係るマルチプ
ロセッサ構成画像処理システムは、画像処理対象の画像
データを保持する画像データ保持機能と、処理対象とな
る画素をカウントする画素カウント機能と、その出力結
果より処理画素数が均等となるように対象画像データを
複数の部分画像に分割する画像分割機能とを備えたもの
である。

【００１９】また、画像分割機能が分割する際の分割数
を動的に変更可能とする分割数変更機能を備えたもので
ある。

【００２０】また、画素カウント機能や画像分割機能の
動作タイミングを制御することにより分割処理のオーバ
ーヘツドを軽減する分割変更タイミング制御機能を備え
たものであらう。

【００２１】また、分割数変更機能と連携し、割当てる
処理（演算）内容を動的に変更可能とする割当て処理変
更機能を備え、画像分割による同一処理（演算）の並列
実行だけでなく、異なる処理（演算）の割当てによる並
列実行を行えるようにしたものである。

【００２２】また、分割領域毎に処理解像度を変更可能
とする解像度変更機能を備え、解像度によりプロセッサ
の負荷を調整可能としたものである。

【００２３】

【発明の実施の形態】実施の形態１．以下、この発明の
実施の形態１に係るマルチプロセッサ構成画像処理シス
テムの構成は図１２と同じである。図１２において１は
画像データを入力するスキャナ、ＴＶカメラ等の画像入
力部、２は画像データを表示するＣＲＴ等の画像表示
部、３はオペレータが手操作入力を行うキーボード等の
手操作入力部、４は画像を出力するプリンタ等の画像出
力部、５は画像入力部１から入力された画像に対して、
後述する種々の画像処理を行って、画像表示部２や画像
出力部４に出力する画像処理部である。なお画像入力部
１、画像出力部４は他装置との通信による画像データの
入出力を行ってもよい。

【００２４】次に上述した画像入力部１、画像処理部５
の詳細構成を図１のブロック図に示す。本実施の形態の
画像処理システムはＣＰＵを複数備えたマルチプロセッ
サ構成となっている。図１において、６はアナログ入力
されてくる画像データをデジタルデータに変更するＡ／
Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換器、７、８、
９、１０はデジタル化された映像データをバッファリン
グし、データの入力順（時間軸上での整合性）を保つＦ
ＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ Ｍｅ
ｍｏｒｙ）、１５、１６、１７、１８は実際に画像処理
を実行するプロセッサ（本実施の形態ではＤＳＰだが、
ＣＰＵでも可）である。１１、１２、１３、１４は各プ
ロセッサのワークエリアとして機能するメモリ領域（本
実施の形態ではＳＤＲＡＭで実装）、１９は各プロセッ
サの共有メモリとして配置し、プロセッサ間でのデータ
授受を実現するメモリ領域である（本実施の形態ではＳ
ＲＡＭで実装）。２０はＣＰＵ２１とＤＳＰ１５〜１８
が異なるプロセッサの場合、バス幅の差を吸収する機能
を提供するバスコンバータ（ＢＣ）であり、同一プロセ
ッサを使用している場合は不要である。２１は各プロセ
ッサのマスター制御および表示部２、手操作入力部３、
画像出力部５とのデータ授受の機能を提供するメインプ
ロセッサである（本実施の形態ではＣＰＵだがＤＳＰで
も可）。２２はＣＰＵ２１のワークエリアとして機能す
るメモリ領域であるＤＲＡＭ、２３はプロセッサで実行
されるプログラム（アルゴリズム）が格納されているメ
モリ領域であるＲＯＭである。図１に示す各構成は内部
バスにより接続されている。

【００２５】次に図１を用いて本実施の形態の画像処理
システムの動作について説明する。本実施の形態の画像
処理システムが起動されると、ＲＯＭ２３よりＣＰＵ２
１にメインプログラムがロードされ、メインプログラム
の初期化処理においてＲＯＭ２３よりＢＣ２０を経由し
てプロセッサ１５〜１８の内部メモリおよびＳＤＲＡＭ
１１〜１４にプロセッサ上で動作する画像処理プログラ
ムおよび初期データがロードされる。ロードが完了する
とカメラからの入力を受け付け、画像処理を開始する。
カメラおよびスキャナから入力された画像はＡ／Ｄ変換
器６によりデジタル化され、ＦＩＦＯ７〜１０に送られ
る。ＦＩＦＯ７〜１０に送られた画像データはプロセッ
サ（ＤＳＰ）１５〜１８がＳＤＲＡＭ１１〜１４に読み
込み、プロセッサ１５〜１８は画像処理を並列に実行
し、各々の処理結果をＳＲＡＭ１９またはＢＣ２０経由
でＤＲＡＭ２２に書き込む。ＳＲＡＭ１９またはＤＲＡ
Ｍ２２に書き込まれた処理結果はＣＰＵ２１により計測
等のさらなる処理が施されたり、要求に応じて表示部２
や画像出力部４へ出力される。

【００２６】図２を用いて本実施の形態で例示する画像
処理アルゴリズムの動作について説明する。例示するア
ルゴリズムは侵入監視や交通流計測等に用いられるフレ
ーム間または背景差分法を用いた動画像処理アルゴリズ
ムである。ステップＳ００１の画像入力と背景更新フェ
ーズでは、Ａ／Ｄ変換器により２５６階調の濃淡画像と
なっている入力画像を取り込むと同時に背景画像を更新
する。背景更新の手法として、フレーム間差分であれば
直前のフレームを背景画像として更新する。また背景差
分の場合は指数平滑等で過去の画像に対して、画素単位
に何らかの重み付けを持たせた画像データを足し込み更
新していく等の手法がある。

【００２７】次に、ステップＳ００２の差分フェーズで
は、背景画像と入力画像の差分を取り、ステップＳ００
３の二値化処理において二値画像に変換する。二値画像
化された画像データに対し、ステップＳ００４のノイズ
除去のフェーズでは、膨張、収縮処理によりノイズと解
釈される画素を排除すると同時に抽出領域の整形処理を
行う。そしてステップＳ００５のラベリングのフェーズ
では、抽出領域をラベリングして連結領域を一塊として
認識させる。

【００２８】このようにして抽出した変化領域に対し、
ステップＳ００６の特徴量抽出のフェーズでは、各種モ
ーメント計算を行ったり、ヒストグラムを求めたりし
て、個々の領域の特徴量たるものを算出する。そしてス
テップＳ００７の追跡フェーズでは、算出した特徴量が
連続するフレーム間でどのような対応付けとなるかを判
定し、ステップＳ００８の判定・計測処理のフェーズで
は、追跡による個々の特徴量の軌跡、変化量等から侵入
の有無や車速算出、車種、渋滞、避走判定等の判定・計
測処理を行う。

【００２９】図３により本実施の形態の動作フローを説
明する。本実施の形態では図２で例示した画像処理アル
ゴリズムのステップＳ００１〜Ｓ００４をＤＳＰ１５〜
１８に割当て、画像分割による並列処理を行い、ステッ
プＳ１０５〜１０８をＣＰＵ２１に割当てることとす
る。また図１に示したＣＰＵ２１をマスタープロセッサ
とし、ＤＳＰ１５〜１８を分割処理を実行するプロセッ
サとする。

【００３０】図に示した画像処理システムは、起動され
るとＣＰＵ２１がＲＯＭ２３からメイン制御プログラム
や画像処理プログラムをＤＲＡＭ２２やＳＤＲＡＭ１１
〜１４、またはＤＳＰ１５〜１８の内部メモリにロード
し、各プロセッサ上でプログラムによる処理を開始す
る。本実施の形態を実現する画素カウント機能および画
像分割機能はＲＯＭ２３にプログラムとして格納されて
いる。メインプロセッサは起動されるとステップＳ１０
１の初期化処理にて各ＤＳＰの共有メモリとして配置さ
れているＳＲＡＭ１９に分割ラインに応じた入力画像の
アドレス等の初期値を格納し、各プロセッサに画像処理
を実行するよう通知する（ステップ１０２）。

【００３１】一方、画像処理要求を受けたＤＳＰ１５〜
１８（ステップＳ１１２）は共有メモリであるＳＲＡＭ
１９に格納されている入力画像のアドレスからデータを
読込み（ステップＳ１１３）、割り当てられている画像
処理を行う（ステップＳ１１４）。割り当てられている
画像処理を終了すると、各ＤＳＰはＣＰＵ２１に対して
終了通知を発行し（ステップＳ１１５）、次の処理要求
を待つ。終了通知を受けたＣＰＵ２１は（ステップＳ１
０３）、全てのＤＳＰからの終了通知を待ち（ステップ
Ｓ１０４）、全てのＤＳＰからの終了通知を受けると分
割処理された画像データを１枚の画像データとして扱え
るよう合成（統合）処理を行う（ステップＳ１０５）。
そして割当てられている画像処理を行い（ステップＳ１
０６、１０７）、次の処理での分割ラインを算出すべく
分割内容に応じたヒストグラムを求める（ステップＳ１
０８）。

【００３２】例えば図４（ａ）のように、Ｘ軸に平行に
分割する場合はＸ軸に対するヒストグラムを求め、図４
（ｂ）のように、Ｙ軸に平行に分割する場合はＹ軸に対
するヒストグラムを求める。さらに図４（ｃ）のよう
に、平行分割しない場合はＸ軸、Ｙ軸双方に対するヒス
トグラムを求める。本実施の形態では図４（ｃ）のよう
に分割することとしてステップＳ１０９で実行される分
割ライン算出の動作について説明する。

【００３３】図４（ｃ）のように分割する場合、Ｘ軸、
Ｙ軸双方に対するヒストグラムを求める。そしてＸ軸の
ヒストグラムの全体画素を求め、分割数で割り（本実施
の形態では軸方向あたり２分割の計４分割）、個々のＤ
ＳＰに割当てる画素数を求める。割当て画素数が決まっ
たら、Ｘ座標の若い方からＸ座標毎の画素数を足し込ん
でいき、割当て画素数となるＸ座標を求めていく。次に
Ｙ軸のヒストグラムに対しても同様の処理を行い、割当
て画素数となるＹ座標を求めていく。このようにして求
めたＸ座標とＹ座標をもとに、Ｘ＝求めた座標値、Ｙ＝
求めた座標値となる直線で画像を分割し、その分割画像
のアドレス情報を共有メモリとして配置しているＳＲＡ
Ｍ１９の所定のエリアに設定することで、分割ラインの
通知を行う（ステップＳ１０９）。

【００３４】なお本実施の形態では、マスターＣＰＵ２
１に後処理と言われるステップＳ００５〜Ｓ００８を分
担させたが、ステップＳ００１〜Ｓ００８の画像処理を
ＤＳＰ１５〜１８にやらせ、マスターＣＰＵ２１は分割
ラインの算出だけ実行させてもよい。このように、本実
施の形態の構成は、各プロセッサの負荷を均等化する機
能にヒストグラムによる画素カウントを用いるため、従
来例に比べ、分割に要する処理コストが非常に小さい装
置を得ることができる。

【００３５】実施の形態２．上記実施の形態１では、ヒ
ストグラムを用いた画素カウント機能（ステップＳ１０
８）と画像分割機能（ステップＳ１０９）により、処理
分割のための処理コストを低減する場合について述べて
きたが、本実施の形態２は、図５に示すように、分割数
変更機能（ステップＳ１１７）を設け分割数を動的に変
更可能としたので、ＤＳＰ１５〜１８のいずれかのプロ
セッサが万が一にも故障等で処理不能となっても、残り
のプロセッサで処理を続行することができる。

【００３６】図５により本実施の形態の動作フローを説
明する。本実施の形態では図２で例示した画像処理アル
ゴリズムのステップＳ００１〜Ｓ００４をＤＳＰ１５〜
１８に割当て、画像分割による並列処理を行い、ステッ
プＳ１０５〜１０８をＣＰＵ２１に割当てることとす
る。また図１に示したＣＰＵ２１をマスタープロセッサ
とし、ＤＳＰ１５〜１８を分割処理を実行するプロセッ
サとする。

【００３７】図に示した画像処理システムは、起動され
るとＣＰＵ２１がＲＯＭ２３からメイン制御プログラム
や画像処理プログラムをＤＲＡＭ２２やＳＤＲＡＭ１１
〜１４、またはＤＳＰ１５〜１８の内部メモリにロード
し、各プロセッサ上でプログラムによる処理を開始す
る。本実施の形態を実現する分割数変更機能はＲＯＭ２
３にプログラムとして格納されている。メインプロセッ
サは起動されるとステップＳ１０１の初期化処理にて各
ＤＳＰの共有メモリとして配置されているＳＲＡＭ１９
に分割ラインに応じた入力画像のアドレス、画像の分割
数等の初期値を格納し、各プロセッサに画像処理を実行
するよう通知する（ステップ１０２）。

【００３８】一方、画像処理要求を受けたＤＳＰ１５〜
１８は（ステップＳ１１２）、共有メモリであるＳＲＡ
Ｍ１９に格納されている入力画像のアドレスからデータ
を読込み（ステップＳ１１３）、割り当てられている画
像処理を行う（ステップＳ１１４）。割り当てられてい
る画像処理を終了すると各ＤＳＰはＣＰＵ２１に対し終
了通知を発行し（ステップＳ１１５）、次の処理要求を
待つ。終了通知を受けたＣＰＵ２１は（ステップＳ１０
３）、全てのＤＳＰからの終了通知を待ち（ステップＳ
１０４）、全てのＤＳＰからの終了通知を受けると、分
割処理された画像データを１枚の画像データとして扱え
るよう合成（統合）処理を行う（ステップＳ１０５）。

【００３９】そして割当てられている画像処理を行い
（ステップＳ１０６、１０７）、各プロセッサの動作状
態を示すステータスレジスタにアクセスし、利用可能な
（正常動作している）プロセッサの個数をチェックする
（ステップＳ１１７）。そして利用可能なプロセッサの
個数に応じて、次の処理での分割ラインを算出すべく分
割内容に応じたヒストグラムを求め（ステップＳ１０
８）、算出した分割ラインに応じた分割画像のアドレス
情報を共有メモリとして配置しているＳＲＡＭ１９の所
定のエリアに設定することで、分割ラインの通知を行う
（ステップＳ１０９）。

【００４０】このように本実施の形態の構成は分割処理
を行っているプロセッサのいずれかが故障等で動作不能
となっても、全てのプロセッサが動作不能とならない限
り、残りのプロセッサで継続動作を行える信頼性の高い
装置を得ることができる。

【００４１】実施の形態３．上記実施の形態１ではヒス
トグラムを用いた画素カウント機能（ステップＳ１０
８）と画像分割機能（ステップＳ１０９）による処理分
割のための処理コストを低減する場合について述べ、実
施の形態２では分割数変更機能（ステップＳ１１７）に
よる高信頼化の場合について述べたが、本実施の形態３
は、図６に示すように、分割変更タイミング制御機能
（ステップＳ１１８）を設け、毎回分割ラインを算出す
るのではなく、必要時だけ分割ライン算出処理を実行で
きるようにしたので、さらなるスループットの向上が見
込める装置を得ることができる。

【００４２】図６により本実施の形態の動作フローを説
明する。本実施の形態では図２で例示した画像処理アル
ゴリズムのステップＳ００１〜Ｓ００４をＤＳＰ１５〜
１８に割当て、画像分割による並列処理を行い、ステッ
プＳ１０５〜１０８をＣＰＵ２１に割当てることとす
る。また図１に示したＣＰＵ２１をマスタープロセッサ
とし、ＤＳＰ１５〜１８を分割処理を実行するプロセッ
サとする。

【００４３】図に示した画像処理システムは、起動され
るとＣＰＵ２１がＲＯＭ２３からメイン制御プログラム
や画像処理プログラムをＤＲＡＭ２２やＳＤＲＡＭ１１
〜１４、またはＤＳＰ１５〜１８の内部メモリにロード
し、各プロセッサ上でプログラムによる処理を開始す
る。本実施の形態を実現する分割変更タイミング制御機
能はＲＯＭ２３にプログラムとして格納されている。メ
インプロセッサは起動されるとステップＳ１０１の初期
化処理にて各ＤＳＰの共有メモリとして配置されている
ＳＲＡＭ１９に分割ラインに応じた入力画像のアドレ
ス、画像の分割数等の初期値を格納し、各プロセッサに
画像処理を実行するよう通知する（ステップ１０２）。

【００４４】一方、画像処理要求を受けたＤＳＰ１５〜
１８（ステップＳ１１２）は共有メモリであるＳＲＡＭ
１９に格納されている入力画像のアドレスからデータを
読込み（ステップＳ１１３）、割り当てられている画像
処理を行う（ステップＳ１１４）。割り当てられている
画像処理を終了すると各ＤＳＰはＣＰＵ２１に対し、終
了通知を発行し（ステップＳ１１５）、次の処理要求を
待つ。終了通知を受けたＣＰＵ２１は（ステップＳ１０
３）、全てのＤＳＰからの終了通知を待ち（ステップＳ
１０４）、全てのＤＳＰからの終了通知を受けると、分
割処理された画像データを１枚の画像データとして扱え
るよう合成（統合）処理を行う（ステップＳ１０５）。

【００４５】そして割当てられている画像処理を行い
（ステップＳ１０６、１０７）、各プロセッサの動作状
態を示すステータスレジスタにアクセスし、利用可能な
（正常動作している）プロセッサの個数をチェックする
（ステップＳ１１７）。そして利用可能なプロセッサ数
に増減があるとか、分割ラインの変更が必要な時だけ、
次の処理での分割ラインを算出すべく分割内容に応じた
ヒストグラムを求め（ステップＳ１０８）、算出した分
割ラインに応じた分割画像のアドレス情報を共有メモリ
として配置しているＳＲＡＭ１９の所定のエリアに設定
することで、分割ラインの通知を行う（ステップＳ１０
９）。

【００４６】一般に、連続フレームをリアルタイム処理
する（３０フレーム／秒で画像が入力される）動画像処
理では、直前のフレームと現在のフレームとの差分は微
量であり、毎フレーム、分割ラインを算出しなくとも、
数フレームおきに算出すれば、厳密には均等化されてい
ないが、概ね、均等化されているものと見なせる。この
特性に着目し、リアルタイム処理を行う動画像処理にお
いては必要な時だけ分割ラインの算出を行うことを可能
とすることで、不要な分割処理コストを削減する装置を
得ることができる。

【００４７】実施の形態４．なお、上記実施の形態３で
は分割変更タイミング制御機能（ステップＳ１１８）に
よるスループット向上の場合について述べたが、本実施
の形態４は、図７に示すように割当て処理内容変更機能
（ステップＳ１１９）を設け、分割数変更機能（ステッ
プＳ１１７）と連携動作させることにより、画像分割に
よる処理分割のみならず、異なる処理の割当ても含めて
の処理分割、並列実行が可能な装置を得ることができ
る。

【００４８】図７により本実施の形態の動作フローを説
明する。本実施の形態では、図２で例示した画像処理ア
ルゴリズムのステップＳ００１〜Ｓ００４をＤＳＰ１５
〜１８に割当て、画像分割による並列処理を行い、ステ
ップＳ１０５〜１０８をＣＰＵ２１に割当てる。さらに
数フレーム毎に画像処理以外の処理（例えば入力画像の
デジタル蓄積、デジタル配信）を行うこととする。また
図１に示したＣＰＵ２１をマスタープロセッサとし、Ｄ
ＳＰ１５〜１８を分割処理を実行するプロセッサとす
る。

【００４９】図に示した画像処理システムは、起動され
るとＣＰＵ２１がＲＯＭ２３からメイン制御プログラム
や画像処理プログラムをＤＲＡＭ２２やＳＤＲＡＭ１１
〜１４、またはＤＳＰ１５〜１８の内部メモリにロード
し、各プロセッサ上でプログラムによる処理を開始す
る。本実施の形態を実現する分割変更タイミング制御機
能はＲＯＭ２３にプログラムとして格納されている。メ
インプロセッサは起動されるとステップＳ１０１の初期
化処理にて各ＤＳＰの共有メモリとして配置されている
ＳＲＡＭ１９に分割ラインに応じた入力画像のアドレ
ス、画像の分割数、各プロセッサに割当てた処理の内容
等の初期値を格納し、各プロセッサに割当てられた処理
を実行するよう通知する（ステップ１０２）。

【００５０】一方、処理要求を受けたＤＳＰ１５〜１８
は（ステップＳ１１２）、共有メモリであるＳＲＡＭ１
９に格納されている入力画像のアドレスからデータを読
込み（ステップＳ１１３）、さらに割当て処理内容を格
納しているエリアからデータを読込み、割り当てられて
いる処理を認識し（ステップＳ１２１）、割当てられて
いる処理を行う（ステップＳ１１４またはＳ１２２）。
割り当てられている処理を終了すると各ＤＳＰはＣＰＵ
２１に対し、終了通知を発行し、処理に要した時間を共
有メモリであるＳＲＡＭ１９の所定のエリアに格納し
（スフップＳ１１５）、次の処理要求を待つ。終了通知
を受けたＣＰＵ２１は（ステップＳ１０３）、全てのＤ
ＳＰからの終了通知を待ち（ステップＳ１０４）、全て
のＤＳＰからの終了通知を受けると、分割処理された画
像データを１枚の画像データとして扱えるよう合成（統
合）処理を行う（ステップＳ１０５）。

【００５１】そして割当てられている画像処理を行い
（ステップＳ１０６、１０７）、各プロセッサの動作状
態を示すステータスレジスタにアクセスし、利用可能な
（正常動作している）プロセッサの個数をチェックす
る。そして共有メモリであるＳＲＡＭ１９に格納されて
いる各プロセッサの処理時間と、自身（ＣＰＵ２１）が
処理に要した時間から各プロセッサの負荷を総合的に判
断し、処理分割の内容を変更する（ステップＳ１１
９）。例えば、ＣＰＵ２１の処理時間が長く、ＤＳＰ１
５〜１８との連携動作のボトルネックとなっていると判
断した場合、他のプロセッサにＣＰＵ２１が行っていた
処理の一部を分担させ、負荷バランスを調整する。また
は画像処理と同時に数フレーム毎に画像のデジタル蓄積
やデジタル配信を実行する場合を例にすると、デジタル
蓄積やデジタル配信をしないでいいフレームの時はＤＳ
Ｐ１５〜１８に画像分割による並列動作で画像処理だけ
を行わせ、デジタル蓄積や配信を行うフレームの場合は
３つのプロセッサに画像分割による画像処理を実行さ
せ、１つのプロセッサをエンコード処理と配信処理を担
当させる等、異なる処理での並列動作を可能とする。

【００５２】もちろん、負荷によってはエンコードと配
信のそれぞれの処理に１つずつプロセッサを割当てるこ
ともあり得る。そして、画像処理に割当てられるプロセ
ッサの数と他の処理に割当てられるプロセッサの数を判
断 し（ステップＳ１１７）、共有メモリであるＳＲＡ
Ｍ１９の所定のエリアに次の要求で実行する処理内容を
格納した後（ステップＳ１２０）、画像処理を担当する
プロセッサの個数に応じた分割ラインの変更処理を行う
（ステップＳ１０８、Ｓ１０９）。

【００５３】このように本実施の形態の構成は、同一処
理の分割処理（画像分割による並行動作）のみならず、
異なる処理内容（演算）での並列動作および負荷の均一
化が可能となる装置を得ることができる。

【００５４】実施の形態５．上記実施の形態４では割当
て処理内容変更機能（ステップＳ１１９）を設け、分割
数変更機能（ステップＳ１１７）と連携動作させること
により、画像分割による処理分割のみならず、異なる処
理の割当ても含めての処理分割、並列実行を実現する場
合について述べたが、本実施の形態５では、図８に示す
ように分割領域毎に処理解像度を動的に変更可能とする
解像度変更機能（ステップＳ１２３）を設け、低解像度
化によるプロセッサの負荷調整および処理スループット
向上が可能な装置を得ることができる。

【００５５】図８により本実施の形態の動作フローを説
明する。本実施の形態では、図２で例示した画像処理ア
ルゴリズムのステップＳ００１〜Ｓ００４をＤＳＰ１５
〜１８に割当て、画像分割による並列処理を行い、ステ
ップＳ１０５〜１０８をＣＰＵ２１に割当てる。また図
１に示したＣＰＵ２１をマスタープロセッサとし、ＤＳ
Ｐ１５〜１８を分割処理を実行するプロセッサとする。

【００５６】図に示した画像処理システムは、起動され
るとＣＰＵ２１がＲＯＭ２３からメイン制御プログラム
や画像処理プログラムをＤＲＡＭ２２やＳＤＲＡＭ１１
〜１４、またはＤＳＰ１５〜１８の内部メモリにロード
し、各プロセッサ上でプログラムによる処理を開始す
る。本実施の形態を実現する分割変更タイミング制御機
能はＲＯＭ２３にプログラムとして格納されている。メ
インプロセッサは、起動されるとステップＳ１０１の初
期化処理にて各ＤＳＰの共有メモリとして配置されてい
るＳＲＡＭ１９に分割ラインに応じた入力画像のアドレ
ス、画像の分割数、各プロセッサに割当てた処理の内
容、処理解像度および処理解像度が変わるＹ座標等の初
期値を格納し、各プロセッサに割当てられた処理を実行
するよう通知する（ステップ１０２）。

【００５７】一方、処理要求を受けたＤＳＰ１５〜１８
は（ステップＳ１１２）、共有メモリであるＳＲＡＭ１
９に格納されている入力画像のアドレスからデータを読
込み（ステップＳ１１３）、さらに割当て処理内容を格
納しているエリアからデータを読込み、割り当てられて
いる処理を認識する（ステップＳ１２１）。そしてＳＲ
ＡＭ１９上の解像度変更ライン（解像度が変更されるＹ
座標）を格納しているエリアからデータを読込み、解像
度変更ラインを認識し（ステップＳ１２３）、割当てら
れている処理を行う（ステップＳ１１４またはＳ１２
２）。

【００５８】割当てられた処理が画像処理でかつ、低解
像度処理領域が含まれている場合は、低解像度領域のみ
データの間引き処理を行い、画像データを低解像度化
し、割当てられた領域の画像処理を行う。割り当てられ
ている処理を終了すると各ＤＳＰはＣＰＵ２１に対し、
終了通知を発行し、処理に要した時間を共有メモリであ
るＳＲＡＭ１９の所定のエリアに格納し（ステップＳ１
１５）、次の処理要求を待つ。終了通知を受けたＣＰＵ
２１は（ステップＳ１０３）、全てのＤＳＰからの終了
通知を待ち（ステップＳ１０４）、全てのＤＳＰからの
終了通知を受けると、分割処理された画像データを１枚
の画像データとして扱えるよう合成（統合）処理を行い
（ステップＳ１０５）、割当てられている画像処理を行
う（ステップＳ１０６、１０７）。

【００５９】そして、各プロセッサの動作状態を示すス
テータスレジスタにアクセスし、利用可能な（正常動作
している）プロセッサの個数をチェックする。さらに共
有メモリであるＳＲＡＭ１９に格納されている各プロセ
ッサの処理時間と、自身（ＣＰＵ２１）が処理に要した
時間から各プロセッサの負荷を総合的に判断し、処理分
割の内容を変更する（ステップＳ１１９）。

【００６０】次に処理分割ラインの変更手順について説
明する。例えば交通流計測の場合、図９に示すように処
理対象に対し、左後方または真後ろから撮影するアング
ルとなる場合が多い。一般にこのような撮影アングルの
場合、画面奥になればなるほど物体は小さくなるため、
奥の領域での処理解像度が装置の処理解像度となってい
る。しかしながら、手前の領域では処理対象は充分大き
なサイズであるため、奥の領域の解像度で処理する必要
はない。実施の形態１〜４では全領域が同一の解像度で
処理していたため、図１０に示すように処理分割ライン
が決められていた。しかしながら本実施の形態では、入
力画像をＹ＝任意の定数のラインで分割し、ラインより
上側を標準の解像度で処理する領域とし、下側を低解像
度で処理する領域と定義することにより、図１０に示し
た事例に対し、図１１で示すように領域毎に処理解像度
を変え、この解像度の変更をも考慮した上で処理分割ラ
インを決定する。

【００６１】再度、図８を用いて動作フローを説明す
る。ステップＳ１０６、１０７を実行した後、ヒストグ
ラムを求める（ステップＳ１０８）。ただし標準解像度
領域にある画素は１画素を２としてカウントし、ヒスト
グラムに反映させる。そして割当て処理内容の変更の有
無をチェックし（ステップＳ１１９）、処理内容の変更
がある場合は、画像処理に割当てられるプロセッサの数
と他の処理に割当てられるプロセッサの数を判断し（ス
テップＳ１１７）、共有メモリであるＳＲＡＭ１９の所
定のエリアに次の要求で実行する処理内容を格納した後
（ステップＳ１２０）、画像処理を担当するプロセッサ
の個数に応じた分割ラインの変更処理を行う（ステップ
Ｓ１０９）。割当て処理内容の変更がない場合は、ステ
ップＳ１０８で求めたヒストグラムに応じた分割ライン
の変更処理を行う（ステップＳ１０９）。このように本
実施の形態の構成は指定領域の低解像度化による処理ス
ルーブット向上が可能となる装置を得ることができる。

【００６２】

【発明の効果】以上のように、この発明によれば、各プ
ロセッサの負荷を均等化する機能としてヒストグラムに
よる画素カウントを用いるため、従来例に比べ、分割に
要する処理コストが非常に小さい装置を得ることができ
る。

【００６３】また、分割数変更機能を設け、分割数を動
的に変更可能としたので、いずれかのプロセッサが万が
一にも故障等で処理不能となっても、全てのプロセッサ
が動作不能とならない限り、残りのプロセッサで処理を
続行することができる信頼性の高い装置を得ることがで
きる。

【００６４】また、分割変更タイミング制御機能を設
け、毎回必ず分割ラインを算出するのではなく、必要時
だけ分割ライン算出処理を実行するようにしたので、分
割処理のための処理コストが一層軽減し、さらなるスル
ープットの向上が見込める装置を得ることができる。

【００６５】また、割当て処理内容変更機能を設け、分
割数変更機能と連携動作させることにより、画像分割に
よる処理分割のみならず、異なる処理の割当ても含めて
の処理分割、並列実行が可能な装置を得ることができ
る。

【００６６】また、分割領域毎に処理解像度を動的に変
更可能とする解像度変更機能を設け、指定領域の低解像
度化による処理スループット向上が可能な装置を得るこ
とができる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１に係る画像処理シス
テムの画像入力部および画像処理部の構成を示すブロッ
ク図である。

【図２】 実施の形態１に係る画像処理のアルゴリズム
例を示す図である。

【図３】 実施の形態１の動作を示すフローチャートで
ある。

【図４】 実施の形態１の処理におけるヒストグラムを
用いての画像の画素均等化分割例を示す図である。

【図５】 この発明の実施の形態２に係る画像処理シス
テムの動作を示すフローチャートである。

【図６】 この発明の実施の形態３に係る画像処理シス
テムの動作を示すフローチャートである。

【図７】 この発明の実施の形態４に係る画像処理シス
テムの動作を示すフローチャートである。

【図８】 この発明の実施の形態５に係る画像処理シス
テムの動作を示すフローチャートである。

【図９】 被写体を左後方から撮影した画像を示す図で
ある。

【図１０】 実施の形態５と比較するための画像分割例
を示す図である。

【図１１】 実施の形態５に係る画像分割例を示す図で
ある。

【図１２】 一般的なマルチプロセッサ構成の画像処理
システムを示すブロック図である。

【図１３】 従来のマルチプロセッサ構成の画像処理シ
ステムの画像処理部を示すブロック図である。

【図１４】 従来装置の動作を説明するフローチャート
である。

【符号の説明】

１ 画像入力部、 ２ 表示部、３ 手
操作入力部、 ４ 画像出力部、５ 画像
処理部、 ６ Ａ／Ｄ変換部、７〜１０
ＦＩＦＯメモリ、 １１〜１４ メモリ領域（ＳＤ
ＲＡＭ）、１５〜１８ プロセッサ（ＤＳＰ）、１９
共有メモリ領域（ＳＲＡＭ）、２０ バスコンバータ
（ＢＣ）、 ２１ メインプロセッサ（ＣＰＵ）、２２
メモリ領域（ＤＲＡＭ）、 ２３ プログラムメモリ
領域（ＲＯＭ）。

Claims (5)

【特許請求の範囲】
1. 【請求項１】 マルチプロセッサ構成の画像処理システ
   ムにおいて、画像処理対象の画像データを保持する画像
   データ保持機能と、処理対象となる画素をカウントする
   画素カウント機能と、その出力結果より処理画素数が均
   等となるように対象画像データを複数の部分画像に分割
   する画像分割機能とを備えたことを特徴とするマルチプ
   ロセッサ構成画像処理システム。
2. 【請求項２】 画像分割機能が分割する際の分割数を動
   的に変更可能とする分割数変更機能を備えたことを特徴
   とする請求項１記載のマルチプロセッサ構成画像処理シ
   ステム。
3. 【請求項３】 画素カウント機能や画像分割機能の動作
   タイミングを制御することにより分割処理のオーバーヘ
   ツドを軽減する分割変更タイミング制御機能を備えたこ
   とを特徴とする請求項１または請求項２記載のマルチプ
   ロセッサ構成画像処理システム。
4. 【請求項４】 分割数変更機能と連携し、割当てる処理
   （演算）内容を動的に変更可能とする割当て処理変更機
   能を備え、画像分割による同一処理（演算）の並列実行
   だけでなく、異なる処理（演算）の割当てによる並列実
   行を行えるようにしたことを特徴とする請求項１乃至請
   求項３のいずれか一項記載のマルチプロセッサ構成画像
   処理システム。
5. 【請求項５】 分割領域毎に処理解像度を変更可能とす
   る解像度変更機能を備え、解像度によりプロセッサの負
   荷を調整可能としたことを特徴とする請求項１乃至請求
   項４のいずれか一項記載のマルチプロセッサ構成画像処
   理システム。