JP2001169275A - マルチタスクスケジューリングによる画像処理の統合方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数の画像処理装置によって別々に処理して
いた画像処理を統合し、複数の事象の計測を１台の画像
処理装置によってリアルタイムに処理可能としたコトパ
フォーマンスに優れたマルチタスクスケジューリングに
よる画像処理の統合方法を提供すること。 【解決手段】 撮影手段によって撮影した計測対象領域
の撮影画像に対して所定の画像処理を施すことによって
予め定めた複数の事象の計測を行なう画像処理装置にお
いて、各事象を計測するための複数の処理タスクの間に
優先処理順位を設定し、少なくとも、第１順位の処理タ
スクと他の処理タスクとの間ではプリエンプションによ
って第１順位の処理タスクが優先処理されるようにタス
クスケジューリングするとともに、他の処理タスク同士
の間ではタイムスライスによってそれぞれの処理タスク
に処理時間を割り振るようにタスクスケジューリングす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の画像処理装
置によって別々に処理していた画像処理を統合し、複数
の事象の計測を１台の画像処理装置によってリアルタイ
ムに処理可能としたマルチタスクスケジューリングによ
る画像処理の統合方法に関する。

【０００２】

【従来の技術】テレビカメラなどの撮影手段で監視対象
領域を撮影し、この撮影画像を画像処理することによっ
て画像中から車両などの目的とする物体を抽出して所定
の事象を計測する画像処理装置は、２次元空間情報を扱
うことから、従来のループコイルや超音波、赤外線など
を用いたスポット的なセンサに比べ、その検出範囲を飛
躍的に広げることができるという特徴を備えている。

【０００３】図５に従来の画像処理装置の構成例を示
す。図５（ａ）は最も古くから用いられている画像処理
装置の例を示すもので、画像処理装置５１をテレビカメ
ラ５２とともに現場に設置し、それぞれの画像処理装置
の検出結果を通信回線を通じて管理事務所などに設置し
た監視制御卓５３に送り、管理事務所などにおいて集中
監視するものである。この形式の画像処理装置の場合、
１台のＴＶカメラ毎に１台の画像処理装置が必要とな
り、システム全体のコストが高価になるという問題があ
った。

【０００４】一方、光ファイバケーブルなどの映像伝送
設備の急速な発展に伴い、近年においては、図５（ｂ）
に示すように、管理事務所側に１台の画像処理装置５１
を設置し、複数台のＴＶカメラ５２の映像を光ケーブル
などを通じて管理事務所に送り、映像スイッチャ５４で
入力を切り替えることによって１台の画像処理装置５１
で画像処理すると同時に、テレビモニタ５５などで現場
を遠隔監視することが可能となった。この形式の画像処
理装置の場合、効率の高いシステムを構築することがで
き、管理事務所において複数の現場状況をリアルタイム
に集中管理することができる。

【０００５】しかしながら、この図５（ｂ）の形式の画
像処理装置の場合、計測インターバルを比較的長くとる
ことが可能である静的な計測項目については有効である
が、リアルタイム計測が必要とされる動的な検出項目に
対しては適用することが困難である。これを実現するに
は、例えば、より高速なハードウエアを使用することが
考えられるが、この高速なハードウエアの適用自体がコ
ストの増加を招き、根本的な解決とはならない。そのた
め、この種の画像処理装置においてシステムの効率向上
とコストダウンを図るには、各画像処理機能の統合を図
ることが必要不可欠である。

【０００６】

【発明が解決しようとする課題】本発明は、上記問題を
解決するためになされたもので、その目的とするところ
は、複数の画像処理装置によって別々に処理していた画
像処理を統合し、複数の事象の計測を１台の画像処理装
置によってリアルタイムに処理可能としたコストパフォ
ーマンスに優れたマルチタスクスケジューリングによる
画像処理の統合方法を提供することである。

【０００７】

【課題を解決するための手段】一般に、リアルタイムＯ
Ｓ（オペレーティング・システム）上で、マルチタスク
を制御するための代表的なスケジュール手法としては、
タイムスライスおよびプリエンプションと呼ばれる手法
がある。タイムスライスは複数の処理タスクの動作時間
を均等に分割してＣＰＵに割り付けるスケジューリング
方法であり、一方のプリエンプションは、優先順位の高
いタスクを優先的にＣＰＵに割り付けるスケジューリン
グ方法である。本発明は、このタイムスライスとプリエ
ンプションを併用して複数の処理タスクをスケジューリ
ングすることにより、複数の画像処理装置によって別々
に処理していた画像処理を統合し、複数の事象の計測を
１台の画像処理装置によってリアルタイムに処理可能と
したものである。

【０００８】すなわち、本発明のマルチタスクスケジュ
ーリングによる画像処理の統合方法は、撮影手段によっ
て撮影した計測対象領域の撮影画像に対して所定の画像
処理を施すことによって予め定めた複数の事象の計測を
行なう画像処理装置において、各事象を計測するための
複数の処理タスクの間に優先処理順位を設定し、少なく
とも、第１順位の処理タスクと他の処理タスクとの間で
はプリエンプションによって第１順位の処理タスクが優
先処理されるようにタスクスケジューリングするととも
に、他の処理タスク同士の間ではタイムスライスによっ
てそれぞれの処理タスクに処理時間を割り振るようにタ
スクスケジューリングすることを特徴とするものであ
る。

【０００９】このような処理方法とした場合、タイムス
ライスとプリエンプションを併用してタスク処理するこ
とができるので、計測インターバルを比較的長くとるこ
とが可能である静的な計測項目と、リアルタイム計測が
必要とされる動的な検出項目の両方を１つの画像処理装
置でリアルタイム処理することが可能となる。このた
め、従来においては個々の画像処理装置でそれぞれ個別
に計測していた複数の事象を一台の画像処理装置でリア
ルタイムに処理することが可能となり、画像処理装置の
コストパフォーマンスを格段に向上することができる。

【００１０】

【発明の実施の形態】以下、本発明方法を道路交通監視
システムに適用し、交通流検出装置と路面状況検出装置
という２つの画像処理装置を１つに統合した場合を例に
とって実施の形態を説明する。なお、本発明の実施の形
態の説明に入る前に、先ず、処理統合の対象とする交通
流検出装置と路面状況検出装置のそれぞれの検出手法、
ハードウエア構成およびそのシステム仕様について述べ
る。

【００１１】（Ａ）交通流検出装置 交通流の検出手法としては、テレビカメラなどで撮影し
た撮影画像内に存在する個々の車両を抽出し、各車両の
移動ベクトルを追跡することによって、通過台数や走行
速度、違法駐車などを検出するものである。

【００１２】図１は、この交通流検出装置のハードウェ
ア回路のブロック図である。図中、１は計測対象とする
高速道路や一般道路の路面を上方から俯瞰撮影するテレ
ビ（ＴＶ）カメラ、２はテレビカメラ１から送られてく
るビデオ信号をデジタル信号に変換するＡＤ変換器（Ａ
Ｄ）とパイプライン制御用のシーケンスコントローラ
（ＳＥＱ）を一体に組み込んだＡＤ−ＳＥＱボード、３
はテレビカメラ１で撮影された画像を基に背景差分処理
によって画像中から車両を抽出する第１の画像処理ボー
ド（以下、「ＩＰ１ボード」という）、４は車両抽出画
像から個々の車両を検出し、相互相関処理などによって
移動追跡処理を行なう第２の画像処理ボード（以下、
「ＩＰ２ボード」という）、５は車両追跡結果を受けて
個々の車両の移動ベクトルから通過車両台数、通過車両
速度、違法駐車などを検出するホスト用のＣＰＵボー
ド、６はＣＲＴやプリンタなどの出力装置、７はキーボ
ードなどの入力装置、８，９は入出力インターフェース
（Ｉ／Ｏ）である。

【００１３】図１の交通流検出装置の処理の流れは次の
通りである。先ず、ＡＤ−ＳＥＱボード２中のＡＤ変換
器（ＡＤ）によってＴＶカメラ１から送られてくるビデ
オ信号をサンプリングし、サンプリング画像をＩＰ１ボ
ード３へパイプラインバスを介して転送する。ＩＰ１ボ
ード３では、入力されたサンプリング画像に対して背景
更新処理（例えば、本出願人の特開平７−１１４４９４
号公報「移動物体検知装置」に提案の処理）を施して画
像中の移動車両の抽出を行い、車両抽出画像（背景差分
画像）をＩＰ２ボード４へパイプラインバスを介して転
送する。ＩＰ２ボード４では、入力された車両抽出画像
から個々の車両の検出を行い、相互相関処理などにより
移動追跡処理を行う。そして、ＣＰＵボード５はこの処
理結果を受け、個々の車両の移動ベクトルから通過車両
台数や通過車両速度、違法駐車の検出を行うものであ
る。

【００１４】この図１の交通流検出装置のシステム仕様
としては、通過台数計数、車両走行速度算出、違法駐車
車両検出をリアルタイムに計測するものであり、同一撮
影画像内において同時に追跡可能な車両台数は最大２４
台である。また、上述したー連の車両検出処理は６６．
６ｍｓ／ビデオフレームで実現されている。

【００１５】（Ｂ）路面状況検出装置 路面状況検出手法としては、偏光特性を利用したパラメ
ータ画像による路面水分検出、および画像テクスチャの
解析によって抽出した路面特徴量を説明変数として多変
量判別分析法に基づき、５種類（乾燥、湿潤、シャーベ
ット、ザクレ、圧雪）の路面状況に判別するもので、上
記の背景更新処理によって撮影画像内から通過車両など
の移動体成分のみを除去した背景画像（路面画像）を抽
出し、この路面画像を処理対象画像とすることによって
前記５種類の路面状況に判別するようにしている（例え
ば、本出願人の特開平１０−１１５６８４号の「路面状
態判別方法およびその装置」参照）。

【００１６】この路面状況検出装置は、図１におけるＩ
Ｐ１ボード３若しくはＩＰ２ボード４のいずれか一方の
ボード１枚、例えばＩＰ１ボード３と、ＣＰＵボード５
を用いたハードウェア構成で実現可能であり、処理の流
れは次の通りである。ＩＰ１ボード３では、ＡＤ−ＳＥ
Ｑボード２より入力されるサンプリング画像に対して背
景更新処理を施し、画像中から車両などの移動体のみを
除去した背景画像（路面画像）を生成する。そして、Ｃ
ＰＵボード５はこの結果を用いて路面特徴量の抽出を行
い、路面状況を判別する。この路面状況検出装置のシス
テム仕様としては、路面管理上要求される計測インター
バルは５分であり、上述した１回の計測に要する時間は
３０．０６４ｓである。

【００１７】次に、上記した交通流検出装置と路面状況
検出装置という２つの画像処理装置を１つに統合するた
めの統合手法について説明する。なお、統合に際して
は、両者の機能を損なうことなく統合することを必要条
件とする。

【００１８】（１）システム統合のためのハードウエア
構成 前述した交通流検出装置と路面状況検出装置のハードウ
エア構成は、画像処理装置として最も一般的に用いられ
る構成であり、前述したところから明らかなように、大
きく分けて、画像を直接扱う画像処理ボードと、その処
理結果に基づき計測結果を導くＣＰＵボードで構成され
ている。

【００１９】このような構成をとった場合、交通流計測
のような動的な処理を行う場合においても、画像処理を
主に行なっている期間はＣＰＵボードが待機状態となっ
ており、その処理能力を１００％使用しているわけでは
ない。一方、ＣＰＵボードが画像処理結果に基づいて計
測結果を導出する演算を行っている期間は、画像処理ボ
ードが待機状態となっている。この両者の待機期間をう
まく別の演算処理に割り当てることができれば、複数の
計測事象をーつの処理系で達成することができる。

【００２０】以上の視点から、統合のためのハードウエ
アの構成としては、図１に示した標準的な構成をそのま
ま利用し、ＣＰＵボードおよび画像処理ボードにおける
処理時間をうまく配分すれば、２つの検出装置を統合す
ることが可能となる。そこで、以下にこの処理タスクの
時間配分について検討する。

【００２１】（２）余裕時間の見積もり 各検出装置に要求される処理サイクルに注目すると、交
通流検出においては６６．６ｍｓ／ビデオフレームでリ
アルタイム計測が必要であるのに対して、路面状況検出
においては５分に１回３０．０６４ｓを必要とするだけ
である。したがって、交通流検出における６６．６ｍｓ
のサイクルの間に、

【００２２】

【数１】

【００２３】の空き時間を捻出して路面状況検出に割り
当てることができれば、それぞれの検出性能を損なうこ
となく２つの画像装置を統合することが可能となる。

【００２４】図４は、システム統合しない状態における
交通流検出装置の処理シーケンスの詳細をタイムチャー
トで示したものである。交通流検出装置においては、前
述したように、ＣＰＵボード５とＩＰ１ボード３、ＩＰ
２ボード４は、処理結果および処理制御をハンドシェイ
クの形態で授受することによって、６６．６ｍｓサイク
ルの処理シーケンスを実現している。

【００２５】そのため、ＣＰＵボード５においては、交
通流検出処理のタスク（以下、「交通流タスク」とい
う）が占有している以外の９．３＋２１．８＝３１．１
ｍｓの期間（図４中の）は空き時間となっている。
交通流検出装置においては、この期間が通信・Ｉ／０制
御などの他の付随したタスク（以下、「付随タスク」と
いう）に割り当てられており、この付随タスクに必要と
される最大時間は２０．２ｍｓである。したがって、１
サイクル当たり３１．１−２０．２＝１０．９ｍｓの余
裕時間が存在することになり、路面状況検出を５分に１
回のインターバルで計測するために必要な６．７ｍｓを
十分に確保することができる。

【００２６】（３）タスクスケジューリング 上記検討結果より、６６．６ｍｓのサイクル中に、交通
流検出および路面状況検出の両者を処理するために必要
な時間は見い出すことができた。したがって、残された
課題としては、交通流タスク、路面状況検出処理のタス
ク（以下、「路面タスク」という）、付随タスクを、６
６．６ｍｓのサイクル周期を乱すことなく実行させるた
めのタスクスケジューリングを行なう必要がある。

【００２７】前述したように、リアルタイムＯＳ上で、
マルチタスクを制御するための代表的なスケジュール手
法としては、タイムスライスおよびプリエンプションと
呼ばれる手法がある。タイムスライスは複数のタスクの
動作時間を均等に分割してＣＰＵに割り付けるスケジュ
ーリング方法であり、一方のプリエンプションは、優先
順位の高いタスクを優先的にＣＰＵに割り付けるスケジ
ューリング方法である。

【００２８】先ず、タイムスライスによって交通流タス
ク、路面タスクおよび付随タスクを均等に分割し、処理
する場合を図４を参照して考える。この場合、図４中の
で示した交通流タスクの処理時間が延長されるた
め、ＩＰ１ボード３へのスタート制御に遅れを生じ、６
６．６ｍｓの処理サイクルが乱れる。

【００２９】次に、（交通流タスク）＞（路面タスク）
＞（付随タスク）の順で優先順位を設定し、プリエンプ
ションを適用する場合を考える。この場合においては、
優先順位の最も高い交通流タスクが他のタスクに対して
常に優先されるため、図４中のの区間において遅れ
を生じることはなく、６６．６ｍｓの処理サイクルは乱
れない。しかし、空き時間であるの期間では、付随
タスクに対して優先順位の高い路面タスクが常に優先さ
れるため、路面タスクが終了するまでの期間は付随タス
クが実行できず、付随タスクに不応答期間が発生する。

【００３０】このように、タイムスライスおよびプリエ
ンブションいずれのスケジューリング方法においても、
それぞれのスケジューリング方法を単体で用いた場合、
処理シーケンスに問題が発生する。そこで、本発明で
は、両者のスケジューリング方法を併用することによっ
てこの問題を解決するようにした。

【００３１】すなわち、本発明においては、処理タスク
の優先順位を （交通流タスク）＞｛（路面タスク）＞（付随タス
ク）｝ とし、（路面タスク）と（付随タスク）の間については
タイムスライスによってスケジューリングし、（交通流
タスク）と（路面および付随タスク）の間においてはプ
リエンプションによってスケジューリングする。このよ
うなマルチタスクスケジューリング方法をとることで、
交通流タスクに必要な時間の確保と、（路面タスク＋付
随タスク）の処理時間として３１．１ｍｓの確保が可能
となる。なお、タイムスライスのための１スライス時間
は２．０ｍｓである。

【００３２】図２に上記本発明のマルチタスクスケジュ
ーリングを行なった場合の動作シーケンスのタイムチャ
ートを、また、図３にこの時の交通流タスク、路面タス
ク、付随タスクの処理切替のシーケンスを示す。図示す
るように、上記マルチタスクスケジューリングを行なっ
た場合、交通流タスクを常に優先し、かつ、路面タスク
と付随タスクを均等に処理することができるので、３つ
のタスクが６６．６ｍｓのサイクルを乱すことなく実行
される。

【００３３】

【実施例】本発明方法を適用して構成した図１の道路交
通監視システムにおける交通流と路面状況の実際の検証
結果を以下に示す。なお、図１中のＩＰ１ボード３、Ｉ
Ｐ２ボード４およびＣＰＵボード５は、それぞれ次のよ
うな仕様になるものである。

【００３４】（ｉ）ＩＰ１ボード３とＩＰ２ボード４の
それぞれの回路構成 ・使用プロセッサ ADSP-21020（ANALOG DEVICES社製）×４個 ・システムクロック ２０ＭHz ・画像メモリ（共有メモリ） 512画素×512 画素×８ｂit×４フレーム 512画素×512 画素×32ｂit×２フレーム ・システムバス ＶＭＥバス準拠 ・画像転送バス パイプラインバス入力×１ パイプラインバス出力×１ ランダムバス×２ モニタバス×１

【００３５】（ii）ＣＰＵボード５の回路構成 ＣＰＵ：モトローラMC68040(25ＭHz) メモリ：共有ＤＲＡＭ（１６ＭHz) ＯＳ ：Wind River Systems社製リアルタイムＯＳ＝Vx
WORKS Ver.5.2 システムバス：ＶＭＥバス準拠

【００３６】検証方法としては、図６に示す実際の交通
状況を録画したビデオデータおよび画像データを用い
て、システム統合前の各単体の検出装置と、本発明方法
による統合後の画像処理装置のそれぞれに同一の画像デ
ータを入力することによって比較検証を行った。その結
果、車両通過速度、車両通過台数、違法駐車および路面
状況のすべての検出項目に関して、交通流検出装置、路
面状況検出装置の単体時と同じ精度で検出できることが
確認された。なお、検出精度については、本発明装置と
従来装置の両者ともに同一であるため、以下には、本発
明方法によって統合した画像処理装置における各検出項
目に関する検出精度のみを示す。

【００３７】（車両通過台数の検出精度）検証方法とし
ては、目視によって計数した通過台数と、統合後の画像
処理装置の検出結果を比較することにより行なった。結
果を表１に示す。なお、検証対象とした映像は昼間かつ
晴天の条件下で２０分間撮影されたものである。

【００３８】

【表１】

【００３９】（車両通過速度の検出精度）検証方法とし
ては、定速走行させた車両の速度を検出することにより
行なった。その結果を表２に示す。

【００４０】

【表２】

【００４１】（違法駐車車両の検出精度）違法駐車の検
出に関しては、検出対象となる車両が７台しか存在しな
かったものの、これらすべての車両を違法駐車車両とし
て検出することができた。

【００４２】（路面状況の検出精度）検証方法として
は、予め収集した路面の画像データを用いて、統合後の
画像処理装置による検出結果と、目視によって判別した
結果とを比較することにより行なった。その結果を表３
に示す。

【００４３】

【表３】

【００４４】なお、前述した実施の形態では、１台のテ
レビカメラを備えた画像処理装置の場合について例示し
たが、テレビカメラの台数は１台に限られるものではな
く、動的と静的な異なる事象を撮影した複数のテレビカ
メラからの信号を合成した多画面の画像に対して本発明
の画像処理の統合方法を採用してもよい。

【００４５】

【発明の効果】以上説明したように、本発明に係るマル
チタスクスケジューリングによる画像処理の統合方法に
よれば、従来複数の画像処理装置でそれぞれ個別に測定
していた複数の事象を一台の画像処理装置でリアルタイ
ムに処理することが可能となり、この種の画像処理装置
のコストパフォーマンスを格段に向上することができ
る。

【図面の簡単な説明】

【図１】本発明の方法を適用して構成した交通監視シス
テムのブロック図である。

【図２】本発明の方法によるマルチタスクスケジューリ
ングを行なった場合の動作シーケンスのタイムチャート
である。

【図３】本発明の方法によるマルチタスクスケジューリ
ングを行なった場合の交通流タスク、路面タスク、付随
タスクの処理切替のシーケンス図である。

【図４】システム統合しない状態における交通流検出と
路面状況検出の処理シーケンスのタイムチャートであ
る。

【図５】（ａ）（ｂ）はそれぞれ従来の画像処理装置の
構成例を示す図である。

【図６】交通状況を録画した画像の説明図である。

【符号の説明】

１ テレビカメラ ２ ＡＤ−ＳＥＱボード ３ 第１の画像処理（ＩＰ１）ボード ４ 第２の画像処理（ＩＰ２）ボード ５ ＣＰＵボード ６ 出力装置 ７ 入力装置 ８，９ 入出力インターフェース

───────────────────────────────────────────────────── フロントページの続き (72)発明者 上田 浩次 愛知県海部郡美和町大字篠田字面徳29−１ 名古屋電機工業株式会社美和工場内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 撮影手段によって撮影した計測対象領域
   の撮影画像に対して所定の画像処理を施すことによって
   予め定めた複数の事象の計測を行なう画像処理装置にお
   いて、 各事象を計測するための複数の処理タスクの間に優先処
   理順位を設定し、少なくとも、第１順位の処理タスクと
   他の処理タスクとの間ではプリエンプションによって第
   １順位の処理タスクが優先処理されるようにタスクスケ
   ジューリングするとともに、他の処理タスク同士の間で
   はタイムスライスによってそれぞれの処理タスクに処理
   時間を割り振るようにタスクスケジューリングすること
   を特徴とするマルチタスクスケジューリングによる画像
   処理の統合方法。