JP2007122594A - 画像処理装置 - Google Patents

Abstract

【課題】画像データに含まれる連結された画素からなる図形の特徴量を算出する画像処理装置において、１画面の画像データの走査時間を短縮し、画像データを記憶することなく、画像データの走査後に正確な図形の特徴量を算出できるようにすることを目的とする。
【解決手段】１画面分の画像データを走査している間、つまり、画像入力Ｉ／Ｆ部１２が画像データを取り込んでから、画素判定部１６による１画面分の画像データの判定が終了し、画素判定部１６の判定に基づく、新規ラベル発行部３２、連結情報格納部３４、仮特徴量更新部３６の動作が完了するまでの間は、連結情報格納部３４及び仮特徴量更新部３６が、図形の特徴量を算出するために必要な情報を算出用記憶部２０に格納する。そして、１画面分の画像データの走査が終了すると、特徴量更新部３８が、算出用記憶部２０に記憶された情報に基づいて図形の特徴量を算出する。
【選択図】図１

Description

本発明は、画像データを走査して、画像データに含まれる連結された画素群からなる図形の特徴量を算出する画像処理装置に関する。

従来より、カメラにより撮像された画像データから、文字、絵等の図形を認識するための画像処理装置として、連結された画素群からなる図形の面積、重心、周囲長等の特徴量を算出するものが知られている。

そして、このような画像処理装置として、取得した画像データを、各画素毎に、図形の要素となる図形画素（例えば、黒画素）であるか、図形画素以外の背景画素（例えば、白画素）であるかを表す二値データに変換し、次に、図形の識別情報であるラベルを、連結された図形画素に同一のラベルが付与されるように、各図形画素毎に付与し、更に、同一のラベルが付与された画素群を１つの図形として、この画素群の特徴量を算出することで、画像データに含まれる図形の特徴量を算出する装置が提案されている（例えば特許文献１等参照）。
特開平５−１８９５６３号公報

しかしながら、上記提案の画像処理装置では、画像データを走査して、各画素毎にラベルを付与すると共に、図形の特徴量を算出する処理を行うが、ラベルを付与する図形画素が、異なるラベルにより特定される別の図形同士を連結する画素である場合には、これらの異なるラベルにより特定される図形は、１つの図形を形成するものであるとして、このような画素を処理する度に、画像データを構成する全ての画素から、これらのラベルが付与された図形画素を検索してラベルを一致させ、ラベルを一致させた図形画素からなる画素群の特徴量を算出するようにしている。

このため、１つの画素に対する処理に時間がかかり、次の画素の処理を開始するタイミングが遅くなるので、１画面の画像データの走査時間が長くなるという問題があった。そして、この画像データの走査時間は、ビデオカメラが１画面分の画像データを出力するのに要する時間（一般的に、１秒間に３０画面分の画像データを出力するため、約３３ｍｓ）より長くなるために、上記提案の画像装置においては、カメラから入力された画像データを、連続的に処理することができなかった。

本発明は、こうした問題に鑑みなされたもので、画像データに含まれる連結された画素群からなる図形の特徴量を算出する画像処理装置において、１画面の画像データの走査時間を短縮し、画像データを連続的に処理できるようにすることを目的とする。

かかる目的を達成するためになされた請求項１に記載の発明においては、画像データが入力されると、二値化手段が、その画像データを、各画素毎に、図形の要素となる図形画素であるか、図形画素以外の背景画素であるかを表す二値データに変換する。すると、画素判定手段が、二値化手段により二値データに変換された画像データを走査して、この画像データから図形画素を順次注目画素として抽出し、抽出した注目画素の周囲の画素のラベルを画素情報記憶手段から取得し、取得した周囲の画素のラベルに基づいて、この注目画素が、新たな図形を形成する新規画素であるか、または、既に形成された図形の一部となる追加画素であるかを判定し、この注目画素が追加画素である場合には、更に、この追加画素が複数の異なる図形を連結させる連結画素であるか否かを判定する。

そして、画素判定手段により注目画素が新規画素であると判定されると、新規ラベル発行手段が、新規にラベルを発行し、画素判定手段により注目画素が連結画素であると判定されると、連結情報格納手段が、この連結画素にて複数の図形が連結されていることを表す連結情報を連結情報記憶手段に格納する。

更に、画素判定手段により注目画素が新規画素であると判定されると、初期値設定手段が、新規ラベル発行手段により発行された新規ラベルをラベル記憶手段に格納すると共に、この新規ラベルにて特定される図形の特徴量として、初期値を特徴量記憶手段に格納し、更に、新規ラベルを注目画素のラベルとして画素情報記憶手段に格納する。また、画素判定手段により注目画素が追加画素であると判定されると、既存値更新手段が、特徴量記憶手段に記憶された図形の特徴量のうち、この追加画素がその一部となる図形の特徴量を更新し、更に、この追加画素がその一部となる図形のラベルを注目画素のラベルとして画素情報記憶手段に格納する。

そして、画素判定手段による１画面分の画像データの走査が終了し、画素判定手段の判定に基づく、新規ラベル発行手段、連結情報格納手段、初期値設定手段、既存値更新手段の動作が完了すると、特徴量更新手段が、連結情報記憶手段に記憶された連結情報に基づいて、ラベル記憶手段に記憶されたラベルのうち、同一図形と認識された各図形のラベルを書き換えて一致させ、特徴量記憶手段に記憶された図形の特徴量のうち、ラベルが一致される前の各ラベルにて特定される各図形の特徴量を合成し、合成した特徴量を一致されたラベルにて特定される図形の特徴量として特徴量記憶手段に格納する。

つまり、本発明の画像処理装置においては、１画面分の画像データの走査をする間は、特徴量を完全には算出せず、特徴量を算出するために必要な情報のみをラベル記憶手段、連結情報記憶手段、特徴量記憶手段に格納し、１画面分の画像データの走査を終了してから、走査時に各記憶手段に記憶された情報に基づいて図形の特徴量を算出する。このため、画像データを走査しつつ、図形の特徴量を算出する場合に比べ、画像データの走査時間を短縮することができ、例えば、カメラ等の撮像装置から１画面毎に順次入力される画像データから、画像データに含まれる図形の特徴量を算出する場合にも、撮像装置が画像データを出力するタイミングに間に合うように画像データを走査することができ、連続して処理を行うことができる。

ところで、連結情報格納手段は、連結している図形のラベルの組合せを連結情報記憶手段に順次格納するように構成してもよいが、この場合、ラベルの組合せを記憶するための記憶領域を多く必要とする。そこで、請求項２に記載のように、画素判定手段により、注目画素が図形を連結する連結画素であると判定されると、連結情報格納手段が、図形を特定する全てのラベルのうち、２つのラベルからなる全てのラベルの組合せに対し、連結状態、または、非連結状態を設定するようにするとよく、このようにすれば、連結情報格納手段が、一度記憶したラベルの組合せを、再度記憶してしまうことがなく無駄に記憶領域を使用することを防止できる。また、特徴量更新手段が、特徴量を算出する際には、同じラベルの組合せに対して、何度もラベルの書き換えを試みることがないので、処理時間を短縮することができる。

ところで、ラベル記憶手段において、発行順位の遅い方のラベルの発行順の領域が書き換えられていない場合は、ラベルの組合せの各発行順の領域に記憶されたラベルのうち、発行順位の遅い方のラベルの発行順の領域に記憶されたラベルは、必ず、発行順位の早い方のラベルの発行順の領域に記憶されたラベルより遅い発行順位のラベルである。そして、連結情報格納手段にてラベルの組合せに対して設定された状態を、特徴量更新手段が、発行順位の早いラベルを含む組合せから順に読み出すようにすると、上述した場合において、発行順位の遅い方のラベルに書き換えられる組合せは、まだ読み出されておらず、ラベル記憶手段において、発行順位の遅い方のラベルに書き換えられた領域は存在しない。

そこで、請求項３に記載のように、特徴量更新手段が、ラベル記憶手段において、連結状態が設定されたラベルの組合せのうちの発行順位の遅い方のラベルの発行順の領域が書き換えられているか否かを判断するようにし、書き換えられていない場合には、この領域を単純に発行順位の早い方のラベルの発行順の領域に記憶されたラベルに書き換えるようにすると、ラベル記憶手段を検索する回数を減らすことができ、図形の特徴量の算出時間を短縮することができる。

また、請求項１〜請求項３の何れかに記載の画像処理装置において、初期値設定手段及び既存値更新手段は、請求項４に記載のように、注目画素のラベルをレジスタに一旦格納し、次の注目画素のラベルを格納する際には、このレジスタに記憶された前の注目画素のラベルを、ラインバッファにおける前の注目画素に対応する領域に格納した後に、次の注目画素のラベルをレジスタに格納するように構成するとよい。このようにすると、例えば、１画面分の画素のラベルを記憶可能な記憶手段を設けて、１画面を構成する全画素のラベルを記憶しておく場合に比べ、記憶領域が少なくてすむ。

一方、請求項１〜請求項４の何れかに記載の画像処理装置には、請求項５に記載のように、撮像装置から画像データを直接取得可能に構成された第１画像取得手段を設けるようにしてもよい。このようにすると、カメラ等の撮像装置により撮像された画像データを、撮像装置から直接取得することができ、撮像装置が画像データを送信するタイミングで、画像データを走査し、連続して処理を行うことができる。

そして、請求項１〜請求項５の何れかに記載の画像処理装置には、請求項６に記載のように、画像データが記憶された記憶媒体から画像データを取得可能に構成された第２画像取得手段を設けるようにしてもよい。画像データは、撮像装置から直接取得してもよいが、請求項６に記載のようにすると、画像データが既に記憶媒体に記憶されている場合に、この記憶媒体から画像データを読み取って、図形の特徴量を算出することができる。

ところで、カメラ等の撮像装置から画像データを取得する画像取得手段を備えている場合において、画像取得手段が１画素を取得して送信するために６サイクルかかり、二値化手段が１画素を取得して送信するために２サイクルかかる場合には、二値化手段は、１画素につき、４サイクルで二値化処理を行う必要がある。そこで、請求項７に記載のように、画像データを複数画素毎に取得、送信するようにすれば、画素の取得、送信にかかる時間を削減できるので、画像データを二値データに変換するための時間を長くとることができ、二値化手段の処理速度の制約が緩和される。

また、一般的に画素の輝度値は８ビットのデータにより構成されている。そこで、請求項８に記載のように、画像データを４画素毎に送信するようにすると、例えば、バス幅が３２ビットの伝送路を使用する場合には、効率よく画像データを送受することができる。

一方、請求項１〜請求項８の何れかに記載の画像処理装置において、二値化手段は、請求項９に記載のように、画像データを、輝度値にて設定されたしきい値により二値データに変換するように構成してもよい。このようにすると、画像データを構成する各画素の輝度の違いから、画像データを二値データに変換し、図形画素を抽出することができる。

そして、請求項１〜請求項８の何れかに記載の画像処理装置において、二値化手段は、請求項１０に記載のように、画像データと、予め記憶手段に記憶された背景データとの差分からなる差分データを、新たな画像データとして生成し、この画像データを、輝度値にて設定されたしきい値により二値データに変換するように構成してもよい。

つまり、画像データと背景データとの差分をとることにより、変化した部分の画素、つまり、移動した物体の画素のみの輝度値が異なる新しい画像データが形成されるので、この画像データを、輝度値にて設定されたしきい値により二値データに変換し、二値データに変換された画像データを画素判定手段により判定することで、移動物体を示す図形の特徴量を算出することができる。

また、請求項１１に記載の画像処理装置によれば、画素判定手段が、注目画素を中心として周囲８方向に隣接する図形画素を、この注目画素に連結された画素として判断するので、複雑な形状の物体であっても、１つの図形であることを確実に識別することができる。

一方、請求項１２に記載の画像処理装置によれば、画素判定手段が、注目画素を中心として水平及び垂直方向の４方向に隣接する図形画素を、この注目画素に連結された画素として判断するので、例えば、２つの物体が斜め方向で接続されている場合に、これらを別の物体と識別できるようになる。また、周囲８方向に隣接する図形画素を、連結された画素として判断する場合に比べ、判断すべき画素の数が少なくなるので、処理時間を短縮することができる。

そして、請求項１〜請求項１２の何れかに記載の画像処理装置は、請求項１３に記載のように、連結情報格納手段と、初期値設定手段及び既存値更新手段とを各々独立して動作可能に構成するとよい。具体的には、例えば、ＣＰＵにより並列処理を実行させるようにするか、または、各手段を別々の電子回路にて構成すればよく、このようにすると、各手段による処理を並列に行うことができるので、処理時間を短縮することができる。

ところで、画素判定手段により１画面の画像データが走査され、上記各手段により図形の特徴量を算出するためのデータの各記憶手段への格納が完了する時間と、特徴量更新手段が、記憶手段群に記憶されたデータに基づいて図形の特徴量を算出する時間とを合わせた時間が、画素判定手段が、１画面分の画像データの取得を開始してから次の画面の画像データの取得を開始するまでの時間よりも短い場合には、画素判定手段が、次の画面の画像データの走査を開始する時点において、走査の終了した画像データに含まれる図形の特徴量の算出も終了している。しかしながら、各手段を構成するロジック回路、または、ＣＰＵ等の性能により、画素判定手段が、次の画面の画像データの走査を開始する時点において、特徴量更新手段による前の画面の図形の特徴量の算出が終了していない場合があり、この場合には、特徴量更新手段が使用中の各記憶手段に、次の画面の情報が書き込まれてしまい、特徴量更新手段が算出中の前の画面の図形の特徴量が正確に算出できなくなるという問題がある。

そこで、請求項１４に記載の画像処理装置のように、記憶手段群を複数設け、１画面分の画像データの走査にて得られた図形の特徴量を算出するための情報を、初期値設定手段と、既存値更新手段と、連結情報格納手段とが、複数の記憶手段群に順次書き込み、特徴量更新手段が、複数の記憶手段群を順次選択するようにすれば、特徴量更新手段が、初期値設定手段と、既存値更新手段と、連結情報格納手段とが、共通に使用している記憶手段群を同時に使用しないようにすることがでる。よって、特徴量更新手段が使用中である記憶手段群に、上記各手段により次の画像の情報が書き込まれることを防止できるので、確実に図形の特徴量の算出を行うことができる。また、特徴量更新手段による特徴量の算出と画素判定手段による画像データの走査とを並列に行うことができるので、画像データを取り込む速度を上げることも可能となる。

そして、画像処理装置には、請求項１４に記載のように、記憶手段群を複数設けても良いが、この場合には、多くの記憶領域が必要となる。ここで、一般的に、特徴量更新手段が、記憶手段群に記憶された情報から、１画面分の画像データに含まれる図形の特徴量の算出を行う時間は、１画面毎に画像データを出力するカメラ等の撮像装置が、画像データを出力してから次の画像データを出力するまでの時間よりも十分に短く、各記憶手段へのデータの格納が完了した後、短時間のうちに図形の特徴量の算出は終了する。つまり、カメラ等の撮像装置から出力された画像データを、撮像装置から直接取得するような場合には、図形の特徴量の算出を行うための情報を記憶するための記憶手段群は、２つあれば十分である。

そこで、請求項１５に記載のように、記憶手段群を２つ設け、この記憶手段群が交互に使用されるようにすると、特に、カメラ等の撮像装置により撮像された画像データを、撮像装置から直接取得するような場合には、特徴量更新手段が特徴量を算出している間に、次の画像データの情報が、特徴量更新手段が使用している記憶手段群に書き込まれることはなく、最小限の記憶領域で、確実に図形の特徴量を算出することが可能となる。

ところで、図形の特徴量は、２回以上の画像データの走査を必要とする値（例えば、図形の分散等）であってもよいが、請求項１６に記載のように、１回の走査で算出可能な図形の特徴量とすると、一旦走査した画像データを再度走査する必要がないので、走査後の画像データを記憶するための記憶手段や、再度走査を行うための回路等を設ける必要がなく都合がよい。

そして、１回の走査で算出可能な図形の特徴量としては、請求項１７に記載のように、図形の面積、重心、周囲長、平均輝度、包含する矩形の何れかを図形の特徴量として算出するようにすればよく、このようにすると、各特徴量は１回の走査で算出されるので、請求項１６と同じ効果を得ることができる。

以下に、本発明の実施形態を図面と共に説明する。
図１は、本発明が適用された画像処理装置１０の構成を表す概略構成図である。
本実施形態の画像処理装置１０は、カメラ等の撮像装置にて撮像された画像データを走査して、画像データに含まれる連結された画素からなる図形の特徴量を算出し、この特徴量から人、車、建物等の特定の物体を認識するためのものであり、外部装置９０から出力された画像データを取得するための画像入力Ｉ／Ｆ部１２と、入力された画像データを、各画素毎に二値データに変換するための二値化処理部１４と、二値化処理部１４から出力された二値データに変換された画像データを取得し、構成する各画素の種類を順次判定する画素判定部１６と、ＳＲＡＭ等の書き換え可能なメモリ等により構成され、各種情報が記憶される記憶部１８と、画素判定部１６の判定結果を受けて図形の識別情報であるラベル番号を発行する新規ラベル発行部３２と、画素判定部１６の判定結果を受けて各図形の連結情報を記憶部１８に格納する連結情報格納部３４と、ラベル番号が入力されると、入力されたラベル番号にて特定される図形の特徴量を算出し、算出した特徴量を記憶部１８に格納する仮特徴量更新部３６と、画素判定部１６による１画面分の画像データの判定が終了し、新規ラベル発行部３２、連結情報格納部３４、仮特徴量更新部３６の動作が完了すると、記憶部１８に記憶された情報に基づいて、連結された図形を新たな１つの図形として、連結された図形の特徴量を算出し、記憶部１８に記憶された図形の特徴量を更新する特徴量更新部３８と、記憶部１８に記憶された図形の特徴量を読み出し、図形の特徴量から特定の物体を認識するための処理を実行するＣＰＵからなる制御部４０と、から構成されている。

なお、本実施形態において、上記制御部４０を除く各部はクロック生成部を備える１つのＬＳＩ５０により構成されており、各部には同一のクロック信号が供給され、このクロック信号にて各部の動作タイミングが設定される。

画像入力Ｉ／Ｆ部１２は、外部装置９０に接続されて、処理対象となる画像データを取得し、取得した画像データをラスタ式に走査してデジタル信号化する。そして、画像の左上を原点として横方向をＸ軸、縦方向をＹ軸とした場合の、各画素の座標（Ｘ，Ｙ）及び２５６階調で表された輝度値を、複数画素（本実施形態では４画素）毎に書き込み信号と共に二値化処理部１４に出力する。なお、本実施形態において外部装置９０は、撮像素子を内蔵しており、二次元の撮像素子にて撮像された画像データを、一定の速度（例えば、通常のビデオレート３３ｍｓ／１画像）で出力する装置（所謂、カメラ）とする。

二値化処理部１４は、画像入力Ｉ／Ｆ部１２から出力された画像データを取得して、各画素毎に二値データに順次変換する。詳述すると、二値化処理部１４は、画像入力Ｉ／Ｆ部１２から出力された書き込み信号を受けて、画像入力Ｉ／Ｆ部１２から出力された４画素のデータを取得する。そして、取得した輝度値に基づいて、各画素が、背景の要素となる画素（本実施形態では白画素）であるか、または、図形の要素となる図形画素（本実施形態では黒画素）であるかを、予め設定されたしきい値により順次判定し、背景画素が０、図形画素が１として表された二値化結果及び各画素の座標（Ｘ，Ｙ）を、４画素毎に書き込み信号と共に画素判定部１６に出力する。そして、再び書き込み信号を受けると、次の４画素のデータを取得し、同じ動作を繰り返し実行する。なお、画像入力Ｉ／Ｆ部１２と二値化処理部１４とを接続する伝送路のうち、輝度値が送信される伝送路はバス幅が３２ビットの伝送路を使用している。

画素判定部１６は、二値化処理部１４から取得した画像データ（二値データ）を構成する各画素の種類を各画素毎に判定する。
詳述すると、画素判定部１６は、二値化処理部１４から出力された書き込み信号を受けて、二値化処理部１４から出力された４画素のデータを取得し、取得した４画素を座標（Ｘ，Ｙ）の値が小さい画素から順に検索し、二値化結果に基づいて図形画素を抽出する。そして図形画素を抽出すると、抽出した図形画素を注目画素として、図２（ａ）に示すように、注目画素と、この注目画素の近傍４画素（左上、上、右上、左の４画素）との合計５つの画素の二値化結果から、図２（ｂ）に示す、画素判定フラグ発行規則に基づいて注目画素の種類を判定する。また、判定結果により、画素判定フラグのうちの何れかをセットし、以下に説明する判定フラグに基づく動作を実行する。

そして、画素判定部１６は、判定フラグに基づく動作が終了すると、次の図形画素を抽出し、抽出した画素を新たな注目画素として、４画素のデータに含まれる全ての図形画素について判定フラグのセット及び判定フラグに基づく動作を実行し、４画素のデータに含まれる全ての図形画素に対する動作を終了すると、次の書き込み信号を受けるまで、動作を停止する。なお、図２（ａ）は、注目画素の種類の判定に使用する５画素を示す説明図、図２（ｂ）は、画素判定フラグ発行規則を示す説明図である。

以下に、画素判定部１６の動作を、発行する画素判定フラグ別に詳細に説明する。なお、以下の説明において、ラベル番号は、図形の識別情報であり、１つの図形を形成する連結する画素群のラベル番号は同一となる。そして、本実施形態では、注目画素が図形画素であり、注目画素の周囲８方向（上下左右、斜め方向）に隣接する画素が図形画素である場合に、注目画素と、各図形画素が連結されているものとして、図形を認識する。また、図２（ａ）に示す、注目画素の近傍４画素の二値化結果は後述する記憶部１８を構成するレジスタ２８及びラインバッファ３０に記憶されたラベル番号により判断する。

画素判定部１６は、近傍４画素の二値化結果を検出し、近傍４画素の二値化結果が、図２（ｂ）の１段目に示すパターンである、つまり、注目画素の周囲に図形画素が存在せず、注目画素が、新たな図形を形成する画素であると判定すると、画素判定フラグＮをセットし、注目画像の座標（Ｘ，Ｙ）を新規ラベル発行部３２に出力する。

また、画素判定部１６は、近傍４画素の二値化結果が、図２（ｂ）の２段目に示すパターンのうちの何れかである、つまり、注目画素が既存の図形の一部を形成する画素であり、且つ、既存の図形を連結させる可能性があると判定すると、画素判定フラグＣをセットし、近傍４画素の２種類のラベル番号Ｌ１及びラベル番号Ｌ２（ただし、Ｌ１≦Ｌ２とする）のうちのラベル番号Ｌ１と、注目画素の座標（Ｘ，Ｙ）とを仮特徴量更新部３６に出力する。そして、ラベル番号Ｌ１がラベル番号Ｌ２と等しいか否かを判断し、等しくない場合には、更に、ラベル番号Ｌ１及びラベル番号Ｌ２（ただし、Ｌ１＜Ｌ２とする）を、連結情報格納部３４に出力する。

そして、画素判定部１６は、近傍４画素の二値化結果が、図２（ｂ）の３段目に示すパターンのうちの何れかである、つまり、注目画素が既存の図形の一部を形成する画素であると判定すると、画素判定フラグＤをセットし、近傍４画素のラベル番号Ｌ１と、注目画素の座標（Ｘ，Ｙ）とを仮特徴量更新部３６に出力する。

記憶部１８は、ラベル表２２、連結マップ２４、特徴量表２６を構成する書き換え可能なメモリ（例えば、ＳＲＡＭ）からなる算出用記憶部２０と、１画素分のラベル番号を記憶可能なレジスタ２８と、１走査ライン分の画素のラベル番号を記憶可能な書き換え可能なメモリ（例えば、ＳＲＡＭ）からなるラインバッファ３０と、を備えている（なお、レジスタ２８及びラインバッファ３０は図５参照）。

ラベル表２２は、算出用記憶部２０において、図３（ａ）に示すように、新規ラベル発行部３２により発行されたラベル番号が順に書き込まれるように構成されており、書き込まれたラベル番号は、ラベル番号Ｔ［λ］として、特徴量更新部３８の動作により書き換え可能に記憶される。ただし、Ｔ［λ］はラベル表２２のλ番目の領域に記憶されたラベル番号を示しており、特徴量更新部３８による書き換え前は、ラベル番号Ｔ［λ］とλとは等しい値である。

連結マップ２４は、図３（ｂ）に示すように、新規ラベル発行部３２により発行されたラベル番号のうち、小さい方のラベル番号Ｌ１を縦軸、大きい方のラベル番号Ｌ２を横軸とするマトリックス状に構成されており、連結マップ２４上の異なるラベル番号の交点（つまり、異なるラベル番号の組合せ）に対し、ラベル番号Ｌ１及びＬ２にて特定される図形（つまり、ラベル番号がＬ１、Ｌ２である図形画素からなる図形）同士が連結しているか否かを示す連結フラグ（Ｌ１，Ｌ２）を記憶するように構成されている。そして、例えば、ラベル番号がＬ１＝１にて特定される図形と、ラベル番号Ｌ２＝３にて特定される図形が連結されている場合には、ラベル番号１とラベル番号３との交点に記憶された連結フラグ（１，３）（図中丸印）が値１にセットされる。

特徴量表２６は、図３（ｃ）に示すように、仮特徴量更新部３６により算出された図形の特徴量（本実施形態では面積、換言すると、画素数）が、ラベル番号毎に順次書き込まれるように構成されている。そして、書き込まれた図形の特徴量は、特徴量Ｓ［λ］として、特徴量更新部３８の動作により書き換え可能に記憶される。ただし、Ｓ［λ］はλ番目の領域に記憶された面積を示しており、特徴量更新部３８による書き換え前は、Ｓ［λ］は、ラベル番号λにより特定される図形の面積を示している。

なお、図３（ａ）は、ラベル表２２を示す説明図、図３（ｂ）は、連結マップ２４を示す説明図、図３（ｃ）は、特徴量表２６を示す説明図である。そして、各説明図においては、ラベル番号が１から４まで発行された状態を示している。

新規ラベル発行部３２は、注目画像の座標（Ｘ，Ｙ）が入力されると、値１をインクリメントするように構成されたカウンタであり、インクリメントした値を新規ラベル番号として発行する。そして、発行したラベル番号を、注目画素の座標（Ｘ，Ｙ）と共に仮特徴量更新部３６に出力する。なお、新規ラベル発行部３２は、１画面の最初の画素（本実施形態では、座標（Ｘ，Ｙ）＝（０，０））が、画素判定部１６に入力されるとリセットされて値０となるように構成されている。つまり、１画面の画像データの走査が開始される毎に初期化され、初期値０からカウントが開始される。

連結情報格納部３４は、ラベル番号Ｌ１及びラベル番号Ｌ２が入力されると、連結マップ２４のラベル番号Ｌ１，Ｌ２の交点に記憶された連結フラグ（Ｌ１，Ｌ２）を値１にセットする。

仮特徴量更新部３６は、新規ラベル番号が入力された場合に動作する新規画素更新部３６ａと、既存のラベル番号が入力された場合に動作する追加画素更新部３６ｂとを備えている。

新規画素更新部３６ａは、新規ラベル発行部３２から新規ラベル番号λ及び注目画素の座標（Ｘ，Ｙ）が入力されたときに、図４（ａ）に示すように、ラベル表２２において、入力された新規ラベルのラベル番号目（以下、入力されたラベル番号がλである場合に、λ番目ともいう）の領域（図中では、矢印にて示される５番目の領域）に、入力された新規ラベル番号を書き込み、また、特徴量表２６のλ番目の領域（図中では、矢印にて示される５番目の領域）に、入力された新規ラベル番号にて特定される図形の面積の初期値として値１（Ｓ［λ］＝１）を特徴量表２６のλ番目の領域に書き込む。

追加画素更新部３６ｂは、画素判定部１６からラベル番号λ及び注目画素の座標（Ｘ，Ｙ）が入力されたときに、図４（ｂ）に示すように、ラベル表２２には書き込みを行わず、特徴量表２６のλ番目の領域に記憶された図形の面積Ｓ［λ］に値１を加えて（Ｓ［λ］←Ｓ［λ］＋１）、特徴量表２６の面積Ｓ［λ］の値を更新する。なお、図４（ｂ）においては、入力されたラベル番号が４の場合を示しており、４番目の領域（図中、矢印にて示される領域）に記憶されたＳ［４］が、３２から３３に更新されている。

ここで、図４（ａ）は、新規画素更新部３６ａの行うラベル表２２及び特徴量表２６の書き換え動作を表す説明図であり、図４（ｂ）は、追加画素更新部３６ｂの行う特徴量表２６の書き換え動作を表す説明図であり、図４（ａ）、図４（ｂ）は、ラベル表２２、特徴量表２６が図３（ａ）及び図３（ｃ）に示す状態のときに、夫々ラベル番号としてλ＝５、λ＝４が入力された場合を示している。

そして、仮特徴量更新部３６は、上記のように特徴量表２６を更新すると、次に、レジスタ２８に記憶されている１つ前に処理された注目画素（つまり、座標（Ｘ−１，Ｙ）の画素）のラベル番号を、図５（ｂ）に示すように、ラインバッファ３０における座標（Ｘ−１，Ｙ−１）の画素のラベル番号が記憶されていた領域（つまり、ラインバッファ３０のＸ−１番目の領域）に書き込み、座標（Ｘ−１，Ｙ）の画素のラベル番号をラインバッファ３０に書き込んだ後に、処理中の注目画素（つまり、座標（Ｘ，Ｙ）の画素）のラベル番号をレジスタ２８に書き込む。

このように、注目画素のラベル番号（詳述すると、注目画素の座標と共に入力されたラベル番号）はレジスタ２８に一旦記憶され、その後、ラインバッファ３０に記憶されるように構成されており、画素判定部１６は、図５（ａ）に示すように、ラインバッファ３０のＸ−１番目、Ｘ番目、Ｘ＋１番目の領域に記憶されたラベル番号から、座標（Ｘ，Ｙ）の注目画素の左上、上、右上の３画素の二値化結果、つまり、各画素が図形画素であるか否かを判断し、レジスタ２８に記憶されたラベル番号から、注目画素の左の画素の二値化結果を判断する。

なお、図５（ａ）は、仮特徴量更新部３６による注目画素の処理前のレジスタ２８及びラインバッファ３０を示す説明図、図５（ｂ）は、仮特徴量更新部３６による注目画素の処理後のレジスタ２８及びラインバッファ３０を示す説明図である。

以上、説明したように、二値化処理部１４、画素判定部１６、新規ラベル発行部３２、連結情報格納部３４、仮特徴量更新部３６は、外部からの入力を受けて、画像データの二値データへの変換、画素の種類の判定、ラベル番号毎の図形の特徴量の算出等の動作を夫々開始する。そして、１画面分の画像データの処理が終了するまで、つまり、画像入力Ｉ／Ｆ１２から１画面分の画像データが出力される間、上記各部は外部からの入力を受けて上記の動作を繰り返し実行する。なお、仮特徴量更新部３６は１画面分の画像データの処理が終了すると、ラインバッファ３０に記憶されたラベル番号を全て消去して、ラインバッファ３０を初期化する。

ところで、画素判定部１６で、画素判定フラグＣがセットされた場合は、注目画素が既存の図形の一部を形成する画素であり、且つ、既存の図形を連結させる可能性がある場合であり、ラベル番号Ｌ１がラベル番号Ｌ２と等しくない場合には、注目画素は、ラベル番号Ｌ１とラベル番号Ｌ２に特定される２つの図形を連結させている。しかし、仮特徴量更新部３６の動作において算出され、特徴量表２６に記憶されたラベル番号毎の図形の特徴量は、上記図形の連結情報が反映されておらず、暫定的な図形の特徴量である。

そこで、特徴量更新部３８では、上記各部における１画面の画像データの走査が終了し、算出用記憶部２０へのデータの格納が完了した後に、特徴量表２６に記憶されたラベル番号毎の図形の特徴量に、連結マップ２４に記憶された連結情報を反映させて、図形の特徴量を更新する。

特徴量更新部３８は、クロック生成部から供給される信号に基づいて、予め設定されたタイミングで動作を開始するように構成されている。なお、本実施形態では、上記各部における１画面の画像データの走査が終了し、各部における、算出用記憶部２０へのデータの格納が完了するタイミングが、特徴量更新部３８が動作を開始するタイミングとして設定されている。

そして、特徴量更新部３８は、連結マップ２４に記憶された異なるラベル番号にて特定される図形同士の連結情報、つまり、連結マップ２４にて連結フラグがセットされたラベル番号の組合せに基づいて、連結フラグがセットされたラベル番号を一致させると共に、ラベル番号毎の暫定的な図形の特徴量を一致させたラベル番号毎に統合することで、図形の特徴量を更新する動作を実行する。

以下に、特徴量更新部３８の動作を図６に示すフローチャートを用いて説明する。なお、特徴量更新部３８は、実際には図６に示す手順で動作するようにロジック回路にて構成されているが、ここでは、特徴量更新部３８の動作の理解を容易にするためにフローチャートを用いて説明する。

図６に示すように、特徴量更新部３８は動作を開始すると、連結マップ２４をラスタ式に走査する。まず、Ｓ２１０にて、連結フラグ（Ｌ１，Ｌ２）がセットされているか否かを判断し、連結フラグ（Ｌ１，Ｌ２）がセットされていると判断すると、続くＳ２２０では、ラベル表２２のＬ１番目とＬ２番目の領域に記憶されたラベル番号のうちの大きい方のラベル番号Ｌｍａｘを抽出する。

Ｓ２２０にてラベル番号Ｌｍａｘを抽出すると、次に、ラベル表２２の１番目の領域から順に、ラベル表２２の全ての領域において、Ｔ[λ]＝Ｌｍａｘである領域（つまり、Ｌｍａｘが記憶されている領域）を検出し、以下に説明するＳ２４０からＳ２６０のラベル番号の書換え等の動作を行う。

詳述すると、Ｓ２３０では、ラベル表２２のλ番目の領域に記憶されたラベル番号Ｔ[λ]がＬｍａｘと等しいか否かを判断し、Ｔ[λ]＝Ｌｍａｘである場合には、Ｓ２４０に移行して、ラベル番号Ｔ[λ]を、Ｌ１番目とＬ２番目の領域に記憶されたラベル番号のうちの小さい方のラベル番号Ｌｍｉｎに書き換える。そして、続くＳ２５０にて、特徴量表２６に記憶された、ラベル番号Ｌｍｉｎにて特定される図形の面積Ｓ[Ｌｍｉｎ]（つまり、Ｌｍｉｎ番目の領域に記憶された面積）と、ラベル番号Ｔ[λ]＝Ｌｍａｘにて特定される図形の面積Ｓ[λ]（つまり、λ番目の領域に記憶された面積）との和を算出し、Ｓ[Ｌｍｉｎ]を算出した値に書き換え、Ｓ２６０にて、特徴量表２６に記憶された面積Ｓ[λ]を０に書き換え、Ｓ２７０に移行する。

一方、Ｓ２３０において、ラベル番号Ｔ[λ]がＬｍａｘと等しくないと判断した場合には、そのラベル番号Ｔ[λ]に対して、Ｓ２４０からＳ２６０のラベル番号の書換え等の動作を行うことなく、Ｓ２７０に移行する。

そして、Ｓ２７０にて、ラベル表２２の全領域の検索が終了したか否かを判断し、終了していない場合には、Ｓ２３０に移行し、ラベル表２２の次の領域の判断を実行し、ラベル表２２の全領域の検索を終了するまで、Ｓ２３０からＳ２７０の動作を繰り返し実行する。一方、Ｓ２７０にて、ラベル表２２の全領域の検索が終了した場合には、Ｓ２８０に移行する。また、Ｓ２１０で、連結フラグ（Ｌ１，Ｌ２）がセットされていないと判断した場合には、そのラベル番号の組合せに対しては、上述したＳ２２０からＳ２７０の動作を行うことなく、Ｓ２８０に移行する。

そして、Ｓ２８０では、連結マップ２４の全連結フラグに対する判断が終了したか否かを判断する。そして、連結マップ２４の全連結フラグの走査が終了したと判断すると、Ｓ２９０に移行する。一方、全連結フラグの走査が終了していないと判断すると、Ｓ２１０に移行し、次の連結フラグ（Ｌ１，Ｌ２）の判断を実行し、全連結フラグの走査が終了するまで、Ｓ２１０からＳ２８０の動作を繰り返し実行する。

このように、Ｓ２１０からＳ２８０までの動作を実行し、連結マップ２４の全連結フラグの走査を終了すると、特徴量表２６には、連結された図形が統合された新たな図形の特徴量が記憶される。

次に、Ｓ２９０にて、連結マップ２４の全ての連結フラグを消去して連結マップ２４を初期化し、Ｓ３００では、特徴量表２６に記憶された特徴量の数、つまり、図形の総数を割込み信号と共に制御部４０に出力し、動作を終了する。

以下、図７（ａ）に示す入力画像が入力された場合に実際に特徴量更新部３８が行う動作について、図６に示すフローチャートに沿って順に説明する。ただし、図７（ａ）のラベル画像は、各図形画素のラベル番号を各図形画素上に記載した図であり、本実施形態の画像処理装置１０において生成されるものではなく、以下の説明の理解を容易にするための参考図である。

なお、図７（ｂ）は、１画面の画像データの走査が終了し、算出用記憶部２０へのデータの格納が完了した時点におけるラベル表２２及び特徴量表２６を示す説明図、図７（ｃ）は、同じ時点における連結マップ２４を示す説明図、図７（ｄ）は、特徴量更新部３８の動作により書き換えられたラベル表２２及び特徴量表２６を示す説明図である。

特徴量更新部３８は、動作を開始すると、図７（ｃ）に示す連結マップ２４をラスタ式に走査し、まず、Ｓ２１０にて、連結フラグ（Ｌ１，Ｌ２）がセットされているか否かを判断し、連結フラグ（１，３）がセットされていることを検出する。そして、続くＳ２２０では、ラベル表２２の１番目と３番目の領域に記憶されたラベル番号のうちの大きい方のラベル番号３を抽出し、Ｓ２３０からＳ２７０の動作にて、ラベル表２２にて、ラベル番号が３である領域を検出する。

詳述すると、Ｓ２３０にて、Ｔ［３］＝３であると判断し、続くＳ２４０では、ラベル表２２の３番目の領域を、ラベル表２２の１番目と３番目の領域に記憶されたラベル番号のうちの小さい方のラベル番号１に書き換える。そして、Ｓ２５０にて、特徴量表２６の１番目の領域に記憶されたラベル番号１により特定される図形の面積Ｓ[１]と、ラベル番号３により特定される図形の面積Ｓ[３]との和（つまり、１番目と３番目の領域に記憶された面積８と１２）を算出して面積Ｓ[１]を２０に書き換え、Ｓ２６０にて、面積Ｓ[３]を０に書き換える。そして、Ｓ２８０では、連結マップ２４の全フラグに対する判断が終了していないと判断し、Ｓ２１０に移行する。

次に、Ｓ２１０にて、連結フラグ（２，３）がセットされていることを検出する。そして、続くＳ２２０では、ラベル表２２の２番目と３番目の領域に記憶されたラベル番号のうちの大きい方のラベル番号２を抽出し、Ｓ２３０からＳ２７０の動作にて、ラベル表２２にて、ラベル番号が２である領域を検出する。

詳述すると、Ｓ２３０にて、Ｔ［２］＝２であると判断し、続くＳ２４０では、ラベル表２２の２番目の領域を、ラベル表２２の２番目と３番目の領域に記憶されたラベル番号のうちの小さい方のラベル番号１に書き換える。そして、Ｓ２５０にて、特徴量表２６の１番目の領域に記憶されたラベル番号１により特定される図形の面積Ｓ[１]と、ラベル番号２により特定される図形の面積Ｓ[２]との和（つまり、１番目と２番目の領域に記憶された面積２０と４）を算出して面積Ｓ[１]を２４に書き換え、Ｓ２６０にて、面積Ｓ[２]を０に書き換える。そして、Ｓ２８０では、連結マップ２４の全フラグに対する判断が終了していないと判断し、Ｓ２１０に移行する。

次に、Ｓ２１０にて、連結フラグ（３，４）がセットされていることを検出する。そして、続くＳ２２０では、ラベル表２２の３番目と４番目の領域に記憶されたラベル番号のうちの大きい方のラベル番号４を抽出し、Ｓ２３０からＳ２７０の動作にて、ラベル表２２にて、ラベル番号が４である領域を検出する。

詳述すると、Ｓ２３０にて、Ｔ［４］＝４であると判断し、続くＳ２４０では、ラベル表２２の４番目の領域を、ラベル表２２の３番目と４番目の領域に記憶されたラベル番号のうちの小さい方のラベル番号１に書き換える。そして、Ｓ２５０にて、特徴量表２６の１番目の領域に記憶されたラベル番号１により特定される図形の面積Ｓ[１]と、ラベル番号４により特定される図形の面積Ｓ[４]との和（つまり、１番目と４番目の領域に記憶された面積２４と１）を算出して面積Ｓ[１]を２５に書き換え、Ｓ２６０にて、面積Ｓ[４]を０に書き換える。

そして、Ｓ２８０では、連結マップ２４の全ての連結フラグに対する判断が終了したと判断してＳ２９０に移行する。
ここで、本入力画像は、図７（ａ）に示すように、全ての図形画素が連結しているため、Ｓ２１０からＳ２８０における全ての連結フラグの走査が終了したときには、特徴量表２６に記憶された面積はＳ[１]＝２５となる。

次に、Ｓ２９０にて、連結マップ２４に記憶された全ての連結フラグを消去し、続くＳ３００では、特徴量表２６に記憶された特徴量の数、つまり、図形の総数１を割込み信号と共に、制御部４０に出力し、処理を終了する。

制御部４０は、特徴量更新部３８からの割込み信号を受けて、特徴量表２６に記憶された図形の特徴量から、特徴量更新部３８から割込み信号と共に入力された図形の総数の数の特徴量を読み出し（例えば、図形の総数が５である場合、特徴量表２６の１番目から５番目までの領域の特徴量を読み出す）、読み出した図形の特徴量から特定の物体を認識するための処理を実行する。なお、図形の特徴量から物体を認識する方法は、周知の方法であり、本発明と直接関係する部分ではないため詳細な説明については省略する。

以上説明したように、本実施形態の画像処理装置１０においては、ラベル表２２、連結マップ２４、特徴量表２６からなる算出用記憶部２０と、レジスタ２８と、ラインバッファ３０と、を備え、画像入力Ｉ／Ｆ部１２が、外部装置９０から画像データを取得し、二値化処理部１４が、画像入力Ｉ／Ｆ部１２から入力された画像データを、画素毎に二値データに変換し、画素判定部１６が、二値データに変換された画像データ構成する各画素の種類を順次判定し、新規ラベル発行部３２が、画素判定部１６の判定結果を受けて図形の識別情報であるラベル番号を発行し、連結情報格納部３４が、画素判定部１６の判定結果を受けて各図形の連結情報を連結マップ２４に格納し、仮特徴量更新部３６が、入力されたラベル番号にて特定される図形の特徴量を算出して、算出したラベル番号毎の図形の特徴量を特徴量表２６に格納すると共に、入力されたラベル番号が新規ラベル番号である場合には、ラベル表２２に新規ラベルを格納する。そして、画素判定部１６による１画面分の画像データの判定が終了し、新規ラベル発行部３２、連結情報格納部３４、仮特徴量更新部３６の動作が完了すると、特徴量更新部３８が、特徴量表２６に記憶されたラベル番号毎の図形の特徴量に、連結マップ２４に記憶された連結情報を反映させて、図形の特徴量を更新する。

よって、本実施形態の画像処理装置１０によれば、画像データを走査しつつ、図形の特徴量を算出する場合に比べ、画像データの走査時間を短縮することができる。このため、外部装置９０から、画像データが１画面毎に順次入力されるタイミングに間に合うように画像データを走査し、連続して処理を行うことが可能となる。

また、本実施形態の画像処理装置１０においては、連結マップ２４を、新規ラベル発行部３２により発行されたラベル番号のうち、小さい方のラベル番号Ｌ１を縦軸、大きい方のラベル番号Ｌ２を横軸とするマトリックス状に構成し、連結マップ２４上の異なるラベル番号の組合せに対して、ラベル番号Ｌ１及びＬ２にて特定される図形同士が連結しているか否かを示す連結フラグ（Ｌ１，Ｌ２）を記憶するように構成されている。そして、画素判定部１６にて、ラベル番号の異なる図形同士が連結していると判定されると、連結情報格納部３４の動作により、連結フラグがセットされる。

よって、本実施形態の画像処理装置１０によれば、画素判定部１６において、同じラベル番号にて特定される図形同士の連結が繰り返し判定されても、連結情報格納部３４は、セットした連結フラグをそのままにしておけばよいだけであり、例えば、連結されていると判定された図形のラベル番号の組合せを全て格納しておく場合と比べ、使用する記憶領域を削減できる。

一方、特徴量更新部３８は、連結マップ２４を走査してセットされた連結フラグを検出し、検出したフラグに示されるラベル番号の組合せに対して、ラベル表２２及び特徴量表２６を書き換えるので、同じラベル番号の組合せに対して、重複して書き換えを行うことがなく、例えば、連結されていると判定された図形のラベル番号の組合せが全て記憶されており、これを読み込んで書き換えを行う場合と比べ、図形の特徴量を算出する際の処理時間を短縮することができる。

また、本実施形態の画像処理装置１０においては、１画素分のラベル番号を記憶可能なレジスタ２８と、１ライン走査分の画素のラベル番号を記憶可能なラインバッファ３０と、を備え、仮特徴量更新部３６は、特徴量表２６を更新すると、レジスタ２８に記憶されている１つ前に処理された注目画素のラベル番号を、ラインバッファ３０において、この注目画素に対応する領域に書き込み、書き込んだ後に、処理中の注目画素のラベル番号をレジスタ２８に書き込むようにしており、画素判定部１６は、レジスタ２８と、ラインバッファ３０に記憶されたラベル番号に基づいて、注目画素の近傍４画素の二値化結果を判定している。

このため、本実施形態の画像処理装置１０によれば、１画面分の画像データを形成する全画素分の注目画素のラベル番号を記憶させる必要が無く、記憶領域が少なくて済む。
また、本実施形態の画像処理装置１０において、二値化処理部１４は、取得した輝度値に基づいて、各画素が、背景の要素となる画素であるか、または、図形の要素となる図形画素であるかを、予め設定されたしきい値により順次判定しているので、画像データを構成する各画素の輝度の違いから、画像データを二値データに変換し、図形画素を抽出することができる。

さらに、二値化処理部１４は、画像データを４画素毎に取得して二値データに変換し、その二値データに変換した画像データを４画素毎に画素判定部１６に出力するように構成されており、画素の取得、送信にかかる時間を削減できるので、画像データを二値データに変換するための時間を長くとることができ、処理速度の制約が緩和される。また、本実施形態においては、画素の輝度値は８ビットのデータにより構成されており、輝度値が伝送される伝送路のバス幅が３２ビットのもので構成されているので、４画素毎に送信することにより効率よく画像データを送受することができる。

また、画素判定部１６は、注目画素を中心として周囲８方向に隣接する図形画素を、この注目画素に連結された画素として判定するように構成されているので、図形の形状が複雑であっても、１つの図形であることを確実に識別することができる。

そして、連結情報格納部３４と、新規画素更新部３６ａ及び追加画素更新部３６ｂと、は各々独立して動作可能に別々の電子回路にて構成されているので、連結フラグをセットする動作と、特徴量表２６の書き換え動作等とを並列に行うことができ、処理時間を短縮することができる。

また、本実施形態の画像処理装置１０においては、図形の特徴量として面積を算出しているので、一旦走査した画像データを再度走査する必要がなく、走査後の画像データを記憶するための記憶手段や、再度走査を行うための回路等を設ける必要がなく都合がよい。

なお、本実施形態において、画像入力Ｉ／Ｆ部１２は、本発明の第１画像取得手段に相当し、二値化処理部１４は本発明の二値化手段に相当し、画素判定部１６は、本発明の画素判定手段に相当し、算出用記憶部２０は、本発明の記憶手段群に相当し、ラベル表２２は、本発明のラベル記憶手段に相当し、連結マップ２４は、本発明の連結情報記憶手段に相当し、特徴量表２６は、本発明の特徴量記憶手段に相当し、新規ラベル発行部３２は、本発明の新規ラベル発行手段に相当し、連結情報格納部３４は、本発明の連結情報格納手段に相当し、仮特徴量更新部３６の新規画素更新部３６ａは、本発明の初期値設定手段に相当し、仮特徴量更新部３６の追加画素更新部３６ｂは、本発明の既存値更新手段に相当し、特徴量更新部３８は、本発明の特徴量更新手段に相当する。

以上、本発明の一実施形態について説明したが、本発明は、種々の形態を採り得ることは言うまでもない。
例えば、本実施形態の画像処理装置１０の変形例１として、図形の特徴量の検出時間を短縮するために、特徴量更新部３８の動作を図８に示すように行うようにしてもよい。図８は、変形例１の特徴量更新部３８の動作を示すフローチャートである。

図８に示すように、特徴量更新部３８が処理を開始すると、連結マップ２４をラスタ式に走査する。まず、Ｓ３１０にて、連結フラグ（Ｌ１，Ｌ２）がセットされているか否かを判断し、連結フラグ（Ｌ１，Ｌ２）がセットされていると判断すると、続くＳ３２０では、ラベル表２２のＬ２番目の領域に記憶されたラベル番号がＬ２と等しいか否か、つまり、Ｌ２番目の領域が既に書き換えられているか否かを判断する。そして、Ｌ２番目に記憶されたラベル番号がＬ２と等しい、つまり、Ｌ２番目の領域がまだ書き換えられていないと判断した場合には、Ｌ２＞Ｌ１であることから、Ｌ２番目に記憶されたラベル番号Ｔ［Ｌ２］はＬ１番目に記憶されたラベル番号Ｔ［Ｌ１］より大きい番号（つまりＴ［Ｌ２］＞Ｔ［Ｌ１］）であるので、Ｓ３３０にて、ラベル表２２にＬ２番目に記憶されたラベル番号Ｔ［Ｌ２］をＬ１番目に記憶されたラベル番号Ｔ［Ｌ１］に書き換える。

補足すると、特徴量更新部３８は、連結マップ２４をラスタ式に走査するので、例えば、Ｌ１＝３の行の走査を実行中に連結フラグ（３，４）がセットされていることを検出し、ラベル表２２の４番目の領域にラベル番号４が記憶されている場合、つまり、４番目の領域のラベル番号が１または２に書き換えられていない場合には、まだラベル番号Ｌ１＝４の行の走査の実行前なので、ラベル番号が４の領域は、４番目の領域以外には存在しないことは明らかであることから、ラベル表２２からラベル番号が４の領域を検索することなく、４番目の領域に記憶されたラベル番号４（Ｔ[４]）を３番目の領域に記憶されたラベル番号３（Ｔ[３]）と書き換えることができる。

一方、４番目の領域のラベル番号が１または２に書き換えられている場合には、３番目の領域に記憶されたラベル番号Ｔ[３]と４番目の領域に記憶されたラベル番号Ｔ[４]の何れが大きいかを判断し、Ｔ[３]とＴ[４]の何れか大きい方のラベル番号の値に書き換えられている領域を検索する必要がある。これは、例えば、Ｔ[３]＝２、Ｔ[４]＝１である場合には、ラベル番号Ｌ１＝２の行の走査は終了しているために、ラベル番号が２に書き換えられている領域が他にある可能性があるためであり、ラベル番号２が記憶された領域も、ラベル番号１に書き換える必要がある。

そして、続くＳ３４０にて、特徴量表２６に記憶された、ラベル番号Ｌ１にて特定される図形の面積Ｓ[Ｌ１]（つまり、Ｌ１番目の領域に記憶された面積）と、ラベル番号Ｌ２にて特定される図形の面積Ｓ[Ｌ２]（つまり、Ｌ２番目の領域に記憶された面積）との和を算出して面積Ｓ[Ｌ１]を算出した値に書き換え、Ｓ３５０にて、面積Ｓ[Ｌ２]を０に書き換え、Ｓ４２０に移行する。

一方、Ｓ３２０にて、Ｌ２番目に記憶されたラベル番号がＬ２でない、つまり、ラベル番号が書き換えられていると判断した場合には、Ｓ３６０に移行し、Ｓ３６０からＳ４１０の動作を行うが、本動作については、上記実施形態におけるＳ２２０からＳ２７０の動作と同じであるため、説明は省略する。また、Ｓ４２０からＳ４４０の動作についても、上記実施形態におけるＳ２８０からＳ３００の動作と同じであるため、この説明についても省略する。

以上説明したように、変形例１の画像処理装置１０において、特徴量更新部３８は、連結マップ２４をラスタ式に走査し、連結フラグ（Ｌ１，Ｌ２）がセットされていることを検出すると、ラベル表２２のＬ２番目の領域に記憶されたラベル番号Ｔ［Ｌ２］が書き換えられているか否かを判断し、この領域に記憶されたラベル番号が書き換えられている場合には、ラベル表２２を検索し、ラベル表２２のＬ１番目とＬ２番目の領域に記憶されたラベル番号のうちの大きい方のラベル番号Ｌｍａｘを抽出し、抽出したラベル番号Ｌｍａｘを、ラベル表２２のＬ１番目とＬ２番目の領域に記憶されたラベル番号のうちの小さい方のラベル番号Ｌｍｉｎに書き換える。一方、Ｌ２番目の領域に記憶されたラベル番号Ｔ［Ｌ２］が書き換えられていない場合には、Ｌ２をＬ１番目の領域に記憶されたラベル番号Ｔ［Ｌ１］に書き換える。

よって、変形例１の画像処理装置１０によれば、特徴量更新部３８は、ラベル番号Ｔ［Ｌ２］が書き換えられているか否かにより以降の動作を選択し、Ｔ［Ｌ２］が書き換えられていない場合にはラベル表２２の検索を行わないので、図形の特徴量の算出時間を短縮することが可能となる。

また、本実施形態の画像処理装置１０の変形例２として、図９に示すように、記憶部１８に、算出用記憶部２０を２つ設けるようにしてもよい。
つまり、本実施形態では、記憶部１８は、ラベル表２２、連結マップ２４、特徴量表２６からなる算出用記憶部２０を１つ備えており、この算出用記憶部２０を図形の特徴量の算出に使用するように構成したが、ラベル表２２と、連結マップ２４と、特徴量表２６とから構成される算出用記憶部２０を２つ設け、連結情報格納部３４及び仮特徴量更新部３６が、２つの算出用記憶部２０のうちの１つを共通に使用し、しかも、１画面分の画像データ毎に、使用する算出用記憶部２０を交互に変更し、特徴量更新部３８が、２つの算出用記憶部２０を順に選択し、この選択した算出用記憶部２０に記憶されたデータに基づいて処理を行うように構成してもよい。

このように構成された変形例２の画像処理装置によれば、算出用記憶部２０が交互に使用されるので、例えば、特徴量更新部３８による図形の特徴量の算出に時間がかかり、図形の特徴量の算出を終了する前に、次の画像データが入力されたとしても、次の画像データの情報が、特徴量更新部３８が使用している算出用記憶部２０に書き込まれることはなく、確実に図形の特徴量を算出することが可能となる。

そして、算出用記憶部２０を複数設け、各算出用記憶部２０を順次使用するようにしても同様の効果を得ることができるが、本変形例２においては、カメラ等からなる外部装置９０から出力される画像データを処理しており、カメラ等の撮像装置により撮像された画像データが１画面毎に出力されるタイミングの間隔と、画像処理装置１０が、１画面分の画像データを走査し、画像データに含まれる図形の特徴量を算出する時間とは、ほぼ等しいことが推測されるために、算出用記憶部２０を２つ設け、交互に使用することにより、最小限の記憶領域で、確実に図形の特徴量の算出をすることが可能である。

一方、本実施形態の画像処理装置１０の変形例３として、画像入力Ｉ／Ｆ部１２は、カメラ等の外部装置９０に接続されて、処理対象となる画像データを取得可能に構成されていることに加え、更に、ＣＤＲ等の記憶媒体に記憶された画像データを取得できるように構成してもよい。

このようにすれば、ＣＤＲ等の記憶媒体に画像データが記憶されている場合にも、この画像データを取得し、図形の特徴量を抽出することが可能となる。なお、本変形例３において、画像入力Ｉ／Ｆ部１２は、本発明の第１画像取得手段及び第２画像取得手段に相当する。

また、本実施形態の画像処理装置１０は、下記の変形例４に示すように、取得した画像データから、移動物体を表す図形を抽出し、この図形の特徴量を算出するように構成してもよい。

以下、このように構成された変形例４の画像処理装置について説明する。
変形例４の画像処理装置１０は、図１０に示すように、画像入力Ｉ／Ｆ１２が取得した画像データに基づいて生成される基準データを記憶するための書き換え可能なメモリ（例えばＳＲＡＭ、ＳＤＲＡＭ等）からなる画像記憶部６０を備えている。

画像入力Ｉ／Ｆ部１２は、外部から取得した画像データを走査してデジタル信号化し、各画素の座標（Ｘ，Ｙ）及び輝度値を二値化処理部１４に送信すると共に、例えば、取得した画像データ及び画像記憶部６０に記憶された過去の基準データから背景を表す基準データを生成し、画像記憶部６０に格納する。

二値化処理部１４は、画像入力Ｉ／Ｆ部１２から書き込み信号を受けると、画像入力Ｉ／Ｆ部１２から送信された画像データを４画素毎に取得し、順次画像記憶部６０に記憶された１画面前の画像データに基づく基準データとの輝度値の差分を計算し、差分データを算出する。

そして、算出した輝度値の差分に基づいて、差分データを構成する各画素を、予め設定されたしきい値により、背景の要素となる画素（本実施形態では白画素）、または、移動物体を表す図形の要素となる図形画素（本実施形態では黒画素）の何れかを表す二値データに変換し、背景画素が０、図形画素が１として表された二値化結果及び、各画素の座標（Ｘ，Ｙ）を、４画素毎に書き込み信号と共に画素判定部１６に送信する。そして、再び書き込み信号を受けると、次の４画素のデータを取得し、同じ動作を繰り返し実行する。

このように、本変形例４の画像処理装置１０においては、二値化処理部１６が、取得した画像データと、画像記憶部６０に順次記憶される基準データとの差分から差分データを算出し、この差分データの各画素を輝度値にて設定されたしきい値により二値データに変換している。

このため、本変形例４の画像処理装置１０によれば、２つの画像データ間で輝度値が変化した画素、つまり、移動物体の画素を検出し、この画素を図形画素とした二値化結果が画素判定部１６に出力されるので、移動物体を表す図形の特徴量を算出することができる。

また、本実施形態の画像処理装置１０の変形例５として、画素判定部１６は、図形画素からなる注目画素の周囲４方向（上下左右）の画素が図形画素である場合に、注目画素と、各図形画素とが連結されていると判断するように構成してもよい。

以下、上記のように画素の判断を実行する画素判定部１６について説明する。変形例５の画素判定部１６は、上記実施形態の画素判定部１６と同様に、二値化処理部１４から送信される書き込み信号を受けて、二値化処理部１４から送信された４画素のデータを取得し、取得した４画素を座標（Ｘ，Ｙ）の値が小さい画素から順に検索し、各画素の二値化結果から図形画素を抽出する。そして、図形画素を抽出すると、この図形画素を注目画素として、図１１（ａ）に示すように、この注目画素と、この注目画素の近傍２画素（上、左の２画素）との合計３つの画素の二値化結果から、図１１（ｂ）に示す、画素判定フラグ発行規則に基づいて注目画素を分類して画素判定フラグのうちの何れかをセットし、以下に説明する画素判定フラグに基づく動作を実行する。そして、画素判定フラグに基づく動作が終了すると、次の図形画素を抽出し、抽出した画素を新たな注目画素として、４画素のデータに含まれる全ての図形画素について画素判定フラグのセット及び画素判定フラグに基づく動作を実行する。そして、４画素のデータに含まれる全ての図形画素に対する動作を終了すると、次の書き込み信号を受けるまで、動作を停止する。なお、図１１（ａ）は、注目画素の分類に使用する３画素を示す説明図、図１１（ｂ）は、画素判定フラグ発行規則を示す説明図である。

以下に、画素判定部１６の動作を、発行する画素判定フラグ別に詳細に説明する。
画素判定部１６は、近傍２画素の二値化結果を検出し、近傍２画素の二値化結果が、図１１（ｂ）の１段目に示すパターンである、つまり、注目画素の周囲に図形画素が存在せず、注目画素が、新たな図形を形成する画素であると判定すると、画素判定フラグＮをセットし、注目画像の座標（Ｘ，Ｙ）を新規ラベル発行部３２に出力する。

また、画素判定部１６は、近傍２画素の二値化結果が、図１１（ｂ）の２段目に示すパターンである、つまり、注目画素が既存の図形の一部を形成する画素であり、且つ、既存の図形を連結させる可能性があると判定すると、画素判定フラグＣをセットし、近傍２画素の２種類のラベル番号Ｌ１及びラベル番号Ｌ２（ただし、Ｌ１≦Ｌ２とする）のうちのラベル番号Ｌ１と、注目画素の座標（Ｘ，Ｙ）とを仮特徴量更新部３６に出力する。そして、ラベル番号Ｌ１がラベル番号Ｌ２と等しいか否かを判断し、等しくない場合には、更に、ラベル番号Ｌ１及びラベル番号Ｌ２（ただし、Ｌ１＜Ｌ２とする）を、連結情報格納部３４に出力する。

そして、画素判定部１６は、近傍２画素の二値化結果が、図１１（ｂ）の３段目に示すパターンのうちの何れかである、つまり、注目画素が既存の図形の一部を形成する画素であると判定すると、画素判定フラグＤをセットし、近傍２画素のラベル番号Ｌ１と、注目画素の座標（Ｘ，Ｙ）とを仮特徴量更新部３６に出力する。

このように構成された、変形例５の画像処理装置１０においては、画素判定部１６が、注目画素が図形画素であるか否かを判断し、注目画素が図形画素である場合にこの注目画素と、この注目画素の近傍２画素（上、左の２画素）との合計３つの画素の二値化結果から、画素判定フラグ発行規則に基づいて注目画素を分類して画素判定フラグのうちの何れかをセットし、画素判定フラグに基づく動作を実行する。

このため、変形例５の画像処理装置１０によれば、例えば、２つの物体が斜め方向で接続されている場合に、これらの物体を表す図形は連結されていないと判断されるので、これらを別の物体と識別することができる。また、近傍２画素の二値化結果を識別することで、注目画素の分類ができるので、近傍４画素の二値化結果を識別する場合に比べ動作時間を短縮することができる。

また、本実施形態及び変形例の画像処理装置１０においては、図形の特徴量として、図形の面積を算出したが、必ずしも面積である必要は無く、図形の重心、図形の周囲長、図形の平均輝度、図形を包含する矩形を算出するようにしてもよい。

このようにすると、図形の面積を算出する場合と同様に、１回の走査で図形の特徴量を算出することができるので、画像データを保存する領域を設け、画像データを保存しておく必要が無く、都合がよい。また、画像データを記憶するための領域が確保できる場合には、画像データをこの領域に一旦保存し、再度走査できるように構成すれば、例えば、図形の分散等の２回以上の走査を必要とする図形の特徴量も算出することが可能である。

一方、本実施形態及び変形例の画像処理装置１０において、二値化処理部１４は、画像データを４画素毎に取得して、４画素毎に送信するようにしたが、二値化処理の速度に余裕がある場合には、１画素毎に取得して、１画素毎に送信するようにしてもよい。

また、本実施形態では、制御部４０を除く各部を、クロック生成部を備える１つのＬＳＩ５０にて構成したが、ＣＰＵ、ＲＡＭ等を備え、所定のプログラムを実行するマイクロコンピュータ等によりソフトウェア的に構成し、各部の処理を実行させるようにすることも可能である。

本実施形態の画像処理装置１０の構成を表す概略構成図である。 近傍４画素に基づく画素判定フラグ発行規則を示す説明図である。 算出用記憶部２０を構成するラベル表２２、連結マップ２４、特徴量表２６を示す説明図である。 仮特徴量更新部３６の行う算出用記憶部２０の書き換え動作を表す説明図である。 レジスタ２８及びラインバッファ３０の詳細を示す説明図である。 本実施形態の特徴量更新部３８の動作を示すフローチャートである。 特徴量更新部３８の行う動作を説明するための説明図である。 変形例１の特徴量更新部３８の動作を示すフローチャートである。 変形例２の画像処理装置１０の構成を表す概略構成図である。 変形例４の画像処理装置１０の構成を表す概略構成図である。 近傍２画素に基づく画素判定フラグ発行規則を示す説明図である。

符号の説明

１０…画像処理装置、１２…画像入力Ｉ／Ｆ部、１４…二値化処理部、１６…画素判定部、１８…記憶部、２０…算出用記憶部、２２…ラベル表、２４…連結マップ、２６…特徴量表、２８…レジスタ、３０…ラインバッファ、３２…新規ラベル発行部、３４…連結情報格納部、３６…仮特徴量更新部、３６ａ…新規画素更新部、３６ｂ…追加画素更新部、３８…特徴量更新部、４０…制御部、５０…ＬＳＩ、６０…画像記憶部、９０…外部装置

Claims (17)

1. 垂直方向及び水平方向に配列された複数画素からなる画像データを走査して、この画像データに含まれる連結された画素群からなる図形の特徴量を算出する画像処理装置であって、
   前記図形の識別情報であるラベルが、前記画像データを構成する画素毎に記憶される画素情報記憶手段と、
   前記画像データを、各画素毎に、前記図形の要素となる図形画素であるか、該図形画素以外の背景画素であるかを表す二値データに変換する二値化手段と、
   該二値化手段により二値データに変換された画像データを走査して、該画像データから前記図形画素を順次注目画素として抽出し、該抽出した注目画素の周囲の画素のラベルを前記画素情報記憶手段から取得し、該取得した周囲の画素のラベルに基づいて、該注目画素が、新たな図形を形成する新規画素であるか、または、既に形成された図形の一部となる追加画素であるかを判定し、前記注目画素が追加画素である場合には、更に、該追加画素が複数の異なる図形を連結させる連結画素であるか否かを判定する画素判定手段と、
   該画素判定手段により前記注目画素が前記新規画素であると判定されると、新規にラベルを発行する新規ラベル発行手段と、
   前記画素判定手段により前記注目画素が前記連結画素であると判定されると、該連結画素にて複数の図形が連結されていることを表す連結情報を連結情報記憶手段に格納する連結情報格納手段と、
   前記画素判定手段により前記注目画素が前記新規画素であると判定されると、前記新規ラベル発行手段により発行された新規ラベルをラベル記憶手段に格納すると共に、該新規ラベルにて特定される図形の特徴量として、初期値を特徴量記憶手段に格納し、更に、該新規ラベルを前記注目画素のラベルとして前記画素情報記憶手段に格納する初期値設定手段と、
   前記画素判定手段により前記注目画素が前記追加画素であると判定されると、前記特徴量記憶手段に記憶された図形の特徴量のうち、該追加画素がその一部となる図形の特徴量を更新し、更に、該追加画素がその一部となる図形のラベルを前記注目画素のラベルとして前記画素情報記憶手段に格納する既存値更新手段と、
   前記画素判定手段による１画面分の画像データの走査が終了し、該画素判定手段の判定に基づく、前記新規ラベル発行手段、前記連結情報格納手段、前記初期値設定手段、前記既存値更新手段の動作が完了すると、前記連結情報記憶手段に記憶された連結情報に基づいて、前記ラベル記憶手段に記憶されたラベルのうち、同一図形と認識された各図形のラベルを書き換えて一致させ、前記特徴量記憶手段に記憶された図形の特徴量のうち、前記ラベルが一致される前の各ラベルにて特定される各図形の特徴量を合成し、該合成した特徴量を前記一致されたラベルにて特定される図形の特徴量として前記特徴量記憶手段に格納する特徴量更新手段と、
   を備えることを特徴とする画像処理装置。
2. 前記連結情報は、前記新規ラベル発行手段により発行された全てのラベルのうち、２つのラベルからなる全てのラベルの組合せに対し、連結状態、または、非連結状態が設定されることにより、各ラベルに特定される図形同士が連結されているか否かが表される情報で、且つ、初期状態として、全てのラベルの組合せに対し、非連結状態が設定されたものであり、
   前記連結情報格納手段は、前記画素判定手段により前記注目画素が前記連結画素であると判定されると、該連結画素が連結する各図形のラベルの組合せに対して連結状態を設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記新規ラベル発行手段は、前記ラベルとして発行順位を表す符号を発行し、
   前記初期値設定手段は、前記ラベルを発行順に前記ラベル記憶手段に格納し、
   前記特徴量更新手段は、
   前記連結情報記憶手段から、前記ラベルの組合せに対して設定された状態を、発行順位の早いラベルを含む組合せから順に読み出し、
   前記連結状態が設定されたラベルの組合せを抽出した場合には、前記ラベル記憶手段において、前記連結状態が設定されたラベルの組合せのうちの発行順位の遅い方のラベルの発行順の領域が書き換えられているか否かを判断し、
   前記ラベル記憶手段において、該発行順位の遅い方のラベルの発行順の領域が書き換えられている場合には、前記ラベルの組合せの各発行順の領域に記憶されたラベルのうち、発行順位の早い方のラベルで、前記各発行順の領域のうち、発行順位の遅い方のラベルが記憶された領域を書き換えると共に、
   前記ラベル記憶手段から、前記発行順位の遅い方のラベルが記憶された領域を検出し、前記ラベルの組合せの各発行順の領域に記憶されたラベルのうち、発行順位の早い方のラベルで、前記検出した領域を書き換え、
   一方、前記ラベル記憶手段において、前記発行順位の遅い方のラベルの発行順の領域が書き換えられていない場合には、該領域を前記発行順位の早い方のラベルの発行順の領域に記憶されたラベルに書き換える、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画素情報記憶手段は、
   １画素分の画素のラベルを記憶可能なレジスタと、
   １走査ライン分の画素のラベルを記憶可能なラインバッファと、
   からなり、
   前記初期値設定手段及び既存値更新手段は、前記注目画素のラベルを前記レジスタに一旦格納し、次の注目画素のラベルを格納する際には、前記レジスタに記憶された前の注目画素のラベルを、前記ラインバッファにおける前の注目画素に対応する領域に格納した後に、前記次の注目画素のラベルを前記レジスタに格納することを特徴とする請求項１〜請求項３の何れかに記載の画像処理装置。
5. 撮像装置から前記画像データを直接取得可能に構成された第１画像取得手段を備えることを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
6. 前記画像データが記憶された記憶媒体から該画像データを取得可能に構成された第２画像取得手段を備えることを特徴とする請求項１〜請求項５の何れかに記載の画像処理装置。
7. 前記二値化手段は、前記画像データを複数画素毎に取得して二値データに変換し、その二値データに変換した画像データを複数画素毎に前記画素判定手段に送信することを特徴とする請求項１〜請求項６の何れかに記載の画像処理装置。
8. 前記二値化手段は、前記複数画素として４画素毎に前記画像データを取得、送信することを特徴とする請求項７に記載の画像処理装置。
9. 前記二値化手段は、前記画像データを、輝度値にて設定されたしきい値により二値データに変換することを特徴とする請求項１〜請求項８の何れかに記載の画像処理装置。
10. 前記二値化手段は、前記画像データと、予め記憶手段に記憶された背景データとの差分からなる差分データを新たな画像データとして生成し、該画像データを、輝度値にて設定されたしきい値により二値データに変換することを特徴とする請求項１〜請求項８の何れかに記載の画像処理装置。
11. 前記画素判定手段は、前記注目画素を中心として周囲８方向に隣接する図形画素を、前記注目画素に連結された画素として判断することを特徴とする請求項１〜請求項１０の何れかに記載の画像処理装置。
12. 前記画素判定手段は、前記注目画素を中心として水平及び垂直方向の４方向に隣接する図形画素を、前記注目画素に連結された画素として判断することを特徴とする請求項１〜請求項１０の何れかに記載の画像処理装置。
13. 前記連結情報格納手段と、前記初期値設定手段及び既存値更新手段と、は各々独立して動作可能に構成されていることを特徴とする請求項１〜請求項１２の何れかに記載の画像処理装置。
14. 前記ラベル記憶手段と、前記連結情報記憶手段と、前記特徴量記憶手段とから構成される記憶手段群を複数備え、
    前記初期値設定手段と、前記既存値更新手段と、前記連結情報格納手段とは、前記複数の記憶手段群のうちの１つを共通に使用し、しかも、１画面分の画像データ毎に、使用する記憶手段群を順に変更し、
    前記特徴量更新手段は、前記複数の記憶手段群を順に選択し、該選択した記憶手段群に記憶されたデータに基づいて処理を行うことを特徴とする請求項１〜請求項１３の何れかに記載の画像処理装置。
15. 前記ラベル記憶手段と、前記連結情報記憶手段と、前記特徴量記憶手段とから構成される記憶手段群を２つ備え、
    前記初期値設定手段と、前記既存値更新手段と、前記連結情報格納手段とは、前記２つの記憶手段群のうちの１つを共通に使用し、しかも、１画面分の画像データ毎に、使用する記憶手段群を交互に変更し、
    前記特徴量更新手段は、前記２つの記憶手段群を交互に選択し、該選択した記憶手段群に記憶されたデータに基づいて処理を行うことを特徴とする請求項１〜請求項１３の何れかに記載の画像処理装置。
16. 前記特徴量更新手段により算出される図形の特徴量は、前記画素判定手段が、前記画像データを１回走査することにより算出可能な図形の特徴量であることを特徴とする請求項１〜請求項１５の何れかに記載の画像処理装置。
17. 前記特徴量更新手段により算出される図形の特徴量は、前記図形の面積、重心、周囲長、平均輝度、包含する矩形の何れかであることを特徴とする請求項１６に記載の画像処理装置。