JP2004274325A

JP2004274325A - 撮像による物体抽出方法

Info

Publication number: JP2004274325A
Application number: JP2003061394A
Authority: JP
Inventors: Shoichi Kita; 正一喜多
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2003-03-07
Filing date: 2003-03-07
Publication date: 2004-09-30

Abstract

【課題】物体抽出の精度を向上し、照明状態の変動の影響を低減する。
【解決手段】同じ背景を撮像領域とする撮像装置１１による入力画像と既存の基準背景画像とを各画素の輝度値について差分することで得られる差分画像から入力画像に含まれる抽出対象物を抽出する物体抽出方法であって、基準背景画像と入力画像とについて同一位置に補正ポイントを設定すると共に基準画像の補正ポイントの輝度値と入力画像の補正ポイントの輝度値との差から求まる照明変動輝度補正値により差分画像に補正を行う。
【選択図】図６

Description

【０００１】
【発明の属する技術分野】
本発明は、背景差分法を用いた撮像による物体抽出方法に関するものである。
【０００２】
【従来の技術】
従来から、撮像領域内から対象となる物体等を画像処理により抽出する場合には、背景差分法が使用されている。
この背景差分法では、対象となる物体が撮像領域内に存在しない状態の基準背景画像が予め用意され、撮像装置により基準背景画像と同じ撮像領域の撮像が行われ、入力画像と基準背景画像とを各画素の輝度値について差分することで得られる差分画像から入力画像に含まれる対象となる物体を抽出するという手法が用いられる。
つまり、撮像装置による撮像時において撮像領域内に物体が出現或いは侵入すると、背景像に加えてその物体像も撮像されることから、背景像のみを差分により除去することで物体像のみを取得することを可能としている。
また、この背景差分法では、取得される差分画像に対象物以外のノイズが含まれることが多いため、輝度の閾値を設定して差分画像をさらに二値化することで得られる二値化画像によりさらに精度良く物体を抽出することが一般化している。
しかしながら、上記二値化の手法を用いる場合には、その物体抽出の精度が、設定される閾値に大きく依存することとなり、いかにして適切な閾値を決定するかが重要な要素となっていた。
【０００３】
そこで、従来の撮像による物体抽出方法では、理想的な状態での面積が既知である差分画像に対して、当該差分画像からノイズが消える最小閾値と、差分画像から欠損が生じ始める最大閾値とを求め、これら二つの閾値の間の値を採用して差分画像の二値化を行うことにより物体抽出の精度の向上を図っていた（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００２−２１８４４３号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の物体抽出方法では、二値化を行うための閾値の上限値と下限値との間に未だ十分とはいえない幅があり、その範囲内でいずれの閾値を決定したとしても、それらが全て良好な結果を得られるとは限らなかった。
また、上記従来例は、差分画像を取得した後の二値化の段階で抽出精度向上のための手段を講じる構成であるため、例えば、撮像領域の照明状態が経時的に変化する場合のように、差分画像全体が物体抽出に困難な画像状態となる場合には、その最大・最小閾値の決定作業も煩雑となり、処理作業が増大すると共にその作業時間も遅速化する。従って、撮像領域の照明状態が経時的に変化する環境下では問題が残されていた。
さらに、上記従来例では、二値化を行うための最大閾値を決定する要素としてノイズの消滅状態をその判断の基準としている。このため、いかなる状態をノイズと定義するかによって最大閾値が変動し、結果として最大閾値自体が曖昧となっていた。
また、上記従来例では、二値化を行うための最小閾値を決定するために、差分により抽出された物体画像の大きさが基準値以下となることを要件とするため、既知の大きさの物体でなければその最小閾値を決定することができず、その結果大きさ既知の物体でなければ精度良く抽出することができなかった。
【０００６】
本発明は、誤認識を低減し、より精度の高い物体抽出を行うことを、その目的とする。
また、本発明は、照明状態が変動する場合にあっても良好に対応して物体の抽出を可能とすることを、他の目的とする。
さらに、本発明は、種々の大きさの物体を抽出可能とすることを、さらに他の目的とする。
【０００７】
【課題を解決するための手段】
請求項１記載の発明は、同じ背景を撮像領域とする撮像装置による入力画像と既存の基準背景画像とを各画素の輝度値について差分することで得られる差分画像から入力画像に含まれる抽出対象物を抽出する物体抽出方法であって、基準背景画像と入力画像とについて同一位置に補正ポイントを設定すると共に基準画像の前記補正ポイントの輝度値と入力画像の前記補正ポイントの輝度値との差から求まる照明変動輝度補正値により差分画像に補正を行う、という構成を採っている。
【０００８】
上記構成では、撮像装置による撮像が行われる前に、まず撮像領域内に対象物が出現していない状態の基準背景画像が例えば撮像により取得される。
そして、その後撮像を行い入力画像が取得される。このとき、基準背景画像と入力画像とは、その背景が同じであり、これらの画像に対して同一位置（例えば同一の画素）を予め補正ポイントに設定する。そして、基準背景画像と入力画像の補正ポイントにおける輝度値を比較し、その差を照明変動輝度補正値とする。
このようにして取得される照明変動輝度補正値は、基準背景画像と入力画像との照明状態の変化に応じた値であるため、基準背景画像と入力画像との差分画像を取得する段階で画像全体の画素における輝度値に対して照明変動輝度補正値による補正を行うことで、照明状態の変動による影響を排除することが可能となる。従って、ノイズの影響が低減された差分画像が取得される。
【０００９】
なお、「差分画像に補正を行う」とは、差分画像を得る前段階で入力画像又は基準背景画像に対して補正を行う場合と差分画像を得る際に同時に補正を行う場合と差分画像を得てから補正を行う場合のいずれの場合をも含むものとする。
また、「輝度」とは光の明るさ暗さの度合を示す概念である。また、光が色彩を帯びる場合には、色の三属性の一つである明度と一致する概念であり、色のもつ明るさ暗さの度合を示す。本明細書の記載全体において同様とする。
【００１０】
請求項２記載の発明は、請求項１記載の発明と同様の構成を備えると共に、撮像領域の中で抽出対象物が出現しない既知の領域に補正ポイントを設定する、という構成を採っている。
上記構成では、請求項１記載の発明と同様の動作が行われると共に、撮像領域内で対象物が出現し得ないことが予め分かっている領域に補正ポイントを設定することにより、入力画像の補正ポイントに対象物が出現することで照明変動輝度補正値が変動してしまい、補正による物体抽出精度の向上を妨げる要因を排除している。
【００１１】
請求項３記載の発明は、請求項１又は２記載の発明と同様の構成を備えると共に、撮像領域の中で照明光により飽和状態にある領域に補正ポイントを設定する、という構成を採っている。
上記「飽和状態」とは、輝度（明度）が照明光により最大限に高くなった状態を言う。従って、照明光が色彩を有する場合にはその表面が同じ色彩を帯びると共に照明光が十分に照射されている状態がこれに該当する。
【００１２】
上記構成では、請求項１又は２記載の発明と同様の動作が行われると共に、撮像領域内を照射する照明光源が存在する環境下においては、飽和状態の領域では、照明の光源に起因する照明状態の変化が忠実に反映される。一方、照明光源からの照明光は、撮像領域全体における照明状態の変化について支配的であるため、上述の飽和状態領域に補正ポイントを設定することにより、撮像領域全体の照明状態の変化により効果的に対応することとなり、当該照明状態の変化を有効に低減することとなる。
【００１３】
請求項４記載の発明は、請求項１記載の発明と同様の構成を備えると共に、撮像領域の中で暗色系の色彩の領域に補正ポイントを設定する、という構成を採っている。
上記「暗色」とは、輝度（明度）が低い色のことをいう。
上記構成では、請求項１又は２記載の発明と同様の動作が行われると共に、撮像領域内を照射する照明光源が存在しない環境下においては、暗色系の色彩の領域は、照明状態の変化が安定しており、上述の暗色系色彩領域に補正ポイントを設定することにより、他の照明状態の変がしやすい一部の領域による影響を低減し、撮像領域全体の照明状態の変化により効果的に対応することとなり、当該照明状態の変化を有効に低減することとなる。
【００１４】
請求項５記載の発明は、請求項１，２，３又は４記載の発明と同様の構成を備えると共に、補正ポイントを複数設定する、という構成を採っている。
上記構成にあっては、補正ポイントを複数設定することにより複数の照明変動輝度補正値が取得される。かかる複数の照明変動輝度補正値に対して、いずれか一つの照明変動輝度補正値を選出して差分画像の補整を行っても良いし、後述する請求項８記載の発明のように平均化しても良い。また、これら複数の照明変動輝度補正値の中で単独で異なる数値を示すものについては選出候補から外しても良い。そして、いずれかの手法により一の照明変動輝度補正値が特定され、差分画像の補整が行われる。
【００１５】
請求項６記載の発明は、請求項１又は２記載の発明と同様の構成を備えると共に、撮像領域の中で最も輝度値が高い画素から順番に複数の補正ポイントを設定する、という構成を採っている。
上記構成では、請求項１又は２記載の発明と同様の動作が行われると共に、特に撮像領域内を照射する正面光源が存在する環境下において、高輝度の領域では、照明の光源に起因する照明状態の変化が忠実に反映される。従って、高輝度位置を補正ポイントに設定することにより、撮像領域全体の照明状態の変化により効果的に対応することとなり、当該照明状態の変化を有効に低減することとなる。
【００１６】
なお、高輝度であるか否かは、基準背景画像から判断しても良いし、入力画像から判断しても良い。
また、複数の補正ポイントを設定することにより複数の照明変動輝度補正値が取得されるが、その場合の一の照明変動輝度補正値を決定するための手法については請求項５記載の発明の場合と同様である。
【００１７】
請求項７記載の発明は、請求項１又は２記載の発明と同様の構成を備えると共に、撮像領域の中で最も輝度値が低い画素から順番に複数の補正ポイントを設定する、という構成を採っている。
上記構成では、請求項１又は２記載の発明と同様の動作が行われると共に、特に撮像領域内を照射する照明光源が存在しない環境下においては、低輝度の領域は、照明状態の変化が安定している。従って、低輝度位置を補正ポイントに設定することにより、他の照明状態が変化しやすい一部の領域による影響を低減し、撮像領域全体の照明状態の変化により効果的に対応することとなり、当該照明状態の変化を有効に低減することとなる。
【００１８】
なお、低輝度であるか否かは、基準背景画像から判断しても良いし、入力画像から判断しても良い。
また、複数の補正ポイントを設定することにより複数の照明変動輝度補正値が取得されるが、その場合の一の照明変動輝度補正値を決定するための手法については請求項５記載の発明の場合と同様である。
【００１９】
請求項８記載の発明は、請求項５，６又は７記載の発明と同様の構成を備えると共に、複数の補正ポイント毎に求められた照明変動輝度補正値の平均値により差分画像に補正を行う、という構成を採っている。
上記構成によれば、撮像領域の各位置に点在する補正ポイントから取得される照明変動輝度補正値が平均化されることとなるので撮像領域全体の照明状態の変化により忠実に対応することとなり、当該照明状態の変化を有効に低減することとなる。
【００２０】
【発明の実施の形態】
本発明の実施形態たる搬送装置の監視装置１０について説明する。図１は、監視装置１０を設けたプラントのシュート１００の斜視図であり、図２は監視装置及びシュートの垂直面に沿った断面図である。かかる監視装置１０は、図１に示すように、プラントのシュート１００に設けられ、撮像による物体抽出方法を用いてシュート１００の内部の側壁面に付着した付着物を抽出の対象物として抽出し、その検出を行うためのものである。
【００２１】
（シュートの説明）
シュート１００は、側方に接続された搬送管（図示しない）から廃棄物が投入されると図示しない搬送装置によりその内部で廃棄物が所定方向に搬送される。そして、このシュート１００は、その上面が矩形に開口された本体部１０１と、その開口した上面部に設けられる上蓋１０２とを備えている。
本体部１０１は、その内底部に沿って廃棄物が搬送され、内底部の四方から立ち上げられた四つの側壁１０３はいずれも底部に向かうに従って対向する他方の側壁に近接する方向に傾斜している。
上蓋１０２は、本体部１０１の上面開口部をほぼ全体に渡って覆う平板であり、その四辺には各辺に沿った内部観察用のスリット１０４が形成されている。各スリット１０４は、上蓋１０２の外縁部に設けられていることから、それぞれが個別に本体部１０１の各側壁１０３の内面上に位置する状態となっている。
また、上蓋１０２の中央部には表裏に貫通して内部採光用の窓部１０５が形成されている。
【００２２】
（監視装置の全体構成）
監視装置１０は、図１及び図２に示すように、シュート１００の本体部１０１の各側壁１０３に付着する付着物を撮像するための撮像手段としてのカメラ１１と、シュート１００の上蓋１０２に設けられた窓部１０５から本体部１０１の内部に光を照射する照明手段２０と、上蓋１０２に形成された各スリット１０４から観察される内部像を形成する光を反射してカメラ１１に伝搬する反射手段としての外側ミラー１２及び内側ミラー１３と、カメラ１１による撮像により取得される入力画像データから画像処理により各側壁１０３の内面に付着した付着物を検出する情報処理手段３０（図３参照）とを備えている。
【００２３】
上記カメラ１１は、シュート１００の上方において上蓋１０２の窓部１０５の周囲の領域を撮像可能な状態で図示しない支持フレームにより支持されている。このカメラ１１は、その撮像領域内の実像を構成する光を赤（Ｒ），緑（Ｇ），青（Ｂ）の三色に分ける分光器と、各色毎に個別に受光を行う三つの固体撮像素子（ＣＣＤ，ＭＯＳ型撮像素子等）を有している（図示略）。これらの固体撮像素子はその受光面を構成する無数の画素の単位で入射された像に応じた輝度を検出すると共に、三色分の全ての画素の輝度を画像信号として情報処理手段３０に出力する。
【００２４】
照明手段２０は、白色光を照射する光源としての環状蛍光灯２１と、環状蛍光灯２１の上部を覆うカバー体２２とを備えている。この照明手段２０は、シュート１００の上蓋１０２に設けられた窓部１０５の上側に配置されており、当該窓部１０５から白色光を照射することで本体部１０１の内部を観察に好適な明るさに維持することを可能とする。
【００２５】
外側ミラー１２及び内側ミラー１３は、シュート１００の上蓋１０２に形成された各スリット１０４ごとに個別に用意されている。四つの外側ミラー１２は、対応するスリット１０４の上部にそれぞれ配置され、スリット１０４を介してシュート１００の本体部１０１の内側の状態像を形成する光を対応する内側ミラー１３側に反射する。このとき、各外側ミラー１２は、スリット１０４に近接する側壁１０３の内面に沿って進行する光を内側ミラー１３側に反射するようにその取付角度が調節されている。従って、内側ミラー１３側から外側ミラー１２を見ると、側壁１０３の内側面は線状となって観察され、またスリット１０４の幅に応じて側壁１０３の内面に近接する領域が観察可能である。即ち、側壁１０３の内面を背景とすることなく付着物のみを撮像することにより、内面の色彩、照明状態等による影響を受けることなく撮像による付着物の抽出をより精度良く行うことを可能とする。線状で観察される側壁１０３の内側面に接しているか否かにより付着物か単なる流動物かの判定を容易に行うことを可能とする。
【００２６】
一方、四つの内側ミラー１３は上蓋１０２の窓部１０５の周囲においてカメラ１１の撮像領域内に収まるように集中的に配置され、それぞれが対応する外側ミラー１２から反射された本体部１０１の内側の状態像を形成する光をカメラ１１側に反射するようにその取付角度が調節されている。従って、カメラ１１は、全てのスリット１０４から観察される本体部１０１の内側の状態像を一度に撮像することを可能としている。
【００２７】
（情報処理手段）
次に情報処理手段３０について図３に基づいて説明する。図３は監視装置１０の制御系を示すブロック図である。この情報処理手段３０は、前述したカメラ１１、各種設定入力を行うための入力装置１４、情報処理手段３０による処理結果，各種画像等の表示を行う表示モニタ１５が併設されている。
そして、この情報処理手段３０は、後述する各種プログラムに従い演算処理を行うＣＰＵ３１と、各種の処理及び制御を行うためのプログラムを記憶するＲＯＭ３２と、各種の処理において一時的にデータ等を格納する作業領域となるＲＡＭ３３と、カメラ１１からの画像信号を所定のフォーマット（例えば、幅３２０ｐｉｘ，高さ２４０ｐｉｘ，８ｂｉｔ／ｐｉｘ）の入力画像データに変換する画像入力インターフェース３４と、入力画像データ等の画像データを記憶する画像メモリ３５と、ＣＰＵ３１による処理結果，各種画像等の表示データを表示モニタ１５に適正なフォーマットの画像信号に変換して表示モニタ１５に出力する画像出力インターフェース３６と、入力装置１４から出力される操作信号を所定のフォーマットの操作データに変換する入力インターフェース３７と、所定周波数のクロック信号を計数して現在時刻データを生成し出力する計時回路３８と、上記各構成間での各種データの伝送を行うデータバス３９とを備えている。
【００２８】
前述したように監視装置１０はシュート１００の本体部１０１の各内壁１０３に付着した付着物を画像処理を用いて検出し、モニタにその旨を出力して報知する。そのために、情報処理手段３０は、ＲＯＭ３２に記憶された各種のプログラムをＲＡＭ３３を用いてＣＰＵ３１が処理することで各種の機能を実行する。以下、情報処理手段３０が実行する各種の機能について説明する。
【００２９】
▲１▼情報処理手段３０のＣＰＵ３１は、ＲＯＭ３２に格納されたプログラムに従い、撮像領域内で物体抽出を行う領域を決定する区分設定部としての処理を行う。
▲２▼情報処理手段３０のＣＰＵ３１は、ＲＯＭ３２に格納されたプログラムに従い、カメラ１１の撮像により得られた入力画像データと撮像前に予め用意された付着物のない同じ撮像領域の基準背景画像データとから、予め設定された補正ポイント（同一の画素）の輝度値について両者の差を求め、照明変動輝度補正値を算出する照明変動輝度補正値算出部としての処理を行う。
▲３▼情報処理手段３０のＣＰＵ３１は、ＲＯＭ３２に格納されたプログラムに従い、区分設定部としての処理により決定された領域の範囲内において基準背景画像データと入力画像データとを差分（各画素毎の輝度値の差を求める）する差分処理部と、差分時に上記照明変動輝度補正値を用いて補正を行い、差分画像データを生成する差分補正部としての処理を行い、さらに所定の閾値と比較して差分画像データを２値化処理する。
▲４▼情報処理手段３０のＣＰＵ３１は、ＲＯＭ３２に格納されたプログラムに従い、▲２▼▲３▼と同様の処理で新たな差分画像データを取得すると共に初回の差分画像データと比較する処理を繰り返し、無変化の状態が所定回数繰り返される領域を停止物と判断する停止判定部としての処理を行う。
▲５▼情報処理手段３０のＣＰＵ３１は、ＲＯＭ３２に格納されたプログラムに従い、予め設定された側壁１０３の壁面に接触しているか否かにより停止物が付着物であるかを判定する付着判定部としての処理を行う。
▲６▼情報処理手段３０のＣＰＵ３１は、ＲＯＭ３２に格納されたプログラムに従い、付着物とされる領域に対し、それが所定の大きさ以上であるかを判定するサイズ判定部としての処理を行う。
【００３０】
上記▲１▼〜▲６▼の処理について図４及び図５を用いてさらに補説を行う。図４は監視装置１０による処理に基づく表示例であり、図５は▲２▼による照明変動輝度補正値に基づく補正を行わないで処理を行った比較例による表示例である。なお、これら図４，５にあっては左右に位置する内側ミラー１３は図示されているが上下に位置する内側ミラー１３の図示は省略されている。
【００３１】
まず、上記▲１▼の処理について補説する。付着物の検出を行うためには、カメラ１１の撮像範囲の中で、内側ミラー１３に相当する領域のみを対象として物体抽出を行えば十分であるため、予め各内側ミラー１３に相当する領域を入力手段１４により入力し、これを情報処理手段３０はＲＡＭ３３内に記憶保持する。
図４（ａ）は入力画像データに基づく撮像領域全体が現れている入力画像であり、図４（ｂ）は上記処理に基づいて物体抽出を行う領域のみ現れている入力画像である。
【００３２】
上記▲２▼の処理について補説する。▲３▼の処理では、基準背景画像データと入力画像データとの差を求めれば撮像領域内に状態変化（例えば付着物の出現）を生じたことが分かるため、これらの画像データの差分画像データの生成を行っている。しかしながら、各画像データは各画素の輝度値の集合であることから、撮像領域内で照明状態に変化を生じた場合には、当該変化が全て基準背景画像データと入力画像データとの差として差分画像データに現れることとなる。このような照明状態変化の影響を抑制するために、予め設定された補正ポイントにおける輝度値の変化を撮像領域内の全体的な変化と仮定して、照明変動輝度補正値の算出を行っている。即ち、
（照明変動輝度補正値）＝（入力画像データの補正ポイントにおける輝度値）−（基準背景画像の補正ポイントにおける輝度値）
により算出される。
【００３３】
補正ポイントの選定の条件としては、撮像領域内において抽出すべき対象物が出現し得ない領域であって撮像領域内で移動や振動により位置変化を生じない領域であることが望ましい。例えば、▲１▼の処理において、物体抽出を行う領域から除かれた範囲内（図４（ｂ）の斜線の領域）であることが望ましい。
また、その他の条件としては、監視装置１０のように、撮像領域が照明光源により光照射されている場合には、当該照明光によりほぼ飽和状態にある領域を選定することが望ましい。具体的には、図４（ａ）に示す照明手段２０の環状蛍光灯２１の内側中心領域内を選択することが望ましい。同領域内に示した符号Ｐが補正ポイントである。かかる環状蛍光灯２１は白色光を発光し、内側中心領域は照射光の色彩と一致する白色の平面領域である。このような場所では、照明光の色彩と一致すると共に直接照射を受ける領域は照明が飽和状態であり、その輝度値も最大となる（輝度値＝２５５）。このような領域は、撮像領域全体の支配的に照射する光源の影響を大きく受け、その照明状態に変化が生じた場合に忠実に変化するため、照明変動輝度補正値を得るために好適である。
また、照明変動輝度補正値に偏りが生じないように、補正ポイントを複数選択することが望ましい。その場合、各補正ポイントの照明変動輝度補正値を平均化した値が正規の照明変動輝度補正値として▲３▼の処理に使用される。
【００３４】
情報処理手段３０は、撮像を行う前に予め入力装置１４からの補正ポイントの設定入力を受け付け、入力に基づいて補正ポイント位置データを生成し、ＲＡＭ３３に記憶する。例えば、その設定入力は、基準背景画像データによりモニタ出力された基準背景画像を参照しつつ、ポインタにより指定しても良いし、画面上の座標値を入力しても良い。
【００３５】
上記▲３▼の処理について補説する。基準背景画像データ及び入力画像データは、いずれも撮像領域平面を構成する無数の画素毎の輝度値により構成されている。また、カメラ１１はカラーに対応するものであることから、双方の画像データは各画素毎にＲ（赤）Ｇ（緑）Ｂ（青）の各色毎の輝度値を備えている。一方、差分画像データは各色毎の輝度値を備えるデータとしても良いが、物体抽出が可能であればあえて各色毎の輝度値を備えるデータとする必要もないので、基準背景画像データ及び入力画像データについては、差分処理の前に各色毎に重み付けがされた単一色の画像データに変換される。即ち、明色がより輝度値が高くなることを前提として、Ｒ（赤）の輝度値×０．３＋Ｇ（緑）の輝度値×０．６＋Ｂ（青）の輝度値×０．１により算出した値を各画素の輝度値として各画像データの変換が差分前に行われる。
即ち、情報処理手段３０が差分処理部としての処理を行う場合には、上記変換を予め行うと共に変換された基準背景画像データ及び入力画像データが画像メモリ３５に記憶され。さらに、次式に従い差分画像データが生成され画像メモリ３５に記憶される。
（差分画像データ）＝（入力画像データ）−（基準背景画像データ）
【００３６】
一方、情報処理手段３０が差分補正部としての処理を行う場合には、差分処理部で生成された差分画像データに対して、その各画素毎の輝度値から▲２▼の処理で算出された照明変動輝度補正値を減じ、さらに２値化処理して正式な差分画像データを生成すると共に画像メモリ３５内の差分画像データを補正後のものに更新する。
このようにして得られた差分画像データ中には、照明状態の変化による輝度値の変化の影響が抑制されると共に、基準背景画像データと比較して撮像時に新たに出現した物体や移動により状態変化を生じた物体が画像データとして含まれることとなる。
【００３７】
ここで、照明変動輝度補正値を用いて差分画像データを求めた場合の差分画像に対する効用について説明する。図４（ａ），図５（ａ）はいずれも入力画像であり、各図中の符号Ｓ１〜Ｓ３は、撮像時に出現した物体を示している。そして、図４（ｂ）は照明変動輝度補正値による補正を行った差分画像であり、図５（ｂ）は補正しない差分画像である。図４（ａ）は照明状態の変化が抑制されることで、出現した物体Ｓ１〜３がほぼ忠実に物体像Ｓ１’〜Ｓ３’として現れているが、図５（ａ）では照明状態の変化の影響を受けて物体Ｓ２，３がつながって拡大された像Ｓ２’となり、そのほかノイズ像Ｓ４’が現れてしまっている。つまり、照明変動輝度補正値による補正を行うことで、差分画像により物体を精度良く抽出することが可能であることが分かる。
【００３８】
上記▲４▼の処理について補説する。情報処理手段３０が停止判断部としての処理を行う場合には、まず、初回の撮像が行われてから計時回路３８により所定のタイミングを計り、再度撮像を行うようにカメラ１１の動作制御が行われる。そして、▲２▼▲３▼を同じ処理により新たな差分画像データを生成すると共にこれを画像メモリ３５に記録する。そして、この新たな差分画像データを初回撮像時の差分画像データと比較する。これにより、「変化なし」とされる領域がある場合には当該領域の位置データをＲＡＭ３３に記録し、さらに新たな撮像を行うと共にその差分画像データを生成する。そして、当該差分画像データと初回の差分画像データとを比較して「変化なし」とされる領域を求めると共に、前回の「変化なし」とされる領域と比較して重複する領域の位置データのみをＲＡＭ３３に記憶する。そして、これを所定回数繰り返すことにより、全回の撮像を通じて「変化なし」とされる領域について停止物領域としてその位置データをＲＡＭ３３に記録する。
【００３９】
上記▲５▼の処理について補説する。前述したように、各内側ミラー１３にはシュート１００の本体部の側壁１０３は線状に映し出された状態で撮像が行われる。
情報処理手段３０は、撮像を行う前に予め入力装置１４によって線状に映し出される側壁１０３の位置についての設定入力を受け付け、入力に基づいて側壁位置データを生成し、ＲＡＭ３３に記憶する。
そして、▲４▼の処理により停止物領域の位置データが生成されると、側壁位置データを参照しつつ停止物体が側壁に接触しているか否かを判定する。さらに、接触しているとの判定がされると、その停止物は付着物であるとの特定がされ、停止物領域の位置データは新たに付着物領域の位置データとしてＲＡＭ３３に記録される。
【００４０】
上記▲６▼の処理について補説する。▲５▼の処理により付着物領域の位置データが生成されると、かかる位置データを参照して、画素が互いに隣接した状態で集まる領域を１ブロックとして、当該１ブロックの画素数からそのブロックの大きさが判定される。即ち、予め設定された画素数以上であるかを判定し、規定の画素数を超える場合には、これに基づく警告表示データが生成されると共に図４（ｃ）に示すように、付着物発生の警告をモニタ１５により表示させる。
なお、図５（ｃ）は図５（ｂ）の差分画像データに基づいてサイズ判定が行われた場合の警告表示を示している。かかる警告表示では、差分画像データの生成時点でその物体抽出精度が不十分であったため、付着物ではない物体Ｓ２，Ｓ３が付着物Ｓ２’であると誤判定され、その旨の警告表示が行われている。
【００４１】
（監視装置１０の動作説明）
上記構成からなる監視装置１０の動作説明を図６に基づいて行う。図６は情報処理手段３０による処理に従った監視装置１０のフローチャートである。なお、以下の動作説明にあっては、予め基準背景画像データが取得され、各補正ポイント及び側壁１０３の位置の設定入力は既に行われているものとする。
【００４２】
まず、カメラ１１でその撮像領域の撮像を行うと、画像入力インターフェース３４を介して入力画像データが画像メモリ３５に記録される（ステップＳ１）。そして、照明変動輝度補正値算出部としての処理により、各補正ポイントにおいて記録された入力画像データの輝度値と基準背景画像データの輝度値の差分を求め、各差分を平均化し、単一の照明変動輝度補正値を特定しＲＡＭ３３に記録する（ステップＳ２）。
【００４３】
次に、情報処理手段３０では、画像メモリ３５内の基準背景画像データと入力画像データを参照して比較し（ステップＳ３）、差分処理部としての処理を行い、入力画像データに対して基準背景画像データの差分を求める。そして、かかる差分処理の際に、差分補正部としての処理も行われ、入力画像データと基準背景画像データとの差分データにさらに照明変動輝度補正値による補正処理と２値化処理が実行され、上記各処理により基準背景画像に対する変化領域が抽出された差分画像データを作成する（ステップＳ４）。そして、この差分画像データと抽出作業開始からの時間とを対応付けてＲＡＭ３３に記憶させる（ステップＳ５）。
【００４４】
次に、情報処理手段３０は停止判定部としての処理を行う。即ち、カメラ１１により撮像を行い、新たな入力画像データを取得して画像メモリ３５に記録する（ステップＳ６）。そして、初回の撮像時と同様にして、新たな入力画像データと基準背景画像データとから新たな照明変動輝度補正値を算出し（ステップＳ７）、基準背景画像データと新たな入力画像データと比較する（ステップＳ８）。さらに、これら画像データの差分処理及び新たな照明変動輝度補正値による補正処理と２値化処理を実行して変化領域を抽出し（ステップＳ９）、これにより得られた新たな差分画像データ及び抽出作業開始からの時間とを対応付けて画像メモリ３５に記憶させる（ステップＳ１０）。この時、ステップＳ５において、既に画像メモリ３５に記憶されている差分画像データと別個に記憶させる。
【００４５】
さらに、情報処理手段３０は、初回の撮像による差分画像データと新たな差分画像データとを比較し、初回の撮影時から変化を生じているか否かが判定される（ステップＳ１１）。
ここで、二つの差分画像データに無変化領域が存在すると判定されると（ステップＳ１１；ＹＥＳ）、情報処理手段３０は、カウンタ値ｎを加算し（ステップＳ１２）、カウンタ値ｎが所定値以上であるか否かを判断する（ステップＳ１３）。
そして、情報処理手段３０が、カウンタ値ｎが所定値以上ではないと判断した場合（ステップＳ１３；ＮＯ）、ステップＳ６に戻り、また新たな撮像が行われると共に差分画像データが生成され（ステップＳ７〜１０）、無変化領域が未だ存在して初回の撮像時から未だ無変化であるか否かが判定される（ステップＳ１１）。
そして、情報処理手段３０が、カウンタ値ｎが所定値以上であると判断すると（ステップＳ１３；ＹＥＳ）、情報処理手段３０は、廃棄物たる搬送物中に停止物が存在しているとの判断が確定する（ステップＳ１４）。
【００４６】
一方、二つの差分画像データに無変化領域が存在しない場合（ステップＳ１１；ＮＯ）、情報処理手段３０は、廃棄物が動いていると判断し（ステップＳ１５）、カウンタ値ｎをクリアして、再度、ステップＳ１に戻る。
【００４７】
次に、情報処理手段３０が、廃棄物中に停止物が存在すると判断した後、付着判定部としての処理が行われる。即ち、停止物とされる領域が、シュート１００の側壁１０３に接しているか否かが判定される（ステップＳ１６）。
【００４８】
そして、情報処理手段３０が、停止物領域内がシュート１００の側壁１０３と接触している判定した場合（ステップＳ１６；ＹＥＳ）、停止物領域は付着物領域であると判断する（ステップＳ１７）。一方、停止物領域内がシュート１００の側壁１０３と接触していないと判定した場合（ステップＳ１６；ＮＯ）、情報処理手段３０は、停止物領域は付着物ではないと判断し（ステップＳ１８）、カウンタ値ｎをクリアして、再度、ステップＳ１に戻る。
【００４９】
次いで、情報処理手段３０が、停止物領域が付着物領域であると判断すると、付着物領域が所定面積以上であるか否かを判断する（ステップＳ１９）。そして、情報処理手段３０が、付着物領域が所定面積以上であると判断した場合（ステップＳ１９；ＹＥＳ）、付着物がシュート１００内の廃棄物の流動の異常の原因となると判断する（ステップＳ２０）。これにより、情報処理手段３０は、図４（ｃ）に示す異常警告をモニタ表示させる。一方、付着物領域が所定面積未満であると判断した場合（ステップＳ１９；ＮＯ）、カウンタ値ｎをクリアして、再度、ステップＳ１に戻る。
【００５０】
（監視装置の効果）
以上のように、監視装置１０の情報処理手段３０は、付着物の検出を行うべく基準背景画像データと入力画像データとの差分画像データを作成する際に、所定の補正ポイントから求まる照明変動輝度補正値に基づいて差分画像に補正を行うことから、基準背景画像と入力画像との間の照明状態の変化による影響を有効に低減し、ノイズの影響を十分に低減した差分画像を得ることができる。このため、照明状態の変化を生じる環境下で精度の高い付着物の抽出を行うことが可能となる。
また、照明変動による補正を行なうので、閾値の変更を不要とし、より精度の高い付着物の抽出を行うことが可能となると共に、その処理時間の短縮化及び処理の簡易化を図ることが可能となる。
【００５１】
（その他）
なお、本発明は前記実施の形態に限定されるものではない。例えば、監視装置１０は、プラントのシュート１００に取り付けられるものに限らず、搬送コンベア、搬送ダクト等の設備に設けることができる。
【００５２】
また、上記情報処理手段３０では、処理の開始前に基準背景画像データを予め取得して、その後更新することはなかったが、図６におけるステップＳ１の工程前或いはステップＳ１５，Ｓ１８，Ｓ１９のいずれかの工程の後であってステップＳ１の工程前に撮像を行い更新する処理を行っても良い。
【００５３】
また、補正ポイントの設定は、予め入力装置１４により行う構成としたが、このような設定は行わず、情報処理手段３０が、基準背景画像データ或いは入力画像データの中で最も輝度値が高い数値を示したものから順番に上位所定数の画素位置を補正ポイントに決定する補正ポイント決定部としての処理を行うように構成しても良い。
なお、その場合、区分設定部としての処理により決定された物体抽出を行う領域以外から補正ポイントを選出する制限を加えることがより望ましい。
【００５４】
また、上記監視装置１０は照明手段２０を備えているが、仮にこれを備えていない場合にあっては、補正ポイントを撮像領域内の暗色系の色彩の領域に設定することが望ましい。例えば、図４（ａ）に示す符号１６は、その平板面が暗色系の色彩を付された暗色平板である。撮像前に予め補正ポイントを設定入力する際には、この暗色平板位置を指定入力すれば良い。暗色は輝度値が低くなる傾向にあり、撮像領域を支配的に照射する照明手段が存在しない場合には、輝度値の変動が大きい明色系の領域よりも輝度値が安定する暗色系の領域が望ましく、これにより、物体抽出の精度を高く維持することが可能である。
なお、かかる場合にも、区分設定部としての処理により決定された物体抽出を行う領域以外から補正ポイントを選出することがより望ましいのは、同様である。
【００５５】
また、上記照明手段が存在しない場合にあっても、補正ポイントの設定は予め入力装置１４により行う構成に限る必要はない。例えば、情報処理手段３０が、基準背景画像データ或いは入力画像データの中で最も輝度値が低い数値を示したものから順番に所定数の低輝度画素位置を補正ポイントに決定する第二の補正ポイント決定部としての処理を行うように構成しても良い。
なお、かかる場合にも、区分設定部としての処理により決定された物体抽出を行う領域以外から補正ポイントを選出する制限を加えることがより望ましい。
【００５６】
【発明の効果】
請求項１記載の発明では、基準背景画像と入力画像の同一位置に設定された補正ポイントから求まる照明変動輝度補正値に基づいて差分画像に補正を行うことから、基準背景画像と入力画像との間の照明状態の変化による影響を有効に低減し、ノイズの影響を十分に低減した差分画像を得ることができる。従って、照明状態の変化を生じる環境下であっても精度の高い物体抽出を行うことが可能となる。
また、かかる差分画像を取得できることから、精度の高い物体抽出を行うことが可能となる。
さらに、従来のように抽出する対象物の大きさにより設定すべき閾値が変動することもないので、対象物の大小にかかわらず抽出精度の向上を図ることが可能となる。
【００５７】
請求項２記載の発明では、撮像領域内で対象物が出現し得ないことが予め分かっている領域に補正ポイントを設定することにより、入力画像の補正ポイントに対象物が出現することで照明変動輝度補正値が変動する可能性を排除し、これによって、補正による物体抽出精度をより高く維持することを可能としている。
【００５８】
請求項３記載の発明は、飽和状態領域に補正ポイントを設定するため、照明光源が存在する撮像領域全体の照明状態の変化により効果的に対応することができ、当該照明状態の変化をより有効に低減することが可能となる。従って、より高い精度で物体抽出を行うことが可能となる。
【００５９】
請求項４記載の発明では、暗色系色彩領域に補正ポイントを設定するため、照明光源が存在しない環境下において、他の照明状態の変化しやすい一部の領域による影響を低減し、撮像領域全体の照明状態の変化により効果的に対応することができ、当該照明状態の変化を有効に低減することが可能となる。従って、より高い精度で物体抽出を行うことが可能となる。
【００６０】
請求項５記載の発明では、補正ポイントを複数設定することから複数の照明変動輝度補正値を取得することができ、極端な照明状態の変化を示した撮像領域内の一部の領域の影響を低減し、撮像領域全体の照明状態の変化により効果的に対応することができ、当該照明状態の変化を有効に低減することが可能となる。従って、より高い精度で物体抽出を行うことが可能となる。
【００６１】
請求項６記載の発明は、高輝度位置を補正ポイントに設定するため、特に照明光源が存在する撮像領域全体の照明状態の変化により効果的に対応することができ、当該照明状態の変化をより有効に低減することが可能となる。従って、より高い精度で物体抽出を行うことが可能となる。
【００６２】
請求項７記載の発明では、低輝度位置に補正ポイントを設定するため、特に照明光源が存在しない環境下において、他の照明状態の変化しやすい一部の領域による影響を低減し、撮像領域全体の照明状態の変化により効果的に対応することができ、当該照明状態の変化を有効に低減することが可能となる。従って、より高い精度で物体抽出を行うことが可能となる。
【００６３】
請求項８記載の発明では、撮像領域の各位置に点在する補正ポイントから取得される照明変動輝度補正値が平均化されることとなるので、撮像領域全体の照明状態の変化により忠実に対応することができ、当該照明状態の変化を有効に低減することが可能となる。従って、より高い精度で物体抽出を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態における搬送装置の監視装置の斜視図である。
【図２】図１に開示されたシュート及び監視装置の垂直面に沿った断面図である。
【図３】監視装置の制御系を示すブロック図である。
【図４】実施形態による処理に基づく表示例であり、図４（ａ）は入力画像データに基づく撮像領域全体が現れている入力画像を示し、図４（ｂ）は照明変動輝度補正値による補正を行った差分画像を示し、図４（ｃ）は付着物発生の警告の表示例を示す。
【図５】照明変動輝度補正値に基づく補正を行わないで処理を行った比較例による表示例であり、図５（ａ）は入力画像データに基づく撮像領域全体が現れている入力画像を示し、図５（ｂ）は照明変動輝度補正値による補正をしない差分画像を示し、図５（ｃ）は付着物発生の誤認識に基づく警告の表示例を示す。
【図６】情報処理手段の処理に基づく監視装置の動作を示すフローチャートである。
【符号の説明】
１０監視装置
１１カメラ（撮像装置）
１６暗色平板
２０照明手段
３０情報処理手段
１００シュート

Claims

同じ背景を撮像領域とする撮像装置による入力画像と既存の基準背景画像とを各画素の輝度値について差分することで得られる差分画像から前記入力画像に含まれる抽出対象物を抽出する物体抽出方法であって、
前記基準背景画像と入力画像とについて同一位置に補正ポイントを設定すると共に基準画像の前記補正ポイントの輝度値と入力画像の前記補正ポイントの輝度値との差から求まる照明変動輝度補正値により前記差分画像に補正を行うことを特徴とする撮像による物体抽出方法。
前記撮像領域の中で前記抽出対象物が出現しないことが既知の領域に前記補正ポイントを設定することを特徴とする請求項１記載の撮像による物体抽出方法。
前記撮像領域の中で照明光により飽和状態にある領域に前記補正ポイントを設定することを特徴とする請求項１又は２記載の撮像による物体抽出方法。
前記撮像領域の中で暗色系の色彩の領域に前記補正ポイントを設定することを特徴とする請求項１又は２記載の撮像による物体抽出方法。
前記補正ポイントを複数設定することを特徴とする請求項１，２，３又は４記載の撮像による物体抽出方法。
前記撮像領域の中で最も輝度値が高い画素から順番に複数の前記補正ポイントを設定することを特徴とする請求項１又は２記載の撮像による物体抽出方法。
前記撮像領域の中で最も輝度値が低い画素から順番に複数の前記補正ポイントを設定することを特徴とする請求項１又は２記載の撮像による物体抽出方法。
前記複数の補正ポイント毎に求められた照明変動輝度補正値の平均値により前記差分画像に補正を行うことを特徴とする請求項５，６又は７記載の撮像による物体抽出方法。