JP2002032746A - 画像処理装置および画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】装置本体の稼働率を向上させたステレオ方式の
画像処理装置を提供する。 【解決手段】画像処理装置１は、本体に接続されている
カメラ２Ａ、２Ｂから入力される撮像信号を処理して、
２台のカメラ２Ａ、２Ｂについてそれぞれ障害が発生し
ていないかどうか監視する。２台のカメラ２Ａ、２Ｂに
おいて障害が発生していなければ、これらのカメラ２
Ａ、２Ｂから入力された２つの撮像信号を処理して作成
した３次元情報を基に観測位置における物体を認識す
る。一方のカメラ２Ａまたは２Ｂでのみ障害が発生して
いるときには、障害が発生していないカメラ２Ａまたは
２Ｂから入力された撮像信号を処理して作成した２次元
情報を基に観測位置における物体を認識する。これによ
り装置本体の稼働率が向上できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、カメラ等の撮像
装置で撮像した観測位置の撮像画像を処理して、該観測
位置に存在する物体を認識する画像処理装置および画像
処理方法に関する。

【０００２】

【従来の技術】従来、道路の上方に設置したカメラで道
路上の特定の位置（以下、観測位置と言う。）を撮像し
た撮像画像を処理して、上記観測位置における物体、特
に車両を認識することができる画像処理装置があった。

【０００３】例えば、予め車両が存在していないときに
撮像した観測位置の撮像画像を背景画像として記憶して
おき、この背景画像と上記カメラで撮像した撮像画像と
の差分を観測位置における車両に関わる画像として抽出
し、その抽出結果を順次追跡することで、観測位置にお
ける車両を認識するものがあった。また、上記背景画像
を記憶するのではなく、最新の画像から１段階前に取り
込んだ画像を差し引くことで観測位置における車両の位
置の変化を抽出し、この抽出結果から観測位置における
車両を認識するものもあった。

【０００４】上記装置を利用することで、観測位置にお
ける車両の台数や速度等の交通データや渋滞や事故等の
発生をすばやく検知することができ、この観測位置につ
ながる道路に設けた案内板等に渋滞情報や事故情報等を
表示して、観測位置に向かっている人に渋滞や事故の発
生を知らせて迂回させることができる。

【０００５】ところが、観測位置の状態が同じであって
も、昼、夜、晴天時、雨天時など、観測位置の環境の変
化により、カメラで撮像された撮像画像が変化するた
め、装置本体に背景画像を環境毎に記憶させておかなけ
ればならない。一方、背景画像が必要な環境を全て想定
して装置本体に記憶させておくことや、観測位置の環境
の変化に応じて利用する背景画像を変更することには限
界があった。また、上記装置では観測位置において走行
している車両の影や、風で揺れる木の影など、路面上を
動く影、夜間のライトの反射光や、濡れた路面に写った
車両等、路面上の変化が車両や物体として認識されてし
まうという問題もあった。

【０００６】そこで上記問題を解決し、物体の認識精度
を向上させる技術として、観測位置の情報を３次元情報
として処理する装置が提案された（特開平９−３３２３
２号）。この装置は、複数（２台）のカメラで観測位置
を撮像し、各カメラの撮像画像から特徴部分を抽出し、
撮像画像間における特徴部分を対応付けることで、この
特徴部分の３次元座標を得るものであり、高精度で車両
等の物体が検出できる。なお、この装置は特徴部分の３
次元座標を三角測距の原理を利用して得ており、一般に
ステレオ方式と呼ばれている。

【０００７】

【発明が解決しようとする課題】しかしながら、上記ス
テレオ方式では、一方のカメラにおいて以下に示す〜
の障害が発生すると装置本体がダウンするため、装置
本体の稼働率が低いという問題があった。 振動や経年変化等によりカメラの光軸ずれ ２つのカメラ間の位置の相関関係（ステレオバラン
ス）の変化 カメラに接続されている映像信号線の断線や接触不良 カメラの撮像レンズやカメラを内蔵した筐体の窓ガラ
スの汚れやくもり なお、上記の障害を検出する技術として、任意のタイ
ミングで得られた撮像画像と予め光軸がずれていない状
態下で得ている撮像画像とを比較する方法や、任意のタ
イミングで得られた撮像画像に対する認識結果と光軸が
ずれていない状態下で得ている撮像画像に対する認識結
果とを比較する方法等が提案されている（特開平１１−
２６１９９３号）。

【０００８】上記の障害を検出する技術として、各カ
メラが正常に機能して観測位置にかかる適正な画像デー
タを生成している場合、各画像データには大きな差異は
生じない。一方、何らかの要因により観測位置の適正な
画像を生成できなくなった場合、このカメラからの画像
データと、他の正常に機能するカメラからの画像データ
とを比較すると、両画像間に大きな差異が生じるので、
各カメラからの撮像画像を相互に比較することで、各カ
メラから適正な撮像画像が出力されているかどうかを判
定することで、上記ステレオバランスの変化を検出する
方法が提案されている（特開平１１−１７７９６４
号）。また、上記２つの公報（特開平１１−２６１９９
３号、特開平１１−１７７９６４号）に記載されている
技術で上記およびの障害が発生しているかどうかの
検出も行える。

【０００９】この発明の目的は、装置本体に撮像画像を
入力しているいずれかの撮像装置において障害が発生し
たとき、装置本体の稼動を停止するのではなく、障害が
発生していない撮像装置から入力された撮像画像を用い
て動作させることで、装置本体の稼働率を向上させた画
像処理装置および画像処理方法を提供することにある。

【００１０】

【課題を解決するための手段】この発明の画像処理装置
は、上記課題を解決するために以下の構成を備えてい
る。

【００１１】（１）異なる位置に配置した複数の撮像装
置で撮像した観測位置の撮像画像が入力される画像入力
部と、上記画像入力部に入力された撮像画像毎に特徴部
分を抽出し、撮像画像間における抽出した特徴部分の対
応付けを行って作成した上記観測位置の３次元情報に基
づいて上記観測位置における物体を認識する第１の物体
認識部と、上記画像入力部に入力された１つの撮像画像
について特徴部分を抽出して作成した上記観測位置の２
次元情報に基づいて上記観測位置における物体を認識す
る第２の物体認識部と、上記画像入力部に撮像画像を入
力している上記撮像装置毎に障害の発生を監視する障害
発生監視部と、を備え、上記第１の物体認識部は、上記
障害発生監視部により障害が発生していない上記撮像装
置が複数存在していることが確認されているときに、こ
れらの障害が発生していない複数の撮像装置から入力さ
れた撮像画像を用いて観測位置における物体を認識する
処理を実行し、上記第２の物体認識部は、上記障害発生
監視部により障害が発生していない上記撮像装置が１つ
だけ存在していることが確認されているときに、この障
害が発生していない１つの撮像装置から入力された撮像
画像を用いて観測位置における物体を認識する処理を実
行する。

【００１２】この構成では、異なる位置に配置された複
数の撮像装置による観測位置の撮像画像が画像入力部に
入力されている。第１の物体認識部は、異なる位置に配
置された複数の撮像装置から画像入力部に入力された観
測位置の撮像画像毎に特徴部分を抽出し、撮像画像間に
おいて抽出した特徴部分を対応付けた観測位置の３次元
情報を作成し、この３次元情報を基に観測位置における
物体を認識する。また、第２の物体認識部は画像入力部
に入力されている観測位置の１つの撮像画像について特
徴部分を抽出し、ここで抽出した特徴部分を用いて作成
した観測位置の２次元情報を基に観測位置における物体
を認識する。

【００１３】障害発生監視部では、上記画像入力部に撮
像画像を入力している撮像装置毎に障害の発生有無を監
視している。障害が発生していない撮像装置が複数ある
ときには観測位置における物体の認識を上記第１の物体
認識部が行い、障害が発生していない撮像装置が１台で
あれば観測位置における物体の認識を上記第２の物体認
識部が行う。

【００１４】このように、障害が発生していない撮像装
置が１台であるときにも、装置本体を停止させるのでは
なく、第２の物体認識部が障害が発生していない撮像装
置から入力された撮像画像を処理して作成した２次元情
報を基に観測位置における物体の認識を行うようにした
ので、装置本体の稼働率が向上できる。

【００１５】（２）各撮像装置について障害が発生して
いるかどうかを示す監視情報を出力する監視情報出力部
を備えている。

【００１６】この構成では、監視情報出力部により各撮
像装置について障害が発生しているかどうかを示す監視
情報が出力されているので、この監視情報を上位装置に
入力することで、該上位装置に障害が発生している撮像
装置を認識させることができる。

【００１７】（３）上記監視情報出力部は、上記第１の
物体認識部または上記第２の物体認識部のどちらで上記
観測位置における物体を認識しているかを示す情報も出
力する。

【００１８】この構成では上位装置に、観測位置におけ
る物体の認識が上記第１の物体認識部または上記第２の
物体認識部のどちらで行われているかを認識させること
ができる。

【００１９】（４）上記障害発生監視部は、上記画像入
力部に入力された撮像画像から該撮像画像を撮像した撮
像装置に障害が発生しているかどうかを判定する。

【００２０】この構成では、撮像装置毎に該撮像装置で
撮像した撮像画像を用いて障害の発生有無が判定され
る。

【００２１】なお、請求項５に記載した画像処理方法は
請求項１に記載した画像処理装置に対応する方法の発明
である。

【００２２】

【発明の実施の形態】図１は、この発明の実施形態であ
る画像処理装置を適用した交通管制システムの構成を示
す図である。この実施形態の交通管制システムは、図１
に示すように複数の交差点に画像処理装置１が設置され
ている。各画像処理装置１には、異なる位置に配置され
た２台のカメラ２（２Ａ、２Ｂ）によって撮像された観
測位置（交差点等）の撮像画像が入力されている。各画
像処理装置１は、２台のカメラ２から入力された観測位
置の撮像画像を処理し、該観測位置における車両の台
数、速度、車種、車間距離、路車間距離等の交通データ
等を交通管制センタに設けられた上位装置３に伝送して
いる。上位装置３は、複数の画像処理装置１から伝送さ
れてきた交通データを用いて、複数の交差点にわたる渋
滞のレベル等を総合的に判断し、この判断結果を交通情
報として路側等に設置されている情報板４や信号機（不
図示）の動作を制御する交通信号機制御装置５に送信す
る。情報板４は上位装置３から伝送されてきた交通情報
に基づく表示を行い、交通信号機制御装置５は上位装置
３から伝送されてきた交通情報や本画像処理装置の交通
データに基づいて信号機の点灯を制御する。

【００２３】この交通管制システムでは、渋滞や事故の
発生等を含む交通情報が情報板４に表示されるので、事
前にドライバに交通情報（渋滞や事故の発生等）を認識
させて迂回させることができる。また、信号機の点灯制
御も交通情報に基づいて行われているので交差点等にお
ける交通制御が適正に行われ、渋滞の発生防止と渋滞が
解消されるまでに要する時間も短縮できる。

【００２４】図２は、この発明の一実施形態である画像
処理装置の構成を示すブロック図である。この実施形態
の画像処理装置１には、上述したように異なる位置に配
置した２台のカメラ２Ａ、２Ｂが接続されている。この
２台のカメラ２Ａ、２Ｂによって観測位置が撮像されて
いる。画像処理装置１は、各カメラ２Ａ、２Ｂから入力
された観測位置の撮像画像をＡ／Ｄ変換するＡ／Ｄ変換
部１１Ａ、１１Ｂと、Ａ／Ｄ変換部１１Ａ、１１ＢでＡ
／Ｄ変換された画像データを記憶する画像メモリ１２
Ａ、１２Ｂと、同期信号に映像の情報をのせた複合映像
信号から同期信号を分離する同期分離部１３Ａ、１３Ｂ
と、２台のカメラ２Ａ、２Ｂで撮像された撮像画像を画
像処理して、該観測位置における車両の台数、速度、車
種、車間距離、路車間距離等を交通データとして計測す
る処理や上記２台のカメラ２Ａ、２Ｂにおいて障害が生
じていないかどうかを検出する処理等を実行する画像処
理部１４と、画像処理部１４における処理結果および監
視情報を上位装置３に伝送する出力部１５と、画像処理
部１４で実行する処理プログラムを記憶する実行プログ
ラム格納部１６と、２台のカメラ２Ａ、２Ｂにおいて障
害が生じていないときに画像処理部１４が実行するステ
レオ方式の処理プログラムを記憶したステレオ用プログ
ラム格納部１７と、２台のカメラ２Ａ、２Ｂのいずれか
一方に障害が生じているときに（他方のカメラ２Ａまた
は２Ｂのいずれか一方が正常であるときに）画像処理部
１４が実行する単眼方式の処理プログラムを記憶した単
眼用プログラム格納部１８と、を備えている。ステレオ
方式とは、周知のように２台のカメラ２Ａ、２Ｂが撮像
した観測位置の撮像画像毎に特徴部分を抽出し、撮像画
像間において特徴部分を対応付けて観測位置の３次元座
標を得る方式であり、観測位置における車両等の物体を
高精度で検出できる。なお、この方式では特徴部分の３
次元座標を三角測距の原理を利用して得ている。

【００２５】ここで、上記複合映像信号について説明す
る。複合映像信号とは同期信号に映像の情報をのせた信
号であり、一般的なテレビでも利用されている信号であ
る。同期信号には、水平同期信号および垂直同期信号が
ある。画面の右端まで水平方向の走査が完了したときに
走査位置を左端に戻すときに同期をとる信号が水平同期
信号であり、画面の下端まで垂直方向の走査が完了した
ときに走査位置を上端に戻すときに同期をとる信号が垂
直同期信号である。なお、垂直方向の走査を奇数列と偶
数列に分けて交互に走査することで、１画面を２回の走
査に分けて表示するインタレース方式という走査方式も
ある。同期分離部１３Ａ、１３Ｂは、上記複合映像信号
から同期信号（垂直同期信号および水平同期信号）を分
離する機能を有する。

【００２６】複合映像信号から同期信号を分離する機能
を備えたＩＣとして、Ｎａｔｉｏｎａｌ Ｓｅｍｉｃｏ
ｎｄｕｃｔｏｒ社のＬＭ１８８１などがある。このＬＭ
１８８１は、入力された複合映像信号を処理して、複
合同期信号、垂直同期信号、フィールドインデクス
信号、バーストゲート／バックポーチクランプを出力
する。フィールドインデクス信号（ＦＩ信号）とは、イ
ンタレース走査において奇数フィールドと偶数フィール
ドとを分離する信号であり、奇数フィールドのときにオ
ン、偶数フィールドのときにオフとなる信号である。ま
た、バーストゲート／バックポーチクランプとは、同期
信号のバックポーチの部分（水平同期信号の後の部分）
でパルスが出力される。バックポーチには、カラー信号
の基準となるカラーバースト信号が付加されており、こ
のカラーバースト信号の電圧値（一般にペデスタルレベ
ルと呼ばれている。）が輝度の基準となる。

【００２７】次に、画像処理部１４が観測位置の撮像画
像を入力している２台のカメラ２Ａ、２Ｂについて以下
に示す〜の障害が発生していないかどうかを検出す
る手法について説明する。

【００２８】まず、最初に、 振動や経年変化等によるカメラ２Ａ、２Ｂの光軸のず
れ 画像処理部１４には、カメラ２Ａ、２Ｂ毎に該カメラ２
Ａ、２Ｂの設置時に撮像した撮像画像を処理して、この
撮像画像内に位置する動かない目標物、例えば道路標
識、看板、白線、ガードレール、について抽出した１種
類以上の特徴量（例えば、形状、撮像画像における位
置）が記憶されている。画像処理部１４は、動作時にカ
メラ２Ａ、２Ｂから入力された画像から上記目標物の特
徴量を抽出し、ここで抽出した特徴量と設置時に抽出し
て記憶している特徴量とがずれているときに、光軸のず
れが生じていると判定する。

【００２９】また、画像処理部１４は、カメラ２Ａ、２
Ｂの設置時にこの２台のカメラで撮像した撮像画像を処
理して、この撮像画像内に位置する動かない目標物、例
えば道路標識、看板、白線、ガードレール、までの距離
や座標を抽出し、この距離や座標を特徴量として記憶し
ている。画像処理部１４は、動作時にカメラ２Ａ、２Ｂ
から入力された画像から上記目標物までの距離や座標を
抽出し、ここで抽出した距離や座標と設置時に抽出して
記憶している目標物までの距離や座標とがずれていると
きに、２台のカメラ２Ａ、２Ｂの相対的な位置関係（ス
テレオバランス）がずれていると判定する。

【００３０】カメラに接続されている映像信号線の断
線や接触不良 画像処理部１４は、同期分離部１３Ａ、１３Ｂから入力
されるフィールドインデクス信号（ＦＩ信号）を監視し
ており、このフィールドインデクス信号の状態からカメ
ラ２Ａ、２Ｂに接続されている映像信号線の断線や接触
不良が生じているかどうかを判定する。具体的な判定方
法について以下に示す。カメラに接続されている映像信
号線の断線や接触不良が生じていないときには、画像処
理部１４には図３（Ａ）に示すように周期的にオン／オ
フを繰り返すフィールドインデクス信号が入力される。
一方、カメラに接続されている映像信号線の断線や接触
不良が生じていると、画像処理部１４には図３（Ｂ）に
示すように信号が入力されなかったり、図３（Ｃ）に示
すようにオン／オフの周期が乱れたフィールドインデク
ス信号が入力される。画像処理部１４は、周期的にオン
／オフを繰り返すフィールドインデクス信号が乱れたと
きに、カメラ２Ａ、２Ｂに接続されている映像信号線の
断線や接触不良が生じていると判定する。

【００３１】カメラの撮像レンズやカメラを内蔵した
筐体の窓ガラスの汚れやくもり 画像処理部１４は、２台のカメラ２Ａ、２Ｂで同タイミ
ングに撮像された画像間の差分を算出し、ここで算出し
た差分が所定値よりも大きいときにカメラの撮像レンズ
について汚れやくもりが生じていると判定する。なお、
上記差分から撮像レンズについて汚れやくもり等が生じ
ているかどうかを判定する技術は、特開平１１−１７７
９６４号等で示されている公知の技術であり、ここでは
詳細な説明を省略する。

【００３２】次に、この発明の実施形態である画像処理
装置１の動作について説明する。図４は、この実施形態
の画像処理装置の動作を示すフローチャートである。画
像処理装置１は、動作を開始すると、最初にステレオ用
プログラム格納部１７に記憶されているステレオ方式用
プログラムを実行プログラム格納部１６にロードする
（ｓ１）。その後、画像処理装置１は接続されている２
台のカメラ２Ａ、２Ｂから入力される撮像画像の処理を
行って、 振動や経年変化等によりカメラの光軸ずれ ２つのカメラ間の位置の相関関係（ステレオバラン
ス）の変化 カメラに接続されている映像信号線の断線や接触不良 カメラの撮像レンズやカメラを内蔵した筐体の窓ガラ
スの汚れやくもり 等の障害が発生しているかどうかを判定する（ｓ２）。

【００３３】画像処理装置１は、ｓ２で接続されている
２台のカメラ２Ａ、２Ｂにおいて障害が発生していなけ
れば、これらのカメラ２Ａ、２Ｂから入力された２つの
撮像画像からそれぞれ特徴部分を抽出し、撮像画像間に
おいて抽出した特徴部分を対応付ける等して、観測位置
の３次元情報を作成し、ここで作成した３次元情報を用
いて観測位置における車両の台数、速度等を検出するス
テレオ処理を実行する（ｓ３）。さらに、ｓ３で実行し
たステレオ処理の処理結果を出力部１５から上位装置３
に伝送する（ｓ４）。

【００３４】上位装置３には、複数の箇所に設置された
画像処理装置１から処理結果が入力されている。上位装
置は、これら複数の処理結果を用いて、総合的に判断し
た複数の交差点にわたる渋滞のレベル等を示す交通情報
を、路側等に設置されている情報板４や信号機の動作を
制御する交通信号機制御装置５に送信する。情報板４は
上位装置３から送信されてきた交通情報を表示し、交通
信号機制御装置５は上位装置３から伝送されてきた交通
情報に基づいて信号機の点灯を制御する。

【００３５】画像処理装置１は、上記ｓ４の処理を完了
すると、上記ｓ２に戻って上述したｓ２〜ｓ４の処理を
繰り返す。

【００３６】ｓ２で、画像処理装置１が撮像画像を入力
している少なくともいずれか一方のカメラ２Ａ、２Ｂに
おいて障害が発生していると判定すると、発生している
障害の内容を上位装置３に通知する（ｓ５）。このと
き、画像処理装置１の出力部１５は障害が発生している
と判定したカメラ２Ａまたは２Ｂを識別する情報も上位
装置に通知する。また、単眼用プログラムで運用の旨も
通知する。

【００３７】次に、画像処理装置１は単眼用プログラム
格納部１８に記憶されている単眼方式用プログラムを実
行プログラム格納部１６にロードする（ｓ６）。ｓ６の
処理は、ｓ１で実行プログラム格納部１６にロードした
ステレオ方式用プログラムに単眼方式用プログラムを上
書きする処理である。画像処理装置１はｓ６の処理を完
了すると、障害が発生していないと判定している一方の
カメラ２Ａまたは２Ｂにおいても障害が発生しているか
どうかを判定する（ｓ７）。ｓ７で、一方のカメラ２Ａ
または２Ｂでは障害が発生していないと判定すると、こ
の障害が発生していないカメラ２Ａまたは２Ｂから入力
された撮像画像から特徴部分を抽出し、ここで抽出した
特徴部分を用いて観測位置の２次元情報を作成し、ここ
で作成した２次元情報を用いて観測位置のおける車両の
台数、速度等の認識処理を単眼処理で実行するととも
に、該単眼処理の処理結果を出力部１５から上位装置３
に伝送する（ｓ８、ｓ９）。

【００３８】画像処理装置１は、上記ｓ９の処理を完了
すると、上記ｓ７に戻って上述したｓ７〜ｓ９の処理を
繰り返す。

【００３９】ｓ７で、障害が発生していないと判定して
いた一方のカメラ２Ａまたは２Ｂにおいても障害が発生
していると判定すると、すなわち２台のカメラ２Ａ、２
Ｂにおいて障害が発生していると判定すると、発生して
いる障害の内容を上位装置３に通知して（ｓ１０）、本
体の動作を停止する。

【００４０】このように、この実施形態の画像処理装置
１では、通常時には異なる位置に配置した２台のカメラ
２Ａ、２Ｂが撮像した観測位置の撮像画像を用いて、観
測位置の３次元情報を作成し、ここで作成した３次元情
報を用いて観測位置における車両の台数、速度等の認識
処理をステレオ処理で実行するようにしているので、観
測位置の車両を精度良く認識できる。

【００４１】また、異なる位置に配置した２台のカメラ
２Ａ、２Ｂの一方に障害が生じたときには、障害が生じ
ていない他方のカメラ２Ａまたは２Ｂで撮像した観測位
置の撮像画像を用いて、観測位置の２次元情報を作成
し、ここで作成した２次元情報を用いて観測位置におけ
る車両の台数、速度等の認識処理を単眼処理で実行する
ようにしているので、装置本体の稼働率の低下を抑える
ことができる。

【００４２】また、異なる位置に配置したカメラ２Ａ、
２Ｂにおいて障害が生じたときには、障害の内容や稼動
状況（２カメラ運用、１カメラ運用等）等を上位装置３
に通知するようにしたので、上位装置３でシステム全体
の管理が行える。

【００４３】次に、この発明の別の実施形態にかかる画
像処理装置１について説明する。図５は、この発明の実
施形態である画像処理装置の構成を示すブロック図であ
る。この図では、図２で示した構成と同一の構成につい
ては同一の符号を付している。また、図２で示した構成
と同一の構成については説明を省略する。この実施形態
の画像処理装置１は、上記実施形態の画像処理装置１に
おける画像処理部１４にかえて、ステレオ方式画像処理
部２１、単眼方式画像処理部２２および障害監視部２３
を設けたものである。ステレオ方式画像処理部２１は上
記実施形態で説明したステレオ処理（図４に示すｓ３の
処理）を実行する構成であり、単眼方式画像処理部２２
は上記実施形態で説明した単眼処理（図４に示すｓ８の
処理）を実行する構成である。障害監視部２３は、上記
実施形態の装置と同様の方法で、カメラ２Ａ、２Ｂにつ
いて障害が生じているかどうかを判定する。さらに、こ
の実施形態の画像処理装置１には撮像画像を画像メモリ
１２Ａ、１２Ｂからステレオ方式画像処理部２１または
単眼方式画像処理部２２のどちらに入力するかを切り換
える切換部２４が設けられている。この切換部２４は障
害監視部２３によって制御される。具体的には、障害監
視部２３は２台のカメラ２Ａ、２Ｂについて両方とも障
害が生じていないと判定すると画像メモリ１２Ａ、１２
Ｂからステレオ方式画像処理部２１に画像データが入力
される接続とし、一方のカメラ２Ａ、２Ｂにおいて障害
が生じていると判定すると画像メモリ１２Ａ、１２Ｂか
ら単眼方式画像処理部２２に画像データが入力される接
続とする。

【００４４】なお、ステレオ方式画像処理部２１は接続
されているステレオ用プログラム格納部１７に格納され
ているステレオ方式の処理プログラムを用いて上記実施
形態で説明したステレオ処理を実行し、単眼方式画像処
理部２２は接続されている単眼用プログラム格納部１８
に格納されている単眼方式の処理プログラムを用いて上
記実施形態で説明した単眼処理を実行する。また、障害
監視部２３は、２台のカメラ２Ａ、２Ｂについて両方と
も障害が生じていないか、いずれか一方で障害が生じて
いるのか、両方で障害が生じているのかをステレオ方式
画像処理部２１および単眼方式画像処理部２２に入力し
ており、ステレオ方式画像処理部２１および単眼方式画
像処理部２２は入力された障害の内容から動作の実行、
停止を制御している。

【００４５】この実施形態の画像処理装置１の動作を図
６に示す。この実施形態の画像処理装置１は、図４に示
したｓ１に換えてｓ１１を実行し、ｓ６に換えてｓ１６
を実行する点で上記実施形態の装置と相違している。ｓ
１１の処理は切換部２４に画像メモリ１２Ａ、１２Ｂを
ステレオ方式画像処理部２１に接続させる処理であり、
ｓ１６の処理は切換部２４に対して画像メモリ１２Ａ、
１２Ｂを単眼方式画像処理部２２に接続させる処理であ
る。

【００４６】この実施形態の画像処理装置１も上記実施
形態の装置と同様の効果を奏する。

【００４７】さらに、図２でのステレオ用プログラム格
納部１７および単眼用プログラム格納部１８を、図７に
示すようにステレオ用および単眼用の１つのプログラム
として格納した実行プログラム格納部３１に置き換えて
もよい。

【００４８】

【発明の効果】以上のように、この発明によれば、通常
時には装置本体に接続されている複数の撮像装置から入
力された撮像画像毎に特徴部分を抽出し、各撮像画像か
ら抽出した特徴部分を撮像画像間で対応付けて、観測位
置の３次元座標を得るステレオ方式により該観測位置に
おける物体の認識が行われる。また、障害が発生してい
ない撮像装置が１台であるときには、装置本体の稼動を
停止させるのではなく、障害が発生していない撮像装置
から入力された撮像画像を処理して作成した２次元情報
を基に観測位置における物体の認識が行われる。したが
って、全ての撮像装置において障害が発生しているとき
以外、装置本体が停止しないので、装置本体の稼働率を
向上させることができる。

【００４９】また、監視情報により上位装置において、
単眼方式に切り替わった時点で保守対策を計画すること
も可能となる。

【図面の簡単な説明】

【図１】この発明の実施形態である画像処理装置を適用
した交通管制システムを示す図である。

【図２】この発明の実施形態である画像処理装置の構成
を示すブロック図である。

【図３】ＦＩフィールドインデクス信号を示す図であ
る。

【図４】この発明の実施形態である画像処理装置の動作
を示すフローチャートである。

【図５】この発明の実施形態である画像処理装置の構成
を示すブロック図である。

【図６】この発明の実施形態である画像処理装置の動作
を示すフローチャートである。

【図７】この発明の実施形態である画像処理装置の構成
を示すブロック図である。

【符号の説明】

１−画像処理装置 ２（２Ａ、２Ｂ）−カメラ ３−上位装置 １４−画像処理部 １５−出力部 １６−実行プログラム格納部 １７−ステレオ用プログラム格納部 １８−単眼用プログラム格納部 ２１−ステレオ方式画像処理部 ２２−単眼方式画像処理部 ２３−障害監視部 ２４−切換部 ３１−実行プログラム格納部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B057 AA06 AA16 AA19 BA02 BA11 CA08 CA12 CA13 CB08 CB12 CB13 CC01 CD14 CH18 DA11 DA16 DB02 DB03 DB09 5C054 CA04 CC03 EA01 FC11 HA26

Claims (5)

【特許請求の範囲】
1. 【請求項１】 異なる位置に配置した複数の撮像装置で
   撮像した観測位置の撮像画像が入力される画像入力部
   と、 上記画像入力部に入力された撮像画像毎に特徴部分を抽
   出し、撮像画像間における抽出した特徴部分の対応付け
   を行って作成した上記観測位置の３次元情報に基づいて
   上記観測位置における物体を認識する第１の物体認識部
   と、 上記画像入力部に入力された１つの撮像画像について特
   徴部分を抽出して作成した上記観測位置の２次元情報に
   基づいて上記観測位置における物体を認識する第２の物
   体認識部と、 上記画像入力部に撮像画像を入力している上記撮像装置
   毎に障害の発生を監視する障害発生監視部と、を備え、 上記第１の物体認識部は、上記障害発生監視部により障
   害が発生していない上記撮像装置が複数存在しているこ
   とが確認されているときに、これらの障害が発生してい
   ない複数の撮像装置から入力された撮像画像を用いて観
   測位置における物体を認識する処理を実行し、 上記第２の物体認識部は、上記障害発生監視部により障
   害が発生していない上記撮像装置が１つだけ存在してい
   ることが確認されているときに、この障害が発生してい
   ない１つの撮像装置から入力された撮像画像を用いて観
   測位置における物体を認識する処理を実行する画像処理
   装置。
2. 【請求項２】 各撮像装置について障害が発生している
   かどうかを示す監視情報を出力する監視情報出力部を備
   えた請求項１に記載の画像処理装置。
3. 【請求項３】 上記監視情報出力部は、上記第１の物体
   認識部または上記第２の物体認識部のどちらで上記観測
   位置における物体を認識しているかを示す情報も出力す
   る請求項２に記載の画像処理装置。
4. 【請求項４】 上記障害発生監視部は、上記画像入力部
   に入力された撮像画像から該撮像画像を撮像した撮像装
   置に障害が発生しているかどうかを判定する請求項１〜
   ３のいずれかに記載の画像処理装置。
5. 【請求項５】 異なる位置に配置された複数の撮像装置
   について、個々に障害が発生しているかどうかを判定
   し、 障害が発生していない撮像装置が複数存在していれば、
   障害が発生していない複数の撮像装置から入力された撮
   像画像毎に抽出した特徴部分の対応付けを行って上記観
   測位置の３次元情報を作成し、該３次元情報に基づいて
   上記観測位置における物体を認識し、 障害が発生していない撮像装置が１つだけ存在していれ
   ば、この障害が発生していない１つの撮像装置から入力
   された撮像画像から上記観測位置の２次元情報を作成
   し、該２次元情報に基づいて上記観測位置における物体
   を認識する画像処理方法。