JP2016207120A - 画像上の移動物体追跡装置 - Google Patents

Abstract

【課題】カメラから入力された画像に写された移動物体を抽出し、画像上の移動を追跡する画像上の移動物体追跡装置であって、ある移動物体（後方物体）が他の移動物体（前方物体）の陰に隠れて消失し、その後、新たな移動物体が出現したときにその移動物体が後方物体と同一であるか否かを正確に判定するため、消失中の後方物体の位置を予測する処理を停止するタイミングを適切に決定できる画像上の移動物体追跡装置を提供すること。【解決手段】後方物体が消失する直前に画像上を占めていた領域と、現時点の前方物体が画像上を占める領域と、の重複が無くなったとき、消失中の後方物体の位置を予測する処理を停止する。【選択図】図３

Description

本発明は、画像上の移動物体が同画像から消失した後、前記画像上に新たに現れた移動物体が消失した移動物体であるか否かを判定する画像上の移動物体追跡装置に関する。

カメラから繰り返し入力される画像（入力画像）上の移動物体を抽出し、抽出された移動物体の入力画像上の移動を追跡する画像監視システム（以下、「従来システム」とも称呼される。）が、特許文献１に記載されている。

従来システムは、最新の入力画像（現在画像）に新たに出現した（抽出された）移動物体、即ち、過去の入力画像（過去画像）に現れていなかった物体、に対して個別の識別番号を新たに付与する。一方、現在画像に現れている移動物体が過去画像にも現れていれば、従来システムは、既に付与された識別番号を現在画像上の移動物体に適用する。

移動物体が他の物体の陰に隠れると、その隠れた移動物体（後方物体）は入力画像から消失する。その場合、従来システムは、後方物体の消失直前の移動方向及び移動速度等に基づいて後方物体の現時点の画像上の位置を予測する。予測された後方物体の画像上の位置は、便宜上「予測位置」とも称呼される。

後方物体が予測位置の近傍に再び現れると、従来システムは、消失する前に後方物体に対して付与されていた識別番号をその再出現した後方物体に適用する。一方、従来システムは、予測位置が入力画像の範囲外に出たとき、或いは、後方物体が消失した後にカメラから入力された画像の数が所定フレーム数（追跡停止フレーム数）に達したとき、後方物体の位置予測を停止する。

特開２００７−３３４６３１号公報

しかしながら、追跡停止フレーム数が適切に設定されていない場合、「前方物体の陰に隠れて消失した後方物体」に類似する移動物体が出現したときに誤認識が発生する虞がある。例えば、追跡停止フレーム数が小さすぎると、後方物体が再出現する前に従来システムがその後方物体の追跡（位置予測）を停止し、その結果、その後方物体が再出現したときに従来システムが新たな移動物体が出現したと誤認する場合が発生し得る。一方、追跡停止フレーム数が大きすぎると、後方物体が消失中に移動速度及び／又は移動方向を変更して予測位置に再出現しなかった場合であっても従来システムが位置予測を継続し、新たに出現した後方物体とは異なる移動物体を後方物体であると誤認する場合が発生し得る。

加えて、多くの場合、入力画像に写された被写体のそれぞれは、画像上の大きさ及び移動速度が互いに異なる。従って、あらゆる画像に共通の適切な追跡停止フレーム数を決定することは困難である。

そこで、本発明の目的の一つは、後方物体の位置予測を停止するタイミングを適切に決定し、以て、後方物体の消失後に新たに移動物体が出現したときに誤認識が発生することを回避できる画像上の移動物体追跡装置を提供することである。

上記目的を達成するための本発明に係る画像上の移動物体追跡装置（以下、「本発明装置」とも称呼される。）は、
画像を撮影し、同画像を出力する撮像装置と、
前記撮像装置から繰り返し入力される画像を処理する処理装置と、
を備えている。

前記処理装置は、物体抽出部、位置予測部、及び、再出現判定部を備えている。
前記物体抽出部は、
前記画像に写された移動物体を抽出する物体抽出処理を実行する。

前記位置予測部は、
前記物体抽出部によって抽出された前記移動物体の内の一つである「後方物体」と、同移動物体の内の他の一つである「前方物体」と、が前記画像上において互いに接近し、
その結果、同後方物体が同前方物体の陰に隠れることによって前記物体抽出処理による同後方物体の抽出が不可能となる「遮蔽現象」が発生している間、
同後方物体の同画像上の位置である「予測位置」を同遮蔽現象が発生する前の同後方物体の同画像上の移動速度及び移動方向に基づいて予測する位置予測処理を実行する。

更に、前記位置予測部は、
前記遮蔽現象が発生する直前に前記後方物体が前記画像上に占めていた領域（後方物体消失前領域）と、前記前方物体が現在の同画像上に占める領域（前方物体現在領域）と、の重複が無くなったとき、前記位置予測処理を停止する。

前記再出現判定部は、
前記位置予測部によって予測された前記予測位置の近傍に移動物体が前記物体抽出部によって新たに抽出されたとき、前記遮蔽現象が終了して同後方物体が前記画像上に再出現したと判定する。

本発明装置は、後方物体消失前領域と前方物体現在領域とが重複する領域（重複領域）に基づいて位置予測処理を停止するタイミングを決定する。換言すれば、本発明装置において、追跡停止フレーム数を予め決定しておく必要は無い。

本発明装置は、重複領域の発生によって遮蔽現象が発生したときから位置予測処理を開始し、重複領域が無くなったときに位置予測処理を停止する。位置予測処理の停止後、後方物体に類似する移動物体が物体抽出処理によって抽出された場合、本発明装置は、後方物体とは異なる移動物体が出現したと判定する。

例えば、前方物体及び／又は後方物体の移動速度が速いために遮蔽現象の発生から終了までの時間が短い場合、前方物体は後方物体消失前領域を短時間にて通過するので、位置予測処理が早期に停止される。即ち、遮蔽現象が終了しているにも拘わらず位置予測部が位置予測処理を継続することが回避される。

一方、前方物体及び／又は後方物体の移動速度が遅いために遮蔽現象の発生から終了までの時間が長い場合、位置予測処理が停止されるまでの時間を長くする必要がある。本発明装置は、仮に、後方物体が停止していたとしても、重複領域が無くなり後方物体が再出現するタイミングまで位置予測処理を継続する（図２（Ｅ）を参照。）。即ち、遮蔽現象が終了する前に位置予測処理が停止されることが回避される。

従って、本発明装置によれば、位置予測処理を停止するタイミングを適切に決定することができ、以て、後方物体の消失後に新たに移動物体が出現したときに誤認識が発生することを抑制することができる。

本発明の実施形態に係る画像上の移動物体追跡装置（本追跡装置）が適用される車両（本車両）の概略図である。 本車両の停車中に撮影された一連の画像の例である。 本車両の停車中に撮影された一連の画像の他の例である。 本追跡装置が実行する移動物体追跡処理ルーチンを表したフローチャートである。

（構成）
以下、図面を参照しながら本発明の実施形態に係る画像上の移動物体追跡装置（以下、「本追跡装置」とも称呼される。）について説明する。本追跡装置は、図１に概略構成が示された車両１０に適用される。本追跡装置は、カメラ２０、ＥＣＵ３０及び表示装置４０を含んでいる。車両１０は、カメラ２０を含むセンサによって取得された情報に基づいて車両１０周辺の移動物体を検出し自動運転及び衝突回避制御等を実行する図示しない運転支援装置を搭載している。

カメラ２０は、車両１０の車体の前端中央部に固定され、車両１０の進行方向正面の画像を撮影できるようになっている。カメラ２０は、撮影した画像を表す信号をＥＣＵ３０へ出力する。ＥＣＵ３０は、周知のマイクロコンピュータを含む電子回路であり、ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェース等を含んでいる。ＲＯＭは、ＣＰＵが実行するプログラムを記憶している。ＲＡＭは、データを一時的に記憶する。

表示装置４０は、車両１０の車室内に設けられた図示しないセンターコンソールに配設されている。表示装置４０は、車両１０の乗員の操作によって、カメラ２０が撮影した画像を表示することができる。

（移動物体追跡処理の概要）
カメラ２０は所定の撮影周期Δｔ毎に画像を撮影する。ＥＣＵ３０は、カメラ２０から入力された画像（入力画像）をＲＡＭに記憶する。ＥＣＵ３０は、カメラ２０によって最後に撮影された画像（即ち、現在画像）と、カメラ２０によって現在画像の直前に撮影された画像（即ち、現在画像よりも撮影周期Δｔだけ以前に撮影された旧画像）と、をＲＡＭ上に保持する。

更に、ＥＣＵ３０は、現在画像と旧画像とに基づいて画像に写された移動物体を抽出する。より具体的に述べると、ＥＣＵ３０は、現在画像及び旧画像のそれぞれを所定の大きさの矩形に分割する。即ち、ＥＣＵ３０は、現在画像及び旧画像のそれぞれを矩形の集合として扱う。

ＥＣＵ３０は、旧画像を構成するそれぞれの矩形が現在画像においてどの位置に現れるかを探索する。探索に成功した場合、旧画像におけるその矩形の位置（移動元）を始点とし、現在画像における同矩形の位置（移動先）を終点とするオプティカルフローベクトルが取得される。オプティカルフローベクトルのそれぞれは、旧画像及び現在画像の双方に写された矩形の撮影周期Δｔにおける移動方向及び移動量（即ち、移動速度）を表している。

ＥＣＵ３０は、現在画像において向きと大きさが互いに類似するオプティカルフローベクトルの終点が集合している領域（矩形の集合）を一つの移動物体が写された領域と判定する。即ち、現在画像から移動物体が抽出される。ＥＣＵ３０が実行する現在画像から移動物体を抽出する処理は、便宜上「物体抽出処理」とも称呼される。

加えて、ＥＣＵ３０は、現在画像における、その移動物体が写された領域（矩形の集合）を終点とするオプティカルフローベクトルのそれぞれの始点の集合が、旧画像における、その移動物体が写された領域であると判定する。ＥＣＵ３０は、現在画像における移動物体の領域と、旧画像における移動物体の領域と、の差分に基づいて撮影周期Δｔにおけるこの移動物体の入力画像上の移動方向及び移動速度を取得することができる。

ＥＣＵ３０は、現在画像に写された移動物体のそれぞれに対して識別番号を付与する。付与された識別番号のそれぞれは、対応する移動物体の現在画像上の位置と共にＲＡＭに記憶される。現在画像に写された移動物体が旧画像において既に識別番号が付与されていれば、ＥＣＵ３０は、現在画像上のその移動物体に対して「旧画像上のその移動物体に対して付与されていたのと同一の識別番号」を付与する。

図２（Ａ）〜（Ｅ）は、抽出された移動物体の例である車両５１及び車両５２を表している。車両５１及び車両５２に付された矢印は、オプティカルフローベクトルを表している。車両５１には識別番号（ＩＤ）としてｎ１が付与され、車両５２には識別番号としてｎ２が付与されている。

図２（Ａ）〜（Ｄ）において、図２（Ａ）、（Ｂ）及び（Ｃ）の順に時間が流れ、図２（Ｄ）に至っている。図２（Ａ）〜（Ｄ）及び（Ｅ）に対応する画像が撮影される間、車両１０は停止している。

旧画像に写された移動物体が、その移動物体のそれまでの移動方向及び移動速度に基づいて入力画像の範囲外に出たと判定されると、ＥＣＵ３０は、その識別番号をＲＡＭから消去する。一方、旧画像に写された移動物体が、入力画像の範囲外に出ていないにも拘わらず現在画像に現れない場合（即ち、移動物体が消失した場合）、ＥＣＵ３０は、その移動物体の一部又は全部が他の移動物体の陰に隠れた（即ち、遮蔽現象が発生した）と推定する。

例えば、図２（Ａ）に写された車両５１及び車両５２は、互いに接近し、画像上において図２（Ｂ）に表された時点にて接触している。入力画像において、車両５１は車両５２よりも後方にある。車両５１は便宜上「後方物体」とも称呼され、車両５２は便宜上「前方物体」とも称呼される。図２（Ｂ）に表された時点より後、車両５１は車両５２の陰に隠れるので、上述した物体抽出処理によって車両５１が抽出できなくなる。即ち、車両５１において遮蔽現象が発生する。

移動物体が消失した場合、ＥＣＵ３０は、消失した移動物体の入力画像上の位置を消失する直前の移動方向及び移動速度に基づいて予測する。例えば、図２（Ｃ）において車両５１は車両５２によって完全に遮蔽されているが、ＥＣＵ３０は、図２（Ｂ）に示された車両５１の位置、移動方向及び移動速度に基づいて、図２（Ｃ）に表された時点における車両５１の位置が領域５１ａであると予測する。ＥＣＵ３０が実行する「遮蔽現象によって抽出できなくなった移動物体の現在画像における位置」を予測する処理は、便宜上「位置予測処理」をも称呼される。

図２（Ｄ）に表された時点になると、車両５１が位置予測処理によって予測された位置の近傍に再び現れている。即ち、消失前の車両５１（例えば、図２（Ｂ）に表された車両５１）と類似の移動物体が、物体抽出処理によって抽出されている。この場合、ＥＣＵ３０は、遮蔽現象が終了して車両５１が再出現したと判定し、遮蔽現象の発生前に車両５１に付与されていた識別番号と同一の番号（本例において、ｎ１）を、図２（Ｄ）の車両５１に付与する。

しかし、何らかの理由によって車両５１が再出現しなかった場合、ＥＣＵ３０は、位置予測処理を適当なタイミングにて停止する。より具体的に述べると、車両５１の消失が発生したとき、ＥＣＵ３０は、消失発生の直前（即ち、図２（Ｂ）に表される時点）における車両５１の占める領域５１ｂを、後方物体消失前領域としてＲＡＭに記憶する。入力画像において車両５１と車両５２は互いに接近していたので、領域５１ｂ（後方物体消失前領域）と、現在画像における車両５２の領域（前方物体現在領域）と、が重複する領域の面積は、遮蔽現象の発生後、車両５２の移動に伴って一旦増加し、最大となった後、減少を開始する。

図２（Ｃ）に表される時点を経て図２（Ｅ）に表される時点に達し、領域５１ｂと、現在画像における車両５２の領域と、の重複が無くなると、ＥＣＵ３０は、位置予測処理を停止する。即ち、ＥＣＵ３０は、後方物体消失前領域と、前方物体現在領域と、の重複が無くなったとき、位置予測処理を停止する。

位置予測処理の停止後に車両５１に類似する移動物体が入力画像に現れた場合、ＥＣＵ３０は、その移動物体を車両５１とは異なる物体であると判定する。即ち、ＥＣＵ３０は、その新たに現れた移動物体に対してｎ１とは異なる識別番号を付与する。

位置予測処理の停止後に消失物体と類似する移動物体が現れる例を図３（Ａ）〜（Ｅ）に示す。図３（Ａ）〜（Ｅ）において、図３（Ａ）、（Ｂ）及び（Ｃ）の順に時間が流れ、図３（Ｅ）に至っている。図３（Ａ）〜（Ｅ）に対応する画像が撮影される間、カメラ２０を搭載した車両１０は停止している。

図３（Ａ）において、車両６１〜車両６３が物体抽出処理によって抽出されている。車両６１及び車両６３は同一の車種であり、従って、互いに類似する外観を有している。車両６１には識別番号としてｍ１が付与され、車両６２には識別番号としてｍ２が付与され、車両６３には識別番号としてｍ３が付与されている。

車両６１及び車両６２は、互いに接近し、画像上において図３（Ｂ）に表された時点にて接触している。その後、図３（Ｃ）に表された時点にて車両６１は車両６２によって完全に遮蔽されているが、このとき車両６１は交差点を左折し、入力画像における移動方向が右方から上方に変化している。その結果、遮蔽現象の発生前に抽出された車両６１と、遮蔽現象の終了後に再出現した車両６１と、は入力画像における形状及び色彩並びに大きさ等が互いに異なっている。そのため、ＥＣＵ３０は、「遮蔽現象の終了後に再出現した車両６１」を「遮蔽現象の発生前に抽出された車両６１」とは異なる移動物体であると判定し、以て、再出現した車両６１に対してｍ１とは異なる識別番号（本例において、ｍ４）を付与している。

図３（Ｄ）に表された時点にて、車両６２に係る前方物体現在領域と、車両６１に係る後方物体消失前領域である領域６１ｂと、の重複が無くなり、ＥＣＵ３０は、位置予測処理を停止する。その後、図３（Ｅ）に表された時点にて、ＥＣＵ３０は、「交差点を左折した結果、入力画像における移動方向が下方から右方に変化した車両６３」を物体抽出処理によって抽出している。

この時点における車両６３と、遮蔽現象が発生する前の車両６１と、は共に入力画像上を右方に移動しているので、入力画像に写された外観は互いに類似している。加えて、車両６３は、「仮にＥＣＵ３０が図３（Ｄ）に表された時点にて予測処理を停止していなければ、予測処理によって予測された車両６１の位置」の近傍に出現している。

しかし、ＥＣＵ３０は、既に予測処理を停止しているので、車両６３は車両６１とは異なる移動物体であると判定し、従って、車両６３に対して車両６１に付与した識別番号（本例において、ｍ１）とは異なる識別番号（本例において、ｍ５）を付与する。

（具体的作動）
次に、ＥＣＵ３０の具体的作動について説明する。ＥＣＵ３０のＣＰＵ（以下、単に「ＣＰＵ」とも称呼される。）は、撮影周期Δｔが経過する毎に図４にフローチャートにより示した「移動物体追跡処理ルーチン」を実行する。

従って、適当なタイミングになると、ＣＰＵは、図４のステップ４００から処理を開始してステップ４０５に進み、カメラ２０によって撮影された画像（現在画像）を取得する。次いでＣＰＵは、ステップ４１０に進み、物体抽出処理を実行することによって現在画像に写された移動物体を抽出する。

次いでＣＰＵは、ステップ４１５に進み、現在画像から抽出された移動物体と、前回本ルーチンが実行されたときに識別番号が付与された移動物体（即ち、旧画像から抽出された移動物体）と、の関連付けを行う。具体的には、ＣＰＵは、「現在画像から抽出された移動物体であって旧画像からも抽出された移動物体」に対して前回本ルーチンが実行された時に付与されたのと同一の識別番号を付与する。加えて、ＣＰＵは、旧画像において入力画像の外へ出ようとしていた移動物体であって現在画像に現れていない移動物体（即ち、入力画像の外に出た移動物体）に係る識別番号をＲＡＭから消去する。

次いでＣＰＵは、ステップ４２０に進み、消失した物体が存在するか否かを判定する。即ち、ＣＰＵは、入力画像の外へ出た移動物体以外の、旧画像から抽出された移動物体であって現在画像からは抽出されなかった移動物体が存在するか否かを判定する。

消失した物体が存在していれば、ＣＰＵは、ステップ４２０にて「Ｙｅｓ」と判定してステップ４２５に進む。ステップ４２５にてＣＰＵは、消失した物体の旧画像における位置及び形状（即ち、後方物体消失前領域）、後方物体消失前領域内の色彩、移動方向及び移動速度、並びに、「後方物体消失前領域の近傍にあって後方物体消失前領域に接近していた移動物体（即ち、前方物体）の識別番号」を「位置予測情報」としてＲＡＭに記憶する。消失した物体が複数存在していれば、ＣＰＵは、消失した物体のそれぞれに対応する位置予測情報を生成してＲＡＭに記憶する。次いでＣＰＵは、ステップ４３０に進む。

一方、消失した物体が存在していなければ、ＣＰＵは、ステップ４２０にて「Ｎｏ」と判定してステップ４３０に直接進む。

ステップ４３０にてＣＰＵは、位置予測処理を終了すべき消失物体が存在するか否かを判定する。即ち、ＣＰＵは、ＲＡＭに記憶された位置予測情報であって後方物体消失前領域と前方物体現在領域との重複が無くなっている位置予測情報に係る消失物体が存在するか否かを判定する。

位置予測処理を終了すべき消失物体が存在していれば、ＣＰＵは、ステップ４３０にて「Ｙｅｓ」と判定してステップ４３５に進み、位置予測処理を終了すべき消失物体に係る位置予測情報をＲＡＭから消去する。位置予測処理を終了すべき消失物体が複数存在していれば、ＣＰＵは、それらの消失物体のそれぞれに対応する位置予測情報をＲＡＭから消去する。次いでＣＰＵは、ステップ４４０に進む。

一方、位置予測処理を終了すべき消失物体が存在していなければ、ＣＰＵは、ステップ４３０にて「Ｎｏ」と判定してステップ４４０に直接進む。

ステップ４４０にてＣＰＵは、ＲＡＭに記憶された位置予測情報が存在しているか否かを判定する。位置予測情報が存在していれば、ＣＰＵは、ステップ４４０にて「Ｙｅｓ」と判定してステップ４４５に進み、位置予測情報及び「その位置予測情報が登録された後に経過した時間」に基づいてその位置予測情報に係る消失物体の現在画像における位置を予測する。即ち、ＣＰＵは、位置予測処理を実行する。位置予測情報が複数存在していれば、ＣＰＵは、位置予測情報のそれぞれに対して位置予測処理を実行する。次いでＣＰＵは、ステップ４５０に進む。

一方、位置予測情報が存在していなければ、ＣＰＵは、ステップ４４０にて「Ｎｏ」と判定してステップ４５０に直接進む。

ステップ４５０にてＣＰＵは、再出現した物体が存在するか否かを判定する。即ち、ＣＰＵは、位置予測処理によって予測された消失物体の現在位置の近傍に位置予測情報に含まれる後方物体消失前領域と類似する領域（移動物体）が抽出されているか否かを判定する。

再出現した物体が存在していれば、ＣＰＵは、ステップ４５０にて「Ｙｅｓ」と判定してステップ４５５に進み、再出現した物体と、消失する前の物体と、の関連付けを行う。具体的には、ＣＰＵは、再出現した物体に対して消失する前に付されていたのと同一の識別番号を付与する。再出現した物体が複数存在していれば、ＣＰＵは、再出現した物体のそれぞれに対して消失する前に付されていたのと同一の識別番号を付与する。次いでＣＰＵは、ステップ４６０に進む。

一方、再出現した物体が存在していなければ、ＣＰＵは、ステップ４５０にて「Ｎｏ」と判定してステップ４６０に直接進む。

ステップ４６０にてＣＰＵは、新たに出現した物体（即ち、現在画像から抽出された移動物体であって未だ識別番号が付与されていない移動物体）が存在するか否かを判定する。新たに出現した物体が存在していれば、ＣＰＵは、ステップ４６０にて「Ｙｅｓ」と判定してステップ４６５に進み、新たに出現した物体に対して識別番号を新たに付与する。新たに出現した物体が複数存在していれば、ＣＰＵは、新たに出現した物体のそれぞれに対して識別番号を新たに付与する。次いでＣＰＵは、ステップ４９５に進んで本ルーチンを一旦終了する。

一方、新たに出現した物体が存在していなければ、ＣＰＵは、ステップ４６０にて「Ｎｏ」と判定してステップ４９５に直接進む。

以上、説明したように、本追跡装置は、
画像を撮影し、同画像を出力する撮像装置（カメラ２０）と、
前記撮像装置から繰り返し（撮影周期Δｔ毎に）入力される画像（図４のステップ４０５）を処理する処理装置（ＥＣＵ３０）と、
を備える画像上の移動物体追跡装置において、
前記処理装置は、
前記画像に写された移動物体を抽出する物体抽出処理（図４のステップ４１０）を実行する物体抽出部と、
前記物体抽出部によって抽出された前記移動物体の内の一つである後方物体と、同移動物体の内の他の一つである前方物体と、が前記画像上において互いに接近し（図２の車両５１及び車両５２）、その結果、同後方物体が同前方物体の陰に隠れることによって前記物体抽出処理による同後方物体の抽出が不可能となる遮蔽現象が発生している間（図２（Ｃ））の同後方物体の同画像上の位置である予測位置（図２（Ｃ）の領域５１ａ）を同遮蔽現象が発生する前の同後方物体の同画像上の移動速度及び移動方向に基づいて予測する位置予測処理（図４のステップ４４５）を実行する位置予測部と、
前記位置予測部によって予測された前記予測位置の近傍に移動物体が前記物体抽出部によって新たに抽出されたとき、前記遮蔽現象が終了して同後方物体が前記画像上に再出現したと判定する（図４のステップ４５０及びステップ４５５）再出現判定部と、
を備え、
前記位置予測部は、
前記遮蔽現象が発生する直前に前記後方物体が前記画像上に占めていた領域と、前記前方物体が現在の同画像上に占める領域と、の重複が無くなったとき（図２（Ｅ）の領域５１ｂ及び車両５２）、前記位置予測処理を停止する（図４のステップ４３０及びステップ４３５）、
ように構成されている。

本追跡装置によれば、遮蔽現象によって画像から消失した移動物体に対する位置予測を停止するタイミングを適切に決定することが可能となり、以て、消失物体の再出現時、或いは、消失物体に類似する他の移動物体の出現時における誤認識の発生を回避することができる。

以上、本発明に係る画像上の移動物体追跡装置の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限りにおいて種々の変更が可能である。例えば、本実施形態において、カメラ２０は車両１０に固定されていた。しかし、カメラ２０は、建造物の入口及び屋内等、車両とは異なる場所に設置されていても良い。

加えて、本実施形態において、後方物体の一部が前方物体の陰に隠れると、その後方物体の抽出が不可能となっていた（即ち、後方物体が消失していた）。しかし、物体抽出処理の精度によっては、後方物体がある程度（例えば、入力画像における後方物体が占める領域の半分程度）前方物体の陰に隠れるまではその後方物体の抽出が可能となる。この場合、後方物体の抽出が不可能となる直前の後方物体が画像上を占める領域を後方物体消失前領域として扱っても良い。

加えて、本実施形態において、遮蔽現象が発生したとき、ＥＣＵ３０は、前方物体を「後方物体消失前領域の近傍にあって後方物体消失前領域に接近していた移動物体」として抽出していた。しかし、ＥＣＵ３０は、前方物体を他の条件によって抽出しても良い。例えば、ＥＣＵ３０は、現在画像における移動物体のそれぞれの移動方向及び移動速度並びに大きさに基づいて２つの移動物体の重なりの発生（即ち、遮蔽現象の発生）を予測し、その内の一方の移動物体が消失したとき、他方の移動物体を前方物体として抽出しても良い。

加えて、本実施形態において示された図２及び図３の例において、入力画像上、略右方向に進む移動物体と、略左方向に進む移動物体と、が重なることによって遮蔽現象が発生していた。即ち、２つの移動物体のそれぞれの移動方向の差分の大きさは略１８０度であった。しかし、２つの移動物体のそれぞれの移動方向の差は異なる角度であっても良い。例えば、入力画像上、上下方向に進む移動物体と、左右方向に進む移動物体と、が重なることによって発生した遮蔽現象に対して位置予測処理を停止するタイミングを決定することも可能である。この場合、２つの移動物体のそれぞれの移動方向の差分の大きさは略９０度となる。

加えて、ＥＣＵ３０は、所謂ブロックマッチング法によりオプティカルフローベクトルを取得していた。ＥＣＵ３０は、他の方法（例えば、勾配法）によりオプティカルフローベクトルを取得しても良い。

車両…１０、カメラ…２０、ＥＣＵ…３０、車両…６１、車両…６２、車両…６３。

Claims (1)

1. 画像を撮影し、同画像を出力する撮像装置と、
   前記撮像装置から繰り返し入力される画像を処理する処理装置と、
   を備える画像上の移動物体追跡装置において、
   前記処理装置は、
   前記画像に写された移動物体を抽出する物体抽出処理を実行する物体抽出部と、
   前記物体抽出部によって抽出された前記移動物体の内の一つである後方物体と、同移動物体の内の他の一つである前方物体と、が前記画像上において互いに接近し、その結果、同後方物体が同前方物体の陰に隠れることによって前記物体抽出処理による同後方物体の抽出が不可能となる遮蔽現象が発生している間の同後方物体の同画像上の位置である予測位置を同遮蔽現象が発生する前の同後方物体の同画像上の移動速度及び移動方向に基づいて予測する位置予測処理を実行する位置予測部と、
   前記位置予測部によって予測された前記予測位置の近傍に移動物体が前記物体抽出部によって新たに抽出されたとき、前記遮蔽現象が終了して同後方物体が前記画像上に再出現したと判定する再出現判定部と、
   を備え、
   前記位置予測部は、
   前記遮蔽現象が発生する直前に前記後方物体が前記画像上に占めていた領域と、前記前方物体が現在の同画像上に占める領域と、の重複が無くなったとき、前記位置予測処理を停止する、
   ように構成された画像上の移動物体追跡装置。
   

Images