JP2001167282A - 移動物体抽出装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 カメラ近傍の車両から遠方の車両まで車両の
位置に依存せずに過剰に車両領域を膨張させること無く
安定して抽出することのできる移動物体抽出装置を提供
することにある。 【解決手段】 移動物体抽出装置は、道路平面上に固定
された監視カメラと、画像入力手段１０１と、画像系列
記憶手段１０２と、フレーム間差分処理手段１０３と、
領域選別手段１０４と、領域統合手段１０５と、出力手
段１０６を備え、２種類の時間間隔の違うフレーム間差
分画像を抽出し、画像中の位置から空間中の位置と適切
な時間間隔が導けるので、車両を抽出位置に従って適切
な時間間隔のフレーム間差分画像から領域抽出し、見か
け上の速度が遅い監視カメラ遠方の車両に対しては長い
時間間隔のフレーム間差分画像を適用するので確実に領
域抽出し、見かけ上の速度が速い監視カメラ近傍の物体
に対しては短い時間間隔のフレーム間差分画像を適用す
るので、確実に車両を検出できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、高速道路
や一般道に交通量測定や交通流監視を目的として据え付
けられた固定型監視カメラから入力した画像から車両を
検出するなどの移動物体抽出装置、その方法、記録媒体
に関する。

【０００２】

【従来の技術】近年、高速道路や一般道路に据え付けた
監視カメラに画像処理装置を搭載して、自動的に交通量
の測定や、渋滞状況などの走行状態を判別するシステム
を構成するニーズが高まっている。このシステムとして
ＩＴＳやＡＨＳシステムが提唱され、情報処理技術を用
いた知的な高度交通システムはますます必要性を増して
いる。

【０００３】ところで、車両位置の認識や車両速度の測
定など画像処理を用いたセンシングは、最も基本的かつ
重要な情報であり、ＡＨＳシステムなどの巨大なシステ
ムの中ですべての情報の出発点であって、この情報がな
い限り知的で高度な交通システムは実現できない。その
ため、画像処理技術は、このような機能として高いもの
が求められている上に、リアルタイム性や、安定性や、
信頼性まで求められ、非常に高度かつ困難な技術課題に
なっている。しかし、画像処理によるセンシングが成功
すれば、統計量を集積したり、運転手へ伝える情報に加
工したり、各種の対象に情報を伝送することなどは、画
像処理技術に比べて極めて簡単だといえる。

【０００４】このように画像処理技術の進化が非常に望
まれているものの、監視範囲に写った車両領域を、リア
ルタイムに、かつ正確な位置を随時抽出できる画像処理
技術は未だ開発中の完成されていない技術である。

【０００５】従来、画像処理により、車両領域を抽出す
る手段としては、背景差分方式がある。この方式は、車
両の存在しない背景画像を用意し、入力画像と差分演算
を行って車両領域を抽出する方法がベースになった方式
が一般的である（例えば、特開平７−３０２３２８号、
土川仁、佐藤敦、伴野明、「背景差分による動物体領域
抽出方法」あるいは特開平４−２１３１９８号、辻邦彦
「走行車両検出方法」）。

【０００６】この背景差分方式では、いかに適切な背景
画像を入手するかという点が問題となる。すなわち、季
節、天気、時間などの環境変化要因によって背景画像の
変化は大きいため、期待するほど安定で正確に車両領域
を抽出することは困難である。これに対し、環境変化を
無視して、面積や縦横比、速度などをの条件を設定して
対象を取捨選択する方法もあるが、却って本来の対象に
対する反応を悪化させてしまう（例えば、特開平１０−
１０５８３９号、新房健一、「監視用画像処理装
置」）。

【０００７】また、短い時間間隔を持つ２枚の入力画像
間で差分演算を行って、移動物体を抽出する時間差分方
式がある。この方式は、時間的に近い画像同士を用いる
ので環境の変化に強く、例えば時間によって明るさが変
化する場合でもほとんど影響されずに処理ができるとい
うメリットがある。

【０００８】しかし、時間差分方式には空間的な問題と
時間的な問題の２つがあると考えられる。

【０００９】まず、時間差分方式の空間的な問題とは、
車両のエッジ近傍にしか変化領域が現れないので、抽出
される車両特徴が位置的に分離されるという問題であ
る。

【００１０】次に、時間的な問題とは、車両がカメラか
ら遠方になると、見かけ上の速度が遅くなるので、短い
時間間隔で時間差分をとっても車両が移動していないの
で車両特徴が現れないという問題である。

【００１１】車両のエッジ近傍にしか特徴が現れない理
由は、変化検出の判断閾値が鈍感になっていることと、
車両の投影サイズを考慮した変化領域の接続処理を行っ
ていないためである。これを解決するために、変化検出
の判断閾値を敏感になるように設定し、さらに車両の投
影サイズを考慮して、変化領域を一つの領域として接続
する方法を取れば車両特徴の分離は避けられる。例え
ば、画像の解像度を落として処理すれば、車両特徴は最
初から分離しない。また、最終結果二世度が必要ならば
一つのまとまった領域として抽出した車両領域に対し
て、解像度を復元して輪郭を探って領域の位置を修正
し、位置の精度を原画像の解像度に戻すことも可能であ
る。

【００１２】一方、車両がカメラから遠方になると、見
かけ上の速度が遅くなるために、車両特徴が現れないと
いう時間差分方式の時間的な問題が残っている。これを
解決するために、時間間隔を大きくとり時間差分をとれ
ば車両領域が検出できるが、時間間隔が大きいとこのと
きカメラ近傍の車両は見かけ上の速度が大きすぎて輪郭
や領域が膨張してしまう問題がある。車両領域が膨張す
ると車両位置を正確に抽出できず、速度や移動軌跡の情
報の精度が悪化する。逆に、時間間隔を小さくとって時
間差分をとると、カメラ近傍の車両の位置精度は向上す
るが、遠方の車両が抽出できない。

【００１３】すなわち、時間間隔を大きくすると、近傍
の車両の車両領域が膨張して正確な車両位置を抽出でき
ず、時間間隔を小さくすると、遠方の車両が抽出できな
いという問題がある。複数の時間間隔の時間差分結果の
論理和をとる方法が考えられるが、それでは近傍の車両
の車両領域が膨張する問題が解決できない。また複数の
時間間隔の時間差分結果の論理積をとる方式も考えられ
るが、それでは遠方の車両の車両領域が抽出できないと
いう問題が解決できない。

【００１４】

【発明が解決しようとする課題】このように従来は、時
間差分方式による車両領域抽出方法は環境変化への適応
性が有利になるというメリットがあるが、時間間隔を大
きくすると近傍の車両の車両領域が膨張して正確な車両
位置が抽出できず、時間間隔を小さくすると遠方の車両
が抽出できない、という問題があった。

【００１５】そこで、この発明の目的とするところは、
カメラ近傍の車両から遠方の車両まで車両の位置に依存
せずに過剰に車両領域を膨張させること無く安定して抽
出することのできる、移動物体抽出装置、その方法及び
記録媒体を提供することにある。

【００１６】

【課題を解決するための手段】請求項１の発明は、固定
されたカメラから一、または、複数の移動物体を撮影
し、この撮影した画像から基準時刻における前記移動物
体を抽出するための移動物体抽出装置であって、前記カ
メラからの連続フレーム画像を記憶する画像記憶手段
と、前記画像記憶手段に記憶されている連続フレーム画
像の中から基準時刻における基準フレーム画像を選ぶ基
準フレーム画像選択手段と、基準時刻とは撮影時刻がそ
れぞれ異なる少なくとも２種類のフレーム画像である比
較フレーム画像を前記画像記憶手段に記憶されている連
続フレーム画像の中から取り出し、これら複数の比較フ
レーム画像と前記基準フレーム画像選択手段で選択した
基準フレーム画像との差分をとって、基準時刻と撮影時
刻との差である差分時間間隔が異なるフレーム間差分画
像をそれぞれ生成し、これら複数のフレーム間差分画像
から前記移動物体が存在する候補領域をそれぞれ抽出す
るフレーム間差分処理手段と、前記フレーム間差分処理
手段で抽出した複数のフレーム間差分画像の中で、前記
移動物体の見かけ上の移動量が一定値以上であるという
第１の条件と、前記複数のフレーム間差分画像の候補領
域の中から高い位置精度を有するという第２の条件とを
満たす候補領域を、一つの移動物体に対して一つ選別す
る領域選別手段と、前記領域選別手段によって選別され
た候補領域に基づいて、基準時刻に存在する前記一、ま
たは、複数の移動物体を表す画像を生成する領域統合手
段と、を有することを特徴とする移動物体抽出装置であ
る。

【００１７】請求項２の発明は、固定されたカメラから
一、または、複数の移動物体を撮影し、この撮影した画
像から基準時刻における前記移動物体を抽出するための
移動物体抽出装置であって、前記カメラからの連続フレ
ーム画像を記憶する画像記憶手段と、前記画像記憶手段
に記憶されている連続フレーム画像の中から基準時刻を
挟んで２枚のフレーム画像を１組とする比較フレーム組
画像を選択するものであって、この場合に２枚のフレー
ム画像の撮影時刻の時間間隔が異なる複数組の比較フレ
ーム組画像を選択する比較フレーム組画像選択手段と、
前記比較フレーム組画像選択手段によって選択した複数
組の比較フレーム組画像における２枚のフレーム画像の
差分をそれぞれとって、その差分時間間隔が異なるフレ
ーム間差分画像をそれぞれ生成し、これら複数のフレー
ム間差分画像から前記移動物体が存在する候補領域をそ
れぞれ抽出するフレーム間差分処理手段と、前記フレー
ム間差分処理手段で抽出した複数のフレーム間差分画像
の中で、前記移動物体の見かけ上の移動量が一定値以上
であるという第１の条件と、前記複数のフレーム間差分
画像の候補領域の中から高い位置精度を有するという第
２の条件とを満たす候補領域を、一つの移動物体に対し
て一つ選別する領域選別手段と、前記領域選別手段によ
って選別された候補領域に基づいて、基準時刻に存在す
る前記一、または、複数の移動物体を表す画像を生成す
る領域統合手段と、を有することを特徴とする移動物体
抽出装置である。

【００１８】請求項３の発明は、前記移動物体が平面上
を移動する場合には、前記領域選別手段は、前記平面と
前記カメラ間の関係と、前記移動物体の推定速度と、前
記平面上の前記移動物体の位置から前記画像上の位置へ
の投影関係とから、前記画像中の前記移動物体の見かけ
上の移動量が一定値以上になるための差分時間間隔であ
る選別時間間隔を算出する選別時間間隔算出手段と、前
記フレーム間差分処理手段において生成されたフレーム
間差分画像の差分時間間隔と前記選別時間間隔とを比較
して、前記選別時間間隔より長い差分時間間隔を有する
フレーム間差分画像を選択し、この選択したフレーム間
差分画像が前記第１の条件を満たすものであると判断す
る第１条件判断手段と、を有することを特徴とする請求
項１、２記載の移動物体抽出装置である。

【００１９】請求項４の発明は、前記領域選別手段は、
前記フレーム間差分処理手段において生成したフレーム
間差分画像における差分時間間隔の最も短いフレーム間
差分画像から抽出された候補領域を、前記第２の条件を
満たすものであると判断する第２条件判断手段を有する
ことを特徴とする請求項１、２、３記載の移動物体抽出
装置である。

【００２０】請求項５の発明は、前記領域選別手段は、
前記候補領域の底辺を基準に、前記第１の条件、また
は、前記第２の条件を判断することを特徴とする請求項
１、２，３、４記載の移動物体抽出装置である。

【００２１】請求項６の発明は、前記領域選別手段は、
前記カメラと前記移動物体との距離が大きい場合には差
分時間間隔の長いフレーム間差分画像に基づいて前記移
動物体の候補領域を抽出し、前記カメラと前記移動物体
との距離が小さい場合には差分時間間隔の短いフレーム
間差分画像に基づいて前記移動物体の候補領域を抽出す
ることにより、前記第１条件を満たすフレーム間差分画
像を選別することを特徴とする請求項１、２記載の移動
物体抽出装置である。

【００２２】請求項７の発明は、前記移動物体が平面上
を移動し、かつ、前記カメラが前記平面より上方で、前
記移動物体の進行方向を後方から撮影する角度に据え付
けられている場合は、前記領域選別手段は、前記画像上
方にあたる前記カメラから遠方の領域は差分時間間隔が
長いフレーム間差分画像を抽出し、前記画像下方にあた
る前記カメラから近傍の領域は差分時間間隔が短いフレ
ーム間差分画像を抽出することにより、前記第１条件を
満たすフレーム間差分画像を選別することを特徴とする
請求項１、２記載の移動物体抽出装置である。

【００２３】請求項８の発明は、前記移動物体が３次元
空間中を任意に運動している場合には、前記領域選別手
段は、前記カメラを中心とした前記移動物体の運動状態
を示す運動方程式と、前記移動物体の位置から前記画像
上の位置への投影関係とから、前記画像中の前記移動物
体の見かけ上の移動量が一定値以上になるための差分時
間間隔である選別時間間隔を算出する選別時間間隔算出
手段と、前記フレーム間差分処理手段において生成され
たフレーム間差分画像の差分時間間隔と前記選別時間間
隔とを比較して、前記選別時間間隔より長い差分時間間
隔を有するフレーム間差分画像を選択し、この選択した
フレーム間差分画像が前記第１の条件を満たすものであ
ると判断する第１条件判断手段と、を有することを特徴
とする請求項１、２記載の移動物体抽出装置である。

【００２４】請求項９の発明は、前記フレーム間差分処
理手段が、前記フレーム差分画像から前記移動物体の候
補領域を抽出する場合には、前記フレーム差分画像の原
画像の解像度を落として２値化ラベリング処理を行い、
候補領域の位置を抽出し，空間中の奥行き方向の位置を
算出するためのデータの解像度は維持し、空間中の左右
方向の位置を算出するためのデータの解像度は圧縮し
て、前記候補領域の精密な位置が抽出できるプロファイ
ルデータを作成し、解像度を落として抽出した前記車両
領域の位置を、前記プロファイルデータで精緻化して前
記移動物体の候補領域とすることを特徴とする請求項
１、または、２記載の移動物体抽出装置である。

【００２５】請求項１０の発明は、固定されたカメラか
ら一、または、複数の移動物体を撮影し、この撮影した
画像から基準時刻における前記移動物体を抽出するため
の移動物体抽出方法であって、前記カメラからの連続フ
レーム画像を記憶する画像記憶ステップと、前記画像記
憶ステップに記憶されている連続フレーム画像の中から
基準時刻における基準フレーム画像を選ぶ基準フレーム
画像選択ステップと、基準時刻とは撮影時刻がそれぞれ
異なる少なくとも２種類のフレーム画像である比較フレ
ーム画像を前記画像記憶ステップに記憶されている連続
フレーム画像の中から取り出し、これら複数の比較フレ
ーム画像と前記基準フレーム画像選択ステップで選択し
た基準フレーム画像との差分をとって、基準時刻と撮影
時刻との差である差分時間間隔が異なるフレーム間差分
画像をそれぞれ生成し、これら複数のフレーム間差分画
像から前記移動物体が存在する候補領域をそれぞれ抽出
するフレーム間差分処理ステップと、前記フレーム間差
分処理ステップで抽出した複数のフレーム間差分画像の
中で、前記移動物体の見かけ上の移動量が一定値以上で
あるという第１の条件と、前記複数のフレーム間差分画
像の候補領域の中から高い位置精度を有するという第２
の条件とを満たす候補領域を、一つの移動物体に対して
一つ選別する領域選別ステップと、前記領域選別ステッ
プによって選別された候補領域に基づいて、基準時刻に
存在する前記一、または、複数の移動物体を表す画像を
生成する領域統合ステップと、を有することを特徴とす
る移動物体抽出方法である。

【００２６】請求項１１の発明は、固定されたカメラか
ら一、または、複数の移動物体を撮影し、この撮影した
画像から基準時刻における前記移動物体を抽出するため
の移動物体抽出方法であって、前記カメラからの連続フ
レーム画像を記憶する画像記憶ステップと、前記画像記
憶ステップに記憶されている連続フレーム画像の中から
基準時刻を挟んで２枚のフレーム画像を１組とする比較
フレーム組画像を選択するものであって、この場合に２
枚のフレーム画像の撮影時刻の時間間隔が異なる複数組
の比較フレーム組画像を選択する比較フレーム組画像選
択ステップと、前記比較フレーム組画像選択ステップに
よって選択した複数組の比較フレーム組画像における２
枚のフレーム画像の差分をそれぞれとって、その差分時
間間隔が異なるフレーム間差分画像をそれぞれ生成し、
これら複数のフレーム間差分画像から前記移動物体が存
在する候補領域をそれぞれ抽出するフレーム間差分処理
ステップと、前記フレーム間差分処理ステップで抽出し
た複数のフレーム間差分画像の中で、前記移動物体の見
かけ上の移動量が一定値以上であるという第１の条件
と、前記複数のフレーム間差分画像の候補領域の中から
高い位置精度を有するという第２の条件とを満たす候補
領域を、一つの移動物体に対して一つ選別する領域選別
ステップと、前記領域選別ステップによって選別された
候補領域に基づいて、基準時刻に存在する前記一、また
は、複数の移動物体を表す画像を生成する領域統合ステ
ップと、を有することを特徴とする移動物体抽出方法で
ある。

【００２７】請求項１２の発明は、固定されたカメラか
ら一、または、複数の移動物体を撮影し、この撮影した
画像から基準時刻における前記移動物体を抽出するため
の移動物体抽出方法を実現できるプログラムを記録した
記録媒体であって、前記カメラからの連続フレーム画像
を記憶する画像記憶機能と、前記画像記憶機能に記憶さ
れている連続フレーム画像の中から基準時刻における基
準フレーム画像を選ぶ基準フレーム画像選択機能と、基
準時刻とは撮影時刻がそれぞれ異なる少なくとも２種類
のフレーム画像である比較フレーム画像を前記画像記憶
機能に記憶されている連続フレーム画像の中から取り出
し、これら複数の比較フレーム画像と前記基準フレーム
画像選択機能で選択した基準フレーム画像との差分をと
って、基準時刻と撮影時刻との差である差分時間間隔が
異なるフレーム間差分画像をそれぞれ生成し、これら複
数のフレーム間差分画像から前記移動物体が存在する候
補領域をそれぞれ抽出するフレーム間差分処理機能と、
前記フレーム間差分処理機能で抽出した複数のフレーム
間差分画像の中で、前記移動物体の見かけ上の移動量が
一定値以上であるという第１の条件と、前記複数のフレ
ーム間差分画像の候補領域の中から高い位置精度を有す
るという第２の条件とを満たす候補領域を、一つの移動
物体に対して一つ選別する領域選別機能と、前記領域選
別機能によって選別された候補領域に基づいて、基準時
刻に存在する前記一、または、複数の移動物体を表す画
像を生成する領域統合機能と、を実現できるプログラム
を記録したことを特徴とする移動物体抽出方法の記録媒
体である。

【００２８】請求項１３の発明は、固定されたカメラか
ら一、または、複数の移動物体を撮影し、この撮影した
画像から基準時刻における前記移動物体を抽出するため
の移動物体抽出方法を実現できるプログラムを記録した
記録媒体であって、前記カメラからの連続フレーム画像
を記憶する画像記憶機能と、前記画像記憶機能に記憶さ
れている連続フレーム画像の中から基準時刻を挟んで２
枚のフレーム画像を１組とする比較フレーム組画像を選
択するものであって、この場合に２枚のフレーム画像の
撮影時刻の時間間隔が異なる複数組の比較フレーム組画
像を選択する比較フレーム組画像選択機能と、前記比較
フレーム組画像選択機能によって選択した複数組の比較
フレーム組画像における２枚のフレーム画像の差分をそ
れぞれとって、その差分時間間隔が異なるフレーム間差
分画像をそれぞれ生成し、これら複数のフレーム間差分
画像から前記移動物体が存在する候補領域をそれぞれ抽
出するフレーム間差分処理機能と、前記フレーム間差分
処理機能で抽出した複数のフレーム間差分画像の中で、
前記移動物体の見かけ上の移動量が一定値以上であると
いう第１の条件と、前記複数のフレーム間差分画像の候
補領域の中から高い位置精度を有するという第２の条件
とを満たす候補領域を、一つの移動物体に対して一つ選
別する領域選別機能と、前記領域選別機能によって選別
された候補領域に基づいて、基準時刻に存在する前記
一、または、複数の移動物体を表す画像を生成する領域
統合機能と、を実現できるプログラムを記録したことを
特徴とする移動物体抽出方法の記録媒体である。

【００２９】本発明は、少なくとも２種類の差分時間間
隔の異なるフレーム間差分画像を利用することで、見か
け上の速度が遅いカメラ遠方の移動物体に対しても差分
時間間隔の大きいフレーム間差分画像から候補領域が抽
出できる様になり、一方見かけ上の速度が速いカメラ近
傍の移動物体に対しては差分時間間隔が小さい時間差分
画像から候補領域を抽出するので、候補領域の過剰な膨
張がなく、移動物体の位置に依存せず画面全体で安定し
て確実に移動物体が抽出できるようにした。

【００３０】これにより、移動物体のカメラからの距離
に依存せず、カメラ遠方の移動物体に対してもカメラ近
傍の移動物体に対しても、過剰に候補領域を膨張させる
こと無く、安定して候補領域を抽出できるようになり、
ＩＴＳ、ＡＨＳ、といった知的な高度交通システムの実
現に途が開かれる。

【００３１】

【発明の実施の形態】以下、本発明の実施例について図
面を参照して説明する。

【００３２】実施例１ 実施例１を図１から図６に基づいて説明する。

【００３３】図１は、本実施例の移動物体抽出装置の全
体の構成図であり、図２は、処理の流れを示したフロー
チャートである。なお、本実施例は、ＩＴＳ、ＡＨＳ、
といった高度交通システムにおける車両抽出に適用され
るのものである。

【００３４】移動物体抽出装置は、図１に示すように、
画像入力手段１０１と、画像系列記憶手段１０２と、フ
レーム間差分処理手段１０３と、領域選別手段１０４
と、領域統合手段１０５と、出力手段１０６を備える。
これら手段は、装置によって構成してもよく、また、こ
れらの機能を実現するプログラムを記録したＦＤ、Ｍ
Ｏ、ハードディスクなどの記録媒体に記録して、このプ
ログラムを実行するパソコンなどで実現してもよい。

【００３５】以下は図１、図２を参照しながら本実施例
を説明する。

【００３６】（ステップ２０１）画像入力手段１０１
は、監視カメラとＡ／Ｄ変換器で構成される。

【００３７】監視カメラは、例えば高速道路のトンネル
の壁面や、高速道路をまたぐ橋梁に取り付けられ、監視
カメラの近傍から例えば１００ｍ先、あるいは２００ｍ
先までが見えるような角度に据え付けられている。

【００３８】この監視カメラは、ビデオ信号を出力して
おり、例えば３０分の１秒間隔で１フレームの画像を出
力している。

【００３９】Ａ／Ｄ変換器は、監視カメラの映像信号を
逐次ディジタル化しており、画像系列記憶手段１０２に
リアルタイムでディジタル画像を送信する。連続した映
像は１フレーム毎に区切られた画像の系列として得られ
る。

【００４０】図３は、画像入力手段１０１の典型的な入
力画像の模式図である。そして、この入力画像には、
Ａ、Ｂ、Ｃの３台の車両（移動物体）が撮影されてい
る。

【００４１】（ステップ２０２）画像系列記憶手段１０
２は、リングバッファで構成されており、現時点の画像
の他に、１フレーム前、２フレーム前、３フレーム前、
・・・、ｎフレーム前までの例えば３０フレーム分の過
去の画像を記憶している。３０フレーム分のリングバッ
ファならば１秒間の映像が記憶されている。

【００４２】もちろん、サンプリング間隔を空けて１フ
レーム飛ばして記憶しても良い。

【００４３】新しい時点の画像が１フレーム入力される
と、古い画像を１フレーム削除し、解放した記憶領域に
新しい画像を１フレーム記憶する。

【００４４】リングバッファのサイズは、フレーム間差
分をとる時間間隔の最大間隔に従って決まる。

【００４５】（以下のステップの理論的説明）まず、フ
レーム間差分処理手段１０３は、次のフレーム画像を抽
出する。

【００４６】第１に、現時点（現在時刻）での入力画像
（以下、基準フレーム画像という）を抽出する。なお、
以下の説明では、図３の画像を基準フレーム画像とす
る。

【００４７】第２に、少なくとも２種類以上の過去の画
像（以下、比較フレーム画像という）を抽出する。な
お、上記実施例では、比較フレーム画像は、現在時刻を
基準にして過去のフレーム画像を使用するが、これに代
えて将来のフレーム画像を使用してもよい。また、現在
時刻を基準にしてその前後のフレーム画像を使用しても
よい。

【００４８】そして、フレーム間差分処理手段１０３
は、基準フレーム画像と２種類以上の比較フレーム画像
とフレーム間差分処理を実行することで、２種類以上の
時間差の異なるフレーム間差分画像を得る。

【００４９】（１）比較フレーム画像の選択方法 まず、比較フレーム画像、すなわち、フレーム間差分を
実行するべきフレーム画像の選択方法について説明す
る。

【００５０】フレーム間差分画像に移動物体が撮像され
ていると、２つの画像間で移動物体の位置が変化してい
る。従って、フレーム間差分画像を２値化すると移動物
体の輪郭が現れることになるが、２値化処理により抽出
される領域の大きさは移動物体の「画像中での見かけ上
の速度」に依存する。

【００５１】例えば、高速道路の監視カメラの映像のよ
うに、後方から広い範囲を見渡す画像の場合、監視カメ
ラに近い領域では車両が大きく撮影されるために車両の
見かけ上の速度は速い（図３の車両Ａ）。一方、監視カ
メラから遠い領域では車両が小さく撮影されので車両の
見かけ上の速度は遅い（図３の車両Ｃ）。特に、無限遠
点（消失点）付近では、車両はほとんど止まって見え
る。

【００５２】この様に車両の空間中の位置の違いによっ
て見かけ上の速度が異なるので、時間間隔を短く、例え
ば２フレームとして、２枚の画像のフレーム間差分をと
ると、近傍の車両Ａは見かけ上は大きく移動しているの
でフレーム間差分画像から車両領域抽出ができるが、遠
方の車両Ｃは見かけ上移動していないのでフレーム間差
分画像から車両領域が抽出できないということが起こり
うる。

【００５３】（２）移動物体の抽出 ところで、撮影する監視カメラが車両が走行する路面に
対して固定されていれば、車両と監視カメラとの距離に
よって、車両が画像中で投影される位置は計算可能であ
る。

【００５４】例えば、図４のように、監視カメラの焦点
距離はｆで、ｚ軸上の高さｈの位置にあり、監視カメラ
は道路平面に対してロールしていない、すなわち、水平
レベルは保たれるとし、パン角をθ、チルト角をψ（プ
サイ）であるとする。空間座標系では位置をＰ（ｘ、
ｙ、ｚ）と表現し、Ｐが画像に投影された位置をｑとす
る。ｑの画像座標系の位置はｑ（α、β）と表現する。

【００５５】このとき、α，βとｘ，ｙ，ｚは以下の投
影式で関係付けられる。

【００５６】

【数１】 ここで(1)，(2)式に、道路平面の拘束条件としてｙ＝０
を代入する。変数が１つ減るので、α，βからｘ，ｚを
解くことができ、次式になる。

【００５７】

【数２】 ここで、車線の進行方向をｚ軸、車線の横断方向をｘ軸
であるとする。車両は車線の横断方向の位置を、例えば
第一車線の中央位置ｘ_cに保ちつつ、車線の進行方向に
向かって速度Ｖで等速直線運動をしていると仮定する。
このとき車両の運動方程式は時刻ｔを用いて次式で表せ
る。

【００５８】

【数３】 いま、画像中でβの位置に投影された車両が、画像中で
の見かけ上の移動量としてΔβ移動するのに必要な時間
間隔ΔＴは、空間中の移動距離をΔｚとすると、以下の
式で算出される。

【００５９】

【数４】 ここで（２）式に、ｙ＝０の条件を代入してｚを解く
と、ｚはβの関数になり、以下の式で算出される。

【００６０】

【数５】 （７）式を（８）式に代入して整理すると、車両が画像
中でΔβ移動するのに必要な時間ΔＴは以下の式で与え
られる。

【００６１】

【数６】 ここで付け加えると、（９）式においてｘの項は無いの
で、車線（道路平面）が左右に曲がっていたとしても
（９）式の関係は満足される。

【００６２】例えば、３２０×２４０の解像度でディジ
タル化した画像とする。ｑ（α、β）を取り込みデジタ
ル化した画像をｆ（Ｉ、Ｊ）と書く。なお、（Ｉ、Ｊ）
軸とは、画像の左上を（０、０）とし、右方向をＩ軸、
下方向をＪ軸とした座標系である。図４の（α、β）軸
とはそれぞれ逆方向となる。ｆ（Ｉ、Ｊ）で時刻ｔを表
すときは、ｆ（ｔ、Ｉ、Ｊ）と書く。

【００６３】ここで、図４における各座標を簡単にもう
一度説明しておくと、空間座標系がＰ（ｘ、ｙ、ｚ）、
投影座標系がｑ（α、β）、デジタル画像の座標系がｆ
（Ｉ、Ｊ）である。

【００６４】そして、画像中の移動量が５画素になるた
めの時間間隔を、（９）式に基づいてグラフ化したのが
図５である。

【００６５】図５の横軸は車両の画像中のＪ成分の値で
あり、縦軸は計算上の最適な時間間隔を示している。な
お、車両の速度Ｖは時速９０ｋｍ／ｈと仮定している。

【００６６】図５の監視カメラ条件は後追い撮影による
画像を想定しており、車両は図３に示すように画像の下
方から上方に向かって移動する。従ってＪ＝２４０近辺
が最も監視カメラに近く、Ｊ＝５５付近が消失点であ
り、車両は消失点に向かって移動する。車両が監視カメ
ラに近いところほど時間間隔が小さくても車両が移動す
るが、車両が移動する（画像で上方に移動する）に従っ
て長い時間間隔を設定しないと十分な移動量にならない
ということが分かる。

【００６７】（３）位置の精度 一方、抽出される位置の精度という点で考えてみると、
これは時間間隔を短く設定したほうが有利になる。時間
間隔に移動する分だけ抽出される領域が膨張するからで
ある。従って、抽出可能であるならば、なるべく短い時
間間隔を設定する方が良い。

【００６８】具体的に言えば、監視カメラから近い車両
Ａは、短い時間間隔でも画像中の見かけ上の移動が十分
なので、なるべく短い時間間隔を設定すべきである。

【００６９】一方、監視カメラから遠方の車両Ｃは（空
間中の位置精度は犠牲になるが）、長い時間間隔を設定
し、見かけ上の移動量が十分になる時間間隔を設定すべ
きである。すなわち言い換えれば、全てを長い時間間隔
で計算するのは良くない。

【００７０】図５のグラフに示されるように、適切な時
間間隔は画素のＪ座標値にて対応して決まる。すべての
Ｊ座標値に対応して、すべての適切な時間間隔のフレー
ム間画像を用意することも考えられるが、処理量が膨大
になるので、本実施例では簡略化した方法をとる。

【００７１】例えば、図５に従って、画像を３つの領域
に分割する。

【００７２】第１の領域をＪ＝２４０からＪ＝１９０ま
で、第２の領域をＪ＝１９０からＪ＝１４０まで、第３
の領域をＪ＝１４０からＪ＝５５（消失点）までとす
る。

【００７３】第１の領域は最適なフレーム間隔が２フレ
ームより小さい範囲であり、第２の領域は最適なフレー
ム間隔が４フレームより小さい範囲であり、第３の領域
は最適なフレーム間隔が４フレームより大きい範囲であ
る。

【００７４】従って、２フレームの時間間隔で算出した
フレーム間差分画像は第１の領域に撮像された物体に対
しては、十分な見かけ上の移動量を与える。

【００７５】また、４フレームの時間間隔で算出したフ
レーム間差分画像は第１の領域及び第２の領域に撮像さ
れた物体に対して、十分な見かけ上の移動量を与える。
しかし第１の領域に関しては時間間隔の短いフレーム間
差分画像で条件を満たすものがあればそちらを優先して
利用する。従って第１の領域に対しては２フレームの時
間間隔で算出したフレーム間差分画像の結果を用いる。

【００７６】残る時間間隔は８フレームである。２フレ
ームの時間間隔、あるいは４フレームの時間間隔で適用
可能な領域以外の領域に対しては、８フレームの時間間
隔を用いる。図５からはＪ＝１１５からＪ＝５５（消失
点）までの領域は、８フレームの時間間隔を与えても十
分な見かけ上の移動量（ここでは５画素と設定して計算
している）が得られないが、本実施例では８フレームで
代用する。さらに消失点より上の領域も８フレームとす
る。

【００７７】本実施例では３段階の時間間隔を設定した
が、計算手段の処理能力によってはさらに多段階の時間
間隔を設定し、処理できる場合がある。この場合は、同
様に、（９）式や、図５のような解析を行って細かく領
域を分割して適切な時間間隔を設定すれば良い。

【００７８】図２では、時間間隔の変化をより一般化さ
せてｎ通りの時間間隔を設定するとして、処理の手順を
示している。図２に示したようにステップ２０３からス
テップ２０７までは時間間隔の違いにより並列に処理が
可能なので、並列実行することも可能である。

【００７９】以上説明したような方法によって画像を部
分領域に分割し、画像領域毎に適切な時間間隔を設定
し、当該フレーム間隔の画像を画像系列記憶手段１０２
から読み出し、必要なフレーム間差分画像を生成する。

【００８０】本実施例では、フレーム間差分処理手段１
０３は、画像系列記憶手段１０２に記憶されている画像
系列から、現フレームとの時間間隔が、２、４、８フレ
ーム前の画像を抽出し、フレーム間差分画像を生成す
る。

【００８１】すなわち △Ｔ１＝２（フレーム）（Ｊ＝２４０からＪ＝１９０ま
で） △Ｔ２＝４（フレーム）（Ｊ＝１９０からＪ＝１４０ま
で） △Ｔ３＝８（フレーム）（Ｊ＝１１５からＪ＝０まで） とする。

【００８２】以上では、本実施例の処理を理論的に説明
したが、以下では、再度整理して順番にステップ毎に説
明する。

【００８３】（ステップ２０３）フレーム間差分処理手
段１０３は、まず、移動物体を抽出する対象画像、すな
わち、基準フレーム画像を、リングバッファから取り込
む。本実施例では、上記したように図３が基準フレーム
画像である。

【００８４】（ステップ２０４）続いて、フレーム間差
分処理手段１０３は、設定された時間間隔の過去のフレ
ーム画像を、リングバッファから取り込む。すなわち、
基準フレーム画像から２フレーム前、４フレーム前、８
フレーム前の画像を比較フレーム画像として取り込む。

【００８５】（ステップ２０５）続いて、フレーム間差
分処理手段１０３は、入力した２枚の画像（例えば、基
準フレーム画像と２フレーム前の比較フレーム画像）の
フレーム間差分処理を実行する。差分演算としては輝度
値の差の絶対値を取る。

【００８６】 ｄ１（Ｉ、Ｊ）＝｜ｆ（ｔ、Ｉ、Ｊ）−ｆ（ｔ−△Ｔ１、Ｉ、Ｊ）｜ ｄ２（Ｉ、Ｊ）＝｜ｆ（ｔ、Ｉ、Ｊ）−ｆ（ｔ−△Ｔ２、Ｉ、Ｊ）｜ … ｄｎ（Ｉ、Ｊ）＝｜ｆ（ｔ、Ｉ、Ｊ）−ｆ（ｔ−△Ｔｎ、Ｉ、Ｊ）｜ （ステップ２０６）続いて、フレーム間差分された差分
画像に対して２値化処理を施す。２値化しきい値は様々
な設定方法があるが、ここでは予め値を設定しておくと
する。画素値の差の絶対値が、設定したしきい値より大
きければ１に、小さければ０にする。

【００８７】２値化画像に対して、ラベリング処理して
ラベル領域を外接長方形で近似する。

【００８８】ここで、下記の３つの処理を施す。

【００８９】第１に、サイズと位置を検証して、小さな
ラベルや、路面の領域からはみ出した領域を削除するな
どノイズに起因するラベルを削除する処理を施す。

【００９０】第２に、各ラベルの大きさや接続関係や距
離を検証して結合する結合処理も行う。

【００９１】第３に、過去のフレームとのラベル同士の
対応づけを行い、現フレームでの位置を予測して、隠れ
や重なりがおきていることを認識し、領域を分割する処
理も行う。

【００９２】以上の処理をステップ２０６として実行す
る。このステップはフレーム間差分処理手段１０３の内
部で実行される。図６にも基づいて説明すると下記の通
りである。

【００９３】ノイズ除去などが済み整理されたラベル領
域を、外接長方形により近似して位置と大きさのデータ
に加工する。外接長方形の近似処理が済んだ段階が図６
の上段である。

【００９４】図６の上段は、時間間隔が左からそれぞれ
２、４、８フレーム前の比較フレーム画像を模擬してい
る。時間間隔が小さいフレーム間差分画像からは、画像
内の上方の車両Ｃの領域が抽出できていない（図６ａの
上段）。

【００９５】また、時間間隔が中のフレーム差分画像で
は画像内の中央に車両Ｂの領域が出現する（図６ｂの上
段）。

【００９６】さらに、時間間隔が大きいフレーム差分画
像では画像内の下方の車両Ａの領域が膨張して大きな領
域が検出されている（図６ｃの上段）。

【００９７】（ステップ２０７）領域選別手段１０５に
おける処理を説明する。

【００９８】それぞれの抽出領域の底辺の位置を基準と
して、先に説明したように、画像のＪ座標の位置で時間
間隔を場合分けする。

【００９９】例えば２フレームの時間間隔で算出したフ
レーム間差分画像からは、Ｊ＝２４０からＪ＝１９０ま
での領域（第１の領域）に、抽出された矩形の底辺が位
置する矩形（車両Ａ）だけを選別する（図６ａの中段） 同様に４フレームの時間間隔で算出したフレーム間差分
画像からは、Ｊ＝１９０からＪ＝１４０までの領域（第
２の領域）に、抽出された矩形の底辺が位置する矩形
（車両Ｂ）だけを選別する（図６ｂの中段） ８フレームの時間間隔で算出したフレーム間差分画像か
らは、Ｊ＝１４０よりＪ＝０までの領域に、抽出された
矩形の底辺が位置する矩形（車両Ｃ）だけを抽出する
（図６ｃの中段）。

【０１００】ここで、矩形の底辺を判断基準の位置とす
る理由は、高速道路の様に道路を上から見下ろす監視カ
メラで撮影した画像の場合は、その底辺の位置は、車両
の最後方の接地点に対応するからである。（３）式、
（４）式で導いた投影関係式は物体が道路平面上に存在
すると仮定して導かれているので、画像投影位置から空
間中の奥行き位置に変換する場合は、平面上に存在する
点を参照しなければならないからである。もし、車両の
高さのある点を参照した場合は、画像投影点と空間中の
位置との関係が異なり（９）式の関係が成り立たない。

【０１０１】あるいは、何らかの方法で車両中の高さや
前後方向の位置が既知の特徴点を正確に抽出できるのな
らば車両の高さｙｃを（３）式（４）式に代入して投影
関係式を解く方法もあるが、一般的な道路には様々な車
両が通過するので、高さや位置を特定できる特徴点を安
定して抽出することは困難である。

【０１０２】以上をステップ２０７として実行され、こ
れは領域選別手段１０４の中で実行される。

【０１０３】（ステップ２０８）このように適した時間
間隔に従って選別された抽出領域（図６の中段の３つの
図）を統合して１枚分の画像に対応する領域として統合
する。

【０１０４】そして、図６の下段のような最終的な領域
抽出結果が得られる。この画像においては、移動物体で
ある車両Ａ、Ｂ、Ｃが抽出されている。

【０１０５】（ステップ２０９）領域抽出結果を出力手
段１０８で出力して、次の画像入力を待つ。

【０１０６】（移動物体が１つの場合）上記説明では、
車両が３台の場合について説明したが、図７に示すよう
に車両が１台の場合もある。

【０１０７】この場合も上記と同様にその車両が画面中
に存在する領域で比較フレーム画像を選択し、基準フレ
ーム不画像からフレーム間差分画像を生成すればよい。

【０１０８】例えば、図７の場合には、上記説明に基づ
いて３つの領域に分けて判断すると、車両は最下段の領
域に存在するために、２フレーム前の比較フレーム画像
を使用すればよい。

【０１０９】実施例２ 実施例２を図８と図９に基づいて説明する。

【０１１０】実施例２として、領域抽出処理の変更例を
説明する。

【０１１１】領域抽出処理は、フレーム間差分画像を２
値化し、ラベリング処理し、ラベル領域の外接長方形を
抽出し、矩形位置情報を抽出する処理である。

【０１１２】ここでラベリング処理は画像処理の中でも
処理量が多く、画像処理装置としてのリアルタイム性を
実現するためには、処理の簡略化が望まれることが多
い。

【０１１３】このため、画像を入力画像のフルサイズ
（実施例１では３２０×２４０画素としている）をその
まま処理するのでなく、解像度を落として処理すること
を考える。

【０１１４】また、近年の車両形状を考えてみると、流
線形で丸みを帯びている形状が多いなど、車両表面の模
様が少ない車両が存在する。車両表面の模様が少なく滑
らかな場合、車両が移動しても画像上の輝度が見かけ上
は変化しないために、フレーム間差分画像の単純な２値
化では、車両全体が抽出できない場合がある。車両全体
が抽出できないと、車両特徴が先頭部分と後端部分に分
離されることが多い。この様な場合には、解像度を落と
して、画素をブロック化して扱うと車両特徴の分離を防
ぐことができる。例えば、５×５画素を１ブロックとし
て扱い、「ブロック中で輝度変化のあった画素が１つで
も存在したら１ブロック全体が移動物体に属する」、と
すれば、画像特徴の特徴が見かけ上膨張するので（処理
の上では膨張するので）、車両特徴が分離されることは
少なくなる。

【０１１５】このように、画像の解像度を落として処理
をすることは、処理スピードの面からも、車両特徴の分
離防止の面からも有利であるが、位置精度に関していえ
ば、出力する値がブロック単位になるので位置精度が悪
化するという問題がある。

【０１１６】そこで実施例２では、位置精度を悪化させ
ること無く、ブロック化の利点を生かすことのできる方
法について説明する。

【０１１７】図８は、領域抽出処理の変更例の処理の流
れを示した図である。

【０１１８】（ステップ７０１）ステップ７０１の様に
複数の時間間隔をもって２フレームの画像が入力され、
フレーム間差分処理が行われる。図８では、１つの時間
間隔の処理を代表して図示している。

【０１１９】（ステップ７０２）フレーム間差分画像を
２値化するとステップ７０２の様に、車両特徴が分離さ
れる場合がある。

【０１２０】（ステップ７０３）ここで、ステップ７０
３のように低い解像度の処理と高い解像度の処理に分離
する。

【０１２１】低い解像度の処理は、フレーム間差分の画
素を例えば５×５のブロックに区切り、ブロック内の画
素が１つでも変化領域と判定されたならブロック全体が
変化領域であると判定し、低い解像度の２値化画像を生
成していく。

【０１２２】高い解像度の処理は、車両位置の特にＪ軸
方向の位置の精度が元の画像の解像度で抽出されるよう
に付け加えた処理である。具体的には高い解像度でＪ軸
方向にデータが詳しいプロファイルデータを作成する。

【０１２３】図９に、高解像度のプロファイルデータ作
成方法の模式図を示している。図９上段がフレーム間差
分画像を２値化した画像であり、黒い画素が「変化領
域」であり、白い画素が「非変化領域」を示している。

【０１２４】図９下段左の、低解像度の２値化画像の生
成方法は既に説明した通りである。画素の解像度が低く
なっているので、領域の形と外形が膨張した状態になっ
ている。

【０１２５】図９下段右は、高解像度のプロファイルデ
ータである。ブロック内のそれぞれの行（縦１画素、横
５画素の領域）に対して、変化領域の画素数を数え当該
画素数を内容とするプロファイルデータを作成してい
る。横方向（Ｉ軸方向）のデータは圧縮されたために位
置情報が欠落しているが、縦方向（Ｊ軸方向）のデータ
は元の解像度のまま残っている。例えば、図９下段右の
情報があれば、領域は図９上段の解像度で言えば、上か
ら３番目の画素位置から始まり、上から９番目の画素位
置まで領域が存在する、ということが分かる。

【０１２６】（ステップ７０４）続いて、低い解像度の
２値化画像に対してラベリング処理を行い、外接長方形
を抽出する。解像度が落ちているので、車両特徴は分離
されず１台の車両が１つの領域として抽出されている。
しかし、Ｉ軸方向にもＪ軸方向にも位置精度は元の画像
より悪化している。

【０１２７】（ステップ７０５）高解像度のプロファイ
ルデータを参照し、Ｊ軸方向に関する抽出矩形の位置精
度を精緻化する。ステップ７０４で得られた外接長方形
の上底及び下底の画素位置に相当するプロファイルデー
タを参照すれば、膨張した分を修正して精密に領域位置
を合わせることができる。

【０１２８】なお、実施例２の方法をとると、Ｊ軸方向
の位置精度は元の画像の解像度で抽出できるが、Ｉ軸方
向の位置精度は低い解像度のままである。この点を次に
考察する。

【０１２９】交通流監視装置の目的を考えると、最も基
本的で正確な出力が求められるのは、台数カウントと個
別車両の走行速度である。画像処理によって車両の速度
を計測するには、画像中で車両の位置を抽出し、それを
空間中の位置に変換し、移動距離と移動時間によって速
度を算出することになる。このとき、重要なのは空間中
の車両の、特に進行方向の位置である。車両の進行方向
の位置を算出するには、画像中のＪ座標の位置が必要で
ある。Ｉ座標の位置は走行車線の識別に必要であるが速
度算出のためにはそれほど有効なデータではない。

【０１３０】従ってＪ軸方向の位置精度が重要である。
そのために、実施例２で説明した方法であれば、領域抽
出処理を簡略化しながらＪ軸方向の精度は十分な出力が
獲得できる。

【０１３１】変更例 （変更例１−１）上記実施例では、比較フレーム画像
は、現在時刻を基準にして過去のフレーム画像を使用し
た。しかし、本発明のポイントは、フレーム間差分処理
の対象となる２枚の画像のフレーム間隔を効果的に設定
するということであり、二つの画像を抽出する方法はこ
れに限られたものではない。

【０１３２】上記の実施例ではフレーム間差分処理を以
下の形式で実行した。

【０１３３】 ｄ１（Ｉ，Ｊ）＝｜ｆ（ｔ，Ｉ，Ｊ）−ｆ（ｔ−ΔＴ１，Ｉ，Ｊ）｜ ｄ２（Ｉ，Ｊ）＝｜ｆ（ｔ，Ｉ，Ｊ）−ｆ（ｔ−ΔＴ２，Ｉ，Ｊ）｜ …… ｄｎ（Ｉ，Ｊ）＝｜ｆ（ｔ，Ｉ，Ｊ）−ｆ（ｔ−ΔＴｎ，Ｉ，Ｊ）｜ 上記の例では、現在時刻ｔの画像ｆ（ｔ）を基準画像と
して、ｆ（ｔ−ΔＴ１），ｆ（ｔ−ΔＴ２）のように過
去のフレームとの差分をとっている。

【０１３４】これに対して、以下のように現在時刻ｔに
対する未来のフレームとの差分をとる方法がある。

【０１３５】これを（変更例１−１）とする。

【０１３６】 ｄ１（Ｉ，Ｊ）＝｜ｆ（ｔ，Ｉ，Ｊ）−ｆ（ｔ＋ΔＴ１，Ｉ，Ｊ）｜ ｄ２（Ｉ，Ｊ）＝｜ｆ（ｔ，Ｉ，Ｊ）−ｆ（ｔ＋ΔＴ２，Ｉ，Ｊ）｜ …… ｄｎ（Ｉ，Ｊ）＝｜ｆ（ｔ，Ｉ，Ｊ）−ｆ（ｔ＋ΔＴｎ，Ｉ，Ｊ）｜ 上記の例の場合は、現在時刻に対して、結果がΔＴｎに
相当する時間だけ遅れて出力されるというデメリットが
ある。しかし、この例の場合は以下のメリットがある。

【０１３７】フレーム間差分は２つの画像の差分をとる
ので、抽出される車両領域は、２つの画像のそれぞれの
車両領域の論理和の領域が抽出される。例えば、第１の
実施例のように基準時刻の画像（フレーム）ｆ（ｔ）と
過去の画像（フレーム）ｆ（ｔ−ΔＴ）を利用した場
合、フレーム間差分画像から抽出される車両領域は、フ
レームｆ（ｔ）とｆ（ｔ−ΔＴ）の二つの画像の車両領
域が結合して一つになった領域になる。

【０１３８】フレームｆ（ｔ−ΔＴ）に比べてフレーム
ｆ（ｔ）内の車両は前方に進行しているので（なぜなら
時間が進行しているから）、抽出される車両領域の底辺
位置（最後方の端点の接地点）はｆ（ｔ−ΔＴ）の車両
領域の底辺位置に相当する。従って、フレーム間差分処
理によって抽出される車両位置の底辺位置は、第１の実
施例に従えばそれぞれｄ１．ｄ２・・・ｄｎは、 ｆ（ｔ−ΔＴ１） ｆ（ｔ−ΔＴ２） …… ｆ（ｔ−ΔＴｎ） の時刻における車両位置の底辺位置が抽出されることに
なる。

【０１３９】一方、基準時刻に対して未来の画像を使用
する（変更例１−１）では、フレームｆ（ｔ）に比べて
フレームｆ（ｔ＋ΔＴ）内の車両は前方に進行している
ので、抽出される車両領域の底辺位置はｆ（ｔ）の車両
領域の底辺位置に相当する。従って、フレーム間差分処
理によって抽出される車両位置の底辺位置は、（変更例
１−１）に従えばそれぞれｄ１．ｄ２・・・ｄｎは、 ｆ（ｔ） ｆ（ｔ） …… ｆ（ｔ） の時刻における車両位置の底辺位置が抽出されることに
なる。

【０１４０】３次元空間中での車両の速度を計算する場
合は、車両の最後方の端点の接地点の位置を画像中で正
確に抽出することが重要であるが、このように（変更例
１−１）に従えば基準時刻における位置が抽出できるこ
とになる。これが（変更例１−１）のメリットである。

【０１４１】なお、このように基準時刻に対して未来の
画像を使う方法は、画像系列を蓄積するリングバッファ
があればハードウェア的には問題なく実現できる。

【０１４２】（変更例１−２）さらに、以下のように現
在時刻ｔに対して、未来のフレームと過去のフレームを
組み合わせて差分をとる方法がある。これを（変更例１
−２）とする。

【０１４３】 ｄ１(Ｉ，Ｊ)＝ ｜ｆ｛ｔ−（ΔT1）／２，Ｉ，Ｊ｝−ｆ｛ｔ＋（ΔT1）／２，Ｉ，Ｊ｝｜ ｄ２(Ｉ，Ｊ)＝ ｜ｆ｛ｔ−（ΔT2）／２，Ｉ，Ｊ｝−ｆ｛ｔ＋（ΔT2）／２，Ｉ，Ｊ｝｜ …… ｄｎ(Ｉ，Ｊ)＝ ｜ｆ｛ｔ−（ΔTn）／２，Ｉ，Ｊ｝−ｆ｛ｔ＋（ΔTn）／２，Ｉ，Ｊ｝｜ （変更例１−２）では、基準時刻に対して過去と未来に
均等に時間間隔を割り振るので、リングバッファやハー
ドウェアの構成によってはアドレッシングが有利になる
場合がある。また、第１の実施例や変更例（変更例１−
１）と違い、それぞれのフレームを１度ずつしか使用し
ないので、そういう意味でもハードウェア構成に有利に
なる場合がある。また、フレーム間差分により抽出され
る車両領域は、２つの画像のそれぞれの車両領域の論理
和の領域であるので、車両領域の中心位置を車両位置デ
ータとして処理する場合は（変更例１−２）が有効であ
る。

【０１４４】（変更例１−２）のように基準時刻の車両
位置を抽出するのに、基準時刻の画像は必ずしも使用す
る必要はない。

【０１４５】なお、（変更例１−１）や（変更例１−
２）の他にも、フレーム間隔を保ちながら、フレーム間
差分を施す画像を様々に選択することが可能である。

【０１４６】（変更例２）上記実施例では、道路上をほ
ぼまっすぐ走る車両を移動物体としたが、カメラが固定
されていれば移動物体は直線運動に限らず、その他の３
次元空間中の任意の運動をしていてもよい。

【０１４７】例えば、カメラを中心として円運動をして
いる移動物体の場合には、円運動の方程式を考慮して
（９）式を作成すれば、その移動物体が抽出できる。

【０１４８】また、移動物体がジェットコースターのよ
うに上下運動をしつつ蛇行して前進するような３次元空
間中の運動をする場合には、その運動方程式に基づいて
抽出すればよい。

【０１４９】（変更例３）上記実施例では、交通監視シ
ステムに応用した例を説明したが、本発明は、これに限
らず、コンビニエンスストアーなどの店内の監視システ
ムに応用してもよい。

【０１５０】具体的には、カメラを天井に固定して、下
方を撮影するようにすれば、上記実施例と同様にして移
動物体（人物）を抽出できる。

【０１５１】

【発明の効果】以上説明したように、本発明によれば、
移動物体のカメラからの距離の違いにより、画像中での
移動物体の見かけ上の移動量が異なることを利用して、
少なくとも２種類の差分時間間隔の異なるフレーム間差
分画像を利用することで、カメラ近傍の移動物体から遠
方の移動物体までを安定して抽出することができる。し
かも候補領域の過剰な膨張はない。

【０１５２】また、フレーム間差分処理を利用している
ので、季節、天気、時間などの環境変化に対して頑強で
あり、単一の調整値で安定して候補領域を抽出できる。

【０１５３】さらに、移動物体の候補領域を正確に抽出
できることから、監視領域を通過する移動物体の数、個
別速度の計測、走行軌跡の記録などが可能になる。

【０１５４】そのために、例えば、交通量諸量の計測を
可能にし、交通流の乱れを認識したり、突発事象の検出
を行うシステムを構成できる。そして、ＩＴＳ、ＡＨ
Ｓ、といった知的な高度交通システムには、交通流を認
識するセンシング装置が欠かせない要素であり、特に画
像処理技術を用いたセンシング装置が実用上最も有効で
ある。したがって、本発明は、例えば、ＩＴＳ、ＡＨＳ
などのシステムにも適用できるなどの実用上多大な効果
がある。

【図面の簡単な説明】

【図１】移動物体抽出装置の全体構成図である。

【図２】同じく全体の処理の流れである。

【図３】入力画像の模式図である。

【図４】監視カメラと平面の関係を示す図である。

【図５】画像中の位置と最適な時間間隔の関係である。

【図６】領域統合処理の説明図である。

【図７】車両が１台の場合の入力画像の模式図である。

【図８】領域抽出処理の変更例である。

【図９】プロファイルデータ作成方法の模式図である。

【符号の説明】

１０１…画像入力手段 １０２…画像系列記憶手段 １０３…フレーム間差分処理手段 １０４…領域選別手段 １０５…領域統合手段 １０６…出力手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小野口 一則 兵庫県神戸市東灘区本山南町８−６−26 株式会社東芝関西研究センター内 Ｆターム(参考） 5B057 AA16 BA02 CA08 CA12 CA16 CB08 CB12 CB16 CC03 CD07 CE08 CE12 DA08 DA16 DB02 DB08 DC30 DC32 5L096 AA06 BA02 CA04 CA22 DA04 EA03 EA43 FA18 FA66 FA69 GA08 GA26 GA34 HA03

Claims (13)

【特許請求の範囲】
1. 【請求項１】固定されたカメラから一、または、複数の
   移動物体を撮影し、この撮影した画像から基準時刻にお
   ける前記移動物体を抽出するための移動物体抽出装置で
   あって、 前記カメラからの連続フレーム画像を記憶する画像記憶
   手段と、 前記画像記憶手段に記憶されている連続フレーム画像の
   中から基準時刻における基準フレーム画像を選ぶ基準フ
   レーム画像選択手段と、 基準時刻とは撮影時刻がそれぞれ異なる少なくとも２種
   類のフレーム画像である比較フレーム画像を前記画像記
   憶手段に記憶されている連続フレーム画像の中から取り
   出し、これら複数の比較フレーム画像と前記基準フレー
   ム画像選択手段で選択した基準フレーム画像との差分を
   とって、基準時刻と撮影時刻との差である差分時間間隔
   が異なるフレーム間差分画像をそれぞれ生成し、これら
   複数のフレーム間差分画像から前記移動物体が存在する
   候補領域をそれぞれ抽出するフレーム間差分処理手段
   と、 前記フレーム間差分処理手段で抽出した複数のフレーム
   間差分画像の中で、前記移動物体の見かけ上の移動量が
   一定値以上であるという第１の条件と、前記複数のフレ
   ーム間差分画像の候補領域の中から高い位置精度を有す
   るという第２の条件とを満たす候補領域を、一つの移動
   物体に対して一つ選別する領域選別手段と、 前記領域選別手段によって選別された候補領域に基づい
   て、基準時刻に存在する前記一、または、複数の移動物
   体を表す画像を生成する領域統合手段と、 を有することを特徴とする移動物体抽出装置。
2. 【請求項２】固定されたカメラから一、または、複数の
   移動物体を撮影し、この撮影した画像から基準時刻にお
   ける前記移動物体を抽出するための移動物体抽出装置で
   あって、 前記カメラからの連続フレーム画像を記憶する画像記憶
   手段と、 前記画像記憶手段に記憶されている連続フレーム画像の
   中から基準時刻を挟んで２枚のフレーム画像を１組とす
   る比較フレーム組画像を選択するものであって、この場
   合に２枚のフレーム画像の撮影時刻の時間間隔が異なる
   複数組の比較フレーム組画像を選択する比較フレーム組
   画像選択手段と、 前記比較フレーム組画像選択手段によって選択した複数
   組の比較フレーム組画像における２枚のフレーム画像の
   差分をそれぞれとって、その差分時間間隔が異なるフレ
   ーム間差分画像をそれぞれ生成し、これら複数のフレー
   ム間差分画像から前記移動物体が存在する候補領域をそ
   れぞれ抽出するフレーム間差分処理手段と、 前記フレーム間差分処理手段で抽出した複数のフレーム
   間差分画像の中で、前記移動物体の見かけ上の移動量が
   一定値以上であるという第１の条件と、前記複数のフレ
   ーム間差分画像の候補領域の中から高い位置精度を有す
   るという第２の条件とを満たす候補領域を、一つの移動
   物体に対して一つ選別する領域選別手段と、 前記領域選別手段によって選別された候補領域に基づい
   て、基準時刻に存在する前記一、または、複数の移動物
   体を表す画像を生成する領域統合手段と、 を有することを特徴とする移動物体抽出装置。
3. 【請求項３】前記移動物体が平面上を移動する場合に
   は、 前記領域選別手段は、 前記平面と前記カメラ間の関係と、前記移動物体の推定
   速度と、前記平面上の前記移動物体の位置から前記画像
   上の位置への投影関係とから、前記画像中の前記移動物
   体の見かけ上の移動量が一定値以上になるための差分時
   間間隔である選別時間間隔を算出する選別時間間隔算出
   手段と、 前記フレーム間差分処理手段において生成されたフレー
   ム間差分画像の差分時間間隔と前記選別時間間隔とを比
   較して、前記選別時間間隔より長い差分時間間隔を有す
   るフレーム間差分画像を選択し、この選択したフレーム
   間差分画像が前記第１の条件を満たすものであると判断
   する第１条件判断手段と、 を有することを特徴とする請求項１、２記載の移動物体
   抽出装置。
4. 【請求項４】前記領域選別手段は、 前記フレーム間差分処理手段において生成したフレーム
   間差分画像における差分時間間隔の最も短いフレーム間
   差分画像から抽出された候補領域を、前記第２の条件を
   満たすものであると判断する第２条件判断手段を有する
   ことを特徴とする請求項１、２、３記載の移動物体抽出
   装置。
5. 【請求項５】前記領域選別手段は、 前記候補領域の底辺を基準に、前記第１の条件、また
   は、前記第２の条件を判断することを特徴とする請求項
   １、２，３、４記載の移動物体抽出装置。
6. 【請求項６】前記領域選別手段は、 前記カメラと前記移動物体との距離が大きい場合には差
   分時間間隔の長いフレーム間差分画像に基づいて前記移
   動物体の候補領域を抽出し、 前記カメラと前記移動物体との距離が小さい場合には差
   分時間間隔の短いフレーム間差分画像に基づいて前記移
   動物体の候補領域を抽出することにより、 前記第１条件を満たすフレーム間差分画像を選別するこ
   とを特徴とする請求項１、２記載の移動物体抽出装置。
7. 【請求項７】前記移動物体が平面上を移動し、かつ、前
   記カメラが前記平面より上方で、前記移動物体の進行方
   向を後方から撮影する角度に据え付けられている場合
   は、 前記領域選別手段は、 前記画像上方にあたる前記カメラから遠方の領域は差分
   時間間隔が長いフレーム間差分画像を抽出し、 前記画像下方にあたる前記カメラから近傍の領域は差分
   時間間隔が短いフレーム間差分画像を抽出することによ
   り、 前記第１条件を満たすフレーム間差分画像を選別するこ
   とを特徴とする請求項１、２記載の移動物体抽出装置。
8. 【請求項８】前記移動物体が３次元空間中を任意に運動
   している場合には、 前記領域選別手段は、 前記カメラを中心とした前記移動物体の運動状態を示す
   運動方程式と、前記移動物体の位置から前記画像上の位
   置への投影関係とから、前記画像中の前記移動物体の見
   かけ上の移動量が一定値以上になるための差分時間間隔
   である選別時間間隔を算出する選別時間間隔算出手段
   と、 前記フレーム間差分処理手段において生成されたフレー
   ム間差分画像の差分時間間隔と前記選別時間間隔とを比
   較して、前記選別時間間隔より長い差分時間間隔を有す
   るフレーム間差分画像を選択し、この選択したフレーム
   間差分画像が前記第１の条件を満たすものであると判断
   する第１条件判断手段と、 を有することを特徴とする請求項１、２記載の移動物体
   抽出装置。
9. 【請求項９】前記フレーム間差分処理手段が、前記フレ
   ーム差分画像から前記移動物体の候補領域を抽出する場
   合には、 前記フレーム差分画像の原画像の解像度を落として２値
   化ラベリング処理を行い、候補領域の位置を抽出し，空
   間中の奥行き方向の位置を算出するためのデータの解像
   度は維持し、空間中の左右方向の位置を算出するための
   データの解像度は圧縮して、前記候補領域の精密な位置
   が抽出できるプロファイルデータを作成し、 解像度を落として抽出した前記車両領域の位置を、前記
   プロファイルデータで精緻化して前記移動物体の候補領
   域とすることを特徴とする請求項１、２記載の移動物体
   抽出装置。
10. 【請求項１０】固定されたカメラから一、または、複数
    の移動物体を撮影し、この撮影した画像から基準時刻に
    おける前記移動物体を抽出するための移動物体抽出方法
    であって、 前記カメラからの連続フレーム画像を記憶する画像記憶
    ステップと、 前記画像記憶ステップに記憶されている連続フレーム画
    像の中から基準時刻における基準フレーム画像を選ぶ基
    準フレーム画像選択ステップと、 基準時刻とは撮影時刻がそれぞれ異なる少なくとも２種
    類のフレーム画像である比較フレーム画像を前記画像記
    憶ステップに記憶されている連続フレーム画像の中から
    取り出し、これら複数の比較フレーム画像と前記基準フ
    レーム画像選択ステップで選択した基準フレーム画像と
    の差分をとって、基準時刻と撮影時刻との差である差分
    時間間隔が異なるフレーム間差分画像をそれぞれ生成
    し、これら複数のフレーム間差分画像から前記移動物体
    が存在する候補領域をそれぞれ抽出するフレーム間差分
    処理ステップと、 前記フレーム間差分処理ステップで抽出した複数のフレ
    ーム間差分画像の中で、前記移動物体の見かけ上の移動
    量が一定値以上であるという第１の条件と、前記複数の
    フレーム間差分画像の候補領域の中から高い位置精度を
    有するという第２の条件とを満たす候補領域を、一つの
    移動物体に対して一つ選別する領域選別ステップと、 前記領域選別ステップによって選別された候補領域に基
    づいて、基準時刻に存在する前記一、または、複数の移
    動物体を表す画像を生成する領域統合ステップと、 を有することを特徴とする移動物体抽出方法。
11. 【請求項１１】固定されたカメラから一、または、複数
    の移動物体を撮影し、この撮影した画像から基準時刻に
    おける前記移動物体を抽出するための移動物体抽出方法
    であって、 前記カメラからの連続フレーム画像を記憶する画像記憶
    ステップと、 前記画像記憶ステップに記憶されている連続フレーム画
    像の中から基準時刻を挟んで２枚のフレーム画像を１組
    とする比較フレーム組画像を選択するものであって、こ
    の場合に２枚のフレーム画像の撮影時刻の時間間隔が異
    なる複数組の比較フレーム組画像を選択する比較フレー
    ム組画像選択ステップと、 前記比較フレーム組画像選択ステップによって選択した
    複数組の比較フレーム組画像における２枚のフレーム画
    像の差分をそれぞれとって、その差分時間間隔が異なる
    フレーム間差分画像をそれぞれ生成し、これら複数のフ
    レーム間差分画像から前記移動物体が存在する候補領域
    をそれぞれ抽出するフレーム間差分処理ステップと、 前記フレーム間差分処理ステップで抽出した複数のフレ
    ーム間差分画像の中で、前記移動物体の見かけ上の移動
    量が一定値以上であるという第１の条件と、前記複数の
    フレーム間差分画像の候補領域の中から高い位置精度を
    有するという第２の条件とを満たす候補領域を、一つの
    移動物体に対して一つ選別する領域選別ステップと、 前記領域選別ステップによって選別された候補領域に基
    づいて、基準時刻に存在する前記一、または、複数の移
    動物体を表す画像を生成する領域統合ステップと、 を有することを特徴とする移動物体抽出方法。
12. 【請求項１２】固定されたカメラから一、または、複数
    の移動物体を撮影し、この撮影した画像から基準時刻に
    おける前記移動物体を抽出するための移動物体抽出方法
    を実現できるプログラムを記録した記録媒体であって、 前記カメラからの連続フレーム画像を記憶する画像記憶
    機能と、 前記画像記憶機能に記憶されている連続フレーム画像の
    中から基準時刻における基準フレーム画像を選ぶ基準フ
    レーム画像選択機能と、 基準時刻とは撮影時刻がそれぞれ異なる少なくとも２種
    類のフレーム画像である比較フレーム画像を前記画像記
    憶機能に記憶されている連続フレーム画像の中から取り
    出し、これら複数の比較フレーム画像と前記基準フレー
    ム画像選択機能で選択した基準フレーム画像との差分を
    とって、基準時刻と撮影時刻との差である差分時間間隔
    が異なるフレーム間差分画像をそれぞれ生成し、これら
    複数のフレーム間差分画像から前記移動物体が存在する
    候補領域をそれぞれ抽出するフレーム間差分処理機能
    と、 前記フレーム間差分処理機能で抽出した複数のフレーム
    間差分画像の中で、前記移動物体の見かけ上の移動量が
    一定値以上であるという第１の条件と、前記複数のフレ
    ーム間差分画像の候補領域の中から高い位置精度を有す
    るという第２の条件とを満たす候補領域を、一つの移動
    物体に対して一つ選別する領域選別機能と、 前記領域選別機能によって選別された候補領域に基づい
    て、基準時刻に存在する前記一、または、複数の移動物
    体を表す画像を生成する領域統合機能と、 を実現できるプログラムを記録したことを特徴とする移
    動物体抽出方法の記録媒体。
13. 【請求項１３】固定されたカメラから一、または、複数
    の移動物体を撮影し、この撮影した画像から基準時刻に
    おける前記移動物体を抽出するための移動物体抽出方法
    を実現できるプログラムを記録した記録媒体であって、 前記カメラからの連続フレーム画像を記憶する画像記憶
    機能と、 前記画像記憶機能に記憶されている連続フレーム画像の
    中から基準時刻を挟んで２枚のフレーム画像を１組とす
    る比較フレーム組画像を選択するものであって、この場
    合に２枚のフレーム画像の撮影時刻の時間間隔が異なる
    複数組の比較フレーム組画像を選択する比較フレーム組
    画像選択機能と、 前記比較フレーム組画像選択機能によって選択した複数
    組の比較フレーム組画像における２枚のフレーム画像の
    差分をそれぞれとって、その差分時間間隔が異なるフレ
    ーム間差分画像をそれぞれ生成し、これら複数のフレー
    ム間差分画像から前記移動物体が存在する候補領域をそ
    れぞれ抽出するフレーム間差分処理機能と、 前記フレーム間差分処理機能で抽出した複数のフレーム
    間差分画像の中で、前記移動物体の見かけ上の移動量が
    一定値以上であるという第１の条件と、前記複数のフレ
    ーム間差分画像の候補領域の中から高い位置精度を有す
    るという第２の条件とを満たす候補領域を、一つの移動
    物体に対して一つ選別する領域選別機能と、 前記領域選別機能によって選別された候補領域に基づい
    て、基準時刻に存在する前記一、または、複数の移動物
    体を表す画像を生成する領域統合機能と、 を実現できるプログラムを記録したことを特徴とする移
    動物体抽出方法の記録媒体。