JP2007280387A - 物体移動の検出方法及び検出装置 - Google Patents

Abstract

【課題】 本発明によれば、事前に物体のタイプの知識（形状または他の性質）の習得、物体の確認、膨大な計算時間または大きい計算手段などを必要とせず、イメージ画像を処理し、風景内での物体の移動を検出することが可能である。
【解決手段】 本発明は、カメラ（１）によって撮像された複数の風景イメージ（２１）に対して逆透視マッピングを実施することによって、風景内静止物体にまつわる所定の情報や変換イメージの対応ピクセル間の色強度変化に基づいて移動マップ（２６）が作成され、このマップによって、移動物体の位置を示すことが可能な物体移動の検出方法及び検出装置である。
【選択図】 図８

Description

本発明は、画像取得装置によって撮像されたイメージ画像に基づいた、物体移動の検出および位置の検出に関するものである。

撮像されたイメージ画像の処理を行うことによる、風景（三次元空間領域）内での物体の移動のリアルタイムでの検出及びその位置の検出は、需要が高まっている分野である。特に、画像取得装置が風景に対して移動可能である（例えば、赤外線などの可視線または不可視線において操作することができる）、例えば、部品の動きを監視し、ロボットの移動範囲内の障害物を検出するもの、重要区域におけるビデオ監視（侵入の検出など、特にセキュリティーに関するもの）、衝突可能性検出システム、および運転者支援システム（駐車支援など）を用いた車両安全に関する分野などに幅広く適応される。

特に車両の安全に関する分野では、画像の取得・処理を行う必要性が高まってきている。本発明はこの分野に限定されるものではなく、他の分野、特に上記したものなどにも適用されるものであるが、以下においては、主に車両の安全に関する分野について考察するものである。

車両の安全に関する分野の一例として、IMRA-Europeによって開発された非特許文献１の駐車支援システム（PAS）が挙げられる。このシステムは、車載CCDカメラによって、風景に対する車両の異なる位置の複数画像を取得し、その画像に基づき車両周辺風景を３Dイメージで再現することを可能とするシステムである。しかしこのシステムにおいては、車両の移動が必要であり、風景内の物体は静止していなければならなく、物体が風景に対して移動すると干渉が起きやすい。

移動可能な画像取得装置からの物体の移動の検出は、多大な研究活動が必要となる分野であり、大きな問題としては、実際の移動であるか、または画像取得装置と取得イメージとの間の相対移動による移動であるかを区別することが困難であることが挙げられる。

風景内の物体の移動を検出するする既知の方法としては、第１の方法グループと第２の方法グループを有するものが挙げられる。第１の方法グループは、風景内で移動エリアを検出し、その後ノイズを除去するために、その移動エリアを統合する。これは２つの手段によって行われている。

第１の手段としては、固定カメラを用いるビデオ監視システムに適用されるものであり、固定カメラによって取得された複数イメージ画像の相違と、今回の画像と前回の画像の間の相違、または今回の画像と背景画像（時間経過にともない蓄積された画像）との相違に基づくものである。しかしながら、この第１手段は、多くの適用において一般的であることだが、風景に対して移動するカメラが、非常に近い風景を撮像する場合、正確な処理がなされない。

その他の手段としては、オプティカルフロークラスタ化方法が挙げられる。この方法は風景内での物体の実移動と、単にカメラが風景に対して移動したことによって起きる物体の移動との区別を図るものである。具体的には、例えば、非特許文献２に記載の方法が挙げられる。これらの方法によって、カメラが移動している際の処理を可能とするもので、単にカメラの移動による見かけ上の物体の移動によって起こるオプティカルフローに基づく相違によって算出された、風景に対する物体の移動の処理を行うものであり、その物体というのは、風景に対するカメラの移動と関連する、明確に確定された方向を指すオプティカルフローを有している風景（たとえば地面）に対して静止した物体であり、それぞれが違った方向を指すオプティカルフローを有する風景に対して移動する物体である。しかしながら、これらオプティカルフロークラスタ化方法は、膨大な画像を一致させたりするために多大な計算時間が必要であるという欠点がある。

風景内の物体の移動を検出する第２の方法のグループは、特定物（例えば、車や歩行者）の移動を検出することにもとづくものである。これら方法は、形状認識に基づいて行われ、風景中の特定の物体の移動を追跡するために用いられたりする（特許文献１）。物体検出に関する新しいトレンドとしては、特定物の特徴を探すことに主眼を置く方法の導入があり、例えば、人物の歩行を認識するものが挙げられる (特許文献２）。さらに垂直エッジとシンメトリー（非特許文献３）、そして遺伝アルゴリズムに基づいて展開されテクスチャのもしくは性質の相違（非特許文献４）などが挙げられる。このようにして得られた性質は、ニュートラルネットワークまたはサポートベクターマシーン（SVM）によって統合される。

移動物体（または形状）を事前に把握していない場合や、映された物体の形が、近距離で物体を撮像したために、広角レンズカメラで撮影したかのごとく画像が歪んでしまっている場合などには、上記の方法は適切ではない。

公知の方法のなかには、インバースパースペクティブマッピング（IPM）を用いて物体の移動を検出するものもある（非特許文献５）。この方法では、まず初めに透視エフェクトを除去するように、オプティカルフロークラスタ式の方法と一緒に、このように変換されたイメージを分析し、移動を検出するために、風景のイメージを変換する。しかしながら、これら方法は、オプティカルフロークラスタ化の際に、上述したような欠点があるため、例えば下記の記事に述べられている方法に当てはまる(非特許文献６）。

また、特許文献３にて開示されている発明のように、物体の移動を認識するために、１つの風景を同時に２方向から撮像するために、２つのカメラが必要であるなどの不利な点がある。
国際公開第２００５/０９８７３９号パンフレット 国際公開第２００５/０５０５６５号パンフレット 欧州特許第３６０８８０号明細書 K.Finzel, R.Bendahan, C.Vestri, S.Bougnoux and T.Kakinami, "３D Parking Assistant System", １１th World Congress on Intelligent Transport Systems, Nagoya, Japan, ２００４ G.Lefaix, E.Marchand, P.Bouthemy, "Motion-based Obstacle Detection and Tracking for Car Driving Assistance", 国際パターン認識連盟会報, ICPR ２００２, Vol.４, p. ７４-７７, ケベック州, カナダ, ２００２年８月 A.Broggi et al., "A Multi-Resolution Approach for Infrared Vision-Based Pedestrian Detection", IEEE Intelligent Vehicle Symposium, p.７-１２, ２００４ Y.Abramson, B.Steux, "Hardware-friendly pedestrian detection and impact prediction", Proceedings of IEEE Intelligent Vehicle Symposium, June ２００４を参照のこと） W.M.Newman, R.F.Sproul, "Principles of Interactive Computer Graphics", McGraw-Hill, Tokyo, １９８１） H.A.Mallot, H.H.Buthoff, J.J.Little, S.Bohrer: "Inverse perspective mapping simplifies optical flow computation and obstacle detection", Biological Cybernetics ６４, p.１７７-１８５, １９９１

本発明は、上記問題点を解決するものであり、事前に物体のタイプの知識（形状または他の性質）の習得、物体の確認、膨大な計算時間または大きい計算手段などを必要とせず、イメージ画像を処理し、風景内での物体の移動を検出することが可能な物体移動の検出方法及び検出装置を提供するものである。

（１）基準面に対して移動可能なカメラ（１）によって撮像された複数の風景イメージ画像の演算装置による処理に基づく、基準面の一部を含む風景内（６）の物体移動の検出方法で、基準面の一部の形状と位置に関する基準面データが演算装置のメモリに格納され、カメラの姿勢と、カメラによって撮像され演算装置に送信された風景の各イメージ画像に対して定められたキャリブレーションパラメータが演算装置のメモリに格納され、演算装置は風景内で検出された基準面の一部に対して静止している物体に関する静止物体データを受信可能で、この静止物体データをメモリに格納し、格納されたデータを出力可能である物体移動の検出方法において、演算装置によって実行される、基準面の一部に関して、メモリ内に格納された基準面データ、対応するカメラの姿勢、キャリブレーションパラメータを用いて、カメラによって撮像され、演算装置に送信される、風景内の複数の連続するイメージ（２１）において、複数の対応する変換イメージを求めるために、逆透視マッピングを実行するステップ（ａ）と、各検出静止物体（１０）に対して、メモリ内に格納された静止物体データと対応するカメラの姿勢パラメータに基づいて、この静止物体によってカメラに対してマスクされる対応する変換イメージエリア（１２）を決定し、このエリアをマスクする工程を実行し、この決定されマスクされたエリアを考慮し、ピクセルによって構成される移動マップを算出し、各ピクセルは、ステップ（ａ）において求められた変換イメージ内の対応ピクセル間の色強度の変化に基づいた基準面の一部に関する、物体の移動の存在に関連しているようなステップ（ａ'）を有することを特徴とする物体移動の検出方法。

（２）ステップ (a') はさらに、移動が行われている見込み値を、ステップ（ａ）において求められた変換イメージから選択された変換イメージ内のピクセルに関連付けをして移動見込みマップを確立し、そのピクセルに対し、ステップ(a)で求められたイメージの中から選択された送信イメージの中の対応ピクセルがイメージごとにほとんど変化しない色強度値を有し、カメラに対してマスクされた各エリアを考慮し、ピクセルに関連付けされた移動見込みは、ステップ（ａ）で求められた最終の変換イメージ内の対応ピクセルの色強度値が高ければ、選択された変換イメージ内の対応ピクセルの色強度値と相違し、各ピクセルは、関連する移動の見込みに依存する移動に関連していると判断される移動見込みマップ内のピクセルに対応するステップを有することを特徴とする上記（１）記載の物体移動の検出方法。

（３）ステップ（a'）はさらに、演算装置によって実行される、選択された変換イメージ内の対応ピクセル間の色強度差が十分小さい時はいつでも、それらに対応した背景マップ内のピクセルに、前記対応ピクセルの平均色強度値に近い有効色強度値を割り当てることで、ステップ（ａ）で求められた複数変換イメージの中から選択された少なくとも２つの変換イメージ内の対応するピクセル間の色強度差を算出することで背景マップ（２５）を決定し、その有効色強度値が割り当てられた各ピクセルは有色ピクセルを構成するステップ（ｂ）と、ステップ（ａ）で求められた、複数の連続する変換イメージのうちの、最後の変換イメージ（２２）上でエリアマスキングオペレーションを行い、求められたエリアマスキングデータをメモリに格納するステップ（ｃ）と、ステップ（ａ）にて求められた複数の変換イメージ内の、最後の変換イメージ、ステップ（ｂ）にて求められた背景マップ、ステップ（ｃ）で求められた対応エリアマスキングデータ、移動見込み値が背景マップ内の有色ピクセルに対する各ピクセルに関連付けされた対応する移動見込みマップに基づいて、背景マップ中の対応する有色ピクセルと、前記最終のイメージ中の対応ピクセルの間の色強度の違いが大きいピクセルに、高い移動見込みを割り当てて、背景マップ中の対応する有色ピクセルと、前記最終のイメージ中の対応ピクセルの間の色強度の違いが小さいピクセルに、低い移動見込みを割り当てて、もしそのピクセルがマスクされたエリアに位置した場合に、このようにしてピクセルに割り当てられた移動の見込みを減少させ、求められた移動見込みマップをメモリに格納するステップ（ｄ）と、ステップ（ｄ）で求められた移動見込みマップにて、各ピクセルの内で関連した範囲が、十分高い移動見込みと関連しているかどうかを判定することで、その移動見込みマップにフィルタ処理を行い、求められたフィルタ処理後移動見込みマップをメモリに格納するステップ（ｅ）と、移動マップを求めるため、前回のステップで判定されたフィルタ処理後移動見込みマップの各関連範囲に対して、所定の移動方向基準に基づいて、この関連範囲が物体の移動の存在と一致するかどうかを決定するステップ（ｆ）を有することを特徴とする上記（１）または（２）に関する物体移動の移動検出方法。

（４）演算装置によって、ステップ（ｅ）で求められた移動マップの各関連範囲に対し、投影された光学的中心の最も近いポイントを決定することで、基準面上のカメラの投影された光学的中心Cの位置の算出に基づき、ステップ（f）にて求められた移動マップ上の基準面のレベルの移動物体の位置を決めるステップ（ｇ）を有し、このようにして決定された各ポイントは移動物体と基準面との接触点に対応することを特徴とする上記（３）に関する物体移動の検出方法。

（５） 物体移動の検出方法はさらにステップ（ｇ）にて求められた時間の経過とともに求められた複数の連続した移動マップに基づき、演算装置を用いて対応する代表点の連続する位置を算出し監視し、これらの代表点の予想位置を決定するステップ（ｈ）を有し、これら代表点のおのおのは、基準面上の移動物体の接触点に対応する請求項４に記載の物体移動の検出方法。

（６）物体移動の検出方法は、さらに演算装置用いて行われる以下のステップ、すなわちステップ（ａ）にて求められた複数の変換イメージの中の最後のイメージの中から、メモリに格納された基準面データに基づいて、基準面の一部に対応するピクセルを検出する検出ステップと、ゼロ異動見込みを、基準面に対応するものとして検出されたピクセルに対応する移動見込みマップの中の各ピクセルに割り当てをする割り当てステップとを有する上記（２）から（５）までのいずれかに記載の物体移動の検出方法。

（７）前記移動検出方法はさらに、演算装置によって実行される、最終の変換イメージ以前に送信されたイメージ内で、基準面の一部に対応するピクセルを検出する検出ステップと高い移動見込みを、ノンゼロ移動見込みを有し以前の変換イメージ内で基準面に属するものとして検出された移動見込みマップ内の各ピクセルに割り当てる割り当てステップを有することを特徴とする上記（６）に記載の物体移動の検出方法。

（８）基準面の一部を有する風景（６）内の物体の移動を検出する装置で、
基準面に対して移動可能で、基準面に関連する基本空間的基準枠内の位置を定義するデータを送信可能である位置センサ（４）を備えるマウントと、マウント（２）に取り付けられ、風景（６）イメージを撮像可能であり、マウントに対する所定の姿勢パラメータと、所定内的キャリブレーションパラメータを有する撮像イメージを送信可能なカメラ（１）と、基準面の一部の形状と位置に関する基準面データと、位置センサ（４）によって送信されたマウントポジションデータと、カメラによって送信されたイメージデータと、マウントと内部カメラキャリブレーションパラメータに関するカメラ姿勢パラメータデータと、外部環境から送信された風景内で検出された静止物体に関する静止物体データを受信可能な演算装置（５）とを有し、演算装置は基本基準枠に関するカメラの姿勢パラメータを算出可能であり、受信イメージデータの処理可能であり、受信・算出データを格納可能であるメモリを有し、格納データを送信可能である検出装置において、演算装置は、複数対応変換イメージを取得するために、基準面の一部に関し、メモリに格納された基準面データ、対応するカメラの姿勢、キャリブレーションパラメータを用いて、カメラより受信した複数の連続する風景のイメージ（２１）の逆透視マッピングの実行を行い（a）、各検出静止物体（１０）に対し、メモリに格納された静止物体データと対応カメラ姿勢パラメータに基づいて、この静止物体によってカメラに対してマスクされる対応変換イメージエリア（１２）を決定し、このエリアのマスクする工程を実行し(a')、ステップ（a）でもとめられた変換イメージの対応ピクセル間の色強度の変化の算出に基づき、決定された各マスクエリアを考慮し、各ピクセルが、基準面の部分に対する物体の移動が存在することに関連するピクセルによって構成される移動マップ（２６）を算出し、移動マップをメモリ内に格納することを有することを特徴とする物体移動の検出装置。

（９）演算装置はさらに、移動が行われている見込み値を、ステップ（ａ）において求められた変換イメージから選択された変換イメージ内のピクセルに関連付けをして移動見込みマップを確立し、そのピクセルに対し、ステップ(a)で求められたイメージの中から選択された送信イメージの中の対応ピクセルがイメージごとにほとんど変化しない色強度値を有し、カメラに対してマスクされた各エリアを考慮し、ピクセルに関連付けされた移動見込みは、ステップ（ａ）で求められた最終の変換イメージ内の対応ピクセルの色強度値が高ければ、選択された変換イメージ内の対応ピクセルの色強度値と相違し、各ピクセルは、関連する移動の見込みに依存する移動に関連していると判断される移動見込みマップ内のピクセルに対応するステップを有することを特徴とする上記（８）記載の物体移動の検出装置。

（１０）演算装置はさらに、選択された変換イメージ内の対応ピクセル間の色強度差が十分小さい時はいつでも、それらに対応した背景マップ内のピクセルに、前記対応ピクセルの平均色強度値に近い有効色強度値を割り当てることで、ステップ（ａ）で求められた複数変換イメージの中から選択された少なくとも２つの変換イメージ内の対応するピクセル間の色強度差を算出することで背景マップ（２５）を決定し、その有効色強度値が割り当てられた各ピクセルは有色ピクセルを構成するステップ（ｂ）と、ステップ（ａ）で求められた、複数の連続する変換イメージのうちの、最後の変換イメージ（２２）上でエリアマスキングオペレーションを行い、求められたエリアマスキングデータをメモリに格納するステップ（ｃ）と、ステップ（ａ）にて求められた複数の変換イメージ内の、最後の変換イメージ、ステップ（ｂ）にて求められた背景マップ、ステップ（ｃ）で求められた対応エリアマスキングデータ、移動見込み値が背景マップ内の有色ピクセルに対する各ピクセルに関連付けされた対応する移動見込みマップに基づいて、背景マップ中の対応する有色ピクセルと、前記最終のイメージ中の対応ピクセルの間の色強度の違いが大きいピクセルに、高い移動見込みを割り当てて、背景マップ中の対応する有色ピクセルと、前記最終のイメージ中の対応ピクセルの間の色強度の違いが小さいピクセルに、低い移動見込みを割り当てて、もしそのピクセルがマスクされたエリアに位置した場合に、このようにしてピクセルに割り当てられた移動の見込みを減少させ、求められた移動見込みマップをメモリに格納するステップ（ｄ）と、ステップ（ｄ）で求められた移動見込みマップにて、各ピクセルの内で関連した範囲が、十分高い移動見込みと関連しているかどうかを判定することで、その移動見込みマップにフィルタ処理を行い、求められたフィルタ処理後移動見込みマップをメモリに格納するステップ（ｅ）と、移動マップを求めるため、前回のステップで判定されたフィルタ処理後移動見込みマップの各関連範囲に対して、所定の移動方向基準に基づいて、この関連範囲が物体の移動の存在と一致するかどうかを決定するステップ（ｆ）を実行することを特徴とする上記（８）に関する物体移動の検出装置。

また、上記課題を解決するものは、以下のとおりである。

演算装置はさらに、ステップ（ｅ）で求められた移動マップの各関連範囲に対し、投影された光学的中心の最も近いポイントを決定することで、基準面上のカメラの投影された光学的中心Cの位置の算出に基づき、ステップ（f）にて求められた移動マップ上の基準面のレベルの移動物体の位置を決めるステップ（ｇ）を実行し、このようにして決定された各ポイントは移動物体と基準面との接触点に対応し、この物体位置データを格納することを特徴とする上記物体移動の検出装置。

また、演算装置はさらに、ステップ（ｇ）にて時間の経過とともに求められた複数の連続した移動マップに基づき、演算装置を用いて対応する代表点の連続する位置を算出し監視し、これらの代表点の予想位置を決定するステップ（ｈ）を実行するものであり、これら代表点のおのおのは、基準面上の移動物体の接触点に対応する上記物体移動の検出装置であることが好ましい。

また、演算装置はさらに、すなわちステップ（ａ）にて求められた複数の変換イメージの中の最後のイメージの中から、メモリに格納された基準面データに基づいて、基準面の一部に対応するピクセルを検出し、ゼロ異動見込みを、基準面に対応するものとして検出されたピクセルに対応する移動見込みマップの中の各ピクセルに割り当てをする割り当て、このように変更された移動マップメモリに格納する上記の物体移動の検出装置であることが好ましい。

また、演算装置はさらに、最終の変換イメージ以前に送信されたイメージ内で、基準面の一部に対応するピクセルを検出する検出ステップと高い移動見込みを、ノンゼロ移動見込みを有し以前の変換イメージ内で基準面に属するものとして検出された移動見込みマップ内の各ピクセルに割り当てる割り当てステップを実行することを特徴とする上記物体移動の検出装置であることが好ましい。

また、移動検出装置は、風景内において静止物体を検出可能で、静止物体の検出にまつわるデータを演算装置に送信することができる静止物体検知装置と協働することを特徴とする上記物体移動の検出装置であることが好ましい。

また、物体移動の検出装置は、オペレータに移動マップデータを送信することが可能であることを特徴とする上記物体移動の検出装置であることが好ましい。

また、物体移動の検出装置は、衝突防止警告装置と協働し、演算装置によって、移動マップデータに基づき、風景内で物体と衝突をするリスクに関するデータを算出可能であり、この衝突のリスクに関するデータを衝突防止警告装置に送信可能であることを特徴とする上記物体移動の検出装置であることが好ましい。

また、物体移動の検出装置は、衝突防止警告装置と協働し、演算装置によって、代表点の予想位置を定義する判定データに基づき、風景内で物体と衝突をするリスクに関するデータを算出することが可能であり、衝突のリスクを予想するために、この衝突のリスクに関するデータを衝突防止警告装置に送信可能であることを特徴とする上記物体移動の検出装置であることが好ましい。

また、衝突防止警告装置は、風景において物体と衝突するリスクに関する情報をオペレータへ送信可能であることことを特徴とする上記物体移動の検出装置であることが好ましい。

また、演算装置は、イメージ画像を、受信イメージを表示可能なスクリーンへ送信可能であり、演算装置は、物体との衝突のリスクの算出に基づき、風景内で物体と衝突するリスクに関する表示データを算出可能で、このリスク表示データをスクリーンに送信可能であり、スクリーンによってイメージ画像に引例された表示データを表示することを特徴とする上記物体移動の検出装置であることが好ましい。

また、物体移動の検出装置は、移動を検出する装置によって送信されたデータに基づいて、基準面に対するマウントの移動を修正可能である修正装置と接続されていることを特徴とする上記物体移動の検出装置であることが好ましい。

また、物体移動を検出する装置を備える地面を移動可能の車両は、車両はカメラの実装を構成し、車両の周辺の地面は基準面を構成することを特徴とする上記物体移動の検出装置であることが好ましい。

上記構成をさらに説明する。本発明は、基準面に対して移動可能な校正カメラ（１）によって撮像された複数の風景のイメージ画像の演算装置による処理に基づく、基準面の一部を含む風景内（６）の物体の移動検出方法で、基準面の一部の形状と位置に関する基準面データが演算装置のメモリに格納され、カメラの姿勢と、カメラによって撮像され演算装置に送信された風景の各イメージ画像に対して定められたキャリブレーションパラメータが演算装置のメモリに格納され、演算装置は風景内で検出された基準面の一部に対して静止している物体に関する静止物体データを受信可能で、この静止物体データをメモリに格納し、格納されたデータを出力可能である移動検出方法において演算装置によって実行される、基準面の一部に関して、メモリ内に格納された基準面データ、対応するカメラの姿勢、キャリブレーションパラメータを用いて、カメラによって撮像され、演算装置に送信される、風景内の複数の連続するイメージ（２１）において、複数の対応する変換イメージを求めるために、逆透視マッピングを実行するステップ（ａ）と、各検出静止物体（１０）に対して、メモリ内に格納された静止物体データと対応するカメラの姿勢パラメータに基づいて、この静止物体によってカメラに対してマスクされる対応する変換イメージエリア（１２）を決定し、このエリアをマスクする工程を実行し、この決定されたマスクされたエリアを考慮し、ピクセルによって構成される移動マップを算出し、各ピクセルは、ステップ（ａ）において求められた変換イメージ内の対応ピクセル間の色強度の変化の算出に基づいた基準面の一部に関する、物体の移動の存在に関連しているようなステップ（ａ'）を有する移動検出方法によって実現できるものである。

実際には、本発明にまつわる移動検出方法によると、カメラの像平面にて撮像された風景イメージの逆透視マッピング（IPM）の基本的な性質を利用し、カメラの光学的中心を通る直線に沿って、像平面の各ポイントを基準面に投影させて対応させることで、検出操作をかなり簡単にすることが可能である。すなわち、風景の基準面に対するカメラの動きを自動補正するものである（この基本的性質については前出のH.A.Mallotの文献paragraph ３.３, pages １８０-１８１を参照のこと）。本発明によると、複数変換後イメージ画像の対応ピクセル間の色強度の変化の解析、画像処理によって簡単に実施可能な操作により、IPM変換による基本的な性質を利用することが可能である。色強度の変化の解析法は公知であるが、従来この移動の検出方法は、変換イメージより、撮像イメージに直接適用されてきている。

さらに、カメラの視点に位置することによるエリアマスキングによって（カメラの光軸に集中した視野）、基準面に対して静止している物体検出結果の分析が可能となる（例えばIMRAヨーロッパの特許FR ２８５３１２１に示される静止物体検出器、レーザースキャナの使用、または周辺に存在する物体を予め確立されたマッピングなど基づいて求められた結果など）。これにより、マスクエリアに対応するイメージピクセルを考慮する必要がなくなり、計算を簡易にし、移動マップの算出をさらに確実なものとする。よって、本発明は、車両駐車装置に用いられた場合（後退時に車両の後方を監視するためのカメラを搭載した車両など）に、現在広く利用されているシンプルオンボードコンピュータとともに使用可能なものである。

本発明にまつわる移動検出方法の一方法としては、上記ステップ (a') はさらに、移動が行われている見込み値を、ステップ（ａ）において求められた変換イメージから選択された変換イメージ内のピクセルに関連付けをして移動見込みマップを確立し、そのピクセルに対し、ステップ(a)で求められたイメージの中から選択された送信イメージの中の対応ピクセルがイメージごとにほとんど変化しない色強度値を有し、カメラに対してマスクされた各エリアを考慮し、ピクセルに関連付けされた移動見込みは、ステップ（ａ）で求められた最終の変換イメージ内の対応ピクセルの色強度値が高ければ、選択された変換イメージ内の対応ピクセルの色強度値と相違し、各ピクセルは、関連する移動の見込みに依存する移動に関連していると判断される移動見込みマップ内のピクセルに対応するステップを有するものがある。

この見込みデータ処理によって、既存の比較的非力なコンピュータでそのまま使用した場合でも、結果の精度を上げることが可能である。

いずれの上記実施例に記載の本発明にまつわる移動検出方法のさらなる一方法としては、上記形態のいづれかに基づくものであり、色強度の変化を考慮し、見込みマップをフィルタリングすることによって、移動マップの正確性をさらに向上させるものであり、ステップ（a'）はさらに、演算装置によって実行される、選択された変換イメージ内の対応ピクセル間の色強度差が十分小さい時はいつでも、それらに対応した背景マップ内のピクセルに、前記対応ピクセルの平均色強度値に近い有効色強度値を割り当てることで、ステップ（ａ）で求められた複数変換イメージの中から選択された少なくとも２つの変換イメージ内の対応するピクセル間の色強度差を算出することで背景マップ（２５）を決定し、その有効色強度値が割り当てられた各ピクセルは有色ピクセルを構成するステップ（ｂ）と、ステップ（ａ）で求められた、複数の連続する変換イメージのうちの、最後の変換イメージ（２２）上でエリアマスキングオペレーションを行い、求められたエリアマスキングデータをメモリに格納するステップ（ｃ）と、ステップ（ａ）にて求められた複数の変換イメージ内の、最後の変換イメージ、ステップ（ｂ）にて求められた背景マップ、ステップ（ｃ）で求められた対応エリアマスキングデータ、移動見込み値が背景マップ内の有色ピクセルに対する各ピクセルに関連付けされた対応する移動見込みマップに基づいて、背景マップ中の対応する有色ピクセルと、前記最終のイメージ中の対応ピクセルの間の色強度の違いが大きいピクセルに、高い移動見込みを割り当てて、背景マップ中の対応する有色ピクセルと、前記最終のイメージ中の対応ピクセルの間の色強度の違いが小さいピクセルに、低い移動見込みを割り当てて、もしそのピクセルがマスクされたエリアに位置した場合に、このようにしてピクセルに割り当てられた移動の見込みを減少させ、求められた移動見込みマップをメモリに格納するステップ（ｄ）と、ステップ（ｄ）で求められた移動見込みマップにて、各ピクセルの内で関連した範囲が、十分高い移動見込みと関連しているかどうかを判定することで、その移動見込みマップにフィルタ処理を行い、求められたフィルタ処理後移動見込みマップをメモリに格納するステップ（ｅ）と、移動マップを求めるため、前回のステップで判定されたフィルタ処理後移動見込みマップの各関連範囲に対して、所定の移動方向基準に基づいて、この関連範囲が物体の移動の存在と一致するかどうかを決定するステップ（ｆ）を有するものがある。

さらに本発明は、移動が検出された物体の位置を正確に示すことができるものである。上記形態に基づく本発明にまつわる移動検出装置は、演算装置によって、ステップ（ｅ）で求められた移動マップの各関連範囲に対し、投影された光学的中心の最も近いポイントを決定することで、基準面上のカメラの投影された光学的中心Cの位置の算出に基づき、ステップ（f）にて求められた移動マップ上の基準面のレベルの移動物体の位置を決めるステップ（g）を有し、このようにして決定された各ポイントは移動物体と基準面との接触点に対応するものである。

上記形態に基づくものとして、移動検出方法はさらにステップ（ｇ）にて求められた時間の経過とともに求められた複数の連続した移動マップに基づき、演算装置を用いて対応する代表点の連続する位置を算出し監視し、これらの代表点の予想位置を決定するステップ（ｈ）を有し、これら代表点のおのおのは、基準面上の移動物体の接触点に対応するものである。これら代表点の予想位置は、格納された点の軌跡から直接実際に差し引かれてもよい（連続する位置間の時間の経過や、算出された速度や加速度に基づいて）。例えば、これらの予想位置を計算するためにカルマンフィルタリングを使用することもできる。発明の本形態では、移動方向の検出を着実に行うという利点があり、それは寄生的移動、例えば検出エラー、照明状態の突発的な変化、基準面上の影の移動などによって起こるような移動を、フィルタに掛けて取り除くことができるために可能となるものである。

本発明に関する移動検出方法のその他の形態としては、上記形態に基づいて、移動見込みマップの信頼性を向上させたものであり、移動検出方法は、さらに演算装置用いて行われる以下のステップ、すなわちステップ（ａ）にて求められた複数の変換イメージの中の最後のイメージの中から、メモリに格納された基準面データに基づいて、基準面の一部に対応するピクセルを検出する検出ステップと、ゼロ異動見込みを、基準面に対応するものとして検出されたピクセルに対応する移動見込みマップの中の各ピクセルに割り当てをする割り当てステップとを有するものである。

本発明において、最新変換イメージと以前の変換イメージの間での、ピクセルに関連付けされた移動見込みの違いを考慮することで、さらに移動見込みマップの信頼性を向上することが可能である。上記形態に基づく、本発明の他の形態として、前記移動検出方法はさらに、演算装置によって実行される、
最終の変換イメージ以前に送信されたイメージ内で、基準面の一部に対応するピクセルを検出する検出ステップと、高い移動見込みを、ノンゼロ移動見込みを有し以前の変換イメージ内で基準面に属するものとして検出された移動見込みマップ内の各ピクセルに割り当てる割り当てステップを有するものである。

また、本発明に関する上記の移動検出方法を使用可能な物体移動検出装置であり、特に基準面の一部を有する風景（６）内の物体の移動を検出する装置で、
基準面に対して移動可能で、基準面に関連する基本空間的基準枠内の位置を定義するデータを送信可能である位置センサ（４）を備えるマウントと、マウント（２）に取り付けられ、風景（６）イメージを撮像可能であり、マウントに対する所定の姿勢パラメータと、所定内的キャリブレーションパラメータを有する撮像イメージを送信可能なカメラ（１）と、基準面の一部の形状と位置に関する基準面データと、位置センサ（４）によって送信されたマウントポジションデータと、カメラによって送信されたイメージデータと、マウントと内部カメラキャリブレーションパラメータに関するカメラ姿勢パラメータデータと、外部環境から送信された風景内で検出された静止物体に関する静止物体データを受信可能な演算装置（５）とを有し、演算装置は基本基準枠に関するカメラの姿勢パラメータを算出可能であり、受信イメージデータの処理可能であり、受信・算出データを格納可能であるメモリを有し、格納データを送信可能である検出装置において、演算装置は複数対応変換イメージを取得するために、基準面の一部に関し、メモリに格納された基準面データ、対応するカメラの姿勢、キャリブレーションパラメータを用いて、カメラより受信した複数の連続する風景のイメージ（２１）の逆透視マッピングの実行を行い（a）、各検出静止物体（１０）に対し、メモリに格納された静止物体データと対応カメラ姿勢パラメータに基づいて、この静止物体によってカメラに対してマスクされる対応変換イメージエリア（１２）を決定し、このエリアのマスクする工程を実行し(a')、ステップ（a）でもとめられた変換イメージの対応ピクセル間の色強度の変化の算出に基づき、決定された各マスクエリアを考慮し、各ピクセルが、基準面の部分に対する物体の移動が存在することに関連するピクセルによって構成される移動マップ（２６）を算出し、移動マップをメモリ内に格納することを有するものである。

さらに、上記移動検出装置の演算装置はさらに、移動が行われている見込み値を、ステップ（ａ）において求められた変換イメージから選択された変換イメージ内のピクセルに関連付けをして移動見込みマップを確立し、そのピクセルに対し、ステップ(a)で求められたイメージの中から選択された送信イメージの中の対応ピクセルがイメージごとにほとんど変化しない色強度値を有し、カメラに対してマスクされた各エリアを考慮し、ピクセルに関連付けされた移動見込みは、ステップ（ａ）で求められた最終の変換イメージ内の対応ピクセルの色強度値が高ければ、選択された変換イメージ内の対応ピクセルの色強度値と相違し、各ピクセルは、関連する移動の見込みに依存する移動に関連していると判断される移動見込みマップ内のピクセルに対応するステップを有するものである。

本発明にまつわる各種移動検出装置を以下に記載する。特に、移動が検出された物体の位置を示すことが可能な装置について詳述する。

本発明では、移動検出装置は、風景内において静止物体を検出可能で、静止物体の検出にまつわるデータを演算装置に送信することができる静止物体検知装置と協働することが可能である。

移動検出装置は、オペレータに移動マップデータを送信することが可能であるので、例えば、カメラマウントが物体に衝突する危険があるときなどには、オペレータは送信されたデータに反応することが可能である。移動検出装置は、衝突防止警告装置と協働し、演算装置によって、移動マップデータに基づき、風景内で物体と衝突をするリスクに関するデータを算出可能であり、この衝突のリスクに関するデータを衝突防止警告装置に送信可能であり、衝突の自動検出を提供するものであってもよい。衝突防止警告装置は、風景内での物体との衝突のリスクにまつわる情報をオペレータへ送信するものであってもよい。また演算装置によって、代表点の予想位置（上記参照）を定義する判定データに基づき、風景内で物体と衝突をするリスクに関するデータを算出することが可能であり、衝突のリスクを予想するために、この衝突のリスクに関するデータを衝突防止警告装置に送信可能であってもよい。衝突のリスクは移動マップデータや代表点の予想位置の判定データに基づいて算出するものでもよい。

いずれの実施例に関する移動検出装置においても、移動検出装置によって送信されたデータに基づき、基準面に他するマウントの移動を修正可能の修正装置に接続されるものであってもよい。この場合、障害物回避またはマウントステアリング操作などが自動的に行われたり、オペレータによる支援とともに行われるものであってもよい。このような装置は、特に自動車安全にまつわる分野において有益であり（この場合マウントは車両である）、またはロボット光学の分野においても有益である（この場合マウントはロボットまたはロボットの動作可能な部分である）。

最後に、本発明は地面を移動可能な車両に関連するものであり、車両周辺のあらゆる場所においての移動を検知する装置を備えるものである。よって、車両はカメラマウントを構成し、車両周辺の地面は基準面を構成するものである。

本発明の検出方法及び検出装置によれば、事前に物体のタイプの知識（形状または他の性質）の習得、物体の確認、膨大な計算時間または大きい計算手段などを必要とせず、イメージ画像を処理し、風景内での物体の移動を検出することが可能である。

車両用パーキングアシストに使用される装置に関連する、車載移動検出装置に関する本発明の実施例を、図１から８に基づいて説明する。

車両後部には、CCDカメラ（１）が地面から車両後部までの風景イメージまたは３D監視エリアを撮像可能な所定の場所に搭載されている。地面はその上を車両が移動可能の基準面Sを有する。ここで車両（２）では、車輪上（ABSセンサ）または、オンボード・コンピュータ (５) (演算装置とメモリを有する)上に位置センサ（４）が配設されている。各センサ（４）はオンボード・コンピュータ (５)に接続されており、地面に対する車両の位置を検出可能であり、取得位置データをコンピュータ（５）に出力する。もちろん、車両の位置を計測可能なものであればこれに限らず、たとえば衛星利用測位システム（GPSシステム）を用いて車両の位置を計測してもよい。

カメラ（１）は撮像イメージをオンボード・コンピュータ (５)の演算装置に出力可能であり、コンピュータの演算装置によって入力イメージの画像処理を行うことが可能である。カメラの特性パラメータがカメラの姿勢とキャリブレーションパラメータであり、カメラの姿勢のパラメータは、例えば、地面にリンクした空間参照枠R (x, y, z axes)内の光学的中心Cの座標を示し、車両の移動の際のカメラの軌跡を判別するものである。これは、逆透視マッピングを算出するために、各撮像イメージの基準面に対するカメラの位置（さらに詳細に述べると光学的中心点C）を知る必要があるからである。姿勢パラメータは、主にカメラの付帯的キャリブレーションパラメータに含まれる。例えばカメラ（１）の姿勢パラメータは、車両を中心とした座標系内で判明されているカメラの位置に基づいて（例えば光学的中心の位置）、参照枠を変更するだけで、参照枠R内での車両の位置を定義するデータから差し引かれることは明らかである。コンピュータ（５）はセンサ（４）から受信した位置データを処理することが可能であり、このデータから、カメラから受信したイメージを対応するカメラ姿勢に相互参照できるように、カメラ（１）の姿勢パラメータを推測可能である。

この場合のカメラ（１）は細隙タイプのCCDカメラであり（F.Duvernay and O.Faugeras, Machine Vision and Applications (１３), １４-２４ (２００１)参照のこと）、歪みを取り除いたものである。細隙モデルのカメラは、像平面上空間のすべての直線は直線として撮像されるものである。

歪みパラメータの他に、下記のような１０個のカメラカリブレーションパラメータと姿勢パラメータがある。

４つの内的パラメータ
a:カメラの水平焦点距離
b:カメラの垂直焦点距離
c:光学的中心の水平座標
d:光学的中心の垂直座標
“a”は、ピクセル長の生成物とカメラの焦点距離fを表し、”b”はピクセル幅の生成物とカメラの焦点距離fを表す。

像平面（光学的中心からの距離fのカメラの撮像面）の枠R' (u, v axes)の座標cとdは、像平面内の光軸に沿った光学的中心Cの投影を表す。

従来、これら４つのパラメータは、列П (３x４) （下記の数１）を構成する。

-枠R内カメラの光学的中心の位置を表すベクターtを構成する３つの外的パラメータ（姿勢パラメータ）
-光軸の傾斜のアングルと、光軸に沿った回転の角度、そしてヨー角のそれぞれにリンクする３つの回転を表す回転列 r (３x３ 列)３つの外的パラメータ（rは３つの独立した回転の生成物）
従来の形では、４つの内的パラメータは（ひずみパラメータ以外）は列Пとしてクループ化され、６つの外的パラメータは、下記の数２として表される列K(４x４,)としてグループ化される。

もし、風景（６）のいずれのポイントPiの座標がR内で測定され、同次座標の形で述べられるならばPi = [pix, piy, piz, １]Tとなる。

そしてもしCiが撮像イメージ内の対応するポイントであれば、このポイントCiは、一旦歪みの影響の補正をされたら（周知の方法のどれを用いてもよい。たとえば上記のF.Devernay と O.Faugerasの文献を参照のこと）、ポイントCiはポイントDiを生じさせる： Di = F(Ci),ここでFは歪みパラメータを用いた歪み関数を示す。

細隙カメラに限定できない場合、上記以外に、これら歪みパラメータのための歪みモデルやキャリブレーションモデルが存在する。例えば、J.Weng, P.Cohen, M.Herniouによる文献“Camera calibration with distortion models and accuracy evaluation”, IEEE Transactions on Pattern Analysis and Machine Intelligence, １４(１０), p.９６５-９８０, October １９９２が挙げられる。

R'内のポイントCiの同次座標は通常[u, v, １]（指数Tは転位を表す）として表されており、修正点Diの座標はki.[ui, vi, １]Tの形で示される。ここでkiは、対応する所定の点Piと点Diの間の光軸の奥行きをあらわす（ki.ui と ki.vi は歪み修正後座標）。

シーン上の所定の点と、歪みの影響が修正されたイメージの点との間の一対一の一致の結果として生ずる等式はDi = П.K.Piとして表される。この関係を逆にすることで、一つの所定のポイントPiを相当する所定ポイントDiに移動させることができる。

コンピュータ（５）の演算装置は、カメラによって撮像されたイメージ内の歪みの影響を容易に修正することができる。

歪みの影響を修正した後に、カメラによって撮像されたイメージにおいて、演算装置はポイント上で逆透視マッピングを実行することが可能である。逆透視マッピングは、画像処理の分野においてよく知られているものであり、基準面のポイントD'、この場合は地面を、カメラの像平面P上のポイント（またはピクセル）Dと関連付けることである。ここでポイントD'とは、カメラの光学的中心Cと像平面Pとを繋げる直線（光学光線）が（基準面Sと）交差する点（またはピクセル）を表す。図２に現すように、光学的中心Cは像平面 Pから距離f分（光軸に沿って）離れている。像平面のスペースにおける位置は、格納されたカメラの姿勢やキャリブレーションデータ、そして基準面のスペースにおける位置は、形状と位置に関する格納された基準面データから知ることが出来る。そして、光学光線（光学的中心を通過する）に沿って基準面上に投影して求められた変換イメージを、カメラによって撮像されたイメージとマッチさせる。逆透視マッピングの結果は、変換イメージを構成する地面のイメージ中の有色ピクセルのクラスタの形で表される。また、クラスタ間に現れるスペースを埋めるように補間を実施することも可能であり、また重なり合ったクラスタを一体化することも可能である。

通常、計算の簡易化のため、図２にあるように、地面はフラットなものであると考えられている。しかしながら、地面がフラットでない場合についても、像平面から伸び、基準面（地面）に交差する光学光線のポイントの計算をするのに十分であり、所定の（メモリに記憶された）位置、形状パラメータがあり、カメラによって撮像されたイメージを用いて基準面を構成することで、容易に処理することが出来る。その後、フラットでない表面へ投影することで求められたイメージ内のピクセルの色強度の変化に基づき、移動を検出することが出来る。また、まずこのようにして構成された基準面上にフラットでない表面を投影することができ、さらにイメージの逆透視マッピングを、光学光線に従って構成されたこの基準面上に投影することで実行することができる（通常の平面状地面と同様に）。

逆透視マッピングは地面に対するカメラの動きを自然に補正するものである。また、地面上の物体やマークを歪ませないという特性を持つ。しかし、地面上の物体の大きく歪んだ部分は、図３に表されるようである。カメラ（１）によって撮像された風景（６）のイメージは図３Aに示すとおりであり、地面上に小型の物体（７）、地面上のマーク（８）と歩行中の歩行者（９）などを判別することが出来る。図３Bは逆透視マッピングによって得た変換イメージであり、物体（７）とマーク（８）は歪んでいないが、歩行者（９）の体は大きく歪んで見える。

本発明に関する、移動を検出する方法のステップ（ａ）の実行中は、オンボード・コンピュータ (５)の演算装置は、カメラ（１）によって撮像された対応する一連の連続する風景（６）イメージに基づいた逆透視マッピングによって変換された一連のイメージを演算する。この複数の変換イメージに基づき、演算装置は、複数の変換イメージの中から選択された少なくとも２つの変換イメージ内の各対応するピクセル間の色強度差を計算することで、背景マップを決定し、また選択された変換イメージ内の対応するピクセル間の色強度差が十分小さい場合は、背景マップ内ピクセルに、前記対応ピクセルの平均色強度に近い値である有効色強度値を割り当てることで背景マップを決定する。このようにして、有効色強度値が割り当てられる背景マップ内の各ピクセルは有色ピクセルを構成する。これらが、背景画像を作成するための標準的な累積演算工程であり、色強度の変化を検出するための微分法である。しかしながら、このような工程は、カメラ（１）によって直接撮像されたイメージ上よりも、変換イメージ上で行われる。

演算装置によって、取得された複数の連続する変換イメージの中の最新の変換イメージにエリアマスキングオペレーションを行い、そのエリアマスキングデータをメモリに格納する。このステップを完了するために、オンボード・コンピュータ（５）の演算装置は、静止物体検出装置によって静止していると検出された風景内の物体にまつわる受信され格納された静止物体データを考慮に入れる。このデータは、静止物体の境界線と考えられるものを定める２D形状（２次元）または３D形状（３次元）を表す。演算装置はこのデータを用い、変換イメージ画像のどのエリアが、検出された静止物体によってマスクされたかを演算する。演算装置は、受信された３D形状データを地上に投影し、各形状の投影の周囲のコンベックス・エンベロープを、地上レベルの２D形状として使用する。これらのカメラ（１）の位置に対して２D形状の後ろに位置する変換イメージのエリアがマスクされる。このマスキングは、２D形状のアウトラインに立つ、ぼやけた水平の壁を建て、エリアをマスクアウトするためにこの壁の投影を逆透視マッピンで使用するとも言える。適用可能であれば、このマスキングを、静止物体検出器が３D検出器である限りは、検出された物体の高さに限定可能である（壁の高さを限定するように）、このステップは図４Aおよび４Bに記載されている。図４Aはカメラ(１)によって撮像されたイメージで、静止物体、つまり車両（１０）を有するイメージである。この車両は道路の左側に停車されている。図４Bは逆透視マッピングによって変換イメージであり、図４Aのイメージより求められたものである。地上に車両（１０）の軌跡（１１）と、カメラに対して車両によって隠されていた変換イメージのエリア（１２）を見ることができる。

複数の演算された変換イメージの中の最新変換イメージ、背景マップ及び対応するエリアマスキングデータを使って、演算装置は、移動が行われている見込み値を、背景マップ内の有色ピクセルに対応する各ピクセルに関連させた移動見込みマップを確立する。これを達成するため、演算装置は高い移動見込みを、背景マップ内の対応有色ピクセルと最終イメージ内の対応ピクセルが色強度は大きく異なっている各ピクセルに割り当て、また、演算装置は、低い移動見込みを、背景マップ内の対応有色ピクセルと最終イメージ内の対応ピクセルの色強度があまり異なっていない各ピクセルに割り当てる。加えて、演算装置は、マスクエリア内にピクセルが存在した場合、このようにピクセルに割り当てられた移動見込みを減少させる。このように求められた移動見込みマップはメモリ内に格納される。このイメージ微分処理においては、同一ピクセルで何度も演算を行うことを避けるため、例えば背景マップ内ピクセルに、属性とともに（３D障害物または移動物体に属するなど）フラグを立て、処理速度を上げることもできる。

移動見込み演算は、一つ以上の基準、例えば各有色ピクセルのヒストリー（数イメージにわたり、色濃度が変わっているかどうかを検出するため）、ピクセルのステータスのヒストリー（障害物の性質としてフラグが立てられているかどうかを検出するため）またはピクセルの現在のステータスに基づいて行われ、移動の性質としての以前のステータスに基づいても行われる。

演算装置は、各ピクセルのうち十分に高い移動の見込みと関連した範囲を移動見込みマップ上で決定することで、移動見込みマップのフィルタリングを行う。そして演算装置はこのようにして取得したフィルタ処理後移動見込みマップをメモリに格納する。このような関連範囲の決定は、各種周知の画像セグメンテーション技術を使って行うことができ、その技術のうちのいくつかは下記の文献に詳しく記載されている。Morel J.M., Solimini S., “Variational Methods in Image Segmentation”, PNDLE, Vol.１４, Birkhauser, Basel (１９９４); Harlick R.M., Shapiro L.G., “Image segmentation techniques”, Computer Vision, Graphics and Image Processing, Vol.２９, p.１００-１３２, Jan. １９８５.この文献に記述されている例では、演算装置は、以下の文献に詳しく記載されている周知の方法である集約タイプ（ブロブ）を使用している。R.Kauth, A.Pentland, G.Thomas, “Blob: an unsupervised clustering approach to spatial preprocessing of mss imagery” Proceedings of the １１th International Symposium on Remote Sensing of the Environment, Ann Harbor MI, p.１３０９-１３１７, １９７７。関連範囲のリストが作成され、それらの形状の確実な特徴づけをするために、各範囲において統計演算がされる。算出された統計結果をファジーにして（後にファジー論理アルゴリズムを使用するために）、所定のタイプの障害物に属する関連範囲の見込みを算出するために、それらを一つにする（十分なサイズで、さらに小さな関連範囲を探して、カメラの方向または車両の移動方向に延びる関連範囲を調べることで人間の移動を検出できるなど）。

演算装置は演算されたフィルタ処理後移動見込みマップの各関連範囲において、所定移動検出基準に基づき、その関連範囲が物体の移動の存在に関連しているかどうかを決定し、移動マップを算出する。そして算出された移動マップはメモリに格納される。各関連範囲における移動を検出するための基準は、例えば関連範囲の表面エリア（散在するイメージノイズを取り除くために）、関連範囲の形状、対象となる物体の方向（ここでは、逆透視マッピングでは垂直の物体はカメラに向かっている。）、さまざまな場合での関連範囲の監視（関連範囲の置換えにおいてカルマンフィルタリングを行う）、または関連範囲の位置（この基準はマップの特定部が移動物体を含まない場合にこの基準が有用である）に基づいている。もちろん、これらの基準のいくつかを一体化して、複数検出基準を生成してもよい
本発明に関連した、動作検出装置の一つの形として、演算装置は、前回取得した移動マップの基準面のレベルで、基準面に投影されたカメラの光学的中心の位置の演算に基づき、移動マップの各関連範囲に、この投影された光学的中心の一番近いポイント、つまり基準面上の移動物体の接触点に対応して決定された各ポイントを決定することで、移動物体の位置を示す操作を行うことができる。このように算出された物体位置データは格納される。

本発明に関する、移動を検出する装置のそのほかの形としては、複数の変換イメージのうちの最新のイメージにおいて、演算装置は、メモリに格納された基準面データに基づいて、基準面の一部に対応するピクセルを検出可能であり、またゼロ移動見込みを、基準面に対応して検出されたピクセルに対応した移動見込みマップの各ピクセルに割り当て可能である。このようにして修正された移動マップはメモリに格納される。これによりオンボード・コンピュータ (５)の演算装置は、検出された障害物（静止物体または移動物体）をさらにはっきりとハイライトさせるため、地面を検出可能である。このような地面の検出は、例えば周知のグレイレベル範囲増加方法を用いて行うことができる。この方法では、範囲増加シードが変換イメージ内で選択されるので、周辺で移動が検出されない場合は、範囲増加シードはできる限り車両に近づくことができる。この方法は、（ピクセルを加えることによる）増加中にアップデートされたクレイレベル閾値を用いて、風景の照明条件の変化や地面の色の変化などを考慮する。この方法は図６に示されているクレイレベル範囲増加の繰り返しに関するイメージによって示されている。地面を表す潜在的な候補である新しいピクセル（シードとして初期化された）はテストされ、静止または移動物体に属していないならば、繰り返しの最中に検出された地面のピクセルに加えられる変換イメージ内の地面のピクセルのバイナリマップは本プロセスの最後に求められる。本発明の一つの形態としては、地面を検出する他の周知の方法が用いられる。例えば、類似するテクスチャのエリアを決定するための、テクスチャに基づくイメージのセグメンテーション方法などが挙げられる(文献 J.Zhang, H.Nagel, “Texture-based segmentation of road images", Proceedings of IEEE Intelligent Vehicles Symposium, p.２６０-２６５, １９９４を参照のこと)。または同じ方向のエリアをグループにして道路を検出する方法などが挙げられる（文献Rasmussen C., “Texture-Based Vanishing Point Voting for Road Shape Estimation”, Proceedings of British Machine Vision Conference, ２００４を参照のこと）。

本発明に関連する移動を検出する装置の他の形態としては、演算装置は、最新の変換イメージの前の変換イメージにおいて、基準面の一部に対応したピクセルを検出可能であり、また高い移動の見込みを移動見込みマップ内のノンゼロ移動見込みを有し、基準面エリアに属するとして前の変換イメージ内で検出された各ピクセルに割り当てることができる。さらに演算装置は、このように修正された移動見込みマップをメモリ内に格納される。

図８は本発明の１つの形態における移動の検出に関する各種ステップを示すイメージである。図８はカメラ（１）によって撮像された現在のイメージ（２０）であり、例えばカメラによって撮像された連続する複数イメージ（２１）の最後のイメージである。イメージ（２２）は現在のイメージ（２０）の逆透視マッピングの結果を示す。イメージ（２３）上では地面検出処理がなされており、静止物体マスキング工程がイメージ（２４）上で行われている。背景マップはイメージ（２５）上で求められ、移動マップはイメージ（２６）上で求められている。イメージ（２７）に示されるように、歩行者に対応する関連範囲を検出するためにファジー論理フィルタリングが移動マップ（２６）上で行われている。最後に、イメージ（２８）は移動マップであり、マスクされた障害物がイメージ（２９）にて識別できる。検出された移動はイメージ（３０）にて識別される。検出された地面はイメージ（３１）によって識別され、フィルタ後の見かけの移動はイメージ（３２）によって識別される。

そのような移動検出結果は、車両に搭載されたスクリーンに表示可能であり、その検出結果によって（２）のドライバは衝突のリスクを判断でき、それにしたがって車両の運転ができる。

移動検出装置による移動検出結果は衝突防止警告装置に送信される。演算装置は、静止物体または移動が検出されている物体に車両（２）が衝突するリスクを実際に予測することができ、その予測結果を、衝突の警告をするために衝突防止警告装置に送信する。そしてドライバは、例えば衝突防止警告装置の演算装置によって算出され送信され、スクリーンに表示された表示データに基づいて、物体との衝突のリスクを見極めることができる。この衝突リスク表示データは有色エリアを有し、これによりドライバが衝突のリスクを見極めることができる。例えば、スクリーンに表示されたこのエリアの色や色強度によって、ドライバが直感的にリスクを見極めることができるのである（たとえば、グリーンはリスクが低いことを表し、赤や点滅がリスクが高いことを示すというように）。

オンボード・コンピュータ (５)の演算装置によって、スクリーンに表示されるイメージ画像を送信されてもよい。また、有色衝突リスク表示エリアはイメージ画像にインレイド（PIP）される。さらに、物体と衝突するリスクの予測をアシストする有色エリアは、地上に物体の軌跡に対応する形で表してもよい。この方法によると、ドライバは直感的にリスクのレベルを推測ができるということだけでなく、物体を避ける操作もできる。

本発明に関する移動検出装置の実施様態は、他の実施様態と同様に、上述の発明に関する移動検知方法の多様な形態の本装置を使用した結果であり、添付するクレームに対応するものである。

本発明の構成であれば、事前に物体のタイプの知識（形状または他の性質）の習得、物体の確認、膨大な計算時間または大きい計算手段などを必要とせず、イメージ画像を処理し、風景内での物体の移動を検出することが可能な、風景に対して移動可能な一つの風景画像取得装置を用いることを可能とする。

車両に搭載されたカメラを備える、本発明に基づく移動検出装置の平面図に対応する簡易化された説明図である。 逆透視マッピングに関する簡易化された側面である。 逆透視マッピングにより変換されたイメージである。 逆透視マッピングにより変換されたイメージであり、静止物体に対応するエリアがマスキングされた図である。 発明に関する物体移動の検出装置の一つの実施例中で実施される地面の検出処理のステップを表すイメージである。 発明に関する物体移動の検出装置の一つの実施例中で実施される地面の検出処理のステップを表すイメージである。 発明に関する物体移動の検出装置の一つの実施例中で実施される地面の検出処理のステップを表すイメージである。 発明に関する物体移動の検出装置の一つの実施例中で実施される移動の検出処理の各ステップを表すイメージである。

符号の説明

１ カメラ
６ 風景
１０ 静止物体
１２ 変換イメージエリア
２１ イメージ
２６ 移動マップ

Claims (10)

1. 基準面に対して移動可能なカメラ（１）によって撮像された複数の風景イメージ画像の演算装置による処理に基づく、基準面の一部を含む風景内（６）の物体移動の検出方法で、
   基準面の一部の形状と位置に関する基準面データが演算装置のメモリに格納され、
   カメラの姿勢と、カメラによって撮像され演算装置に送信された風景の各イメージ画像に対して定められたキャリブレーションパラメータが演算装置のメモリに格納され、
   演算装置は風景内で検出された基準面の一部に対して静止している物体に関する静止物体データを受信可能で、この静止物体データをメモリに格納し、格納されたデータを出力可能である物体移動の検出方法において
   演算装置によって実行される、
   基準面の一部に関して、メモリ内に格納された基準面データ、対応するカメラの姿勢、キャリブレーションパラメータを用いて、カメラによって撮像され、演算装置に送信される、風景内の複数の連続するイメージ（２１）において、複数の対応する変換イメージを求めるために、逆透視マッピングを実行するステップ（ａ）と、
   各検出静止物体（１０）に対して、メモリ内に格納された静止物体データと対応するカメラの姿勢パラメータに基づいて、この静止物体によってカメラに対してマスクされる対応する変換イメージエリア（１２）を決定し、このエリアをマスクする工程を実行し、この決定されマスクされたエリアを考慮し、ピクセルによって構成される移動マップを算出し、各ピクセルは、ステップ（ａ）において求められた変換イメージ内の対応ピクセル間の色強度の変化に基づいた基準面の一部に関する、物体の移動の
   存在に関連しているようなステップ（ａ'）を有することを特徴とする物体移動の検出方法。
2. ステップ (a') はさらに、移動が行われている見込み値を、ステップ（ａ）において求められた変換イメージから選択された変換イメージ内のピクセルに関連付けをして移動見込みマップを確立し、そのピクセルに対し、ステップ(a)で求められたイメージの中から選択された送信イメージの中の対応ピクセルがイメージごとにほとんど変化しない色強度値を有し、
   カメラに対してマスクされた各エリアを考慮し、ピクセルに関連付けされた移動見込みは、
   ステップ（ａ）で求められた最終の変換イメージ内の対応ピクセルの色強度値が高ければ、選択された変換イメージ内の対応ピクセルの色強度値と相違し、
   各ピクセルは、関連する移動の見込みに依存する移動に関連していると判断される移動見込みマップ内のピクセルに対応するステップを有することを特徴とする請求項１記載の物体移動の検出方法。
3. ステップ（a'）はさらに、演算装置によって実行される、
   選択された変換イメージ内の対応ピクセル間の色強度差が十分小さい時はいつでも、それらに対応した背景マップ内のピクセルに、前記対応ピクセルの平均色強度値に近い有効色強度値を割り当てることで、ステップ（ａ）で求められた複数変換イメージの中から選択された少なくとも２つの変換イメージ内の対応するピクセル間の色強度差を算出することで背景マップ（２５）を決定し、その有効色強度値が割り当てられた各ピクセルは有色ピクセルを構成するステップ（ｂ）と、
   ステップ（ａ）で求められた、複数の連続する変換イメージのうちの、最後の変換イメージ（２２）上でエリアマスキングオペレーションを行い、求められたエリアマスキングデータをメモリに格納するステップ（ｃ）と、
   ステップ（ａ）にて求められた複数の変換イメージ内の、最後の変換イメージ、ステップ（ｂ）にて求められた背景マップ、ステップ（ｃ）で求められた対応エリアマスキングデータ、移動見込み値が背景マップ内の有色ピクセルに対する各ピクセルに関連付けされた対応する移動見込みマップに基づいて、
   背景マップ中の対応する有色ピクセルと、前記最終のイメージ中の対応ピクセルの間の色強度の違いが大きいピクセルに、高い移動見込みを割り当てて、
   背景マップ中の対応する有色ピクセルと、前記最終のイメージ中の対応ピクセルの間の色強度の違いが小さいピクセルに、低い移動見込みを割り当てて、
   もしそのピクセルがマスクされたエリアに位置した場合に、このようにしてピクセルに割り当てられた移動の見込みを減少させ、求められた移動見込みマップをメモリに格納するステップ（ｄ）と、
   ステップ（ｄ）で求められた移動見込みマップにて、各ピクセルの内で関連した範囲が、十分高い移動見込みと関連しているかどうかを判定することで、その移動見込みマップにフィルタ処理を行い、求められたフィルタ処理後移動見込みマップをメモリに格納するステップ（ｅ）と、
   移動マップを求めるため、前回のステップで判定されたフィルタ処理後移動見込みマップの各関連範囲に対して、所定の移動方向基準に基づいて、この関連範囲が物体の移動の存在と一致するかどうかを決定するステップ（ｆ）
   を有することを特徴とする請求項１または２に関する物体移動の移動検出方法。
4. 演算装置によって、ステップ（ｅ）で求められた移動マップの各関連範囲に対し、投影された光学的中心の最も近いポイントを決定することで、基準面上のカメラの投影された光学的中心Cの位置の算出に基づき、ステップ（f）にて求められた移動マップ上の基準面のレベルの移動物体の位置を決めるステップ（ｇ）を有し、このようにして決定された各ポイントは移動物体と基準面との接触点に対応することを特徴とする請求項３に関する物体移動の検出方法。
5. 物体移動の検出方法はさらにステップ（ｇ）にて求められた時間の経過とともに求められた複数の連続した移動マップに基づき、演算装置を用いて対応する代表点の連続する位置を算出し監視し、これらの代表点の予想位置を決定するステップ（ｈ）を有し、これら代表点のおのおのは、基準面上の移動物体の接触点に対応する請求項４に記載の物体移動の検出方法。
6. 物体移動の検出方法は、さらに演算装置用いて行われる以下のステップ、すなわちステップ（ａ）にて求められた複数の変換イメージの中の最後のイメージの中から、メモリに格納された基準面データに基づいて、基準面の一部に対応するピクセルを検出する検出ステップと、
   ゼロ異動見込みを、基準面に対応するものとして検出されたピクセルに対応する移動見込みマップの中の各ピクセルに割り当てをする割り当てステップとを有する請求項２から５までのいずれかに記載の物体移動の検出方法。
7. 前記移動検出方法はさらに、演算装置によって実行される、
   最終の変換イメージ以前に送信されたイメージ内で、基準面の一部に対応するピクセルを検出する検出ステップと
   高い移動見込みを、ノンゼロ移動見込みを有し以前の変換イメージ内で基準面に属するものとして検出された移動見込みマップ内の各ピクセルに割り当てる割り当てステップを有することを特徴とする請求項６に記載の物体移動の検出方法。
8. 基準面の一部を有する風景（６）内の物体の移動を検出する装置で、
   基準面に対して移動可能で、基準面に関連する基本空間的基準枠内の位置を定義するデータを送信可能である位置センサ（４）を備えるマウントと、
   マウント（２）に取り付けられ、風景（６）イメージを撮像可能であり、マウントに対する所定の姿勢パラメータと、所定内的キャリブレーションパラメータを有する撮像イメージを送信可能なカメラ（１）と、
   基準面の一部の形状と位置に関する基準面データと、位置センサ（４）によって送信されたマウントポジションデータと、カメラによって送信されたイメージデータと、マウントと内部カメラキャリブレーションパラメータに関するカメラ姿勢パラメータデータと、外部環境から送信された風景内で検出された静止物体に関する静止物体データを受信可能な演算装置（５）とを有し、
   演算装置は基本基準枠に関するカメラの姿勢パラメータを算出可能であり、受信イメージデータの処理可能であり、受信・算出データを格納可能であるメモリを有し、格納データを送信可能である検出装置において、
   演算装置は
   複数対応変換イメージを取得するために、基準面の一部に関し、メモリに格納された基準面データ、対応するカメラの姿勢、キャリブレーションパラメータを用いて、カメラより受信した複数の連続する風景のイメージ（２１）の逆透視マッピングの実行を行い（a）、
   各検出静止物体（１０）に対し、メモリに格納された静止物体データと対応カメラ姿勢パラメータに基づいて、この静止物体によってカメラに対してマスクされる対応変換イメージエリア（１２）を決定し、このエリアのマスクする工程を実行し(a')、
   ステップ（a）でもとめられた変換イメージの対応ピクセル間の色強度の変化の算出に基づき、決定された各マスクエリアを考慮し、各ピクセルが、基準面の部分に対する物体の移動が存在することに関連するピクセルによって構成される移動マップ（２６）を算出し、移動マップをメモリ内に格納することを有することを特徴とする物体移動の検出装置。
9. 演算装置はさらに、移動が行われている見込み値を、ステップ（ａ）において求められた変換イメージから選択された変換イメージ内のピクセルに関連付けをして移動見込みマップを確立し、そのピクセルに対し、ステップ(a)で求められたイメージの中から選択された送信イメージの中の対応ピクセルがイメージごとにほとんど変化しない色強度値を有し、
   カメラに対してマスクされた各エリアを考慮し、ピクセルに関連付けされた移動見込みは、
   ステップ（ａ）で求められた最終の変換イメージ内の対応ピクセルの色強度値が高ければ、選択された変換イメージ内の対応ピクセルの色強度値と相違し、
   各ピクセルは、関連する移動の見込みに依存する移動に関連していると判断される移動見込みマップ内のピクセルに対応するステップを有することを特徴とする請求項８記載の物体移動の検出装置。
10. 演算装置はさらに、選択された変換イメージ内の対応ピクセル間の色強度差が十分小さい時はいつでも、それらに対応した背景マップ内のピクセルに、前記対応ピクセルの平均色強度値に近い有効色強度値を割り当てることで、ステップ（ａ）で求められた複数変換イメージの中から選択された少なくとも２つの変換イメージ内の対応するピクセル間の色強度差を算出することで背景マップ（２５）を決定し、その有効色強度値が割り当てられた各ピクセルは有色ピクセルを構成するステップ（ｂ）と、
    ステップ（ａ）で求められた、複数の連続する変換イメージのうちの、最後の変換イメージ（２２）上でエリアマスキングオペレーションを行い、求められたエリアマスキングデータをメモリに格納するステップ（ｃ）と、
    ステップ（ａ）にて求められた複数の変換イメージ内の、最後の変換イメージ、ステップ（ｂ）にて求められた背景マップ、ステップ（ｃ）で求められた対応エリアマスキングデータ、移動見込み値が背景マップ内の有色ピクセルに対する各ピクセルに関連付けされた対応する移動見込みマップに基づいて、
    背景マップ中の対応する有色ピクセルと、前記最終のイメージ中の対応ピクセルの間の色強度の違いが大きいピクセルに、高い移動見込みを割り当てて、
    背景マップ中の対応する有色ピクセルと、前記最終のイメージ中の対応ピクセルの間の色強度の違いが小さいピクセルに、低い移動見込みを割り当てて、
    もしそのピクセルがマスクされたエリアに位置した場合に、このようにしてピクセルに割り当てられた移動の見込みを減少させ、求められた移動見込みマップをメモリに格納するステップ（ｄ）と、
    ステップ（ｄ）で求められた移動見込みマップにて、各ピクセルの内で関連した範囲が、十分高い移動見込みと関連しているかどうかを判定することで、その移動見込みマップにフィルタ処理を行い、求められたフィルタ処理後移動見込みマップをメモリに格納するステップ（ｅ）と、
    移動マップを求めるため、前回のステップで判定されたフィルタ処理後移動見込みマップの各関連範囲に対して、所定の移動方向基準に基づいて、この関連範囲が物体の移動の存在と一致するかどうかを決定するステップ（ｆ）
    を実行することを特徴とする請求項８に関する物体移動の検出装置。