JP2021140764A - データ融合方法、装置及びデータ処理装置 - Google Patents

Abstract

【課題】カメラヘッドが検出したターゲットと、レーダーが検出したターゲットとに対して融合を行って、両者が収集した測定データを融合するデータ融合方法、装置及びデータ処理装置を提供する。【解決手段】データ融合装置１０００は、各組のセンシング装置が検出した各ターゲットについて、ターゲットの所定範囲内に他の組のセンシング装置が検出したターゲットが存在する場合、所定範囲内のすべてのターゲットが同じ物体であると確定する第一確定ユニット１００１及び所定範囲内のすべてのターゲットの位置及び速度に基づいて物体の位置及び速度を確定する第二確定ユニット１００２を含む。【選択図】図１０

Description

本発明は、情報技術分野に関し、特に、データ融合方法、装置及びデータ処理装置に関する。

交通システムにおいてインテリジェントモニタリングを実現するために、ミリ波レーダー及びビデオカメラヘッドが車両、歩行者及び他の物体を監視するために同時に用いられることがある。なお、ここでこれらのものは物体と総称する。１つの物体がレーダー及びカメラヘッドの作用範囲内に入るときに、レーダー及びカメラヘッドはともにこの物体を検出することができる。レーダー及びカメラヘッドが得たデータを融合することで、監視システムはより多くの情報を取得して十分な分析を行うことができる。

発明者が次のようなことを発見した。即ち、如何に、カメラヘッドが検出したターゲットと、レーダーが検出したターゲットとに対して融合を行って、両者が収集した測定データを融合するかは１つの問題である。また、カメラヘッド及びレーダーの監視視野が限定されているから、交差点で複数組のセンシング装置（１組のセンシング装置が１つのカメラヘッド及び１つのレーダーを含む）を設置して異なる方向の物体を監視し得るが、如何に、複数組のセンシング装置が検出したターゲット及び収集した測定データに対して融合を行うかも１つの問題である。

上述の問題のうちの１つ又は他の類似した問題を解決するために、本発明の実施例は、データ融合方法、装置及びデータ処理装置を提供する。

本発明の実施例の一側面によれば、１組のセンシング装置についてのデータ融合方法が提供され、前記１組のセンシング装置は１つのレーダー及び１つのカメラヘッドをふくみ、そのうち、前記方法は、
カレントフレームのレーダー検出結果をビデオ座標系に投影し、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲットのビデオ座標系での位置を取得し；
ビデオ座標系において、未マッチング（ｕｎｍａｔｃｈｅｄ）の各レーダーターゲットについて、前記レーダーターゲットと関連付けられるビデオターゲットを確定し；
ビデオ座標系において、未マッチングの各ビデオターゲットについて、前記ビデオターゲットの類型、及び前記ビデオターゲットと関連付けられるレーダーターゲットに基づいて、前記ビデオターゲットとマッチするレーダーターゲットを確定し；
物体番号を用いて、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットを標識（ｍａｒｋ）し；及び
標識された各物体について、前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系での位置及び速度を確定することを含む。

本発明の実施例の他の側面によれば、複数組のセンシング装置についてのデータ融合方法が提供され、各組のセンシング装置は１つのレーダー及び１つのカメラヘッドを含み、そのうち、前記方法は、
各組のセンシング装置が検出した各ターゲットについて、前記ターゲットの所定範囲内に他の組センシング装置が検出したターゲットが存在すれば、前記所定範囲内のすべてのターゲットが同一の物体であると確定し；及び
前記所定範囲内のすべてのターゲットの位置及び速度に基づいて前記物体の位置及び速度を確定することを含む。

本発明の実施例の他の側面によれば、１組のセンシング装置についてのデータ融合装置が提供され、前記１組のセンシング装置は１つのレーダー及び１つのカメラヘッドを含み、そのうち、前記装置は、
カレントフレームのレーダー検出結果をビデオ座標系に投影し、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲットのビデオ座標系での位置を取得すための投影ユニット；
ビデオ座標系において、未マッチングの各レーダーターゲットについて、前記レーダーターゲットに関連付けられるビデオターゲットを確定するための第一確定ユニット；
ビデオ座標系において、未マッチングの各ビデオターゲットについて、前記ビデオターゲットの類型及び前記ビデオターゲットと関連付けられるレーダーターゲットに基づいて、前記ビデオターゲットとマッチするレーダーターゲットを確定するための第二確定ユニット；
物体番号を用いて、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットを標識するための第一標識ユニット；及び
標識された各物体について、前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系下での位置及び速度を確定するための第三確定ユニットを含む。

本発明の実施例の他の側面によれば、複数組のセンシング装置についてのデータ融合装置が提供され、各組のセンシング装置は１つのレーダー及び１つのカメラヘッドを含み、そのうち、前記装置は、
各組のセンシング装置が検出した各ターゲットについて、前記ターゲットの所定範囲内に他の組のセンシング装置が検出したターゲットが存在すれば、前記所定範囲内のすべてのターゲットが同一の物体であると確定するための第一確定ユニット；及び
前記所定範囲内のすべてのターゲットの位置及び速度に基づいて、前記物体の位置及び速度を確定するための第二確定ユニットを含む。

本発明の実施例の有益な効果の１つは次の通りであり、即ち、本発明は、レーダー検出結果及びビデオ検出結果を使用してターゲットの位置を計算し、そして、レーダー及びカメラヘッドが収集したデータを融合することで、従来の方法と比較して、融合の結果はより正確になる。また、複数組のセンシング装置が設置される場合、各組のセンシング装置が道路上の異なる方向でターゲットを検出し、各組のセンシング装置が検出したターゲット及び収集したデータを融合し、電子マップを生成することにより、道路上の各方向のターゲットをリアルタイムに表示することができる。

２組のセンシング装置の検出結果及び融合結果を示す図である。 本発明の実施例の第一側面におけるデータ融合方法を示す図である。 ｕｗ及びｖｗを設定する一例を示す図である。 レーダーターゲット及びビデオターゲットを融合する一例のフローチャートである。 レーダーターゲット及びビデオターゲットを融合する一例を示す図である。 本発明の実施例の第二側面におけるデータ融合方法を示す図である。 ３組のセンシング装置が検出したターゲットのワールド座標系における様子を示す図である。 物体の速度を計算することを示す図である。 本発明の実施例の第三側面におけるデータ融合装置を示す図である。 本発明の実施例の第四側面におけるデータ融合装置を示す図である。 本発明の実施例におけるデータ処理装置を示す図である。

以下、添付した図面を参照しながら、本発明を実施するための好ましい実施例について詳細に説明する。

レーダー及びカメラヘッドを用いて道路上の物体を検出するときに、データがフレームごとに記録され得る。レーダー検出結果の各フレーム（レーダーフレームと略称する）には、レーダーが検出した物体が含まれ、ビデオ検出結果の各フレーム（ビデオフレームと略称する）には、カメラヘッドが検出した物体が含まれる。レーダー検出結果は物体の速度、位置座標などの情報を含み、ビデオ検出結果は物体のピクセル座標を含む。レーダー座標系では、物体（レーダー物体と略称する）の位置座標（即ち、物体のレーダーに対する位置）が（ｘ，ｙ）と表され、ビデオ座標系では、物体（ビデオ物体と略称する）のピクセル座標（即ち、ピクセル点の位置）が（ｕ，ｖ）と表される。

図１は２組のセンシング装置の検出結果及び融合結果を示す図である。図１に示すように、第一組のセンシング装置におけるレーダーが検出したターゲット（レーダーターゲットと略称する）１１及びカメラヘッドが検出したターゲット（ビデオターゲットと略称する）１２は、融合されて電子マップ（動的地図とも言う）上で（１）（なお、ここでの（１）は図中のマルイチの意味である。以下の（２）、（３）も同様である。）と表示され、第二組のセンシング装置におけるレーダーが検出したターゲット（レーダーターゲットと略称する）２１及びカメラヘッドが検出したターゲット（ビデオターゲットと略称する）２２は、融合されて電子マップ上で（２）と表示される。

発明者が次のようなことを発見した。即ち、各組のセンシング装置について言えば、例えば、図１に示す第一組のセンシング装置、又は、図１に示す第二組のセンシング装置について言えば、同一のターゲットに対しての検出であるが、レーダー検出結果及びビデオ検出結果は完全に一致していない。例えば、図１に示すレーダーの測距（距離測定）結果が１０ｍであるが、図１に示すカメラヘッドの測距結果が１０．５ｍである。よって、如何に、各組のセンシング装置が検出したターゲット及び収集したデータを融合するかは１つの問題である。

また、発明者が次のようなことも発見した。即ち、複数組のセンシング装置について言えば、例えば、図１に示す第一組のセンシング装置及び図１に示す第二組のセンシング装置について言えば、この２組のセンシング装置が同一の交差点の異なる方向に設置されるが、実際には、この２組のセンシング装置が検出した物体が同一のターゲットに属し、電子マップ上で同一の標識と表示されるべきである。よって、如何に、複数組のセンシング装置が検出したターゲット及び収集したデータを融合するかも１つの問題である。

上述の問題のうちの少なくとも１つ又は他の類似している問題を解決するために、本発明が提案されている。以下、図面を参照しながら本発明の実施例の各種の実施方式について説明する。なお、これらの実施方式は例示に過ぎず、本発明の実施例を限定するものではない。

＜実施例の第一側面＞
本発明の実施例はデータ融合方法を提供する。図２は本発明の実施例におけるデータ融合方法の一例を示す図である。該方法は１組のセンシング装置が検出したターゲット及び収集した測定データを融合し、この１組センシング装置は１つのレーダー及び１つのカメラヘッドを含む。

本発明の実施例では、レーダーの検出結果がレーダー検出結果と称され、レーダー検出結果は複数のターゲットを含み、レーダーターゲットと称される。カメラヘッドの検出結果がビデオ検出結果と称され、ビデオ検出結果は複数のターゲットを含み、ビデオターゲットと称される。

本発明の実施例では、該方法は、時間上でアラインするレーダー検出結果の各フレーム（レーダーフレームと称する）及びビデオ検出結果の各フレーム（ビデオフレームと称する）に対して行われ、このようなフレームは本発明の実施例ではカレントフレームと称され、即ち、該カレントフレームは時間上でアラインする１つのレーダーフレーム及び１つのビデオフレームを含む。

図２を参照する。本発明の実施例におけるデータ融合方法は、以下のようなステップを含む。

２０１：カレントフレームのレーダー検出結果をビデオ座標系に投影し、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲットのビデオ座標系での位置を取得し；
２０２：ビデオ座標系において、未マッチングの各レーダーターゲットについて、前記レーダーターゲットと関連付けられるビデオターゲットを確定し；
２０３：ビデオ座標系において、未マッチングの各ビデオターゲットについて、前記ビデオターゲットの類型に基づいて前記ビデオターゲットとマッチするレーダーターゲットを確定し；
２０４：物体番号（ｏｂｊｅｃｔ ＩＤ）を用いて、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットを標識（ｍａｒｋ）し；
２０５：標識された各物体について、前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系での位置及び速度を確定する。

本発明の実施例における方法によれば、１つの物体がレーダー及びカメラヘッドにより検出された後に、レーダー検出結果をビデオ座標系に投影し、その後、ビデオ座標系においてレーダー検出ターゲットとビデオ検出ターゲットとのマッチングを行う。同一のターゲットについて、ビデオ及びレーダーの測定結果に基づいて、該ターゲットの位置及び速度を決定する。これにより、従来の方法と比較して、融合の結果はより正確になる。

２０１では、レーダーが検出したターゲットのレーダー座標系における位置と、そのビデオ座標系における位置の間には変換関係があり、本発明ではｆ（）と記される。なお、本発明は該変換関係ｆ（）の確定方法について限定せず、従来の任意の方法を採用しても良い。これにより、該変換関係ｆ（）により、レーダーが検出した各ターゲットのビデオ座標系における位置を確定することができる。

例えば、レーダーがｎ個のターゲット（レーダーターゲット）を検出しており、レーダー座標系における位置がそれぞれ（ｘ_１，ｙ_１），（ｘ_２，ｙ_２），…，（ｘ_ｎ，ｙ_ｎ）であるとする。変換関係ｆ（）により、レーダーターゲットのビデオ座標系における位置（ｕ_１，ｖ_１），（ｕ_２，ｖ_２），…，（ｕ_ｎ，ｖ_ｎ）を得ることができる。そのうち、（ｕ_１，ｖ_１）＝ｆ（ｘ_１，ｙ_１）、（ｕ_２，ｖ_２）＝ｆ（ｘ_２，ｙ_２）、…、（ｕ_ｎ，ｖ_ｎ）＝ｆ（ｘ_ｎ，ｙ_ｎ）である。

また、カメラヘッドがｍ個のターゲット（ビデオターゲット）を検出しており、ビデオ座標系における位置がそれぞれ（ｕ_１’，ｖ_１’），（ｕ_２’，ｖ_２’），…，（ｕ_ｍ’，ｖ_ｍ’）であるとする。

上述の２０２では、ビデオ座標系において、未マッチングの各レーダーターゲットについて、該レーダーターゲットと関連付けられるビデオターゲットを見つけ、即ち、該レーダーターゲットとともにマッチング条件を満たしたビデオターゲットを見つける。該レーダーターゲットとともにマッチング条件を満足したビデオターゲットを見つけることができれば、このレーダーターゲット及びこのビデオターゲットは、現実の世界の中の同じ物体に対応する可能性があり、該レーダーターゲットとともにマッチング条件を満たすビデオターゲットを見つけることができない場合、このレーダーターゲットは、関連付けられる又は対応するビデオターゲットを有しない。

幾つかの実施例において、レーダーターゲットとビデオターゲットとの間の距離に基づいてレーダーターゲットと関連付けられるビデオターゲットを確定することができる。例えば、該レーダーターゲットと、カレントフレームのビデオ検出結果におけるすべての未マッチングのビデオターゲットとの間の距離を計算し、距離が第一閾値（ｔｈ１）未満であり且つ距離が最小であるビデオターゲットを、該レーダーターゲットと関連付けられるビデオターゲットとし、他のビデオターゲットを、該レーダーターゲットと関連付けられないものと見なす。すべてのビデオターゲットに対応する距離がすべて第一閾値よりも大きい場合、該レーダーターゲットと関連付けられるビデオターゲットが存在しないと見なす。なお、本発明では第一閾値の値について限定せず、経験あるいは他の原則又はポリシーに基づいて確定されても良い。

幾つかの実施例において、カレントフレームのビデオ検出結果におけるすべての未マッチングのビデオターゲットの中の各ビデオターゲットについて、以下の公式により上述の距離を計算する。

ｄ_ｉｊ＝ｕｗ＊（ｕｒ_ｉ−ｕｖ_ｊ）＋ｖｗ＊（ｖｒ_ｉ−ｖｖ_ｊ）
そのうち、（ｕｒ_ｉ，ｖｒ_ｉ）は該レーダーターゲットのビデオ座標系での座標であり、（ｕｖ_ｊ，ｖｖ_ｊ）は上述のビデオターゲットのビデオ座標系での座標であり、ｕｗは横方向ウェイト（重み）値であり、ｖｗは縦方向ウェイト値であり、ｕｗ≧０、ｖｗ≧０、且つｕｗ＋ｖｗ＝１である。

ビデオ座標系では、横方向に対応する実際の物理的な長さのスパンが縦方向よりも遥かに小さい。例えば、２つのピクセル点の横方向の座標が５ピクセル異なり、実際の距離上ではｄ１＝２０ｃｍ異なる。一方、２つのピクセル点の縦方向の座標が５ピクセル異なる場合、実際の距離上ではｄ２＝２ｍ異なる可能性がある。これで分かるように、ｄ２はｄ１よりも遥かに大きい。本発明の実施例では、ｕｗ及びｖｗを設定することで、横方向及び縦方向のピクセルの差の、上述の距離ｄにおける割合を調整することができる。

幾つかの実施例において、上述の横方向ウェイト値ｕｗと上述の縦方向ウェイト値ｖｗとの比（ｕｗ：ｖｗ）は、カレントフレームに対応するビデオ画像のアスペクト比、及び、該ビデオ画像に対応する実際位置の距離比に基づいて設定される。

図３は、ｕｗ及びｖｗを設定する一例を示す図である。ビデオ画像のアスペクト比がＷ：Ｌであり、対応する実際位置の距離比がＣ：Ｋであるとすれば、ｕｗ：ｖｗ＝Ｗ／Ｃ：Ｌ／Ｋである。例えば、図３に示すように、ビデオ画面のピクセル比が１９２０ピクセル：１０８０ピクセルであ、画面における実際位置の横方向と縦方向の距離比が１００ｍ：２０ｍであり、この場合は、ｕｗ：ｖｗ＝１９２０／１００：１０８０／２０＝１９２：５４である。

２０２によれば、未マッチングの各レーダーターゲットと関連付けられるビデオターゲットを確定しており、又は、依然としてマッチすることができないレーダーターゲットを確定している。これにより、各ビデオターゲットは複数のレーダーターゲットと関連付けられる可能性があるが、該複数のレーダーターゲットは必ずしも該ビデオターゲットとマッチせず、即ち、必ずしも現実の世界の中の同じ物体に対応しない。本発明の実施例では、２０３により各ビデオターゲットとマッチするレーダーターゲットを確定することができる。

上述の２０３では、ビデオターゲットの類型に基づいて該ビデオターゲットとマッチするレーダーターゲットを確定することができる。例えば、該ビデオターゲットの類型が複数のレーダーターゲットに対応し得る類型であれば、該ビデオターゲットと関連付けられるすべてのレーダーターゲットがすべて該ビデオターゲットとマッチするレーダーターゲットであると確定する。該ビデオターゲットの類型が複数のレーダーターゲットに対応することができない類型であり、即ち、該ビデオターゲットが１つのみのレーダーターゲットとマッチし得る場合、該ビデオターゲットとの距離が最小であるレーダーターゲットを、該ビデオターゲットとマッチするレーダーターゲットとする。

本発明の実施例では、依然として未マッチングのレーダーターゲットについて、引き続き、２０２によりそれと関連付けられるビデオターゲットを確定しても良い。このときに、該レーダーターゲットと、すべての未マッチングのビデオターゲットとの間の距離が既に計算されているから、該レーダーターゲットとの間の距離がｔｈ１よりも小さいすべてのビデオターゲットのうち、距離が２番目に小さいビデオターゲットを、該レーダーターゲットと関連付けられるビデオターゲットとすることができる。

図４はレーダーターゲットとビデオターゲットとの融合の一例のフローチャートである。図４に示すように、該フローチャートは以下のステップを含む。

４０１：未マッチングの各レーダーターゲットについて、該レーダーターゲットと、すべての未マッチングのビデオターゲットとの間の距離ｄ_ｉｊを計算し；
４０２：ｄ_ｉｊ≦ｔｈ１のすべてのビデオターゲットを小から大への順で並べ替え；
４０３：ｋ＝１とし；
４０４：該レーダーターゲットを、並べ替えられた後のｋ番目のビデオターゲットと関連付け；
４０５：ビデオターゲットが複数のレーダーターゲットと関連付けられているかを判断し、はいと判断された場合、４０６を実行し、そうでない場合、終了し；
４０６：ビデオターゲットが複数のレーダーターゲットとマッチし得るかを判断し、はいと判断された場合、４０７を実行し、そうでない場合、終了し；
４０７：該ビデオターゲットと関連付けられるすべてのレーダーターゲットのうち、該ビデオターゲットとの間の距離が最小であるレーダーターゲットを、該ビデオターゲットとマッチするレーダーターゲットとし；
４０８：未マッチングのレーダーターゲットがまだあるかを判断し、はいと判断された場合、ｋの値に１をプラスして４０４へ戻り、そうでない場合、終了する。

未マッチングの各レーダーターゲットに対しては４０１〜４０４の処理を行っても良く、また、未マッチングの各ビデオターゲットに対しては４０５〜４０８の処理を行っても良い。

なお、図４は本発明の実施例を例示的に説明するためのものに過ぎず、本発明はこれに限られない。例えば、各操作（ステップ）の間の実行順序を適切に調整したり、幾つかの操作を増減したりしても良い。即ち、当業者は、図４の記載をもとに、上述の内容に対して適切に変更を行っても良い。

図５はレーダーターゲットとビデオターゲットとの融合の一例を示す図である。

図５に示すように、５０１において、未マッチングの各レーダーターゲットについて、該レーダーターゲットと、すべての未マッチングのビデオターゲットとの間の距離（ｄ_ｉｊ）を計算し、そして、距離（ｄ_ｉｊ）が第一閾値（ｔｈ１）以下であるビデオターゲットを、距離（ｄ_ｉｊ）の小から大への順序で並べ替えることで、距離が最も小さいビデオターゲットを該レーダーターゲットと関連付ける。また、他のビデオターゲットについては、該レーダーターゲットと関連付けられないものを見なす。すべてのビデオターゲットに対応するｄ_ｉｊがすべてｔｈ１よりも大きい場合、該レーダーターゲットと関連付けられるビデオターゲットがないと見なし、このような場合は、カメラヘッドの検出漏れによる可能性があるため、該レーダーターゲットを１つのシングルな物体と見なす。

図５に示すように、５０２において、未マッチングの各ビデオターゲットについて、該ビデオターゲットが複数のレーダーターゲットとマッチし得る場合、該ビデオターゲットと関連付けられるすべてのレーダーターゲットを、該ビデオターゲットとマッチするレーダーターゲットとし、該ビデオターゲットが１つのみのレーダーターゲットとマッチし得る場合、該ビデオターゲットとの距離が最も近い、関連付けられるレーダーターゲットを、それとマッチするレーダーターゲットとする。

図５の５０２では、一番左のビデオターゲットが複数のレーダーターゲットとマッチすることができ；中間のビデオターゲットが１つのレーダーターゲットと関連付けられ、且つ１つのみのレーダーターゲットとマッチすることができ、この場合、それと関連付けられるレーダーターゲットを、それとマッチするレーダーターゲットとし；一番右のビデオターゲットが複数のレーダーターゲットと関連付けられるが、１つのみのレーダーターゲットとマッチすることができ、この場合、それとの距離が最も近いレーダーターゲットを、それとマッチするレーダーターゲットとし、それと関連付けられる他のレーダーターゲットについては、５０１に戻り、引き続き、距離が２番目に小さいビデオターゲットを、それと関連付けられるビデオターゲットとして選択し、これに基づいて類推する。

本発明の実施例では、１つのレーダーターゲットがいずれのビデオターゲットとマッチすることができない場合、該レーダーターゲットを１つのシングルなターゲットとする。このような場合は、カメラヘッドの検出漏れによる可能性がある。

本発明の実施例では、１つのビデオターゲットがいずれのレーダーターゲットとマッチすることができない場合、例えば、該ビデオターゲットと関連付けられるレーダーターゲットが存在しない場合、該ビデオターゲットを１つのシングルなターゲットとする。このような場合は、レーダーの検出漏れによる可能性がある。

上述の２０４では、幾つかの実施例において、２０３のマッチング結果に基づいて、物体番号ｏ_ｉｄを用いてカレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットを標識し、ｏ_ｉｄは現実の世界の中の１つの物体に対応する。例えば、マッチしているレーダーターゲット及びビデオターゲットについて１つの物体番号を付与し、未マッチングのレーダーターゲットについて１つの物体番号を付与し、未マッチングのビデオターゲットについて１つの物体番号を付与しても良い。これにより、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットはすべて１つの対応する物体番号を有するようになる。

幾つかの実施例において、２０３のマッチング結果に基づいて上述の標識を行う前に、例えば、２０２の前に、先にレーダー軌跡及びビデオ軌跡に基づいて幾つかのレーダーターゲット及びビデオターゲットに対して標識を行っても良い。例えば、少なくとも１つのレーダーターゲットが１つのレーダー軌跡に属し、少なくとも１つのビデオターゲットが１つのビデオ軌跡に属し、且つ該レーダー軌跡及び該ビデオ軌跡におけるターゲットが１つ前のフレームで同一の物体番号を用いて標識された場合、１つ前のフレームの物体番号を用いて該少なくとも１つのレーダーターゲット及び該少なくとも１つのビデオターゲットに対して標識を行う。

例えば、カレントフレームがｍ＋１番目のフレームであり、ｍ番目のフレームにおいて、レーダー軌跡ｒｔの中のレーダーターゲットｘ_ｍ及びビデオ軌跡ｖｔの中のビデオターゲットｙ_ｍがマッチしており、物体番号ｏによりｘ_ｍ及びｙ_ｍを標識しているとする場合、ｍ＋１番目のフレームでは、軌跡ｒｔの中のレーダーターゲットｘ_ｍ＋１について引き続き物体番号ｏを用いて標識を行い、ビデオ軌跡ｖｔの中のビデオターゲットｙ_ｍ＋１についてもｏを用いて標識を行う。

これにより、先に幾つかのレーダーターゲット及びビデオターゲットを標識しているから、後続の２０２の処理に係る未マッチングのレーダーターゲットは、標識されていないレーダーターゲットであり、後続の２０３の処理に係る未マッチングのビデオターゲットは、標識されていないビデオターゲットであり、後続の２０４の処理に係るレーダーターゲット及びビデオターゲットは、標識されていないレーダーターゲット及びビデオターゲットである。なお、ここでは網羅的な説明を省略する。

上述の２０５では、２０４の標識結果に基づいて、標識された各物体について、該物体に対応するビデオ情報及び／又はレーダー情報に基づいて該物体の位置及び速度を確定することができる。

本発明の実施例では、ビデオ情報は物体のビデオ検出結果のワールド座標系での位置及び速度を含み、前述のように、ビデオ検出結果はカメラヘッドが検出することにより得たものである。レーダー情報は物体のレーダー検出結果のワールド座標系での位置及び速度を含み、前述のように、レーダー検出結果はレーダーが検出することで得たものである。

幾つかの実施例において、前述のように、マッチしているレーダーターゲット及びビデオターゲットについては、その対応する物体は上述のビデオ情報及び上述のレーダー情報を含み；未マッチングのレーダーターゲットについては、その対応する物体は上述のレーダー情報のみを含み；未マッチングのビデオターゲットについては、その対応する物体は上述のビデオ情報のみを含む。

カメラヘッドが１組のターゲット［ｃ_１，ｃ_２，…，ｃ_ｓ］を検出しており、レーダーが１組のターゲット［ｒ_１，ｒ_２，…，ｒ_ｐ］を検出していることを例にとる。２０１−２０４の方法により、レーダーが検出したターゲットと、カメラヘッドが検出したターゲットとのマッチングを行い、また、集合［ｏ_１，ｏ_２，…，ｏ_ｑ］を用いて、レーダー及びカメラヘッドにより検出された現実の世界の物体（２０４におけるｏ_ｉｄ）を表す。そのうち、各物体ｏ_ｔはビデオ情報
（外１）

及びレーダー情報
（外２）

を含み、又は、ビデオ情報及びレーダー情報のうちの１種類のみを含む。

そのうち、（ｃｘ_ｔ，ｃｙ_ｔ）はカメラヘッドが検出したターゲットのワールド座標系での座標であり、（ｒｘ_ｔ，ｒｙ_ｔ）はレーダーが検出したターゲットのワールド座標系での座標であり、
（外３）

はカメラヘッドが測定したターゲットのベクトル速度であり、
（外４）

はレーダーが測定したターゲットのベクトル速度であり、ここで、ベクトル速度は速度の大小及び速度の方向の両方を含む。また、カメラヘッドのワールド座標系での座標が（ｃｏ_ｘ，ｃｏ_ｙ）であり、レーダーのワールド座標系での座標が（ｒｏ_ｘ，ｒｏ_ｙ）であるとする。幾つかの実施例において、カメラヘッド及びレーダーはワールド座標系において同一の位置にあるが、本発明はこれに限定されない。

幾つかの実施例において、物体がビデオ情報のみを含む場合、該物体のビデオ検出結果のワールド座標系での位置（ｃｘ_ｔ，ｃｙ_ｔ）を該物体のワールド座標系での位置とする。

幾つかの実施例において、物体がレーダー情報のみを含む場合、該物体のレーダー検出結果のワールド座標系での位置（ｒｘ_ｔ，ｒｙ_ｔ）を該物体のワールド座標系での位置とする。

幾つかの実施例において、物体がビデオ情報及びレーダー情報の両方を含む場合、ワールド座標系での該物体とレーダーとの間の距離（ｄ_ｒ）、又は、ワールド座標系での該物体とカメラヘッドとの間の距離（ｄ_ｃ）に基づいて、該物体のワールド座標系における位置を確定する。

例えば、上述の距離（ｄ_ｒ又はｄ_ｃ）が第二閾値（ｔｈ２）以下である場合、該物体のビデオ検出結果のワールド座標系での位置（ｃｘ_ｔ，ｃｙ_ｔ）を該物体のワールド座標系での位置とし；上述の距離（ｄ_ｒ又はｄ_ｃ）が第二閾値（ｔｈ２）よりも大きい場合、該物体のレーダー検出結果の世界座標系での位置（ｒｘ_ｔ，ｒｙ_ｔ）を該物体のワールド座標系での位置とする。

幾つかの実施例において、１組のセンシング装置のカメラヘッド及びレーダーが道路の同一の位置に配置される。被測定物体がカメラヘッド及びレーダーに近い位置にあるときに、カメラヘッドの測距の正確度はより高く、被測定物体がカメラヘッド及びレーダーから遠い位置にあるときに、レーダーの測距の正確度はより高い。本発明は、この原則（原理）に基づいて融合後のターゲット（即ち、上述の物体）の位置でどのセンサの測定データを最終のキャリブレーションデータとして用いるかを判断する。

幾つかの実施例において、第二閾値（ｔｈ２）はビデオ測距精度に関連する。例えば、システムに必要な測距精度がｒであるとする。この場合、ビデオ測距アルゴリズムも、異なる測距ｄで対応する精度（ビデオ測距精度と言う）ｒ_ｖを有し、例えば、０＜ｄ＜ｄ１のときに、対応する測距精度はｒ１であり、ｄ１≦ｄ＜ｄ２のときに、対応する測距精度はｒ２である。一般的には、ビデオ測距精度ｒ_ｖが測距ｄの増大に伴って悪くなる。本発明の実施例では、最大の測距ｄをｔｈ２として選択することができ、そのうち、ｄに対応するビデオ測距精度ｒ_ｖはｒのニーズに満たし、即ち、ｒ_ｖ＜ｒである。以上、例示に過ぎず、本発明はこれに限定されない。本発明の実施例では、第二閾値ｔｈ２は他の値に設定されても良い。

幾つかの実施例において、ワールド座標系で上述の物体とカメラヘッドとの間の距離は、以下の公式により算出することができる。

そのうち、（ｃｏｘ，ｃｏｙ）はカメラヘッドのワールド座標系での座標であり、（ｃｘ_ｔ，ｃｙ_ｔ）はカメラヘッドが検出した物体（ビデオターゲット）のワールド座標系での座標である。

幾つかの実施例において、ワールド座標系で上述の物体とレーダーとの間の距離は以下の公式で算出することができる。

そのうち、（ｒｏｘ，ｒｏｙ）はレーダーのワールド座標系における座標であり、（ｒｘ_ｔ，ｒｙ_ｔ）はレーダーが検出した物体（レーダーターゲット）のワールド座標系における座標である。

本発明の実施例では、後続のデータ処理のために、例えば、複数組のセンシング装置のターゲット融合及びデータ融合のために、レーダーが測定した速度（レーダー速度であり、前述のように、
（外５）

である。）及びカメラヘッドが測定した速度（ビデオ速度であり、前述のように、
（外６）

である。）を直接保留しても良い。

例えば、物体がビデオ情報のみを含む場合、該物体のビデオ検出結果のワールド座標系での速度
（外７）

を、該物体のワールド座標系でのビデオ速度とする。

例えば、物体僅がレーダー情報のみを含む場合、該物体のレーダー検出結果の世界座標系での速度
（外８）

を、該物体のワールド座標系におけるレーダー速度とする。

例えば、物体がビデオ情報だけでなくレーダー情報も含む場合、該物体のビデオ検出結果のワールド座標系における速度
（外９）

を、該物体在ワールド座標系でのビデオ速度とし、また、該物体のレーダー検出結果の世界座標系での速度
（外１０）

を、該物体のワールド座標系におけるレーダー速度とする。

なお、以上、本発明に係る各操作又はプロセスのみについて説明したが、本発明はこれに限定されない。該方法はさらに他の操作（ステップ）又はプロセスを含んでも良い。これらの操作（ステップ）又はプロセスの具体的な内容については、関連技術を参照することができる。

本発明の実施例により、レーダー検出結果及びビデオ検出結果を用いてターゲットの位置を計算し、そして、レーダー及びカメラヘッドが収集したデータに対しいて融合を行うことにより、従来の方法と比較して、融合の結果は更に正確になる。

＜実施例の第二側面＞
本発明の実施例はデータ融合方法を提供し、実施例の第一側面における方法とは異なる点は、次の通りであり、即ち、本発明の実施例の第二側面における方法では、複数組のセンシング装置が検出したターゲット及び収集した測定データに対して融合を行い、各組のセンシング装置が１つのレーダー及び１つのカメラヘッドを含む。なお、本発明の実施例の第二側面では、本発明の実施例の第一側面と同じである内容の重複説明が省略される。

図６は、本発明の実施例におけるデータ融合方法を示す図である。図６に示すように、該方法は以下のようなステップを含む。

６０１：各組のセンシング装置が検出した各ターゲットについて、前記ターゲットの所定範囲内に他の組のセンシング装置が検出したターゲットが存在する場合、前記所定範囲内のすべてのターゲットが同一の物体であると確定し；
６０２：前記所定範囲内のすべてのターゲットの位置及び速度に基づいて、前記物体の位置及び速度を確定する。

本発明の実施例では、複数組のセンシング装置を設置して検出を行うことにより、多方向、全方位の情報を得ることができ、これにより、交通の状況を示す動的地図を取得することができる。しかし、これらのセンシング装置の感知範囲が重畳（ｏｖｅｒｌａｐ）する場合があり、例えば、１つの物体が複数組のセンシング装置により検出されたときに、異なる組のセンシング装置が検出したターゲットに対してデータ融合を行わないと、動的地図上で複数の物体が現れることがあり、これらの物体は実際には現実の世界の中の１つの物体に対応する。本発明の実施例における方法によれば、重畳部分のセンシング情報を融合することで、このようなことの発生を避け、動的地図で道路上の各方向の実際の物体をリアルタイムに表示することができる。

６０１では、各組のセンシング装置が検出したターゲットは、この組のセンシング装置のレーダー及びカメラヘッドが検出したターゲットを融和した後のターゲットであり、例えば、図１に示す第一組のセンシング装置が検出したターゲット、又は、図１に示す第２組センシング装置が検出したターゲットである。本発明の実施例では、各組のセンシング装置が検出したターゲットに対しての融合は、実施例の第一側面における方法を採用して実現されても良く、その内容はここに合併され、ここではその詳しい説明を省略する。なお、本発明はこれに限定されず、他の方法を採用して実現されても良い。

６０１では、所定範囲は第四閾値ｔｈ４を用いて定義されても良く、即ち、上述のターゲットのｔｈ４の範囲内で、他の組のセンシング装置が検出したターゲットが存在すれば、該ｔｈ４の範囲内のすべてのターゲットが同一の物体に属すると見なす。

図７は３組のセンシング装置が検出したターゲットのワールド座標系における様子を示す図である。図７に示すように、第一組のセンシング装置が検出した各ターゲットについて、ターゲット（１）のｔｈ４の範囲７０１内で、第二組のセンシング装置が検出したターゲット（２）及び第三組のセンシング装置が検出したターゲット（３）が存在し、この場合、範囲７０１内のターゲット（１）及びターゲット（２）及びターゲット（３）は同一の物体に属し；ターゲット（１）のｔｈ４の範囲７０２内で、第二組のセンシング装置が検出したターゲット（２）が存在し、この場合、範囲７０２内のターゲット（１）及びターゲット（２）は同一の物体に属し；ターゲット（１）のｔｈ４の範囲７０３内で、第二組のセンシング装置が検出したターゲット（２）が存在し、この場合、範囲７０３内のターゲット（１）及びターゲット（２）は同一の物体に属する。

各組のセンシング装置が検出した各ターゲットに対して上述の処理を行った後に、複数組のセンシング装置が検出したすべてのターゲットの融合を完了している。融合後の同一の物体について、同じ物体番号を用いて標識することができる。例えば、範囲７０１内の３つのターゲット（３組のセンシング装置により検出されたもの）に対して１つの物体番号を用いて標識を行い、範囲７０２内の２つのターゲット（２組のセンシング装置により検出されたもの）に対して１つの物体番号を用いて標識を行い、範囲７０３内の２つのターゲット（２組のセンシング装置により検出されたもの）に対して１つの物体番号を用いて標識を行う。また、ｔｈ４の範囲外で見つかった、他の組のセンシング装置により検出されたターゲットについて、例えば、図７において範囲７０１〜７０３に無い、第三組のセンシング装置により検出されたターゲット（３）について、１つの物体番号を用いてそれに対して標識を行う。

本発明の実施例では、各組のセンシング装置が検出したターゲット（レーダー検出結果とビデオ検出結果とを融合した後のターゲット）の所在する位置に基づいて、複数組のセンシング装置が検出したターゲットに対して融合を行う以外に、各組のセンシング装置が検出したターゲットの速度を参考にしても良い。

幾つかの実施例において、上述の所定範囲内のターゲットは、対向して設置されるセンシング装置が検出したものであり、且つ、該所定範囲内のターゲットのうち、対向して設置されるセンシング装置により検出されたターゲットの速度ベクトルの差は第五閾値（ｔｈ５）未満である。なお、対向して設置されるセンシング装置の具体的な意味については、後述する。

依然として図７を例にとり、ターゲットの位置のみを考慮する場合、範囲７０１内のターゲット（１）、（２）、（３）がｔｈ４を満足しているから、範囲７０１内のターゲット（１）、（２）、（３）は同一の物体に属し；ターゲットの位置及びターゲットの速度の両方を考慮する場合、範囲７０１内のターゲット（１）、（２）、（３）がｔｈ４を満足しているが、範囲７０１内のターゲット（１）及び（２）がｔｈ５を満足し、（３）がｔｈ５を満足しなければ、（１）及び（２）は同一の物体に属し、（３）はこの物体に属しない。

６０２では、幾つかの実施例において、所定範囲内のすべてのターゲットの位置及び速度に基づいて該物体の位置及び速度を確定する。

本発明の実施例では、実施例の第一側面に記載のように、融合後の各ターゲットの情報は該ターゲットの位置情報及び該ターゲットの速度情報を含み、該位置情報は例えば、実施例の第一側面に記載の（ｃｘ_ｔ，ｃｙ_ｔ）（該組のセンシング装置が検出した融合後のターゲットはビデオ情報のみを含み、又は、ｄ_ｃ≦ｔｈ２、又は、ｄ_ｒ≦ｔｈ２である。）又は（ｒｘ_ｔ，ｒｙ_ｔ）（該組のセンシング装置が検出した融合後のターゲットはレーダー情報のみを含み、又は、ｄ_ｃ＞ｔｈ２、又は、ｄ_ｒ＞ｔｈ２である。）であり、該速度情報は例えば、実施例の第一側面に記載の
（外１１）

及び／又は
（外１２）

である。

幾つかの実施例において、所定範囲内のすべてのターゲットの位置の平均値をこれらのターゲットに対応する該物体の位置としても良い。

例えば、１つの融合後の物体（６０１の処理により融合された物体）について、第ｇ組のセンシング装置が検出した融合後のターゲットの座標が（ｘ_ｇ，ｙ_ｇ）であり、トータルでｎ組のセンサがある場合、該融合後の物体の位置は、
（外１３）

である。

幾つかの実施例において、対向して設置されるセンシング装置のレーダー速度に基づいて、該物体のレーダー速度測定結果を確定し、また、対向して設置されるセンシング装置のビデオ速度に基づいて該物体のビデオ速度測定結果を確定し、そして、レーダー速度測定結果及びビデオ速度測定結果の平均値を該物体の速度とすることができる。

幾つかの実施例において、レーダー速度測定結果は、すべての、対向して設置されるセンシング装置のレーダー速度のベクトルの和の平均値であり、ビデオ速度測定結果は、すべての、対向して設置されるセンシング装置のビデオ速度のベクトルの和の平均値である。

本発明の実施例では、対向して設置されるセンシング装置とは、２組のセンシング装置が対向して設置されることを意味する。例えば、第一組のセンシング装置が交差点の東側に設置され且つ西側に面し、第二組のセンシング装置が交差点の西側に設置され且つ東側に面する場合、第一組のセンシング装置及び第二組のセンシング装置は、対向して設置されるセンシング装置に属する。また、例えば、第三組のセンシング装置が交差点の南側に設置されて北側に面し、第四組のセンシング装置が交差点の北側に設置されて南側に面する場合、第三組のセンシング装置及び第四組センシング装置は、対向して設置されるセンシング装置に属する。これに基づいて類推することができるため、ここでは網羅的な列挙を省略する。

例えば、１つの融合後の物体（６０１の処理により融合された物体）について、まず、対向して設置されるセンシング装置の中のレーダー（対向レーダーとも言う）が測定した速度の平均値を求め、この物体に関してこのような対向レーダーがトータルでｎ対あり、そのうち、第ｈ対の対向レーダーが測定した該物体の速度ベクトルが
（外１４）

であり、第ｈ対の対向カメラヘッドが測定した該物体の速度ベクトルが
（外１５）

である場合、レーダー速度測定結果は、

であり、ビデオ速度測定結果は、

であり、この物体の最終速度は、

である。

また、例えば、１つの融合後の物体（６０１の処理により融合された物体）について、トータルでｎ組のセンシング装置が該物体を測定し、そのうち、第ｈ組のセンシング装置のレーダーが測定した該物体の速度ベクトルが
（外１６）

であり、カメラヘッドが測定した該物体の速度ベクトルが
（外１７）

である場合、レーダー速度測定結果は、

であり、ビデオ速度測定結果は、

であり、この物体の最終速度は、

である。

図８は該物体の速度を計算する一例を示す図である。図８に示すように、１つの物体ａが交差点を通過するときに、ｉはレーダー速度測定結果であり、
（外１８）

及び
（外１９）

は、それぞれ、第１対の対向レーダー及び第２対の対向レーダーが測定した速度ベクトルであり、レーダーの速度測定結果は、
（外２０）

であり；ｉｉはビデオ速度測定結果であり、
（外２１）

及び
（外２２）

は、それぞれ、第１対の対向カメラヘッド及び第２対の対向カメラヘッドが測定した速度ベクトルであり、ビデオ速度測定結果は、
（外２３）

であり；ｉｉｉは物体ａの速度、即ち、

である。

本発明の実施例における方法によれば、複数組のセンシング装置が設けられる場合、各組のセンシング装置が道路上の異なる方向でターゲットを検出し、各組のセンシング装置が検出したターゲット及び収集したデータを融合し、電子マップを生成することで、道路上の各方向のターゲットをリアルタイムに表示することができる。

＜実施例の第三側面＞
本発明の実施例の第三側面では、データ融合装置が提供され、該データ融合装置は実施例の第一側面におけるデータ融合方法に対応し、ここでは同じ内容の重複説明が省略される。

図９は本発明の実施例におけるデータ融合装置を示す図である。図９に示すように、本発明の実施例におけるデータ融合装置９００は、投影ユニット９０１、第一確定ユニット９０２、第二確定ユニット９０３、第一標識ユニット９０４、及び第三確定ユニット９０５を含む。

投影ユニット９０１は、カレントフレームのレーダー検出結果をビデオ座標系に投影し、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲットのビデオ座標系での位置を取得し；
第一確定ユニット９０２は、ビデオ座標系において、未マッチングの各レーダーターゲットについて、前記レーダーターゲットと関連付けられるビデオターゲットを確定し；
第二確定ユニット９０３は、ビデオ座標系において、未マッチングの各ビデオターゲットについて、前記ビデオターゲットの類型、及び前記ビデオターゲットと関連付けられるレーダーターゲットに基づいて、前記ビデオターゲットとマッチするレーダーターゲットを確定し；
第一標識ユニット９０４は、物体番号を用いて、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットを標識し；
第三確定ユニット９０５は、標識された各物体について、前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系における位置及び速度を確定する。

幾つかの実施例において、第一確定ユニット９０２が前記レーダーターゲットと関連付けられるビデオターゲットを確定することは、
前記レーダーターゲットと、カレントフレームのビデオ検出結果におけるすべての未マッチングのビデオターゲットとの間の距離を計算し；及び
距離が第一閾値よりも小さく且つ距離が最小であるビデオターゲットを、前記レーダーターゲットと関連付けられるビデオターゲットとすることを含む。

幾つかの実施例において、第一確定ユニット９０２が前記レーダーターゲットと、カレントフレームのビデオ検出結果におけるすべての未マッチングのビデオターゲットとの間の距離を計算することは、
カレントフレームのビデオ検出結果におけるすべての未マッチングのビデオターゲットのうちの各ビデオターゲットについて、以下の公式により前記距離を計算することを含む。

ｄ_ｉｊ＝ｕｗ＊（ｕｒ_ｉ−ｕｖ_ｊ）＋ｖｗ＊（ｖｒ_ｉ−ｖｖ_ｊ）
そのうち、（ｕｒ_ｉ，ｖｒ_ｉ）は前記レーダーターゲットのビデオ座標系における座標であり、（ｕｖ_ｊ，ｖｖ_ｊ）は前記ビデオターゲットのビデオ座標系における座標であり、ｕｗは横方向ウェイト値であり、ｖｗは縦方向ウェイト値であり、ｕｗ≧０、ｖｗ≧０、且つｕｗ＋ｖｗ＝１である。

幾つかの実施例において、前記横方向ウェイト値及び前記縦方向ウェイト値の比は、カレントフレームに対応するビデオ画像のアスペクト比及び前記ビデオ画像に対応する実際位置の距離比に基づいて設定される。

幾つかの実施例において、第二確定ユニット９０３が前記ビデオターゲットの類型に基づいて前記ビデオターゲットとマッチするレーダーターゲットを確定することは、
前記ビデオターゲットの類型が複数のレーダーターゲットとマッチし得る類型である場合、第二確定ユニット９０３が、前記ビデオターゲットとマッチするレーダーターゲットがすべての、前記ビデオターゲットと関連付けられるレーダーターゲットであると確定し；及び
前記ビデオターゲットの類型が１つのみのレーダーターゲットにマッチし得る類型である場合、第二確定ユニット９０３が、前記ビデオターゲットとマッチするレーダーターゲットがすべての、前記ビデオターゲットと関連付けられるレーダーターゲットのうち、前記ビデオターゲットとの間の距離が最も小さいレーダーターゲットであると確定することを含む。

幾つかの実施例において、第一標識ユニット９０４が物体番号を用いてカレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットを標識することは、
各組のマッチしたレーダーターゲット及びビデオターゲットを１つの物体番号により標識し；
未マッチングの各レーダーターゲットを１つの物体番号により標識し；及び
未マッチングの各ビデオターゲットを１つの物体番号により標識することを含む。

幾つかの実施例において、図９に示すように、該データ融合装置９００はさらに以下のようなものを含む。

第二標識ユニット９０６：第一確定ユニット９０２がレーダーターゲットと関連付けられるビデオターゲットを確定する前に、レーダー軌跡及びビデオ軌跡に基づいてレーダーターゲット及びビデオターゲットを標識する。

第二標識ユニット９０６の標識処理は、少なくとも１つのレーダーターゲットが１つのレーダー軌跡に属し、少なくとも１つのビデオターゲットが１つのビデオ軌跡に属し、且つ前記レーダー軌跡及び前記ビデオ軌跡の中のターゲットが１つ前のフレームにおいて同じ物体番号により標識されている場合、１つ前のフレームの前記物体番号を用いて前記の少なくとも１つのレーダーターゲット及び上述の少なくとも１つのビデオターゲットを標識することを含む。

幾つかの実施例において、前記ビデオ情報は、前記物体のビデオ検出結果のワールド座標系における位置及び速度を含み、前記ビデオ検出結果は、カメラヘッドが検出したものであり、前記レーダー情報は、前記物体のレーダー検出結果の世界座標系での位置及び速度を含み、前記レーダー検出結果はレーダーが検出したものである。

幾つかの実施例において、第三確定ユニット９０５が前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系における位置を確定することは、
前記物体が前記ビデオ情報のみを含む場合、第三確定ユニット９０５が、前記物体のビデオ検出結果のワールド座標系における位置を前記物体のワールド座標系での位置とし；
前記物体が前記レーダー情報のみを含む場合、第三確定ユニット９０５が、前記物体のレーダー検出結果の世界座標系での位置を前記物体のワールド座標系における位置とし；及び
前記物体が前記ビデオ情報及び前記レーダー情報を含む場合、第三確定ユニット９０５が、ワールド座標系での前記物体と前記レーダーとの間の距離、又は、ワールド座標系での前記物体と、前記カメラヘッドとの間の距離に基づいて、前記物体の世界座標における位置を確定することを含む。

幾つかの実施例において、前記距離が第二閾値以下である場合、第三確定ユニット９０５は、前記物体のビデオ検出結果のワールド座標系での位置を前記物体のワールド座標系における位置とし、前記距離が第二閾値よりも大きい場合、第三確定ユニット９０５は、前記物体のレーダー検出結果の世界座標系における位置を前記物体のワールド座標系での位置とする。

幾つかの実施例において、前記第二閾値はビデオ測距精度と関係がある。

幾つかの実施例において、第三確定ユニット９０５は、以下の公式によりワールド座標系における前記物体と前記カメラヘッドとの間の距離を計算する。

そのうち、（ｃｏｘ，ｃｏｙ）は前記カメラヘッドのワールド座標系での座標であり、（ｃｘ_ｔ，ｃｙ_ｔ）は前記カメラヘッドが検出した前記物体のワールド座標系における座標である。

幾つかの実施例において、第三確定ユニット９０５は以下の公式によりワールド座標系での前記物体と前記レーダーとの間の距離を計算する。

そのうち、（ｒｏｘ，ｒｏｙ）は前記レーダーのワールド座標系における座標であり、（ｒｘ_ｔ，ｒｙ_ｔ）は前記レーダーが検出した前記物体のワールド座標系での座標である。

幾つかの実施例において、第三確定ユニット９０５が前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系での速度を計算することは、
前記物体が前記ビデオ情報のみを含む場合、第三確定ユニット９０５が、前記物体のビデオ検出結果のワールド座標系における速度を前記物体のワールド座標系におけるビデオ速度とし；
前記物体が前記レーダー情報のみを含む場合、第三確定ユニット９０５が、前記物体のレーダー検出結果の世界座標系での速度を前記物体のワールド座標系におけるレーダー速度とし；及び
前記物体が前記ビデオ情報及び前記レーダー情報を含む場合、第三確定ユニット９０５が、前記物体のビデオ検出結果のワールド座標系における速度を前記物体のワールド座標系におけるビデオ速度とし、また、前記物体のレーダー検出結果の世界座標系での速度を前記物体のワールド座標系におけるレーダー速度とすることを含む。

なお、以上、本発明に係る各部品又はモジュールのみについて説明したが、本発明はこれに限定されない。データ融合装置９００はさら、他の部品又はモジュールを含んでも良い。これらの部品又はモジュールの具体的な内容については、関連技術を参照することができる。

本発明の実施例により、レーダー検出結果及びビデオ検出結果に基づいてターゲットの位置を計算し、そして、レーダー及びカメラヘッドが収集したデータを融合することで、従来の方法に比べて、融合の結果はより正確になる。

＜実施例の第四側面＞
本発明の実施例の第四側面ではデータ融合装置が提供され、該データ融合装置は実施例の第二側面におけるデータ融合方法に対応し、ここでは同じ内容の重複説明を省略する。

図１０は本発明の実施例におけるデータ融合装置を示す図である。図１０に示すように、本発明の実施例のデータ融合装置１０００は第一確定ユニット１００１及び第二確定ユニット１００２を含む。

第一確定ユニット１００１は、各組のセンシング装置が検出した各ターゲットについて、前記ターゲットの所定範囲内に他の組センシング装置が検出したターゲットが存在する場合、前記所定範囲内のすべてのターゲットが同じ物体であると確定し；
第二確定ユニット１００２は、前記所定範囲内のすべてのターゲットの位置及び速度に基づいて前記物体の位置及び速度を確定する。

幾つかの実施例において、第二確定ユニット１００２が前記物体の位置を確定することは、前記所定範囲内のすべてのターゲットの位置の平均値を前記物体の位置とすることを含む。

幾つかの実施例において、第二確定ユニット１００２が前記物体の速度を確定することは、対向して設置されるセンシング装置のレーダー速度に基づいて前記物体のレーダー速度測定結果を確定し、対向して設置されるセンシング装置のビデオ速度に基づいて前記物体のビデオ速度測定結果を確定し、及び、前記レーダー速度測定結果及び前記ビデオ速度測定結果の平均値を前記物体の速度とすることを含む。

幾つかの実施例において、前記レーダー速度測定結果はすべての、対向して設置されるセンシング装置のレーダー速度のベクトルの和の平均値であり、前記ビデオ速度測定結果はすべての、対向して設置されるセンシング装置のビデオ速度のベクトルの和の平均値である。

幾つかの実施例において、前記所定範囲内のターゲットは対向して設置されるセンシング装置が検出したものであり、また、前記所定範囲内のターゲットのうち、対向して設置されるセンシング装置が検出したターゲットの速度ベクトルの差は第五閾値未満である。

なお、以上、本発明に係る各部品又はモジュールのみについて説明したが、本発明はこれに限定されない。データ融合装置９００はさらに他の部品又はモジュールを含んでも良い。これらの部品又はモジュールの具体的な内容については、関連技術を参照することができる。

本発明の実施例によれば、複数組のセンシング装置が設置される場合、各組のセンシング装置が道路上の異なる方向でターゲットを検出し、各組のセンシング装置が検出したターゲット及び収集したデータを融合し、電子マップを生成することで、道路上の各方向のターゲットをリアルタイムに表示することができる。

＜実施例の第五側面＞
本発明の実施例の第五側面ではデータ処理装置が提供され、該データ処理装置は例えばコンピュータ、サーバー、ワークステーション、デスクトップパソコン、スマートフォンなどであっても良いが、本発明の実施例はこれに限られない。

図１１は本発明の実施例におけるデータ処理装置を示す図である。図１１に示すように、データ処理装置１１００は少なくとも１つのインターフェース（図示せず）、処理器（例えば、中央処理器（ＣＰＵ））１１０１及び記憶器１１０２を含み、記憶器１１０２は処理器１１０１に接続される。そのうち、記憶器１１０２は各種のデータを記憶することができ、また、データ融合プログラム１１０３をさらに記憶することができ、且つ処理器１１０１の制御下で該プログラム１１０３を実行することができ、また、各種のデータ、例えば、所定の値及び所定の条件などを記憶することもできる。

１つの実施例において、実施例の第三側面に記載のデータ融合装置９００の機能が処理器１１０１に統合されることで、実施例の第一側面に記載のデータ融合方法を実現しても良い。例えば、該処理器１１０１は以下のように構成されても良く、即ち、
カレントフレームのレーダー検出結果をビデオ座標系に投影し、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲットのビデオ座標系での位置を取得し；
ビデオ座標系において、未マッチングの各レーダーターゲットについて、前記レーダーターゲットと関連付けられるビデオターゲットを確定し；
ビデオ座標系において、未マッチングの各ビデオターゲットについて、前記ビデオターゲットの類型、及び前記ビデオターゲットと関連付けられるレーダーターゲットに基づいて、前記ビデオターゲットとマッチするレーダーターゲットを確定し；
物体番号を用いて、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットを標識し；及び
標識された各物体について、前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系における位置及び速度を確定する。

もう１つの実施方式において、実施例の第三側面に記載のデータ融合装置９００が処理器１１０１と別々で配置されても良く、例えば、該データ融合装置９００を、処理器１１０１に接続されるチップとして構成し、処理器１１０１の制御によりデータ融合装置９００の機能を実現しても良い。

１つの実施例において、実施例の第四側面に記載のデータ融合装置１０００の機能が処理器１１０１に集積されることで、実施例の第二側面に記載のデータ融合方法を実現しても良い。例えば、該処理器１１０１は以下のように構成されても良く、即ち、
各組のセンシング装置が検出した各ターゲットについて、前記ターゲットの所定範囲内で他の組のセンシング装置が検出したターゲットが存在する場合、前記所定範囲内のすべてのターゲットが同じ物体であると確定し；及び
前記所定範囲内のすべてのターゲットの位置及び速度に基づいて前記物体の位置及び速度を確定する。

もう１つの実施方式において、実施例の第四側面に記載のデータ融合装置１０００が処理器１１０１と独立して配置されても良く、例えば、該データ融合装置１０００を、処理器１１０１に接続されるチップとして構成し、処理器１１０１の制御によりデータ融合装置１０００の機能を実現しても良い。

なお、データ処理装置１１００はさらに表示器１１０５及びＩ／Ｏ装置１１０４を含んでも良く、又は、図１１に示すすべての部品を含む必要なく、例えば、カメラヘッド及びレーダー（図示せず）を、入力画像フレームを得るためにさらに含んでも良い。また、該データ処理装置１１００はさらに図１１にない部品を含んでも良いが、これについては従来技術を参照することができる。

本発明の実施例では、処理器１１０１は制御器又は操作コントローラーと称される場合があり、マイクロプロセッサ又は他の処理器装置及び／又は論理装置を含んでも良く、該処理器１１０１は入力を受信し、また、データ処理装置１１００の各部品の操作を制御することができる。

本発明の実施例では、記憶器１１０２は例えばバッファ、フレッシュメモリ、ＨＤＤ、移動可能な媒体、揮発性記憶器、不揮発性記憶器又は他の適切な装置のうちの１つ又は複数であっても良い。それは、各種の情報を記憶することができ、また、情報処理用のプログラムをさらに記憶することができる。処理器１１０１は、該記憶器１１０２に記憶の該プログラムを実行することで、情報の記憶又は処理などを実現することもできる。なお、他の部品の機能が従来と類似しているため、ここではその詳しい説明を省略する。さらに、データ処理装置１１００の各部品は専用ハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせにより実現されても良いが、そのすべては本発明の範囲に属する。

本発明の実施例のデータ処理装置は、データ融合の正確性を向上させることができる。

本発明の実施例はさらにコンピュータ可読プログラムを提供し、そのうち、データ処理装置の中で前記プログラムを実行するときに、前記プログラムは、前記データ処理装置に、実施例の第一側面又は第二側面に記載の方法を実行させる。

本発明の実施例はさらにコンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、前記コンピュータ可読プログラムは、データ処理装置の中で実施例の第一側面又は第二側面に記載の方法を実行させる。

また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行されるときに、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フレッシュメモリなどにも関する。

また、上述の実施例などに関し、さらに以下の付記を開示する。

（付記１）
１組のセンシング装置のためのデータ融合方法であって、
前記１組のセンシング装置は１つのレーダー及び１つのカメラヘッドを含み、
前記方法は、
カレントフレームのレーダー検出結果をビデオ座標系に投影し、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲットのビデオ座標系での位置を取得し；
ビデオ座標系において、未マッチングの各レーダーターゲットについて、前記レーダーターゲットと関連付けられるビデオターゲットを確定し；
ビデオ座標系において、未マッチングの各ビデオターゲットについて、前記ビデオターゲットの類型及び前記ビデオターゲットと関連付けられるレーダーターゲットに基づいて、前記ビデオターゲットとマッチするレーダーターゲットを確定し；
物体番号を用いて、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットを標識し；及び
標識された各物体について、前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系における位置及び速度を確定することを含む、方法。

（付記２）
付記１に記載の方法であって、
前記レーダーターゲットと関連付けられるビデオターゲットを確定することは、
前記レーダーターゲットと、カレントフレームのビデオ検出結果におけるすべての未マッチングのビデオターゲットとの間の距離を計算し；及び
距離が第一閾値よりも小さく且つ距離が最も小さいビデオターゲットを、前記レーダーターゲットと関連付けられるビデオターゲットとすることを含む、方法。

（付記３）
付記２に記載の方法であって、
前記レーダーターゲットと、カレントフレームのビデオ検出結果におけるすべての未マッチングのビデオターゲットとの間の距離を計算することは、
カレントフレームのビデオ検出結果におけるすべての未マッチングのビデオターゲットのうちの各ビデオターゲットについて、以下の公式により前記距離を計算し、
ｄ_ｉｊ＝ｕｗ＊（ｕｒ_ｉ−ｕｖ_ｊ）＋ｖｗ＊（ｖｒ_ｉ−ｖｖ_ｊ）
そのうち、（ｕｒ_ｉ，ｖｒ_ｉ）は前記レーダーターゲットビデオ座標系における座標であり、（ｕｖ_ｊ，ｖｖ_ｊ）は前記ビデオターゲットビデオ座標系における座標であり、ｕｗは横方向ウェイト値であり、ｖｗは縦方向ウェイト値であり、ｕｗ≧０、ｖｗ≧０、且つｕｗ＋ｖｗ＝１である、方法。

（付記４）
付記３に記載の方法であって、
前記横方向ウェイト値と前記縦方向ウェイト値の比は、カレントフレームに対応するビデオ画像のアスペクト比、及び、前記ビデオ画像に対応する実際位置の距離比に基づいて設定される、方法。

（付記５）
付記１に記載の方法であって、
前記ビデオターゲットの類型に基づいて前記ビデオターゲットとマッチするレーダーターゲットを確定することは、
前記ビデオターゲットの類型が複数のレーダーターゲットとマッチし得る類型である場合、前記ビデオターゲットとマッチするレーダーターゲットがすべての、前記ビデオターゲットと関連付けられるレーダーターゲットであると確定し；及び
前記ビデオターゲットの類型が１つのみのレーダーターゲットとマッチし得る類型である場合、前記ビデオターゲットとマッチするレーダーターゲットがすべての、前記ビデオターゲットと関連付けられるレーダーターゲットのうちの、前記ビデオターゲットとの間の距離が最も小さいレーダーターゲットであると確定することを含む、方法。

（付記６）
付記１に記載の方法であって、
物体番号を用いて、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットを標識することは、
各組のマッチしているレーダーターゲット及びビデオターゲットを１つの物体番号により標識し；
未マッチングの各レーダーターゲットを１つの物体番号により標識し；及び
未マッチングの各ビデオターゲットを１つの物体番号により標識することを含む、方法。

（付記７）
付記１に記載の方法であって、
レーダーターゲットと関連付けられるビデオターゲットを確定する前に、前記方法は、さらに、レーダー軌跡及びビデオ軌跡に基づいてレーダーターゲット及びビデオターゲットを標識することを含み、
前記のレーダー軌跡及びビデオ軌跡に基づいてレーダーターゲット及びビデオターゲットを標識することは、
少なくとも１つのレーダーターゲットが１つのレーダー軌跡に属し、少なくとも１つのビデオターゲットが１つのビデオ軌跡に属し、且つ前記レーダー軌跡及び前記ビデオ軌跡の中のターゲットが１つ前のフレームにおいて同じ物体番号により標識されている場合、１つ前のフレームの前記物体番号を用いて前記少なくとも１つのレーダーターゲット及び前記少なくとも１つのビデオターゲットを標識することを含む、方法。

（付記８）
付記１に記載の方法であって、
前記ビデオ情報は前記物体のビデオ検出結果のワールド座標系における位置及び速度を含み、前記ビデオ検出結果はカメラヘッドが検出したものであり、前記レーダー情報は前記物体のレーダー検出結果の世界座標系での位置及び速度を含み、前記レーダー検出結果はレーダーが検出したものである、方法。

（付記９）
付記８に記載の方法であって、
前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系における位置を確定することは、
前記物体が前記ビデオ情報のみを含む場合、前記物体のビデオ検出結果のワールド座標系における位置を前記物体のワールド座標系における位置とし；
前記物体が前記レーダー情報のみを含む場合、前記物体のレーダー検出結果の世界座標系での位置を前記物体のワールド座標系における位置とし；及び
前記物体が前記ビデオ情報及び前記レーダー情報を含む場合、ワールド座標系での前記物体と前記レーダーとの間の距離又はワールド座標系での前記物体と前記カメラヘッドとの間の距離に基づいて前記物体の世界座標系での位置を確定することを含む、方法。

（付記１０）
付記９に記載の方法であって、
前記距離が第二閾値以下である場合、前記物体のビデオ検出結果のワールド座標系における位置を前記物体のワールド座標系における位置とし；
前記距離が第二閾値よりも大きい場合、前記物体のレーダー検出結果の世界座標系での位置を前記物体のワールド座標系における位置とする、方法。

（付記１１）
付記１０に記載の方法であって、
前記第二閾値はビデオ測距精度と関係がある、方法。

（付記１２）
付記９に記載の方法であって、
ワールド座標系での前記物体と前記カメラヘッドとの間の距離は以下の公式により計算され、

そのうち、（ｃｏｘ，ｃｏｙ）は前記カメラヘッドのワールド座標系における座標であり、（ｃｘ_ｔ，ｃｙ_ｔ）は前記カメラヘッドが検出した前記物体のワールド座標系における座標である、方法。

（付記１３）
付記９に記載の方法であって、
ワールド座標系での前記物体と前記レーダーとの間の距離は以下の公式により計算され、

そのうち、（ｒｏｘ，ｒｏｙ）は前記レーダーのワールド座標系における座標であり、（ｒｘ_ｔ，ｒｙ_ｔ）は前記レーダーが検出した前記物体のワールド座標系における座標である、方法。

（付記１４）
付記８に記載の方法であって、
前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系における速度を確定することは、
前記物体が前記ビデオ情報のみを含む場合、前記物体のビデオ検出結果のワールド座標系における速度を前記物体のワールド座標系におけるビデオ速度とし；
前記物体が前記レーダー情報のみを含む場合、前記物体のレーダー検出結果の世界座標系での速度を前記物体のワールド座標系におけるレーダー速度とし；及び
前記物体が前記ビデオ情報及び前記レーダー情報を含む場合、前記物体のビデオ検出結果のワールド座標系における速度を前記物体のワールド座標系におけるビデオ速度とし、また、前記物体のレーダー検出結果の世界座標系での速度を前記物体のワールド座標系におけるレーダー速度とすることを含む、方法。

（付記１５）
複数組のセンシング装置のためのデータ融合方法であって、
各組のセンシング装置は１つのレーダー及び１つのカメラヘッドを含み、
前記方法は、
各組のセンシング装置が検出した各ターゲットについて、前記ターゲットの所定範囲内で他の組のセンシング装置が検出したターゲットが存在する場合、前記所定範囲内のすべてのターゲットが同じ物体であると確定し；及び
前記所定範囲内のすべてのターゲットの位置及び速度に基づいて前記物体の位置及び速度を確定することを含む、方法。

（付記１６）
付記１５に記載の方法であって、
前記物体の位置の確定は、前記所定範囲内のすべてのターゲットの位置の平均値を前記物体の位置とすることを含む、方法。

（付記１７）
付記１５に記載の方法であって、
前記物体の速度の確定は、
対向して設置されるセンシング装置のレーダー速度に基づいて前記物体のレーダー速度測定結果を確定し；
対向して設置されるセンシング装置のビデオ速度に基づいて前記物体のビデオ速度測定結果を確定し；及び
前記レーダー速度測定結果及び前記ビデオ速度測定結果の平均値を前記物体の速度とすることを含む、方法。

（付記１８）
付記１７に記載の方法であって、
前記レーダー速度測定結果は、すべての、対向して設置されるセンシング装置のレーダー速度のベクトルの和の平均値であり、前記ビデオ速度測定結果は、すべての、対向して設置されるセンシング装置のビデオ速度のベクトルの和の平均値である、方法。

（付記１９）
付記１５に記載の方法であって、
前記所定範囲内のターゲットは対向して設置されるセンシング装置が検出したものであり、前記所定範囲内のターゲットのうち、対向して設置されるセンシング装置が検出したターゲットの速度ベクトルの差は第五閾値未満である、方法。

（付記２０）
データ処理装置であって、
前記データ処理装置は処理器及び記憶器を含み、前記記憶器はコンピュータプログラムを記憶しており、前記処理器は、前記コンピュータプログラムを実行して以下のデータ融合方法を実現するように構成され、即ち、
カレントフレームのレーダー検出結果をビデオ座標系に投影し、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲットのビデオ座標系での位置を取得し；
ビデオ座標系において、未マッチングの各レーダーターゲットについて、前記レーダーターゲットと関連付けられるビデオターゲットを確定し；
ビデオ座標系において、未マッチングの各ビデオターゲットについて、前記ビデオターゲットの類型に基づいて前記ビデオターゲットとマッチするレーダーターゲットを確定し；
物体番号を用いて、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットを標識し；及び
標識された各物体について、前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系における位置及び速度を確定する、装置。

（付記２１）
データ処理装置であって、
前記データ処理装置は処理器及び記憶器を含み、前記記憶器はコンピュータプログラムを記憶しており、前記処理器は前記コンピュータプログラムを実行して以下のデータ融合方法を実現するように構成され、即ち、
各組のセンシング装置が検出した各ターゲットについて、前記ターゲットの所定範囲内で他の組のセンシング装置が検出したターゲットが存在する場合、前記所定範囲内のすべてのターゲットが同じ物体であると確定し；及び
前記所定範囲内のすべてのターゲットの位置及び速度に基づいて前記物体の位置及び速度を確定する、装置。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (10)

1. １組のセンシング装置のためのデータ融合装置であって、
   前記１組のセンシング装置は１つのレーダー及び１つのカメラヘッドを含み、
   前記データ融合装置は、
   カレントフレームのレーダー検出結果をビデオ座標系に投影し、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲットのビデオ座標系での位置を取得する投影ユニット；
   ビデオ座標系において、未マッチングの各レーダーターゲットについて、前記レーダーターゲットと関連付けられるビデオターゲットを確定する第一確定ユニット；
   ビデオ座標系において、未マッチングの各ビデオターゲットについて、前記ビデオターゲットの類型、及び前記ビデオターゲットと関連付けられるレーダーターゲットに基づいて、前記ビデオターゲットとマッチするレーダーターゲットを確定する第二確定ユニット；
   物体番号を用いて、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットを標識する第一標識ユニット；及び
   標識された各物体について、前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系における位置及び速度を確定する第三確定ユニットを含む、データ融合装置。
2. 請求項１に記載のデータ融合装置であって、
   前記第一確定ユニットが前記レーダーターゲットと関連付けられるビデオターゲットを確定することは、
   前記レーダーターゲットと、カレントフレームのビデオ検出結果におけるすべての未マッチングのビデオターゲットとの間の距離を計算し；及び
   距離が第一閾値よりも小さく且つ距離が最も小さいビデオターゲットを、前記レーダーターゲットと関連付けられるビデオターゲットとすることを含む、データ融合装置。
3. 請求項２に記載のデータ融合装置であって、
   前記第一確定ユニットが前記レーダーターゲットと、カレントフレームのビデオ検出結果におけるすべての未マッチングのビデオターゲットとの間の距離を計算することは、
   カレントフレームのビデオ検出結果におけるすべての未マッチングのビデオターゲットのうちの各ビデオターゲットについて、
   ｄ_ｉｊ＝ｕｗ＊（ｕｒ_ｉ−ｕｖ_ｊ）＋ｖｗ＊（ｖｒ_ｉ−ｖｖ_ｊ）
   により前記距離を計算し、
   （ｕｒ_ｉ，ｖｒ_ｉ）は前記レーダーターゲットビデオ座標系における座標であり、（ｕｖ_ｊ，ｖｖ_ｊ）は前記ビデオターゲットビデオ座標系における座標であり、ｕｗは横方向ウェイト値であり、ｖｗは縦方向ウェイト値であり、ｕｗ≧０、ｖｗ≧０、且つｕｗ＋ｖｗ＝１である、データ融合装置。
4. 請求項１に記載のデータ融合装置であって、
   前記第一標識ユニットが物体番号を用いて、カレントフレームのレーダー検出結果におけるすべてのレーダーターゲット及びカレントフレームのビデオ検出結果におけるすべてのビデオターゲットを標識することは、
   各組のマッチしたレーダーターゲット及びビデオターゲットを１つの物体番号により標識し；
   未マッチングの各レーダーターゲットを１つの物体番号により標識し；及び
   未マッチングの各ビデオターゲットを１つの物体番号により標識することを含む、データ融合装置。
5. 請求項１に記載のデータ融合装置であって、
   第二標識ユニットをさらに含み、
   前記第二標識ユニットは、前記第一確定ユニットがレーダーターゲットと関連付けられるビデオターゲットを確定する前に、レーダー軌跡及びビデオ軌跡に基づいてレーダーターゲット及びビデオターゲットを標識し、
   前記のレーダー軌跡及びビデオ軌跡に基づいてレーダーターゲット及びビデオターゲットを標識することは、
   少なくとも１つのレーダーターゲットが１つのレーダー軌跡に属し、少なくとも１つのビデオターゲットが１つのビデオ軌跡に属し、且つ前記レーダー軌跡及び前記ビデオ軌跡の中のターゲットが１つ前のフレームにおいて同じ物体番号により標識されている場合、１つ前のフレームの前記物体番号を用いて前記少なくとも１つのレーダーターゲット及び前記少なくとも１つのビデオターゲットを標識することを含む、データ融合装置。
6. 請求項１に記載のデータ融合装置であって、
   前記ビデオ情報は前記物体のビデオ検出結果のワールド座標系における位置及び速度を含み、前記ビデオ検出結果はカメラヘッドが検出したものであり、
   前記レーダー情報は前記物体のレーダー検出結果のワールド座標系における位置及び速度を含み、前記レーダー検出結果はレーダーが検出したものである、データ融合装置。
7. 請求項６に記載のデータ融合装置であって、
   第三確定ユニットが前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系における位置を確定することは、
   前記物体が前記ビデオ情報のみを含む場合、前記第三確定ユニットが、前記物体のビデオ検出結果のワールド座標系における位置を前記物体のワールド座標系における位置とし；
   前記物体が前記レーダー情報のみを含む場合、前記第三確定ユニットが、前記物体のレーダー検出結果のワールド座標系での位置を前記物体のワールド座標系における位置とし；及び
   前記物体が前記ビデオ情報及び前記レーダー情報を含む場合、前記第三確定ユニットが、ワールド座標系下での前記物体と前記レーダーとの間の距離、又は、ワールド座標系での前記物体と前記カメラヘッドとの間の距離に基づいて、前記物体の世界座標系での位置を確定することを含む、データ融合装置。
8. 請求項７に記載のデータ融合装置であって、
   前記距離が第二閾値以下である場合、前記第三確定ユニットは、前記物体のビデオ検出結果のワールド座標系における位置を前記物体のワールド座標系における位置とし、
   前記距離が第二閾値よりも大きい場合、前記第三確定ユニットは、前記物体のレーダー検出結果の世界座標系での位置を前記物体のワールド座標系における位置とする、データ融合装置。
9. 請求項６に記載のデータ融合装置であって、
   前記第三確定ユニットが前記物体に対応するビデオ情報及び／又はレーダー情報に基づいて前記物体のワールド座標系における速度を確定することは、
   前記物体が前記ビデオ情報のみを含む場合、前記第三確定ユニットが、前記物体のビデオ検出結果のワールド座標系における速度を前記物体のワールド座標系におけるビデオ速度とし；
   前記物体が前記レーダー情報のみを含む場合、前記第三確定ユニットが、前記物体のレーダー検出結果の世界座標系での速度を前記物体のワールド座標系におけるレーダー速度とし；及び
   前記物体が前記ビデオ情報及び前記レーダー情報を含む場合、前記第三確定ユニットが、前記物体のビデオ検出結果のワールド座標系における速度を前記物体のワールド座標系におけるビデオ速度とし、また、前記物体のレーダー検出結果の世界座標系での速度を前記物体のワールド座標系におけるレーダー速度とすることを含む、データ融合装置。
10. 複数組のセンシング装置のためのデータ融合装置であって、
    各組のセンシング装置は１つのレーダー及び１つのカメラヘッドを含み、
    前記データ融合装置は、
    各組のセンシング装置が検出した各ターゲットについて、前記ターゲットの所定範囲内に他の組のセンシング装置が検出したターゲットが存在する場合、前記所定範囲内のすべてのターゲットが同じ物体であると確定する第一確定ユニット；及び
    前記所定範囲内のすべてのターゲットの位置及び速度に基づいて前記物体の位置及び速度を確定する第二確定ユニットを含む、データ融合装置。

Images