JP2021120864A - 障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents

Abstract

【課題】画像の視点からカメラのブレという問題を解決し、路側感知システムのロバスト性が大幅に改善され、コンピューティングリソースを節約できる害物検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムを提供する。【解決手段】障害物検出方法は、カメラによって取得された現在画像を取得することと、現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、現在画像における接地点の第１画素座標を確定することと、現在画像とカメラ外部パラメータのキャリブレーションに使用される画像であるテンプレート画像との間のオフセットを確定することと、第１画素座標を、オフセットに基づいて接地点の世界座標に変換することと、接地点の世界座標を世界座標系における障害物の位置として出力することと、を含む。【選択図】図２

Description

本出願の実施例は、コンピュータ技術分野に関し、特に高度道路交通の技術分野に関する。

路側感知技術は路側センサ及び感知アルゴリズムによって感知された障害物を車両に送信し、それにより車両が自動運転機能を実現することを補助する技術であり、現在、路側感知センサはカメラ及びライダ等を含む。Ｖ２Ｘ（ｖｅｈｉｃｌｅ ｔｏ ｅｖｅｒｙｔｈｉｎｇ、車両と外界との情報交換）路側感知シーンでは、カメラによって視界を超える道路交通情報を取得するために、通常、カメラ位置を街灯柱又は信号柱に取り付ける。カメラが高ければ高いほど、画像内に得られる視野が大きくなり、情報量が多くなり、路側の感知能力が強くなる。しかし、カメラが高い柱に取り付けられている場合には、風や大型車の通過によってブレが発生することがある。カメラの位置が変化する場合、カメラのオフラインでキャリブレートされた外部パラメータを用いて障害物の３次元復元を行う場合は、ブレによる誤差が導入されることがあり、ブレが大きすぎると外部パラメータが無効になり、得られた障害物の位置が大きくずれることがある。したがって、ロバストな安定した路側感知システムは、カメラのブレ問題を解決する必要がある。

従来の路側感知アルゴリズムフレームは一般的にオフラインの外部パラメータを用い、カメラが振れた場合、オフラインの外部パラメータを使用することは外部パラメータの無効による問題に直面する。

一般的なカメラのブレを解決する方法は光学的ブレ防止、機械的ブレ防止方法及び電子的ブレ防止の方法がある。路側感知のコスト制限のため、追加費用が必要な光学的ブレ防止及び機械的ブレ防止はいずれも大規模に使用することができない。一般的な電子的ブレ防止は路側カメラのシーンに直面する場合、比較的大きな誤差があり、例えば激しく移動する前景による遮蔽、特徴点抽出がロバストではないなどの問題がある。

比較的流行の方法は外部パラメータのオンラインキャリブレーションを行い、カメラ外部パラメータをリアルタイムに算出することによりオフライン外部パラメータを更新し、それにより路側感知システムにおけるオフライン外部パラメータの失効問題を解決する。このような方法は精度とリアルタイム性が比較的優れたハードウェアで需要を満たすことができるが、計算力がかかり、コストが比較的高い。

障害物検出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムを提供する。

第１態様によれば、カメラによって取得された現在画像を取得することと、前記現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、前記現在画像における接地点の第１画素座標を確定することと、前記現在画像と、カメラ外部パラメータのキャリブレーションに使用される画像であるテンプレート画像との間のオフセットを確定することと、オフセットに基づいて第１画素座標を接地点の世界座標に変換することと、接地点の世界座標を世界座標系における障害物の位置として出力することと、を含む障害物検出方法を提供する。

第２態様によれば、カメラによって取得された現在画像を取得するように構成される取得ユニットと、前記現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、前記現在画像における接地点の第１画素座標を確定するように構成される検出ユニットと、前記現在画像と、カメラ外部パラメータのキャリブレーションに使用される画像であるテンプレート画像との間のオフセットを確定するように構成されるオフセットユニットと、前記オフセットに基づいて前記第１画素座標を前記接地点の世界座標に変換するように構成される変換ユニットと、前記接地点の世界座標を世界座標系における障害物の位置として出力するように構成される出力ユニットと、を含む障害物検出装置を提供する。

第３態様によれば、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が格納されており、前記命令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに第１態様のいずれか１項に記載の方法を実行させる、電子機器を提供する。

第４態様によれば、コンピュータ命令が格納されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令は前記コンピュータに第１態様のいずれか１項に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体を提供する。

第５態様によれば、本出願の実施例は、コンピュータプログラムであって、前記コンピュータプログラムがプロセッサにより実行されると、第１態様に記載の方法を実現する、コンピュータプログラムを提供する。

本出願の技術によれば、画像の視点からカメラのブレという問題を解決し、路側感知システムのロバスト性が大幅に向上され、カメラのブレの存在するシーンに対応することができる。しかも新たなセンサの追加は不要である。オンラインキャリブレーションアルゴリズムに比べ、コストが節約され、従来のオンラインキャリブレーションに消費される計算リソースを節約することができ、他のアプリケーション及び計算をサポートするために用いられる。

なお、発明の概要に記載された内容は、本出願の実施形態のかなめとなる特徴又は重要な特徴を限定することを意図するものではなく、本出願の範囲を限定するものでもない。本出願の他の特徴は、以下の説明によって容易に理解されるであろう。

図面は本出願をよりよく理解するために用いられ、本出願に対する限定を構成しない。
本出願の一実施例を適用可能な例示的なシステムアーキテクチャを示す図である。 本出願に係る障害物検出方法の一実施例を示すフローチャートである。 本出願に係る障害物検出方法の一応用シーンを示す概略図である。 本出願に係る障害物検出方法のもう一つの実施例を示すフローチャートである。 本出願に係る障害物検出装置の一実施例を示す構造概略図である。 本出願の実施例に係る障害物検出方法を実現するための電子機器のブロック図である。

以下は図面を参照して本出願の例示的な実施例を説明し、ここでは理解に役立つため、本出願の実施例の様々な詳細が記載されるが、これらは単なる例示的なものに過ぎない。従って、本出願の範囲および要旨を逸脱しない限り、当業者が本明細書の実施例に対して様々な変更や修正を行うことができることは自明である。なお、以下の説明では、明確化及び簡略化のため、公知の機能及び構成については説明を省略する。

図１は、本出願に係る障害物検出方法または障害物検出装置の実施例が適用可能な例示的なシステムアーキテクチャ１００を示している。

図１に示すように、システムアーキテクチャ１００は、カメラ１０１、１０２、１０３、ネットワーク１０４、及びサーバ１０５を含んでもよい。ネットワーク１０４は、カメラ１０１、１０２、１０３とサーバ１０５の間で通信リンクの媒体を提供するために使用される。ネットワーク１０４は、有線、無線通信リンク又は光ファイバケーブルなどの様々なタイプの接続を含んでもよい。

ユーザは、メッセージを送受信するために、カメラ１０１、１０２、１０３を使用してネットワーク１０４を介してサーバ１０５と情報のやり取りをすることができる。

カメラ１０１、１０２、１０３は、一般に、撮影を行い、障害物を認識することができるカメラを指す。交差点で違法（例えば、車線を超え、逆方向に走行、非自動車車線を占用、案内標識で走行せず、赤信号を無視するなど）車両を捕らえる電子警官であってもよい。また高速道路、県道及び国道のいくつかの重点区間に取り付けられ、スピード違反行為を捕らえるためのバヨネットカメラであってもよい。カメラ１０１、１０２、１０３はまた、駐車違反キャプチャカメラ、流量監視カメラ、スカイネット監視カメラ、モバイルキャプチャカメラなどであってもよい。無人車の自動運転を補助するためのカメラであってもよい。

カメラは路側に取り付けられ、風が吹くなどの原因で振れる可能性がある。それによりキャリブレートされたカメラ外部パラメータが不正確になる。本出願の目的はカメラブレによる障害物検出が不正確であるという問題を解決することである。

サーバ１０５は、様々なサービスを提供するサーバ、例えば、カメラ１０１、１０２、１０３上で収集された障害物データを分析するバックグラウンド解析サーバとすることができる。バックグラウンド解析サーバは受信した障害物データに対して解析等の処理を行い、且つ処理結果（例えば障害物位置）を無人車に送信することができる。

なお、サーバは、ハードウェアでもソフトウェアでもよい。サーバがハードウェアである場合、複数のサーバから構成される分散サーバクラスターとしても、単一のサーバとしても実現可能である。サーバがソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するためのソフトウェア又はソフトウェアモジュール）として実現されてもよく、又は単一のソフトウェア若しくはソフトウェアモジュールとして実現されてもよい。ここでは特に限定されない。

なお、本出願の実施例に係る障害物検出方法は、通常にサーバ１０５によって実行され、これに応じて、障害物検出装置は、通常にサーバ１０５に設けられている。

図１におけるカメラ、ネットワーク及びサーバの数が例示的なものに過ぎないことを理解されたい。必要に応じて、カメラ、ネットワーク及びサーバの数を任意に加減してもよい。

次に、本出願に係る障害物検出方法の一実施例の流れ２００を示す図２を参照する。この障害物検出方法は、ステップ２０１−２０２を含む。

ステップ２０１：カメラによって収集された現在画像を取得する。

本実施例において、障害物検出方法の実行主体（例えば図１に示すサーバ）は有線接続方式又は無線接続方式により路側のカメラからカメラによって収集された現在画像を受信することができる。

ステップ２０２：現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、接地点の現在画像における第１画素座標を確定する。

本実施例において、検出モデルは、ＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ，深層学習ニューラルネットワークに基づくオブジェクト認識および測位アルゴリズム）、ＲＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ ＣＮＮ ｆｅａｔｕｒｅｓ，畳み込みニューラルネットワーク特徴を有する領域）等のオブジェクト検出用ニューラルネットワークである。検出モデルにより障害物の２Ｄ検出枠の位置を確定することができる。接地点は検出枠上のカメラ側に近い一点である。図３に示すように、車両の右下隅の点は接地点である。現在画像における接地点の第１画素座標は検出枠によって確定することができる。あるいは、処理を簡単にするために、接地点を２Ｄ検出枠の隅部、例えば左上隅または右下隅に設定してもよい。このときに画素座標を用いる。画素座標系は可視化後のピクチャの座標系であり、通常左上隅が原点であり、右向き下向きが正方向である。

ステップ２０３：現在画像とテンプレート画像との間のオフセットを確定する。

本実施例において、テンプレート画像はカメラ外部パラメータのキャリブレーションを行う時に用いられる画像である。カメラ外部パラメータのキャリブレーションとは、カメラが取り付けられた後、何らかの方法によって世界座標系からカメラ座標系への変換行列（回転行列と並進ベクトルからなる）を得て、該変換行列はカメラ外部パラメータである。カメラ外部パラメータは物体の実世界の位置と画像における画素位置をつながる必要条件であり、例えば自動運転、セキュリティ等、画像における物体の位置を特定する必要がある分野において非常に重要である。

テンプレート画像を参照画像とし、現在画像をレジストレーション対象画像とすることができる。次に、現在画像とテンプレート画像との間のオフセットが、画像レジストレーションの方法によって確定される。画像レジストレーションの方法は以下の三つを含むことができる。

（１）レジストレーション対象画像のグレースケール情報に基づくレジストレーション方法

画像全体のグレースケール情報を基に、レジストレーション対象画像と参照画像との間の類似度メトリックを確立し、ある検索アルゴリズムを利用し、類似度メトリックが最適値に達する変換モデルパラメータを探す。直接レジストレーション法とも呼ばれる。

（２）レジストレーション対象画像に基づいてドメイン内の情報を変換するレジストレーション方法

例えば、フーリエ変換、位相相関、ＷａｌｓｈＴｒａｎｓｆｏｒｍ（ウォルシュ変換）等の方法である。

並進、回転、スケーリングを有する画像レジストレーションにフーリエ変換を用いることができる理由：
（ａ）２枚の並進量を有する画像に対してフーリエ変換を行った後、それらの位相関係は異なり、タイムドメインにおける並進量はフーリエ変換ドメインにおける位相関係を直接決定するためである；
（ｂ）２枚の回転量を有する画像に対して、フーリエ変換ドメインにおける回転量を一定に保持する；
（ｃ）スケーリングを有する２枚の画像に対して、まず座標系変換により対数座標系に変換し、画像のスケーリングは画像の並進に変換して処理することができる。

（３）レジストレーション対象画像特徴情報に基づくレジストレーション方法
特徴に基づくレジストレーション方法は、現在最も一般的なレジストレーション方法の一つであり、該アルゴリズムはレジストレーション対象画像における点、線、エッジ等の特徴情報を抽出するだけでよく、他の補助情報を必要とせず、計算量を減少し、効率を向上させると同時に、画像グレースケールの変化に対して一定のロバスト性を有することができる。

選択された特徴情報の違いに応じて、特徴に基づく画像レジストレーション方法を三種類に分ける：
（ａ）特徴点に基づくマッチング
一般的に選択される特徴点はその領域に対してある特異性を有する画素点である。特徴点が抽出されやすいが、特徴点に含まれる情報は比較的少なく、その画像における位置座標情報のみを反映することができ、そのため２枚の画像においてマッチングする特徴点を探すことは重要である。
（ｂ）特徴領域に基づくマッチング
画像内においていくつかの目立つ領域情報を探して特徴領域とする。
（ｃ）特徴エッジに基づくマッチング

画像において最も目立つ特徴はエッジであり、エッジ特徴は最も抽出されやすい特徴の一つである。そのためエッジに基づくマッチング方法はロバスト性が強く、適用範囲が広い。

本実施例のいくつかの選択可能な実現形態において、現在画像とテンプレート画像との間のオフセットを確定することは、現在画像のテンプレート画像に対する回転・スケール係数を算出することと、回転・スケール係数に基づいて現在画像に対して回転及びスケーリング変換を行うことと、回転及びスケーリング変換後の現在画像のテンプレート画像に対するオフセットを算出することとを含む。画像の回転問題について、対数極座標変換、ハフ変換、ウェーブレット変換及びフーリエ変換などを用いて変換ドメイン内の相関係数法レジストレーションを行って現在画像のテンプレート画像に対する回転・スケール係数を計算することができる。次に算出された回転・スケール係数に基づいて現在画像を回転及びスケーリング変換する。さらに回転及びスケーリング変換後の現在画像のテンプレート画像に対する並進、すなわちオフセットを計算する。並進の計算方法は、回転及びスケーリング変換後の現在画像に対してフーリエ変換を行い、且つテンプレート画像のフーリエ変換の結果を取得することと、現在画像のフーリエ変換の結果及びテンプレート画像のフーリエ変換の結果に対して正規化クロスパワースペクトル行列を求めることと、パワースペクトル行列に対して逆フーリエ変換を行ってＨ行列を得ることと、Ｈ行列におけるエネルギーが最大の点を見つけ、該点のオフセットを計算することとを含み得る。フーリエ変換後、画像の並進成分は位相に変換され、位相の最大マッチング位置を計算すれば、オリジナル画像の並進量を得ることができ、これは位相相関である。自動運転における路側感知というシーンについて、カメラのブレにおける回転が並進より大きく、そのためまず回転を計算し、回転の影響を除去し、さらに並進を調整し、それによりオフセットを計算する正確率を向上させ、さらに障害物検出の正確率を向上させることができる。

本実施例のいくつかの選択可能な実現形態において、現在画像のテンプレート画像に対する回転・スケール係数をオフセットとして算出し、並進を算出しない。並進量を計算するか否かは、異なるアプリケーションシーンに応じて選択することができる。例えば、自動運転における路側感知というシーンについて、カメラのブレにおける回転が並進よりも大きいため、ある場合は単なる回転に簡略化でき、並進を計算する必要がなく、画像のレジストレーション速度を向上させることができる。

ステップ２０４：オフセットに基づいて第１画素座標を接地点の世界座標に変換する。
本実施例において、オフセットに基づいて接地点の現在画像における第１画素座標を接地点のテンプレート画像における第２画素座標に変換することができる。さらに第２画素座標をカメラ座標に変換し、最後にカメラ座標を世界座標に変換する。世界座標系はユーザにより定義された三次元世界座標系を指し、ある点を原点とし、オブジェクトの実世界における位置を記述するために導入される。カメラ座標系はカメラを原点として構築された座標系であり、カメラの視点から物体の位置を記述するために、世界座標系と画素座標系の中間リンクとして定義される。障害物の３Ｄ世界における位置は障害物の世界座標系における位置とも呼ばれ、障害物の世界座標系における位置を確定するプロセスは三次元復元プロセスと呼ばれる。

カメラ外部パラメータだけで、障害物の画像における画素座標から該障害物の世界座標を得ることができず、奥行き情報が不足であるため、ライダ、赤外線カメラ等の装置によって奥行き情報を得ることができる。２Ｄ画素座標から３Ｄ画素座標への変換は、奥行き情報に基づいて行われる。さらにカメラの内部パラメータにより、画素座標からカメラ座標への変換を完了し、画素座標からカメラ座標への変換は従来技術であり、説明を省略する。カメラ座標を世界座標に変換するプロセスは、以下のステップ２０４３を参照することができる。

本実施例のいくつかの選択可能な実現形態において、奥行き情報がない場合、以下のステップにより画素座標から世界座標への変換を実現することができる。

ステップ２０４１：第１画素座標とオフセットに基づいて接地点のテンプレート画像における第２画素座標を確定する。

本実施例において、ステップ２０３に確定されたオフセットに基づいて接地点の現在画像における第１画素座標を接地点のテンプレート画像における第２画素座標に変換する。

ステップ２０４２：第２画素座標を予め設定された地面方程式によって接地点のカメラ座標に変換する。

本実施例において、他の装置によって奥行き情報を提供することができない場合、地面方程式、すなわち地面法線ベクトルを利用して奥行き情報を提供することで、２Ｄ画素座標から３Ｄ画素座標への変換を完了することができる。さらにカメラの内部パラメータにより、画素座標からカメラ座標への変換を完了し、画素座標からカメラ座標への変換は従来技術であり、説明を省略する。路側カメラの取り付け高さが比較的高いため、カメラのリアルタイムな揺れによりその外部パラメータが変化してしまい、地面方程式はカメラ座標系であるため、地面方程式もリアルタイムに計算する必要がある。同時に、カメラシーン内に地面勾配の変化が発生する可能性があり、異なる位置の地面方程式は異なるため、三次元復元精度を向上させるために、地面方程式を段階的に算出する必要があり、同じ地面方程式をグローバルに使用することができない。地面方程式は以下のように計算され得る。

（１）リアルタイムに計算するオンラインセグメント化地面方程式の代わりにグローバルオフラインの地面方程式を使用する。

（２）オフライン構造の奥行きグラフを地面方程式の代わりに用いることで、高精度奥行き情報を取得することができ、オフラインで各画素の世界座標を算出する。

（３）セグメント化地面方程式を効率的に計算する方法は全ての地面３Ｄ点をＸ、Ｙの座標範囲に基づき、異なるグリッドに分画し、例えばカメラによって撮影された地面を１０＊２０のグリッドに分割し、続いて異なるグリッドの地面方程式を計算する。３Ｄ復元の必要がある障害物の接地点が位置するグリッドの地面方程式を利用して３Ｄ復元を行い、この方法の利点は高速である。

地面方程式の具体的な算出方法は従来技術であるため、説明を省略する。

ステップ２０４３：接地点のカメラ座標をカメラの外部パラメータによって接地点の世界座標に変換する。

本実施例において、カメラの外部パラメータは回転行列と並進行列を含む。回転行列および並進行列は共に、点を世界座標系からカメラ座標系にどのように変換するかを記述する。

次式は世界座標Ｐ_ｗからカメラ座標Ｐ_ｃに変換する過程を表し、Ｒは回転行列であり、Ｔは並進行列である。ＲとＴは予めオフラインでキャリブレートされた外部パラメータである。

カメラ座標系から世界座標系に変換する場合は、上式の逆過程である。

本出願の上記実施例に提供された方法は、画像の視点からカメラのブレという問題を解決し、路側感知システムのロバスト性が大幅に向上され、カメラのブレの存在するシーンに対応することができる。しかも新たなセンサの追加は不要である。オンラインキャリブレーションアルゴリズムに比べ、コストが節約され、従来のオンラインキャリブレーションに消費される計算リソースを節約して、他のアプリケーション及び計算をサポートするために用いられる。

ステップ２０５：接地点の世界座標を障害物の世界座標系における位置として出力する。

本実施例において、接地点の３Ｄ復元が障害物の３Ｄ復元を完成し、それにより障害物の世界座標系における位置を取得する。この位置を障害物の世界座標系における位置として出力する。

次に、本実施例に係る障害物検出方法の応用シーンを示す概略図である図３を参照する。図３の応用シーンにおいて、道路端のカメラは道路上の画像をリアルタイムに収集し、且つ収集された現在画像をサーバに送信する。サーバは現在画像を事前訓練された検出モデルに入力し、障害物の検出枠の位置を取得し接地点を確定する。車両の右下隅に示されるのは確定された接地点である。平面図では検出枠は四隅があり、右下隅はカメラに最も近いため、接地点として確定される。その後に接地点の現在画像における第１画素座標を確定する。現在画像とテンプレート画像との間のオフセットは、画像レジストレーションによって確定されることができる。オフセットに基づいて接地点がテンプレート画像における第２画素座標に対応すると判定される。接地点の第２画素座標を地面方程式によってカメラ座標に変換する。さらにオフラインでキャリブレートされたカメラ外部パラメータを利用してカメラ座標を世界座標に変換すれば、障害物の位置を確定することができる。

次に、本出願に係る障害物検出方法のさらなる一実施例の流れ４００を示す図４を参照する。この障害物検出方法は、ステップ４０１〜４０２を含む。

ステップ４０１：カメラによって収集された現在画像を取得する。

ステップ４０２：現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、接地点の現在画像における第１画素座標を確定する。

ステップ４０１〜４０２はステップ２０１〜２０２と略同じであるため、説明を省略する。

ステップ４０３：現在画像及びテンプレート画像に対してそれぞれフーリエメリン変換を行い、前記現在画像のテンプレート画像に対する回転・スケール係数を求め、回転・スケール係数に基づいて現在画像に対して回転及びスケーリング変換を行う。

本実施例では、フーリエメリン変換（Ｆｏｕｒｉｅｒ−Ｍｅｌｌｉｎ）により、現在画像及びテンプレート画像を対数極座標に変換し、現在画像のテンプレート画像に対する回転・スケール係数を求める。デカルト座標系での回転及びスケーリングを対数極座標系での並進に変換し、位相相関により並進量を求めてスケーリング倍率及び回転角度を得る。倍率と回転角度に基づいて補正を行い、直接位相相関により並進量を求める。このようにして、２枚の画像の相対的な変位、回転及びスケーリングが得られ、画像レジストレーションに使用することができる。フーリエメリン変換は画像レジストレーション速度を向上させることができる。

ステップ４０４：現在画像のフーリエ変換の結果及びテンプレート画像のフーリエ変換の結果に対して正規化クロスパワースペクトル行列を求める。

本実施例において、回転及びスケーリング変換された現在画像に対してフーリエ変換を行い、テンプレート画像のフーリエ変換の結果を取得する。テンプレート画像を設定した後にフーリエ変換を行い、フーリエ変換の結果を保存して置くことができる。現在画像のフーリエ変換の結果及びテンプレート画像のフーリエ変換の結果に対して正規化クロスパワースペクトル行列を求める。

ステップ４０５：クロスパワースペクトル行列に対して逆フーリエ変換を行ってＨ行列を得て、Ｈ行列におけるエネルギーが最大である点を見つけ、該点のオフセットを計算する。

本実施例において、パワースペクトル行列に対して逆フーリエ変換を行ってＨ行列を得る。Ｈ行列におけるエネルギーが最大となる点であるレジストレーション点を見つけ、該点のオフセットを計算する。クロスパワースペクトル行列のフーリエ逆変換を求めることにより、一つのディラック関数（パルス関数）を得て、さらに関数ピーク点に対応する座標を探してレジストレーション点を得ることができる。実際には、コンピュータ処理において、連続するドメインは離散的なドメインに置き換えられ、ディラック関数を離散的な時間単位衝撃関数のシーケンスの形に変換する。実際の演算において、２枚の画像のクロスパワースペクトル位相の逆変換は、常に２枚の画像のレジストレーション点を表す相関ピークと、いくつかの非相関ピークが含まれ、相関ピークは、２枚の画像間の一致度を直接反映する。より正確には、相関ピークのエネルギーは重複領域の占める割合に対応し、非相関ピークは非重複領域の占める割合に対応する。該方法を用いてオフセットを算出すれば、計算過程を簡略化することができ、検出効率が向上される。

ステップ４０６：第１画素座標とオフセットに基づいて接地点のテンプレート画像における第２画素座標を確定する。

本実施例において、現在画像の２Ｄ障害物検出結果の枠の位置に基づき、先に算出された画像のオフセットを該障害物の接地点位置のオフセット量とし、且つこのオフセット量に基づいて接地点位置を更新することで、該障害物の接地点の、テンプレート画像に位置する画素位置を得る。

ステップ４０７：第２画素座標を予め設定された地面方程式によって接地点のカメラ座標に変換する。

ステップ４０８：接地点のカメラ座標をカメラの外部パラメータによって接地点の世界座標に変換する。

ステップ４０９：接地点の世界座標を障害物の世界座標系における位置として出力する。

ステップ４０７−４０９はステップ２０４−２０５と略同じであるため、説明を省略する。

図４から分かるように、図２に対応する実施例と比べ、本実施例における障害物検出方法の流れ４００はフーリエメリン変換によりオフセットを求めるステップを実現する。これにより、本実施例で説明した方式は、検出速度を速くすることができ、ロバストである。

更に図５を参照すると、上記の各図に示された方法の実施態様として、本出願は、障害物検出装置の一実施例を提供し、当該装置の実施例は、図２に示された方法の実施例に対応しており、当該装置は、具体的に様々な電子機器に適用することができる。

図５に示すように、本実施例の障害物検出装置５００は、取得ユニット５０１と、検出ユニット５０２と、オフセットユニット５０３と、変換ユニット５０４と、出力ユニット５０５とを備える。取得ユニット５０１は、カメラによって取得された現在画像を取得するように構成される。検出ユニット５０２は、現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、接地点の現在画像における第１画素座標を確定するように構成される。オフセットユニット５０３は、現在画像と、カメラ外部パラメータのキャリブレーションに使用される画像であるテンプレート画像との間のオフセットを確定するように構成される。変換ユニット５０４は、オフセットに基づいて第１画素座標を接地点の世界座標に変換するように構成される。出力ユニット５０５は、接地点の世界座標を障害物の世界座標系における位置として出力するように構成される。

本実施例において、障害物検出装置５００の取得ユニット５０１、検出ユニット５０２、オフセットユニット５０３、変換ユニット５０４、出力ユニット５０５の具体的な処理は図２の実施例におけるステップ２０１、ステップ２０２、ステップ２０３、ステップ２０４、ステップ２０５を参照できる。

本実施例のいくつかの選択的な実現形態において、変換ユニット５０４はさらに、第１画素座標及びオフセットに基づいて接地点のテンプレート画像における第２画素座標を確定し、第２画素座標を予め設定された地面方程式によって接地点のカメラ座標に変換し、接地点のカメラ座標をカメラ外部パラメータによって接地点の世界座標に変換するように構成される。

本実施例のいくつかの選択的な実現形態において、オフセットユニット５０３はさらに、現在画像のテンプレート画像に対する回転・スケール係数を算出し、回転・スケール係数に基づいて現在画像に対して回転及びスケーリング変換を行い、回転及びスケーリング変換後の現在画像のテンプレート画像に対するオフセットを算出するように構成される。

本実施例のいくつかの選択的な実施形態において、オフセットユニット５０３はさらに、現在画像のテンプレート画像に対する回転・スケール係数を算出するように構成され、第１画素座標及びオフセットに基づいて接地点のテンプレート画像における第２画素座標を確定することは、第１画素座標に回転・スケール係数を乗算して接地点のテンプレート画像における第２画素座標を得ることを含む。

本実施例のいくつかの選択的な実現形態において、オフセットユニット５０３はさらに、現在画像及びテンプレート画像に対してそれぞれフーリエメリン変換を行い、現在画像のテンプレート画像に対する回転・スケール係数を求めるように構成される。

本実施例のいくつかの選択的な実現形態において、オフセットユニット５０３はさらに、回転及びスケーリング変換後の現在画像に対してフーリエ変換を行い、テンプレート画像のフーリエ変換の結果を取得し、現在画像のフーリエ変換の結果及びテンプレート画像のフーリエ変換の結果に対して正規化クロスパワースペクトル行列を求め、パワースペクトル行列に対して逆フーリエ変換を行ってＨ行列を得、Ｈ行列におけるエネルギーが最大である点を見つけ、該点のオフセットを算出するように構成される。

本願の実施形態によれば、本願はさらに電子機器及び可読記憶媒体を提供する。

図６に示すように、本出願の実施例に係る障害物検出方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、作業台、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、大型コンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似するコンピューティングデバイス等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも一例であり、ここで説明および／または要求した本出願の実現を限定することを意図するものではない。

図６に示すように、該電子機器は、１つ又は複数のプロセッサ６０１、メモリ６０２、及び各コンポーネントを接続するためのインタフェース（高速インタフェース及び低速インタフェースを含む）を含む。各コンポーネントは、互いに異なるバスで接続されており、共通のマザーボード上に実装されていてもよいし、必要に応じて他の方式で実装されていてもよい。プロセッサは電子機器内で実行される命令を処理することができ、インタフェースに結合された表示装置等の外部入出力装置に、グラフィカルユーザインタフェース（ＧＵＩ，Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のグラフィック情報を表示するために命令をメモリ内またはメモリ上に格納することを含む。他の実施形態では、必要に応じて、複数のプロセッサおよび／または複数のバスおよび複数のメモリを、複数のメモリとともに使用することができる。また、複数の電子機器が接続されていてもよく、各機器は、例えば、サーバアレイ、ブレードサーバ群またはマルチプロセッサシステムなど、一部の必要な動作を提供する。図６では、１つのプロセッサ６０１を例としている。

メモリ６０２は、本願が提供する非一時的コンピュータ可読記憶媒体である。ここで、前記メモリは、少なくとも１つのプロセッサが実行可能な命令を格納しており、それにより前記少なくとも１つのプロセッサに本出願が提供する障害物検出方法を実行させる。本出願の非一時的コンピュータ可読記憶媒体はコンピュータ命令を格納し、該コンピュータ命令はコンピュータに本出願が提供する障害物検出方法を実行させるために用いられる。

メモリ６０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム及びモジュールを格納することに用いることができ、例えば本出願の実施例における障害物検出方法に対応するプログラム命令／モジュール（例えば、図５に示す取得ユニット５０１、検出ユニット５０２、オフセットユニット５０３、変換ユニット５０４、出力ユニット５０５）。プロセッサ６０１は、メモリ６０２に格納された非一時的ソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの各種機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例における障害物検出方法を実現する。

メモリ６０２はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを記憶できるプログラム記憶領域と、障害物検出用電子機器の使用に応じて作成されるデータ等を記憶できるデータ記憶領域とを含み得る。また、メモリ６０２は高速ランダムアクセスメモリを含むことができ、また非一時的メモリ（例えば、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリデバイス又はその他の非一時的ソリッドステート記憶装置）を含むことができる。いくつかの実施例において、メモリ６０２は任意選択でプロセッサ６０１と遠隔に設置されたメモリを含み、これらのリモートメモリはネットワークを介して障害物を検出するための電子機器に接続することができる。上記ネットワークとしては、例えば、インターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信網及びこれらの組み合わせなどが挙げられるが、それらに限定されない。

障害物を検出するための電子機器はさらに、入力装置６０３及び出力装置６０４を含み得る。プロセッサ６０１、メモリ６０２、入力装置６０３及び出力装置６０４は、バス又はその他の方式で接続されていてもよく、図６ではバスで接続されている例を示している。

例えばタッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングデバイス、１つまたは複数のマウスボタン、トラックボール、ジョイスティック等の入力装置６０３は、入力された数字や文字情報を受信でき、障害物を検出するための電子機器のユーザ設定および機能制御に関するキー信号の入力を生成することができる。出力装置６０４は表示装置、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）等を含むことができる。該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態において、表示装置はタッチパネルであってもよい。

ここで説明するシステム及び技術の様々な実施形態はデジタル電子回路システム、集積回路システム、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムに実装され、該１つ又は複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行及び／又は解釈することができ、該プログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置及び少なくとも１つの出力装置からデータ及び命令を受信することができ、且つデータ及び命令を該記憶システム、該少なくとも１つの入力装置及び該少なくとも１つの出力装置に伝送することを含み得る。

これらのコンピュータプログラムは、プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとも呼ばれ、プログラマブルプロセッサの機械命令を含み、且つ高度プロセス及び／又はオブジェクト指向のプログラミング言語、及び／又はアセンブリ言語／機械言語を利用して実現することができる。ここで、「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械指令及び／又はデータをプログラマブルプロセッサに供給するための任意のコンピュータプログラム製品、装置、及び／又はデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を意味し、機械可読信号である機械指令を受信する機械可読媒体を含む。「機械可読信号」という用語は、機械指令および／またはデータをプログラマブルプロセッサに供給するための任意の信号を意味する。

ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実現することができ、ユーザが該キーボード及び該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置は、さらにユーザとのインタラクションを提供することに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力又は、触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

ここで説明したシステム及び技術は、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）に実施されてもよく、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）に実施されてもよく、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインタフェース又はウェブブラウザを介してここで説明したシステム及び技術の実施形態とインタラクションしてもよく、又はこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント又はフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各構成要素間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットなどを含む。

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してインタラクションを行う。クライアントとサーバとの関係は、互いにクライアント−サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。

本出願の実施例の技術案によれば、画像の視点からカメラのブレという問題を解決し、路側感知システムのロバスト性が大幅に向上され、カメラのブレの存在するシーンに対応することができる。しかも新たなセンサの追加は不要である。オンラインキャリブレーションアルゴリズムに比べ、コストが節約され、従来のオンラインキャリブレーションに消費される計算リソースを節約して、他のアプリケーション及び計算をサポートするために用いられる。

なお、上述した様々な形態のフローを用いて、ステップを改めて並び替え、追加または削除を行うことができる。例えば、本出願に記載された各ステップは、本出願に開示された技術案の所望の結果が達成できる限り、並行して実行されてもよいし、順番に実行されてもよいし、異なる順序で実行されてもよい。本明細書はここで制限しない。

上記具体的な実施形態は、本願の保護範囲を限定するものではない。設計要件および他の要因に従って、様々な修正、組み合わせ、サブコンビネーション、および置換を行うことができることを当業者は理解すべきである。本出願の精神および原理内で行われたあらゆる補正、同等置換および改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (15)

1. カメラによって取得された現在画像を取得することと、
   前記現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、現在画像における接地点の第１画素座標を確定することであって、前記接地点は前記検出枠におけるカメラ側に近い点である、ことと、
   前記現在画像と、カメラの外部パラメータのキャリブレーションに使用される画像であるテンプレート画像との間のオフセットを確定することと、
   前記オフセットに基づいて前記第１画素座標を前記接地点の世界座標に変換することと、
   前記接地点の世界座標を障害物の世界座標系における位置として出力することと、を含む障害物検出方法。
2. 前記オフセットに基づいて前記第１画素座標を前記接地点の世界座標に変換することは、
   前記第１画素座標及び前記オフセットに基づいて前記接地点の前記テンプレート画像における第２画素座標を確定することと、
   前記第２画素座標を予め設定された地面方程式によって前記接地点のカメラ座標に変換することと、
   前記接地点のカメラ座標を前記カメラの外部パラメータによって前記接地点の世界座標に変換することと、を含む請求項１に記載の方法。
3. 前記現在画像とテンプレート画像との間のオフセットを確定することは、
   前記現在画像のテンプレート画像に対する回転・スケール係数を計算することと、
   前記回転・スケール係数に基づいて前記現在画像を回転及びスケーリング変換することと、
   回転およびスケーリング変換された現在画像のテンプレート画像に対するオフセットを計算することと、を含む請求項１に記載の方法。
4. 前記現在画像とテンプレート画像との間のオフセットを確定することは、
   前記現在画像のテンプレート画像に対する回転・スケール係数を計算することを含み、
   前記第１画素座標と前記オフセットに基づいて前記接地点の前記テンプレート画像における第２画素座標を確定することは、
   前記第１画素座標に前記回転・スケール係数を乗算して前記接地点の前記テンプレート画像における第２画素座標を得ることを含む、請求項２に記載の方法。
5. 前記現在画像のテンプレート画像に対する回転・スケール係数を計算することは、
   前記現在画像及びテンプレート画像に対してそれぞれフーリエメリン変換を行い、前記現在画像のテンプレート画像に対する回転・スケール係数を求めることを含む、請求項３または４に記載の方法。
6. 前記回転及びスケーリングされた現在画像の前記テンプレート画像に対するオフセットを計算することは、
   回転及びスケーリングされた現在画像に対してフーリエ変換を行い、前記テンプレート画像のフーリエ変換の結果を取得することと、
   前記現在画像のフーリエ変換の結果及び前記テンプレート画像のフーリエ変換の結果に対して正規化クロスパワースペクトル行列を求めることと、
   前記パワースペクトル行列に対して逆フーリエ変換を行ってＨ行列を得ることと、
   前記Ｈ行列におけるエネルギーが最大となる点を見つけ、該点のオフセットを計算することと、を含む請求項３に記載の方法。
7. カメラによって取得された現在画像を取得するように構成される取得ユニットと、
   前記現在画像を事前訓練された検出モデルに入力して、障害物の検出枠の位置を取得し、前記現在画像における接地点の第１画素座標を確定するように構成される検出ユニットであって、前記接地点は前記検出枠におけるカメラ側に近い点である、検出ユニットと、
   前記現在画像と、カメラの外部パラメータのキャリブレーションに使用される画像であるテンプレート画像との間のオフセットを確定するように構成されるオフセットユニットと、
   前記オフセットに基づいて前記第１画素座標を前記接地点の世界座標に変換するように構成される変換ユニットと、
   前記接地点の世界座標を障害物の世界座標系における位置として出力するように構成される出力ユニットと、を含む障害物検出装置。
8. 前記変換ユニットは、更に
   前記第１画素座標及び前記オフセットに基づいて前記接地点の前記テンプレート画像における第２画素座標を確定し、
   前記第２画素座標を予め設定された地面方程式によって前記接地点のカメラ座標に変換し、
   前記接地点のカメラ座標を前記カメラの外部パラメータによって前記接地点の世界座標に変換するように構成される請求項７に記載の装置。
9. 前記オフセットユニットは、更に
   前 記現在画像のテンプレート画像に対する回転・スケール係数を計算し、
   前 記回転・スケール係数に基づいて前記現在画像を回転及びスケーリング変換し、
   回転およびスケーリング変換された現在画像のテンプレート画像に対するオフセットを計算するように構成される請求項７に記載の装置。
10. 前記オフセットユニットは、更に
    前記現在画像のテンプレート画像に対する回転・スケール係数を計算するように構成され、
    前記第１画素座標と前記オフセットに基づいて前記接地点の前記テンプレート画像における第２画素座標を確定することは、
    前記第１画素座標に前記回転・スケール係数を乗算して前記接地点の前記テンプレート画像における第２画素座標を得ることを含む、請求項８に記載の装置。
11. 前記オフセットユニットは、更に
    前記現在画像及びテンプレート画像に対してそれぞれフーリエメリン変換を行い、前記現在画像のテンプレート画像に対する回転・スケール係数を求めるように構成される、請求項９または１０に記載の装置。
12. 前記オフセットユニットは、更に
    回転及びスケーリング変換された現在画像に対してフーリエ変換を行い、前記テンプレート画像のフーリエ変換の結果を取得し、
    前記現在画像のフーリエ変換の結果及び前記テンプレート画像のフーリエ変換の結果に対して正規化クロスパワースペクトル行列を求め、
    前記パワースペクトル行列に対して逆フーリエ変換を行ってＨ行列を得、
    前記Ｈ行列におけるエネルギーが最大となる点を見つけ、該点のオフセットを計算するように構成される、請求項９に記載の装置。
13. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備える電子機器であって、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が格納されており、前記命令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１〜６のいずれか１項に記載の方法を実行させる、電子機器。
14. コンピュータ命令が格納されている非一時的コンピュータ可読記憶媒体であって、
    前記コンピュータ命令は前記コンピュータに請求項１〜６のいずれか１項に記載の方法を実行させるために用いられる非一時的コンピュータ可読記憶媒体。
15. コンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサにより実行されると、請求項１〜６のいずれか一項に記載の方法を実現する、コンピュータプログラム。

Images