JP2022517961A

JP2022517961A - 画像データを自動的にアノテーションする方法及び装置

Info

Publication number: JP2022517961A
Application number: JP2021539968A
Authority: JP
Inventors: 付万▲増▼; 王哲; 石建萍
Original assignee: Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Current assignee: Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date: 2019-10-16
Filing date: 2020-10-21
Publication date: 2022-03-11
Also published as: CN112667837A; KR20220053513A; WO2021073656A1

Abstract

本願の実施例は、画像データを自動的にアノテーションする方法及び装置を提供する。本願の方法は、車両測位情報、地図画像及び車両収集画像を取得することであって、地図画像は、道路情報を含む、ことと、車両測位情報に基づいて、車両測位情報に対応するローカル領域内の地図画像における道路情報を取得することと、地図画像における道路情報を車両収集画像に投影し、車両収集画像で道路情報をアノテーションすることと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年１０月１６日に提出された、出願番号が２０１９１０９８３４３８．９である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願は、画像処理技術分野に関し、画像データを自動的にアノテーションする方法及び装置に関する。

道路画像から区画線を認識するようにニューラルネットワークを訓練するために、十分な道路画像及び対応する、手動で注意深くアノテーションされた区画線位置及び属性ラベルを準備する必要がある。豊な道路画像データ及び人間の先験的知識を有するラベルデータによりニューラルネットワークを十分に訓練しなければ、ニューラルネットワークは、新たな道路画像から区画線を認識する能力を有することができない。しかしながら、画像データを手動でアノテーションすることは、非常に手間がかかる重複プロセスであり、手作業のコストが高く、効率が低い。また、アノテーションの時間経過につれて、誤りが発生する確率も明らかに増加する。

本願の実施例は、画像データを自動的にアノテーションする技術的解決手段を提供する。

第１態様によれば、本願の実施例は、画像データを自動的にアノテーションする方法を提供する。前記方法は、車両測位情報、地図画像及び車両収集画像を取得することであって、前記地図画像は、道路情報を含む、ことと、前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得することと、前記地図画像における道路情報を前記車両収集画像に投影し、前記車両収集画像で前記道路情報をアノテーションすることと、を含む。

可能な実現形態において、前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得することは、前記ローカル領域内の地図画像をルートノードとして、前記ローカル領域内の地図画像の地図道路要素の属性情報を順に探すことであって、前記地図道路要素の属性情報は、前記地図道路要素のセマンティック情報、前記地図道路要素の位置情報、前記地図道路要素の形状情報のうちの少なくとも１つを含む、ことを含む。

可能な実現形態において、前記方法は、前記車両測位情報及び前記地図画像の範囲に基づいて、前記ローカル領域の範囲を決定することを更に含み、前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得することは、前記ローカル領域の範囲内の前記地図画像における地図道路要素の属性情報を取得することを含む。

可能な実現形態において、前記地図画像は、世界グローバル座標系に基づいたものであり、前記地図画像における道路情報を車両収集画像に投影する前に、前記方法は、前記世界グローバル座標系に基づいた地図画像を車体座標系に変換し、前記車体座標系に基づいた地図画像を得ることを更に含み、前記地図画像における道路情報を車両収集画像に投影することは、前記車体座標系に基づいた地図画像をカメラ座標系及び／又は画素座標系に変換し、地図画像における道路情報を前記車両収集画像に投影することを含む。

可能な実現形態において、前記世界グローバル座標系に基づいた地図画像を車体座標系に変換し、前記車体座標系に基づいた地図画像を得ることは、前記車両測位情報に基づいて、回転平行移動行列の回転角度及び平行移動量を得ることと、前記回転平行移動行列に基づいて、前記世界グローバル座標系に基づいた地図画像を前記車体座標系に変換し、前記車体座標系に基づいた地図画像を得ることと、を含む。

可能な実現形態において、前記地図画像は、二次元地図であり、前記車体座標系に基づいた地図画像をカメラ座標系及び／又は画素座標系に変換し、前記地図画像における道路情報を前記車両収集画像に投影することは、前記画素座標系と前記車体座標系との間のホモグラフィ行列を取得することと、同次座標系を利用して、前記車体座標系に基づいた地図画像を表すことと、前記ホモグラフィ行列に基づいて、同次座標系で表される、前記車体座標系に基づいた地図画像を前記画素座標系に変換し、前記画素座標系に投影された車両収集画像の道路情報を得ることと、を含む。

可能な実現形態において、前記地図画像は、三次元地図であり、前記車体座標系に基づいた地図画像をカメラ座標系及び／又は画素座標系に変換し、前記地図画像における道路情報を前記車両収集画像に投影することは、前記車体座標系と前記カメラ座標系との間の回転平行移動行列に基づいて、車体座標系に基づいた地図画像を前記カメラ座標系に変換し、前記カメラ座標系に投影された車両収集画像の道路情報を得ることと、前記カメラ座標系と前記画素座標系との間の投影行列に基づいて、前記カメラ座標系に投影された車両収集画像の道路情報を前記画素座標系に変換し、前記画素座標系に投影された車両収集画像の道路情報を得ることと、を含む。

可能な実現形態において、前記方法は、道路情報を抽出するためのニューラルネットワークにより、前記車両収集画像に対して道路情報抽出処理を行い、道路感知情報を得ることと、前記道路感知情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うことと、を更に含む。

可能な実現形態において、前記道路感知情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うことは、前記道路感知情報における道路感知要素と前記車両収集画像に投影された道路情報における地図道路要素とのオフセット情報を決定することと、前記オフセット情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うことと、を含む。

可能な実現形態において、前記道路感知情報における道路感知要素と前記車両収集画像に投影された道路情報における地図道路要素とのオフセット情報を決定することは、前記道路感知要素の属性情報に基づいて、前記地図画像から、前記道路感知要素とペアになる地図道路要素を決定することと、ペアになる道路感知要素と地図道路要素の、同一の機器の座標系における位置情報を決定することと、前記位置情報に基づいて、ペアになる道路感知要素と地図道路要素との間の測位オフセット量を決定することと、を含む。

可能な実現形態において、前記道路感知要素の属性情報に基づいて、前記地図画像から、前記道路感知要素とペアになる地図道路要素を決定することは、前記地図画像において、前記車両測位情報に基づいて、所定の範囲内の地図道路要素を探すことと、前記車両収集画像における道路感知要素と前記所定の範囲内の地図道路要素に対して、属性情報に基づいて２つずつペアリングを行い、複数のペアリングプランを得ることであって、異なるペアリングプランのうち、少なくとも１つの道路感知要素と前記所定の範囲内の地図道路要素とのペアリング方式は異なる、ことと、各前記ペアリングプランの信頼度を決定することと、前記複数のペアリングプランのうちの信頼度が最も高いペアリングプラン又は所定の閾値より大きいペアリングプランにおいて、前記道路感知要素とペアになる地図道路要素を決定することと、を含む。

可能な実現形態において、前記車両収集画像における道路感知要素と前記所定の範囲内の地図道路要素に対してペアリングを行うことは、前記所定の範囲内の地図道路要素において、前記車両収集画像における道路感知要素とペアになる道路要素を決定できない場合、ペアリング待ちの地図道路要素において、前記道路感知要素とペアリングする空白要素又はバーチャル要素を設定することを含む。

可能な実現形態において、各前記ペアリングプランの信頼度を決定することは、各前記ペアリングプランにおける道路感知要素と地図道路要素との各ペアリングの個体類似度をそれぞれ決定することと、各前記ペアリングプランにおける道路感知要素と地図道路要素との各ペアリングの全体類似度を決定することと、各前記ペアリングプランの各個体類似度及び全体類似度に基づいて、各前記ペアリングプランの信頼度を決定することと、を含む。

可能な実現形態において、前記測位オフセット量は、座標オフセット量及び／又は方向オフセット量を含み、前記車両測位情報に基づいて、ペアになる道路感知要素と地図道路要素との間の測位オフセット量を決定することは、前記道路感知要素の画素点に対してサンプリングを行い、感知サンプリング点集合を得ることと、前記地図道路要素の画素点に対してサンプリングを行い、地図サンプリング点集合を得ることと、前記感知サンプリング点集合と前記地図サンプリング点集合にそれぞれ含まれるサンプリング点の間の回転平行移動行列を決定することと、前記回転平行移動行列に基づいて、前記道路感知要素と前記地図道路要素の座標オフセット量及び方向オフセット量を得ることと、を含む。

第２態様によれば、本願の実施例は、画像データを自動的にアノテーションする装置を提供する。前記装置は、車両測位情報、地図画像及び車両収集画像を取得するように構成される第１取得部であって、前記地図画像は、道路情報を含む、第１取得部と、前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得するように構成される第２取得部と、前記地図画像における道路情報を前記車両収集画像に投影し、前記車両収集画像で前記道路情報をアノテーションするように構成される投影部と、を備える。

可能な実現形態において、前記第２取得部は、前記ローカル領域内の地図画像をルートノードとして、前記ローカル領域内の地図画像の地図道路要素の属性情報を順に探すように構成され、前記地図道路要素の属性情報は、前記地図道路要素のセマンティック情報、前記地図道路要素の位置情報、前記地図道路要素の形状情報のうちの少なくとも１つを含む。

可能な実現形態において、前記装置は、前記車両測位情報及び前記地図画像の範囲に基づいて、前記ローカル領域の範囲を決定するように構成される第１決定部を更に備え、前記第２取得部は、前記ローカル領域の範囲内の前記地図画像における地図道路要素の属性情報を取得するように構成される。

可能な実現形態において、前記地図画像は、世界グローバル座標系に基づいたものであり、前記装置は、前記世界グローバル座標系に基づいた地図画像を車体座標系に変換し、前記車体座標系に基づいた地図画像を得るように構成される第１変換部を更に備え、前記投影部は、前記車体座標系に基づいた地図画像をカメラ座標系及び／又は画素座標系に変換し、地図画像における道路情報を前記車両収集画像に投影するように構成される。

可能な実現形態において、前記第１変換部は、前記車両測位情報に基づいて、回転平行移動行列の回転角度及び平行移動量を得て、前記回転平行移動行列に基づいて、前記世界グローバル座標系に基づいた地図画像を前記車体座標系に変換し、前記車体座標系に基づいた地図画像を得るように構成される。

可能な実現形態において、前記地図画像は、二次元地図であり、前記投影部は、前記画素座標系と前記車体座標系との間のホモグラフィ行列を取得するように構成される第３取得部と、同次座標系を利用して、前記車体座標系に基づいた地図画像を表すように構成される表現部と、前記ホモグラフィ行列に基づいて、同次座標系で表される、前記車体座標系に基づいた地図画像を前記画素座標系に変換し、前記画素座標系に投影された車両収集画像の道路情報を得るように構成される第２変換部と、を備える。

可能な実現形態において、前記地図画像は、三次元地図であり、前記投影部は、前記車体座標系と前記カメラ座標系との間の回転平行移動行列に基づいて、車体座標系に基づいた地図画像を前記カメラ座標系に変換し、前記カメラ座標系に投影された車両収集画像の道路情報を得るように構成される第３変換部と、
前記カメラ座標系と前記画素座標系との間の投影行列に基づいて、前記カメラ座標系に投影された車両収集画像の道路情報を前記画素座標系に変換し、前記画素座標系に投影された車両収集画像の道路情報を得るように構成される第４変換部と、を備える。

可能な実現形態において、前記装置は、道路情報を抽出するためのニューラルネットワークにより、前記車両収集画像に対して道路情報抽出処理を行い、道路感知情報を得るように構成される抽出部と、道路感知情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うように構成される第１修正部と、を更に備える。

可能な実現形態において、前記第１修正部は、前記道路感知情報における道路感知要素と前記車両収集画像に投影された道路情報における地図道路要素とのオフセット情報を決定するように構成される第２決定部と、前記オフセット情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うように構成される第２修正部と、を備える。

可能な実現形態において、前記第２決定部は、前記道路感知要素の属性情報に基づいて、前記地図画像から、前記道路感知要素とペアになる地図道路要素を決定するように構成される第３決定部と、ペアになる道路感知要素と地図道路要素の、同一の機器の座標系における位置情報を決定するように構成される第４決定部と、前記位置情報に基づいて、ペアになる道路感知要素と地図道路要素との間の測位オフセット量を決定するように構成される第５決定部と、を備える。

可能な実現形態において、前記第３決定部は、前記地図画像において、前記車両測位情報に基づいて、所定の範囲内の地図道路要素を探すように構成されるサーチ部と、前記車両収集画像における道路感知要素と前記所定の範囲内の地図道路要素に対して、属性情報に基づいて２つずつペアリングを行い、複数のペアリングプランを得るように構成されるマッチング部であって、異なるペアリングプランのうち、少なくとも１つの道路感知要素と前記所定の範囲内の地図道路要素とのペアリング方式は異なる、マッチング部と、各前記ペアリングプランの信頼度を決定するように構成される第６決定部と、前記複数のペアリングプランのうちの信頼度が最も高いペアリングプラン又は所定の閾値より大きいペアリングプランにおいて、前記道路感知要素とペアになる地図道路要素を決定するように構成される第７決定部と、を備える。

可能な実現形態において、前記マッチング部は、前記所定の範囲内の地図道路要素において、前記車両収集画像における道路感知要素とペアになる道路要素を決定できない場合、ペアリング待ちの地図道路要素において、前記道路感知要素とペアリングする空白要素又はバーチャル要素を設定するように構成される。

可能な実現形態において、第６決定部は、各前記ペアリングプランにおける道路感知要素と地図道路要素との各ペアリングの個体類似度をそれぞれ決定し、各前記ペアリングプランにおける道路感知要素と地図道路要素との各ペアリングの全体類似度を決定し、各前記ペアリングプランの各個体類似度及び全体類似度に基づいて、各前記ペアリングプランの信頼度を決定するように構成される。

可能な実現形態において、前記測位オフセット量は、座標オフセット量及び／又は方向オフセット量を含み、前記第５決定部は、前記道路感知要素の画素点に対してサンプリングを行い、感知サンプリング点集合を得るように構成される第１サンプリング部と、前記地図道路要素の画素点に対してサンプリングを行い、地図サンプリング点集合を得るように構成される第２サンプリング部と、前記感知サンプリング点集合と前記地図サンプリング点集合にそれぞれ含まれるサンプリング点の間の回転平行移動行列を決定するように構成される第８決定部と、前記回転平行移動行列に基づいて、前記道路感知要素と前記地図道路要素の座標オフセット量及び方向オフセット量を得るように構成される第４取得部と、を備える。

第３態様によれば、本願の実施例は、画像データを自動的にアノテーションする装置を提供する。前記装置は、入力装置と、出力装置と、メモリと、プロセッサと、を備え、前記メモリに、プログラムコードが記憶されており、且つ前記プロセッサは、前記メモリに記憶されているプログラムコードを呼び出し、前記第１態様又はその種々の可能な実現形態に記載の方法を実行するように構成される。

第４態様によれば、本願の実施例は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体に命令が記憶されており、それはコンピュータで実行される時、コンピュータに上記第１態様又はその種々の可能な実現形態に記載の方法を実行させる。

第５態様によれば、本願の実施例は、コンピュータプログラムを提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードは電子機器で実行される時、前記電子機器におけるプロセッサは、上記第１態様又はその種々の可能な実現形態に記載の方法を実行する。

本願の技術的解決手段を利用すると、下記有益な効果を有する。

地図データに含まれる豊な道路情報を利用して、該地図データにおける道路情報を車両収集画像に投影し、車両収集画像に対する道路情報の自動的なアノテーションを実現することができ、画像データをアノテーションする効率を向上させ、データアノテーションの誤り率の低下に寄与し、画像データアノテーションの手動コストを減少させる。

本願の実施例における、画像データを自動的にアノテーションする方法を示すフローチャートである。本願の実施例における、もう１つの画像データを自動的にアノテーションする方法を示すフローチャートである。道路要素のセマンティック情報の認識効果を示す図である。道路要素のセマンティック情報の認識効果を示す図である。道路要素のセマンティック情報の認識効果を示す図である。世界グローバル座標系を示す概略図である。車体座標系を示す概略図図である。カメラ座標系及び画素座標系を示す概略図である。本願の実施例における、道路感知要素と地図道路要素との間のオフセット情報を決定する方法の例を示す図である。本願の実施例における、地図画像から道路感知要素とペアになる地図道路要素を決定する方法の例を示す図である。本願の実施例における、ペアリングプランを示す概略図である。本願の実施例における、ペアになる道路感知要素と地図道路要素との間の測位オフセット量を決定する方法の例を示す図である。本願の実施例における、反復最近傍点アルゴリズムを示す概略図である。本願の実施例における、画像データを自動的にアノテーションする装置の構造を示す概略図である。本願の実施例における、もう１つの画像データを自動的にアテーションする装置の構造を示す概略図である。

上記において、本願の実施例又は背景技術に必要な図面を説明している。

以下、本願の実施例における図面を参照しながら、本願の実施例を説明する。

本願の実施例における、像データを自動的にアテーションする方法を示すフローチャートである図１を参照すると、例示的に、該方法は、下記ステップを含んでもよい。

Ｓ１０１において、車両測位情報、地図画像及び車両収集画像を取得する。

本願の実施例において、「車両」は、広義に理解されるべきであり、例えば、トラック、大型バス、バス、乗用車のような、従来どおりの意味での運搬又は運用機能を有する種々のタイプの車を含んでもよく、例えば、盲導機器、スマートトイ、清掃ロボットなどのスマートホーム機器のような移動可能なロボット機器を含んでもよく、産業用ロボット、サービスロボット、玩具ロボット、教習ロボットなどであってもよく、本願の実施例は、これを限定しない。

可能な実現形態において、該車両に、該車両の測位情報を取得するための位置センサが配置されてもよい。

可能な実現形態において、該車両に、車両周辺の画像をリアルタイムで収集するための視覚センサが配置されてもよい。取得された画像を車両収集画像と呼ぶ。車両に設けられた視覚センサにより収集された画像は、車両運転制御システムが車両周辺環境を「感知」したものに相当するため、車両収集画像は、道路感知画像と呼ばれてもよい。本願の実施例において、車両収集画像は、収集された画像自体であり、画像にアノテーション情報がない。

可能な実現形態において、サーバ又は車載端末から該地図画像を取得することもできる。該地図画像は、セマンティックマップ、高精度地図などであってもよいが、これらに限定されず、他のタイプの地図であってもよい。該地図画像は、豊かな道路情報を含み、道路情報は、該地図画像に基づいて認識された地図道路要素の属性情報である。

可能な実現形態において、道路情報における地図道路要素は、道路に関わる標識を含んでもよく、道路上の種々のタイプの区画線、停止線、方向指示線、道路縁線及び道路傍又は道路上に設けられた交通標識板、信号灯、街灯などのうちの１つ又は複数を含んでもよい。種々のタイプの区画線は、白色実線区画線、黄色破線破線、左縁区画線、右縁区画線などを含んでもよいが、これらに限定されない。種々のタイプの交通標識板は、徐行交通標識板、駐車禁止交通標識板、速度制限交通標識板などを含んでもよいが、これらに限定されない。道路要素は上記に限定されないことを、当業者であれば、理解すべきである。

ここで、地図道路要素の属性情報は、上記地図道路要素に関わる１つ又は複数の情報を含んでもよい。例えば、道路要素のセマンティック情報、位置情報、形状情報などを含む。

ここで、道路要素のセマンティック情報は、該道路要素で表される意味、それが表現しようとする情報であってもよい。例えば、収集された道路画像から、道路上の線を検出した場合、道路上での、道路上の線の位置、道路に対する幅、長さなどに基づいて、該線が停止線、区画線などであると決定することができる。区画線は、多くのタイプに細分化され、区画線は基本的なセマンティック情報であるため、線の位置、線の形態に基づいて、その具体的なセマンティック情報を決定することもでる。例えば、左縁区画線、白色実線区画線などであると決定することができる。交通標識板、徐行交通標識板、駐車禁止交通標識板は、該道路要素の具体的なセマンティック情報であってもよい。道路要素のセマンティック情報の具体的な表現形態は本願の方法の実現に影響を及ぼしないことを、当業者であれば、理解すべきである。

ここで、上記位置センサは、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ：全地球測位システム）、ＩＭＵ（Ｉｎｅｒｔｉａｌｍｅａｓｕｒｅｍｅｎｔｕｎｉｔ：慣性測定ユニット）などのうちの少なくとも１つを含んでもよい。上記視覚センサは、カメラ、ビデオカメラ、カメラヘッドなどのうちの少なくとも１つを含んでもよい。視覚センサ及び位置センサは上記に限定されないことを、当業者であれば、理解すべきである。

ここで、車両測位情報は、各フレームの車両収集画像に対して取得した同期測位情報であってもよい。これは、ＧＰＳ測位情報、ＩＭＵ測位情報、又は該ＧＰＳ測位情報と該ＩＭＵ測位情報のフュージョン情報であってもよい。

ここで、フュージョン情報は、ＧＰＳ測位情報及びＩＭＵ測位情報に基づいて得られたより確実な測位結果である。これは、ＧＰＳ測位情報及びＩＭＵ測位情報に対してカルマンフィルタリングを行うことで得られてもよく、又は、ＧＰＳ測位情報とＩＭＵ測位情報に対して平均値演算又は加重平均演算を行うことで得られてもよい。

Ｓ１０２において、車両測位情報に基づいて、車両測位情報に対応するローカル領域内の地図画像における道路情報を取得する。

可能な実現形態において、１つの道路の地図画像について、該地図画像は、該道路の全部又は大部の道路要素を含む。測位過程において取得された車両収集画像は、該道路のローカル領域画像である。後続で地図画像において道路情報を自動的にアノテーションすることを実現するために、車両測位情報に対応するローカル領域内の地図画像における道路情報を取得すればよい。該ローカル領域の範囲は、設定可能である。該車両測位情報に対応するローカル領域も視覚センサの視野範囲に関わる。

Ｓ１０３において、地図画像における道路情報を車両収集画像に投影し、車両収集画像で前記道路情報をアノテーションする。

可能な実現形態において、地図画像は、豊か且つ正確な道路情報を含むため、地図画像における道路情報を車両収集画像に投影することは、実質上、車両収集画像で道路情報をアノテーションし、車両収集画像にも上記道路情報を含ませ、道路情報の自動的なアノテーションを実現することである。道路情報を自動的にアノテーションしてある車両収集画像を上記ニューラルネットワークの訓練に用いることで、好適の訓練結果を得ることができる。逆に、訓練後のニューラルネットワークにより、車両収集画像における道路情報を認識することができる。

本願の実施例が提供する画像データを自動的にアノテーションする方法によれば、地図画像に含まれる豊かな道路情報を利用することで、車両収集画像の道路情報の自動的なアノテーションを実現することができ、画像データをアノテーションする効率を向上させ、データアノテーションの誤り率の低下に寄与し、画像データアノテーションの手動コストを減少させる。

本願の実施例における、もう１つの画像データを自動的にアノテーションする方法を示すフローチャートである図２を参照すると、例示的に、該方法は、下記ステップを含んでもよい。

Ｓ２０１において、車両測位情報、地図画像及び車両収集画像を取得し、地図画像は、道路情報を含む。

該ステップの実現は、図１に示す実施例のステップＳ１０１を参照することができる。

収集車により、道路の地図画像を収集し、地図画像における地図道路要素の属性情報を認識することができる。収集された地図画像は、サーバ又は車載端末に記憶されてもよい。

可能な実現形態において、収集車に、地図画像を収集するためのビジョンセンサが設けられる。該視覚センサは、カメラ、ビデオカメラ、カメラヘッドなどのうちの少なくとも１つを含んでもよい。地図画像の精度をより高くするために、収集車に配置された視覚センサは、高精度視覚センサであってもよい。これにより、精細度が高く、精度が高い地図画像を収集することができる。測位過程において、該車両収集画像を収集するための視覚センサとして、精度が比較的低いセンサを用いることができる。

可能な実現形態において、収集車に、車の測位情報をより正確に取得するための高精度位置センサが配置されてもよい。測位過程において、車両測位情報を取得するためのセンサとして、測位精度が比較的低い位置センサを用いるか又は車両の既存の位置センサを用いることができる。

ここで、地図道路要素の属性情報は、セマンティック情報、位置情報、形状情報などのうちの少なくとも１つを含んでもよい。上記属性情報は、訓練された道路要素検出用のニューラルネットワークにより認識されてもよい。上記ニューラルネットワークを、アノテーション情報を有する道路画像（サンプル道路画像と呼ぶ）により訓練することができる。該サンプル道路画像における道路要素は、アノテーション情報を有する。該アノテーション情報は、サンプル道路要素の属性情報であってもよく、例えば、セマンティック情報、形状情報、位置情報などのうちの１つ又は複数を含んでもよいが、これらに限定されない。

サンプル道路画像によりニューラルネットワークを訓練することで、該モデルに、入力された道路画像から道路要素の属性情報を認識する能力を持たせることができる。該ニューラルネットワークに入力された地図画像に対して、該画像における地図道路要素の属性情報を出力することができる。

ニューラルネットワークによる認識可能な道路要素のカテゴリは、訓練過程に用いられるサンプル道路要素のタイプによって決まる。より多くのタイプのサンプル道路要素によりモデルに対して訓練を行うことで、それに、より高い認識能力を持たせることができる。

図３Ａ－図３Ｃは、道路要素のセマンティック情報の認識効果を示す図である。ここで、図３Ａは、ニューラルネットワークモデルに入力された道路画像であり、それは、車両収集画像であってもよく、地図道路画像であってもよく、又は他の道路画像であってもよい。図３Ｂは、ニューラルネットワークにより認識された道路要素を示す。図面における横方向の粗実線３１に示すように、そのセマンティック情報が「停止線」３２（ｓｔｏｐｌｉｎｅ）であることを得ており、画像の左上にアノテーションしている。図３Ｃは、ニューラルネットワークモデルにより認識された道路要素を示す。図３Ｃにおける縦方向の粗実線３３に示すように、各線の基本的なセマンティック情報及び具体的なセマンティック情報を取得した。その基本的なセマンティック情報は、「区画線」（ｌａｎｅｌｉｎｅ）であり、具体的なセマンティック情報（左から右へ）はそれぞれ、「白色実線区画線」（ｗｈｉｔｅｓｏｌｉｄｌｉｎｅ）、「白色実線区画線」（ｗｈｉｔｅｓｏｌｉｄｌｉｎｅ）、「白色実線区画線」（ｗｈｉｔｅｓｏｌｉｄｌｉｎｅ）、「白色実線区画線」（ｗｈｉｔｅｓｏｌｉｄｌｉｎｅ）、「右縁区画線」（ｒｉｇｈｔｅｄｇｅ）であり、いずれも画像の左上にアノテーションされている。例えば、図３Ｃにおける画像の左上の３４に示すとおりである。画像データを自動的にアノテーションする過程において、該地図画像を呼び出すことで、地図道路要素の上記属性情報を得ることができる。

地図道路要素の属性情報の認識方法は上記に限定されず、他の認識方法で取得可能であることを、当業者であれば、理解すべきである。

Ｓ２０２において、車両測位情報及び地図画像の範囲に基づいて、前記車両測位情報に対応するローカル領域の範囲を決定する。

ここで、１つの道路の地図画像について、該地図画像は、該道路の全部又は大部の道路要素を含む。測位過程において取得された車両収集画像は、該道路のローカル領域画像である。後続で地図画像において道路情報を自動的にアノテーションすることを実現するために、車両測位情報に対応するローカル領域内の地図画像における道路情報を取得すればよい。可能な実現形態において、該ローカル領域の範囲は、手動で設定可能である。従って、経験値などに基づいて、車両測位情報に対応するローカル領域の範囲を決定することができる。もう１つの可能な実現形態において、該車両測位情報に対応するローカル領域は、視覚センサの視野範囲に関わる。従って、視覚センサの視野範囲に基づいて、車両測位情報に対応するローカル領域の範囲を決定することもできる。

Ｓ２０３において、ローカル領域内の地図画像をルートノードとして、ローカル領域内の地図画像の地図道路要素の属性情報を順に探す。

本ステップは、ローカル領域範囲内の地図画像における地図道路要素の属性情報を取得するためである。地図画像における道路情報を探す効率を向上させるために、ツリー状階層的関係により、道路情報を探すことができる。ローカル領域範囲内の地図画像をルートノードする。ルートノードにおいて複数の矩形領域を設ける。各矩形領域に、該領域の測位を表すための中心点を設ける。各矩形領域は、地図画像における地図道路要素に対応する。各地図道路要素に対応する属性情報を探す。

Ｓ２０４において、世界グローバル座標系に基づいた地図画像を車体座標系に変換し、車体座標系に基づいた地図画像を得る。

可能な実現形態において、該地図画像は、世界グローバル座標系を用いる。座標系におけるいずれか１つの点は、地球上で一意的に対応する座標（経緯度情報）を有する。例えば、ＥＣＥＦ（Ｅａｒｔｈ－Ｃｅｎｔｅｒｅｄ－Ｅａｒｔｈ－Ｆｉｘｅｄ：地球中心地球固定）地心座標系を用いることができる。図４Ａに示す世界グローバル座標系を示す概略図を参照すると、該座標系は、右手デカルト直交座標系であり、地心を座標原点として、原点から本初子午線と０度緯線との交点への方向は、ｘ軸正方向であり、原点から北極点への方向は、ｚ軸正方法であり、長さは、メートルを単位とする。

車両測位情報に基づいて、車両測位情報に対応するローカル領域の地図画像における道路情報を得た後、これらの道路情報を世界グローバル座標系から車体座標系に変換する必要がある。ここで、図４Ｂに示す車体座標系を示す概略図を参照すると、車体座標系も右手デカルト直交座標系であり、車載高精度慣性ナビゲーション中心を原点として、車頭方向は、ｘ軸正方向であり、車体左側は、ｙ軸正方向である。長さは、メートルを単位とする。

可能な実現形態において、世界グローバル座標系及び車体座標系はいずれも、右手デカルト直交座標系であり、２つの右手デカルト直交座標系間の変換は、一つの回転平行移動行列のみを必要である。従って、Ｓ２０４は、車両測位情報に基づいて、回転平行移動行列の回転角度及び平行移動量を得ることと、該回転平行移動行列に基づいて、世界グローバル座標系に基づいた地図画像を車体座標系に変換し、車体座標系に基づいた地図画像を得ることと、を含む。ここで、車両測位情報の車体座標系における位置及び車両測位情報の世界グローバル座標系における位置に基づいて、世界グローバル座標系と車体座標系との間の回転平行移動行列の回転角度及び平行移動量を決定する。これにより、回転平行移動行列に基づいて、世界グローバル座標系に基づいた地図画像を車体座標系に変換し、車体座標系に基づいた地図画像を得ることができる。

Ｓ２０５において、車体座標系に基づいた地図画像をカメラ座標系及び／又は画素座標系に変換し、地図画像における道路情報を車両収集画像に投影する。

ここで、地図画像における道路情報を車両収集画像に投影する。車両収集画像は、カメラ座標系又は画素座標系に基づいたものであるため、車体座標系に基づいた地図画像をカメラ座標系又は画素座標系に変換する必要もある。例えば、図４Ｃに示すカメラ座標系及び画素座標系を示す概略図を参照する。ここで、カメラ座標系ｏ－ｘ－ｙ－ｚは、三次元図であり、画素座標系ｏ’－ｘ’－ｙ’は、二次元図である。

可能な実現形態において、地図画像は、二次元地図であり、Ｓ２０５は、画素座標系と車体座標系との間のホモグラフィ行列を取得することと、同次座標系を利用して、車体座標系に基づいた地図画像を表すことと、ホモグラフィ行列に基づいて、同次座標系で表される車体座標系に基づいた地図画像を画素座標系に変換し、画素座標系に投影された車両収集画像の道路情報を得ることと、を含む。可能な実現形態において、二次元地図画像に対して、ホモグラフィ行列を用いて変換を行うことで、車体座標系から画素座標系への変換を遂行することができる。ここで、ホモグラフィ行列は、１つの三次元物体を複数の二次元平面に投影できることである。ホモグラフィ行列は、１つの三次元物体の、１つの二次元平面への投影を、もう１つの二次元平面への投影に変換することができる。３つの点が平面を決定するという原理に基づいて、三次元物体における３つ以上の点を選択し、これらの点の、２つの二次元投影平面における対応する投影点をそれぞれ算出し、続いて、２組の対応する投影点間の変換行列は、ホモグラフィ行列である。代数的解析方式で、ホモグラフィ行列を求めることができる。可能な実現形態において、手動キャリブレーションデータにより、画素座標系と車体座標系との間のホモグラフィ行列を予めキャリブレーションすることができる。可能な実現形態において、該行列が３＊３行列であり、８個の自由度を有するとすれば、１つの平面からもう１つの平面へのアフィン変換を遂行することができる。続いて、同次座標系で、地図画像における道路情報を表す。続いて、各道路情報の座標にいずれも、ホモグラフィ行列を乗算することで、画素座標系に基づいた道路情報を得ることができる。

可能な実現形態において、地図画像は三次元地図であり、Ｓ２０５は、車体座標系とカメラ座標系との間の回転平行移動行列に基づいて、車体座標系に基づいた地図画像をカメラ座標系に変換し、カメラ座標系に投影された車両収集画像の道路情報を得ることと、カメラ座標系と画素座標系との間の投影行列に基づいて、カメラ座標系に投影された車両収集画像の道路情報を画素座標系に変換し、画素座標系に投影された車両収集画像の道路情報を得ることと、を含む。ここで、三次元地図画像に対して、カメラの内部パラメータ及び外部パラメータを用いることで、車体座標系、カメラ座標系及び画素座標系間の変換を遂行することができる。カメラ結像原理は、ピンホール結像であり、カメラの内部パラメータは、カメラの凸レンズの焦点距離及び光心の画素座標系における座標であり、カメラの外部パラメータは、カメラ座標系と車体座標系との間の回転平行移動行列である。カメラ座標系は、カメラ光心を原点として、カメラの上方、前方がそれぞれｙ軸、ｚ軸正方向である右手デカルト座標系である。手動キャリブレーションデータによりカメラの内部パラメータ及び外部パラメータを予めキャリブレーションした後、まず、カメラ外部パラメータにより、地図画像における道路情報をカメラ座標系に回転平行移動し、続いて、ピンホール結像の縮小拡大原理及びカメラの内部パラメータに基づいて、カメラ座標系に基づいた道路情報を画素座標系に投影し、車両収集画像に投影された道路情報を得る。

Ｓ２０６において、道路情報を抽出するためのニューラルネットワークにより、車両収集画像に対して道路情報抽出処理を行い、道路感知情報を得る。

ここで、道路感知情報は、道路感知要素の属性情報を含む。道路感知要素の属性情報は、道路感知要素に関わる１つ又は複数の情報を含んでもよい。例えば、道路要素のセマンティック情報、位置情報、形状情報などを含む。地図道路要素と同様に、該道路感知要素は、道路に関わる標識を含んでもよく、道路上の区画線、停止線、方向指示線、及び道路傍又は道路前方に設けられた交通標識板、信号灯、街灯などのうちの１つ又は複数を含んでもよい。道路感知要素と地図道路要素のタイプは、全部が同じであってもよく、一部が同じであってもよい。

理想的な場合には、道路感知要素は、地図中の地図道路要素と重なり合うべきである。このような重なり合いは、同一の座標系における、道路感知要素と地図道路要素の重なり合いであってもよい。しかしながら、測位過程で取得された車両測位情報に測位偏差又は測位精度不足が生じ得、特に、車両における測位機能を有するハードウェア機器の精度が高くないか又は低い場合、車両収集画像に投影された道路情報と地図画像における実際の道路情報は必ずしも完全に重なり合うとは限らない。従って、車両収集画像に投影された道路情報を修正する必要がある。

可能な実現形態において、初歩的に訓練されたニューラルネットワークにより、車両収集画像に対して道路抽出処理を行い、道路感知情報を得ることができる。

上記ニューラルネットワークを、アノテーション情報を有する道路画像（サンプル道路画像と呼ぶ）により訓練することができる。該サンプル道路画像における道路要素は、アノテーション情報を有する。該アノテーション情報は、サンプル道路要素の属性情報であってもよく、例えば、サンプル道路要素の属性情報は、セマンティック情報、形状情報、位置情報などのうちの１つ又は複数を含んでもよいが、これらに限定されない。サンプル道路画像によりニューラルネットワークを訓練することで、該モデルに、入力された道路画像から道路要素の属性情報を認識する能力を持たせることができる。該ニューラルネットワークに入力された地図道路画像に対して、該画像における地図道路要素の属性情報を出力することができる。ニューラルネットワークによる認識可能な道路要素のカテゴリは、訓練過程に用いられるサンプル道路要素のタイプによって決まる。より多くのタイプのサンプル道路要素によりモデルに対して訓練を行うことで、該ニューラルネットワークに、より高い認識能力を持たせることができる。

Ｓ２０７において、道路感知情報に基づいて、車両収集画像に投影された道路情報に対して修正を行う。

道路感知要素と地図における地図道路要素が完全に重なり合っているものではない場合、道路感知情報に基づいて、車両収集画像に投影された道路情報に対して修正を行うことができる。

可能な実現形態において、Ｓ２０７は、道路感知情報における道路感知要素と車両収集画像に投影された道路情報における地図道路要素とのオフセット情報を決定することと、該オフセット情報に基づいて、車両収集画像に投影された道路情報に対して修正を行うことと、を含む。これについて、下記実施例において詳しく説明する。

本願の実施例が提供する情報アノテーション方法によれば、地図データに含まれる豊かな道路情報を利用して、該地図データにおける道路情報を車両収集画像に投影することで、車両収集画像に対する道路情報の自動的なアノテーションを実現することができ、画像データをアノテーションする効率を向上させ、データアノテーションの誤り率の低下に寄与し、画像データアノテーションの手動コストを減少させる。また、道路感知情報に基づいて、車両収集画像に投影された道路情報に対して修正を行うことで、画像データアノテーションの正確性を向上させる。

図５は、道路感知要素と地図道路要素との間のオフセット情報を決定する方法を示す。図５に示すように、該方法は、以下を含んでもよい。

Ｓ３０１において、道路感知要素の属性情報に基づいて、地図画像から、道路感知要素とペアになる地図道路要素を決定する。

可能な実現形態において、リアルタイムで収集された車両収集画像について、該道路に対して地図を事前構築した場合、該車両収集画像における道路感知要素は、地図において、それとペアになる地図道路要素を得ることができる。つまり、１つの道路感知要素は、誤認識されていなければ、しかも地図構築又は最近更新された後に新たに出現したものでもない場合、一般的には、地図において、これに対応する地図道路要素を見付けることができる。

Ｓ３０２において、ペアになる道路感知要素と地図道路要素の、同一の機器の座標系における位置情報を決定する。

位置の比較を同一の座標系で実行する必要があるため、得られた道路感知要素の位置情報と地図道路要素の位置情報が同一の座標系に位置しない場合、両者を同一の座標系に変換する必要がある。

地図道路要素の位置情報が経緯度座標系における地図位置情報である場合、該地図位置情報を車体座標系に変換する必要がある。以下、ＧＰＳ機器の座標系を例として説明する。

可能な実現形態において、該座標系変換過程は、下記２つのステップを有してもよい。まず、地図位置情報を経緯度座標系（例えば、ＷＧＳ８４座標系）からＵＴＭ座標系に変換する。続いて、ＧＰＳの車両測位情報を利用して、地図道路要素をＵＴＭ座標系からＧＰＳ機器の座標系に変換する。自動運転車両について言えば、該ステップは、まず車頭を真東方向との挟角θの方向に向かせるように車頭を回転して、次に、ＧＰＳの経緯度測位情報（ｘ，ｙ）を平行移動することで実現してもよい。

他の位置センサについて、その変換ルールに応じて、経緯度座標から車体座標系への変換を行うことができることを、当業者であれば、理解すべきである。

Ｓ３０３において、位置情報に基づいて、ペアになる道路感知要素と地図道路要素との間の測位オフセット量を決定する。

同一の機器の座標系における道路感知要素及びそれとペアになる地図道路要素の位置情報を得た後、両者の位置に基づいて、それらの間の測位オフセット量を決定することができる。

可能な実現形態において、ペアになる道路感知要素と地図道路要素を同一の機器の座標系に変換し、両者の位置情報を利用してそれらの間の測位オフセット量を決定する。

図６は、地図画像から道路感知要素とペアになる地図道路要素を決定する方法の例を示す図である。図６に示すように、該方法は、以下を含んでもよい。

Ｓ４０１において、地図画像において、車両測位情報に基づいて、所定の範囲内の地図道路要素を探す。

ここで、車両測位情報は、車両自体の位置情報である。例えば、自動運転車両であれば、車両の位置情報である。該車両測位情報により、地図画像における車両の位置を決定することができる。これにより、地図画像から、設定範囲内の地図道路要素を探すことができる。つまり、車両の近傍の地図道路要素を探すことができる。

車両収集画像は、車両に配置された視覚センサにより得られたものであるため、車両収集画像の道路感知要素は、車両測位過程における車両の近傍に位置する道路要素である。従って、地図において、車両の近傍の地図道路要素を探すことは、道路感知要素とペアになる地図道路要素を検出するための、可能性が最も高くて速度が最も速い方式である。

該所定の範囲は、必要に応じて設定されてもよい。例えば、高いマッチング精度が求められる場合、該範囲を相対的大きいものと設定し、後続で道路感知要素とペアリングするために、多くの地図道路要素を取得する。高いリアルタイム性が求められ、求められるマッチング速度が速い場合、該範囲を相対的小さいものと設定することができる。例えば、所定の範囲は、地図における車両測位情報を中心点とした、上記視覚センサの可視範囲と初期測位誤差との和の２倍から５倍の範囲であってもよい。これにより、マッチング速度及び正確度を評価する。

例を挙げると、視覚センサの可視範囲は、６０ｍであり、初期測位誤差は、１０ｍである場合、所定の範囲を（６０＋１０）＊２とすることができる。つまり、この場合、所定の範囲は、車両測位情報を中心とした、１４０ｍ＊１４０ｍの矩形枠であってもよい。

Ｓ４０２において、車両収集画像における道路感知要素と所定の範囲内の地図道路要素に対して、属性情報に基づいて２つずつペアリングを行い、複数のペアリングプランを得る。

可能な実現形態において、列挙方式により、車両収集画像のうちの各車両収集画像と所定の範囲内の各地図道路要素に対して、２つずつペアリングを行い、複数の異なるペアリングプランを得ることができる。

上記異なるのうち、少なくとも１つの道路感知要素と前記所定の範囲内の地図道路要素とのペアリング方式は異なってもよい。例えば、車両収集画像における道路感知要素は、ａ１，ａ２，…，ａＭを含み、上記所定の範囲内の地図道路要素は、ｂ１，ｂ２，…，ｂＮを含み、ここで、Ｍ、Ｎはいずれも正整数であり、且つＮは、Ｍ以上であり、つまり、地図道路要素の数は、道路感知要素の数よりも多いか又は少なくとも道路感知要素の数に等しい。道路感知要素（ａ１，ａ２，…，ａＭ）と地図道路要素（ｂ１，ｂ２，…，ｂＮ）に対して２つずつペアリングを行うことで得られた各ペアリングプランは、一つの２次元タプルの集合である。各２次元タプル（ａｉ，ｂｊ）は、道路要素に関するペアリング方式である。２次元タプル（ａｉ，ｂｊ）において、ｉ≦Ｍであり、ｉは、［１，Ｍ］範囲内のいずれかの整数であってもよく、ｊ≦Ｎであり、ｊは、［１，Ｎ］範囲内のいずれかの整数であってもよい。また、ペアリングプランにおいて、道路感知要素（ａ１，ａ２，…，ａＭ）は、全てペアリングを実現する必要があるが、地図道路要素（ｂ１，ｂ２，…，ｂＮ）は、ペアリングの先が見つからない要素があり得、異なるペアリングプランのうち、少なくとも一つの２次元タプル（ａｉ，ｂｊ）は異なる。

可能な実現形態において、２部グラフモデルにより、道路感知要素と地図道路要素に対して２つずつペアリングを行うことを実現することができる。それは、道路感知要素及び地図道路要素に基づいて２部グラフモデルを構築するステップと、車両収集画像において、各道路感知要素を１つの点として抽象化し、全ての道路感知要素から感知点集合を形成するステップと、地図における地図道路要素も１つの点として抽象化し、全ての地図道路要素から地図点集合を形成するステップと、を含む。車両収集画像に、セマンティックスが同じである複数の道路要素が存在し、例えば、複数本の区画線が存在することに応答して、車両の左側から右側への順番に応じて、セマンティックスが同じである道路感知要素を順序付けすることができる。地図におけるセマンティックスが同じである地図道路要素に対しても、同様な方法で順序付けを行い、形成された点集合における点を道路要素の順番に基づいて順序付ける。感知点集合と地図点集合を辺で接続する。各辺は、１つの道路感知要素と１つの地図道路要素とのペアリング関係を表す。異なる接続方式により、異なるペアリングプランを発生する。得られた各ペアリングプランは、１つの辺集合である。

可能な実現形態において、上記モデルに基づいた２部グラフのマッチング方法を利用して、全てのペアリングプランから合理的なペアリングプランを取得することもできる。該方法は、可能な限り多くの辺が交わらない（交差しない）辺集合を選択することを含む。ここの交差しないことは、２本の辺が、共通点を有しない場合で交わらず、かつ、点集合における、１本の辺の２つの頂点の番号が、点集合における、また１本の辺の２つの頂点の番号よりも大きいことである。従って、物理的に交わらないと理解されてもよい。交わらない辺の数が所定の割合又は所定の閾値より大きい辺集合を合理的な辺集合と呼ぶことができる。つまり、例えば図７に示すように、合理的なペアリングプランを得る。合理的なペアリングプランを選別し、信頼度演算を行うことで、後続のプロセスにおける演算量を低減させる。

Ｓ４０３において、各ペアリングプランの信頼度を決定する。

１つのペアリングプランに対して、信頼度は、視覚道路要素と地図道路要素とのペアリング状況を評価するための指標である。１つのペアリングプランにおいて、各道路感知要素と地図道路とのペアリングにおいて、両者のセマンティック情報の一致性が高いほど、マッチングしたペアリング数は多くなり、ペアリングプランの信頼度は高くなる。

可能な実現形態において、下記方式で各ペアリングプランの信頼度を決定することができる。

Ａにおいて、各ペアリングプランにおける、道路感知要素と地図道路要素との各ペアリングの個体類似度をそれぞれ決定する。ここで、個体類似度は、ペアリングプランにおける各２次元ペアにおける２つの要素の属性情報の類似度であり、例えば、セマンティック情報の類似度、位置情報の類似度、形状情報の類似度などを含んでもよい。区画線を例として、下記式（１）で、感知区画線と地図区画線との個体類似度を算出することができ、ここで、感知区画線は、車両収集画像における区画線であってもよく、地図区画線は、地図における区画線であってもよい。

式（１）は下記の通りである。

ここで、

は、ｉ番目（左から右へ数え、下記において同様である）の感知区画線とｊ番目の地図区画線との間の辺の個体類似度を表し、重み値と呼ばれてもよい。

は、ｉ番目の感知区画線とｊ番目の地図区画線との距離を表し、ここで、区画線を線分として抽象化し、距離の演算方式は、線分から線分までのユークリッド距離であってもよく、つまり、１本の線分の２つの端点からもう１本の線分までの距離の中央値であり、即ち、平均値である。

は、車線幅を表し、つまり、２本の区画線の間の幅を表す。ｉ番目の感知区画線とｊ番目の地図区画線の区画線属性が同じである場合だけ、

は１であり、そうでなければ、０である。ここで、区画線属性は、区画線色、線形などを含んでもよく、例えば、黄色実線、白色破線である。ｉ番目の感知区画線とｊ番目の地図区画線の縁区画線属性が同じである場合だけ、

は１であり、そうでなければ、０であり、ここで、縁区画線属性は、該区画線が道路の縁に属するかどうかを示す。上記式において、

は、感知区画線と地図区画線との位置情報類似度を算出するためのものであり、

は、これらの形状情報類似度を算出するためのものであり、

は、これらのセマンティック情報類似度を算出するためのものである。他の道路要素間の個体類似度に対して、他の合理的な式を設定して演算を行うことができることを、当業者であれば、理解すべきである。

Ｂにおいて、個体類似度を決定した後、各前記ペアリングプランにおける道路感知要素と地図道路要素との各ペアリングの全体類似度を決定する。

ここで、全体類似度は、ペアリングプランにおける全ての２次元ペアの属性情報の類似度に対する全体的な評価である。ここで、属性情報は、位置情報及びセマンティック情報を含んでもよい。位置情報の全体類似度は、全ての２次元ペアにおける２つの要素の距離の分散で表されてもよい。分散が小さいほど、全ての２次元ペアにおける２つの要素の距離が近くなり、位置情報の全体類似度が高くなる。セマンティック情報の全体類似度は、全ての２次元ペアにおける２つの要素のセマンティック情報の類似度を利用して平均値演算又は加重平均演算を行うことで得られる。

Ｃにおいて、各前記ペアリングプランの各個体類似度及び全体類似度に基づいて、各前記ペアリングプランの信頼度を決定する。例えば、各ペアリングプランにおける各２次元タプルの個体類似度の和と全体類似度に対して平均値演算又は加重平均演算を行うことで、該ペアリングプランの信頼度を得ることができる。

本実施例において、ペアリングプランにおける各２次元タプルの個体類似度及び全体類似度に基づいて、該ペアリングプランの信頼度を総合的に評価することで、個別ペアによる極端な効果（極めて高いか又は極めて低い）がペアリングプラン全体の信頼度に及ぼす影響を避け、信頼度の算出結果をより確実にする。

式（２）は、ペアリングプランの信頼度スコアを算出するための関数の例である。これは、個体類似度の和、距離情報の全体類似度、セマンティック情報の全体類似度という３つの部分によりスコアを算出する。

ｍａｔｃｈ＿ｗｅｉｇｈｔ＿ｓｕｍ＝ｓｕｍ（ｍａｔｃｈ＿ｉｔｅｍｓ＿［ｐｒ＿ｉｄｘ］［ｈｄｍ＿ｉｄｘ］．ｗｅｉｇｈｔ）＋ＣａｌｃｕｌａｔｅＶａｒｉａｎｃｅＯｆＭａｔｃｈＲｅｓｕｌｔ（ｍａｔｃｈ＿ｒｅｓｕｌｔ）＋ＣａｌｃｕｌａｔｅＭＭＣｏｎｆｉｄｅｎｃｅ（ｍａｔｃｈ＿ｒｅｓｕｌｔ）（２）
ここで、ｍａｔｃｈ＿ｗｅｉｇｈｔ＿ｓｕｍは、１つのペアリングプランの信頼度スコアを表す。

ｓｕｍ（ｍａｔｃｈ＿ｉｔｅｍｓ＿［ｐｒ＿ｉｄｘ］［ｈｄｍ＿ｉｄｘ］．ｗｅｉｇｈｔ）は、ペアリングプランにおける各２次元タプルの個体類似度の和を表し、これは、該ペアリングプランにおける選択された辺の重み値を加算することで算出され、即ち、各対の点集合に対応する辺の重みを加算することで算出される。

ＣａｌｃｕｌａｔｅＶａｒｉａｎｃｅＯｆＭａｔｃｈＲｅｓｕｌｔ（ｍａｔｃｈ＿ｒｅｓｕｌｔ）は、ペアリングプランにおける各２次元タプルの距離情報の全体類似度を表し、これは、ペアリングプランにおける各２次元タプルの２つの要素間の距離の分散により算出される。区画線を例として、ペアとなる区画線の間に距離が存在する。該分散は、これらの距離の分散である。実際に、誤差が避けられないため、該分散は、ゼロではない可能性がある。

ＣａｌｃｕｌａｔｅＭＭＣｏｎｆｉｄｅｎｃｅ（ｍａｔｃｈ＿ｒｅｓｕｌｔ）は、ペアリングプランにおける各２次元タプルのセマンティック情報の全体類似度を表す。これは、各２次元タプルにおける２つの要素間のセマンティック類似度を比較することで算出される。依然として区画線を例とすると、全てのペアとなる区画線の属性が一致するかどうか、数が一致するかどうかを判定することができる。例えば、属性が全て一致するものの信頼度は、１００％であり、一対の区画線の属性が一致しないと、例えば、信頼度を、１０％下げ、数が一致しないと、信頼度を、直接的に３０％下げるように設定することができる。

上記３つの部分の結果を算出し、結果を加算することで、ペアリングプランの信頼度スコアを得ることができる。

Ｓ４０４において、複数のペアリングプランのうちの信頼度が最も高いペアリングプラン又は所定の閾値より大きいペアリングプランにおいて、道路感知要素とペアになる地図道路要素を決定する。

可能な実現形態において、信頼度が最も高いプランを最終的に選択されたペアリングプランとしてもよく、所定の閾値を超えるペアリングプランを最終的に選択されたペアリングプランとしてもよい。これにより、道路感知要素とペアになる地図道路要素を決定することができる。

本実施例において、車両測位情報を利用して地図から取得された機器の近傍の地図道路要素を、道路感知要素とのペアリングに用いる。グローバル地図から、道路感知要素とペアになる地図道路要素を探すことに比べて、演算量を減少させ、マッチング速度を向上させ、リアルタイムな測位の実現に測位する。

可能な実現形態において、前記車両収集画像における道路感知要素と前記所定の範囲内の地図道路要素をペアリングする過程において、前記所定の範囲内の地図道路要素のうち、車両収集画像における道路感知要素とペアになる道路要素を決定できない場合、ペアリング待ちの地図道路要素において、前記道路感知要素とペアリングする空白要素又はバーチャル要素を設定する。

理想的な場合には、車両収集画像における道路感知要素は、地図における地図道路要素に一対一に対応しているが、道路感知要素が誤認識した結果である場合、又は、道路感知要素が地図構築後に出現したものである場合、該道路感知要素に対応する地図道路要素を見付けることができない。空白（ｎｕｌｌ）又はバーチャル要素を設定することで、ペアリングプラン決定過程において、全ての道路感知要素に、ペアになる対象を持たせ、ペアリングプランをより豊かにし、最適なペアリングプランの総合的な評価に寄与する。

図８は、ペアになる道路感知要素と地図道路要素との間の測位オフセット量を決定する方法を示す。例えば、図８に示すように、該方法は以下を含む。

Ｓ５０１において、道路感知要素の画素点に対してサンプリングを行い、感知サンプリング点集合を得る。

可能な実現形態において、所定の間隔（例えば、０．１メートル）で、道路感知要素の画素点に対してサンプリングを行い、感知サンプリング点集合を得ることができる。

道路上の区画線を例として、区画線に対してサンプリングを行うことで、感知区画線を１つの点集合として抽象化することができる。並列した複数本の区画線の場合、車両の左側から右側への順番に従って区画線を配列し、対応する点集合を区画線の順番に従って上から下へ配列することができる。

Ｓ５０２において、地図道路要素の画素点に対してサンプリングを行い、地図サンプリング点集合を得る。

可能な実現形態において、ステップ９０１と同様な方式で、地図道路要素に対してサンプリングを行い、地図サンプリング点集合を得ることができる。

Ｓ５０３において、感知サンプリング点集合と地図サンプリング点集合にそれぞれ含まれるサンプリング点の間の回転平行移動行列を決定する。

可能な実現形態において、ペアリングした感知サンプリング点集合及び地図サンプリング点集合に対して、反復最近傍点アルゴリズムで、２つの点集合の間の回転平行移動行列を算出することができる。図９は、反復最近傍点アルゴリズムを示す概略図である。矢印の左側は、該アルゴリズムモデルに入力された２つの関連付けられる点集合（ペアリングした点集合）を表す。該アルゴリズムモデルは、例えば最小二乗アルゴリズムモデルであってもよい。該アルゴリズムモデルを用いることで、回転平行移動行列を得ることができる。入力された点集合に対して該回転平行移動行列を適用することで、２つの点集合の重なり合いを実現することができる。図９に示すように、矢印の右側は、重なり合っている２つの点集合を表す。

Ｓ５０４において、回転平行移動行列に基づいて、道路感知要素と地図道路要素の座標オフセット量及び方向オフセット量を得る。

ステップＳ５０３で得られた回転平行移動行列は、決定する必要がある測位オフセット量であり、該回転平行移動行列における平行移動係数は、座標オフセット量に対応し、回転係数は、方向オフセット量に対応する。

可能な実現形態において、該車両測位情報は、（ｘ０，ｙ０，θ０）で表されてもよく、測位オフセット量は、（ｄｘ，ｄｙ，ｄθ）で表されてもよい。対応的に、車両測位情報に対して修正を行うことで得られた測位情報は、式（３）に示すとおりであってもよい。
（ｘ＝ｘ０＋ｄｘ，ｙ＝ｙ０＋ｄｙ，θ＝θ０＋ｄθ）（３）
例えば、カルマンフィルタリング、平均値演算、加重平均演算などの方法で、得られた測位情報と車両測位情報をフュージョンすることで、地図情報に基づいて測位情報を過剰に修正することを避け、画像データのアノテーションをより確実にすることができる。

以下、本願の実施例の、１つの実際の適用シーンへの例示的な適用を説明する。

本願の実施例は、画像データを自動的なアノテーションする方法を提供する。該方法により、道路画像に存在する区画線、停止線及び標識板などの静的道路要素及び属性の全自動アノテーションを遂行することができる。該自動アノテーションアルゴリズムは、高精度地図に基づいたものである。高精度地図に豊かな道路要素が含まれ、且つ、センチメートルレベルの精度を有する。高精度地図は、自動運転における基本モジュールの１つである。現在、高精度地図について、広範な適用手段及び成熟した取得手段を有する。画像画像データを自動的にアノテーションする方法のアノテーション正確度は、高精度地図のみに関わる。高精度地図の信頼度が十分であれば、アノテーションアルゴリズムは、十分に高い正確率を達成することができる。該画像データを自動的にアノテーションする方法は、自動運転システムの付属製品であり、余分なコストを必要としない。その主な原理は、高精度測位情報に基づいて、車両の近傍の高精度地図情報を取得し、車載カメラパラメータを用いて、地図要素を道路画像に投影し、対応する道路要素位置及びセマンティック情報を得ることである。それと同時に、本願の実施例は、コストが低い高精度測位手段により画像データの自動アノテーションを補助する、高精度地図構築手段を更に提供する。

可能な実現形態において、該画像データを自動的にアノテーションする方法は、自動運転システムの付属製品である。これは、自動運転システムにおける既存の高精度地図、高精度測位手段、車載カメラキャリブレーション手段、測位を補助してアノテーション効果を毛出するための画像区画線検出深層学習モデルを基礎としたものである。

可能な実現形態において、該画像データを自動的にアノテーションする方法は、まず、高精度測位手段に基づいて、高精度地図から、車両の近傍の地図情報を取得し、次に、車載カメラのキャリブレーションパラメータに基づいて、地図道路要素を道路画像に投影し、続いて、画像区画線検出深層学習モデルにより抽出された区画線と投影した区画線との間のオフセット量を比較することで、投影関数を補正し、最終的に、正確率及び精度が高い画像道路要素アノテーション結果を得る。

可能な実現形態において、該画像データを自動的にアノテーションする方法に用いられる高精度地図は、自動運転データ収集車両により取得されたレーザ点群データを簡単に処理することで得らえる。一般的には、レーザ点群反射率をフィルタリングすることで、区画線、停止線などの道路要素の点群を得て、続いて、テンプレートマッチング、クラスタリング及びフィッティング方式で、豊かな道路要素を含む高精度地図を最終的に得る。

可能な実現形態において、本願が提供する画像データを自動的にアノテーションする方法は、地図検索モジュール、地図情報投影モジュール及び投影誤差修正モジュールという３つの部分をふくむ。まず、高精度地図及び高精度測位情報の地図検索モジュールに基づいて、車載ＧＰＳ測位機器、車載高精度慣性ナビゲーション機器、及びビジョンベースの測位修正情報を総合的に利用して、１つの少なくともデシメートルレベルの測位結果を得る。次に、該測位結果に基づいて、高精度地図における車が位置する地点の周囲１００ｍ領域の道路情報を探す。該道路情報は、区画線、停止線位置及び属性情報を含む。次に、地図情報投影モジュールは、２つの投影方式をサポートする。１つは、２Ｄ（２－Ｄｉｍｅｎｓｉｏｎ：二次元）地図情報及び予めキャリブレーションされたカメラホモグラフィ行列に基づいた投影方式であり、もう１つは、３Ｄ（３－Ｄｉｍｅｎｓｉｏｎ：三次元）地図情報及び予めキャリブレーションされたカメラの内外部パラメータに基づいた投影方式である。２つの投影方式は、実質上、いずれも幾何的データの空間的変換であるが、１つは、２Ｄ空間から２Ｄ空間へのアフィン変換であり、もう１つは、３Ｄ空間から２Ｄ空間への投影変換である。最後に、投影誤差修正モジュールは、事前準備された区画線検出深層学習モデルにより、画像における区画線位置及び属性情報を抽出する。最後に、抽出された区画線と投影した区画線との誤差を最小化し、投影関数を最適化し、最適化した区画線、停止線などの道路要素の位置及び属性のアノテーション情報を得る。

ここで、該地図検索モジュールの入力は、高精度地図及び高精度測位情報であり、出力は、測位位置の近傍のローカル地図情報である。

可能な実現形態において、本願の実施例は、世界グローバル座標系（ＷＧＳ８４経緯度座標系及びＥＣＥＦ地心座標系）、車体座標系及びカメラ画像画素座標系という３つの座標系に基づく。３つの座標系は、図４Ａ、図４Ｂ及び図４Ｃに示すとおりである。ここで、高精度地図として、世界グローバル座標系を用いる。座標系におけるいずれか１つの点は、地球上で一意的に対応する座標を有する。例えば、経緯度情報を有する。ここで、ＷＧＳ８４経緯度座標系は、ラジアン値で点座標情報を表すため、使用しにくい。従って、座標系変換の場合、ＥＣＥＦ地心座標系を用いる。車体座標系も右手デカルト直交座標系であり、カメラ画像画素座標系は、二次元直交座標系であり、画素を単位とする。

可能な実現形態において、世界グローバル座標系における、車両の一意的な測位情報を得た後、車の前の一定の範囲内（カメラの視野範囲に関わる）のローカル地図情報のみに注目するため、対応する領域の道路要素情報を抽出する必要がある。

可能な実現形態において、地図探す効率を向上させるために、ツリー状階層的関係により、道路要素を記憶することができる。地図のルートノードにおいて複数の矩形領域を設ける。各矩形領域に、該領域の測位位置を表すための中心点を設ける。また、Ｒｏａｄを基礎道路ノードとして設け、Ｒｏａｄノード内に、区画線、停止線の位置及び属性情報を記憶する。

可能な実現形態において、探すことは、再帰プロセスである。まず、測位位置に最も近い領域を見付け、続いて、測位位置に最も近いＲｏａｄ及び該当する区画線、停止線情報を順に見付ける。大規模の探しに効率的に応答するために、ＫＤツリーを用いて、地図の各層のノード座標を順に記憶し、探しプロセスを速くする。

可能な実現形態において、測位位置の近傍の区画線及び停止線情報を得た後、これらの道路要素を世界グローバル座標系から車体ローカル座標系に変換する必要がある。２つの右手デカルト直交座標系の間の変換は、１つの回転平行移動行列のみを必要とする。回転角度及び平行移動量を測位情報から取得する。

可能な実現形態において、最後に、地図道路要素に対してフィルタリングを行い、カメラの視野範囲内の区画線及び停止線のみを保留すればよい。ここで、例えば、近傍の物体は、遠位の物体を遮蔽するため、必要に応じて、視野遮蔽部の道路要素情報をフィルタリングすることができるが、該ステップは必須なステップではない。

ここで、該地図情報投影モジュールの入力は、測位位置の近傍のローカル地図情報であり、出力は、カメラ画像画素座標系での地図道路要素である。

可能な実現形態において、本願の実施例の車体座標系からカメラ画像画素座標系への変換方法は２つであり、それぞれ２Ｄ地図及び３Ｄ地図に適応する。

２Ｄ地図を用いると、地図における高さ情報の精度が低い。ホモグラフィ行列変換方式で、車体座標系からカメラ画像画素座標系への変換を遂行することができる。手動キャリブレーションデータにより、カメラ画像画素座標系と車体座標系との間のホモグラフィ行列（該行列は、３＊３行列であり、８個の自由度を有し、１つの平面からもう１つの平面へのアフィン変換を実現できる）を予めキャリブレーションする。次に、同次座標系で、地図要素情報を表す。続いて、各地図要素の座標にいずれもホモグラフィ行列を乗算することで、カメラ画像画素座標系での地図道路要素を得ることができる。

３Ｄ地図を用いる場合、カメラの内部パラメータ及び外部パラメータを直接的に用いることで座標系の変換を遂行することができる。カメラ結像原理は、ピンホール結像であり、カメラの内部パラメータは、カメラの凸レンズの焦点距離及び画素座標系での光心の座標であり、カメラの外部パラメータは、カメラ座標系と車体座標系との間の回転平行移動行列である。カメラ座標系は、カメラ光心を原点として、カメラの上方、前方がそれぞれｙ軸、ｚ軸正方向である右手デカルト座標系である。手動キャリブレーションデータによりカメラの内部パラメータ及び外部パラメータを予めキャリブレーションした後、まず、カメラ外部パラメータにより、地図道路要素をカメラ座標系に回転平行移動し、続いて、ピンホール結像の縮小原理及びカメラの内部パラメータに基づいて、地図道路要素をカメラ画像画素座標系に投影する。

地図要素の、画素座標系への投影は、図３Ａ、図３Ｂ及び図３Ｃに示すとおりである。

ここで、投影誤差修正モジュールの入力は、画素座標系における地図道路要素及び深層学習検出分割モジュールにより抽出された感知区画線情報であり、出力は、修正された画像ラベルである。

可能な実現形態において、測位誤差、地図誤差、カメラの内部パラメータ及び外部パラメータのキャリブレーション誤差などの客観的な要因により、画素座標系に投影された地図要素と画像における実際の情報は必ずしも完全に重なり合うとは限らない。従って、投影誤差修正は、極めて重要な一環である。

可能な実現形態において、既存の深層学習検出分割モデルにより、画像における全ての区画線情報を抽出し、これらの区画線を感知区画線と見做す。感知区画線の特徴は、位置情報の正確率が高いが、属性情報、数情報及び完全性に一定の誤差が存在することである。主に、感知区画線と地図区画線との間のオフセット量を利用して投影関数を修正する。ここで、投影関数の修正は、２つのステップに分けられる。第１ステップにおいて、地図区画線と感知区画線との対応関係を見付ける。第２ステップにおいて、対応する区画線間の距離を最小化する。区画線間は、優れた完備な優先順位関係を有する。つまり、一般的には、左から右へ配列される。地図区画線及び感知区画線をいずれも点として抽象化することで、感知点集合及び地図点集合を得ることができる。感知点集合における点と地図点集合における点を接続し（即ち、辺接続）、感知点集合内の点を接続せず、地図点集合内の点を接続しないことで、２部グラフモデルを得ることができる。それによって、区画線のマッチングの問題は、２部グラフのマッチングの問題になり、２部グラフの各辺は、感知区画線と地図区画線とのペアリング関係を表す。２部グラフモデルは、図７に示すとおりである。続いて、２部グラフの辺に重み値を付与する。重み値は、２本の車線の類似度及び距離の反数に等しくてもよい。類似度は、位置情報の類似度、形状情報の類似度及び区画線属性がマッチングするかどうかにより計量化することができ、区画線と区画線との距離は、１つの点集合からもう１本の曲線までの平均距離に変換されてもよい。重みを有する２部グラフを得た後、２部グラフのマッチング探索を目標とし、辺重みの和が最も大きい、交わらない辺集合を見付ける。交わらないことは、辺と辺の両側の点は同一にはならないことを意味し、辺重みの和が最も大きいことは、区画線のマッチングプランが最適であり、つまり、該マッチングプランにおいて地図の区画線と感知区画線との類似度が最も高いことを意味する。区画線のマッチングプランを得た後、問題は、区画線と区画線との距離を最小化するという問題になる。区画線は、曲線で表されてもよい。曲線における点に対してサンプリングを行うことで、点集合を得ることができる。最終的な問題は、点集合から点集合までの距離の最小化という問題になる。該問題は、反復最近傍点（即ち、ＩＣＰ）アルゴリズムにより解決可能である。

ここで、図９に示すように、ＩＣＰアルゴリズムステップは、以下を含む。（１）において、最近傍点ペアリング原則に基づいて、入力された２つの点集合における点に対して、２つずつペアリングを行う。（２）において、点座標を最小二乗式に代入し、回転平行移動行列を探す。１つの点集合における点を回転平行移動変換した後、ペアリング点間の距離の和を最小にする。（３）において、特異値分解により、回転平行移動行列を解く。該回転平行移動行列は、最適化した課題の最適な解である。該回転平行移動行列により、２つの点集合の重なり合いを実現することができる（つまり、上記感知点集合と地図点集合の重なり合いを実現する。ＩＣＰアルゴリズムは、１つの修正量を出力することができる。該修正量を全ての地図要素に加算することで、道路画像と完全にマッチングした地図道路要素情報を得ることができる。これらの情報は、位置及び属性情報を含み、つまり、画像のアノテーション情報を含む。

本願の実施例が提供する画像データを自動的にアノテーションする方法は、自動運転システムに付属するため、余分なコストを必要としない。自動アノテーションを実現すると共に、高い正確率及び位置精度を確保することができ、大規模、全自動の大量生産プロセスに適する。本願の実施例が提供する画像データを自動的にアノテーションする方法は、自動運転車両に配置される。これにより、無料なアノテーションデータを絶え間なく得て、深層学習検討及び適用モデルの訓練に用いられる大規模なデータ集合を確立することができる。また、自動アノテーションアルゴリズムを用いて、異なる天気、時間帯、領域のアノテーションデータを取得して分類し、分類したデータを用いてスタイル変換に関わるモデル訓練を行うこともできる。本方法は、実質上、地図情報を画像に投影して画像のアノテーションを行い、また該情報を深層学習モデルの訓練に用いる。該プロセスを逆にすると、深層学習モデルにより認識された道路要素情報をグローバル座標に投影することで、自動的な地図構築を行うことができる。

可能な実現形態において、該画像データを自動的にアノテーションする方法の実行主体は、画像処理装置であってもよい。例えば、画像データを自動的にアノテーションする方法は、端末機器、サーバ又は他の処理機器により実行されてもよい。ここで、端末機器は、ユーザ機器（ＵｓｅｒＥｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの可能な実現形態において、該画像データを自動的にアノテーションする方法は、ロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。

上記実施例における画像データを自動的にアノテーションする方法と同一の構想によれば、図１０に示すように、本願の実施例は、画像データを自動的にアノテーションする装置１０００を更に提供する。該装置１０００は、上記図１、図２、図５、図６、図８に示す方法に適用可能である。該装置１０００は、車両測位情報、地図画像及び車両収集画像を取得するように構成される第１取得部１１であって、前記地図画像は、道路情報を含む、第１取得部１１と、前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得するように構成される第２取得部１２と、前記地図画像における道路情報を前記車両収集画像に投影し、前記車両収集画像で前記道路情報をアノテーションするように構成される投影部１３と、を備える。

可能な実現形態において、前記第２取得部１２は、前記ローカル領域内の地図画像をルートノードとして、前記ローカル領域内の地図画像の地図道路要素の属性情報を順に探すように構成され、前記地図道路要素の属性情報は、前記地図道路要素のセマンティック情報、前記地図道路要素の位置情報、前記地図道路要素の形状情報のうちの少なくとも１つを含む。

可能な実現形態において、前記装置１０００は、前記車両測位情報及び前記地図画像の範囲に基づいて、前記ローカル領域の範囲を決定するように構成される第１決定部１４を更に備え、前記第２取得部１２は、前記ローカル領域の範囲内の前記地図画像における地図道路要素の属性情報を取得するように構成される。

可能な実現形態において、前記地図画像は、世界グローバル座標系に基づいたものであり、前記装置は、前記世界グローバル座標系に基づいた地図画像を車体座標系に変換し、前記車体座標系に基づいた地図画像を得るように構成される第１変換部１５を更に備え、前記投影部１３は、前記車体座標系に基づいた地図画像をカメラ座標系及び／又は画素座標系に変換し、地図画像における道路情報を前記車両収集画像に投影するように構成される。

可能な実現形態において、前記第１変換部１５は、前記車両測位情報に基づいて、回転平行移動行列の回転角度及び平行移動量を得て、前記回転平行移動行列に基づいて、前記世界グローバル座標系に基づいた地図画像を前記車体座標系に変換し、前記車体座標系に基づいた地図画像を得るように構成される。

可能な実現形態において、前記地図画像は、二次元地図であり、前記投影部１３は、前記画素座標系と前記車体座標系との間のホモグラフィ行列を取得するように構成される第３取得部１３１と、同次座標系を利用して、前記車体座標系に基づいた地図画像を表すように構成される表現部１３２と、前記ホモグラフィ行列に基づいて、同次座標系で表される、前記車体座標系に基づいた地図画像を前記画素座標系に変換し、前記画素座標系に投影された車両収集画像の道路情報を得るように構成される第２変換部１３３と、を備える。

可能な実現形態において、前記地図画像は、三次元地図であり、前記投影部１３は、前記車体座標系と前記カメラ座標系との間の回転平行移動行列に基づいて、車体座標系に基づいた地図画像を前記カメラ座標系に変換し、前記カメラ座標系に投影された車両収集画像の道路情報を得るように構成される第３変換部と、前記カメラ座標系と前記画素座標系との間の投影行列に基づいて、前記カメラ座標系に投影された車両収集画像の道路情報を前記画素座標系に変換し、前記画素座標系に投影された車両収集画像の道路情報を得るように構成される第４変換部と、を備える。

可能な実現形態において、前記装置は、道路情報を抽出するためのニューラルネットワークにより、前記車両収集画像に対して道路情報抽出処理を行い、道路感知情報を得るように構成される抽出部１６と、道路感知情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うように構成される第１修正部１７と、を更に備える。

可能な実現形態において、前記第１修正部１７は、前記道路感知情報における道路感知要素と前記車両収集画像に投影された道路情報における地図道路要素とのオフセット情報を決定するように構成される第２決定部と、前記オフセット情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うように構成される第２修正部と、を備える。

可能な実現形態において、前記第６決定部は、各前記ペアリングプランにおける道路感知要素と地図道路要素との各ペアリングの個体類似度をそれぞれ決定し、各前記ペアリングプランにおける道路感知要素と地図道路要素との各ペアリングの全体類似度を決定し、各前記ペアリングプランの各個体類似度及び全体類似度に基づいて、各前記ペアリングプランの信頼度を決定するように構成される。

上記各部に関わるより詳細な記述は、図１、図２、図５、図６、図８に示す方法の実施例における関連説明を参照することができ、ここで、詳細な説明を省略する。

本願の実施例が提供する画像データを自動的にアノテーションする方法によれば、地図データに含まれる豊な道路情報を利用して、車両収集画像に対する道路情報の自動的なアノテーションを実現することができ、画像データをアノテーションする効率を向上させ、データアノテーションの誤り率の低下に寄与し、画像データアノテーションの手動コストを減少させる。

本願の実施例は、画像データを自動的にアノテーションする装置を更に提供する。該装置は、上記画像データを自動的にアノテーションする方法を実行するように構成される。上記方法の一部又は全部は、ハードウェアにより実現してもよく、ソフトウェア又はファームウェアにより実現してもよい。

可能な実現形態において、該装置は、チップ又は集積回路であってもよい。任意選択的に、上記実施例の画像データを自動的にアノテーションする方法の一部又は全部はソフトウェア又はファームウェアにより実現する場合、図１１に示す画像データを自動的にアノテーションする装置１１００により実現してもよい。図１１に示すように、該装置１１００は、入力装置１１１、出力装置１１２、メモリ１１３及びプロセッサ１１４（装置におけるプロセッサ１１４は、１つ又は複数であってもよく、図１１において、１つのプロセッサを例とする）を備える。本実施例において、入力装置１１１、出力装置１１２、メモリ１１３及びプロセッサ１１４は、バス又は他の方式により接続されてもよい。ここで、図１１において、バスを介して接続されることを例とする。

ここで、プロセッサ１１４は、図１、図２、図５、図６、図８における装置により実行される方法のステップを実行するように構成される。任意選択的に、上記画像データを自動的にアノテーションする方法のプログラムは、メモリ１１３に記憶されてもよい。該メモリ１１３は、物理的に独立したコンポーネントであってもよく、プロセッサ１１４と集積されてもよい。該メモリ１１３は、データを記憶するように構成される。任意選択的に、上記実施例の画像データを自動的にアノテーションする方法の一部又は全部はソフトウェアにより実現する場合、該装置は、プロセッサのみを備えてもよい。プログラムを記憶するためのメモリは、装置の外部に位置する。プロセッサは、回路又は電線を介してメモリに接続され、メモリに記憶されたプログラムを読み取って実行するように構成される。

プロセッサは、中央演算処理装置（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ：ＣＰＵ），ネットワークプロセッサ（ｎｅｔｗｏｒｋｐｒｏｃｅｓｓｏｒ：ＮＰ）、又は広域ネットワーク（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ：ＷＡＮ）機器であってもよい。プロセッサは、ハードウェアチップを更に含んでもよい。上記ハードウェアチップは、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃｉｎｔｅｇｒａｔｅｄｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブルロジックデバイス（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｄｅｖｉｃｅ，ＰＬＤ）又はその任意の組み合わせであってもよい。上記ＰＬＤは、複合プログラマブルロジックデバイス（ｃｏｍｐｌｅｘｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｄｅｖｉｃｅ：ＣＰＬＤ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ：ＦＰＧＡ）、汎用アレイロジック（ｇｅｎｅｒｉｃａｒｒａｙｌｏｇｉｃ：ＧＡＬ）又はその任意の組み合わせであってもよい。メモリは、例えば、ランダムアクセスメモリ（ｒａｎｄｏｍ－ａｃｃｅｓｓｍｅｍｏｒｙ：ＲＡＭ）のような揮発性メモリ（ｖｏｌａｔｉｌｅｍｅｍｏｒｙ）を含んでもよい。メモリは、例えば、フラッシュメモリ（ｆｌａｓｈｍｅｍｏｒｙ）、ハードディスク（ｈａｒｄｄｉｓｋｄｒｉｖｅ：ＨＤＤ）又はソリッドステートディスク（ｓｏｌｉｄ－ｓｔａｔｅｄｒｉｖｅ：ＳＳＤ）のような不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅｍｅｍｏｒｙ）を含んでもよい。メモリは、上記タイプのメモリの組み合わせを含んでもよい。

本願の実施例が提供する画像データを自動的にアノテーションする装置は、地図データに含まれる豊な道路情報を利用して、車両収集画像に対する道路情報の自動的なアノテーションを実現することができ、画像データをアノテーションする効率を向上させ、データアノテーションの誤り率の低下に寄与し、画像データアノテーションの手動コストを減少させる。

本願の実施例は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本願の実施例の各態様を実現するためのコンピュータ可読プログラム命令がそれに記憶されている。

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ：ＲＡＭ）、読み出し専用メモリ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ：ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥｌｅｃｔｒｉｃａｌＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ：ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ：ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄ－ＯｎｌｙＭｅｍｏｒｙ：ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤｉｇｉｔａｌＶｉｄｅｏＤｉｓｃ：ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。

本願の操作を実行するためのコンピュータプログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩｎｄｕｓｔｒｙＳｔａｎｄａｒｄＡｒｃｈｉｔｅｃｔｕｒｅ：ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、任意の種類のネットワーク（ｌｏｃａｌａｒｅａｎｅｔｗｏｒｋ：ローカルエリアネットワーク（ＬＡＮ）や広域ネットワーク（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ：ＷＡＮ）を含む）を通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブルロジック回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブルロジックアレイ（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃａｒｒａｙ：ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本願の各態様を実現することができる。

ここで、本願の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本願の実施例の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能／操作を実現する各態様の命令を含む製品を備える。

コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作のステップを実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能／操作を実現する。

図面におけるフローチャート及びブロック図は、本願の実施例の複数の実施例における、システム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、、プログラムセグメント又は命令の一部は、１つまたは複数の、所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができる。

以上は本願の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から脱逸しない場合、当業者にとって、多くの修正及び変更は容易に想到し得るものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術の改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

地図データに含まれる豊な道路情報を利用して、該地図データにおける道路情報を車両収集画像に投影し、車両収集画像に対する道路情報の自動的なアノテーションを実現することができ、画像データをアノテーションする効率を向上させ、データアノテーションの誤り率の低下に寄与し、画像データアノテーションの手動コストを減少させる。
例えば、本願は以下の項目を提供する。
（項目１）
画像データを自動的にアノテーションする方法であって、
車両測位情報、地図画像及び車両収集画像を取得することであって、前記地図画像は、道路情報を含む、ことと、
前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得することと、
前記地図画像における道路情報を前記車両収集画像に投影し、前記車両収集画像で前記道路情報をアノテーションすることと、を含む、画像データを自動的にアノテーションする方法。
（項目２）
前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得することは、
前記ローカル領域内の地図画像をルートノードとして、前記ローカル領域内の地図画像の地図道路要素の属性情報を順に探すことであって、前記地図道路要素の属性情報は、前記地図道路要素のセマンティック情報、前記地図道路要素の位置情報、前記地図道路要素の形状情報のうちの少なくとも１つを含む、ことを含むことを特徴とする
項目１に記載の方法。
（項目３）
前記方法は、
前記車両測位情報及び前記地図画像の範囲に基づいて、前記ローカル領域の範囲を決定することを更に含み、
前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得することは、
前記ローカル領域の範囲内の前記地図画像における地図道路要素の属性情報を取得することを含むことを特徴とする
項目２に記載の方法。
（項目４）
前記地図画像は、世界グローバル座標系に基づいたものであり、前記地図画像における道路情報を車両収集画像に投影する前に、前記方法は、
前記世界グローバル座標系に基づいた地図画像を車体座標系に変換し、前記車体座標系に基づいた地図画像を得ることを更に含み、
前記地図画像における道路情報を車両収集画像に投影することは、
前記車体座標系に基づいた地図画像をカメラ座標系及び／又は画素座標系に変換し、地図画像における道路情報を前記車両収集画像に投影することを含むことを特徴とする
項目１－３のいずれか一項に記載の方法。
（項目５）
前記世界グローバル座標系に基づいた地図画像を車体座標系に変換し、前記車体座標系に基づいた地図画像を得ることは、
前記車両測位情報に基づいて、回転平行移動行列の回転角度及び平行移動量を得ることと、
前記回転平行移動行列に基づいて、前記世界グローバル座標系に基づいた地図画像を前記車体座標系に変換し、前記車体座標系に基づいた地図画像を得ることと、を含むことを特徴とする
項目４に記載の方法。
（項目６）
前記地図画像は、二次元地図であり、前記車体座標系に基づいた地図画像をカメラ座標系及び／又は画素座標系に変換し、前記地図画像における道路情報を前記車両収集画像に投影することは、
前記画素座標系と前記車体座標系との間のホモグラフィ行列を取得することと、
同次座標系を利用して、前記車体座標系に基づいた地図画像を表すことと、
前記ホモグラフィ行列に基づいて、同次座標系で表される、前記車体座標系に基づいた地図画像を前記画素座標系に変換し、前記画素座標系に投影された車両収集画像の道路情報を得ることと、を含むことを特徴とする
項目４又は５に記載の方法。
（項目７）
前記地図画像は、三次元地図であり、前記車体座標系に基づいた地図画像をカメラ座標系及び／又は画素座標系に変換し、前記地図画像における道路情報を前記車両収集画像に投影することは、
前記車体座標系と前記カメラ座標系との間の回転平行移動行列に基づいて、車体座標系に基づいた地図画像を前記カメラ座標系に変換し、前記カメラ座標系に投影された車両収集画像の道路情報を得ることと、
前記カメラ座標系と前記画素座標系との間の投影行列に基づいて、前記カメラ座標系に投影された車両収集画像の道路情報を前記画素座標系に変換し、前記画素座標系に投影された車両収集画像の道路情報を得ることと、を含むことを特徴とする
項目５に記載の方法。
（項目８）
前記方法は、
道路情報を抽出するためのニューラルネットワークにより、前記車両収集画像に対して道路情報抽出処理を行い、道路感知情報を得ることと、
前記道路感知情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うことと、を更に含むことを特徴とする
項目１－７のいずれか一項に記載の方法。
（項目９）
前記道路感知情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うことは、
前記道路感知情報における道路感知要素と前記車両収集画像に投影された道路情報における地図道路要素とのオフセット情報を決定することと、
前記オフセット情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うことと、を含むことを特徴とする
項目８に記載の方法。
（項目１０）
前記道路感知情報における道路感知要素と前記車両収集画像に投影された道路情報における地図道路要素とのオフセット情報を決定することは、
前記道路感知要素の属性情報に基づいて、前記地図画像から、前記道路感知要素とペアになる地図道路要素を決定することと、
ペアになる道路感知要素と地図道路要素の、同一の機器の座標系における位置情報を決定することと、
前記位置情報に基づいて、ペアになる道路感知要素と地図道路要素との間の測位オフセット量を決定することと、を含むことを特徴とする
項目９に記載の方法。
（項目１１）
前記道路感知要素の属性情報に基づいて、前記地図画像から、前記道路感知要素とペアになる地図道路要素を決定することは、
前記地図画像において、前記車両測位情報に基づいて、所定の範囲内の地図道路要素を探すことと、
前記車両収集画像における道路感知要素と前記所定の範囲内の地図道路要素に対して、属性情報に基づいて２つずつペアリングを行い、複数のペアリングプランを得ることであって、異なるペアリングプランのうち、少なくとも１つの道路感知要素と前記所定の範囲内の地図道路要素とのペアリング方式は異なる、ことと、
各前記ペアリングプランの信頼度を決定することと、
前記複数のペアリングプランのうちの信頼度が最も高いペアリングプラン又は所定の閾値より大きいペアリングプランにおいて、前記道路感知要素とペアになる地図道路要素を決定することと、を含むことを特徴とする
項目１０に記載の方法。
（項目１２）
前記車両収集画像における道路感知要素と前記所定の範囲内の地図道路要素に対してペアリングを行うことは、
前記所定の範囲内の地図道路要素において、前記車両収集画像における道路感知要素とペアになる道路要素を決定できない場合、ペアリング待ちの地図道路要素において、前記道路感知要素とペアリングする空白要素又はバーチャル要素を設定することを含むことを特徴とする
項目１１に記載の方法。
（項目１３）
各前記ペアリングプランの信頼度を決定することは、
各前記ペアリングプランにおける道路感知要素と地図道路要素との各ペアリングの個体類似度をそれぞれ決定することと、
各前記ペアリングプランにおける道路感知要素と地図道路要素との各ペアリングの全体類似度を決定することと、
各前記ペアリングプランの各個体類似度及び全体類似度に基づいて、各前記ペアリングプランの信頼度を決定することと、を含むことを特徴とする
項目１１又は１２に記載の方法。
（項目１４）
前記測位オフセット量は、座標オフセット量及び／又は方向オフセット量を含み、
前記車両測位情報に基づいて、ペアになる道路感知要素と地図道路要素との間の測位オフセット量を決定することは、
前記道路感知要素の画素点に対してサンプリングを行い、感知サンプリング点集合を得ることと、
前記地図道路要素の画素点に対してサンプリングを行い、地図サンプリング点集合を得ることと、
前記感知サンプリング点集合と前記地図サンプリング点集合にそれぞれ含まれるサンプリング点の間の回転平行移動行列を決定することと、
前記回転平行移動行列に基づいて、前記道路感知要素と前記地図道路要素の座標オフセット量及び方向オフセット量を得ることと、を含むことを特徴とする
項目１０－１３のいずれか一項に記載の方法。
（項目１５）
画像データを自動的にアノテーションする装置であって、
車両測位情報、地図画像及び車両収集画像を取得するように構成される第１取得部であって、前記地図画像は、道路情報を含む、第１取得部と、
前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得するように構成される第２取得部と、
前記地図画像における道路情報を前記車両収集画像に投影し、前記車両収集画像で前記道路情報をアノテーションするように構成される投影部と、を備える、画像データを自動的にアノテーションする装置。
（項目１６）
画像データを自動的にアノテーションする装置であって、メモリと、プロセッサと、を備え、前記メモリに、プログラムコードが記憶されており、且つ前記プロセッサは、前記メモリに記憶されているプログラムコードを呼び出し、項目１－１４のいずれか一項に記載の方法を実行するように構成される、画像データを自動的にアノテーションする装置。
（項目１７）
コンピュータ可読記憶媒体であって、コンピュータプログラム命令が記憶されており、コンピュータプログラム命令はプロセッサにより実行される時、項目１－１４のいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
（項目１８）
コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、項目１－１４のいずれか一項に記載の方法を実行する、コンピュータプログラム。

Claims

画像データを自動的にアノテーションする方法であって、
車両測位情報、地図画像及び車両収集画像を取得することであって、前記地図画像は、道路情報を含む、ことと、
前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得することと、
前記地図画像における道路情報を前記車両収集画像に投影し、前記車両収集画像で前記道路情報をアノテーションすることと、を含む、画像データを自動的にアノテーションする方法。
前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得することは、
前記ローカル領域内の地図画像をルートノードとして、前記ローカル領域内の地図画像の地図道路要素の属性情報を順に探すことであって、前記地図道路要素の属性情報は、前記地図道路要素のセマンティック情報、前記地図道路要素の位置情報、前記地図道路要素の形状情報のうちの少なくとも１つを含む、ことを含むことを特徴とする
請求項１に記載の方法。
前記方法は、
前記車両測位情報及び前記地図画像の範囲に基づいて、前記ローカル領域の範囲を決定することを更に含み、
前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得することは、
前記ローカル領域の範囲内の前記地図画像における地図道路要素の属性情報を取得することを含むことを特徴とする
請求項２に記載の方法。
前記地図画像は、世界グローバル座標系に基づいたものであり、前記地図画像における道路情報を車両収集画像に投影する前に、前記方法は、
前記世界グローバル座標系に基づいた地図画像を車体座標系に変換し、前記車体座標系に基づいた地図画像を得ることを更に含み、
前記地図画像における道路情報を車両収集画像に投影することは、
前記車体座標系に基づいた地図画像をカメラ座標系及び／又は画素座標系に変換し、地図画像における道路情報を前記車両収集画像に投影することを含むことを特徴とする
請求項１－３のいずれか一項に記載の方法。
前記世界グローバル座標系に基づいた地図画像を車体座標系に変換し、前記車体座標系に基づいた地図画像を得ることは、
前記車両測位情報に基づいて、回転平行移動行列の回転角度及び平行移動量を得ることと、
前記回転平行移動行列に基づいて、前記世界グローバル座標系に基づいた地図画像を前記車体座標系に変換し、前記車体座標系に基づいた地図画像を得ることと、を含むことを特徴とする
請求項４に記載の方法。
前記地図画像は、二次元地図であり、前記車体座標系に基づいた地図画像をカメラ座標系及び／又は画素座標系に変換し、前記地図画像における道路情報を前記車両収集画像に投影することは、
前記画素座標系と前記車体座標系との間のホモグラフィ行列を取得することと、
同次座標系を利用して、前記車体座標系に基づいた地図画像を表すことと、
前記ホモグラフィ行列に基づいて、同次座標系で表される、前記車体座標系に基づいた地図画像を前記画素座標系に変換し、前記画素座標系に投影された車両収集画像の道路情報を得ることと、を含むことを特徴とする
請求項４又は５に記載の方法。
前記地図画像は、三次元地図であり、前記車体座標系に基づいた地図画像をカメラ座標系及び／又は画素座標系に変換し、前記地図画像における道路情報を前記車両収集画像に投影することは、
前記車体座標系と前記カメラ座標系との間の回転平行移動行列に基づいて、車体座標系に基づいた地図画像を前記カメラ座標系に変換し、前記カメラ座標系に投影された車両収集画像の道路情報を得ることと、
前記カメラ座標系と前記画素座標系との間の投影行列に基づいて、前記カメラ座標系に投影された車両収集画像の道路情報を前記画素座標系に変換し、前記画素座標系に投影された車両収集画像の道路情報を得ることと、を含むことを特徴とする
請求項５に記載の方法。
前記方法は、
道路情報を抽出するためのニューラルネットワークにより、前記車両収集画像に対して道路情報抽出処理を行い、道路感知情報を得ることと、
前記道路感知情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うことと、を更に含むことを特徴とする
請求項１－７のいずれか一項に記載の方法。
前記道路感知情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うことは、
前記道路感知情報における道路感知要素と前記車両収集画像に投影された道路情報における地図道路要素とのオフセット情報を決定することと、
前記オフセット情報に基づいて、前記車両収集画像に投影された道路情報に対して修正を行うことと、を含むことを特徴とする
請求項８に記載の方法。
前記道路感知情報における道路感知要素と前記車両収集画像に投影された道路情報における地図道路要素とのオフセット情報を決定することは、
前記道路感知要素の属性情報に基づいて、前記地図画像から、前記道路感知要素とペアになる地図道路要素を決定することと、
ペアになる道路感知要素と地図道路要素の、同一の機器の座標系における位置情報を決定することと、
前記位置情報に基づいて、ペアになる道路感知要素と地図道路要素との間の測位オフセット量を決定することと、を含むことを特徴とする
請求項９に記載の方法。
前記道路感知要素の属性情報に基づいて、前記地図画像から、前記道路感知要素とペアになる地図道路要素を決定することは、
前記地図画像において、前記車両測位情報に基づいて、所定の範囲内の地図道路要素を探すことと、
前記車両収集画像における道路感知要素と前記所定の範囲内の地図道路要素に対して、属性情報に基づいて２つずつペアリングを行い、複数のペアリングプランを得ることであって、異なるペアリングプランのうち、少なくとも１つの道路感知要素と前記所定の範囲内の地図道路要素とのペアリング方式は異なる、ことと、
各前記ペアリングプランの信頼度を決定することと、
前記複数のペアリングプランのうちの信頼度が最も高いペアリングプラン又は所定の閾値より大きいペアリングプランにおいて、前記道路感知要素とペアになる地図道路要素を決定することと、を含むことを特徴とする
請求項１０に記載の方法。
前記車両収集画像における道路感知要素と前記所定の範囲内の地図道路要素に対してペアリングを行うことは、
前記所定の範囲内の地図道路要素において、前記車両収集画像における道路感知要素とペアになる道路要素を決定できない場合、ペアリング待ちの地図道路要素において、前記道路感知要素とペアリングする空白要素又はバーチャル要素を設定することを含むことを特徴とする
請求項１１に記載の方法。
各前記ペアリングプランの信頼度を決定することは、
各前記ペアリングプランにおける道路感知要素と地図道路要素との各ペアリングの個体類似度をそれぞれ決定することと、
各前記ペアリングプランにおける道路感知要素と地図道路要素との各ペアリングの全体類似度を決定することと、
各前記ペアリングプランの各個体類似度及び全体類似度に基づいて、各前記ペアリングプランの信頼度を決定することと、を含むことを特徴とする
請求項１１又は１２に記載の方法。
前記測位オフセット量は、座標オフセット量及び／又は方向オフセット量を含み、
前記車両測位情報に基づいて、ペアになる道路感知要素と地図道路要素との間の測位オフセット量を決定することは、
前記道路感知要素の画素点に対してサンプリングを行い、感知サンプリング点集合を得ることと、
前記地図道路要素の画素点に対してサンプリングを行い、地図サンプリング点集合を得ることと、
前記感知サンプリング点集合と前記地図サンプリング点集合にそれぞれ含まれるサンプリング点の間の回転平行移動行列を決定することと、
前記回転平行移動行列に基づいて、前記道路感知要素と前記地図道路要素の座標オフセット量及び方向オフセット量を得ることと、を含むことを特徴とする
請求項１０－１３のいずれか一項に記載の方法。
画像データを自動的にアノテーションする装置であって、
車両測位情報、地図画像及び車両収集画像を取得するように構成される第１取得部であって、前記地図画像は、道路情報を含む、第１取得部と、
前記車両測位情報に基づいて、前記車両測位情報に対応するローカル領域内の前記地図画像における道路情報を取得するように構成される第２取得部と、
前記地図画像における道路情報を前記車両収集画像に投影し、前記車両収集画像で前記道路情報をアノテーションするように構成される投影部と、を備える、画像データを自動的にアノテーションする装置。
画像データを自動的にアノテーションする装置であって、メモリと、プロセッサと、を備え、前記メモリに、プログラムコードが記憶されており、且つ前記プロセッサは、前記メモリに記憶されているプログラムコードを呼び出し、請求項１－１４のいずれか一項に記載の方法を実行するように構成される、画像データを自動的にアノテーションする装置。
コンピュータ可読記憶媒体であって、コンピュータプログラム命令が記憶されており、コンピュータプログラム命令はプロセッサにより実行される時、請求項１－１４のいずれか一項に記載の方法を実現する、コンピュータ可読記憶媒体。
コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、請求項１－１４のいずれか一項に記載の方法を実行する、コンピュータプログラム。