JP2020533667A5 - - Google Patents

Description

本願の実施例が提供する車載カメラの姿勢推定方法および装置は、車載カメラで取得した車両走行路面のビデオストリームに基づいて路面の区画線検出を行うことと、区画線の検出結果に基づいて車両走行路面の地平線情報を取得することと、地平線情報に基づいて車載カメラの姿勢情報を取得することと、を含む。本願の実施例が提供する車載カメラの姿勢推定方法において車載カメラはその位置を固定する必要がなく、かつカメラの姿勢はリアルタイムに取得可能であるため、車載カメラの姿勢推定の正確度を向上させる。
例えば、本願は以下の項目を提供する。
（項目１）
車載カメラで取得した車両走行路面のビデオストリームに基づき、前記路面の区画線検出を行うことと、
区画線の検出結果に基づき、前記車両走行路面の地平線情報を取得することと、
前記地平線情報に基づき、前記車載カメラの姿勢情報を取得することと、を含む車載カメラの姿勢推定方法。
（項目２）
前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる項目１に記載の方法。
（項目３）
前記車載カメラの姿勢情報は前記車載カメラの回転角度を含み、前記地平線情報に基づいて前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定することを含む項目１または２に記載の方法。
（項目４）
前記車載カメラの姿勢情報は前記車載カメラの水平偏角を含み、前記地平線情報に基づき、前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線情報に基づき、前記車両の進行経路情報を取得することと、
前記進行経路情報に基づき、前記車載カメラの水平偏角を取得することと、を含む項目１から３のいずれか一項に記載の方法。
（項目５）
前記進行経路情報に基づき、前記車載カメラの水平偏角を取得する前記ステップは、
前記進行経路情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得することを含む項目４に記載の方法。
（項目６）
前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む項目１から５のいずれか一項に記載の方法。
（項目７）
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得する前記ステップは、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得することを含む項目６に記載の方法。
（項目８）
区画線の検出結果に基づき、前記車両走行路面の地平線情報を取得する前記ステップは、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得することと、
前記区画線の視覚交点に基づき、地平線情報を取得することと、を含む項目１から７のいずれか一項に記載の方法。
（項目９）
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得る前記ステップは、
前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得することと、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、を含む項目８に記載の方法。
（項目１０）
前記区画線の視覚交点に基づき、地平線情報を取得する前記ステップは、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得することと、
前記交点確率マップに基づき、地平線に属する視覚交点を取得することと、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得することと、を含む項目８または９に記載の方法。
（項目１１）
前記地平線情報に基づいて前記車両の進行経路情報を取得する前記ステップは、
前記地平線情報および前記車載カメラの消失点に基づき、前記車両の進行経路情報を取得することを含む項目４に記載の方法。
（項目１２）
前記方法は、さらに、
前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得することと、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの視覚消失点を取得することと、を含む項目１１に記載の方法。
（項目１３）
さらに、
前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得することであって、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示すことと、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得することと、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得することと、を含む項目１１に記載の方法。
（項目１４）
前記方法は、さらに、
前記姿勢情報に基づいて前記車載カメラに対してキャリブレーションを行うこと、および／または、
前記姿勢情報に基づいて前記車両の測位情報を特定すること、を含む項目１から１３のいずれか一項に記載の方法。
（項目１５）
車載カメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュールと、
区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュールと、
前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュールと、を含む車載カメラの姿勢推定装置。
（項目１６）
前記路面は構造化道路であり、および／または、前記車載カメラは前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる項目１５に記載の装置。
（項目１７）
前記車載カメラの姿勢情報は前記車載カメラの回転角度を含み、前記姿勢情報取得モジュールは、
前記地平線の傾斜度情報に基づいて前記車載カメラの回転角度を特定するための回転角度取得ユニットを含む項目１５または１６に記載の装置。
（項目１８）
前記車載カメラの姿勢情報は前記車載カメラの水平偏角を含み、前記装置は、さらに、
前記地平線情報に基づいて前記車両の進行経路情報を取得するための進行経路情報取得モジュールを含み、
前記姿勢情報取得モジュールは、
前記進行経路情報に基づき、前記車載カメラの水平偏角を取得するための水平偏角取得ユニットを含む項目１５から１７のいずれか一項に記載の装置。
（項目１９）
前記水平偏角取得ユニットは、前記進行経路情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得するように構成される項目１８に記載の装置。
（項目２０）
前記車載カメラの姿勢情報は前記車載カメラのピッチ角を含む項目１５から１９のいずれか一項に記載の装置。
（項目２１）
前記姿勢情報取得モジュールは、
前記地平線情報および前記車載カメラの焦点距離に基づき、前記車載カメラのピッチ角を取得するためのピッチ角取得ユニットを含む項目２０に記載の装置。
（項目２２）
前記地平線情報取得モジュールは、
前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るための区画線情報取得ユニットと、
前記少なくとも二つの区画線の区画線情報に基づき、区画線の視覚交点を取得するための交点取得ユニットと、
前記区画線の視覚交点に基づき、地平線情報を取得するための地平線情報取得ユニットと、を含む項目１５から２１のいずれか一項に記載の装置。
（項目２３）
前記区画線情報取得ユニットは具体的に、前記区画線の検出結果に基づき、区画線に属する区画線画素点を取得し、
前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得るために用いられる項目２２に記載の装置。
（項目２４）
前記地平線情報取得ユニットは具体的に、
前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づき、交点確率マップを取得し、
前記交点確率マップに基づき、地平線に属する視覚交点を取得し、
取得した地平線に属する視覚交点に基づき、前記地平線情報を取得するために用いられる項目２２または２３に記載の装置。
（項目２５）
前記進行経路情報取得モジュールは具体的に、前記地平線情報および前記車載カメラの消失点に基づき、前記車両の進行経路情報を取得するために用いられる項目１８に記載の装置。
（項目２６）
さらに、
前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づき、地平線に属する視覚交点を取得し、
前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの消失点を取得するための消失点取得モジュールを含む項目２５に記載の装置。
（項目２７）
さらに、
前記ビデオストリームにおける少なくとも２フレームの画像に基づき、区画線の確率画像を取得し、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示し、
前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得し、
前記少なくとも二つの区画線の区画線情報に基づき、前記車載カメラの消失点を取得するための消失点取得モジュールを含む項目２５に記載の装置。
（項目２８）
さらに、
前記姿勢情報に基づいて前記車載カメラに対してキャリブレーションを行うためのカメラキャリブレーションモジュール、および／または、
前記姿勢情報に基づいて前記車両の測位情報を特定するための車両測位モジュールを含む項目１５から２７のいずれか一項に記載の装置。
（項目２９）
プログラム命令を記憶するためのメモリと、
前記メモリ内のプログラム命令を呼び出して実行し、項目１から１４のいずれか一項に記載の方法のステップを実行するためのプロセッサと、を含む電子機器。
（項目３０）
項目１から１４のいずれか一項に記載の方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体。
（項目３１）
車両に用いられる車載カメラの姿勢推定システムであって、前記車両に取り付けられたカメラ、および前記カメラと通信的に接続される項目１５から２８のいずれか一項に記載の車載カメラの姿勢推定装置を含む車載カメラの姿勢推定システム。
（項目３２）
コンピュータ命令を含むコンピュータプログラム製品であって、前記コンピュータ命令は機器のプロセッサにおいて運用される時、上記項目１から１４のいずれか一項に記載の車載カメラの姿勢推定方法におけるステップを実現するコンピュータプログラム製品。

Ｓ１０２１において、地平線情報および車載カメラの消失点に基づき、車両の進行経路情報を取得する。

例示的に、進行経路情報は進行経路関数であってもよい。消失点は車載カメラの画角に伴って移動し、車載カメラの消失点とは車載カメラが撮影した進行経路の路面消失点をいう。透視の原理によって、車両の走行進行経路が地平線と垂直であり、かつ車載カメラの画像における消失点が車両の走行進行経路にあるため、取得した地平線関数および画像消失点に基づき、車両の走行進行経路の関数を取得することができる。

例示的に、車載カメラの姿勢の変化に伴い、車載カメラが撮影した画像における地平線および進行経路が異なるようになるため、取得した地平線情報および進行経路情報に基づいて車載カメラの姿勢を取得することができる。

例示的に、具体的には地平線の傾斜度情報に基づいて車載カメラの回転角度を特定できる。進行経路情報に基づき、車載カメラの水平偏角を取得する。地平線情報に基づいて前記車載カメラのピッチ角を取得する。

例示的に、進行経路情報に基づき、車載カメラの水平偏角を取得するステップは、
進行経路情報および車載カメラの焦点距離に基づき、車載カメラの水平偏角を取得することを含む。

例示的に、車載カメラの主光軸が画像にマッピングした画素点から進行経路関数までの距離および車載カメラの焦点距離に基づき、車載カメラの水平偏角を取得する。

例示的に、車載カメラの主光軸が画像にマッピングした画素点から進行経路関数までの距離Ｄ２を取得し、

例示的に、図８は本願の実施例が提供する車載カメラの水平偏角推定方法の原理模式図である。図８は車両が路面を走行する平面図である。図８に示すように、ψは車載カメラの水平偏角であり、ＧＡＣは車両の走行方向であり、ｔａｎψ＝ＧＨ／ｆである。ここで、ＧＨはカメラ内の撮像素子のサイズであり、ＧＨ＝ＣＤ／ＰＭである。車載カメラの主光軸が画像にマッピングした画素点は点Ｄであり、ＣＤは車載カメラの主光軸が画像にマッピングした画素点から進行経路関数までの距離Ｄ２である。ｆは車載カメラの焦点距離である。

図９に示すように、車載カメラの姿勢推定装置はさらに、前記地平線情報に基づいて前記車両の進行経路情報を取得するための進行経路情報取得モジュール９０４を含む。

いくつかの実施例では、図９および図１０に示すように、前記姿勢情報取得モジュール９０３は、
前記進行経路情報に基づき、前記車載カメラの水平偏角を取得するための水平偏角取得ユニット１００２を含む。

いくつかの実施例では、前記水平偏角取得ユニット１００２は具体的に、前記進行経路情報および前記車載カメラの焦点距離に基づき、前記車載カメラの水平偏角を取得するために用いられる。

例示的に、図９に示すように、車載カメラの姿勢推定装置はさらに、
前記姿勢情報に基づいて前記車載カメラに対してキャリブレーションを行うためのカメラキャリブレーションモジュール９０６を含む。

Claims (17)

1. 車載カメラの姿勢推定方法であって、前記車載カメラの姿勢推定方法は、
   車載カメラで取得した車両の車両走行路面のビデオストリームに基づいて、前記路面の区画線検出を行うことと、
   区画線の検出結果に基づいて、前記車両走行路面の地平線情報を取得することと、
   前記地平線情報に基づいて、前記車載カメラの姿勢情報を取得することと
   を含み、
   前記車載カメラの姿勢情報は、前記車載カメラの水平偏角を含み、
   前記地平線情報に基づいて、前記車載カメラの姿勢情報を取得することは、
   前記地平線情報および前記車載カメラの消失点に基づいて、前記車両の進行経路情報を取得することと、
   前記進行経路情報に基づいて、前記車載カメラの水平偏角を取得することと
   を含む、車載カメラの姿勢推定方法。
2. 前記路面は、構造化道路であり、および／または、前記車載カメラは、前記車両のフロントウインドシールドガラスにおける任意の位置に取り付けられる、請求項１に記載の方法。
3. 前記車載カメラの姿勢情報は、前記車載カメラの回転角度を含み、
   前記地平線情報に基づいて、前記車載カメラの姿勢情報を取得することは、地平線の傾斜度情報に基づいて、前記車載カメラの回転角度を特定することを含む、請求項１または請求項２に記載の方法。
4. 前記進行経路情報に基づいて、前記車載カメラの水平偏角を取得することは、前記進行経路情報および前記車載カメラの焦点距離に基づいて、前記車載カメラの水平偏角を取得することを含む、請求項３に記載の方法。
5. 前記車載カメラの姿勢情報は、前記車載カメラのピッチ角を含む、請求項１から４のいずれか一項に記載の方法。
6. 前記地平線情報に基づいて、前記車載カメラの姿勢情報を取得することは、前記地平線情報および前記車載カメラの焦点距離に基づいて、前記車載カメラのピッチ角を取得することを含む、請求項５に記載の方法。
7. 区画線の検出結果に基づいて、前記車両走行路面の地平線情報を取得することは、
   前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと、
   前記少なくとも二つの区画線の区画線情報に基づいて、区画線の視覚交点を取得することと、
   前記区画線の視覚交点に基づいて、地平線情報を取得することと
   を含む、請求項１から６のいずれか一項に記載の方法。
8. 前記区画線の検出結果に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることは、
   前記区画線の検出結果に基づいて、区画線に属する区画線画素点を取得することと、
   前記区画線画素点に基づいて区画線をフィッティングし、少なくとも二つの区画線の区画線情報を得ることと
   を含む、請求項７に記載の方法。
9. 前記区画線の視覚交点に基づいて、地平線情報を取得することは、
   前記ビデオストリームに含まれる複数フレームの画像の各々における区画線の視覚交点に基づいて、交点確率マップを取得することと、
   前記交点確率マップに基づいて、地平線に属する視覚交点を取得することと、
   取得した地平線に属する視覚交点に基づいて、前記地平線情報を取得することと
   を含む、請求項７または請求項８に記載の方法。
10. 前記方法は、
    前記ビデオストリームに含まれる複数フレームの画像の各々における少なくとも二つの区画線の視覚交点に基づいて、地平線に属する視覚交点を取得することと、
    前記取得した地平線に属する視覚交点を平均化処理し、前記車載カメラの視覚消失点を取得することと
    をさらに含む、請求項１に記載の方法。
11. 前記方法は、
    前記ビデオストリームにおける少なくとも２フレームの画像に基づいて、区画線の確率画像を取得することであって、前記確率画像の各画素点の値が、各画素点が区画線に属する確率を示す、ことと、
    前記確率画像に基づいて少なくとも二つの区画線の区画線情報を取得することと、
    前記少なくとも二つの区画線の区画線情報に基づいて、前記車載カメラの消失点を取得することと
    をさらに含む、請求項１に記載の方法。
12. 前記方法は、
    前記姿勢情報に基づいて前記車載カメラに対してキャリブレーションを行うこと、および／または、
    前記姿勢情報に基づいて前記車両の測位情報を特定すること
    をさらに含む、請求項１から１１のいずれか一項に記載の方法。
13. 車載カメラの姿勢推定装置であって、前記車載カメラの姿勢推定装置は、
    車載カメラで取得した車両の車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うための区画線検出モジュールと、
    区画線の検出結果に基づいて前記車両走行路面の地平線情報を取得するための地平線情報取得モジュールと、
    前記地平線情報に基づいて前記車載カメラの姿勢情報を取得するための姿勢情報取得モジュールと
    を含み、
    前記車載カメラの姿勢情報は、前記車載カメラの水平偏角を含み、
    前記車載カメラの姿勢推定装置は、前記地平線情報および前記車載カメラの消失点に基づいて、前記車両の進行経路情報を取得するための進行経路情報取得モジュールをさらに含み、
    前記姿勢情報取得モジュールは、前記進行経路情報に基づいて、前記車載カメラの水平偏角を取得するための水平偏角取得ユニットを含む、車載カメラの姿勢推定装置。
14. プログラム命令を記憶するためのメモリと、
    前記メモリ内のプログラム命令を呼び出して実行し、請求項１から１２のいずれか一項に記載の方法を実行するためのプロセッサと
    を含む電子機器。
15. 請求項１から１２のいずれか一項に記載の方法を実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体。
16. 車両に用いられる車載カメラの姿勢推定システムであって、
    前記車両に取り付けられたカメラと、前記カメラと通信的に接続されている請求項１３に記載の車載カメラの姿勢推定装置とを含む車載カメラの姿勢推定システム。
17. コンピュータ命令を含むコンピュータプログラムであって、
    前記コンピュータ命令は、機器のプロセッサによって実行されると、請求項１から１２のいずれか一項に記載の車載カメラの姿勢推定方法を実現する、コンピュータプログラム。
    

Images