JP2019078648A - 路面検出装置、路面検出方法、路面検出プログラムおよび路面検出プログラムを記録した記録媒体 - Google Patents

路面検出装置、路面検出方法、路面検出プログラムおよび路面検出プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP2019078648A
JP2019078648A JP2017206031A JP2017206031A JP2019078648A JP 2019078648 A JP2019078648 A JP 2019078648A JP 2017206031 A JP2017206031 A JP 2017206031A JP 2017206031 A JP2017206031 A JP 2017206031A JP 2019078648 A JP2019078648 A JP 2019078648A
Authority
JP
Japan
Prior art keywords
road surface
distance
representative point
cell
cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017206031A
Other languages
English (en)
Inventor
哲郎 奥山
Tetsuro Okuyama
哲郎 奥山
岩井 浩
Hiroshi Iwai
岩井  浩
柴田 修
Osamu Shibata
修 柴田
雄大 田中
Takehiro Tanaka
雄大 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017206031A priority Critical patent/JP2019078648A/ja
Priority to US16/169,002 priority patent/US20190118823A1/en
Publication of JP2019078648A publication Critical patent/JP2019078648A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/076Slope angle of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

【課題】路面の勾配を精度良く推定すること。【解決手段】路面検出装置が、撮像装置から画像信号の入力を受け付ける入力部と、前記画像信号に基づいて、路面を複数のセルに分割し、光飛行時間測距法により前記セルの代表点までの距離を導出する測距部と、複数の前記代表点までの距離に基づいて、前記路面の傾きを推定する推定部と、を備える。【選択図】図5

Description

本開示は、路面検出装置、路面検出方法、路面検出プログラムおよび路面検出プログラムを記録した記録媒体に関する。
従来、2台のカメラを用いて車両が走行する路面の勾配を推定する路面勾配推定装置が知られている。
特開2009−139323号公報
また、光飛行時間測距法(以下、「TOF(Time of Flight)方式」という)を用いた測距法が知られている。路面までの距離を測定することで、路面の勾配を推定することが可能である。路面の勾配を精度良く推定するためには、路面までの距離を精度良く推定することが重要となる。
本開示の目的は、路面の勾配を精度良く推定することである。
本開示の一形態は、撮像装置から画像信号の入力を受け付ける入力部と、前記画像信号に基づいて、路面領域を複数のセルに分割し、光飛行時間測距法により前記セルの代表点までの距離を導出する測距部と、複数の前記代表点までの距離に基づいて、前記路面の傾きを推定する推定部と、を備える路面検出装置である。
なお、本開示の一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記憶媒体のいずれかであってもよい。
本開示によれば、路面の勾配を精度良く推定することができる。
本開示の一実施形態に係る路面検出装置が搭載された周辺監視システムの垂直視野を示す模式図 本開示の一実施形態に係る路面検出装置が搭載された周辺監視システムの水平視野を示す模式図 本開示の一実施形態に係る路面検出装置が搭載された周辺監視システムの構成を示すブロック図 出射光および戻り光の状態を示す模式図 路面勾配推定処理の一例を示すフローチャート 測距処理の一例を示すフローチャート 光飛行時間測距法の概要を示す模式図 測距処理の他の一例を示すフローチャート 撮像装置で撮影された車両後方の路面を示す模式図 路面を複数のセルに分割した状態を示す模式図 路面を複数のセルに分割した状態を真上から見た様子を示す模式図 セルの代表点を示す模式図 セルの代表点を真上から見た様子を示す模式図 代表点の基準路面からの高さを示す模式図 第1変形例におけるセル分割を示す模式図 第1変形例のセル分割を真上から見た様子を示す模式図 撮像装置の設置場所の変形例を示す模式図 撮像装置の設置場所の変形例を示す模式図 撮像装置の設置場所の変形例を示す模式図
以下、本開示の一実施形態に係る路面検出装置100が搭載された周辺監視システム1について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は一例であり、本開示はこの実施形態により限定されるものではない。
図1および図2には、互いに直交するx軸、y軸およびz軸が示される。本開示では、x軸の正方向は、車両Vの前部から後部に向かう方向を示す。y軸の正方向は、車両Vの左側から右側に向かう方向を示す。z軸の正方向は、車両Vの下部から上部に向かう方向を示す。また、本開示では、便宜上、xy平面は平坦な路面(以下、「基準路面」という)であり、zx平面は車両Vの縦中心面である。また、x軸は、z軸方向からの平面視で車両Vの縦中心線である。
図1および図2に示すように、周辺監視システム1は車両Vに搭載される。以下、周辺監視システム1は、車両Vの後方を監視するものとして説明を続けるが、車両Vの後方以外(側方、前方または全周囲方向)を監視してもよい。
周辺監視システム1は、図3に示すように、光源210および画像センサ220を一体化した撮像装置200と、路面検出装置100とを備える。
撮像装置200は、図1に示すように、車両Vの背面で、路面から離れた場所Oに取り付けられる。
光源210は、撮像範囲に向けて、パルスや正弦波等の周期をもった不可視光(例えば、赤外光や近赤外光)を出射可能に取り付けられている。
画像センサ220は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサであって、光源210と概ね同じ場所に、自身の光軸Aが概ね車両Vの後方へ延在するように取り付けられる。
路面検出装置100は、例えばECU(Electronic Control Unit)であって、車両Vの後方監視を制御するために、制御基板上に実装された入力端子、出力端子、プロセッサ、プログラムメモリおよびメインメモリを含む。
プロセッサは、プログラムメモリに格納されたプログラムを、メインメモリを用いて実行して、入力端子を介して受け取った各種信号を処理するとともに、出力端子を介して光源210および画像センサ220に各種制御信号を出力する。
路面検出装置100は、プロセッサがプログラムを実行することで、図3に示すように、撮像制御部110、測距部120、路面勾配推定部130(「推定部」の一例)、記憶部140等として機能する。
撮像制御部110は、光源210からの出射光の諸条件(具体的には、パルス幅、パルス振幅、パルス間隔、パルス数等)を制御すべく、光源210に対して制御信号を出力する。
また、撮像制御部110は、画像センサ220における戻り光の受光の諸条件(具体的には、露光時間、露光タイミング、露光回数等)を制御すべく、画像センサ220に含まれる周辺回路に対して制御信号を出力する。
上記露光制御等により、画像センサ220は、所定周期(所定フレームレート)で、撮像範囲に関する赤外画像信号および距離画像信号を路面検出装置100に出力することになる。なお、画像センサ220から可視画像信号を出力するようにしてもよい。
また、本実施形態では、画像センサ220は、隣接する複数の画素の情報を加算して画像情報を生成する、いわゆる格子変換を行う。ただし、本開示において、隣接する複数の画素の情報を加算して画像情報を生成することは必須ではない。
測距部120は、画像センサ220から出力された画像から、後方の路面の領域を抽出し、その領域を複数のセルに分割する。
また、測距部120は、画像センサ220から出力された距離画像信号に基づいて、TOF方式により、各セルの代表点までの距離(図4を参照)を導出する。なお、図4は、ターゲットTまでの距離dtを導出する際の出射光および戻り光の状態を示す模式図である。
路面勾配推定部130は、測距部120で導出された複数のセルの代表点までの距離に基づいて、後方の路面の勾配(「傾き」の一例)を推定する。より詳細には、路面勾配推定部130は、後方の路面の、現在車両が存在している路面に対する相対的な傾きを推定する。
記憶部140は、測距処理や路面勾配推定処理で用いられる各種情報を記憶する。
周辺監視システム1からは、後方の路面の勾配に関する信号等が出力される。このような情報は、例えばADAS(Advanced Driver Assistance System)のECUに送信される。ADAS ECUは、これらの情報を用いて、車両Vの自動運転を行う。
次に、路面検出装置100の測距部120および路面勾配推定部130において行われる路面勾配推定処理について、図5のフローチャートを参照して詳細に説明する。
まず、ステップS1で、測距部120は、画像センサ220から受け取った画像に対して路面の勾配の推定を行う範囲を決定する。この路面の勾配の推定を行う範囲は、撮像装置200が取り付けられている位置や向き等の取り付け情報及び光源210のFOV(Field Of View)に基づいて決定される。また、測距部120は、画像センサ220から受け取った画像信号の輝度情報に基づいて、輝度が高い部分(白線)に挟まれた領域を路面として抽出し、その領域を路面の勾配の推定を行う範囲としてもよい。さらに、この路面の勾配の推定を行う範囲は、撮像装置200の取り付け情報、光源210のFOV、及び画像センサ220から受け取った画像の輝度情報の全ての情報を用いて決定されてもよい。なお、路面の抽出には、距離画像や可視画像を用いるようにしてもよい。
続くステップS2で、測距部120は、ステップS1で抽出された路面を、複数のセルに分割する。路面をどのような形状のセルに分割するかは、その後のステップにおいて行われる処理内容に応じて予め設定される。
続くステップS3で、測距部120は、ステップS2で分割されたセルのそれぞれについて、セル内に路面以外の物標が存在しないか否かを判断する。例えば、測距部120は、セル内に輝度が所定値よりも高い部分が所定割合以上含まれる場合に、セル内に路面以外の物標(例えば、輪留め等)が存在すると判断する。
ステップS3で、いずれかのセル内に路面以外の物標が存在すると判断された場合(ステップS3:NO)、処理はステップS8へ進む。そして、ステップS8で、ステップS3において路面以外の物標が存在すると判断されたセルを、その後の処理における処理対象から除外して、ステップS4へ進む。
一方、ステップS3で、いずれのセル内にも路面以外の物標が存在しないと判断された場合(ステップS3:YES)、処理はステップS4へ進む。
ステップS4で、測距部120は、それぞれのセルについて、セル内の所定の画素を、当該セルの代表点として設定する。なお、以下の説明において、「代表点」という用語は、所定の画素を示すものとして用いるのと同時に、当該所定の画素に対応する実際の路面上の点を示すものとして用いる場合がある。セル内のどの画素を代表点として設定するかは、その後のステップにおいて行われる処理内容に応じて予め設定される。
続くステップS5で、測距部120は、予め記憶部140に記憶されている情報に基づいて、路面が平坦であると仮定した場合(路面が基準路面であると仮定した場合)のそれぞれの代表点までの距離(以下「基準距離」という)を算出する。
続くステップS6で、測距部120は、TOF方式により、それぞれのセルの代表点までの距離(以下「実距離」という)を導出する。ステップS6においてセル毎に行われる、代表点までの実距離の導出処理(測距処理)の一例について、図6のフローチャートを参照して詳細に説明する。
まず、ステップS11で、測距部120は、セル内の各画素における路面までの距離を、TOF方式で導出する。
ここで、TOF方式による測距の一例について説明する。光源210からの出射光は、図7に示すように、単位周期において、第一パルスPaと、第二パルスPbとを少なくとも一組含む。これらのパルス間隔(すなわち、第一パルスPaの立ち下がりエッジから第二パルスPbの立ち上がりエッジまでの時間)は、Gaである。また、これらのパルス振幅は互いに等しくSaとし、これらのパルス幅は互いに等しくWaとする。
画像センサ220は、撮像制御部110により、第一パルスPaおよび第二パルスPbの出射タイミングに基づくタイミングで露光するように制御される。具体的には、画像センサ220は、図7に例示するように、光源210からの出射光が撮像範囲の物標Tで反射されて戻ってきた不可視光に対して、第一露光、第二露光および第三露光を行う。
第一露光は、第一パルスPaの立ち上がりと同時に始まり、光源210からの出射光との関係で予め設定される露光時間Tx後に終了する。このような第一露光は、第一パルスPaに対する戻り光成分を受光することを目的としている。
第一露光による画像センサ220の出力Oaは、斜格子状のハッチングを付した戻り光成分Sと、ドットのハッチングを付した背景成分BGとを含む。戻り光成分Sの振幅は、第一パルスPaの振幅よりも小さい。
ここで、第一パルスPaおよびその戻り光成分Sの各立ち上がりエッジの時間差をΔtとする。Δtは、撮像装置200から物標Tまでの距離dtを、不可視光が往復するのに要する時間である。
第二露光は、第二パルスPbの立ち下がりと同時に始まり、露光時間Tx後に終了する。このような第二露光は、第二パルスPbに対する戻り光成分を受光することを目的としている。
第二露光による画像センサ220の出力Obは、全ての戻り光成分ではなく部分的な戻り光成分S(斜格子状のハッチング部分を参照)と、ドットのハッチングを付した背景成分BGとを含む。
なお、上記成分Sは、次の式(1)で表せる。
=S×(Δt/Wa) …(1)
第三露光は、第一パルスPaおよび第二パルスPbの戻り光成分を含まないタイミングで始まり、露光時間Tx後に終了する。このような第三露光は、戻り光成分と無関係な不可視光成分である背景成分BGのみを受光することを目的としている。
第三露光による画像センサ220の出力Ocは、ドットのハッチングを付した背景成分BGのみを含む。
上記のような出射光と戻り光との関係から、撮像装置200から路面までの距離dtは、次の式(2)〜(4)により導出することができる。
=Oa−BG …(2)
=Ob−BG …(3)
dt=c×(Δt/2)={(c×Wa)/2}×(Δt/Wa)={(c×Wa)/2}×(S/S) …(4)
ここで、cは光速である。
ステップS11に続くステップS12で、測距部120は、ステップS11で導出した、セル内の各画素における路面までの距離を加算平均して、当該セルの代表点までの距離として出力する。
ステップS6においてセル毎に行われる測距処理の他の一例について、図8のフローチャートを参照して詳細に説明する。上述の例では、セル内の各画素における路面までの距離を導出した後に加算平均して、セルの代表点までの距離を導出した。これに対して、以下に説明する例では、セル内の各画素における戻り光成分を積算し、積算した戻り光成分を用いて、セルの代表点までの距離を導出する。
ステップS21で、測距部120は、距離画像信号を用いて、セル内の各画素における戻り光成分SおよびSを上述の式(2)および(3)を用いて算出する。
続くステップS22で、測距部120は、セル内の各画素における戻り光成分SおよびSを積算して、戻り光成分の積算値ΣSおよびΣSを得る。
続くステップS23で、測距部120は、次式(5)を用いて、セルの代表点までの距離dtを導出する。
dt={c×Wa}/2}×(ΣS/ΣS) …(5)
図5の説明に戻って、ステップS6に続くステップS7で、路面勾配推定部130は、ステップS5で算出された代表点までの基準距離と、ステップS6で導出された代表点までの実距離とに基づいて、路面の勾配を推定する。
次に、本実施形態に係る路面検出装置100によって行われる路面勾配推定の具体例について、図9Aないし図9Eを参照して説明する。
以下に説明する具体例では、平坦路上にある自車両Vの後方に登坂路が存在する状況で、自車両Vが後進する際に、自車両Vの進行方向における路面の勾配を推定するものとする。
図9Aには、撮像範囲の赤外画像が示されている。赤外画像では、路面上の車道外側線301および302が「輝度の高い領域」となる。そこで、測距部120は、図9Aに示す赤外画像における、車道外側線301および302に挟まれた領域を、路面303として抽出する。
路面303を抽出した後、測距部120は、路面303を、複数のセルに分割する。図9Bには、路面303に対してセル分割が施されたものが示されている。なお、本例では、セル分割は以下のようにして行われる。
図9Cは、図9Bに示される路面303を真上から見た図(天頂図)である。図9Cには、x軸およびy軸が示されている。測距部120は、真上から見たセルの形状が図9Cに示すようにそれぞれ正方形となるように、図9Bにおける路面303をセル分割する。
続いて、本例では、路面303上に物標が存在しないことから、測距部120は、分割された全てのセルに対して代表点を設定する。なお、路面勾配推定に用いられる特定のセルに対してのみ代表点を設定するようにしてもよい。
図9Dおよび図9Eには、一例として、全てのセルCi(i=1,2,・・・n(n:分割数))に対して設定された代表点RPiのうち、手前から2つ目かつ右から3つ目のセルであるセルC1の中心に設定された代表点RP1(黒丸)、および、手前から3つ目かつ右から3つ目のセルであるセルC2の中心に設定された代表点RP2(白丸)が示されている。
記憶部140には、撮像装置200の配置された高さHおよび代表点RPiが基準路面上にあると仮定した場合の座標(Xi,Yi,0)がLUT(Look Up Table)として記憶されている。測距部120は、これらのデータを用いて、自車両V(より具体的には、カメラO)から代表点RPiまでの基準距離DRPiを算出する。なお、代表点RPiまでの基準距離DRPiを予め記憶部140に記憶しておくようにしてもよい。
続いて、測距部120は、距離画像を用いて、TOF方式で自車両Vから代表点RPiまでの実距離dRPiを導出する。この際、本例では、上述のとおり、セルCi内の各画素における情報を用いて、dRPiを導出するようにしている。
路面勾配推定部130は、自車両Vから各セルCiにおける各代表点RPiまでの基準距離DRPiと実距離dRPiとに基づいて、以下の式(6)を用いて、各代表点RPiの基準路面からの高さhRPiを算出する。なお、図10は、基準距離DRPi、実距離dRPi、高さHおよび高さhRPiの関係を模式的に示したものである。
RPi=H×(DRPi−dRPi)/DRPi ・・・(6)
そして、路面勾配推定部130は、各代表点RPiの基準路面からの高さhRPiを用いて、路面303の勾配を推定する。本例では、自車両Vの進行方向に隣接するセルC1およびセルC2における代表点の高さhRP1およびhRP2を用いて、代表点RP1およびRP2をつないだ直線の基準平面に対する傾きを算出する。そして、この傾きを、路面303における自車両Vの進行方向への勾配とみなすようにしている。
以上説明したように、本実施形態によれば、撮像装置によって撮影された路面をセルに分割し、セルの代表点までの距離をTOF方式で導出する。そして、導出された複数のセルの代表点までの距離に基づいて、路面の勾配を推定する。
これにより、路面の勾配を精度良く推定することができる。
また、本実施形態によれば、セルに含まれる各画素における情報を用いて、セルの代表点までの距離を導出しているため、測距精度が向上する。そのため、路面の勾配を精度良く推定することができる。
(第1変形例)
なお、上述の実施形態では、天頂図においてセルの形状がそれぞれ正方形になるように、セルを分割したが、これに限定されない。
TOF方式の測距精度は、自車両Vから対象となる物標(ここでは、路面)までの距離が遠くなるほど低下する。一方、セルに含まれる各画素における情報を用いて、セルの代表点までの距離を算出する場合、セルに含まれる画素数が多いほど、測距精度は向上する。そのため、撮像画像において各セルの大きさを同じにしたり、天頂図において自車両Vからの距離が遠くなるほどセルが大きくなるようにしたりしてもよい(図11A、図11Bを参照)。
また、上述の実施形態では、代表点を、各セルにおける中心点に設定したが、これに限定されない。代表点は、セル内のどの画素に設定しても構わない。なお、その場合、セルに含まれる各画素における情報に重み付けを行って代表点までの距離を導出するようにすればよい。
(第2変形例)
上述の実施形態では、自車両Vの進行方向に隣り合う2つのセルの代表点までの距離を用いて、路面勾配の推定を行ったが、これに限定されない。連続する3つ以上のセルの代表点のデータを用いるようにしてもよいし、連続しない複数のセルの代表点のデータを用いるようにしてもよい。
また、たとえば、各セルの代表点までの基準距離DRPiおよび実距離dRPiを算出した上で、それらの結果を用いてRANSAC(Random Sample Consensus)アルゴリズムを用いて路面勾配の推定を行ってもよい。RANSACアルゴリズムを用いることで、勾配推定精度の向上が期待できるとともに、各セルの代表点までの基準距離DRPiおよび実距離dRPiを用いることで、RANSACアルゴリズムを用いた制御精度の向上および演算時間の短縮も期待できる。
(第3変形例)
路面上に物標が存在する場合、路面の勾配を推定した後、さらに、路面上の物標の高さを推定するようにしてもよい。この場合、基準路面から物標の上端までの高さを算出した値から、物標が存在する位置における路面の高さを減算することで、物標の高さを推定するようにしてもよい。
(第4変形例)
上述の実施形態では、各セルの代表点の高さを算出して、路面の勾配を推定するようにしたが、これに限定されない。たとえば、各セルの代表点の座標を算出して、路面の勾配を推定するようにしてもよい。さらに、算出した各セルの代表点の高さや座標を、他の制御に用いるようにしてもよい。
(第5変形例)
上述の実施形態では、車両の背面に撮像装置200を取り付けた場合について説明したが、これに限定されない。例えば、図12A〜図12Cに示すように車両周辺を監視する用途で設置された撮像装置を用いた場合にも、上述の実施形態と同様に、路面の傾きを精度良く推定することができる。
(第6変形例)
上述の実施形態では、セル内に路面以外の物標が存在する場合、当該セルを、測距処理等の処理対象から除外するようにしたが、これに限定されない。例えば、セル内における物標に対応する画素を、代表点までの距離を導出する際の演算対象から除外するようにしてもよい。
(第7変形例)
上述の実施形態では、すべての代表点までの距離を、セルに含まれる各画素における情報を用いて導出するものを例に説明を行ったが、これに限定されない。例えば、車両からの距離が所定値よりも離れているセルの代表点のみ、セルに含まれる各画素における情報を用いて距離を導出するようにしてもよい。
本開示に係る路面検出装置、路面検出方法、路面検出プログラムおよび路面検出プログラムを記録した記録媒体によれば、路面の勾配を精度良く推定することができ、車載用途に好適である。
1 周辺監視システム
100 路面検出装置
110 撮像制御部
120 測距部
130 路面勾配推定部
140 記憶部
200 撮像装置
210 光源
220 画像センサ
301、302 車道外側線
303 路面

Claims (8)

  1. 撮像装置から画像信号の入力を受け付ける入力部と、
    前記画像信号に基づいて、路面領域を複数のセルに分割し、光飛行時間測距法により前記セルの代表点までの距離を導出する測距部と、
    複数の前記代表点までの距離に基づいて、前記路面の傾きを推定する推定部と、を備える
    路面検出装置。
  2. 前記推定部は、
    予め記憶された前記代表点までの基準距離と、前記測距部で導出された前記代表点までの距離とに基づいて、前記路面の傾きを推定する、
    請求項1に記載の路面検出装置。
  3. 前記測距部は、前記路面以外を除外して前記代表点までの距離を導出する、
    請求項1または2に記載の路面検出装置。
  4. 前記測距部は、
    前記セル内の各画素に対応する路面までの距離を光飛行時間測距法によってそれぞれ導出し、導出された前記各画素に対応する路面までの距離を加算平均して前記代表点までの距離を算出する、
    請求項1ないし3のいずれか一項に記載の路面検出装置。
  5. 前記測距部は、
    前記セル内の各画素における戻り光成分を積算し、前記戻り光成分の積算値に基づいて光飛行時間測距法によって前記代表点までの距離を導出する、
    請求項1ないし3のいずれか一項に記載の路面検出装置。
  6. 撮像装置から画像信号の入力を受け付けるステップと、
    前記画像信号に基づいて、路面領域を複数のセルに分割し、光飛行時間測距法により前記セルの代表点までの距離を導出するステップと、
    複数の前記代表点までの距離に基づいて、前記路面の傾きを推定するステップと、を備える
    路面検出方法。
  7. コンピュータに、
    撮像装置から画像信号の入力を受け付けるステップと、
    前記画像信号に基づいて、路面領域を複数のセルに分割し、光飛行時間測距法により前記セルの代表点までの距離を導出するステップと、
    複数の前記代表点までの距離に基づいて、前記路面の傾きを推定するステップと、を実行させる
    路面検出プログラム。
  8. 請求項7に記載の路面検出プログラムを記録した記録媒体。
JP2017206031A 2017-10-25 2017-10-25 路面検出装置、路面検出方法、路面検出プログラムおよび路面検出プログラムを記録した記録媒体 Pending JP2019078648A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017206031A JP2019078648A (ja) 2017-10-25 2017-10-25 路面検出装置、路面検出方法、路面検出プログラムおよび路面検出プログラムを記録した記録媒体
US16/169,002 US20190118823A1 (en) 2017-10-25 2018-10-24 Road surface detection apparatus, road surface detection method, and recording medium including road surface detection program recorded therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017206031A JP2019078648A (ja) 2017-10-25 2017-10-25 路面検出装置、路面検出方法、路面検出プログラムおよび路面検出プログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
JP2019078648A true JP2019078648A (ja) 2019-05-23

Family

ID=66169220

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017206031A Pending JP2019078648A (ja) 2017-10-25 2017-10-25 路面検出装置、路面検出方法、路面検出プログラムおよび路面検出プログラムを記録した記録媒体

Country Status (2)

Country Link
US (1) US20190118823A1 (ja)
JP (1) JP2019078648A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022141409A (ja) * 2021-03-15 2022-09-29 本田技研工業株式会社 プレビュー路面検出装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827347B (zh) * 2019-11-14 2022-08-26 青岛盈智科技有限公司 一种道路宽度勘测方法、装置和勘测车

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016205887A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 路面勾配検出装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3024572B1 (fr) * 2014-07-31 2016-09-02 Continental Automotive France Procede de controle de la suspension d'un vehicule par un traitement d'images d'au moins une camera embarquee
US9884623B2 (en) * 2015-07-13 2018-02-06 GM Global Technology Operations LLC Method for image-based vehicle localization
JP6406289B2 (ja) * 2016-03-14 2018-10-17 オムロン株式会社 路面形状測定装置、測定方法、及び、プログラム
KR102313026B1 (ko) * 2017-04-11 2021-10-15 현대자동차주식회사 차량 및 차량 후진 시 충돌방지 보조 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016205887A (ja) * 2015-04-17 2016-12-08 トヨタ自動車株式会社 路面勾配検出装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022141409A (ja) * 2021-03-15 2022-09-29 本田技研工業株式会社 プレビュー路面検出装置
JP7178439B2 (ja) 2021-03-15 2022-11-25 本田技研工業株式会社 プレビュー路面検出装置

Also Published As

Publication number Publication date
US20190118823A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
CN108020825B (zh) 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法
EP3517997A1 (en) Method and system for detecting obstacles by autonomous vehicles in real-time
US8401715B2 (en) Vehicle periphery monitoring device
US8964031B2 (en) Method and system for measuring the speed of a vehicle
US20190072648A1 (en) Imaging control apparatus, imaging control method, imaging control program, and recording medium having imaging control program recorded thereon
EP3792660B1 (en) Method, apparatus and system for measuring distance
EP2395369A1 (en) Time-of-flight imager.
US20140071240A1 (en) Free space detection system and method for a vehicle using stereo vision
WO2015125298A1 (ja) 自己位置算出装置及び自己位置算出方法
US20190266425A1 (en) Identification apparatus, identification method, and non-transitory tangible recording medium storing identification program
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
WO2020196513A1 (ja) 物体検出装置
US20220084225A1 (en) Depth Map Processing Method, Electronic Device and Readable Storage Medium
CN110956603A (zh) 深度图像边缘飞点的检测方法、装置及电子设备
JP2019078648A (ja) 路面検出装置、路面検出方法、路面検出プログラムおよび路面検出プログラムを記録した記録媒体
JP2019045301A (ja) 撮像制御装置、撮像制御方法、撮像制御プログラムおよび撮像制御プログラムを記録した記録媒体
EP3859675B1 (en) Depth acquisition device, depth acquisition method, and program
US9928430B2 (en) Dynamic stixel estimation using a single moving camera
CN113734176A (zh) 智能驾驶车辆的环境感知系统、方法、车辆及存储介质
JP6920159B2 (ja) 車両の周辺監視装置と周辺監視方法
JP2019045303A (ja) 撮像制御装置、撮像制御方法、撮像制御プログラムおよび撮像制御プログラムを記録した記録媒体
JP2019174975A (ja) 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体
KR101649181B1 (ko) 비행물체의 비행정보 추정 장치 및 비행정보 추정 방법
JP2005301892A (ja) 複数のカメラによるレーン認識装置
JP5310162B2 (ja) 車両灯火判定装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211005