JP2023089311A - 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム - Google Patents
情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2023089311A JP2023089311A JP2020075990A JP2020075990A JP2023089311A JP 2023089311 A JP2023089311 A JP 2023089311A JP 2020075990 A JP2020075990 A JP 2020075990A JP 2020075990 A JP2020075990 A JP 2020075990A JP 2023089311 A JP2023089311 A JP 2023089311A
- Authority
- JP
- Japan
- Prior art keywords
- roadway
- line
- information processing
- area
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 54
- 238000004590 computer program Methods 0.000 title claims abstract description 7
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 238000003384 imaging method Methods 0.000 claims description 73
- 230000011218 segmentation Effects 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 244000025254 Cannabis sativa Species 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
- G01B11/27—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】車道の路面の勾配を簡単な処理で推定することができる情報処理装置、撮像システム、情報処理方法及びコンピュータプログラムを提供する。【解決手段】撮像システム100において、情報処理装置は、車道を含む空間を撮像した画像において、車道の領域を特定する第1領域線を検出する検出部と、第1領域線における第1位置の座標と、第1位置における第1領域線の傾きとに基づいて、第1位置に対応する路面の勾配を推定する推定部と、を備える。【選択図】図1
Description
本開示は、情報処理装置、撮像システム、情報処理方法及びコンピュータプログラムに関する。
自動車等の車両の運転において、安全な運転(例えば自動運転)を支援するために、道路における前方の路面の勾配を知りたい要求がある。前方の路面の勾配が分かれば、より適切な運転が可能となる。例えば前方が上り坂であれば、車両が減速しないように、加速を行う制御を行ったり、アクセルをより深く踏むようドライバへ助言したりするといったことができる。
下記特許文献1には、自動車に搭載された2つのカメラ(ステレオカメラ等)を用いて当該自動車が走行している遠方の道路勾配を推定する画像処理装置が開示されている。しかしながら、この画像処理装置では、2つのカメラを用いる必要があるため、処理量が多く、消費電力量が大きくなる問題がある。また、費用が高くなる問題もある。
本開示は、車道の路面の勾配を簡単な処理で推定する情報処理装置、撮像システム、情報処理方法及びコンピュータプログラムを提供する。
本開示の情報処理装置は、
車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出する検出部と、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する推定部と、
を備える。
車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出する検出部と、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する推定部と、
を備える。
本開示の撮像システムは、
車道を含む空間を撮像する撮像装置と、
前記撮像装置により取得された画像において、前記車道の領域を特定する第1領域線を検出する検出部と、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する推定部と、
を備える。
車道を含む空間を撮像する撮像装置と、
前記撮像装置により取得された画像において、前記車道の領域を特定する第1領域線を検出する検出部と、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する推定部と、
を備える。
本開示の情報処理装方法は、
車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出し、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する。
車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出し、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する。
本開示のコンピュータプログラムは、
車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出するステップと、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定するステップと
をコンピュータに実行させる。
車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出するステップと、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定するステップと
をコンピュータに実行させる。
以下、図面を参照して、本開示の実施形態について説明する。本開示において示される1以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなす。
(第1実施形態)
図1は、本開示の第1実施形態に係る撮像システム100、及び車両制御システム301のブロック図である。図1の撮像システム100は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車等の車両に搭載される。その他にも、図1のシステムは、AGV(Automated Guided Vehicle)、パーソナルモビリティ、移動ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載されることもできる。これらの移動体も路面を走行可能な限り、本実施形態に係る車両の一形態に相当する。
図1は、本開示の第1実施形態に係る撮像システム100、及び車両制御システム301のブロック図である。図1の撮像システム100は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車等の車両に搭載される。その他にも、図1のシステムは、AGV(Automated Guided Vehicle)、パーソナルモビリティ、移動ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載されることもできる。これらの移動体も路面を走行可能な限り、本実施形態に係る車両の一形態に相当する。
撮像システム100は、車両制御システム301に有線又は無線で接続されている。
車両制御システム301は、道路である車道を走行する車両の制御を行う。例えばレーダー、LiDAR、ToFセンサ、カメラ、気象センサなどを用いて先行車両等の障害物や歩行者等を検出し、検出した障害物や歩行者との衝突を回避するための制御等を行う。例えば車両の加減速の制御を行ったり、歩行者に対する警報の出力を制御したりする。車両制御システム301は、検出の結果又は制御の結果を撮像システム100にフィードバックしてもよい。
撮像システム100は、撮像装置201と情報処理装置101とを備えている。情報処理装置は、画像取得部110、検出部120、領域設定部130、推定部140及び記憶部150を備えている。画像取得部110、検出部120、領域設定部130、推定部140は、ハードウェア、ソフトウェア(プログラム)又はこれらの両方によって構成される。ハードウェアの例は、CPU(Central Processing Unit)等のプロセッサ、専用回路、プログラム可能な回路及びメモリ等を含む。記憶部150は、メモリ、ハードディスク、光ディスクなど、情報又はデータを記憶可能な任意の記録媒体を含む。
撮像装置201は、車両の前方の車道を含む空間を撮像するカメラ又はセンサ装置である。撮像装置201は、例えば、RGBカメラ等のカラーカメラ、モノクロカメラ、赤外線カメラ、輝度センサなどである。本実施形態では、撮像装置201は、RGBの単眼カメラである。撮像装置201は、例えば、車室内のフロントガラスの上部、又はフロントノーズなど、車両の前方を撮像可能な位置に取り付けられている。撮像装置201の姿勢は、例えば、光源方向(撮像方向)が、道路の路面(地面)に対して近づく方向(やや下向きに)なるように、あるいは、路面にほぼ方向になるように、設定されている。
撮像装置201は、車両の走行中、一定の時間間隔で、車両の前方の車道を含む空間を撮像し、撮像画像を情報処理装置101に提供する。撮像装置201がセンシングするタイミングは、車両制御システム301から指示を受けたタイミングであってもよい。車両制御システム301は、車内のユーザ(搭乗者)から入力装置(図示しない)を介して路面の勾配推定の指示を受けた場合に、撮像装置201に撮像の指示を出力してもよい。撮像装置201は、車両の停車中に撮像することも可能である。
記憶部150には、撮像装置201のパラメータ情報、後述する勾配算出関数、学習済みニューラルネットワークなど、本実施形態の処理に必要なデータ又は情報が格納されている。
画像取得部110は、撮像装置201に有線又は無線で接続されており、撮像装置201から撮像画像を取得する。画像取得部110は、取得した撮像画像を検出部120に提供する。
検出部120は、撮像画像に含まれる車道の領域を特定する領域線を検出する。領域線の具体例として、路面に引かれた交通線(車道外線、中央線など)であってもよいし、交通線と車道との当該車道側の境界部分であってもよい。あるいは交通線における当該車道との境界部分、あるいは、交通線における当該車道と反対側のエッジ部分でもよい(交通線の幅は一定又は略一定であるとする)。あるいは、領域線は、路面の側溝であってもよいし、側溝と車道との当該車道側の境界部分、あるいは、路面の側溝において当該車道と反対側のエッジ部分でもよい(側溝の幅は一定又は略一定であるとする)。なお、交通線は、一般的に白色又はオレンジ色などで引かれている。あるいは、車道がアスファルト又は砂利道で構成されており、車道の片側又は両側が芝生の領域になっている場合に、道路と芝生との当該車道側の境界部分、又は芝生における当該車道との境界部分を領域線としてもよい。あるいは、車道に沿って塀が設けられている場合、塀と車道との当該車道側の境界部分、又は塀側の境界部分を領域線としてもよい。領域線の形状は、直線、曲線、又は直線と曲線の混合のいずれの場合もあり得る。本実施形態では、道路に引かれた交通線(白線等)は車道の一部ではないとして説明を行うが、交通線も車道の一部として定義することも可能である。
図2は、実空間における道路の一例を平面的に示した図である。図2(A)は車道10Cの両側に車道外線(白線)10A、10Bが設けられている道路の例を示す。車道外線10A、10Bは直線状である。車道外線10A、10Bの車道10Cとの反対側は例えば車道以外の道路(歩行路等)になっている。
図2(B)は車道11Cの両側に設けられた車道外線(白線)11A、11Bが曲線である場合の例を示す。
図2(C)は車道12Cの両側に溝(側溝)12A、12Bがある道路の例を示す。
図2(A)~図2(C)では車道の両側に白線又は側溝が存在するが、片側のみに存在してもよい。
図3は、撮像装置201によって取得された撮像画像において車道と領域線の具体例を示す。図3(A)は、直線状の車道において、自車両が存在する路面と、前方の路面との間に勾配差がない場合の例を示す。図3(B)は、直線状の車道において、自車両が存在する路面と、前方の路面との間に勾配差がある場合(前方が上り坂になっている場合)の例を示す。
図3(A)において、例えば、車道22のうち白線(車道外線)と接する境界部分が、領域線21A、21Bとして模式的に示されている。同様に、図3(B)において、車道25のうち白線(車道外線)と接する境界部分が、領域線24A、24Bとして式的に示されている。なお、図3(A)及び図3(B)において白線等、車道以外の物体の図示は省略している。
図3(A)における勾配差がない場合の撮像画像20では、領域線21A、21Bが直線状になっている(領域線21A、21Bに隣接する白線も同様に直線状になっている)。図3(B)における勾配差がある場合の撮像画像23では、領域線24A、24Bは、進行方向に途中で内側に少し屈曲した形状となっている。
図3(A)及び図3(B)の撮像画像における各画素(ピクセル)の位置は、横軸をu軸、縦軸をv軸としたuv座標系で表すことができる。uy座標系は、いわゆる画像座標系に相当する。
図4(A)及び図4(B)は、図3(A)及び図3(B)の撮像画像が取得されたときの実空間における車両と車道との関係を示す側面図である。車両の進行方向をx軸、高さ方向をz軸、紙面に垂直な方向(道路の幅方向)をy軸としている。xyz座標系は、いわゆる世界座標系に相当する。実空間上の位置はxyz座標によって表すことができる。
図4(A)に示すように、車両が走行する車道26において、車両が存在する路面と、車両の前方の路面との間には勾配差はない。図4(B)に示すように、車両が走行する車道27において、車両が存在する路面と、車両の前方の路面との間には勾配差がある。
図4(A)のような勾配差がない直線状の車道で前方を撮像すると、図3(A)に示すような、車道の領域線が一定の傾きで狭まる形状になった画像が得られる。また、図4(B)のような勾配差がある直線状の車道で車両の前方を撮像すると、図3(B)に示すような、車道の領域線の線が進行方向に沿って内側に屈曲した画像が得られる。図4(A)の実空間と図3(A)の画像間の関係、図4(B)の実空間と図3(B)の画像間の関係は、実空間が属する世界座標系と画像が属する画像座標系とを用いて、一般に知られた投資投影変換によって表される。
検出部120が撮像画像から車道の領域線を検出する方法として、例えばセマンティックセグメンテーションを用いることができる。セマンティックセグメンテーションでは、撮像画像を、予め定めた複数のクラスのいずれかに属する複数のセグメント(オブジェクト)に分割する。クラスの例として、車道、交通線(白線等)、又は溝などがある。この場合、例えば、車道クラスをもつオブジェクトの、隣接するオブジェクトとの境界部分(境界線)を、車道の領域線として検出することができる。または隣接するオブジェクトの、車道クラスをもつオブジェクトとの境界部分を、車道の領域線として検出できる。または、隣接するオブジェクトの、車道クラスをもつオブジェクトとの反対側のエッジ部分を、車道の領域線として検出できる(例えば隣接するオブジェクトが交通線のオブジェクトの場合など)。画像のセグメント化の手法は、色情報に基づくクラスタリング手法など、セマンティックセグメンテーション以外の方法を用いてもかまわない。また、画像のセグメンテーションではなく、画像から輪郭を検出する領域線検出の手法を用いて、車道の領域線を検出してもかまわない。以下、セマンティックセグメンテーションを用いてセグメンテーションを行う場合の動作の一例を記載する。
例えば、学習済みニューラルネットワークを用いて撮像画像のセマンティックセグメンテーションを行う。学習済みニューラルネットワークは記憶部150に格納しておく。セマンティックセグメンテーションは、画像の各画素のクラス(種別)を、画素単位で分類する手法である。画素毎にクラスを判定し、判定されたクラスを示したラベルを画素毎に出力する。例えば、予め、車道、交通線(白線等)、側溝といった複数のクラスが定義されている。各画素に対して、クラスの判定を行う。セマンティックセグメンテーションの結果として、各画素に対応するクラス値が得られる。同じクラス値の連続する画素のまとまりが1つのセグメント(オブジェクト)に対応する。学習済みニューラルネットワークを用いる場合、撮像画像をニューラルネットワークの入力として用い、出力として、各画素に対応するクラス値が得られる。同じクラス値の画素を同じ色にした画像(セマンティックセグメンテーション画像)を生成してもよい。これに同じ種類のオブジェクトは同じ色によって示されるため視覚的に分かり易くセグメンテーション結果を表示できる。
領域設定部130は、撮像画像に対して、車道において勾配の推定の対象となる路面の一部を少なくとも部分的に含む注目領域(対象領域)を設定する。注目領域の形状は矩形でも、台形、円など任意の形状でよく、特定の形状に限定されない。また注目領域は直線(例えば1画素幅の線)でもよい。なお、撮像画像に対して注目領域を設定するとは、撮像画像に直接、注目領域を設定する他、セグメンテーション画像に注目領域を設定する場合を含む。
推定部140は、検出部120で検出された車道の領域線上において選択した位置(選択位置)と、選択位置における領域線の傾きとに基づいて、車道の路面において選択位置に対応する路面の勾配を推定する。2つの領域線が検出された場合に、一方の領域線上で選択した選択位置は第1位置、他方の領域線上で選択した選択した選択位置は第2位置に相当する。但し、領域線は1つのみ検出されてもよく、この場合当該領域線から選択した選択位置が第1位置に相当する。
具体的には、まず、検出部120で検出された車道の領域線のうち、領域設定部130により設定された注目領域に含まれる部分の領域線(以下、部分線と呼ぶ)を検出する。推定部140は、検出した部分線上の任意の位置(選択位置)における傾きを算出する。
部分線の傾きは、uv座標系における傾きであり、部分線における選択位置は、uv座標によって表される。
部分線の傾きは、部分線上の選択位置における接線の傾きでもよいし、部分線を近似する直線の傾きでもよい。
選択位置は、部分線のうち当該接線と接する部分(接点)の位置でもよいし、部分線の重心(座標の平均値)でもよいし、部分線に含まれる座標から任意の選択した座標の位置でもよい。
なお、部分線は1画素幅でも、2以上の画素幅でもよい。
なお、部分線は1画素幅でも、2以上の画素幅でもよい。
図5は、図3(B)の撮像画像23に対して注目領域(対象領域)ROIを設定した例を示す。撮像画像23のv座標方向のやや中心において、車道25を横切る矩形の注目領域ROIが設定されている。注目領域ROIは車道25の路面の一部を少なくとも部分的に含んでいる。車道25の領域線24Aのうち、注目領域ROIに含まれる領域線の部分が、部分線31Aとして特定されている。同様に、車道25を介して領域線24Aに対向する領域線24Bのうち、注目領域ROIに含まれる領域線の部分が、部分線31Bとして特定されている。2つの部分線のうちの一方のみを特定してもよい。
注目領域ROIの設定方法は任意でよい。例えば、車両制御システム301が前方の車両を検知した場合に、検知された車両の少なくとも一部を含む範囲を注目領域ROIとして特定してもよい。あるいは、撮像画像において予め定めた座標範囲を注目領域ROIとしてもよい。あるいは、時系列の画像を解析して、領域線の傾きが一定以上変化した場合に、変化した箇所を含む範囲を注目領域として設定してもよい。あるいは、撮像画像を車内の表示装置に表示し、ユーザが注目領域を、入力装置(タッチパネル等)を用いて指定してもよい。
画像座標系(uv座標系)における部分線31Aの傾きαL、部分線31Bの傾きαRが示される。傾きαLは、部分線31A上の選択位置における接線の傾きでもよいし、部分線31Aを近似する直線の傾きでもよい。部分線31Aにおける選択位置である位置L(uL、vL)(後述する図8参照)は、例えば部分線31Aとその接線との接点でもよいし、部分線31Aの重心(例えばu座標の中心とv座標の中心)でもよいし、その他の方法で決定した位置でもよい。
同様に、傾きαRは、部分線31B上の選択位置における接線の傾きでもよいし、部分線31Bを近似する直線の傾きでもよい。部分線31Bにおける選択位置である位置R(uR、vR)は、例えば部分線31Bとその接線との接点でもよいし、部分線31Bの重心(例えばu座標の中心とv座標の中心)でもよいし、その他の方法で決定した位置でもよい。
位置L(uL、vL)と位置R(uR、vR)とのv座標が同じであることを制約条件として位置L及び位置Rを決定してもよい。部分線の位置及び傾きを算出する処理の詳細は後述する。
推定部140は、部分線の傾きと選択位置とに基づいて、注目領域に含まれる路面部分の勾配を推定する。以下、注目領域ROIに含まれる部分線の傾きと選択位置とに基づいて、注目領域ROIに含まれる路面部分の勾配を推定できる理由について詳細に説明する。
図6は、撮像装置201と路面の幾何的関係を示す断面模式図である。図6では、図4(B)に示した場合と同様、直線状の車道において、前方に勾配差がある場合を例にしている。実空間における撮像装置201(カメラ)35と、車道27の路面と、観測対象点P(対象位置)における路面の角度(路面勾配角)θ0とが示されている。車両の進行方向がx軸、高さ方向がz軸である。y軸は車両の幅方向である。xyz座標系は世界座標系に相当する。
車両の撮像装置201は、xyz座標系の原点から高さHに存在する。すなわち、車両が存在する平面38から高さHの位置に撮像装置201は存在する。カメラ光源の座標は(0,0,H)である。カメラ35の光軸36の方向(角度)はθである。観測対象点Pはカメラの光軸に平行な位置であり、例えば部分線における選択位置に対応する。路面勾配角θ0は、車道の路面における観測対象点Pでの接線37の傾きである。接線37とx軸の交点はx0である。
前述したように世界座標と画像座標の関係は、透視投影変換によって表され、この関係は以下の式で表される。
sはスケーリングファクタであり、カメラから観測対象点までのデプスの逆数に相当する。
fyはカメラの水平方向の焦点距離(単位は画素)、fzはカメラの垂直方向の焦点距離(単位は画素)である。
(cy、cz)は、カメラ中心(主点)、すなわちuv座標系の中心である。
θは光軸方向の角度である。
Hはカメラの高さである。
(x、y、z)は観測対象点Pの座標であり、未知の値である。観測対象点Pは撮像画像における部分線の位置に対応する。
式(1)の右辺において、1番目の行列はカメラの内部パラメータ、2番目の行列はカメラの外部パラメータに相当する。内部パラメータ及び外部パラメータは予めキャリブレーションにより測定され、記憶部150に格納されている。内部パラメータと外部パラメータとをまとめてカメラのパラメータ情報と呼ぶ。
fyはカメラの水平方向の焦点距離(単位は画素)、fzはカメラの垂直方向の焦点距離(単位は画素)である。
(cy、cz)は、カメラ中心(主点)、すなわちuv座標系の中心である。
θは光軸方向の角度である。
Hはカメラの高さである。
(x、y、z)は観測対象点Pの座標であり、未知の値である。観測対象点Pは撮像画像における部分線の位置に対応する。
式(1)の右辺において、1番目の行列はカメラの内部パラメータ、2番目の行列はカメラの外部パラメータに相当する。内部パラメータ及び外部パラメータは予めキャリブレーションにより測定され、記憶部150に格納されている。内部パラメータと外部パラメータとをまとめてカメラのパラメータ情報と呼ぶ。
部分線の傾きα(αL又はαRを表す)はuv座標系に基づき、tanα=dv/duと表すことができる。dv/du(vのuに関する微分係数)を、以下、解析的に導出する。まず微分に関する公式から式(5)が得られる。
式(17)において、カメラの光軸36の方向θ、垂直方向の焦点距離fz、カメラ中心(cy、cz)はカメラのパラメータ情報から既知である。よって、部分線の角度αと、部分線における選択位置である位置(u、v)から、式(17)により、位置(u、v)に対応する路面上の対象位置(観測対象点)での路面勾配角θ0が算出される。すなわち部分線の角度αと、部分線における選択位置の座標である(u、v)とに基づき、対象位置における路面の勾配を推定できる。
式(17)の関数は、勾配算出関数として、記憶部150に予め記憶されている。勾配算出関数は、部分線の傾き(角度)が入力される入力変数、部分線における選択位置の座標が入力される入力変数、路面勾配角を出力とする出力変数とが対応づいた関数である。
上述した勾配算出関数の導出では、直線状の車道を想定したが(つまりxyz座標系においてyの値が同じ場合)、図2(B)に示したような曲線の車道の場合であっても、xとyとzの関係を多項式で表すことで、同様にして勾配算出関数を導出できる。
式(19)に基づき、以降の式を、上記と同様にして導出すればよい。
推定部140は、勾配算出関数を用いて、部分線の角度と選択位置の座標とに基づき、注目領域ROIに含まれる路面の勾配角(路面勾配角)を推定する。
図8は、図5と同じ撮像画像23において注目領域ROIに含まれる路面の勾配角を算出する例を示す。ここでは注目領域ROIを直線とした場合の例を示している。注目領域ROIが直線の場合、部分線(図5の部分線31A参照)は、注目領域ROI(直線)と領域線24Aとの交差部L(点L)に相当する。またこの点Lの座標は、部分線において選択した選択位置の座標にも相当する。部分線の角度αLは、例えば、点Lにおける接線39Lの角度である。部分線の角度αLと、位置L(uL、vL)とから、上述の勾配算出関数により、位置L(uL、vL)に対応する実空間の位置(対象位置)における路面勾配角θ0Lを算出する。
同様にして、もう一方の部分線(図5の部分線31B参照)は、注目領域ROIと領域線との交差部R(点R)に相当する。またこの点Rの座標は、部分線において選択した選択位置の座標にも相当する。部分線の角度αRは、例えば、点Rにおける接線39Rの角度である。推定部140は、部分線の角度αRと、位置R(uR、vR)とから、上述の勾配算出関数により、位置L(uR、vR)に対応する実空間の位置(対象位置)における路面勾配角θ0Rを算出する。
推定部140は、算出した2つの路面勾配角θ0L、θ0Rの平均を、注目領域に含まれる路面の路面勾配角として推定する。平均は加重平均でもよい。例えば路面が直進の場合は重みを1:1とし、左カーブの場合もしくは右カーブの場合は、異なる重みを左右で設定してもよい。カーブの曲率に応じて重みを調整してもよい。あるいは、2つの路面勾配角θ0L、θ0Rのいずれか一方(最大値又は最小値)を、注目領域に含まれる路面の路面勾配角として推定してもよい。
推定部140は、注目領域ROIの推定した路面の勾配角を表す情報を車両制御システム301に出力する。車両制御システム301は、路面勾配角の情報を用いて車両の制御を行う。例えばドライバの運転支援として加減速制御を行い、障害物や歩行者等との衝突を回避する。具体的には路面勾配角が上り坂を示す場合は、加速を行い、下り坂を示す場合は、減速を行う。
図9は、本実施形態に係る情報処理装置の動作の一例のフローチャートである。画像取得部110が撮像装置201から撮像画像を取得する(S101)。検出部120が撮像画像において車道の領域を特定する領域線を検出する(S102)。領域設定部130が撮像画像において、勾配角を推定する対象となる路面を少なくとも部分的に含む注目領域(対象領域)を設定する(S103)。推定部140が、注目領域に含まれる領域線の部分である部分線の選択位置(第1位置又は第2位置)における傾きを算出する(S104)。推定部140は、部分線の傾きと選択位置の座標とをそれぞれ入力変数とする勾配算出関数を計算することにより、注目領域に含まれる路面の勾配角を推定する(S105)。
図9のフローチャートのステップの順序は一例で有り、一部のステップの順序が入れ替わってもよい。例えばステップS103がステップ102より先に実行されてもよい。
以上、第1実施形態によれば、撮像画像に設定した注目領域ROIに含まれる車道の領域線である部分線の選択位置における傾きと当該選択位置の座標とに基づき、注目領域に含まれる路面の傾斜角度を推定する。これにより、少ない処理量で高速に、路面傾斜角を推定できる。また、第1実施形態によれば、単眼カメラで撮像した画像を用いて推定を行うことができ、ステレオカメラ等の2台以上のカメラは不要なため、低コストで実現できる。また複数の部分線を用いて推定を行うことにより、推定の精度及びロバスト性を向上させることができる。
(変形例1)
上述の実施形態では車道の領域を特定する領域線として、車道と交通線(白線等)とのうち車道側の境界部分を用いる例を示したが、本変形例では、白線側の境界部分等を領域線とする例を示す。
上述の実施形態では車道の領域を特定する領域線として、車道と交通線(白線等)とのうち車道側の境界部分を用いる例を示したが、本変形例では、白線側の境界部分等を領域線とする例を示す。
図10は、本変形例に係る撮像画像の例を示す。車道40の両側に白線24A、24Bが設けられている。白線24A、24Bをu座標方向に横切る矩形の注目領域ROIが設定されている。なお、白線24A、24Bが一定の幅(2画素以上)を有している。
一例として、白線24Aのうち車道40に接する境界部分を領域線31として用いることができる。注目領域ROIに含まれる領域線31の部分が部分線31Aに相当する。部分線31Aにおいて、選択位置の例として、点45を選択することができる。この場合、点45における傾きαLは、点45における接線の傾きを用いることができる。
あるいは、白線24Aと注目領域ROIとの内側の交点41、42同士を結ぶ直線(図示せず)の傾きを、部分線31Aの傾きとして算出してもよい。この場合、選択位置は、部分線31Aから選択した位置でもよいし、直線上の中点など直線上から任意に選択した位置でもよい。他の例として、領域線24Aと注目領域ROIとの外側の交点46、47同士を結ぶ直線の傾きを、部分線31Aの傾きとして算出してもよい。この場合、選択位置は、部分線31Aから選択した位置でもよいし、直線上の中点など、直線上から任意に選択した位置でもよい。あるいは交点41と交点46の中間点43と、交点42と交点44の中間点47とを結ぶ直線の傾きを部分線31Aの傾きとして算出してもよい。この場合、選択位置は、部分線31Aから選択した位置でもよいし、直線上の中点など、直線上から任意に選択した位置でもよい。
あるいは、白線24Aと注目領域ROIとの内側の交点41、42同士を結ぶ直線(図示せず)の傾きを、部分線31Aの傾きとして算出してもよい。この場合、選択位置は、部分線31Aから選択した位置でもよいし、直線上の中点など直線上から任意に選択した位置でもよい。他の例として、領域線24Aと注目領域ROIとの外側の交点46、47同士を結ぶ直線の傾きを、部分線31Aの傾きとして算出してもよい。この場合、選択位置は、部分線31Aから選択した位置でもよいし、直線上の中点など、直線上から任意に選択した位置でもよい。あるいは交点41と交点46の中間点43と、交点42と交点44の中間点47とを結ぶ直線の傾きを部分線31Aの傾きとして算出してもよい。この場合、選択位置は、部分線31Aから選択した位置でもよいし、直線上の中点など、直線上から任意に選択した位置でもよい。
他の例として、白線24Aのうち車道40と反対側のエッジ部分を領域線32として用いることもできる。注目領域ROIに含まれる領域線31の部分が部分線32Aに相当する。部分線32Aの傾き、及び部分線32A上の選択位置は、領域線31の場合と同様にして算出できる。
白線24Aについて領域線、傾き及び選択位置を算出する例を記載したが、白線24Bについても同様にして、領域線、傾き及び選択位置を算出できる。
このように白線24A、24Bに対してそれぞれ算出した傾き及び選択位置を用いて、上記の勾配算出関数から、注目領域ROIに含まれる路面の傾斜角を推定できる。
図10で説明した直線近似により部分線の傾き(注目領域に含まれる領域線の傾き)を算出する手法は前述した実施形態にも適用できる。
(変形例2)
上述した実施形態では注目領域を設定したが、注目領域を設定せずに、路面の傾きを推定してもよい。例えば領域線上の任意の位置を選択位置として選択し、選択した選択位置の座標と、選択位置における領域線の傾きとに基づき、上述の勾配算出関数から、当該選択位置に対応する路面の勾配を推定してもよい。この場合、上述した実施形態において当該選択位置を通る直線の注目領域を設定し、片側(左側又は右側)の傾き及び選択位置の座標みを用いて路面の勾配を推定する場合と同様の推定結果を得ることができる。
上述した実施形態では注目領域を設定したが、注目領域を設定せずに、路面の傾きを推定してもよい。例えば領域線上の任意の位置を選択位置として選択し、選択した選択位置の座標と、選択位置における領域線の傾きとに基づき、上述の勾配算出関数から、当該選択位置に対応する路面の勾配を推定してもよい。この場合、上述した実施形態において当該選択位置を通る直線の注目領域を設定し、片側(左側又は右側)の傾き及び選択位置の座標みを用いて路面の勾配を推定する場合と同様の推定結果を得ることができる。
(第2実施形態)
第2実施形態では、第1実施形態と同様に路面勾配角を推定するが、推定するための構成が異なる
第2実施形態では、第1実施形態と同様に路面勾配角を推定するが、推定するための構成が異なる
図11は、第2実施形態に係る撮像システム500、及び車両制御システム301のブロック図である。第1実施形態の図1のブロック図と同一の要素には同一の符号を付して、説明を適宜省略する。
撮像システム500は、撮像装置201、デプスセンサ401及び情報処理装置501を備えている。撮像装置201は第1実施形態と同じである。
デプスセンサ401は、車両の前方を含む空間のデプス情報を検出するセンサ装置である。デプス情報として、例えば各画素にデプス値を格納したデプス画像を取得する。デプスセンサ401は、例えば、LiDAR、レーザー、ステレオカメラ、ToFセンサなどである。デプスセンサ401の姿勢は、例えば、光源方向(撮像方向)が、道路の路面(地面)に対して近づく方向(やや下向きに)なるように、あるいは、路面にほぼ方向になるように、設定されている。デプスセンサ401のパラメータ情報は記憶部150に格納されている。またデプスセンサ401と撮像装置201の位置関係に関する情報も記憶部150に格納されている。
デプスセンサ401は、車両の走行中、一定の時間間隔で、前方を含む空間のデプス情報を取得する。デプスセンサ401は、取得したデプス情報を情報処理装置101に提供する。デプスセンサ401は例えば撮像装置201と同期して動作する。例えばデプスセンサ401と撮像装置201とは同じ同期信号に従って動作する。あるいは、デプスセンサ401がセンシングするタイミングは、車両制御システム301から指示を受けたタイミングでもよい。車両制御システム301は、車内のユーザ(搭乗者)から入力装置(図示しない)を介して路面の勾配推定の指示を受けた場合、撮像装置201にセンシングの指示を出力してもよい。デプスセンサ401は、車両の停車中にセンシングしてもよい。
情報処理装置101のデプス情報取得部210は、デプスセンサ401に有線又は無線で接続されており、デプスセンサ401からデプス情報を取得する。デプス情報取得部210は、取得したデプス情報を推定部240に提供する。
画像取得部110は、撮像装置201から撮像画像を取得し、取得した撮像画像を推定部240に提供する。
推定部240は、デプス情報取得部210から取得したデプス情報に基づき、車道における観測対象点(第3位置)のデプス値を特定する。また撮像画像において、観測対象点に対応する位置(第4位置)を特定する。観測対象点のデプス値と、観測対象点に対応する位置の座標とに基づき、路面における観測対象点の勾配を推定する。以下、勾配を推定する例を2つ示す。
(第1の推定例)
図12は、推定部240の動作を説明するための側面図である。車両の進行方向をx軸、高さ方向をz軸、紙面に垂直な方向(道路の幅方向)をy軸としている。観測対象点P1は、実空間上の位置であり、勾配を推定したい路面上の箇所である。観測対象点P1は、例えば先行車両が存在する場合に、先行車両が存在する位置である。先行車両が存在する位置として、先行車両の下端の位置、又は先行車と路面が接する位置を用いてもよい。先行車両は、推定部240がデプスセンサ401により取得されたデプス情報に基づき検出される。
図12は、推定部240の動作を説明するための側面図である。車両の進行方向をx軸、高さ方向をz軸、紙面に垂直な方向(道路の幅方向)をy軸としている。観測対象点P1は、実空間上の位置であり、勾配を推定したい路面上の箇所である。観測対象点P1は、例えば先行車両が存在する場合に、先行車両が存在する位置である。先行車両が存在する位置として、先行車両の下端の位置、又は先行車と路面が接する位置を用いてもよい。先行車両は、推定部240がデプスセンサ401により取得されたデプス情報に基づき検出される。
図13は先行車両の後部の下端の位置を観測対象点P1とする例を示している。
車両(より具体的にはデプスセンサ)から観測対象点P1までの距離は距離Xである。観測対象点P1を自車が存在する平面に投影した点を投影点P2(第2箇所)とする。車両(より具体的にはデプスセンサ)から投影点P2までの距離を距離X’とする。観測対象点P1及び投影点P2間の距離をZとする。観測対象点P1における路面勾配角をθとする。路面勾配角θは自車が存在する路面を基準とした場合の路面の勾配角の差である。なお観測対象点P1が厳密には路面上の点でない場合もあり得るが、この場合も観測対象点P1と路面とはきわめて近い距離にあると考えられることから、誤差の範囲として扱って問題ない。
推定部240は、実空間の距離Zに対応する、撮像画像上の距離(画素距離)Δvを算出する。前提として、三角測量の原理、エピポーラ制約、撮像装置201のパラメータ情報と、デプスセンサ401のパラメータ情報と、撮像装置201とデプスセンサ401の位置関係とに基づき、デプス情報における画素の位置と、撮像画像における画素の位置との対応は一意に定まる。
図14は、撮像装置で撮像された撮像画像において距離Δvを算出する例を示す。撮像画像において、撮像装置201のパラメータ情報から事前に求められた画像座標系(uv座標系)における主点(原点)が点Oとして示されている。観測対象点P1に対応する撮像画像上の位置は点S1であり、主点Oに対して点S1におけるv座標方向の距離はv1である。投影点P2に対応する撮像画像上の位置はS2であり、主点Oに対して点S2におけるv座標方向の距離はv2である。よって、距離Zに対応する距離Δvは、v2からv1を減算した値である。
このように推定部240は、車道における観測対象点(第3位置)に対応する、撮像画像上の位置(第4位置)を特定する。また、観測対象点を自車が存在する平面に投影した位置(第5位置)に対応する、撮像画像上の位置(第6位置)を特定する。特定した2つの位置(第4位置、第6位置)のv座標の差Δvに基づき、式(20)から、観測対象点における路面勾配角を算出する。
図15は、推定部240が第1の推定例を用いる場合の情報処理装置の動作の一例のフローチャートである。画像取得部110が撮像装置201から撮像画像を取得し、デプス情報取得部210がデプスセンサ401からデプス情報を取得する(S201)。推定部240がデプス情報に基づき先行車両を検出し(S202)、先行車両の後部の下端位置を観測対象点として特定する(S203)。推定部240は、観測対象点に対応する撮像画像上の位置と、観測対象点を自車両が存在する平面に投影した投影点に対応する撮像画像上の位置とを特定する(S204)。そして、これら特定した2つの位置のv座標の差(距離Δv)を算出する(同S204)。推定部240は、Δvと、式(20)とに基づき、観測対象点における路面勾配角を推定する(S205)。
(第2の推定例)
第1の推定例の説明で用いた図12及び図14を参照して第2の推定例を説明する。
第2の推定例では、単眼測距の原理を応用して、路面勾配角(勾配差)θを推定する。単眼測距の原理は、例えば下記論文に開示されている。
Gideon P. Stein et al., “Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy” (2003)
第1の推定例の説明で用いた図12及び図14を参照して第2の推定例を説明する。
第2の推定例では、単眼測距の原理を応用して、路面勾配角(勾配差)θを推定する。単眼測距の原理は、例えば下記論文に開示されている。
Gideon P. Stein et al., “Vision-based ACC with a Single Camera: Bounds on Range and Range Rate Accuracy” (2003)
単眼測距の原理から以下の式(21)が成立する。fzは、撮像装置201の垂直方向における焦点距離である。v2は、図14で説明したように、投影点P2に対応する撮像画像上の位置をS2とした場合に、位置S2の主点Oからのv座標方向の距離に相当する。
式(21)と図12に示した関係から以下の式(22)及び式(23)が成立する。v1は、図14で説明したように、観測対象点P1に対応する撮像画像上の位置をS1とした場合に、位置S1の主点Oからのv座標方向の距離に相当する。fzは、撮像装置201の垂直方向における焦点距離である。Hは、撮像装置201の高さである。Xは、観測対象点P1までの距離(デプス値)である。
推定部240は、観測対象点P1までの距離Xと、観測対象点P1に対応する撮像画像上の位置S1の主点Oからのv座標方向の距離v1とに基づき、式(22)から路面勾配角θを算出する。
推定部240は、推定した路面勾配角θの情報を車両制御システム301に提供する。車両制御システム301の動作は第1実施形態と同様である。
図16は、推定部240が第2の推定例を用いる場合の情報処理装置の動作の一例のフローチャートである。画像取得部110が撮像装置201から撮像画像を取得し、デプス情報取得部210がデプスセンサ401からデプス情報を取得する(S301)。推定部240がデプス情報に基づき先行車両を検出し(S302)、先行車両の後部の下端位置を観測対象点として特定する(S303)。推定部240は、観測対象点に対応する撮像画像上の位置を特定する(S304)。特定した位置のv座標(撮像画像における主点Oからのv座標方向の距離v1)を特定する。推定部240は、v1と、式(22)とに基づき、観測対象点における路面勾配角を推定する(S305)。
以上、第2実施形態によれば、低演算量で高速に路面勾配角を推定できる。また、本実施形態によれば高精度に路面勾配角を推定できる。
なお、上述の実施形態は本開示を具現化するための一例を示したものであり、その他の様々な形態で本開示を実施することが可能である。例えば、本開示の要旨を逸脱しない範囲で、種々の変形、置換、省略又はこれらの組み合わせが可能である。そのような変形、置換、省略等を行った形態も、本開示の範囲に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。
なお、本開示は以下のような構成を取ることもできる。
[項目1]
車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出する検出部と、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する推定部と、
を備えた情報処理装置。
[項目2]
前記画像に対して、前記車道の路面の一部を少なくとも部分的に含む対象領域を設定する領域設定部を備え、
前記検出部は、前記対象領域内の前記第1領域線における前記第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記対象領域に含まれる路面の勾配を推定する
を備えた項目1に記載の情報処理装置。
[項目3]
前記検出部は、前記第1領域線に対向する第2領域線を検出し、
前記推定部は、前記対象領域内の前記第2領域線における第2位置の座標と、前記第2位置における前記第2領域線の傾きとにさらに基づいて、前記勾配を推定する
項目2に記載の情報処理装置。
[項目4]
前記画像をセグメント化するセグメント部を含み、
前記検出部は、
前記車道のセグメントが他のセグメントと隣接する前記車道のセグメントの境界部分、
他のセグメントが前記車道のセグメントと隣接する前記他のセグメントの境界部分、又は、
他のオブジェクトが隣接する前記車道のオブジェクトと反対側における前記他のセグメントのエッジ部分
を前記第1領域線とする
項目1~3のいずれか一項に記載の情報処理装置。
[項目5]
前記他のセグメントは、交通線のセグメントである
項目4に記載の情報処理装置。
[項目6]
前記第1位置における前記傾きは、前記第1位置における前記第1領域線との接線の傾きである
項目1~5のいずれか一項に記載の情報処理装置。
[項目7]
前記推定部は、前記画像を撮像した撮像装置の光軸方向の角度にさらに基づき、前記勾配を推定する
項目1~6のいずれか一項に記載の情報処理装置。
[項目8]
前記推定部は、前記傾きを入力とする第1入力変数と、前記第1位置を入力とする第2入力変数と、前記勾配を出力とする出力変数とが対応づいた関数に基づき、前記勾配を推定する
項目1~7のいずれか一項に記載の情報処理装置。
[項目9]
前記画像には先行車両が含まれ、
前記対象領域は、前記先行車両の少なくとも一部を含む領域である
項目2に記載の情報処理装置。
[項目10]
移動体に搭載された撮像装置から前記画像を取得する取得部
を備えた項目1~9のいずれか一項に記載の情報処理装置。
[項目11]
前記撮像装置は、単眼カメラである
項目10に記載の情報処理装置。
[項目12]
前記推定部は、前記車道のデプス情報に基づき、前記車道における第3位置に対応する前記画像上の第4位置を特定し、前記第4位置の座標に基づき、前記第3位置における路面の勾配を推定する
項目1~11のいずれか一項に記載の情報処理装置。
[項目13]
前記画像は、第1平面から所定の高さに配置された撮像装置によって取得された画像であり、
前記推定部は、前記車道における第3位置に対応する前記画像における第4位置の座標と、前記第3位置を前記第1平面に投影した第5位置に対応する前記画像における第6位置の座標とに基づいて、前記第3位置における路面の勾配を推定する
項目1~12のいずれか一項に記載の情報処理装置。
[項目14]
前記第3位置は、前記車道上の先行車両が存在する位置である
項目12に記載の情報処理装置。
[項目15]
車道を含む空間を撮像する撮像装置と、
前記撮像装置により取得された画像において、前記車道の領域を特定する第1領域線を検出する検出部と、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する推定部と、
を備えた撮像システム。
[項目16]
車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出し、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する
情報処理方法。
[項目17]
車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出するステップと、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定するステップと
をコンピュータに実行させるためのコンピュータプログラム。
[項目1]
車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出する検出部と、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する推定部と、
を備えた情報処理装置。
[項目2]
前記画像に対して、前記車道の路面の一部を少なくとも部分的に含む対象領域を設定する領域設定部を備え、
前記検出部は、前記対象領域内の前記第1領域線における前記第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記対象領域に含まれる路面の勾配を推定する
を備えた項目1に記載の情報処理装置。
[項目3]
前記検出部は、前記第1領域線に対向する第2領域線を検出し、
前記推定部は、前記対象領域内の前記第2領域線における第2位置の座標と、前記第2位置における前記第2領域線の傾きとにさらに基づいて、前記勾配を推定する
項目2に記載の情報処理装置。
[項目4]
前記画像をセグメント化するセグメント部を含み、
前記検出部は、
前記車道のセグメントが他のセグメントと隣接する前記車道のセグメントの境界部分、
他のセグメントが前記車道のセグメントと隣接する前記他のセグメントの境界部分、又は、
他のオブジェクトが隣接する前記車道のオブジェクトと反対側における前記他のセグメントのエッジ部分
を前記第1領域線とする
項目1~3のいずれか一項に記載の情報処理装置。
[項目5]
前記他のセグメントは、交通線のセグメントである
項目4に記載の情報処理装置。
[項目6]
前記第1位置における前記傾きは、前記第1位置における前記第1領域線との接線の傾きである
項目1~5のいずれか一項に記載の情報処理装置。
[項目7]
前記推定部は、前記画像を撮像した撮像装置の光軸方向の角度にさらに基づき、前記勾配を推定する
項目1~6のいずれか一項に記載の情報処理装置。
[項目8]
前記推定部は、前記傾きを入力とする第1入力変数と、前記第1位置を入力とする第2入力変数と、前記勾配を出力とする出力変数とが対応づいた関数に基づき、前記勾配を推定する
項目1~7のいずれか一項に記載の情報処理装置。
[項目9]
前記画像には先行車両が含まれ、
前記対象領域は、前記先行車両の少なくとも一部を含む領域である
項目2に記載の情報処理装置。
[項目10]
移動体に搭載された撮像装置から前記画像を取得する取得部
を備えた項目1~9のいずれか一項に記載の情報処理装置。
[項目11]
前記撮像装置は、単眼カメラである
項目10に記載の情報処理装置。
[項目12]
前記推定部は、前記車道のデプス情報に基づき、前記車道における第3位置に対応する前記画像上の第4位置を特定し、前記第4位置の座標に基づき、前記第3位置における路面の勾配を推定する
項目1~11のいずれか一項に記載の情報処理装置。
[項目13]
前記画像は、第1平面から所定の高さに配置された撮像装置によって取得された画像であり、
前記推定部は、前記車道における第3位置に対応する前記画像における第4位置の座標と、前記第3位置を前記第1平面に投影した第5位置に対応する前記画像における第6位置の座標とに基づいて、前記第3位置における路面の勾配を推定する
項目1~12のいずれか一項に記載の情報処理装置。
[項目14]
前記第3位置は、前記車道上の先行車両が存在する位置である
項目12に記載の情報処理装置。
[項目15]
車道を含む空間を撮像する撮像装置と、
前記撮像装置により取得された画像において、前記車道の領域を特定する第1領域線を検出する検出部と、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する推定部と、
を備えた撮像システム。
[項目16]
車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出し、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する
情報処理方法。
[項目17]
車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出するステップと、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定するステップと
をコンピュータに実行させるためのコンピュータプログラム。
100、500:撮像システム
101、501:情報処理装置
110:画像取得部
120:検出部
130:領域設定部
140、240:推定部
150:記憶部
201:撮像装置
210:デプス情報取得部
301:車両制御システム
401:デプスセンサ
101、501:情報処理装置
110:画像取得部
120:検出部
130:領域設定部
140、240:推定部
150:記憶部
201:撮像装置
210:デプス情報取得部
301:車両制御システム
401:デプスセンサ
Claims (17)
- 車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出する検出部と、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する推定部と、
を備えた情報処理装置。 - 前記画像に対して、前記車道の路面の一部を少なくとも部分的に含む対象領域を設定する領域設定部を備え、
前記推定部は、前記対象領域内の前記第1領域線における前記第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記対象領域に含まれる路面の勾配を推定する
請求項1に記載の情報処理装置。 - 前記検出部は、前記第1領域線に対向する第2領域線を検出し、
前記推定部は、前記対象領域内の前記第2領域線における第2位置の座標と、前記第2位置における前記第2領域線の傾きとにさらに基づいて、前記勾配を推定する
請求項2に記載の情報処理装置。 - 前記画像をセグメント化するセグメント部を含み、
前記検出部は、
前記車道のセグメントが他のセグメントと隣接する前記車道のセグメントの境界部分、
他のセグメントが前記車道のセグメントと隣接する前記他のセグメントの境界部分、又は、
他のオブジェクトが隣接する前記車道のオブジェクトと反対側における前記他のセグメントのエッジ部分
を前記第1領域線とする
請求項1に記載の情報処理装置。 - 前記他のセグメントは、交通線のセグメントである
請求項4に記載の情報処理装置。 - 前記第1位置における前記傾きは、前記第1位置における前記第1領域線との接線の傾きである
請求項1に記載の情報処理装置。 - 前記推定部は、前記画像を撮像した撮像装置の光軸方向の角度にさらに基づき、前記勾配を推定する
請求項1に記載の情報処理装置。 - 前記推定部は、前記傾きを入力とする第1入力変数と、前記第1位置を入力とする第2入力変数と、前記勾配を出力とする出力変数とが対応づいた関数に基づき、前記勾配を推定する
請求項1に記載の情報処理装置。 - 前記画像には先行車両が含まれ、
前記対象領域は、前記先行車両の少なくとも一部を含む領域である
請求項2に記載の情報処理装置。 - 移動体に搭載された撮像装置から前記画像を取得する取得部
を備えた請求項1に記載の情報処理装置。 - 前記撮像装置は、単眼カメラである
請求項10に記載の情報処理装置。 - 前記推定部は、前記車道のデプス情報に基づき、前記車道における第3位置に対応する前記画像上の第4位置を特定し、前記第4位置の座標に基づき、前記第3位置における路面の勾配を推定する
請求項1に記載の情報処理装置。 - 前記画像は、第1平面から所定の高さに配置された撮像装置によって取得された画像であり、
前記推定部は、前記車道における第3位置に対応する前記画像における第4位置の座標と、前記第3位置を前記第1平面に投影した第5位置に対応する前記画像における第6位置の座標とに基づいて、前記第3位置における路面の勾配を推定する
請求項1に記載の情報処理装置。 - 前記第3位置は、前記車道上の先行車両が存在する位置である
請求項12に記載の情報処理装置。 - 車道を含む空間を撮像する撮像装置と、
前記撮像装置により取得された画像において、前記車道の領域を特定する第1領域線を検出する検出部と、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する推定部と、
を備えた撮像システム。 - 車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出し、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定する
情報処理方法。 - 車道を含む空間を撮像した画像において、前記車道の領域を特定する第1領域線を検出するステップと、
前記第1領域線における第1位置の座標と、前記第1位置における前記第1領域線の傾きとに基づいて、前記第1位置に対応する路面の勾配を推定するステップと
をコンピュータに実行させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020075990A JP2023089311A (ja) | 2020-04-22 | 2020-04-22 | 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム |
PCT/JP2021/013324 WO2021215199A1 (ja) | 2020-04-22 | 2021-03-29 | 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020075990A JP2023089311A (ja) | 2020-04-22 | 2020-04-22 | 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023089311A true JP2023089311A (ja) | 2023-06-28 |
Family
ID=78270653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020075990A Pending JP2023089311A (ja) | 2020-04-22 | 2020-04-22 | 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2023089311A (ja) |
WO (1) | WO2021215199A1 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1137730A (ja) * | 1997-07-18 | 1999-02-12 | Nissan Motor Co Ltd | 道路形状推定装置 |
JP4803927B2 (ja) * | 2001-09-13 | 2011-10-26 | 富士重工業株式会社 | 監視システムの距離補正装置および距離補正方法 |
JP4913101B2 (ja) * | 2008-08-08 | 2012-04-11 | 本田技研工業株式会社 | 車両用道路形状検出装置 |
JP2012212282A (ja) * | 2011-03-31 | 2012-11-01 | Honda Elesys Co Ltd | 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム |
JP6540009B2 (ja) * | 2013-12-27 | 2019-07-10 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム、画像処理システム |
-
2020
- 2020-04-22 JP JP2020075990A patent/JP2023089311A/ja active Pending
-
2021
- 2021-03-29 WO PCT/JP2021/013324 patent/WO2021215199A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021215199A1 (ja) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960183B (zh) | 一种基于多传感器融合的弯道目标识别系统及方法 | |
JP6519262B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
EP2933790B1 (en) | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method | |
US9074906B2 (en) | Road shape recognition device | |
JP5588812B2 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
JP3776094B2 (ja) | 監視装置、監視方法および監視用プログラム | |
JP4650079B2 (ja) | 物体検出装置、および方法 | |
JP5714940B2 (ja) | 移動体位置測定装置 | |
JP4676373B2 (ja) | 周辺認識装置、周辺認識方法、プログラム | |
CN104520894A (zh) | 路旁物检测装置 | |
CN202169907U (zh) | 车外环境识别装置 | |
JPH10285582A (ja) | 車外監視装置 | |
JP2004086779A (ja) | 障害物検出装置及びその方法 | |
CN104115188A (zh) | 立体物检测装置 | |
JP2018048949A (ja) | 物体識別装置 | |
CN104115204A (zh) | 立体物检测装置 | |
JP2007264717A (ja) | 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置 | |
CN112334947A (zh) | 基于传感器和存储器表示周围环境的方法、显示装置和具有显示装置的车辆 | |
JP3612821B2 (ja) | 車載用距離測定装置 | |
JP2010176592A (ja) | 車両用運転支援装置 | |
CN112078580A (zh) | 用于确定对象与行车带的重合度的方法,装置和存储介质 | |
JP3586938B2 (ja) | 車載用距離測定装置 | |
JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
KR102368262B1 (ko) | 다중 관측정보를 이용한 신호등 배치정보 추정 방법 | |
WO2021215199A1 (ja) | 情報処理装置、撮像システム、情報処理方法及びコンピュータプログラム |