JP2021144257A - 情報処理装置、情報処理方法、プログラム、及び、移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、及び、移動体 Download PDF

Info

Publication number
JP2021144257A
JP2021144257A JP2018108328A JP2018108328A JP2021144257A JP 2021144257 A JP2021144257 A JP 2021144257A JP 2018108328 A JP2018108328 A JP 2018108328A JP 2018108328 A JP2018108328 A JP 2018108328A JP 2021144257 A JP2021144257 A JP 2021144257A
Authority
JP
Japan
Prior art keywords
image
bird
unit
images
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018108328A
Other languages
English (en)
Inventor
政彦 豊吉
Masahiko Toyoshi
政彦 豊吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2018108328A priority Critical patent/JP2021144257A/ja
Priority to PCT/JP2019/020378 priority patent/WO2019235227A1/ja
Priority to US17/059,654 priority patent/US11948371B2/en
Publication of JP2021144257A publication Critical patent/JP2021144257A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)

Abstract

【課題】移動体の周囲の通路に関する検出処理の精度を向上させる。【解決手段】情報処理装置は、撮影範囲の一部が重なる複数の撮影画像をそれぞれ鳥瞰画像に変換する変換部と、複数の前記鳥瞰画像を合成することにより合成画像を生成する合成部と、前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う検出部とを備える。本技術は、例えば、道路の区画線を検出する装置に適用することができる。【選択図】図１

Description

本技術は、情報処理装置、情報処理方法、プログラム、及び、移動体に関し、特に、移動体の周囲の通路に関する検出処理を行う場合に用いて好適な情報処理装置、情報処理方法、プログラム、及び、移動体に関する。
従来、カメラ及びＬｉＤＡＲ（Light Detection and Ranging）を用いて、道路及び車線の検出を行う手法が提案されている（例えば、非特許文献１参照）。
Aharon Bar Hillel, 外３名, "Recent Progress in Road and Lane Detection: a survey", Machine Vision and Applications, April 2014, Volume 25, Issue 3, pp 727-745
一方、道路の構成は、形状（例えば、直線、カーブ等）、区画線、車線数、歩道や路肩の有無等の違いにより様々である。また、同じ道路でも状況（例えば、天候、時間帯等）により見え方が大きく異なる。そのため、構成や状況の違いに関わらず、道路の構成等の検出処理の精度を向上させる技術の出現が望まれている。
本技術は、このような状況に鑑みてなされたものであり、移動体の周囲の通路（例えば、道路）に関する検出処理の精度を向上させるようにするものである。
本技術の第１の側面の情報処理装置は、撮影範囲の一部が重なる複数の撮影画像をそれぞれ鳥瞰画像に変換する変換部と、複数の前記鳥瞰画像を合成することにより合成画像を生成する合成部と、前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う検出部とを備える。
本技術の第１の側面の情報処理方法は、撮影範囲の一部が重なる複数の撮影画像をそれぞれ鳥瞰画像に変換し、複数の前記鳥瞰画像を合成することにより合成画像を生成し、前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う。
本技術の第１の側面のプログラムは、撮影範囲の一部が重なる複数の撮影画像をそれぞれ鳥瞰画像に変換し、複数の前記鳥瞰画像を合成することにより合成画像を生成し、前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う処理をコンピュータに実行させる。
本技術の第２の側面の移動体は、撮影範囲の一部が重なる複数の撮影画像を撮影する撮影部と、複数の前記撮影画像をそれぞれ鳥瞰画像に変換する変換部と、複数の前記鳥瞰画像を合成することにより合成画像を生成する合成部と、前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う検出部と、前記検出処理の結果に基づいて、動作の制御を行う動作制御部とを備える。
本技術の第１の側面においては、撮影範囲の一部が重なる複数の撮影画像がそれぞれ鳥瞰画像に変換され、複数の前記鳥瞰画像を合成することにより合成画像が生成され、前記合成画像に基づいて移動体の周囲の通路に関する検出処理が行われる。
本技術の第２の側面においては、撮影範囲の一部が重なる複数の撮影画像が撮影され、複数の前記撮影画像がそれぞれ鳥瞰画像に変換され、複数の前記鳥瞰画像を合成することにより合成画像が生成され、前記合成画像に基づいて移動体の周囲の通路に関する検出処理が行われ、前記検出処理の結果に基づいて、動作の制御が行われる。
本技術の第１の側面又は第２の側面によれば、移動体の周囲の通路に関する検出処理の精度が向上する。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した車両の第１の実施の形態を示すブロック図である。 図１の検出部の構成例を示すブロック図である。 図１の車両により実行される区画線検出処理を説明するためのフローチャートである。 ワールド座標系とカメラ座標系の例を示す図である。 画像座標系の例を示す図である。 光学鳥瞰画像と望遠鳥瞰画像の範囲の例を示す図である。 本技術を適用した車両の第２の実施の形態を示すブロック図である。 図７の車両により実行される区画線検出処理を説明するためのフローチャートである。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．変形例
４．その他
＜＜１．第１の実施の形態＞＞
まず、図１乃至図６を参照して、本技術の第１の実施の形態について説明する。
＜車両１０の構成例＞
図１は、本技術を適用した車両の第１の実施の形態である車両１０の構成例を示している。
車両１０は、撮影部１１、画像処理部１２、及び、動作制御部１３を備える。
撮影部１１は、例えば、ズームレンズを備え、画角及び焦点距離を変更可能な撮影装置を備える。また、撮影部１１は、車両１０の前方を撮影可能な位置に設けられる。撮影部１１は、２種類の画角を交互に切り替えながら車両１０の前方を撮影し、撮影した画像（以下、撮影画像と称する）を画像処理部１２の合成画像生成部２１の変換部３１に供給する。
なお、以下、撮影部１１が撮影する撮影画像のうち、画角が大きい方の撮影画像を広角画像と称し、画角が小さい方の撮影画像を望遠画像と称する。広角画像と望遠画像とは、撮影範囲の一部が重なる。
画像処理部１２は、撮影部１１により撮影された広角画像及び望遠画像に基づいて、車両１０の前方の道路の区画線（例えば、白線）の検出処理を行う。画像処理部１２は、合成画像生成部２１及び検出部２２を備える。
合成画像生成部２１は、広角画像と望遠画像を合成した合成画像を生成する。合成画像生成部２１は、変換部３１及び合成部３２を備える。
変換部３１は、広角画像及び望遠画像を鳥瞰画像に変換し、変換後の鳥瞰画像を合成部３２に供給する。なお、以下、広角画像から変換された鳥瞰画像を広角鳥瞰画像と称し、望遠画像から変換された鳥瞰画像を望遠鳥瞰画像と称する。
合成部３２は、広角鳥瞰画像と望遠鳥瞰画像を合成した合成画像を生成し、合成画像を検出部２２に供給する。なお、合成部３２は、必要に応じて、検出部２２による区画線の検出結果を用いて、２つの鳥瞰画像の合成を行う。
検出部２２は、合成画像に基づいて、車両１０の前方の道路の区画線の検出処理を行う。検出部２２は、区画線の検出結果を示すデータを合成部３２及び動作制御部１３に供給する。
動作制御部１３は、車両１０の前方の道路の区画線の検出結果等に基づいて、車両１０の動作を制御する。例えば、動作制御部１３は、車両１０の加速、減速、停車、操舵、自動運転等の制御を行う。また、動作制御部１３は、車両１０の速度を示すデータを変換部３１に供給する。
＜検出部２２の構成例＞
図２は、検出部２２の構成例を示している。
検出部２２は、フィルタリング部１０１、二値化部１０２、線分検出部１０３、スプライン処理部１０４、及び、区画線検出部１０５を備える。
フィルタリング部１０１は、所定のフィルタを用いて合成画像のフィルタリングを行い、合成画像内のエッジを抽出する。フィルタリング部１０１は、合成画像のエッジを抽出した画像（以下、エッジ画像と称する）を二値化部１０２に供給する。
二値化部１０２は、エッジ画像に対して所定の閾値を用いて二値化処理を行い、得られた二値化画像を線分検出部１０３に供給する。
線分検出部１０３は、二値化画像内の線分の検出処理を行う。線分検出部１０３は、線分の検出結果を示す画像（以下、線分検出画像と称する）をスプライン処理部１０４に供給する。
スプライン処理部１０４は、線分検出画像に対してスプライン処理を行い、線分検出画像内の曲線を検出する。スプライン処理部１０４は、曲線の検出結果を示す画像（以下、スプライン画像と称する）を区画線検出部１０５に供給する。
区画線検出部１０５は、スプライン画像内の曲線に基づいて、車両１０の前方の道路の区画線を検出する。区画線検出部１０５は、区画線の検出結果を示すデータを合成部３２及び動作制御部１３に供給する。
＜区画線検出処理＞
次に、図３のフローチャートを参照して、車両１０により実行される区画線検出処理について説明する。
この処理は、例えば、車両１０を起動し、運転を開始するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップＳ１において、撮影部１１は、広角画像を撮影する。具体的には、撮影部１１は、ズームレンズの焦点距離を短く、画角を広く設定した状態で車両１０の前方を撮影する。撮影部１１は、撮影の結果得られた広角画像を変換部３１に供給する。
ステップＳ２において、撮影部１１は、望遠画像を撮影する。具体的には、撮影部１１は、ズームレンズの焦点距離を長く、画角を狭く設定した状態で車両１０の前方を撮影する。撮影部１１は、撮影の結果得られた望遠画像を変換部３１に供給する。
ステップＳ３において、変換部３１は、広角画像及び望遠画像を鳥瞰画像に変換する。
例えば、変換部３１は、変換関数である関数ｆ１（α，β，γ，ｓ）＋関数ｆ２（ｖ，Δｔ）を用いて、広角画像及び望遠画像を鳥瞰画像に変換する。
なお、以下、関数ｆ１（α，β，γ，ｓ）を単に関数ｆ１と称し、関数ｆ２（ｖ，Δｔ）を単に関数ｆ２と称し、関数ｆ１（α，β，γ，ｓ）＋関数ｆ２（ｖ，Δｔ）を単に関数ｆ１＋ｆ２と称する場合がある。
関数ｆ１は、撮影画像から鳥瞰画像への変換に用いられる関数である。
関数ｆ１の変数であるピッチ角α、ヨー角β、ロール角γは、それぞれ撮影部１１の取付角（オイラー角）を示す。スケールｓは、変換後の鳥瞰画像の拡大率又は縮小率を示す。
ここで、図４を参照して、ピッチ角α、ヨー角β、ロール角γの定義について説明する。
図４は、ワールド座標系、及び、撮影部１１のカメラ座標系の例を示している。
図４の点Ｏは、撮影部１１の光学中心を示し、ｈは、光学中心Ｏの地面からの高さを示している。
ワールド座標系は、互いに直交する軸Ｘｗ、軸Ｙｗ、及び、軸Ｚｗにより定義される。軸Ｘｗ及び軸Ｙｗは、地面に対して水平な軸であり、軸Ｚｗは、地面に対して垂直な軸である。
カメラ座標系は、互いに直交する軸Ｘｃ、軸Ｙｃ、及び、軸Ｚｃにより定義される。軸Ｘｃは、撮影部１１の横方向（左右方向）の軸であり、軸Ｙｃは、撮影部１１の縦方向（上下方向）の軸であり、軸Ｚｃは、撮影部１１の光軸と一致する軸である。
ピッチ角αは、軸Ｚｃ（撮影部１１の光軸）の地面に垂直な方向の向きを示す。具体的には、ピッチ角αは、ワールド座標系の軸Ｙｗ及び軸Ｚｗからなる、地面に対して垂直な面において、軸Ｙｗに対する軸Ｚｃの角度を示す。
ヨー角βは、軸Ｚｃ（撮影部１１の光軸）の地面に水平な方向の向きを示す。具体的には、ヨー角βは、ワールド座標系の軸Ｘｗ及び軸Ｙｗからなる、地面に対して水平な面において、軸Ｙｗに対する軸Ｚｃの角度を示す。
ロール角γは、軸Ｚｃ（撮影部１１の光軸）の回転方向の角度であり、ワールド座標系の軸Ｘｗ及び軸Ｚｗからなる、地面に対して垂直な面において、軸Ｘｗに対する軸Ｘｃの角度を示す。
なお、関数ｆ１には、例えば、次式（１）の変換行列Ｔを用いて、撮影画像から鳥瞰画像への座標変換を行う処理が含まれる。
Figure 2021144257
高さｈは、図４に示される、撮影部１１の光学中心Ｏの地面からの高さを示す。
また、ｃ１＝ｃｏｓα、ｃ２＝ｃｏｓβ、ｓ１＝ｓｉｎα、ｓ２＝ｓｉｎβである。α及びβは、上述した撮影部１１の取付角を示すピッチ角α及びヨー角βである。
焦点距離ｆｕ及び焦点距離ｆｖは、撮影部１１の水平方向の焦点距離及び垂直方向の焦点距離を示す。
ｃｕ及びｃｖは、図５に示されるように、水平方向のｕ軸及び垂直方向のｖ軸からなる画像座標系における撮影画像の中心Ｐｃの座標を示す。
なお、撮影画像から鳥瞰画像への変換方法については、例えば、「M. Aly, "Real time detection of lane markers in urban streets", In Intelligent Vehicles Symposium, 2008 IEEE, pages 7-12, IEEE, 2008年2月"」等に詳細が開示されている。
関数ｆ２（ｖ，Δｔ）は、鳥瞰画像を車両１０の進行方向にシフトするための関数である。関数ｆ２（ｖ，Δｔ）は、主に、広角画像と望遠画像の撮影タイミングのズレを補正するために用いられる。
車速ｖは、車両１０の速度を示している。時間差ΔＴは、広角画像の撮影タイミング（撮影時刻）と望遠画像の撮影タイミング（撮影時刻）との間の時間差を示している。
また、変換部３１は、毎回、又は、所定のタイミングで、広角鳥瞰画像と望遠広角画像の類似度が大きく（例えば、最大）になるように、関数ｆ１＋ｆ２の調整（最適化処理）を行う。
例えば、まず、変換部３１は、広角画像及び望遠画像の特徴点を検出する。
なお、特徴点の検出方法は、特に限定されない。
次に、変換部３１は、広角画像と望遠画像との間で、互いに対応する特徴点のペア、すなわち、現実世界において同じ位置の特徴点のペアを少なくとも３ペア以上検出する。
なお、特徴点のペアの検出方法は、特に限定されない。例えば、ＺＮＣＣ（Zero-means Normalized Cross-Correlation）、ＳＩＦＴ（Scale-Invariant Feature Transform）等を用いて、特徴点のペアが検出される。
次に、変換部３１は、関数ｆ１＋ｆ２を用いて、各ペアを構成する特徴点の広角鳥瞰画像及び望遠鳥瞰画像上の位置を算出する。
そして、変換部３１は、広角鳥瞰画像と望遠鳥瞰画像の対応する特徴点（ペアを構成する特徴点）の位置関係に基づいて、関数ｆ１＋ｆ２の変数であるピッチ角α、ヨー角β、ロール角γ、スケールｓ、及び、車速ｖを調整する。例えば、変換部３１は、最小二乗法等を用いて、広角鳥瞰画像と望遠鳥瞰画像の対応する特徴点の座標の差が最小になるように、ピッチ角α、ヨー角β、ロール角γ、スケールｓ、及び、車速ｖを調整する。
なお、ピッチ角α、ヨー角β、ロール角γは、撮影部１１を車両１０に取り付けたときに設計値として得られる。しかし、車両１０の動きや外部からの衝撃等により撮影部１１の位置や向きが変化する場合があるため、上述したように微調整することが望ましい。
また、車速ｖは、動作制御部１３から供給されるデータに基づいて設定される。
そして、変換部３１は、広角鳥瞰画像及び望遠鳥瞰画像を合成部３２に供給する。
このように、広角画像と望遠画像をそれぞれ鳥瞰画像に変換することにより、異なる視点及び焦点距離により撮影された２つの画像が１つのドメイン上に変換される。その結果、２つの画像の合成が容易になる。
また、広角画像及び望遠画像では、区画線が消失点に向かう線分となるが、広角鳥瞰画像及び望遠鳥瞰画像では、区画線が平行線となる。その結果、区画線の検出精度が向上する。
ステップＳ４において、合成部３２は、２つの鳥瞰画像を合成する。具体的には、合成部３２は、広角鳥瞰画像と望遠鳥瞰画像を、位置合わせをした後に合成することにより、合成画像を生成する。合成部３２は、合成画像をフィルタリング部１０１に供給する。
なお、合成部３２は、例えば、区画線検出処理のループ内において、ステップＳ４の処理の前に行われたステップＳ９の処理（後述）で得られた区画線の検出結果を用いて、フィードバック制御を行うようにしてもよい。例えば、合成部３２は、ステップＳ９の処理で検出された区画線の本数や位置の分散等に基づいて、広角鳥瞰画像と望遠鳥瞰画像の位置合わせを行う。これにより、２つの鳥瞰画像の合成精度が向上する。
ステップＳ５において、フィルタリング部１０１は、合成画像のフィルタリングを行う。具体的には、フィルタリング部１０１は、所定のフィルタを用いて合成画像のフィルタリングを行うことにより、合成画像のエッジを抽出する。フィルタリング部１０１は、合成画像のエッジを抽出したエッジ画像を二値化部１０２に供給する。
なお、フィルタリング部１０１が用いるフィルタには、画像のエッジを抽出可能な任意のフィルタを用いることが可能である。
ステップＳ６において、二値化部１０２は、二値化処理を行う。すなわち、二値化部１０２は、所定の閾値を用いて、エッジ画像を二値化する。これにより、合成画像のエッジ部分を示す二値化画像が生成される。二値化部１０２は、二値化画像を線分検出部１０３に供給する。
ステップＳ７において、線分検出部１０３は、線分検出処理を行う。具体的には、線分検出部１０３は、二値化画像内の線分を検出する。線分検出部１０３は、線分の検出結果を示す線分検出画像をスプライン処理部１０４に供給する。
なお、線分検出処理には、任意の手法を用いることが可能である。
ステップＳ８において、スプライン処理部１０４は、スプライン処理を行う。具体的には、スプライン処理部１０４は、線分検出画像に対してスプライン処理を行うことにより、線分検出画像内の各線分を曲線モデルにフィッティングさせる。これにより、線分検出画像において曲線が検出される。スプライン処理部１０４は、曲線の検出結果を示すスプライン画像を区画線検出部１０５に供給する。
なお、スプライン処理には、例えば、ＲＡＮＳＡＣ（Random Sampling Consensus）等の任意の手法を用いることができる。
ステップＳ９において、区画線検出部１０５は、区画線の検出処理を行う。例えば、区画線検出部１０５は、各曲線の形状や曲線間の幅等に基づいて、スプライン画像内の曲線のうち区画線を構成する曲線を抽出する。そして、区画線検出部１０５は、抽出した曲線により構成される区画線を検出する。区画線検出部１０５は、区画線の検出結果を示すデータを合成部３２及び動作制御部１３に供給する。
なお、区画線の検出処理には、任意の手法を用いることができる。
動作制御部１３は、車両１０の前方の道路の区画線の検出結果等に基づいて、車両１０の動作を制御する。例えば、動作制御部１３は、前方の道路の区画線に基づいて、前方の道路の車線を検出する。そして、例えば、動作制御部１３は、車線の検出結果に基づいて、車両１０が車線内を安定して走行するように車両１０の進行方向の制御（レーン制御）を行う。また、例えば、動作制御部１３は、車線の検出結果に基づいて、車両１０の車線変更の制御や、隣接する車線の車両の検出処理を行う。
その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
このようにして、車両１０の前方の道路の区画線の検出精度を向上させることができる。
例えば、図６は、広角鳥瞰画像及び望遠鳥瞰画像の範囲の例を示している。具体的には、図６のＡの範囲Ｐｇ１は、広角鳥瞰画像に写っている範囲の例を示している。図６のＢの範囲Ｐｇ２は、望遠鳥瞰画像に写っている範囲の例を示している。図６のＣは、広角鳥瞰画像と望遠鳥瞰画像を合成した合成画像に写っている範囲の例を示している。
このように、車両１０では、広角鳥瞰画像又は望遠鳥瞰画像を単独で用いる場合と比較して、より広い範囲の情報を用いて区画線を検出することができる。従って、情報量が増えることにより、検出部２２の区画線の検出精度が向上する。また、より広い範囲の区画線を一度に検出することができる。例えば、より遠方の区画線を検出したり、車両１０が走行中の車線に隣接する車線の区画線を検出したりすることが可能になる。
また、広角鳥瞰画像と望遠鳥瞰画像でそれぞれ個別に区画線を検出してから、検出結果を合成する場合、誤差等により２つの検出結果の間に矛盾が生じる場合がある。また、検出結果を合成するために複雑な演算処理が必要になる。一方、２つの鳥瞰画像を合成してから区画線を検出することにより、上述した検出結果の矛盾の発生が防止される。また、画像の合成処理は、検出結果の合成処理より演算量が少ないため、演算量を削減することができる。
さらに、例えば、広角鳥瞰画像と望遠広角画像の類似度が最大になるように、撮影画像から鳥瞰画像への変換関数が最適化されることにより、区画線の検出精度がさらに向上する。
＜＜２．第２の実施の形態＞＞
次に、図７及び図８を参照して、本技術の第２の実施の形態について説明する。
＜車両２００の構成例＞
図７は、本技術を適用した車両の第２の実施の形態である車両２００の構成例を示している。なお、図中、図１の車両１０と対応する部分には同じ符号を付しており、その説明は適宜省略する。
車両２００は、車両１０と比較して、撮影部１１の代わりに、撮影部２０１を備える点が異なる。撮影部２０１は、撮影対象となる波長域が互いに異なる可視画像撮影部２１１及び赤外画像撮影部２１２を備える。
可視画像撮影部２１１は、例えば、可視光に対して感度を有する撮影装置を備える。可視画像撮影部２１１は、車両２００の前方を撮影し、撮影の結果得られた画像（以下、可視画像と称する）を変換部３１に供給する。
赤外画像撮影部２１２は、例えば、赤外光に対して感度を有する撮影装置を備える。赤外画像撮影部２１２は、車両２００の前方を撮影し、撮影の結果得られた画像（以下、赤外画像と称する）を変換部３１に供給する。
なお、可視画像と撮像画像とは、撮影範囲の一部が重なる。
＜区画線検出処理＞
次に、図８のフローチャートを参照して、車両２００により実行される区画線検出処理について説明する。
この処理は、例えば、車両２００を起動し、運転を開始するための操作が行われたとき、例えば、車両２００のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両２００のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップＳ１０１において、可視画像撮影部２１１及び赤外画像撮影部２１２は、可視画像及び赤外画像を撮影する。具体的には、可視画像撮影部２１１は、車両２００の前方を撮影し、撮影の結果得られた可視画像を変換部３１に供給する。赤外画像撮影部２１２は、車両２００の前方を撮影し、撮影の結果得られた赤外画像を変換部３１に供給する。
ステップＳ１０２において、変換部３１は、可視画像及び赤外画像を鳥瞰画像に変換する。すなわち、変換部３１は、上述した図３のステップＳ３と同様の処理により、可視画像及び赤外画像を鳥瞰画像に変換する。
なお、以下、可視画像から変換された鳥瞰画像を可視鳥瞰画像と称し、赤外画像から変換された鳥瞰画像を赤外鳥瞰画像と称する。
変換部３１は、可視鳥瞰画像及び赤外鳥瞰画像を合成部３２に供給する。
なお、可視画像及び赤外画像は異なる撮影部により撮影されるため、変換関数ｆ１＋ｆ２に与える変数の値は、可視画像と赤外画像とで異なる。従って、上述した変換関数ｆ１＋ｆ２の最適化処理を行った場合、可視画像と赤外画像とで、変数の最適値は異なる値になる。
ステップＳ１０３において、合成部３２は、図３のステップＳ３と同様の処理により、２つの鳥瞰画像、すなわち、可視鳥瞰画像と赤外鳥瞰画像を合成する。合成部３２は、合成画像を検出部２２のフィルタリング部１０１に供給する。
その後、ステップＳ１０４乃至ステップＳ１０８において、図３のステップＳ５乃至ステップＳ９と同様の処理が実行される。すなわち、可視鳥瞰画像と赤外鳥瞰画像を合成した合成画像に基づいて、車両２００の前方の道路の区画線が検出される。
その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
以上のように、可視鳥瞰画像と赤外鳥瞰画像を合成した合成画像に基づいて、車両２００の前方の区画線を検出することにより、特に夜間やトンネル内等の暗所において区画線の検出精度が向上する。例えば、可視画像のみを用いた場合、暗所では、車両２００のヘッドライトや街灯等の照明が照らされた領域（以下、照明領域と称する）しか精度よく区画線を検出することができない。これに対して、赤外画像をさらに用いることにより、照明領域以外の領域（以下、非照明領域と称する）の区画線も精度よく検出できるようになる。
また、可視鳥瞰画像と赤外鳥瞰画像を合成した合成画像を用いることにより、検出部２２は、より多くの情報量に基づいて区画線の検出処理を行うことができるため、検出精度が向上する。例えば、赤外画像は通常ノイズが多いため、単体では区画線を精度よく検出することが難しい。これに対して、例えば、可視鳥瞰画像の照明領域内の区画線の検出結果を手掛かりとして、赤外画鳥瞰画像の非照明領域内の区画線の検出処理を行うことができる。これにより、非照明領域の区画線の検出精度が向上する。
さらに、可視鳥瞰画像と赤外鳥瞰画像を合成してから区画線を検出することにより、上述した第１の実施の形態と同様に、２つの画像に基づく検出結果の間の矛盾を防止したり、演算量を削減したりすることができる。
また、撮影画像から鳥瞰画像への変換関数の最適化を行うことにより、区画線の検出精度がさらに向上する。
＜＜３．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
以上の説明では、車両の前方の区画線の検出処理に本技術を用いる例を示したが、本技術は、車両の前方以外の他の方向の区画線の検出処理にも適用することが可能である。
また、本技術は、車両の周囲（例えば、前方）の道路に関する他の検出処理にも適用することができる。
例えば、本技術は、車両の周囲の道路の路肩、路側帯、又は、歩道の検出処理に適用することができる。
また、例えば、本技術は、車両の周囲の道路の走行可能領域の検出処理（例えば、車道と歩道の分離処理）にも適用することができる。
さらに、以上の説明では、２つの撮影画像がそれぞれ鳥瞰画像に変換され、合成された合成画像を検出処理に用いる例を示したが、３以上の撮影画像がそれぞれ鳥瞰画像に変換され、合成された合成画像を検出処理に用いることも可能である。
また、例えば、撮影部の構成を適宜変更することが可能である。
例えば、第１の実施の形態において、広角画像と望遠画像を異なる撮影装置（例えば、広角カメラと望遠カメラ）により撮影するようにしてもよい。
また、例えば、車両の様々な方向（例えば、前方、横方向、後方等）を撮影するとともに、撮影範囲の一部が他の撮影装置のうちの少なくとも１つと重なるように複数の撮影装置を設けるようにしてもよい。そして、各方向を撮影した撮影画像が鳥瞰画像に変換され、合成された合成画像を検出処理に用いるようにしてもよい。
さらに、本技術を適用可能な車両の種類は特に限定されない。また、本技術は、先に例示した車両以外にも、パーソナルモビリティ、建設機械、農業機械（トラクター）、ロボット等の路面を走行する他の移動体にも適用することができる。さらに、本技術は、ロボット等のユーザが搭乗せずにリモートで運転（操作）する移動体や自律走行する移動体にも適用することができる。
なお、本技術を道路以外の通路を走行する移動体に適用した場合、例えば、移動体の周囲の通路に関する検出処理（例えば、建物内の廊下等の区画線の検出処理）を行うようにすることができる。
＜＜４．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ５００では、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
撮影範囲の一部が重なる複数の撮影画像をそれぞれ鳥瞰画像に変換する変換部と、
複数の前記鳥瞰画像を合成することにより合成画像を生成する合成部と、
前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う検出部と
を備える情報処理装置。
（２）
複数の前記撮影画像は、画角、波長域、及び、撮影に用いられた撮影装置のうち少なくとも１つが互いに異なる
前記（１）に記載の情報処理装置。
（３）
各前記撮影画像は、同じ撮影装置により異なる画角で撮影される
前記（２）に記載の情報処理装置。
（４）
複数の前記撮影画像は、可視画像及び赤外画像を含む
前記（２）又は（３）に記載の情報処理装置。
（５）
前記可視画像と前記赤外画像は、異なる撮影装置により撮影される
前記（４）に記載の情報処理装置。
（６）
前記検出部は、前記通路の区画線の検出処理を行う
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記合成部は、前記通路の区画線の検出結果を用いて、複数の前記鳥瞰画像を合成する
前記（６）に記載の情報処理装置。
（８）
前記検出部は、前記通路の走行可能領域の検出処理を行う
前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記検出部は、前記通路としての道路の路肩、路側帯、又は、歩道の検出処理を行う
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記変換部は、複数の前記鳥瞰画像の間の類似度が大きくなるように、前記撮影画像から前記鳥瞰画像への変換に用いる変換関数の調整を行う
前記（１）乃至（９）のいずれかに記載の情報処理装置。
（１１）
前記変換部は、複数の前記鳥瞰画像の間の対応する特徴点の位置関係に基づいて、前記変換関数の変数の値を調整する
前記（１０）に記載の情報処理装置。
（１２）
前記変数は、前記撮影画像の撮影に用いる撮影装置の前記移動体への取付角、前記鳥瞰画像の拡大率又は縮小率、並びに、前記移動体の速度のうち少なくとも１つを含む
前記（１１）に記載の情報処理装置。
（１３）
複数の前記撮影画像を撮影する撮影部を
さらに備える前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
撮影範囲の一部が重なる複数の撮影画像をそれぞれ鳥瞰画像に変換し、
複数の前記鳥瞰画像を合成することにより合成画像を生成し、
前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う
情報処理方法。
（１５）
撮影範囲の一部が重なる複数の撮影画像をそれぞれ鳥瞰画像に変換し、
複数の前記鳥瞰画像を合成することにより合成画像を生成し、
前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う
処理をコンピュータに実行させるためのプログラム。
（１６）
撮影範囲の一部が重なる複数の撮影画像を撮影する撮影部と、
複数の前記撮影画像をそれぞれ鳥瞰画像に変換する変換部と、
複数の前記鳥瞰画像を合成することにより合成画像を生成する合成部と、
前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う検出部と、
前記検出処理の結果に基づいて、動作の制御を行う動作制御部と
を備える移動体。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１０ 車両， １１ 撮影部， １２ 画像処理部， １３ 動作制御部， ２１ 合成画像生成部， ２２ 検出部， ３１ 変換部， ３２ 合成部， ２００ 車両， ２０１ 撮影部， ２１１ 可視画像撮影部， ２１２ 赤外画像撮影部

Claims (16)

  1. 撮影範囲の一部が重なる複数の撮影画像をそれぞれ鳥瞰画像に変換する変換部と、
    複数の前記鳥瞰画像を合成することにより合成画像を生成する合成部と、
    前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う検出部と
    を備える情報処理装置。
  2. 複数の前記撮影画像は、画角、波長域、及び、撮影に用いられた撮影装置のうち少なくとも１つが互いに異なる
    請求項１に記載の情報処理装置。
  3. 各前記撮影画像は、同じ撮影装置により異なる画角で撮影される
    請求項２に記載の情報処理装置。
  4. 複数の前記撮影画像は、可視画像及び赤外画像を含む
    請求項２に記載の情報処理装置。
  5. 前記可視画像と前記赤外画像は、異なる撮影装置により撮影される
    請求項４に記載の情報処理装置。
  6. 前記検出部は、前記通路の区画線の検出処理を行う
    請求項１に記載の情報処理装置。
  7. 前記合成部は、前記通路の区画線の検出結果を用いて、複数の前記鳥瞰画像を合成する
    請求項６に記載の情報処理装置。
  8. 前記検出部は、前記通路の走行可能領域の検出処理を行う
    請求項１に記載の情報処理装置。
  9. 前記検出部は、前記通路としての道路の路肩、路側帯、又は、歩道の検出処理を行う
    請求項１に記載の情報処理装置。
  10. 前記変換部は、複数の前記鳥瞰画像の間の類似度が大きくなるように、前記撮影画像から前記鳥瞰画像への変換に用いる変換関数の調整を行う
    請求項１に記載の情報処理装置。
  11. 前記変換部は、複数の前記鳥瞰画像の間の対応する特徴点の位置関係に基づいて、前記変換関数の変数の値を調整する
    請求項１０に記載の情報処理装置。
  12. 前記変数は、前記撮影画像の撮影に用いる撮影装置の前記移動体への取付角、前記鳥瞰画像の拡大率又は縮小率、並びに、前記移動体の速度のうち少なくとも１つを含む
    請求項１１に記載の情報処理装置。
  13. 複数の前記撮影画像を撮影する撮影部を
    さらに備える請求項１に記載の情報処理装置。
  14. 撮影範囲の一部が重なる複数の撮影画像をそれぞれ鳥瞰画像に変換し、
    複数の前記鳥瞰画像を合成することにより合成画像を生成し、
    前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う
    情報処理方法。
  15. 撮影範囲の一部が重なる複数の撮影画像をそれぞれ鳥瞰画像に変換し、
    複数の前記鳥瞰画像を合成することにより合成画像を生成し、
    前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う
    処理をコンピュータに実行させるためのプログラム。
  16. 撮影範囲の一部が重なる複数の撮影画像を撮影する撮影部と、
    複数の前記撮影画像をそれぞれ鳥瞰画像に変換する変換部と、
    複数の前記鳥瞰画像を合成することにより合成画像を生成する合成部と、
    前記合成画像に基づいて移動体の周囲の通路に関する検出処理を行う検出部と、
    前記検出処理の結果に基づいて、動作の制御を行う動作制御部と
    を備える移動体。
JP2018108328A 2018-06-06 2018-06-06 情報処理装置、情報処理方法、プログラム、及び、移動体 Pending JP2021144257A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018108328A JP2021144257A (ja) 2018-06-06 2018-06-06 情報処理装置、情報処理方法、プログラム、及び、移動体
PCT/JP2019/020378 WO2019235227A1 (ja) 2018-06-06 2019-05-23 情報処理装置、情報処理方法、プログラム、及び、移動体
US17/059,654 US11948371B2 (en) 2018-06-06 2019-05-23 Information processing apparatus, information processing method, and mobile body for detection of lane markings on a passage

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018108328A JP2021144257A (ja) 2018-06-06 2018-06-06 情報処理装置、情報処理方法、プログラム、及び、移動体

Publications (1)

Publication Number Publication Date
JP2021144257A true JP2021144257A (ja) 2021-09-24

Family

ID=68769329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018108328A Pending JP2021144257A (ja) 2018-06-06 2018-06-06 情報処理装置、情報処理方法、プログラム、及び、移動体

Country Status (3)

Country Link
US (1) US11948371B2 (ja)
JP (1) JP2021144257A (ja)
WO (1) WO2019235227A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004297405A (ja) * 2003-03-26 2004-10-21 Sumitomo Electric Ind Ltd 撮像装置、撮像システム及び撮像方法
JP5120880B2 (ja) * 2007-10-15 2013-01-16 アルパイン株式会社 画像処理装置及び画像処理方法
JP6371553B2 (ja) 2014-03-27 2018-08-08 クラリオン株式会社 映像表示装置および映像表示システム
JP6471522B2 (ja) * 2015-02-10 2019-02-20 株式会社デンソー カメラパラメータ調整装置
JP6538547B2 (ja) * 2015-12-25 2019-07-03 株式会社Ｓｏｋｅｎ 道路曲率計測装置
JP6838248B2 (ja) 2016-02-22 2021-03-03 日立Astemo株式会社 情報処理装置
US10648832B2 (en) * 2017-09-27 2020-05-12 Toyota Research Institute, Inc. System and method for in-vehicle display with integrated object detection

Also Published As

Publication number Publication date
US11948371B2 (en) 2024-04-02
WO2019235227A1 (ja) 2019-12-12
US20210209379A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
US9940527B2 (en) Driving assist system for vehicle and method thereof
Pfeiffer et al. Efficient representation of traffic scenes by means of dynamic stixels
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
JP6270102B2 (ja) 移動面境界線認識装置、これを用いた移動体機器制御システム、移動面境界線認識方法及び移動面境界線認識用プログラム
Hubschneider et al. Adding navigation to the equation: Turning decisions for end-to-end vehicle control
WO2015002031A1 (ja) 映像表示システム、映像合成装置及び映像合成方法
JP2019067345A (ja) 車両制御装置、車両制御方法、およびプログラム
EP3299994A1 (en) A method for advanced and low cost cross traffic alert, related processing system, cross traffic alert system and vehicle
US11004233B1 (en) Intelligent vision-based detection and ranging system and method
JP5561064B2 (ja) 車両用対象物認識装置
WO2012141053A1 (ja) 画像処理装置
JP2005251106A (ja) 車線認識装置
Fries et al. Autonomous convoy driving by night: The vehicle tracking system
WO2017043331A1 (ja) 画像処理装置、及び、画像処理方法
JP2024503671A (ja) 可視光カメラ情報と熱カメラ情報とを組合せて処理を行うシステム及び方法
JP7272334B2 (ja) 地図生成装置および地図生成方法
Su et al. 3D AVM system for automotive applications
JP2020095627A (ja) 画像処理装置および画像処理方法
Nambi et al. FarSight: a smartphone-based vehicle ranging system
Ramirez et al. Panoramic stitching for driver assistance and applications to motion saliency-based risk analysis
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
WO2019235227A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
KR101044728B1 (ko) 차선 이탈 경고 시스템 및 방법