JP2017083919A - 障害物マップ生成装置、その方法、及び、そのプログラム - Google Patents

障害物マップ生成装置、その方法、及び、そのプログラム Download PDF

Info

Publication number
JP2017083919A
JP2017083919A JP2015208195A JP2015208195A JP2017083919A JP 2017083919 A JP2017083919 A JP 2017083919A JP 2015208195 A JP2015208195 A JP 2015208195A JP 2015208195 A JP2015208195 A JP 2015208195A JP 2017083919 A JP2017083919 A JP 2017083919A
Authority
JP
Japan
Prior art keywords
moving body
obstacle map
obstacle
grid
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015208195A
Other languages
English (en)
Other versions
JP6559535B2 (ja
Inventor
雅起 山崎
Masaki Yamazaki
雅起 山崎
豪 田崎
Takeshi Tazaki
豪 田崎
理絵 香月
Rie Katsuki
理絵 香月
友樹 渡辺
Yuki Watanabe
友樹 渡辺
関根 真弘
Masahiro Sekine
真弘 関根
学 西山
Manabu Nishiyama
学 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2015208195A priority Critical patent/JP6559535B2/ja
Priority to US15/259,108 priority patent/US10354150B2/en
Publication of JP2017083919A publication Critical patent/JP2017083919A/ja
Application granted granted Critical
Publication of JP6559535B2 publication Critical patent/JP6559535B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0085Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

【課題】障害物マップの中で重要な範囲だけ解像度を上げることができる障害物マップ生成装置、その方法、及び、そのプログラムを提供する。【解決手段】第1移動体2から、第1移動体2の周囲にある障害物までの距離データを取得する距離データ取得部11と、第1移動体2を中心として2次元のグリッドで構成された障害物マップに関して、距離データに対応した位置に対応するグリッドに障害物が存在するように設定する生成部17と、現時刻における第1移動体2の移動状態を示す第1情報を取得して、第1移動体2の動作モードを決定する決定部13と、動作モードから、第1移動体2の次の時刻における移動範囲である注目範囲Aを、障害物マップMのグリッドの解像度より高い解像度のグリッドで設定する範囲設定部16とを有し、生成部17は、障害物マップMに注目範囲Aを合わせる。【選択図】 図1

Description

本発明の実施形態は、障害物マップ生成装置、その方法、及び、そのプログラムに関する。
自動車の自動運転支援システムを実現するためには、自車の周辺の環境を解析し、自車の経路を生成することが必要となる。この経路を生成するためには、ステレオカメラ、レーザセンサなどのデータから、歩行者、他の車両などの障害物を検出し、自車の周辺をグリッド状に分割し、各グリッドにおける障害物を時系列的に表現した障害物マップ(Occupancy Grid Map)を利用する。
特許第4650750号公報
しかし、上記障害物マップに関して、障害物マップ全体の単位当たりのグリッド数を増やして、解像度を上げることは、処理時間が長くなり、メモリ量も増加するという問題点があった。
そこで本発明の実施形態は、上記問題点を解決するために、障害物マップの中で重要な範囲だけ解像度を上げることができる障害物マップ生成装置、その方法、及び、そのプログラムを提供することを目的とする。
本発明の実施形態は、第1移動体を中心として2次元のグリッドで構成された障害物マップを生成する障害物マップ生成装置であって、前記第1移動体から、前記第1移動体の周囲にある障害物までの距離データを取得する距離データ取得部と、現時刻における前記第1移動体の移動状態を示す第1情報を取得して、前記第1移動体の動作モードを決定する決定部と、前記動作モードから、前記第1移動体の次の時刻における移動範囲である注目範囲を、前記障害物マップの前記グリッドの解像度より高い解像度のグリッドで設定する範囲設定部と、(1)前記障害物マップと前記注目範囲と位置合わせし、(2)前記距離データに対応した位置に関して、前記障害物マップの前記グリッドと前記注目範囲の前記グリッドに前記障害物が存在するようにマップを生成する生成部と、を有する障害物マップ生成装置である。
また、本発明の実施形態は、第1移動体を中心として3次元のグリッドで構成された障害物マップを生成する障害物マップ生成装置であって、前記第1移動体から、前記第1移動体の周囲にある障害物までの距離データを取得する距離データ取得部と、現時刻における前記第1移動体の移動状態を示す第1情報を取得して、前記第1移動体の3次元移動ベクトルを決定する決定部と、前記3次元移動ベクトルから、前記第1移動体の次の時刻における移動範囲である注目範囲を、前記障害物マップの前記グリッドの解像度より高い解像度のグリッドで設定する範囲設定部と、(1)前記障害物マップと前記注目範囲と位置合わせし、(2)前記距離データに対応した位置に関して、前記障害物マップの前記グリッドと前記注目範囲の前記グリッドに前記障害物が存在するように生成する生成部と、を有する障害物マップ生成装置である。
実施形態1に係る障害物マップ生成装置を表すブロック図。 障害物マップ生成装置1の処理を表すフローチャート。 カメラ座標系の説明図。 画像座標系の説明図。 自車の位置姿勢を算出する説明図。 経路候補C1の説明図。 経路候補C2の説明図。 経路候補C3の説明図。 経路候補C4の説明図。 経路候補C5の説明図。 経路候補C6の説明図。 経路候補C7の説明図。 移動先Dの説明図。 環境情報の説明図。 障害物マップMの説明図。 実施形態2に係る障害物マップ生成装置を表すブロック図。 障害物マップの説明図。 障害物マップ生成装置のハードウェア構成を示すブロック図。
以下、本発明の一実施形態の障害物マップ生成装置1について図面に基づいて説明する。
実施形態1の障害物マップ生成装置1は、2次元平面を移動する自動車のような移動体の経路(走路)に関する障害物マップを生成するものである。障害物マップは、2次元平面を格子状のグリッド(ピクセル)で分割され、各ピクセル単位で障害物の有無が表現されている。
実施形態2の障害物マップ生成装置1は、3次元空間を移動するUAV(無人航空機:Unmanned aerial vehicle)のような移動体の経路(航路)に関する障害物マップを生成するものである。障害物マップは、3次元空間を立方体、直方体形状の格子状のグリッド(ボクセル)で分割され、各ボクセル単位で障害物の有無が表現されている。
実施形態1
実施形態1の障害物マップ生成装置1について図1〜図16に基づいて説明する。本実施形態では、第1移動体としては、自動車(以下、「自車」という)2であり、障害物マップ生成装置1は、自車2の周辺の2次元平面の障害物マップMを生成する。すなわち、図6〜図12に示すように、障害物マップ生成装置1は、ピクセル状に分割された障害物マップMの中心に自車2が常に存在するようにして、各ピクセル単位で障害物の有無が表現された障害物マップMを時刻T毎に生成する。
障害物マップ生成装置1の構成について図1のブロック図に基づいて説明する。障害物マップ生成装置1は、距離データ取得部11、動き算出部12、決定部13、環境取得部14、予測部15、範囲設定部16、生成部17とを備えている。
自車2には、撮像機器としてステレオカメラ3、レーザセンサ4が設置されている。
距離データ取得部11は、ステレオカメラ3から得られる左右画像7L、7R、レーザセンサ4より得られる自車2の周辺にある物体までの3次元的な距離データを取得する。
動き算出部12は、距離データ取得部11で取得された左右画像7L、7Rや距離データより、自車2の動きを算出する。
決定部13は、自車2の第1情報である「自情報」を取得し、自車2の動作モードを決定する。
環境取得部14は、自車2が走行している経路に関する環境情報を取得する。
予測部15は、自車2の周辺にある第2移動体である「他移動体」(他車や歩行者など)の数秒後の移動先Dを予測する。
範囲設定部16は、決定部13が決定した動作モード、予測部15が予測した他移動体の移動先D、環境取得部14が取得した環境情報より、経路候補C、高い解像度の注目範囲Aを設定する。
生成部17は、距離データ取得部11が取得した3次元的な距離データ、動き算出部12から取得した自車2の姿勢と実スケールの移動状態より、自車2を中心とした障害物マップMを生成し、注目範囲Aを設定する。
障害物マップ生成装置1の処理について図2のフローチャートに基づいて説明する。
ステップS1において、距離データ取得部11は、自車2に設置されたステレオカメラ3から左右画像7L、7R、レーザセンサ4より自車2の周辺にある物体(障害物)までの3次元的な距離データを取得する。
ステップS2において、動き算出部12は、自車2の動き(姿勢と実スケールの移動状態)を算出する。
ステップS3において、決定部13は、自情報を取得し、自車2の動作モードを決定する。
ステップS4において、環境取得部14は、自車2の経路に関する環境情報を取得する。
ステップS5において、予測部15は、自車2の周辺にある他移動体の数秒(例えば、1〜3秒)後の移動先Dを予測する。
ステップS6において、範囲設定部16は、決定部13が決定した動作モード、予測部15が予測した他移動体の移動先D、環境取得部14が取得した環境情報より、自車2の経路候補C、高い解像度の注目範囲Aを算出する。
ステップS7において、生成部17は、距離データ取得部11が取得した距離データ、動き算出部12が取得した自車2の姿勢、高い解像度の注目範囲Aより、自車2を中心とした障害物マップMを生成する。
ステップS8において、生成部17は、障害物マップMを次の時刻に更新する。
ステップS9において、自車2が目的地に到着した場合には、障害物マップMの更新を終了し、到着していない場合にはステップS1に戻る。
距離データ取得部11について説明する。距離データ取得部11は、自車2に設置されたステレオカメラ3、レーザセンサ4より、自車2の周辺にある物体(障害物)までの距離データを取得する(図2のステップS1参照)。ステレオカメラ3は、左カメラ3Lと右カメラ3Rからなる。
ステレオカメラ3の焦点距離データなどを算出する校正、ステレオカメラ3の左右カメラ3L、3R間の相対的な位置と姿勢を算出する校正、ステレオカメラ3とレーザセンサ4との間の位置関係(回転と並進)を算出する校正などは、予め行われているものとする。
ここで、本実施形態で用いられる座標系は、ピクセル直交座標系、カメラ座標系、画像座標系の3種類である。
ピクセル直交座標系は、2次元平面の障害物マップMに時刻T毎に設定される2次元直交座標系であってp軸とq軸からなる。ピクセル直交座標系の原点は、自車2の中心に設定し、p軸方向は、時刻Tにおける自車2の走行方向に設定する。
図3に示すように、カメラ座標系は、3次元直交座標系であって、横方向のX軸、縦方向のY軸、奥行き方向のZ軸からなる。カメラ座標系の原点の位置が、自車2の中心位置とし、また、ピクセル直交座標系のp軸(進行方向)とZ軸が一致するように校正しておく。
図4に示すように、画像座標系は、左右カメラ3L、3Rのそれぞれで撮像した左右画像7L、7R上の横方向のx軸、縦方向のy軸からなる2次元直交座標系である。
ステレオカメラ3について説明する。距離データ取得部11は、ステレオカメラ3から得られる左右画像7L、7Rから自車2の周辺にある物体までの3次元的な距離データを取得する。ステレオカメラ3は、自車2の進行方向を撮像するのが望ましいが、校正を行うため、ステレオカメラ3の設置する位置や角度に対する制約はない。ステレオカメラ3は、可視光を受光できるデジタルカメラ、又は、赤外線を受光できるデジタルカメラなどである。
距離データ取得部11は、ステレオカメラ3から3次元的な距離データを取得するには、次のように行う。まず、ステレオカメラ3から得られる左右画像7L、7R間で特徴点の対応位置の探索を行う。対応位置の探索は、特徴点の回りに小領域を設定して、左右画像7L、7Rの輝度パタンで類似度をSSD(Sum of Squared Difference)などによって評価することで求める。次に、ステレオカメラ3の左右カメラ3L、3R間の相対的な位置と姿勢が予め校正されているため、左右画像7L、7R上の特徴点の位置関係と左右カメラ3L、3Rの空間的な位置関係を用いて特徴点の3次元位置を求める。
レーザセンサ4について説明する。距離データ取得部11は、レーザセンサ4からレーザ光を照射し、障害物で反射したレーザ光の反射光を測定することにより得られた3次元的な距離データを取得する。レーザセンサ4は、自車2の進行方向を照射するのが望ましい。但し、自車2にレーザセンサ4の設置する位置や角度に対する制約はない。
レーザセンサ4としては、例えば、レーザ光を照射してから障害物に反射し帰ってくるまでの時間を計測して距離データを算出する時間差方式、複数に変調させたレーザ光を照射し対象物に当たって戻ってきた拡散反射成分の位相差により対象物との距離データを求める位相差方式などがある。そのほかの距離センサとして、ミリ波を用いたミリ波レーダなどがある。
動き算出部12について説明する。動き算出部12は、ステレオカメラ3が取得した左右画像7L、7Rより自車2の動き(姿勢と実スケールの移動状態)を算出する(図2のステップS2参照)。
「姿勢」とは、自車2の回転行列Rを意味する。「回転行列R」とは、例えば、自車2が時刻T0から時刻T1において、右折、又は、左折した場合に発生する方位を意味する。
「実スケールの移動状態」とは、実スケール化した並進ベクトルtを意味する。時刻T1の自車2の位置ベクトルv1と時刻T2の位置ベクトルv2の差を示すベクトルが並進ベクトルtとなり、その移動距離(並進ベクトルのスカラー量)を実スケール(現実の距離)で表現したものである。
なお、最初の回転行列は単位行列、並進ベクトルは零ベクトルとする。
動き算出部12が、自車2の姿勢と実スケールの移動状態を算出する方法について説明する。その方法は、大きく2つの処理からなる。
動き算出部12が行う第1処理では、カメラ座標系における特徴点8の3次元位置を求める。なお、初期時刻T0において、動き算出部12は、自車2の姿勢と実スケールの移動状態を何も取得していないとする。
第1処理の第1段階において、図5(a)に示すように、ステレオカメラ3の左右カメラ3L、3Rが、例えば、3次元形状が立方体の物体5を撮像する。
第1処理の第2段階において、図5(b)に示すように、動き算出部12は、左右画像7La、7Raから特徴点8La、8Raを抽出する。ここで特徴点8La、8Raとしては、物体5の角部とする。なお、特徴点8La、8Raは、画像の一部に集中することがないように、すなわち、特徴点の一定範囲内で他の特徴点を検出しないようにすることが望ましい。
第1処理の第3段階において、動き算出部12は、左右画像7La、7Ra間で特徴点8La、8Raの対応位置の探索を行う。対応位置の探索は、特徴点8の回りに小領域を設定し、左右画像7La、7Raにおける小領域の輝度パタンをSSDによって評価し、左右の小領域に関して一定値以上の類似度であれば、左右の小領域内に特徴点8La、8Raがあるとする。
第1処理の第4段階において、動き算出部12は、特徴点8La、8Raの対応関係と、左右カメラ3L、3R間の位置関係から三角測量の原理によって、カメラ座標系における特徴点8の3次元位置を算出する。ステレオカメラ3は、左右カメラ3L、3R間の相対的な位置と姿勢が予め校正されているため、左右画像7L、7Rのそれぞれの画像座標系における特徴点8La、8Raの位置と、左右カメラ3L、3Rの空間的な位置関係を用いて、カメラ座標系における特徴点8の3次元位置を求める。
動き算出部12が行う第2処理は、左画像7Lbの画像座標系における特徴点8の画像位置、右画像7Rbの画像座標系における特徴点8の画像位置と、第1処理で求めたカメラ座標系における特徴点8の3次元位置に基づいて、時刻T1における自車2の姿勢と実スケールの移動状態を推定する。また、動き算出部12は、この第1の処理と第2の処理を繰り返し行うことで、時刻T毎の自車2の姿勢と実スケールの移動状態を推定する。但し、時刻Tに関して、T0<T1である。
第2処理の第1段階として、図5(c)に示すように、動き算出部12には、初期時刻T0に続けて時刻T1で左右画像7Lb、7Rbが入力する。
第2処理の第2段階として、動き算出部12は、時刻T1で入力した左右画像7Lb、7Rbに対して、第1処理で検出した初期時刻T0における特徴点8La、8Raと一致する特徴点8Lb、8Rbを検出して、左右画像7Lb、7Rbの画像座標系における左右画像座標値をそれぞれ求める。
第2処理の第3段階として、検出した特徴点8Lb、8Rbの左右画像7Lb、7Rbの画像座標系における左右画像座標値に基づいて、時刻T1における左右画像7Lb、7Rbの位置の対応付けを行う(特徴点追跡処理)。なお、動き算出部12は、時刻T1において、時刻T0からステレオカメラ3が大きく動いていない場合には、時刻T0の左右画像7La、7Raで検出した特徴点8La、8Raの周囲を探索することで、特徴点8Lb、8Rbを追跡できる。
第2処理の第4段階として、時刻T1における左右画像7Lb、7Rbの位置の対応付けができたため、動き算出部12は、時刻T1の左右画像7Lb、7Rbで検出した特徴点8Lb、8Rbのカメラ座標系における特徴点8の3次元位置を検出する。
第2処理の第5段階として、動き算出部12は、下記の式(1)のコスト関数Cを用いて、自車2の回転行列Rと並進ベクトルtを推定する。このコスト関数Cは、検出した特徴点の3次元位置を、仮定の回転行列Rと仮定の並進ベクトルtを用いて左右画像7L、7Rの中の一方の画像(以下、「基準画像」という)に投影し、その投影した位置と、基準画像上での特徴点の画像座標値との差分が小さくなるように、仮定の回転行列Rと仮定の並進ベクトルtを変化させて最適な回転行列Rと並進ベクトルtを求めるように設計されている。
Figure 2017083919
ここで、xiは検出したi番目の特徴点の基準画像上での画像座標値、P(R,t)は透視投影行列を表しており、自車2の回転行列Rと並進ベクトルtが含まれる。Xiは、特徴点に関して3次元のカメラ座標系の3次元位置(座標値)で表現したものである。このコスト関数Cを最小化するために非線形最適化を行い、回転行列Rと並進ベクトルtを求める。
決定部13について説明する。決定部13は、時刻T1における自車2の自情報を取得し、自車2の動作モードを決定する(図2のステップS3参照)。
第1に、決定部13は、時刻T1における自車2の自情報を取得する。「自情報」とは、自車2の移動状態を示す情報であり、自車2の車速、ブレーキの動作状態、左右のウィンカー情報(左右のウィンカーの点滅、又は、消灯状態)、バック(後方直進)をしているか否かの情報、ハザードの点消灯状態などの情報がある。これらの自情報は、CAN(車載ネットワーク)などを使って取得する。
第2に、決定部13は、自情報より自車2が例えば以下の7つのどの動作モードに該当するかを決定する。
動作モード1は、自車2が停止の状態である、
動作モード2は、自車2が停止、かつ、右折ウィンカーの点滅の状態である、
動作モード3は、自車2が停止、かつ、左折ウィンカーの点滅の状態である、
動作モード4は、自車2が前進の状態である、
動作モード5は、自車2が前進、かつ、右折ウィンカーの点滅の状態である、
動作モード6は、自車2が前進、かつ、左折ウィンカーの点滅の状態である、
動作モード7は、自車2が後退の状態である。
決定部13は、時刻T1における自車2の動作状態が停止、前方直進、後方直進のどの状態に属するかは、次のように決定する。
まず、決定部13は、時刻T1における自車2の車速が0に限りなく近い場合、自車2が停止していると決定でき、自情報のウィンカー情報(左右のウィンカーの点滅状態、又は、消灯状態)、又は、バック(後方直進)の情報があるか否かで動作モード1〜3のどれかであるかを決定できる。
次に、決定部13は、時刻T1における自車2の車速が0でない場合、自車2が直進していると決定でき、自情報のウィンカー情報、又は、バックの情報があるか否かで動作モード4〜7のどれかであるかを決定できる。
環境取得部14について説明する。環境取得部14は、時刻T1における自車2が走行している経路(道路)の環境情報を取得して、環境情報で示される環境物体6の3次元位置をカメラ座標系で表現して記憶する(図2のステップS4参照)。
「環境情報」としては、自車2が走行している道路の道路標識6Aの有無、信号機6Bの点灯状態、白線6Cの有無、ガードレール6Dの有無、ガイドポスト6Eの有無、横断歩道6Fの有無などがある。道路標識6Aは、道路の傍らに設置され、交通規制などを示す掲示板の内容である。ガードレール6Dは、道路の路肩や歩道との境界、中央分離帯などに設けられる。ガイドポスト6Eは車道と歩道の区切り(車止め)や、車線と車線の区切り部分に設置されている。
「環境物体6」とは、環境情報に示された道路標識6A、信号機6B、白線6C、ガードレール6D、ガイドポスト6E、横断歩道6Fなどをいう。
環境取得部14は、これらの環境情報を、カーナビなどの通信機器を使って取得するか、又は、道路上に設置された無線機器、車間通信機器、自車2に設置されたステレオカメラ3が取得した画像から画像認識技術を使って取得する。
環境取得部14は、時刻T1における動き算出部12が取得した自車2の姿勢と実スケールの移動状態を基準として、環境情報で示される環境物体6までの3次元的な距離データをカメラ座標系において求め、その距離データに対応した3次元位置に環境物体6を設定し、その3次元位置をカメラ座標系で表現して記憶する。環境物体6までの3次元的な距離データの求め方は、距離データ取得部11で取得した自車2の周辺の物体までの3次元的な距離データと、環境情報で示される環境物体6とが一致した場合に、その一致した物体までの3次元的な距離データを使用してもよい。
予測部15について説明する。予測部15は、時刻T1における自車2の周辺を移動している他移動体(他車や歩行者など)の(T1−T0)秒後の移動先Dを予測して、その移動先Dをカメラ座標系で表現して記憶する(図2のステップS5参照)。
予測部15が、時刻T1における他移動体(他車や歩行者など)の(T2−T1)秒後の移動先Dを予測するためには、自車2に設置されたステレオカメラ3、レーザセンサ4などの各時刻における他移動体の位置を追跡する必要がある。
予測部15が、他移動体の位置を追跡するには、道路上に設置された無線機器、車間通信機器や、自車2に設置されたステレオカメラ3、レーザセンサ4が取得したデータから画像認識技術などを用いて追跡する。すなわち、予測部15は、動き算出部12が取得した自車2の姿勢と実スケールの移動状態を基準として、時刻T1における他移動体の位置、姿勢、速度ベクトルを取得し、それに基づいて(T1−T0)秒後の他移動体の位置、姿勢、速度ベクトルを求めて他移動体の移動先Dを求め、その移動先Dをカメラ座標系で表現して記憶する。
範囲設定部16について説明する。範囲設定部16は、決定部13が決定した動作モード1〜7、予測部17が予測した他移動体の移動先D、環境取得部14が取得した環境情報に基づいて、時刻T1における自車2の経路候補Cと注目範囲Aを、カメラ座標系における3次元範囲で表現して設定する(図2のステップS6参照)。
まず、経路候補Cについて説明する。範囲設定部16は、決定部13が決定した動作モードを用いて、時刻T1における自車2の経路候補Cをカメラ座標系における3次元範囲で表現して設定する。この経路候補Cは、障害物マップMと同様にピクセル状に分割され、1ピクセルの大きさは、障害物マップMのピクセルと同じ大きさに設定されている。
図6に示すように、時刻T1において動作モード1の場合、範囲設定部16は、自車2を中心とした一定の前後範囲pM1、左右範囲qM1内に経路候補C1を設定する。自車2を中心とした前後範囲pM1、左右範囲qM1の大きさは、障害物マップMで表されるピクセル直交座標系におけるピクセルの大きさ(前後左右のピクセルサイズ)で表現する。
図7に示すように、時刻T1において動作モード2の場合、範囲設定部16は、自車2を中心とした前方右側の一定の前方範囲pM2、右範囲qM2内に経路候補C2を設定する。
図8に示すように、時刻T1において動作モード3の場合、自車2を中心とした前方左側の一定の前方範囲pM3、左範囲qM3内に経路候補C3を設定する。
図9に示すように、時刻T1において動作モード4の場合、範囲設定部16は、自車2を中心としたの前方範囲pM4、左右範囲qM4内に経路候補C4を設定する。
図10に示すように、時刻T1において動作モード5の場合、範囲設定部16は、自車2を中心とした前方右側の一定の前方範囲pM5、右範囲qM5内に経路候補C5を設定する。自車2が前方直進しているため、経路候補C5は、経路候補C2と比べてより広い範囲となる。
図11に示すように、時刻T1において動作モード6の場合、範囲設定部16は、自車2を中心とした前方左側の一定の前方範囲pM6、左範囲qM6内に経路候補C6を設定する。自車2が前方直進しているため、経路候補C6は、経路候補C6と比べてより広い範囲となる。
図12に示すように、時刻T1において動作モード7の場合、範囲設定部16は、自車2を中心とした後方左右の一定の後方範囲pM7、左右範囲qM7内に経路候補C7を設定する。
ここでは動作モードによる経路候補設定法について記載したが、自動運転車のようにシステムが経路をすでに算出している場合は、動作モードを使用せず、システムがたどろうとしている経路が存在する範囲を経路候補として設定することもできる。
次に、注目範囲Aについて説明する。範囲設定部16は、時刻T1における経路候補Cと予測部15が予測した他移動体の移動先D、環境取得部14が取得した環境情報より、時刻T1における自車2の注目範囲Aをカメラ座標系における3次元範囲で表現して設定する。
図13に示すように、範囲設定部16は、時刻T1における経路候補Cの端から一定の距離データ以内(第1閾値)に他移動体の移動先Dがある場合は、他移動体の移動先Dまで含めた範囲を注目範囲Aとしてカメラ座標系に表現して設定する。
図14に示すように、範囲設定部16は、時刻T1における経路候補Cの端から一定の距離データ以内(第2閾値)に環境情報の環境物体6がある場合は、環境情報の環境物体6まで含めた範囲を注目範囲Aとしてカメラ座標系における3次元範囲で表現して設定する。
図16に示すように、範囲設定部16は、この注目範囲Aを障害物マップMのピクセルの解像度より高解像度で設定する。例えば、障害物マップMのピクセルサイズ(1.0m)とすると、注目範囲Aは、より小さいピクセルサイズ(0.5m)で設定する。この小さいピクセルサイズで注目範囲Aを設定できる理由は、予測部15が予測した他移動体の移動先D、環境取得部14が取得した環境情報がカメラ座標系における距離データで高い解像度を有するからである。
生成部17について説明する。生成部17は、時刻T1における距離データ取得部11が取得した距離データ、動き算出部12が算出した自車2の姿勢と実スケールの移動状態、範囲設定部16が設定した注目範囲Aより、時刻T1における自車2の周辺の障害物マップMを生成する(図2のステップS7参照)。
まず、生成部17は、時刻T1におけるカメラ座標系の3次元位置や3次元範囲で表現された他移動体の移動先D、環境情報で示された環境物体6、経路候補C、注目範囲Aを障害物マップMの各ピクセルに設定する。この場合に、障害物マップMにおけるピクセル直交座標系の原点をカメラ座標系の原点に合わせ、かつ、ピクセル直交座標系のp軸とカメラ座標系のZ軸を合わせる。そして、例えば、環境物体6の場合には、環境物体6のカメラ座標系における3次元位置(Xk,Yk,Zk)に対応するピクセル直交座標系におけるピクセル(pk、qz)に、環境物体6を設定する。なお、カメラ座標系の縦方向の成分Ykについては、例えば、Yk=0に設定する。これにより、時刻T1における自車2を中心として他移動体の移動先D、環境物体6、経路候補C、注目範囲Aが、障害物マップMの各ピクセルに設定できる。
次に、生成部17は、距離データ取得部11が取得した距離データから、障害物マップMの各ピクセル、注目範囲Aの高解像度の各ピクセルにおける障害物の存在確率(0〜1の間の確率値、以下、「障害物存在確率」という)を時系列的(時刻T毎)に計算する。
図15に示すように、生成部17は、障害物マップMの各ピクセル、注目範囲Aの高解像度の各ピクセルを移動可領域(障害物が無の区画)、移動不可領域(障害物が有の区画)、未知領域(障害物の有無の不明の区画)の3つの状態へ障害物マップMの各ピクセル、注目範囲Aの高解像度の各ピクセルを分類する。なお、移動可領域の障害物存在確率は1.0付近、未知領域は0.5付近、移動不可領域は0.0付近とする。以下、その分類方法について説明する。
第1に、生成部17は、自車2に搭載されたレーザセンサ4を用いて時刻T毎で得られる周辺の物体までの距離データ(観測値)を、障害物マップMのピクセル直交座標系に変換する。なお、この変換のときは、注目範囲Aのみを高い解像度で変換する。注目範囲Aのみを高い解像度で変換できる理由は、予測部15が予測した他移動体の移動先D、環境取得部14が取得した環境情報がカメラ座標系における距離データで高い解像度を有するからである。
第2に、生成部17は、障害物マップMの各ピクセル、注目範囲Aの高解像度の各ピクセルに移動可領域(障害物が無の区画)、移動不可領域(障害物が有の区画)、未知領域(障害物の有無の不明区画)を生成する(レイキャスティング処理)。移動可領域は、障害物マップMの中心にある自車2(レーザセンサ4)から距離データが取得できた物体の直前までのピクセルの領域である。移動不可領域は、レーザセンサ4から取得した距離データに対応するピクセルの領域である。未知領域は、移動不可領域より先のピクセルの領域である。生成部17は、レーザセンサ4の角度解像度毎の対応するピクセルのインデックスは事前(プレキャスト処理)に求めておき、それを使ってピクセルを更新する。プレキャスティング処理としては、予め全てのピクセルを探索して、レーザセンサ4の角度解像度毎のビンの対応するピクセルのインデックスを、レーザセンサ4の中心からの距離データでソートしておいた状態でデータベースに追加する。ピクセルのインデックスを登録したデータベースを使うことで、ピクセルを毎回探索する必要がなくなる。予め求めない場合は、レーザセンサ4毎の極座標系でレイキャスティング処理を行い、その結果をピクセル直交座標系に変換してもよい。
第3に、生成部17は、レーザセンサ4が観測した距離データより、障害物マップMのピクセル単位、注目範囲Aの高い解像度のピクセル単位で障害物存在確率を計算する。その計算方法は、距離データによる誤差分散に基づいて、計算した障害物存在確率を近傍ピクセルに伝搬させる。実際の処理は、光線方向上の距離データをガウス分布に当てはめて尤度を計算する。また、複数のレーザセンサ4が同時に距離データを観測したピクセルに関しては、お互いに計算した障害物存在確率を統合する。統合方法として、誤差が小さいレーザセンサ4の確率を採用する。他移動体は、予測部15が予測した他移動体の移動先Dへ障害物存在確率を遷移させる方法などがある。
第4に、生成部17は、動き算出部12が算出した自車2の姿勢と実スケールの移動状態に基づき、時刻T1における自車2を中心とした障害物マップM、注目範囲Aを、次の時刻T2における自車2を中心とした障害物マップM、注目範囲Aに座標変換する(図2のステップS8参照)。この座標変換は、ピクセル直交座標系で行う。
生成部17は、この座標変換した時刻T2における障害物マップMの各ピクセルの障害物存在確率、注目範囲Aの解像度の高い各ピクセルの障害物存在確率を、ベイズの定理で計算し更新する。この更新をするため、時刻T1で観測した障害物存在確率を時刻T2の障害物マップM、注目範囲Aへ伝播する。障害物が存在するとして観測された事象をOで表現する。「移動不可領域」とラベル付けされたピクセルでは事象Oが起こる。「移動可領域」とラベル付けされたピクセルでは事象Oの補集合が起こる。「未知領域」とラベル付けされたピクセルでは、時刻T1の観測から何の情報も得られないので、事象Oも事象Oの補集合も起こらない。具体的には、以下の方法で障害物マップM、注目範囲Aを更新する。
まず、障害物が存在するという事象をEで表現し、障害物マップMのピクセル、注目範囲Aの高い解像度のピクセルにおける障害物存在確率をP(E)で表現する。障害物マップM、注目範囲Aは以下の条件付き確率を計算することで更新する。
Figure 2017083919
これらの確率は、ベイズの定理を用いて式(2)のように計算する。
Figure 2017083919
ここで、P(E)は事前確率で、初期値は0.5とする。
Figure 2017083919
ベイズの定理での更新法は、時系列として一時刻前の確率値だけを用いて更新する手法でもよいし、複数時刻にわたった確率変動をもとにベイズ推定する手法でもよい。時系列の確率値をベイズの定理で更新する一般的な手法を用いることができる。
生成部17は、時刻T1の障害物マップMのピクセル毎、注目範囲Aの高い解像度のピクセル毎に障害物存在確率を独立して更新し(独立仮定)、時刻T2の障害物マップM、注目範囲Aを求める。
第5において、生成部17は、自車2が目的地に到着した場合には、障害物マップMの更新を終了する(図2のステップS9参照)。
本実施形態の障害物マップ生成装置1は、ピクセル状の障害物マップMを生成する場合に、自車2の自情報、他移動体の予測した移動先D、環境情報で示された環境物体6に応じて自車2の経路に重要な注目範囲Aを、障害物マップMのピクセルより高い解像度で生成できる。そのため、自車2の走行において、より確実に障害物を避けることができる。
実施形態2
次に、実施形態2の障害物マップ生成装置100について図16と図17に基づいて説明する。本実施形態では、第1移動体は、3次元空間を移動するUAV(無人航空機:Unmanned aerial vehicle)のような飛行体(以下、「自飛行体」という)102であり、図17に示すように、障害物マップMは、3次元空間を立方体、直方体形状の格子状のボクセルで区切った際に、ボクセル単位で障害物の有無を表現する。
本実施形態の障害物マップ生成装置100は、図16のブロック図に示すように、距離データ取得部111、動き算出部112、決定部113、環境取得部114、予測部115、範囲設定部116、生成部117とを備えている。以下の説明では、実施形態1と異なる構成、作用だけ説明する。
自飛行体102は、ステレオカメラ103、投影式の距離データセンサ104、自飛行体102の3次元的な位置姿勢を取得する位置姿勢センサ105を有する。位置姿勢センサ105の一例としては、次の通りである。ステレオカメラ103を使用している場合は、ステレオカメラ103の時系列処理によって3次元的な位置姿勢を計算する。その他には、GPS(Global Positioning System)、GNSS(Global Navigation satellite System) ,高度計などの位置センサ、IMU(慣性計測装置:Inertial Measurement Unit)、地磁気などの姿勢センサを組み合わせることで3次元位置姿勢を取得する。
ボクセル直交座標系は、図17に示すように、3次元平面の障害物マップMに時刻T毎に設定される3次元直交座標系であってp軸とq軸とr軸からなる。ボクセル直交座標系の原点は、自飛行体102の中心に設定し、p軸方向は自飛行体104の移動方向、r軸方向は、時刻Tにおける自飛行体102の高さ方向に設定する。
カメラ座標系は、ステレオカメラ103の間の位置を原点に設定した3次元直交座標系であって、横方向のX軸、縦方向のY軸、奥行き方向のZ軸からなる。この原点の位置が、自飛行体102の中心位置となる。Z軸が自飛行体102の移動方向となる。
距離データ取得部111は、ステレオカメラ3、投影式の距離データセンサ104から自飛行体102の360°周囲にある物体(障害物)の画像群、その物体までのカメラ座標系における3次元的な距離データを取得する。
動き算出部112は、位置姿勢センサ105から自飛行体102の3次元的な位置と姿勢と移動状態を算出する。
決定部113は、自飛行体102がマニュアル飛行している時は、外部にある操縦者が有するコントローラからの指令である自情報に基づいて、カメラ座標系における自飛行体102の移動方向を示す「3次元移動ベクトル」を計算し、範囲設定部116へ出力する。自飛行体102が自動飛行をしている時は、予め入力された経路(航路)情報である自情報に基づいて、決定部113は、カメラ座標系における自飛行体102の3次元移動ベクトルを計算する。
環境取得部114は、カメラ座標系における環境情報を取得して予測部115に出力する。本実施形態の「環境情報」は、航空法などに示される自飛行体102周囲で飛行可能な高度情報や飛行可能空域情報、避けなければならない電線、広告塔などの航路を制限する障害物、規則の情報(公共物の上空の飛行禁止)などである。
予測部115は、距離データ取得部111が取得したカメラ座標系における物体の画像群、その物体までの3次元的な距離データに基づき、カメラ座標系における立体物(障害物)を算出する。この立体物を時系列で追跡したときに得られる3次元的な軌跡から、追跡された立体物の次の時刻の3次元位置をカルマンフィルタで予測する。予測部115は、予測された立体物の3次元位置を範囲設定部116に出力する。時系列の情報からの予測方法としては、これ以外に、パーティクルフィルタを用いたり、単純に等速直線運動、等加速度運動などを仮定した線形予測を用いたりしてもよい。立体物の予測された3次元位置が、環境情報に基づく航路を制限する領域に入っている場合は、制限されない領域の中で、予測された立体物の3次元位置から最近傍の3次元位置を、立体物の新たな移動先Dとして用いる。ここでは、一例を示したが、予測された3次元位置から制限されていない領域へと回避する航路を予測する方法であれば、その他の方法で代用することもできる。
範囲設定部116は、決定部113が決定した自飛行体102の3次元的移動ベクトルに基づくカメラ座標系における3次元的な移動位置、環境取得部114が取得したカメラ座標系における環境情報、予測部115が予測した障害物のカメラ座標系における3次元的な移動先Dより、カメラ座標系における3次元的な注目範囲を設定する。このとき、範囲設定部116は、注目範囲Aのボクセルサイズを障害物マップMのボクセルより小さくし、ボクセルの数を増加させた高解像度で設定する。
生成部117は、カメラ座標系における環境情報、障害物の3次元的な移動先D、3次元的な注目範囲Aを、障害物マップMに設定する。このとき、カメラ座標系における原点と、ボクセル直交座標系の原点を一致させ、Z軸とp軸を一致させる。
本実施形態の障害物マップ生成装置100によれば、自飛行体102の航路(経路)の重要範囲に関して、注目範囲Aで障害物マップMを生成できる。
変更例
図18は、障害物マップ生成装置1、100のハードウェア構成の一例を表すブロック図である。図18に示すように、障害物マップ生成装置1、100は、CPU201と、障害物マップ生成プログラムなどを記憶するROM202と、RAM203と、HDD(Hard Disk Drive)204と、HDD204とのインターフェイスであるI/F205と、ステレオカメラ3からの画像、レーザセンサ4から距離データの入力用のインターフェイスであるI/F206と、マウスやキーボードなどの入力装置207と、入力装置207とのインターフェイスであるI/F206と、ディスプレイなどの表示装置208と、表示装置208とのインターフェイスであるI/F210と、バス211とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
障害物マップ生成装置1では、CPU201がROM202から障害物マップ生成プログラムをRAM203上に読み出して実行することにより、上記各部(距離データ取得部11、111、動き算出部12、112、決定部13、113、環境取得部14、114、予測部15、115、範囲設定部16、116、生成部17、117)がコンピュータ上で実現され、HDD204に記憶されているデータ等を用いて、I/F206からの上記処理を行う。
なお、障害物マップ生成プログラムはHDD204に記憶されていてもよい。また、障害物マップ生成プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)−ROM、CD−R、メモリカード、DVD(Digital Versatile Disk)、フレキシブルディスク(FD)、USBメモリ等のコンピュータで読み取り可能な記憶媒体に記憶されて提供されるようにしてもよい。また、プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、計測プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。
また、上記コンピュータに限らず、障害物マップ生成装置1は、システムLSI(LargeScale Integration)で実現してもよく、CPU(Central Processing Unit)と、障害物マップ生成プログラムを記憶するROM(Read Only Memory))と、RAM(Random Access Memory)と、ステレオカメラ3からの画像、レーザセンサ4から距離データの入力用のインターフェイスであるI/Fと、生成した障害物マップMの情報を外部へ出力する出力用I/Fと、これら部品を接続するバスとを備えた構成でもよい。
上記実施形態では、撮像機器としてステレオカメラ3を自車2に搭載したが、これに限らず360°全方位カメラ、1台のカメラでもよい。
また、上記実施形態では、レーザセンサ4は1台であったが、1ラインの水平ラインレーザセンサ4複数台を用いてもよいし、360°複数ラインを同時に取得できる360°ライダレーダセンサを用いてもよい。カメラ、レーザは、他の距離計測センサで代用することもできる。
また、上記実施形態では、ステレオカメラ3が撮像した左右画像7L、7Rより自車2の姿勢と実スケールの移動状態を算出したが、1台のカメラの場合は、並進ベクトルtの実スケールが未知のため、レーザセンサ4やIMU(加速度、ジャイロなど)などの別のセンサから実スケールを取得する。また、実スケールは、IMUやGPSで算出してもよい。
これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1・・・障害物マップ生成装置、2・・・自車、3・・・ステレオカメラ、4・・・レーザセンサ、5・・・物体、6・・・環境物体6、7・・・画像、8・・・特徴点、11・・・距離データ取得部、12・・・動き算出部、13・・・決定部、14・・・環境取得部、15・・・予測部、16・・・範囲設定部、17・・・生成部

Claims (12)

  1. 第1移動体を中心として2次元のグリッドで構成された障害物マップを生成する障害物マップ生成装置であって、
    前記第1移動体から、前記第1移動体の周囲にある障害物までの距離データを取得する距離データ取得部と、
    現時刻における前記第1移動体の移動状態を示す第1情報を取得して、前記第1移動体の動作モードを決定する決定部と、
    前記動作モードから、前記第1移動体の次の時刻における移動範囲である注目範囲を、前記障害物マップの前記グリッドの解像度より高い解像度のグリッドで設定する範囲設定部と、
    (1)前記障害物マップと前記注目範囲と位置合わせし、(2)前記距離データに対応した位置に関して、前記障害物マップの前記グリッドと前記注目範囲の前記グリッドに前記障害物が存在するように生成する生成部と、
    を有する障害物マップ生成装置。
  2. 前記第1移動体の前記現時刻における動きを算出する動き算出部をさらに有し、
    前記生成部は、前記第1移動体の動きに基づいて、前記現在時刻における前記障害物マップと前記注目範囲を前記次の時刻における前記障害物マップと前記注目範囲に更新する、
    請求項1に記載の障害物マップ生成装置。
  3. 前記第1移動体の経路の環境情報を取得する環境取得部をさらに有し、
    前記生成部は、前記距離データにより表現された前記障害物に加えて、前記障害物マップの前記グリッドと前記注目範囲の前記グリッドに、前記環境情報で示された環境物体を前記障害物マップ上に生成する、
    請求項1又は2に記載の障害物マップ生成装置。
  4. 前記移動体の周辺を移動している第2移動体の次の時刻の移動先を予測する予測部をさらに有し、
    前記生成部は、前記距離データにより表現された前記障害物に加えて、前記障害物マップの前記グリッドと前記注目範囲の前記グリッドに、前記移動先が前記障害物として存在するように生成する、
    請求項1乃至3のいずれか一項に記載の障害物マップ生成装置。
  5. 前記決定部が決定する動作モードが、前記第1移動体の停止状態の動作モード、右折のための停止状態の動作モード、左折のための停止状態の動作モード、前方直進の動作モード、右折のための前方直進の動作モード、左折のための前方直進の動作モード、又は、後方直進の動作モードである、
    請求項1乃至4のいずれか一項に記載の障害物マップ生成装置。
  6. 前記範囲設定部は、前記動作モードを用いて、前記第1移動体が移動する範囲の候補である経路候補を生成し、前記経路候補に前記環境情報で示された前記環境物体を含めて前記注目範囲を設定する、
    ことを特徴とする請求項5に記載の障害物マップ生成装置。
  7. 前記範囲設定部は、前記動作モードを用いて、前記第1移動体が移動する範囲の候補である経路候補を生成し、前記経路候補に前記移動先を含めて前記注目範囲を設定する、
    ことを特徴とする請求項5に記載の障害物マップ生成装置。
  8. 第1移動体を中心として2次元のグリッドで構成された障害物マップを生成する障害物マップ生成方法であって、
    前記第1移動体から、前記第1移動体の周囲にある障害物までの距離データを取得する距離データ取得ステップと、
    現時刻における前記第1移動体の移動状態を示す第1情報を取得して、前記第1移動体の動作モードを決定する決定ステップと、
    前記動作モードから、前記第1移動体の次の時刻における移動範囲である注目範囲を、前記障害物マップの前記グリッドの解像度より高い解像度のグリッドで設定する範囲設定ステップと、
    (1)前記障害物マップと前記注目範囲と位置合わせし、(2)前記距離データに対応した位置に関して、前記障害物マップの前記グリッドと前記注目範囲の前記グリッドに前記障害物が存在するように生成する生成ステップと、
    を有する障害物マップ生成方法。
  9. 第1移動体を中心として2次元のグリッドで構成された障害物マップを生成する障害物マップ生成プログラムであって、
    前記第1移動体から、前記第1移動体の周囲にある障害物までの距離データを取得する距離データ取得機能と、
    現時刻における前記第1移動体の移動状態を示す第1情報を取得して、前記第1移動体の動作モードを決定する決定機能と、
    前記動作モードから、前記第1移動体の次の時刻における移動範囲である注目範囲を、前記障害物マップの前記グリッドの解像度より高い解像度のグリッドで設定する範囲設定機能と、
    (1)前記障害物マップと前記注目範囲と位置合わせし、(2)前記距離データに対応した位置に関して、前記障害物マップの前記グリッドと前記注目範囲の前記グリッドに前記障害物が存在するように生成する生成機能と、
    をコンピュータによって実現させるための障害物マップ生成プログラム。
  10. 第1移動体を中心として3次元のグリッドで構成された障害物マップを生成する障害物マップ生成装置であって、
    前記第1移動体から、前記第1移動体の周囲にある障害物までの距離データを取得する距離データ取得部と、
    現時刻における前記第1移動体の移動状態を示す第1情報を取得して、前記第1移動体の3次元移動ベクトルを決定する決定部と、
    前記3次元移動ベクトルから、前記第1移動体の次の時刻における移動範囲である注目範囲を、前記障害物マップの前記グリッドの解像度より高い解像度のグリッドで設定する範囲設定部と、
    (1)前記障害物マップと前記注目範囲と位置合わせし、(2)前記距離データに対応した位置に関して、前記障害物マップの前記グリッドと前記注目範囲の前記グリッドに前記障害物が存在するように生成する生成部と、
    を有する障害物マップ生成装置。
  11. 第1移動体を中心として3次元のグリッドで構成された障害物マップを生成する障害物マップ生成方法であって、
    前記第1移動体から、前記第1移動体の周囲にある障害物までの距離データを取得する距離データ取得ステップと、
    現時刻における前記第1移動体の移動状態を示す第1情報を取得して、前記第1移動体の3次元移動ベクトルを決定する決定ステップと、
    前記3次元移動ベクトルから、前記第1移動体の次の時刻における移動範囲である注目範囲を、前記障害物マップの前記グリッドの解像度より高い解像度のグリッドで設定する範囲設定ステップと、
    (1)前記障害物マップと前記注目範囲と位置合わせし、(2)前記距離データに対応した位置に関して、前記障害物マップの前記グリッドと前記注目範囲の前記グリッドに前記障害物が存在するように生成する生成ステップと、
    を有する障害物マップ生成方法。
  12. 第1移動体を中心として3次元のグリッドで構成された障害物マップを生成する障害物マップ生成プログラムであって、
    前記第1移動体から、前記第1移動体の周囲にある障害物までの距離データを取得する距離データ取得機能と、
    現時刻における前記第1移動体の移動状態を示す第1情報を取得して、前記第1移動体の3次元移動ベクトルを決定する決定機能と、
    前記3次元移動ベクトルから、前記第1移動体の次の時刻における移動範囲である注目範囲を、前記障害物マップの前記グリッドの解像度より高い解像度のグリッドで設定する範囲設定機能と、
    (1)前記障害物マップと前記注目範囲と位置合わせし、(2)前記距離データに対応した位置に関して、前記障害物マップの前記グリッドと前記注目範囲の前記グリッドに前記障害物が存在するように生成する生成機能と、
    をコンピュータによって実現させるための障害物マップ生成プログラム。
JP2015208195A 2015-10-22 2015-10-22 障害物マップ生成装置、その方法、及び、そのプログラム Expired - Fee Related JP6559535B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015208195A JP6559535B2 (ja) 2015-10-22 2015-10-22 障害物マップ生成装置、その方法、及び、そのプログラム
US15/259,108 US10354150B2 (en) 2015-10-22 2016-09-08 Apparatus, method and program for generating occupancy grid map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015208195A JP6559535B2 (ja) 2015-10-22 2015-10-22 障害物マップ生成装置、その方法、及び、そのプログラム

Publications (2)

Publication Number Publication Date
JP2017083919A true JP2017083919A (ja) 2017-05-18
JP6559535B2 JP6559535B2 (ja) 2019-08-14

Family

ID=58561714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015208195A Expired - Fee Related JP6559535B2 (ja) 2015-10-22 2015-10-22 障害物マップ生成装置、その方法、及び、そのプログラム

Country Status (2)

Country Link
US (1) US10354150B2 (ja)
JP (1) JP6559535B2 (ja)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019012504A (ja) * 2017-06-30 2019-01-24 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
WO2019065218A1 (ja) * 2017-09-28 2019-04-04 株式会社小糸製作所 センサシステム
WO2019069829A1 (ja) * 2017-10-03 2019-04-11 株式会社 ミックウェア 経路生成装置、移動体、及びプログラム
WO2019082563A1 (ja) * 2017-10-23 2019-05-02 株式会社デンソー 物体検知装置
KR20190073038A (ko) * 2017-12-18 2019-06-26 현대자동차주식회사 차량의 경로 생성 시스템 및 방법
KR20200002213A (ko) * 2018-06-29 2020-01-08 현대엠엔소프트 주식회사 무인 항공기용 경로 탐색을 위한 3차원 공간지도 구축 장치 및 방법
US10628917B2 (en) 2017-01-05 2020-04-21 Kabushiki Kaisha Toshiba Information processing apparatus, information processing method, and computer program product
JP2020087248A (ja) * 2018-11-30 2020-06-04 ソニー株式会社 制御装置、制御方法及びプログラム
CN111829531A (zh) * 2019-04-15 2020-10-27 北京京东尚科信息技术有限公司 二维地图构建方法、装置、机器人定位系统和存储介质
KR102173239B1 (ko) * 2020-03-05 2020-11-03 (주)디투이노베이션 3차원 통제 수단의 4차원 충돌 검사 방법 및 시스템
JP2021105854A (ja) * 2019-12-26 2021-07-26 株式会社豊田自動織機 経路生成装置
US11132611B2 (en) 2016-05-27 2021-09-28 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method for determining presence probability of object
US11204610B2 (en) 2016-05-30 2021-12-21 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method using correlation between attributes
US11222438B2 (en) 2016-05-27 2022-01-11 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method for presence probability of object
JP2022027755A (ja) * 2017-10-03 2022-02-14 株式会社 ミックウェア 移動体、及びプログラム
US11250288B2 (en) 2016-05-30 2022-02-15 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method using correlation between attributes
JP2022546201A (ja) * 2020-07-28 2022-11-04 チョーチアン センスタイム テクノロジー デベロップメント カンパニー,リミテッド ターゲット検出方法および装置、電子機器並びに記憶媒体
WO2022249567A1 (ja) * 2021-05-28 2022-12-01 ソニーグループ株式会社 情報処理装置、情報処理方法および自律移動体
US11519743B2 (en) 2020-09-17 2022-12-06 International Business Machines Corporation Stalled self-driving vehicle rescue system
WO2023032246A1 (ja) * 2021-08-31 2023-03-09 日本電気株式会社 情報処理装置、通信システム、特定方法、及び非一時的なコンピュータ可読媒体
JP7465234B2 (ja) 2021-03-11 2024-04-10 Kddi株式会社 3dモデル生成装置、方法及びプログラム
KR102689544B1 (ko) * 2023-10-27 2024-07-29 국방과학연구소 장애물 거리변환 지도의 계산 장치 및 그 방법
JP7567738B2 (ja) 2021-09-28 2024-10-16 株式会社豊田自動織機 障害物検出装置

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198008B2 (en) * 2013-11-15 2019-02-05 Hitachi, Ltd. Mobile robot system
EP2952993B1 (en) * 2014-06-05 2018-04-25 Softbank Robotics Europe Method for building a map of probability of one of absence and presence of obstacles for an autonomous robot
JP6511406B2 (ja) * 2016-02-10 2019-05-15 クラリオン株式会社 キャリブレーションシステム、キャリブレーション装置
JP6718715B2 (ja) 2016-03-28 2020-07-08 アイシン・エィ・ダブリュ株式会社 通信端末、サーバ装置、移動案内システム及びコンピュータプログラム
EP3385675A4 (en) * 2016-03-28 2018-12-19 Aisin Aw Co., Ltd. Communication terminal, server device, movement guidance system, and computer program
EP3264212B1 (en) * 2016-06-30 2019-01-02 Advanced Digital Broadcast S.A. System and method for determining an energy-efficient path of an autonomous device
US10066946B2 (en) 2016-08-26 2018-09-04 Here Global B.V. Automatic localization geometry detection
JP6813347B2 (ja) 2016-12-12 2021-01-13 アイシン・エィ・ダブリュ株式会社 通信端末、移動案内システム及びコンピュータプログラム
US10298912B2 (en) * 2017-03-31 2019-05-21 Google Llc Generating a three-dimensional object localization lookup table
JP6673293B2 (ja) * 2017-05-24 2020-03-25 トヨタ自動車株式会社 車両システム
US11537134B1 (en) * 2017-05-25 2022-12-27 Apple Inc. Generating environmental input encoding for training neural networks
WO2019022910A2 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated SYSTEM AND METHOD FOR DYNAMICALLY CONTROLLING PARAMETERS FOR PROCESSING SENSOR OUTPUT DATA
JP6808590B2 (ja) * 2017-08-08 2021-01-06 株式会社東芝 情報処理装置、情報処理方法、プログラムおよび移動体
CN107831765B (zh) * 2017-10-23 2021-07-13 广州视源电子科技股份有限公司 定位方法、装置、设备及存储介质
US10267889B1 (en) * 2017-11-15 2019-04-23 Avalex Technologies Corporation Laser source location system
US11093759B2 (en) 2018-03-06 2021-08-17 Here Global B.V. Automatic identification of roadside objects for localization
JP6847885B2 (ja) * 2018-03-20 2021-03-24 株式会社東芝 情報処理装置、情報処理方法及びプログラム
US11340630B2 (en) * 2018-03-30 2022-05-24 Brain Corporation Systems and methods for robust robotic mapping
US11126199B2 (en) * 2018-04-16 2021-09-21 Baidu Usa Llc Learning based speed planner for autonomous driving vehicles
US10899006B2 (en) 2018-05-01 2021-01-26 X Development Llc Robot navigation using 2D and 3D path planning
CN110570691B (zh) * 2018-06-06 2021-12-17 杭州海康机器人技术有限公司 一种无人机航线确定方法及装置
DE102018210814A1 (de) * 2018-06-30 2020-01-02 Robert Bosch Gmbh Verfahren zur Erkennung statischer Radarziele mit einem Radarsensor für Kraftfahrzeuge
KR20210028606A (ko) * 2018-07-11 2021-03-12 소니 주식회사 화상 처리 장치 및 방법
CN108873908B (zh) * 2018-07-12 2020-01-24 重庆大学 基于视觉slam和网络地图结合的机器人城市导航系统
JP6758005B2 (ja) * 2018-08-14 2020-09-23 学校法人千葉工業大学 移動ロボット
CN109144097B (zh) * 2018-08-15 2021-04-06 广州极飞科技有限公司 障碍物或地面识别及飞行控制方法、装置、设备及介质
MX2021002150A (es) * 2018-08-24 2021-07-16 Lutron Tech Co Llc Dispositivo de conteo de ocupantes.
CN109085608A (zh) * 2018-09-12 2018-12-25 奇瑞汽车股份有限公司 车辆周围障碍物检测方法及装置
CN112912811B (zh) * 2018-11-21 2024-03-29 深圳市道通智能航空技术股份有限公司 一种无人机路径规划方法、装置及无人机
CN111307166B (zh) 2018-12-11 2023-10-03 北京图森智途科技有限公司 一种构建占据栅格地图的方法及其装置、处理设备
CN116592872A (zh) * 2018-12-11 2023-08-15 北京图森智途科技有限公司 一种更新占据栅格地图的方法及其装置、相关设备
CN111476879A (zh) * 2019-01-24 2020-07-31 北京京东尚科信息技术有限公司 一种点云数据的处理方法、终端及存储介质
US20220090938A1 (en) * 2019-03-06 2022-03-24 Sony Group Corporation Map creation device, map creation method, and program
WO2020196962A1 (ko) * 2019-03-28 2020-10-01 엘지전자 주식회사 인공 지능 청소기 및 그의 동작 방법
CN112179360B (zh) * 2019-06-14 2022-12-02 北京京东乾石科技有限公司 地图生成方法、装置、系统及介质
CN110969102B (zh) * 2019-11-21 2023-06-20 大连理工大学 一种基于生长的栅格地图障碍物检测方法
CN111381245B (zh) * 2020-02-29 2023-06-06 天津大学 激光slam自适应分辨率栅格地图构建方法
US11524701B2 (en) * 2020-03-30 2022-12-13 Toyota Research Institute, Inc. Methods and systems of predicting road agent behavior using voxel grids
US11727690B2 (en) * 2020-04-03 2023-08-15 Waymo Llc Behavior prediction of surrounding agents
CN111208839B (zh) * 2020-04-24 2020-08-04 清华大学 一种实时感知信息与自动驾驶地图的融合方法及系统
CN111443717B (zh) * 2020-04-24 2021-07-06 南京硅基智能科技有限公司 一种基于语音识别控制的巡检机器人系统
CN115398272A (zh) * 2020-04-30 2022-11-25 华为技术有限公司 检测车辆可通行区域的方法及装置
US11815897B2 (en) * 2020-05-11 2023-11-14 Huawei Technologies Co., Ltd. Method and system for generating an importance occupancy grid map
US11753006B2 (en) 2020-06-08 2023-09-12 Robert Bosch Gmbh Representing objects in a surrounding environment of a vehicle using a frenet coordinate system
CN111683203B (zh) 2020-06-12 2021-11-09 达闼机器人有限公司 栅格地图生成方法、装置及计算机可读存储介质
CN111765884B (zh) * 2020-06-18 2023-06-23 京东科技信息技术有限公司 机器人重定位方法、装置、电子设备及存储介质
CN113865598A (zh) * 2020-06-30 2021-12-31 华为技术有限公司 一种定位地图生成方法、定位方法及装置
CN112543938B (zh) * 2020-09-29 2022-02-08 华为技术有限公司 占据栅格地图的生成方法和装置
CN112433529B (zh) * 2020-11-30 2024-02-27 东软睿驰汽车技术(沈阳)有限公司 运动物体确定方法、装置及设备
CN113160398B (zh) * 2020-12-25 2023-03-28 中国人民解放军国防科技大学 一种快速三维栅格构建系统、方法、介质、设备、无人车
CN114764238A (zh) * 2020-12-30 2022-07-19 广东美的白色家电技术创新中心有限公司 自主移动设备的建图方法、电子设备及存储介质
JP7511504B2 (ja) * 2021-02-16 2024-07-05 三菱重工業株式会社 移動体、移動制御システム、移動体の制御方法及びプログラム
KR102441103B1 (ko) * 2021-03-18 2022-09-07 순천향대학교 산학협력단 객체 식별 무인 항공기 및 무인 항공기의 객체 식별 방법
CN113225090B (zh) * 2021-05-19 2024-03-22 上海高仙自动化科技发展有限公司 一种压缩方法、装置、电子设备和存储介质
CN113296514B (zh) * 2021-05-24 2022-09-27 南开大学 一种基于稀疏带状结构的局部路径优化方法及系统
EP4095741A1 (en) * 2021-05-25 2022-11-30 Aptiv Technologies Limited Method, device, system, and computer-readable medium for arranging a grid structure with respect to a vehicle position
US12112645B2 (en) * 2021-05-28 2024-10-08 Tongji University Unmanned aerial vehicle positioning method based on millimeter-wave radar
CN113590674A (zh) * 2021-06-29 2021-11-02 北京百度网讯科技有限公司 出行目的识别方法、装置、设备及存储介质
CN113848943B (zh) * 2021-10-18 2023-08-08 追觅创新科技(苏州)有限公司 栅格地图的修正方法及装置、存储介质及电子装置
CN113997286A (zh) * 2021-10-28 2022-02-01 深圳优地科技有限公司 一种机器人避障方法、机器人及计算机可读存储介质
KR102693476B1 (ko) * 2022-04-22 2024-08-08 국립한밭대학교 산학협력단 실내환경 모니터링을 위한 드론 운용 시스템 및 그 방법
CN115420296B (zh) * 2022-11-07 2023-04-11 山东大学 基于多分辨率拓扑地图的路径搜索方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191157A (ja) * 2008-02-04 2008-08-21 Toshio Tsukishiro ナビゲーション装置
JP2011170762A (ja) * 2010-02-22 2011-09-01 Toyota Motor Corp 運転支援装置
WO2012014280A1 (ja) * 2010-07-27 2012-02-02 トヨタ自動車株式会社 運転支援装置
JP2012037980A (ja) * 2010-08-04 2012-02-23 Toyota Central R&D Labs Inc 移動物予測装置及びプログラム
JP2013073517A (ja) * 2011-09-28 2013-04-22 Sumitomo Heavy Ind Ltd 物体検出装置を搭載する移動体
EP2853916A1 (en) * 2013-09-25 2015-04-01 Application Solutions (Electronics and Vision) Limited A method and apparatus for providing a 3-dimensional ground surface model used for mapping

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3738719B2 (ja) 2001-09-26 2006-01-25 日産自動車株式会社 車両用障害物地図作成装置
US7805220B2 (en) * 2003-03-14 2010-09-28 Sharper Image Acquisition Llc Robot vacuum with internal mapping system
JP4533659B2 (ja) 2004-05-12 2010-09-01 株式会社日立製作所 レーザー計測により地図画像を生成する装置及び方法
US9534899B2 (en) * 2005-03-25 2017-01-03 Irobot Corporation Re-localization of a robot for slam
US7266477B2 (en) * 2005-06-22 2007-09-04 Deere & Company Method and system for sensor signal fusion
CN101331380B (zh) 2005-12-16 2011-08-03 株式会社Ihi 三维形状数据的存储/显示方法和装置以及三维形状的计测方法和装置
JP5147129B2 (ja) 2008-10-23 2013-02-20 株式会社Ihiエアロスペース 自律型移動体
JP2014010111A (ja) * 2012-07-02 2014-01-20 Toshiba Corp 計測装置、方法、及びプログラム
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
JP2015184874A (ja) * 2014-03-24 2015-10-22 株式会社東芝 移動体操作支援装置、移動体操作支援方法、および移動体操作支援プログラム
EP3175200A4 (en) * 2014-07-31 2018-04-04 Hewlett-Packard Development Company, L.P. Three dimensional scanning system and framework
US11222438B2 (en) * 2016-05-27 2022-01-11 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method for presence probability of object
JP6786264B2 (ja) * 2016-05-27 2020-11-18 株式会社東芝 情報処理装置、情報処理方法、および車両

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008191157A (ja) * 2008-02-04 2008-08-21 Toshio Tsukishiro ナビゲーション装置
JP2011170762A (ja) * 2010-02-22 2011-09-01 Toyota Motor Corp 運転支援装置
WO2012014280A1 (ja) * 2010-07-27 2012-02-02 トヨタ自動車株式会社 運転支援装置
JP2012037980A (ja) * 2010-08-04 2012-02-23 Toyota Central R&D Labs Inc 移動物予測装置及びプログラム
JP2013073517A (ja) * 2011-09-28 2013-04-22 Sumitomo Heavy Ind Ltd 物体検出装置を搭載する移動体
EP2853916A1 (en) * 2013-09-25 2015-04-01 Application Solutions (Electronics and Vision) Limited A method and apparatus for providing a 3-dimensional ground surface model used for mapping

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11222438B2 (en) 2016-05-27 2022-01-11 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method for presence probability of object
US11132611B2 (en) 2016-05-27 2021-09-28 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method for determining presence probability of object
US11204610B2 (en) 2016-05-30 2021-12-21 Kabushiki Kaisha Toshiba Information processing apparatus, vehicle, and information processing method using correlation between attributes
US11250288B2 (en) 2016-05-30 2022-02-15 Kabushiki Kaisha Toshiba Information processing apparatus and information processing method using correlation between attributes
US10628917B2 (en) 2017-01-05 2020-04-21 Kabushiki Kaisha Toshiba Information processing apparatus, information processing method, and computer program product
JP2019012504A (ja) * 2017-06-30 2019-01-24 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JPWO2019065218A1 (ja) * 2017-09-28 2020-10-22 株式会社小糸製作所 センサシステム
WO2019065218A1 (ja) * 2017-09-28 2019-04-04 株式会社小糸製作所 センサシステム
US11537149B2 (en) 2017-10-03 2022-12-27 Micware Co., Ltd. Route generation device, moving body, and program
JP2019066381A (ja) * 2017-10-03 2019-04-25 株式会社 ミックウェア 経路生成装置、移動体、及びプログラム
JP2022027755A (ja) * 2017-10-03 2022-02-14 株式会社 ミックウェア 移動体、及びプログラム
WO2019069829A1 (ja) * 2017-10-03 2019-04-11 株式会社 ミックウェア 経路生成装置、移動体、及びプログラム
JP2019079188A (ja) * 2017-10-23 2019-05-23 株式会社Soken 物体検知装置
WO2019082563A1 (ja) * 2017-10-23 2019-05-02 株式会社デンソー 物体検知装置
KR20190073038A (ko) * 2017-12-18 2019-06-26 현대자동차주식회사 차량의 경로 생성 시스템 및 방법
KR102463720B1 (ko) * 2017-12-18 2022-11-07 현대자동차주식회사 차량의 경로 생성 시스템 및 방법
KR20200002213A (ko) * 2018-06-29 2020-01-08 현대엠엔소프트 주식회사 무인 항공기용 경로 탐색을 위한 3차원 공간지도 구축 장치 및 방법
KR102485554B1 (ko) * 2018-06-29 2023-01-05 현대오토에버 주식회사 무인 항공기용 경로 탐색을 위한 3차원 공간지도 구축 장치 및 방법
JP2020087248A (ja) * 2018-11-30 2020-06-04 ソニー株式会社 制御装置、制御方法及びプログラム
US11797023B2 (en) 2018-11-30 2023-10-24 Sony Group Corporation Controller, control method, and program
CN111829531A (zh) * 2019-04-15 2020-10-27 北京京东尚科信息技术有限公司 二维地图构建方法、装置、机器人定位系统和存储介质
JP2021105854A (ja) * 2019-12-26 2021-07-26 株式会社豊田自動織機 経路生成装置
JP7342697B2 (ja) 2019-12-26 2023-09-12 株式会社豊田自動織機 経路生成装置
KR102173239B1 (ko) * 2020-03-05 2020-11-03 (주)디투이노베이션 3차원 통제 수단의 4차원 충돌 검사 방법 및 시스템
JP2022546201A (ja) * 2020-07-28 2022-11-04 チョーチアン センスタイム テクノロジー デベロップメント カンパニー,リミテッド ターゲット検出方法および装置、電子機器並びに記憶媒体
US11519743B2 (en) 2020-09-17 2022-12-06 International Business Machines Corporation Stalled self-driving vehicle rescue system
JP7465234B2 (ja) 2021-03-11 2024-04-10 Kddi株式会社 3dモデル生成装置、方法及びプログラム
WO2022249567A1 (ja) * 2021-05-28 2022-12-01 ソニーグループ株式会社 情報処理装置、情報処理方法および自律移動体
WO2023032246A1 (ja) * 2021-08-31 2023-03-09 日本電気株式会社 情報処理装置、通信システム、特定方法、及び非一時的なコンピュータ可読媒体
JP7567738B2 (ja) 2021-09-28 2024-10-16 株式会社豊田自動織機 障害物検出装置
KR102689544B1 (ko) * 2023-10-27 2024-07-29 국방과학연구소 장애물 거리변환 지도의 계산 장치 및 그 방법

Also Published As

Publication number Publication date
US10354150B2 (en) 2019-07-16
US20170116487A1 (en) 2017-04-27
JP6559535B2 (ja) 2019-08-14

Similar Documents

Publication Publication Date Title
JP6559535B2 (ja) 障害物マップ生成装置、その方法、及び、そのプログラム
Khatab et al. Vulnerable objects detection for autonomous driving: A review
US20210101616A1 (en) Systems and methods for vehicle navigation
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
US10133947B2 (en) Object detection using location data and scale space representations of image data
CN111771207B (zh) 增强的车辆跟踪
Barth et al. Estimating the driving state of oncoming vehicles from a moving platform using stereo vision
CN112055805A (zh) 用于自动驾驶车辆的点云登记系统
CN112105890A (zh) 用于自动驾驶车辆的基于rgb点云的地图生成系统
CN112105893A (zh) 用于自动驾驶车辆的实时地图生成系统
CN111771206A (zh) 用于自动驾驶车辆的地图分区系统
EP3972882A1 (en) Systems and methods for predicting blind spot incursions
CN111771229A (zh) 用于自动驾驶车辆的点云重影效果检测系统
JP2019527832A (ja) 正確な位置特定およびマッピングのためのシステムおよび方法
US20210365038A1 (en) Local sensing based autonomous navigation, and associated systems and methods
JP2023106536A (ja) 画像分析に基づく車両ナビゲーションのためのシステム
CN110567465B (zh) 使用精度规范定位车辆的系统和方法
US20240199006A1 (en) Systems and Methods for Selectively Decelerating a Vehicle
US20170263129A1 (en) Object detecting device, object detecting method, and computer program product
EP4272157A1 (en) Systems and methods for road segment mapping
KR101934297B1 (ko) 3차원 LiDAR를 이용한 선분추출 기반의 교차로 인식 방법
Mathew Radar and Vision Sensor Fusion for Vehicle Tracking
Borraz Morón et al. Cloud Incubator Car: A Reliable Platform for Autonomous Driving

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190717

R151 Written notification of patent or utility model registration

Ref document number: 6559535

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees