JP2021039692A - 物体検出装置、物体検出システム、移動体及び物体検出方法 - Google Patents
物体検出装置、物体検出システム、移動体及び物体検出方法 Download PDFInfo
- Publication number
- JP2021039692A JP2021039692A JP2019162349A JP2019162349A JP2021039692A JP 2021039692 A JP2021039692 A JP 2021039692A JP 2019162349 A JP2019162349 A JP 2019162349A JP 2019162349 A JP2019162349 A JP 2019162349A JP 2021039692 A JP2021039692 A JP 2021039692A
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- road surface
- object detection
- stereo camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
ds=B/Y×(v−TOTALv/2) (1)
数式(1)により算出された路面視差dsは、「幾何推定路面視差」ともよばれる。以下において、幾何推定路面視差を符号dsで表記することがある。
x方向に並んで位置していた。第1カメラ11及び第2カメラ12の配置はこれに限られない。第1カメラ11及び第2カメラ12は、路面に垂直な方向(y方向)又は路面41に対して傾いた方向に並んで位置してよい。ステレオカメラ10を構成するカメラの数は2つに限られない。ステレオカメラ10は、3つ以上のカメラを含んでよい。例えば、路面に水平方向に並ぶ2台のカメラ及び垂直方向に並ぶ2台のカメラの合計4台のカメラを用いて、より精度の高い距離情報を得ることも可能である。
10 ステレオカメラ
11 第1カメラ
12 第2カメラ
20 物体検出装置
21 取得部
22 画像処理部(プロセッサ)
23 メモリ
24 出力部
25 視差画像生成部
26 路面検出部
27 不要視差除去部
28 クラスタリング部
29 グルーピング部
30 移動体
41 路面
42 他車両(物体)
45 枠線
51 グラフ
52 第1直線
53 近似開始点
54 候補直線
55 第2直線
61 枠線
71、72 点群の纏まり
R1 第1部分
R2 第2部分
Claims (13)
- 路面を含む画像を撮像するステレオカメラの出力に基づき生成される第1視差マップであって、前記ステレオカメラの撮像画像の水平方向に対応する第1方向と、前記第1方向に交差する第2方向とから成る2次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられた第1視差マップに基づき、実空間における路面の形状を推定する第1処理と、
推定された前記路面の前記形状に基づき、実空間における前記路面からの高さが所定の範囲に対応する前記視差を、前記第1視差マップから除去した第2視差マップを生成する第2処理と、
前記第2視差マップに基づいて物体を検出する物体検出処理と
を実行するように構成されるプロセッサを備える物体検出装置。 - 前記プロセッサは、前記第2処理において、路面からの高さが第1高さ以下の被写体に対応する前記視差を前記第1視差マップから除去するように構成される、請求項1に記載の物体検出装置。
- 前記第1高さは、15cmより大きく50cmより小さい請求項2に記載の物体検出装置。
- 前記プロセッサは、前記第2処理において、路面からの高さが第2高さ以上の前記被写体に対応する前記視差を前記第1視差マップから除去するように構成される、請求項2又は3の何れか一項に記載の物体検出装置。
- 前記第2高さは、道路上を走行可能な車両の高さの上限値に基づいて設定された高さである、請求項4に記載の物体検出装置。
- 前記プロセッサは、前記物体検出処理として、
前記路面の前記形状及び前記第2視差マップに基づいて、前記第2視差マップの前記第1方向の座標範囲ごとに、それぞれの視差の出現数を表すヒストグラムを生成し、前記視差の出現数が前記視差に応じた所定の閾値を上回る場合、前記視差を物体視差として決定する第3処理と、
前記第1方向の前記座標範囲ごとの前記物体視差の情報を、実空間上の点群に変換し、前記点群の分布に基づいて前記点群の纏まりを抽出することにより、物体を検出する第4処理と
を実行するように構成される、請求項1から5の何れか一項に記載の物体検出装置。 - 前記プロセッサは、前記第3処理において、決定された前記物体視差の前記第2視差マップ上の前記第2方向の分布と、推定された前記路面の形状とに基づいて、高さ情報を算出するように構成される、請求項6に記載の物体検出装置。
- 前記プロセッサは、前記第4処理において、前記点群の纏まりの前記第1方向の分布に基づいて、前記物体の幅を検出するように構成される、請求項6又は7に記載の物体検出装置。
- 前記プロセッサは、前記第1処理、前記第2処理、前記第3処理及び前記第4処理を、前記第1視差マップ以外の前記ステレオカメラにより撮像された画像の情報を用いずに実行するように構成される、請求項6から8の何れか一項に記載の物体検出装置。
- 前記プロセッサは、前記第1処理の前段において、前記ステレオカメラの出力に基づき前記第1視差マップを生成する、請求項1から9の何れか一項に記載の物体検出装置。
- 互いに視差を有する複数の画像を撮像するステレオカメラと、
少なくとも1つのプロセッサを含む物体検出装置と
を備え、
前記プロセッサは、路面を含む画像を撮像する前記ステレオカメラの出力に基づき、前記ステレオカメラの撮像画像の水平方向に対応する第1方向と、前記第1方向に交差する第2方向とから成る2次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられた第1視差マップを生成するように構成され、
前記プロセッサは、さらに、
前記第1視差マップに基づき、実空間における路面の形状を推定する第1処理と、
推定された前記路面の前記形状に基づき、実空間における前記路面からの高さが所定の範囲に対応する前記視差を、前記第1視差マップから除去した第2視差マップを生成する第2処理と、
前記第2視差マップに基づいて物体を検出する物体検出処理と
を実行するように構成される物体検出システム。 - 互いに視差を有する2つの画像を撮像するステレオカメラ、及び、少なくとも1つのプロセッサを有する物体検出装置を含み、前記プロセッサは、路面を含む画像を撮像する前記ステレオカメラの出力に基づき、前記ステレオカメラの撮像画像の水平方向に対応する第1方向と、前記第1方向に交差する第2方向とから成る2次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられた第1視差マップを生成するように構成され、前記プロセッサは、さらに、前記第1視差マップに基づき、実空間における路面の形状を推定する第1処理と、推定された前記路面の前記形状に基づき、実空間における前記路面からの高さが所定の範囲に対応する前記視差を、前記第1視差マップから除去した第2視差マップを生成する第2処理と、前記第2視差マップに基づいて物体を検出する物体検出処理とを実行するように構成された物体検出システムを備えた移動体。
- 路面を含む画像を撮像するステレオカメラの出力に基づき生成される第1視差マップであって、前記ステレオカメラの撮像画像の水平方向に対応する第1方向と、前記第1方向に交差する第2方向とから成る2次元座標に、前記ステレオカメラの出力から得られる視差が対応付けられた第1視差マップを取得又は生成し、
前記第1視差マップに基づき、実空間における路面の形状を推定する第1処理を実行し、
推定された前記路面の前記形状に基づき、実空間における前記路面からの高さが所定の範囲に対応する前記視差を、前記第1視差マップから除去した第2視差マップを生成する第2処理を実行し、
前記第2視差マップに基づいて物体を検出する物体検出処理を実行する、
物体検出方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019162349A JP7229129B2 (ja) | 2019-09-05 | 2019-09-05 | 物体検出装置、物体検出システム、移動体及び物体検出方法 |
CN202080062215.XA CN114365182A (zh) | 2019-09-05 | 2020-09-02 | 物体检测装置、物体检测系统、移动体和物体检测方法 |
US17/753,512 US20220415056A1 (en) | 2019-09-05 | 2020-09-02 | Object detection device, object detection system, mobile object, and object detection method |
EP20860886.9A EP4027315A4 (en) | 2019-09-05 | 2020-09-02 | OBJECT DETECTION DEVICE, OBJECT DETECTION SYSTEM AND METHOD FOR DETECTING A MOVING BODY AND OBJECT |
PCT/JP2020/033241 WO2021045092A1 (ja) | 2019-09-05 | 2020-09-02 | 物体検出装置、物体検出システム、移動体及び物体検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019162349A JP7229129B2 (ja) | 2019-09-05 | 2019-09-05 | 物体検出装置、物体検出システム、移動体及び物体検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021039692A true JP2021039692A (ja) | 2021-03-11 |
JP7229129B2 JP7229129B2 (ja) | 2023-02-27 |
Family
ID=74847171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019162349A Active JP7229129B2 (ja) | 2019-09-05 | 2019-09-05 | 物体検出装置、物体検出システム、移動体及び物体検出方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220415056A1 (ja) |
EP (1) | EP4027315A4 (ja) |
JP (1) | JP7229129B2 (ja) |
CN (1) | CN114365182A (ja) |
WO (1) | WO2021045092A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113240632A (zh) * | 2021-04-22 | 2021-08-10 | 北京中科慧眼科技有限公司 | 基于语义分割网络的路面检测方法、系统和智能终端 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023528407A (ja) * | 2020-06-04 | 2023-07-04 | アドヴァンスド ファーム テクノロジーズ インコーポレイテッド | グローバルシャッタ同期式カラーステレオカメラシステム |
CN113295697A (zh) * | 2021-04-14 | 2021-08-24 | 蔚来汽车科技(安徽)有限公司 | 换电站的电池更换检测方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016206801A (ja) * | 2015-04-17 | 2016-12-08 | 株式会社リコー | 物体検出装置、移動体機器制御システム及び物体検出用プログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265547A (ja) | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JP5870273B2 (ja) * | 2010-08-03 | 2016-02-24 | パナソニックIpマネジメント株式会社 | 物体検出装置、物体検出方法及びプログラム |
JP2014006882A (ja) * | 2012-05-31 | 2014-01-16 | Ricoh Co Ltd | 路面傾斜認識装置、路面傾斜認識方法及び路面傾斜認識用プログラム |
CN103679127B (zh) * | 2012-09-24 | 2017-08-04 | 株式会社理光 | 检测道路路面的可行驶区域的方法和装置 |
JP6274557B2 (ja) * | 2013-02-18 | 2018-02-07 | 株式会社リコー | 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム |
CN104021368A (zh) * | 2013-02-28 | 2014-09-03 | 株式会社理光 | 估计路面高度形状的方法和系统 |
CN104166834B (zh) * | 2013-05-20 | 2017-10-10 | 株式会社理光 | 路面检测方法和装置 |
CN104217208B (zh) * | 2013-06-03 | 2018-01-16 | 株式会社理光 | 目标检测方法和装置 |
JP6340850B2 (ja) * | 2014-03-18 | 2018-06-13 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
JP6358160B2 (ja) * | 2015-04-17 | 2018-07-18 | トヨタ自動車株式会社 | 走行路面検出装置及び走行路面検出方法 |
JP2016206774A (ja) * | 2015-04-17 | 2016-12-08 | トヨタ自動車株式会社 | 立体物検出装置及び立体物検出方法 |
JP6662388B2 (ja) * | 2015-11-27 | 2020-03-11 | 株式会社リコー | 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム |
US9720413B1 (en) * | 2015-12-21 | 2017-08-01 | Gopro, Inc. | Systems and methods for providing flight control for an unmanned aerial vehicle based on opposing fields of view with overlap |
WO2017134936A1 (ja) * | 2016-02-05 | 2017-08-10 | 株式会社リコー | 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム |
WO2017145945A1 (ja) * | 2016-02-25 | 2017-08-31 | 京セラ株式会社 | ステレオカメラ装置、車両および視差算出方法 |
JP6711128B2 (ja) * | 2016-05-18 | 2020-06-17 | 株式会社リコー | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
JP6794243B2 (ja) * | 2016-12-19 | 2020-12-02 | 日立オートモティブシステムズ株式会社 | 物体検出装置 |
JP6855325B2 (ja) * | 2017-05-25 | 2021-04-07 | 京セラ株式会社 | 画像処理装置、ステレオカメラシステム、移動体、路面形状検出方法およびプログラム |
CN107909036B (zh) * | 2017-11-16 | 2020-06-23 | 海信集团有限公司 | 一种基于视差图的道路检测方法及装置 |
JP7025912B2 (ja) * | 2017-12-13 | 2022-02-25 | 日立Astemo株式会社 | 車載環境認識装置 |
-
2019
- 2019-09-05 JP JP2019162349A patent/JP7229129B2/ja active Active
-
2020
- 2020-09-02 WO PCT/JP2020/033241 patent/WO2021045092A1/ja unknown
- 2020-09-02 CN CN202080062215.XA patent/CN114365182A/zh active Pending
- 2020-09-02 US US17/753,512 patent/US20220415056A1/en active Pending
- 2020-09-02 EP EP20860886.9A patent/EP4027315A4/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016206801A (ja) * | 2015-04-17 | 2016-12-08 | 株式会社リコー | 物体検出装置、移動体機器制御システム及び物体検出用プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113240632A (zh) * | 2021-04-22 | 2021-08-10 | 北京中科慧眼科技有限公司 | 基于语义分割网络的路面检测方法、系统和智能终端 |
CN113240632B (zh) * | 2021-04-22 | 2024-04-16 | 北京中科慧眼科技有限公司 | 基于语义分割网络的路面检测方法、系统和智能终端 |
Also Published As
Publication number | Publication date |
---|---|
JP7229129B2 (ja) | 2023-02-27 |
US20220415056A1 (en) | 2022-12-29 |
EP4027315A4 (en) | 2023-10-11 |
CN114365182A (zh) | 2022-04-15 |
WO2021045092A1 (ja) | 2021-03-11 |
EP4027315A1 (en) | 2022-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021045092A1 (ja) | 物体検出装置、物体検出システム、移動体及び物体検出方法 | |
JP7206583B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP6456499B2 (ja) | 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法 | |
WO2021060117A1 (ja) | 物体検出装置、物体検出システム、移動体及び物体検出方法 | |
JP6855325B2 (ja) | 画像処理装置、ステレオカメラシステム、移動体、路面形状検出方法およびプログラム | |
EP3367058B1 (en) | Parallax calculation device, stereo camera device, vehicle, and parallax calculation method | |
JP2018092605A (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
WO2021049649A1 (ja) | 路面検出装置、物体検出装置、物体検出システム、移動体及び物体検出方法 | |
WO2021054341A1 (ja) | 物体検出装置、物体検出システム、移動体及び物体検出方法 | |
JP7278915B2 (ja) | 物体検出装置、物体検出システム、移動体及び物体検出方法 | |
WO2021054340A1 (ja) | 物体検出装置、物体検出システム、移動体及び物体検出方法 | |
WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
CN110598505B (zh) | 障碍物悬空状态判断方法、装置及终端 | |
EP3327624A1 (en) | Information processing apparatus, imaging device, device control system, mobile object, information processing method, and carrier means |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7229129 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |