JP2019047244A - 周辺監視装置 - Google Patents
周辺監視装置 Download PDFInfo
- Publication number
- JP2019047244A JP2019047244A JP2017166766A JP2017166766A JP2019047244A JP 2019047244 A JP2019047244 A JP 2019047244A JP 2017166766 A JP2017166766 A JP 2017166766A JP 2017166766 A JP2017166766 A JP 2017166766A JP 2019047244 A JP2019047244 A JP 2019047244A
- Authority
- JP
- Japan
- Prior art keywords
- coordinate point
- unit
- bird
- dimensional object
- object region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
図1は、本発明の一実施形態に係る周辺監視装置の概略構成を示す。周辺監視装置100は、路面上を走行する車両10に搭載されている。周辺監視装置100は、主に、撮像部12と、画像入力部20と、俯瞰画像生成部30と、立体物検出部40と、投影座標点取得部50と、投影座標点出力部60とを備えている。
図2は、本発明の一実施形態に係る周辺監視装置のハードウェア構成を示すハードウェアブロック図である。以下、図2を用いてハードウェア構成を説明する。
図3は、本発明の一実施形態に係る投影座標点取得部の概略構成を示す。以下、図3を用いて投影座標点取得部の概略構成を説明する。
以下、周辺監視装置100で行われる各処理の内容について順を追って説明する。
まず、図4及び図6を用いて、立体物検出部40で行われる処理について説明する。
次に、図4及び図5を用いて、第1立体物領域抽出部51で行われる処理について説明する。
まず、領域分割部51Aは、図4に示すように、第1俯瞰画像72(t−Δt)を左方カメラ12aから放射方向に延びる7本の第1放射線RL10,RL11,RL12,RL13,RL14,RL15,RL16,RL17で左方カメラ12aの位置を中心として等角度(=30°)おきに分割する。
鉛直性評価部51Bは、図5に示すように、支柱81〜84やバー85,86の路面80に対する鉛直性を評価する。鉛直性評価部51Bは、支柱81,82及びバー85からなる一塊の領域から、支柱81,82と、バー85とを区別する。同様に、鉛直性評価部51Bは、支柱83,84,バー86及び水溜りPの表面に映りこんだ支柱87,88からなる一塊の領域から、支柱83及び支柱87の塊と、支柱84及び支柱88の塊と、バー86とを区別する。
鉛直性評価部51Bは、図5に示すように、バー85の長手方向のベクトルV1と、左方カメラ12aの放射方向のベクトルとのなす角度が、予め定められた基準角度を超えるか否かを判断する。鉛直性評価部51Bは、両ベクトルのなす角度が基準角度を超える場合、バー85は路面80に対して鉛直に立設されていないと判断する。この判断のもとで、第1立体物領域抽出部51(図3)は、バー85を含む立体物領域72(t−Δt)_1,72(t−Δt)_2を抽出する。バー85は、後述する投影座標点特定部53(図3)において重心G1(図8)を求める際の対象となる。
鉛直性評価部51Bは、図5に示すように、バー85,86と同様に、支柱81〜84についても路面80に対する鉛直性を評価する。本実施形態の支柱81〜84は、路面80に対して鉛直に立設されている。そのため、支柱81の長手方向のベクトルV3の向きと、左方カメラ12aの放射方向とは一致している。
次に、図6及び図7を用いて、第2立体物領域抽出部52で行われる処理について説明する。なお、第1立体物領域抽出部51の領域分割部51A及び鉛直性評価部51Bと、第2立体物領域抽出部52の領域分割部52A及び鉛直性評価部52Bとは、順に同様のものであるので、説明を省略することがある。
まず、領域分割部52Aは、図6に示すように、第2俯瞰画像72(t)を左方カメラ12aから放射方向に延びる7本の第2放射線RL20,RL21,RL22,RL23,RL24,RL25,RL26,RL27で左方カメラ12aの位置を中心として等角度θ2(=30°)おきに分割する。これにより、第2俯瞰画像72(t)は、6つの立体物領域72(t)_1,72(t)_2,72(t)_3,72(t)_4,72(t)_5,72(t)_6に分割される。
次に、鉛直性評価部52Bは、支柱81〜84やバー85,86の路面80に対する鉛直性を評価する。なお以下では、バー85,86の路面80に対する鉛直性評価と、支柱81〜84の路面80に対する鉛直性評価に分けて説明する。
鉛直性評価部52Bは、図7に示すように、バー85の長手方向のベクトルV21と、左方カメラ12aの放射方向のベクトルとのなす角度が、予め定められた基準角度を超えるか否かを判断する。図7では、両ベクトルのなす角度が基準角度を超えるものとして、第2立体物領域抽出部52は、バー85を含む立体物領域72(t)_1、72(t)_2を抽出する。バー85は、後述する投影座標点特定部53(図3)において重心G2(図8)を求める対象となる。
鉛直性評価部52Bは、図7に示すように、バー85,86と同様に、支柱81〜84についても路面80に対する鉛直性を評価する。上述したように、支柱81〜84は、路面80に対して鉛直に立設されている。そのため、支柱81の長手方向のベクトルV23の向きと、左方カメラ12aの放射方向とは一致している。
続いて、図8を用いて、投影座標点特定部53で行われる処理について説明する。
続いて、図9〜図16を用いて、投影座標点出力部60で行われる処理について説明する。
まず、投影座標点出力部60は、図9及び図10に示すように、第2俯瞰画像72(t)と、この第2俯瞰画像72(t)を平行移動又は回転移動して生成した第1予測俯瞰画像72’(t−Δt)とを用いて、投影座標点を含む立体物領域に含まれる立体物の路面80に対する鉛直性を判定する。
まず、図9及び図10を参照しつつ、投影座標点SP1を含む立体物領域に対する鉛直性判定処理について説明する。
次に、投影座標点出力部60は、図9に示すように、合成ベクトルSV1と、左方カメラ12aの放射方向のベクトルとのなす角度が、予め定められた基準角度以内である否かを判定する第1判定処理を実施する。
続いて、投影座標点出力部60は、図9及び図10に示すように、合成ベクトルSV1と、ベクトルV31’とのなす角度が、予め定められた基準角度以内である否かを判定する第2判定処理を実施する。
次に、図9及び図10を参照しつつ、投影座標点SP2を含む立体物領域に対する鉛直性判定処理について説明する。
次に、投影座標点出力部60は、図9に示すように、ベクトルV33と、左方カメラ12aの放射方向のベクトルとのなす角度が、予め定められた基準角度以内である否かを判定する第3判定処理を実施する。
続いて、投影座標点出力部60は、図9及び図10に示すように、ベクトルV33と、合成ベクトルSV2’とのなす角度が、予め定められた基準角度以内である否かを判定する第4判定処理を実施する。
次に、投影座標点出力部60は、図11及び図12に示すように、第1俯瞰画像72(t−Δt)と、この第1俯瞰画像72(t−Δt)を平行移動又は回転移動して生成した第2予測俯瞰画像72’(t)とを用いて、投影座標点を含む立体物領域に含まれる立体物の路面80に対する鉛直性を判定する。なお以下では、投影座標点SP1を含む立体物領域に対する鉛直性判定処理と、投影座標点SP2を含む立体物領域に対する鉛直性判定処理とに分けて説明する。
まず、図11及び図12を参照しつつ、投影座標点SP1を含む立体物領域に対する鉛直性判定処理について説明する。
次に、投影座標点出力部60は、図11に示すように、ベクトルV35と、左方カメラ12aの放射方向のベクトルとのなす角度が、予め定められた基準角度以内である否かを判定する第5判定処理を実施する。
続いて、投影座標点出力部60は、図11及び図12に示すように、ベクトルV35と、合成ベクトルSV3’とのなす角度が、予め定められた基準角度以内である否かを判定する第6判定処理を実施する。
次に、図11及び図12を参照しつつ、投影座標点SP2を含む立体物領域に対する鉛直性判定処理について説明する。
次に、投影座標点出力部60は、図11に示すように、合成ベクトルSV4と、左方カメラ12aの放射方向のベクトルとのなす角度が、予め定められた基準角度以内である否かを判定する第7判定処理を実施する。
続いて、投影座標点出力部60は、図11及び図12に示すように、合成ベクトルSV4と、ベクトルV37’とのなす角度が、予め定められた基準角度以内である否かを判定する第8判定処理を実施する。
続いて、図13〜図16を参照しつつ、投影座標点出力部60で行われる表示制御処理について説明する。
12・・・撮像部
12a・・・左方カメラ
30・・・俯瞰画像生成部
50・・・投影座標点取得部
51・・・第1立体物領域抽出部
51A・・・領域分割部
51B・・・鉛直性評価部
52・・・第2立体物領域抽出部
52A・・・領域分割部
52B・・・鉛直性評価部
53・・・投影座標点特定部
72(t−Δt),72(t)・・・俯瞰画像
72’(t−Δt),72’(t)・・・予測俯瞰画像
72(t−Δt)_1,72(t−Δt)_2,72(t−Δt)_3,72(t−Δt)_4,72(t−Δt)_5,72(t−Δt)_6,72(t)_1,72(t)_2,72(t)_3,72(t)_4,72(t)_5,72(t)_6・・・立体物領域
80・・・路面
81,82,83,84・・・支柱
85,86・・・バー(浮遊物)
87,88・・・水溜りの表面に映りこんだ支柱
100・・・周辺監視装置
122・・・表示制御部
150・・・モニタ(表示部)
G1,G2,G21,G22・・・重心
L1,L21・・・第1直線
L2,L22・・・第2直線
RL10,RL11,RL12,RL13,RL14,RL15,RL16,RL17・・・第1放射線
RL20,RL21,RL22,RL23,RL24,RL25,RL26,RL27・・・第2放射線
SP1,SP1’,SP2,SP2’・・・投影座標点
SV1,SV2’,SV3’,SV4・・・合成ベクトル
SVI・・・重畳俯瞰画像
V1,V2,V3,V4,V5,V6,V21,V22,V23,V24,V25,V26,V31,V31’,V32,V33,V33’,V34’・・・ベクトル
θ1,θ2・・・等角度(所定の角度)
Claims (5)
- 路面上を走行する車両に取り付けられた、前記路面に接地していない浮遊物を含む前記車両の周辺を撮像する撮像部と、
前記撮像部により前記周辺が撮像されることで得られ、前記車両の動きに応じて変化し得る2つの画像を視点変換して、第1俯瞰画像及び第2俯瞰画像を生成する俯瞰画像生成部と、
前記第1俯瞰画像を前記撮像部から放射方向に延びる第1放射線で前記撮像部の位置を中心として所定の角度おきに分割した複数の立体物領域の中から、前記浮遊物の前記路面に対する鉛直性を評価して、前記浮遊物を含む第1立体物領域を抽出する第1立体物領域抽出部と、
前記第2俯瞰画像を前記撮像部から放射方向に延びる第2放射線で前記撮像部の位置を中心として所定の角度おきに分割した複数の立体物領域の中から、前記浮遊物の前記路面に対する鉛直性を評価して、前記浮遊物を含む第2立体物領域を抽出する第2立体物領域抽出部と、
前記第1俯瞰画像と前記第2俯瞰画像を重畳した重畳俯瞰画像上で、前記第1立体物領域に含まれる前記浮遊物の重心から前記第1放射線に沿って延びる第1直線と、前記第2立体物領域に含まれる前記浮遊物の重心から前記第2放射線に沿って延びる第2直線とが交差する点を、前記浮遊物の真下にある前記路面に前記浮遊物を投影した投影座標点として特定する投影座標点特定部と、
を有することを特徴とする周辺監視装置。 - 請求項1に記載の周辺監視装置において、
前記車両に搭載された表示部と、
前記投影座標点特定部で特定された前記投影座標点を含む前記重畳俯瞰画像を、前記表示部に表示する表示制御部を備えることを特徴とする周辺監視装置。 - 請求項2に記載の周辺監視装置において、
前記表示制御部は、
前記投影座標点特定部による前記投影座標点の特定が完了すると、前記第1立体物領域に含まれる前記浮遊物の重心と、前記第2立体物領域に含まれる前記浮遊物の重心とを前記表示部から消去することを特徴とする周辺監視装置。 - 請求項2又は請求項3に記載の周辺監視装置において、
前記撮像部は、前記路面に立設された支柱に対して前記路面よりも高い位置で交差する線状体を前記浮遊物として撮像し、
前記表示制御部は、
前記第1立体物領域又は前記第2立体物領域に含まれる前記支柱の長手方向のベクトルと、前記第1立体物領域又は前記第2立体物領域に含まれる前記線状体の長手方向のベクトルとの合成ベクトルと、前記撮像部から放射方向に延びる放射ベクトルとのなす角度が、予め定められた基準角度以内である場合に、前記投影座標点を含む前記重畳俯瞰画像を前記表示部に表示することを特徴とする周辺監視装置。 - 請求項1乃至請求項4のいずれか一項に記載の周辺監視装置において、
前記撮像部は、前記路面に立設された支柱に対して前記路面よりも高い位置で交差する線状体を前記浮遊物として撮像し、
前記第1立体物領域抽出部は、前記第1俯瞰画像を分割した複数の立体物領域のうち、特定の立体物領域に含まれる前記線状体の長手方向のベクトルと、前記撮像部の放射方向のベクトルとのなす角度が、予め定められた基準角度を超えるか否かを判断することによって、前記線状体の前記路面に対する鉛直性を評価し、
前記第2立体物領域抽出部は、前記第2俯瞰画像を分割した複数の立体物領域のうち、特定の立体物領域に含まれる前記線状体の長手方向のベクトルと、前記撮像部の放射方向のベクトルとのなす角度が、予め定められた基準角度を超えるか否かを判断することによって、前記線状体の前記路面に対する鉛直性を評価することを特徴とする周辺監視装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017166766A JP6861599B2 (ja) | 2017-08-31 | 2017-08-31 | 周辺監視装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017166766A JP6861599B2 (ja) | 2017-08-31 | 2017-08-31 | 周辺監視装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019047244A true JP2019047244A (ja) | 2019-03-22 |
JP6861599B2 JP6861599B2 (ja) | 2021-04-21 |
Family
ID=65816614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017166766A Active JP6861599B2 (ja) | 2017-08-31 | 2017-08-31 | 周辺監視装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6861599B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013173427A (ja) * | 2012-02-24 | 2013-09-05 | Nissan Motor Co Ltd | 立体物検出装置 |
JP2015192198A (ja) * | 2014-03-27 | 2015-11-02 | クラリオン株式会社 | 映像表示装置および映像表示システム |
-
2017
- 2017-08-31 JP JP2017166766A patent/JP6861599B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013173427A (ja) * | 2012-02-24 | 2013-09-05 | Nissan Motor Co Ltd | 立体物検出装置 |
JP2015192198A (ja) * | 2014-03-27 | 2015-11-02 | クラリオン株式会社 | 映像表示装置および映像表示システム |
Also Published As
Publication number | Publication date |
---|---|
JP6861599B2 (ja) | 2021-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11320833B2 (en) | Data processing method, apparatus and terminal | |
EP3401671B1 (en) | Detection device and detection method | |
JP3522317B2 (ja) | 車輌用走行案内装置 | |
US11670087B2 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
JP6239186B2 (ja) | 表示制御装置及び表示制御方法及び表示制御プログラム | |
CN107848415A (zh) | 显示控制装置、显示装置及显示控制方法 | |
US9336595B2 (en) | Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function | |
US20090274362A1 (en) | Road Image Analyzing Apparatus and Road Image Analyzing Method | |
CN102037490A (zh) | 用于使图像模糊的方法和布置 | |
CN111561906B (zh) | 机器人单目测距方法、系统、电子设备和计算机存储介质 | |
CN112862890B (zh) | 道路坡度预测方法、装置和存储介质 | |
JP2013196387A (ja) | 画像処理装置、及び画像処理方法 | |
US9734429B2 (en) | Method, system and computer program product for detecting an obstacle with a camera | |
CN112529935B (zh) | 目标车辆运动状态识别方法及装置 | |
CN111242118B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
CN116772730B (zh) | 一种裂缝尺寸测量方法、计算机存储介质及系统 | |
JP6802999B2 (ja) | 区画線検出システム | |
JP2019047244A (ja) | 周辺監視装置 | |
US20220406018A1 (en) | Three-dimensional display device, three-dimensional display method, and three-dimensional display program | |
CN116203976A (zh) | 变电站室内巡检方法、装置、无人机和存储介质 | |
CN107255470A (zh) | 障碍物检测装置 | |
KR20160127264A (ko) | 시선 검출 시스템 및 그 방법 | |
CN112172670B (zh) | 基于图像识别的后视图像显示方法及装置 | |
CN114863096A (zh) | 室内停车场的语义地图构建及定位方法和装置 | |
CN113822179A (zh) | 阻车器位置的检测方法、装置、电子设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200924 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210309 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6861599 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |