JP2022064388A - 物体認識装置 - Google Patents
物体認識装置 Download PDFInfo
- Publication number
- JP2022064388A JP2022064388A JP2020172983A JP2020172983A JP2022064388A JP 2022064388 A JP2022064388 A JP 2022064388A JP 2020172983 A JP2020172983 A JP 2020172983A JP 2020172983 A JP2020172983 A JP 2020172983A JP 2022064388 A JP2022064388 A JP 2022064388A
- Authority
- JP
- Japan
- Prior art keywords
- information
- reliability
- unit
- visual field
- calculation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 claims abstract description 84
- 230000000007 visual effect Effects 0.000 claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims description 124
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 33
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000000691 measurement method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、このような課題に鑑み、視野重複領域と視野非重複領域に跨り撮像された物体を高精度に認識する物体認識装置の提供を目的とする。
図1は、実施例1の物体認識装置1の構成を示す機能ブロック図である。
本実施形態の物体認識装置1は、例えば自車の車両に搭載され、自車の前方に存在する物体を認識して識別する処理を行う。物体認識装置1は、カメラ、コンピュータ、メモリおよび記憶装置などで構成されており、コンピュータが、メモリ等に格納された制御プログラムを実行することにより各種機能部として動作する。
次に、図2に示すシーンにおける本実施形態の物体認識装置1の動作例を、図3のフローチャートを参照して詳細に説明する。以降の動作例では、物体認識装置1は車両の前方を監視する形式で設置されているものとする。また、第一のセンサ100と第二のセンサ101は両方ともカメラとして説明する。
Weight_D = (Area_D)/(Area_D+Area_T)* Density_D ・・(1)
Weight_T = (Area_T)/(Area_D+Area_T) ・・・・・・・・・(2)
Total_Score = Score_D*Weight_D + Score_T*Weight_T ・・・・(3)
式(3)に従いTotal_Scoreを計算し、所定の閾値と比較し、閾値以上であった場合に、認識対象の物体であると判定する。
次に、物体認識装置1の2つめの動作例に関して述べる。動作例2の処理フローは図3に示した動作例1の処理フローと同一であり、重み算出処理(P106)で実施する処理内容が異なる。そのため、以降では動作例2における重み算出処理(P106)に関してのみ説明する。
次に、物体認識装置1の3つめの動作例に関して述べる。動作例3の処理フローは図3に示した動作例1の処理フローと同一であり、視差スコア算出処理(P104)、及び重み算出処理(P106)で実施する処理内容が異なる。そのため、以降では動作例3における視差スコア算出処理(P104)、及び重み算出処理(P106)に関してのみ説明する。
次に、物体認識装置1の4つめの動作例に関して述べる。動作例4の処理フローは図3に示した動作例1の処理フローと同一であり、立体物検出処理(P103)で実施する処理内容が異なる。そのため、以降では動作例4における立体物検出処理(P103)に関してのみ説明する。
次に、物体認識装置1の5つめの動作例に関して述べる。動作例5の処理フローは図3に示した動作例1の処理フローと同一であり、車両制御処理(P108)で実施する処理内容が異なる。そのため、以降では動作例5における車両制御処理(P108)に関してのみ説明する。
Area_D * Density_D < α * (Area_T) ・・・・・(4)
また、上記した式(4)は以下の式(5)の条件に変更することもできる。
Score_D < β * (Score_T) ・・・・・(5)
また、式(4)、及び式(5)ではなく、次式に従い距離の測定方法を変更することができる。
Density_D ≦ 0 ・・・・・(6)
101 第二のセンサ
102 3次元情報取得部
103 テクスチャ情報取得部
104 物体検出部
105 信頼度算出部
106 第一の信頼度算出部
107 第二の信頼度算出部
108 物体種別特定部
109 車両制御部(車両制御装置)
Claims (10)
- 第一のセンサと第二のセンサの視野重複領域から3次元情報を取得する3次元情報取得部と、
前記第一のセンサと前記第二のセンサの前記視野重複領域と視野非重複領域のテクスチャ情報を取得するテクスチャ情報取得部と、
前記3次元情報取得部と前記テクスチャ情報取得部が取得した情報に基づき前記視野重複領域と前記視野非重複領域に撮像された物体を検出する物体検出部と、
前記視野重複領域の前記3次元情報に基づいて物体の識別結果である第一の信頼度を算出する第一の信頼度算出部及び前記視野重複領域と前記視野非重複領域のテクスチャ情報に基づいて物体の識別結果である第二の信頼度を算出する第二の信頼度算出部を有する信頼度算出部と、
前記信頼度算出部で算出した信頼度に基づき、物体の種別を特定する物体種別特定部と、を備えることを特徴とする物体認識装置。 - 前記物体種別特定部は、前記信頼度算出部が算出した信頼度に対する重みを推定し、推定した前記重みに基づいて前記第一の信頼度算出部と前記第二の信頼度算出部で算出した前記第一の信頼度と前記第二の信頼度を統合することで物体種別を特定することを特徴とする、請求項1に記載の物体認識装置。
- 前記物体種別特定部は、前記第一の信頼度算出部で利用した3次元情報の取得領域情報若しくは密度情報と前記第二の信頼度算出部で利用したテクスチャ情報の取得領域情報により前記重みを推定することを特徴とする、請求項2に記載の物体認識装置。
- 前記物体種別特定部は、前記第一の信頼度算出部で利用した3次元情報と前記第二の信頼度算出部で利用したテクスチャ情報を入力とする畳込みニューラルネットワークにより前記重みを推定することを特徴とする、請求項2に記載の物体認識装置。
- 前記第一の信頼度算出部は、前記物体検出部で検出した物体の中心位置に基づき前記視野重複領域から取得した3次元情報を前記視野非重複領域に拡張し、前記視野重複領域と前記視野非重複領域に拡張された前記3次元情報により前記第一の信頼度を算出することを特徴とする、請求項1に記載の物体認識装置。
- 前記物体検出部は、前記3次元情報取得部で取得した情報に基づき前記物体の領域を検出する第一の検出処理を実施し、前記第一の検出処理により検出された前記物体の領域を含む領域のテクスチャ情報に基づき前記物体を検出することを特徴とする、請求項1に記載の物体認識装置。
- 前記物体検出部は、前記テクスチャ情報取得部で取得した情報に基づき前記物体の領域を検出する第二の検出処理を実施し、前記第二の検出処理により検出された前記物体の領域に含まれる領域の視差情報に基づき前記第二の検出処理の検出結果を補正することで前記物体を検出することを特徴とする、請求項1に記載の物体認識装置。
- 前記物体検出部は、前記第一の信頼度算出部で利用した3次元情報の取得領域情報若しくは密度情報と前記第二の信頼度算出部で利用したテクスチャ情報の取得領域情報に基づき物体の3次元位置の決定方法を変更することを特徴とする、請求項1に記載の物体認識装置。
- 前記第一のセンサと前記第二のセンサは、それぞれ画像を撮像するカメラであることを特徴とする、請求項1に記載の物体認識装置。
- 請求項1に記載の物体認識装置の前記物体検出部で検出した物体の位置と、前記信頼度算出部で算出した前記信頼度と、前記物体種別特定部で特定した物体の種別の情報と、に基づき車両を制御する車両制御部を備え、
前記車両制御部は、前記信頼度の値に応じ、車両制御内容を変更することを特徴とする、車両制御装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020172983A JP7499140B2 (ja) | 2020-10-14 | 2020-10-14 | 物体認識装置 |
PCT/JP2021/033256 WO2022080049A1 (ja) | 2020-10-14 | 2021-09-10 | 物体認識装置 |
CN202180067146.6A CN116348937A (zh) | 2020-10-14 | 2021-09-10 | 物体识别装置 |
DE112021004200.9T DE112021004200T5 (de) | 2020-10-14 | 2021-09-10 | Objekterkennungsvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020172983A JP7499140B2 (ja) | 2020-10-14 | 2020-10-14 | 物体認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022064388A true JP2022064388A (ja) | 2022-04-26 |
JP7499140B2 JP7499140B2 (ja) | 2024-06-13 |
Family
ID=81208370
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020172983A Active JP7499140B2 (ja) | 2020-10-14 | 2020-10-14 | 物体認識装置 |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP7499140B2 (ja) |
CN (1) | CN116348937A (ja) |
DE (1) | DE112021004200T5 (ja) |
WO (1) | WO2022080049A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023218761A1 (ja) * | 2022-05-09 | 2023-11-16 | 日立Astemo株式会社 | 異常診断装置 |
WO2023238751A1 (ja) * | 2022-06-10 | 2023-12-14 | 日立Astemo株式会社 | 環境認識装置および環境認識方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010079582A (ja) * | 2008-09-25 | 2010-04-08 | Toshiba Corp | 物体を検出する装置、方法及びプログラム |
JP6014440B2 (ja) | 2012-09-26 | 2016-10-25 | 日立オートモティブシステムズ株式会社 | 移動物体認識装置 |
CN109478320B (zh) | 2016-07-12 | 2022-03-18 | 深圳市大疆创新科技有限公司 | 处理图像以获得环境信息 |
JP7025912B2 (ja) | 2017-12-13 | 2022-02-25 | 日立Astemo株式会社 | 車載環境認識装置 |
JP7042185B2 (ja) * | 2018-07-27 | 2022-03-25 | 日立Astemo株式会社 | 距離算出装置 |
-
2020
- 2020-10-14 JP JP2020172983A patent/JP7499140B2/ja active Active
-
2021
- 2021-09-10 DE DE112021004200.9T patent/DE112021004200T5/de active Pending
- 2021-09-10 WO PCT/JP2021/033256 patent/WO2022080049A1/ja active Application Filing
- 2021-09-10 CN CN202180067146.6A patent/CN116348937A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023218761A1 (ja) * | 2022-05-09 | 2023-11-16 | 日立Astemo株式会社 | 異常診断装置 |
WO2023238751A1 (ja) * | 2022-06-10 | 2023-12-14 | 日立Astemo株式会社 | 環境認識装置および環境認識方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022080049A1 (ja) | 2022-04-21 |
JP7499140B2 (ja) | 2024-06-13 |
DE112021004200T5 (de) | 2023-06-15 |
CN116348937A (zh) | 2023-06-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2422320B1 (en) | Object detection device | |
EP3418943B1 (en) | Object detecting apparatus, object detecting method, and computer-readable medium | |
US10922561B2 (en) | Object recognition device and vehicle travel control system | |
JP7025912B2 (ja) | 車載環境認識装置 | |
JP5939357B2 (ja) | 移動軌跡予測装置及び移動軌跡予測方法 | |
US8406472B2 (en) | Method and system for processing image data | |
US6744380B2 (en) | Apparatus for monitoring area adjacent to vehicle | |
US7262710B2 (en) | Collision time estimation apparatus for vehicles, collision time estimation method for vehicles, collision alarm apparatus for vehicles, and collision alarm method for vehicles | |
WO2022080049A1 (ja) | 物体認識装置 | |
CN115668182A (zh) | 自主车辆环境感知软件架构 | |
US20060220912A1 (en) | Sensing apparatus for vehicles | |
US10422871B2 (en) | Object recognition apparatus using a plurality of object detecting means | |
JP6458651B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
CN111611853A (zh) | 一种传感信息融合方法、装置及存储介质 | |
EP3282389B1 (en) | Image processing apparatus, image capturing apparatus, moving body apparatus control system, image processing method, and program | |
KR20210062672A (ko) | 차량의 주변 환경에 있는 물체와 관련된 정보를 결정하기 위한 방법 및 처리 유닛 | |
CN111164648A (zh) | 移动体的位置推断装置及位置推断方法 | |
JP2018048949A (ja) | 物体識別装置 | |
US20200223429A1 (en) | Vehicular control system | |
Michalke et al. | Towards a closer fusion of active and passive safety: Optical flow-based detection of vehicle side collisions | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
JP2020201746A (ja) | 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム | |
Hwang et al. | Vehicle detection system design based on stereo vision sensors | |
KR101637374B1 (ko) | 협력 통신을 이용하여 주변 이동체를 탐지하는 방법 및 시스템 | |
EP2919191A1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7499140 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |