JP2018067186A - 画像認識装置 - Google Patents
画像認識装置 Download PDFInfo
- Publication number
- JP2018067186A JP2018067186A JP2016206047A JP2016206047A JP2018067186A JP 2018067186 A JP2018067186 A JP 2018067186A JP 2016206047 A JP2016206047 A JP 2016206047A JP 2016206047 A JP2016206047 A JP 2016206047A JP 2018067186 A JP2018067186 A JP 2018067186A
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- detected
- image recognition
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 15
- 238000013459 approach Methods 0.000 claims description 4
- 239000000470 constituent Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
【解決手段】S11で、ECUは、車両に搭載されたカメラから車両の周辺の撮像画像を取得する。S12で、ECUは、S11で取得された時系列的に連続する複数の撮像画像に基づき移動量を算出することにより、撮像画像から移動体を検出する。S15で、ECUは、S11で取得された撮像画像から歩行者を識別する識別子を用いて歩行者を検出する。また、ECUは、S12で移動体が検出された場合、S14で撮像画像の移動体が検出された部分において、識別子を用いて歩行者を検出する際の検出基準を緩和する。
【選択図】図2
Description
[1.構成]
図1に示す画像認識システム1は、後方カメラ2、車速センサ3、舵角センサ4、ECU5及びモニタ6を備える。以下では、画像認識システム1が搭載された車両を「自車両」という。
舵角センサ4は、自車両のステアリングの操舵角を検出するためのセンサである。舵角センサ4は、検出された操舵角に応じた信号をECU5へ出力する。
[2.処理]
次に、ECU5が実行する歩行者検出処理について、図2のフローチャートを用いて説明する。歩行者検出処理は、シフトレバーのシフトポジションがリバースである間に周期的に実行される。
S12では、ECU5は、取得された複数の撮像画像から移動体を検出する。具体的には、移動体は、今回取得した撮像画像と前回以前に取得した時系列的に連続する複数の撮像画像に基づき周知のオプティカルフロー法を用いて撮像画像中の物体の移動量を算出することにより検出される。
S15では、ECU5は、取得された撮像画像から歩行者を検出する。具体的には、歩行者は、周知のパターンマッチング法で、歩行者を識別する識別子と撮像画像中の物体との一致度が検出基準となる所定のしきい値以上である場合に検出される。ここで、前述したS12で移動体が検出されなかった場合、通常の検出基準である第1のしきい値以上で歩行者が検出される。また、前述したS12で移動体が検出された場合、移動体が検出された部分において緩和された検出基準である第2のしきい値以上で歩行者が検出される。
一方、前述したS15で歩行者が検出された場合、ECU5は、S16に移行し歩行者表示態様処理を実行する。
S22では、ECU5は、舵角センサ4から検出された操舵角に応じた信号を取得する。
S25では、ECU5は、前述したS15で検出された歩行者が、自車両に対して接近しているか否かを判定する。歩行者が自車両に接近しているか否かは、後方カメラ2から取得された時系列的に連続する複数の撮像画像に基づき算出した移動量に基づいて判定する。
一方、前述したS25で歩行者が自車両に接近していないと判定された場合、ECU5は前述したS26を飛ばしてS27に移行する。
ここで、ECU5が実行する歩行者検出処理を説明する図2のフローチャートに戻る。S17では、ECU5は、前述した歩行者表示態様処理で決定された強調度の値に基づき、歩行者を強調して表示する際の表示態様を決定する。そして、図3に示すように撮像画像から検出された歩行者を囲むように、枠状の画像である歩行者強調画像72を表示して、歩行者を強調する。具体的には、例えば、強調度の値に応じて歩行者強調画像72の色を変化させる。例えば、強調度の値が0の場合は緑色、強調度の値が1の場合は黄色、強調度の値が2の場合は橙色、強調度の値が3の場合は赤色に歩行者強調画像72を変化させる。その後、歩行者検出処理を終了する。
以上詳述した実施形態によれば、以下の効果が得られる。
(3a)本実施形態によれば、ECU5は、撮像画像から移動体及び歩行者を検出することができる。また、移動体が検出された場合、撮像画像の移動体が検出された部分において、識別子を用いて歩行者を検出する際の検出基準が緩和される。このため、移動体であるか否かに関係なく同じ検出基準で歩行者を検出する場合と比較して、歩行者でない物体が歩行者として誤検出されることを抑制しつつ、歩行者が歩行者として検出されないことを生じにくくすることができる。したがって、歩行者を検出する精度を向上させることができる。
(3c)本実施形態では、ECU5は、歩行者以外の移動体を歩行者とは異なる表示態様で強調する。これにより、歩行者を歩行者以外の移動体と区別して運転者に注意喚起することができる。
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々変形して実施することができる。
(4f)前述したECU5の他、当該ECU5を構成要素とする画像認識システム1、歩行者検出処理をコンピュータに実行させるためのプログラム、このプログラムを記録したROM53などの半導体メモリ等の非遷移的実体的記録媒体、歩行者を検出する方法など、種々の形態で本開示を実現することもできる。
Claims (6)
- 車両に搭載されたカメラ(2)から前記車両の周辺の撮像画像を取得する画像取得部(S11)と、
前記画像取得部により取得された時系列的に連続する複数の前記撮像画像に基づき移動量を算出することにより、前記撮像画像から移動体を検出する移動体検出部(S12)と、
前記画像取得部により取得された前記撮像画像から歩行者を識別する識別子を用いて歩行者を検出する歩行者検出部(S14,S15)と、
を備え、
前記歩行者検出部は、前記移動体検出部により前記移動体が検出された場合、前記撮像画像の前記移動体が検出された部分において、前記識別子を用いて前記歩行者を検出する際の検出基準を緩和する、画像認識装置(5)。 - 請求項1に記載の画像認識装置であって、
前記撮像画像を表示装置(6)に表示させる表示処理部(S13、S17)を更に備え、
前記表示処理部は、前記歩行者検出部により検出された前記歩行者を強調した前記撮像画像を前記表示装置に表示する、画像認識装置。 - 請求項2に記載の画像認識装置であって、
前記表示処理部は、前記移動体検出部により検出された前記歩行者以外の前記移動体を、前記歩行者検出部により検出された前記歩行者とは異なる表示態様で強調する、画像認識装置。 - 請求項2又は請求項3に記載の画像認識装置であって、
前記歩行者検出部により検出された前記歩行者が、前記車両が走行すると予測される軌跡である予測軌跡上に存在するか否かを判定する軌跡判定部(S23)を更に備え、
前記表示処理部は、前記軌跡判定部により前記歩行者が前記予測軌跡上に存在すると判定された場合、前記歩行者が前記予測軌跡上に存在しないと判定された場合と異なる表示態様で前記歩行者を強調する、画像認識装置。 - 請求項2から請求項4までのいずれか1項に記載の画像認識装置であって、
前記歩行者検出部により検出された前記歩行者が、前記車両に対して接近しているか否かを判定する接近判定部(S25)を更に備え、
前記表示処理部は、前記接近判定部により前記歩行者が前記車両に接近していると判定された場合、前記歩行者が前記車両に接近していないと判定された場合と異なる表示態様で前記歩行者を強調する、画像認識装置。 - 請求項2から請求項5までのいずれか1項に記載の画像認識装置であって、
前記歩行者検出部により検出された前記歩行者が、前記車両を基準とした所定の範囲である判定範囲に存在するか否かを判定する存在判定部(S27)を更に備え、
前記表示処理部は、前記存在判定部により前記歩行者が前記判定範囲に存在すると判定された場合、前記歩行者が前記判定範囲に存在しないと判定された場合と異なる表示態様で前記歩行者を強調する、画像認識装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016206047A JP6620715B2 (ja) | 2016-10-20 | 2016-10-20 | 画像認識装置 |
PCT/JP2017/037006 WO2018074319A1 (ja) | 2016-10-20 | 2017-10-12 | 画像認識装置 |
DE112017005340.4T DE112017005340T5 (de) | 2016-10-20 | 2017-10-12 | Bilderkennungsvorrichtung |
CN201780064507.5A CN109844763A (zh) | 2016-10-20 | 2017-10-12 | 图像识别装置 |
US16/342,672 US10846840B2 (en) | 2016-10-20 | 2017-10-12 | Image recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016206047A JP6620715B2 (ja) | 2016-10-20 | 2016-10-20 | 画像認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018067186A true JP2018067186A (ja) | 2018-04-26 |
JP6620715B2 JP6620715B2 (ja) | 2019-12-18 |
Family
ID=62019118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016206047A Active JP6620715B2 (ja) | 2016-10-20 | 2016-10-20 | 画像認識装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10846840B2 (ja) |
JP (1) | JP6620715B2 (ja) |
CN (1) | CN109844763A (ja) |
DE (1) | DE112017005340T5 (ja) |
WO (1) | WO2018074319A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007064894A (ja) * | 2005-09-01 | 2007-03-15 | Fujitsu Ten Ltd | 物体検出装置、物体検出方法および物体検出プログラム |
JP2009026223A (ja) * | 2007-07-23 | 2009-02-05 | Toyota Central R&D Labs Inc | 物体検出装置及びプログラム |
JP2012123642A (ja) * | 2010-12-08 | 2012-06-28 | Toyota Central R&D Labs Inc | 画像識別装置及びプログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5423631A (en) | 1977-07-22 | 1979-02-22 | Koei Chemical Co | Novel 22substituted 55nitroo gammaapicolines * production thereof and dyeing agent containing said compound |
US5109425A (en) * | 1988-09-30 | 1992-04-28 | The United States Of America As Represented By The United States National Aeronautics And Space Administration | Method and apparatus for predicting the direction of movement in machine vision |
US6370475B1 (en) * | 1997-10-22 | 2002-04-09 | Intelligent Technologies International Inc. | Accident avoidance system |
EP1056064B1 (en) * | 1999-05-28 | 2007-12-12 | Nippon Telegraph and Telephone Corporation | Apparatus and method for speed measurement of vehicles with an image processing system |
JP3736520B2 (ja) * | 2002-12-19 | 2006-01-18 | 株式会社デンソー | 車両用障害物認識装置 |
JP4705818B2 (ja) * | 2005-07-29 | 2011-06-22 | トヨタ自動車株式会社 | 静電塗装装置 |
JP4946228B2 (ja) * | 2006-07-18 | 2012-06-06 | トヨタ自動車株式会社 | 車載用歩行者検出装置 |
US20120147188A1 (en) * | 2009-09-03 | 2012-06-14 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
CN104251993B (zh) * | 2010-03-17 | 2017-04-12 | 本田技研工业株式会社 | 车辆周围监测装置 |
JP5423631B2 (ja) | 2010-09-24 | 2014-02-19 | 株式会社デンソー | 画像認識装置 |
JP5640788B2 (ja) * | 2011-02-09 | 2014-12-17 | トヨタ自動車株式会社 | 移動者警報装置 |
WO2013046408A1 (ja) * | 2011-09-29 | 2013-04-04 | トヨタ自動車株式会社 | 画像表示装置及び画像表示方法 |
US9047780B2 (en) * | 2012-11-16 | 2015-06-02 | Robert Bosch Gmbh | Collision mitigation systems and methods using driver attentiveness |
DE102013113054B4 (de) * | 2012-12-03 | 2022-01-27 | Denso Corporation | Zielerfassungsvorrichtung zum Vermeiden einer Kollision zwischen einem Fahrzeug und einem durch einen an dem Fahrzeug montierten Sensor erfassten Ziel |
JP6330341B2 (ja) * | 2014-01-23 | 2018-05-30 | 株式会社デンソー | 運転支援装置 |
US9158971B2 (en) * | 2014-03-03 | 2015-10-13 | Xerox Corporation | Self-learning object detectors for unlabeled videos using multi-task learning |
JP6430777B2 (ja) * | 2014-10-22 | 2018-11-28 | 株式会社デンソー | 物体検知装置 |
JP6454554B2 (ja) * | 2015-01-20 | 2019-01-16 | クラリオン株式会社 | 車両用外界認識装置およびそれを用いた車両挙動制御装置 |
JP2016206047A (ja) | 2015-04-24 | 2016-12-08 | 日本電気株式会社 | 航法支援装置及び航法支援方法 |
KR102631964B1 (ko) * | 2016-11-23 | 2024-01-31 | 엘지이노텍 주식회사 | 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체 |
-
2016
- 2016-10-20 JP JP2016206047A patent/JP6620715B2/ja active Active
-
2017
- 2017-10-12 DE DE112017005340.4T patent/DE112017005340T5/de not_active Ceased
- 2017-10-12 CN CN201780064507.5A patent/CN109844763A/zh active Pending
- 2017-10-12 WO PCT/JP2017/037006 patent/WO2018074319A1/ja active Application Filing
- 2017-10-12 US US16/342,672 patent/US10846840B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007064894A (ja) * | 2005-09-01 | 2007-03-15 | Fujitsu Ten Ltd | 物体検出装置、物体検出方法および物体検出プログラム |
JP2009026223A (ja) * | 2007-07-23 | 2009-02-05 | Toyota Central R&D Labs Inc | 物体検出装置及びプログラム |
JP2012123642A (ja) * | 2010-12-08 | 2012-06-28 | Toyota Central R&D Labs Inc | 画像識別装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2018074319A1 (ja) | 2018-04-26 |
US20200051230A1 (en) | 2020-02-13 |
JP6620715B2 (ja) | 2019-12-18 |
US10846840B2 (en) | 2020-11-24 |
CN109844763A (zh) | 2019-06-04 |
DE112017005340T5 (de) | 2019-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4879189B2 (ja) | 安全走行支援装置 | |
JP4815488B2 (ja) | 車両周辺監視装置 | |
JP5706874B2 (ja) | 車両の周辺監視装置 | |
US9690994B2 (en) | Lane recognition device | |
JP2009040107A (ja) | 画像表示制御装置及び画像表示制御システム | |
US9950667B2 (en) | Vehicle system for detecting object and operation method thereof | |
JP4528283B2 (ja) | 車両周辺監視装置 | |
JP2013225295A5 (ja) | ||
JP2009040108A (ja) | 画像表示制御装置及び画像表示制御システム | |
US10866416B2 (en) | Display control device and display control method | |
CN107451539B (zh) | 一种车道偏离预警方法及系统 | |
JP2017027180A (ja) | 車両制御装置及び車両制御方法 | |
JP6325927B2 (ja) | 物体検知装置及びそれを用いた車両制御システム | |
KR20210070878A (ko) | 차량 주차를 보조하기 위한 시스템 및 방법 | |
Satzoda et al. | On enhancing lane estimation using contextual cues | |
JP2015203992A (ja) | レーンマーク認識装置 | |
JP2018097515A (ja) | 運転支援装置、運転支援方法、およびプログラム | |
KR101787292B1 (ko) | 영상을 이용한 차선 인식 성능 향상 방법 | |
US11878698B2 (en) | Display control device, display control method, and storage medium storing display control program | |
JP5292047B2 (ja) | 車両の周辺監視装置 | |
KR101745557B1 (ko) | 촬영영상을 이용한 교통신호기 검출장치 및 그 방법 | |
JP6620715B2 (ja) | 画像認識装置 | |
JP2011191859A (ja) | 車両の周辺監視装置 | |
JP6087240B2 (ja) | 車両周辺監視装置 | |
Ben Romdhane et al. | A lane detection and tracking method for driver assistance system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191105 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6620715 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |