JP2018045405A - 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム - Google Patents
物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム Download PDFInfo
- Publication number
- JP2018045405A JP2018045405A JP2016179154A JP2016179154A JP2018045405A JP 2018045405 A JP2018045405 A JP 2018045405A JP 2016179154 A JP2016179154 A JP 2016179154A JP 2016179154 A JP2016179154 A JP 2016179154A JP 2018045405 A JP2018045405 A JP 2018045405A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- feature point
- feature points
- captured image
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 239000000284 extract Substances 0.000 claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000007796 conventional method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 1
- 241000375392 Tana Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】物体追従システム1は、車両に設置され、前記車両の外部を連続的に撮影して複数フレームの撮影画像を生成するカメラ10と、撮影画像において認識対象の物体を追従する物体追従装置20とを備える。物体追従装置20は、撮影画像の第1フレームから物体を検出する物体検出部21と、第1フレームから前物体の特徴点を抽出する特徴点抽出部22と、第2フレームにおいて、物体を追従する追従処理部23とを備える。追従処理部23は、第2フレームにおいて特徴点を抽出し、第1フレームの特徴点を第2フレームの特徴点と照合して対応特徴点を求めることで物体を追従し、かつ、第3フレームのために、第2フレームにおいて新たな特徴点を追加する。
【選択図】図1
Description
(1)現フレーム(フレームt+1)の正対応特徴点の位置情報を平均化して、新たに設定するROIの基準位置(例えば中心)とする。
(2)前フレーム(フレームt)の正対応特徴点から現フレーム(t+1)の対応する正対応特徴点に向かうベクトル(オプティカルフロー)を各正対応特徴点の組について求めて、その平均ベクトルを求め、現フレームのROIを当該平均ベクトルだけ移動させて、新たに設定するROIとする。
(3)(1)の位置情報を平均した位置から、(2)の平均ベクトルだけ移動させた位置を新たに設定するROIの基準位置(例えば中心)とする。
なお、(1)〜(3)のいずれにおいても、ROIのサイズは現フレームのROIのサイズと同じとすることができるが、ROIのサイズを可変にしてもよい。具体的には、ROIのサイズは、オプティカルフローの向き情報に基づいて変更してよい。例えば、オプティカルフローの向きがROIの外側に向いている場合には、サイズを、例えば1.1倍に拡大し、オプティカルフローの向きがROIの内側に向いている場合には、サイズを、例えば0.9倍に縮小する等の方法でROIのサイズを変更することができる。
10 カメラ
20 物体追従装置
21 物体検出部
22 特徴点抽出部
23 追従処理部
Claims (8)
- 車両に設置され、前記車両の外部を連続的に撮影して撮影画像を生成するカメラと、
前記撮影画像において認識対象の物体を追従する物体追従装置と、
を備えた物体追従システムであって、
前記物体追従装置は、
前記撮影画像の第1フレームから前記物体を検出する物体検出部と、
前記第1フレームから前記物体の特徴点を抽出する特徴点抽出部と、
前記第1フレームの次の第2フレームにおいて、前記物体を追従する追従処理部と、
を備え、
前記追従処理部は、前記第2フレームにおいて特徴点を抽出し、前記第1フレームの特徴点を前記第2フレームの特徴点と照合して対応特徴点を求めることで、前記物体を追従し、かつ、前記第2フレームの次の第3フレームのために、前記第2フレームにおいて新たな特徴点を追加する、物体追従システム。 - 前記追従処理部は、前記第2フレームの特徴点についてブロック照合を行うことで、前記第1フレームの特徴点の近傍にある前記第2フレームの特徴点を前記対応特徴点とする、請求項1に記載の物体追従システム。
- 前記追従処理部は、前記第1フレームにて検出された物体を含むように前記第2フレームに設定された注目領域にて前記特徴点を抽出する、請求項1又は2に記載の物体追従システム。
- 前記追従処理部は、前記第2フレームの前記対応特徴点に基づいて、前記第3フレームのために前記注目領域を移動し、移動された前記注目領域から前記第3フレームのために追加する特徴点を抽出する、請求項3に記載の物体追従システム。
- 前記追従処理部は、前記第2フレームにおいて所定数の前記特徴点を抽出し、前記特徴点として抽出されたが前記対応特徴点とされなかった前記特徴点を補う数の新たな前記特徴点を前記第3フレームのために追加する、請求項4に記載の物体追従システム。
- 車両に設置されたカメラにて車両の外部を連続的に撮影して生成された撮影画像を取得し、前記撮影画像において認識対象の物体を追従する物体追従装置であって、
前記撮影画像の第1フレームから前記物体を検出する物体検出部と、
前記第1フレームから前記物体の特徴点を抽出する特徴点抽出部と、
前記第1フレームの次の第2フレームにおいて特徴点を抽出し、前記第1フレームの特徴点を前記第2フレームの特徴点と照合して対応特徴点を求めることで、前記物体を追従し、かつ、前記第2フレームの次の第3フレームのために、前記第2フレームにおいて新たな特徴点を追加する、物体追従装置。 - 車両に設置されたカメラで、車両の外部を連続的に撮影して撮影画像を生成するステップと、
前記撮影画像の第1フレームから認識対象の物体を検出するステップと、
前記第1フレームから前記物体の特徴点を抽出するステップと、
前記第1フレームの次の第2フレームにおいて特徴点を抽出するステップと、
前記第1フレームの特徴点を前記第2フレームの特徴点と照合して対応特徴点を求めることで、前記物体を追従するステップと、
前記第2フレームの次の第3フレームのために、前記第2フレームにおいて新たな特徴点を追加するステップと、
を含む物体追従方法。 - 車両に設置されたカメラにて車両の外部を連続的に撮影して生成された撮影画像を取得し、前記撮影画像において認識対象の物体を追従する物体追従装置のコンピュータを、
前記撮影画像の第1フレームから前記物体を検出する物体検出部、
前記第1フレームから前記物体の特徴点を抽出する特徴点抽出部、及び
前記第1フレームの次の第2フレームにおいて特徴点を抽出し、前記第1フレームの特徴点を前記第2フレームの特徴点と照合して対応特徴点を求めることで、前記物体を追従し、かつ、前記第2フレームの次の第3フレームのために、前記第2フレームにおいて新たな特徴点を追加する追従処理部、
として機能させる物体追従プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016179154A JP6869672B2 (ja) | 2016-09-14 | 2016-09-14 | 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016179154A JP6869672B2 (ja) | 2016-09-14 | 2016-09-14 | 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018045405A true JP2018045405A (ja) | 2018-03-22 |
JP6869672B2 JP6869672B2 (ja) | 2021-05-12 |
Family
ID=61693100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016179154A Active JP6869672B2 (ja) | 2016-09-14 | 2016-09-14 | 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6869672B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112655018A (zh) * | 2018-10-18 | 2021-04-13 | 国立研究开发法人科学技术振兴机构 | 对象追踪方法、对象追踪系统以及对象追踪程序 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02123877A (ja) * | 1988-11-01 | 1990-05-11 | Sumitomo Heavy Ind Ltd | 移動物体の自動追尾装置 |
JP2003115052A (ja) * | 2001-10-09 | 2003-04-18 | National Institute Of Advanced Industrial & Technology | 画像処理方法及び画像処理装置 |
JP2003256847A (ja) * | 2002-02-28 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | 特徴点追跡画像決定装置、特徴点追跡画像決定方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 |
JP2006318345A (ja) * | 2005-05-16 | 2006-11-24 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
JP2011181014A (ja) * | 2010-03-03 | 2011-09-15 | Secom Co Ltd | 移動物体追跡装置 |
JP2015230515A (ja) * | 2014-06-03 | 2015-12-21 | 株式会社ニコン | 被写体追尾装置およびカメラ |
JP2016012226A (ja) * | 2014-06-27 | 2016-01-21 | トヨタ自動車株式会社 | 対象物認識装置 |
-
2016
- 2016-09-14 JP JP2016179154A patent/JP6869672B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02123877A (ja) * | 1988-11-01 | 1990-05-11 | Sumitomo Heavy Ind Ltd | 移動物体の自動追尾装置 |
JP2003115052A (ja) * | 2001-10-09 | 2003-04-18 | National Institute Of Advanced Industrial & Technology | 画像処理方法及び画像処理装置 |
JP2003256847A (ja) * | 2002-02-28 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | 特徴点追跡画像決定装置、特徴点追跡画像決定方法、この方法のプログラム、およびこのプログラムを記録した記録媒体 |
JP2006318345A (ja) * | 2005-05-16 | 2006-11-24 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
JP2011181014A (ja) * | 2010-03-03 | 2011-09-15 | Secom Co Ltd | 移動物体追跡装置 |
JP2015230515A (ja) * | 2014-06-03 | 2015-12-21 | 株式会社ニコン | 被写体追尾装置およびカメラ |
JP2016012226A (ja) * | 2014-06-27 | 2016-01-21 | トヨタ自動車株式会社 | 対象物認識装置 |
Non-Patent Citations (2)
Title |
---|
中川 雅朗、外2名: ""ハンディカメラを用いて撮影された画像列からのEPIの補正に基づく室内環境3次元再構築"", 電子情報通信学会論文誌, vol. 84, no. 2, JPN6019037211, 1 February 2001 (2001-02-01), JP, pages 266 - 275, ISSN: 0004123550 * |
市村 直幸: ""フレーム毎の特徴点抽出に基づく特徴点の追跡"", 情報処理学会研究報告, vol. 2001, no. 105, JPN6019037210, 8 November 2001 (2001-11-08), JP, pages 31 - 38, ISSN: 0004277514 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112655018A (zh) * | 2018-10-18 | 2021-04-13 | 国立研究开发法人科学技术振兴机构 | 对象追踪方法、对象追踪系统以及对象追踪程序 |
Also Published As
Publication number | Publication date |
---|---|
JP6869672B2 (ja) | 2021-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kuo et al. | Vision-based vehicle detection for a driver assistance system | |
US8005266B2 (en) | Vehicle surroundings monitoring apparatus | |
JP5848341B2 (ja) | 単眼3次元ポーズ推定および検出による追跡 | |
US8994823B2 (en) | Object detection apparatus and storage medium storing object detection program | |
WO2016129403A1 (ja) | 物体検知装置 | |
Ogale | A survey of techniques for human detection from video | |
CN110619658B (zh) | 对象跟踪方法、对象跟踪装置和电子设备 | |
CN112967283B (zh) | 基于双目摄像头的目标识别方法、系统、设备及存储介质 | |
US20060067562A1 (en) | Detection of moving objects in a video | |
US20150161796A1 (en) | Method and device for recognizing pedestrian and vehicle supporting the same | |
US20180075749A1 (en) | Forward collision warning system and method | |
Suhr et al. | Rearview camera-based backover warning system exploiting a combination of pose-specific pedestrian recognitions | |
KR20090098167A (ko) | 거리센서를 이용한 차선인식 방법 및 그 시스템 | |
WO2016059643A1 (en) | System and method for pedestrian detection | |
Vinuchandran et al. | A real-time lane departure warning and vehicle detection system using monoscopic camera | |
KR20140104516A (ko) | 차선 인식 방법 및 장치 | |
JP4772622B2 (ja) | 周辺監視システム | |
JP6869672B2 (ja) | 物体追従システム、物体追従装置、物体追従方法、及び物体追従プログラム | |
KR20160067631A (ko) | 차량번호판 인식방법 | |
LaLonde et al. | Fully convolutional deep neural networks for persistent multi-frame multi-object detection in wide area aerial videos | |
KR20170138842A (ko) | 템플릿 매칭 기반의 차량 추적 시스템 및 방법 | |
Park et al. | TLD based vehicle tracking system for AR-HUD using HOG and online SVM in EHMI | |
KR101936108B1 (ko) | 교통 표지판 탐지 방법 및 장치 | |
KR102239734B1 (ko) | 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법 | |
Ramirez et al. | Go with the flow: Improving Multi-View vehicle detection with motion cues |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181105 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191127 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200430 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200430 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200515 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200519 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200605 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200609 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200908 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20210302 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20210406 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20210406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210414 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6869672 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |