JP2021086257A - 画像処理装置、および、画像処理方法 - Google Patents
画像処理装置、および、画像処理方法 Download PDFInfo
- Publication number
- JP2021086257A JP2021086257A JP2019213076A JP2019213076A JP2021086257A JP 2021086257 A JP2021086257 A JP 2021086257A JP 2019213076 A JP2019213076 A JP 2019213076A JP 2019213076 A JP2019213076 A JP 2019213076A JP 2021086257 A JP2021086257 A JP 2021086257A
- Authority
- JP
- Japan
- Prior art keywords
- optical flow
- image processing
- camera
- extraction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 112
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000003287 optical effect Effects 0.000 claims abstract description 157
- 238000000605 extraction Methods 0.000 claims abstract description 88
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000008569 process Effects 0.000 claims abstract description 46
- 238000004364 calculation method Methods 0.000 claims abstract description 41
- 239000013598 vector Substances 0.000 claims description 54
- 239000006185 dispersion Substances 0.000 claims description 6
- 230000036544 posture Effects 0.000 description 55
- 238000012986 modification Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004075 alteration Effects 0.000 description 4
- 102220313179 rs1553259785 Human genes 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 101100309712 Arabidopsis thaliana SD11 gene Proteins 0.000 description 1
- 102220479871 Protein FAM180A_S53A_mutation Human genes 0.000 description 1
- 102220536518 THAP domain-containing protein 1_S51A_mutation Human genes 0.000 description 1
- 102220536512 THAP domain-containing protein 1_S52A_mutation Human genes 0.000 description 1
- 102220536494 THAP domain-containing protein 1_S55A_mutation Human genes 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は、本発明の実施形態に係る画像処理装置1の構成を説明するための図である。図1には、画像処理装置1に情報を入力する撮影部2、舵角センサ3、および、速度センサ4も示されている。本実施形態では、画像処理装置1は、撮影部2が搭載される車両ごとに備えられる。以下、画像処理装置1が備えられる車両のことを自車両と表現することがある。なお、画像処理装置1は、車載装置であっても、車両から持ち出し可能な携帯型の装置であってもよい。また、画像処理装置1は、必ずしも車両等の移動体に搭載されなくてよい。
次に、画像処理装置1によって実行されるカメラ21の姿勢推定処理について説明する。図2は、画像処理装置1において実行されるカメラ21の姿勢推定処理の一例を示すフローチャートである。なお、撮影部2が複数のカメラ21を備える場合には、画像処理装置1は、各カメラ21に対して、図2に示す姿勢推定処理を実行する。ここでは、カメラ21がフロントカメラである場合を例に、画像処理装置1によって実行されるカメラ21の姿勢推定処理について説明する。
図9は、オプティカルフローの選択処理の一例を示すフローチャートである。図9は、図2のステップS5の処理の詳細例を示す図である。
My(%) = (Vry−Ey)/Ey × 100 (1)
Ey = S × Ts (2)
自車両の速度Sは、速度センサ4から取得することができる。
xi :算出対象ROIにおける各移動量比率Myの値
m :算出対象ROIにおけるn個の移動量比率Myの平均値
以下、2つの変形例について説明する。変形例の説明に際して、上述の実施形態と重複する内容については、原則としてその説明を省略する。
以上に示す実施形態では、統計処理部123が求める統計情報を分散としたが、例えば、統計情報は平均値であってよい。第1変形例は、統計処理部123が求める統計情報が平均値である場合を想定する。
以上に示す実施形態では、統計処理部123が求める統計情報を分散としたが、例えば、統計情報は平均値と分散とを含んでよい。第2変形例は、統計処理部123が求める統計情報が平均値と分散とである場合を想定する。
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
5 抽出領域
5a 第1抽出領域
5b 第2抽出領域
5c 第3抽出領域
5d 第4抽出領域
21 カメラ
100 自車両(移動体)
121 設定部
122 フロー算出部
123 統計処理部
124 判断部
125 推定部
Claims (9)
- 移動体に搭載されるカメラで撮影された撮影画像を処理する画像処理装置であって、
前記撮影画像に対して特徴点を抽出する抽出領域を複数設定する設定部と、
複数の前記抽出領域から抽出された前記特徴点のオプティカルフローを算出するフロー算出部と、
複数の前記抽出領域ごとに、前記オプティカルフローに基づき統計情報を求める統計処理部と、
前記統計情報に基づき、複数の前記抽出領域の中に前記オプティカルフローの利用が許容される抽出領域が存在するか否かを判断する判断部と、
を備える、画像処理装置。 - 前記オプティカルフローの利用が許容される前記抽出領域にて得られる前記オプティカルフローに基づき、前記カメラの姿勢を推定する推定部を更に備える、請求項1に記載の画像処理装置。
- 前記統計情報は、
前記オプティカルフローを前記カメラのカメラ座標系から前記移動体が走行する路面の座標系へと座標変換して得られる路面ベクトルと、
自装置の外部から入力される情報により得られる前記移動体の移動情報と、
に基づき算出される所定値の統計情報である、請求項1又は2に記載の画像処理装置。 - 前記所定値は、前記移動体の速度に依存しない値である、請求項3に記載の画像処理装置。
- 前記統計情報は、複数の前記撮影画像のそれぞれに対して算出された前記オプティカルフローを合わせて求められる、請求項1から4のいずれか1項に記載の画像処理装置。
- 前記統計情報は、分散であり、
前記判断部は、前記分散が所定の閾値を超えない前記抽出領域を前記オプティカルフローの利用が許容される抽出領域と判断する、請求項1から5のいずれか1項に記載の画像処理装置。 - 前記統計情報は、平均値であり、
前記判断部は、前記平均値の差が所定の範囲内となる前記抽出領域が存在する前記抽出領域を、前記オプティカルフローの利用が許容される抽出領域と判断する、請求項1から5のいずれか1項に記載の画像処理装置。 - 前記統計情報は、平均値と分散とを含み、
前記判断部は、前記分散が所定の閾値を超えず、且つ、前記分散が所定の閾値を超えない前記抽出領域の中に前記平均値の差が所定の範囲内となる前記抽出領域が存在する前記抽出領域を、前記オプティカルフローの利用が許容される抽出領域と判断する、請求項1から5のいずれか1項に記載の画像処理装置。 - 移動体に搭載されるカメラで撮影された撮影画像を処理する画像処理方法であって、
前記撮影画像に対して特徴点を抽出する抽出領域を複数設定する設定工程と、
複数の前記抽出領域から抽出された前記特徴点のオプティカルフローを算出するフロー算出工程と、
複数の前記抽出領域ごとに、前記オプティカルフローに基づき統計情報を求める統計処理工程と、
前記統計情報に基づき、複数の前記抽出領域の中に前記オプティカルフローの利用が許容される抽出領域が存在するか否かを判断する判断工程と、
を備える、画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019213076A JP7311406B2 (ja) | 2019-11-26 | 2019-11-26 | 画像処理装置、および、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019213076A JP7311406B2 (ja) | 2019-11-26 | 2019-11-26 | 画像処理装置、および、画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021086257A true JP2021086257A (ja) | 2021-06-03 |
JP2021086257A5 JP2021086257A5 (ja) | 2022-06-22 |
JP7311406B2 JP7311406B2 (ja) | 2023-07-19 |
Family
ID=76088325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019213076A Active JP7311406B2 (ja) | 2019-11-26 | 2019-11-26 | 画像処理装置、および、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7311406B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014194618A (ja) * | 2013-03-28 | 2014-10-09 | Fuji Heavy Ind Ltd | 車外環境認識装置および車外環境認識方法 |
JP2015176488A (ja) * | 2014-03-17 | 2015-10-05 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
JP2017078923A (ja) * | 2015-10-20 | 2017-04-27 | クラリオン株式会社 | キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム |
JP2017102832A (ja) * | 2015-12-04 | 2017-06-08 | 株式会社Soken | 車両ピッチ角推定装置 |
-
2019
- 2019-11-26 JP JP2019213076A patent/JP7311406B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014194618A (ja) * | 2013-03-28 | 2014-10-09 | Fuji Heavy Ind Ltd | 車外環境認識装置および車外環境認識方法 |
JP2015176488A (ja) * | 2014-03-17 | 2015-10-05 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
JP2017078923A (ja) * | 2015-10-20 | 2017-04-27 | クラリオン株式会社 | キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム |
JP2017102832A (ja) * | 2015-12-04 | 2017-06-08 | 株式会社Soken | 車両ピッチ角推定装置 |
Non-Patent Citations (1)
Title |
---|
原岡 昌平: "ヒヤリハットデータベース解析のための車載単眼カメラ映像からのピッチ角推定", 第25回 画像センシングシンポジウム SSII 2019, vol. IS2-35 , SO2-35, JPN6023014952, 12 June 2019 (2019-06-12), JP, pages 7, ISSN: 0005038391 * |
Also Published As
Publication number | Publication date |
---|---|
JP7311406B2 (ja) | 2023-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
US11398051B2 (en) | Vehicle camera calibration apparatus and method | |
US9747524B2 (en) | Disparity value deriving device, equipment control system, movable apparatus, and robot | |
EP3678096A1 (en) | Method for calculating a tow hitch position | |
US9630322B2 (en) | Information processing apparatus, method therefor, measurement apparatus, and working apparatus for estimating a position/orientation of a three-dimensional object based on relative motion | |
KR102104005B1 (ko) | 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 | |
US9892519B2 (en) | Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle | |
JP2009288885A (ja) | 車線検出装置、車線検出方法、及び車線検出プログラム | |
JP2019191806A (ja) | 異常検出装置および異常検出方法 | |
JP2020060550A (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
JP2013137767A (ja) | 障害物検出方法及び運転者支援システム | |
JP7445415B2 (ja) | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 | |
JP6543935B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム | |
JP2012198857A (ja) | 接近物体検知装置及び接近物体検知方法 | |
JP2021093670A (ja) | 姿勢推定装置、異常検出装置、補正装置、および、姿勢推定方法 | |
JP6337504B2 (ja) | 画像処理装置、移動体、ロボット、機器制御方法およびプログラム | |
JP7303064B2 (ja) | 画像処理装置、および、画像処理方法 | |
CN111860270B (zh) | 一种基于鱼眼相机的障碍物检测方法及装置 | |
JP2007280387A (ja) | 物体移動の検出方法及び検出装置 | |
US20230274444A1 (en) | Measuring device, moving device, measuring method, and storage medium | |
JP7311407B2 (ja) | 姿勢推定装置、および、姿勢推定方法 | |
JP7311406B2 (ja) | 画像処理装置、および、画像処理方法 | |
EP3227827B1 (en) | Driver assistance system, motor vehicle and method for classifying a flow vector | |
JP7380443B2 (ja) | 部分画像生成装置及び部分画像生成用コンピュータプログラム | |
US20190156512A1 (en) | Estimation method, estimation apparatus, and non-transitory computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220613 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220613 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230706 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7311406 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |