JP2018005891A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、撮像装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2018005891A JP2018005891A JP2017091400A JP2017091400A JP2018005891A JP 2018005891 A JP2018005891 A JP 2018005891A JP 2017091400 A JP2017091400 A JP 2017091400A JP 2017091400 A JP2017091400 A JP 2017091400A JP 2018005891 A JP2018005891 A JP 2018005891A
- Authority
- JP
- Japan
- Prior art keywords
- line segment
- vanishing point
- image
- image processing
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本実施形態では、画像における各種の特徴量、及び被写体の距離情報を用いて、消失点の有無の判定及び座標の算出を行う技術について説明する。なお本実施形態では、最も効果が見込めるシーンの1つである遠景撮影を想定して説明を行う。しかしながら、本実施形態で説明する技術は、遠景撮影以外のシーンにおいても適用可能である。また、以下では、画像処理装置の一例として撮像装置について説明するが、本実施形態の画像処理装置は撮像装置に限定されず、例えばパーソナルコンピュータ(PC)などであってもよい。
第2の実施形態では、消失点検出処理において、消失点の検出に不要なエッジ信号をエッジ画像から除去する構成について説明する。第2の実施形態において、撮像装置100の基本的な構成は、第1の実施形態と同様である。以下、主に第1の実施形態と異なる点について説明する。
第3の実施形態では、消失点座標の情報を利用した補正処理について説明する。第3の実施形態において、撮像装置100の基本的な構成は、第1の実施形態と同様である。以下、主に第1の実施形態と異なる点について説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (23)
- 画像から線分を検出する線分検出手段と、
前記画像の奥行き方向の距離を示す距離情報を取得する取得手段と、
前記線分検出手段により検出された線分から、消失点検出用の線分を選択する選択手段と、
前記消失点検出用の線分に基づき、前記画像の消失点を検出する消失点検出手段と、
を備え、
前記選択手段は、前記線分検出手段により検出された各線分について、前記距離情報により示される距離が前記線分に沿って単調変化傾向にある場合に前記線分を選択する
ことを特徴とする画像処理装置。 - 前記選択手段は、前記線分において第1の閾値以上の長さを持つ単調増加区間又は単調減少区間が存在する場合に、前記距離が前記線分に沿って単調変化傾向にあると判定し、
前記単調増加区間は、前記線分の複数の位置に対応する前記距離が前記線分に沿って連続的に増加する区間であり、
前記単調減少区間は、前記線分の複数の位置に対応する前記距離が前記線分に沿って連続的に減少する区間である
ことを特徴とする請求項1に記載の画像処理装置。 - 前記選択手段は、前記線分において第1の閾値以上の長さを持つ単調増加区間又は単調減少区間が存在する場合に、前記距離が前記線分に沿って単調変化傾向にあると判定し、
前記単調増加区間は、前記線分の複数の位置に対応する前記距離が前記線分に沿って減少する部分が存在せず、かつ、前記距離が不変である部分の長さが第2の閾値以下の区間であり、
前記単調減少区間は、前記線分の複数の位置に対応する前記距離が前記線分に沿って増加する部分が存在せず、かつ、前記距離が不変である部分の長さが第3の閾値以下の区間である
ことを特徴とする請求項1に記載の画像処理装置。 - 前記第1の閾値は、前記線分の長さに基づき、前記線分が第1の長さである場合よりも、前記線分が前記第1の長さよりも長い第2の長さである場合の方が大きい
ことを特徴とする請求項2又は3に記載の画像処理装置。 - 前記取得手段は、前記距離情報により示される距離の信頼度を示す信頼度情報を取得し、
前記選択手段は、前記距離情報により示される距離のうち前記信頼度が第4の閾値以上である距離に基づいて、前記距離が前記線分に沿って単調変化傾向にあるか否かを判定する
ことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 前記消失点検出手段は、前記消失点検出用の線分を含む直線の交点を前記消失点として検出する
ことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 前記消失点検出手段により検出された前記消失点を構成する前記消失点検出用の線分の数に基づいて、前記消失点の信頼度を決定する決定手段を更に備える
ことを特徴とする請求項6に記載の画像処理装置。 - 前記決定手段は、前記消失点を構成する前記消失点検出用の線分が前記消失点から第5の閾値以下の距離に到達している場合、前記消失点に対応する前記距離情報により示される距離に更に基づいて前記消失点の信頼度を決定する
ことを特徴とする請求項7に記載の画像処理装置。 - 前記消失点検出用の線分を含む直線の交点が複数存在する場合、前記消失点検出手段は、最も多くの直線が通過する交点を前記消失点として検出する
ことを特徴とする請求項6乃至8のいずれか1項に記載の画像処理装置。 - 前記画像に対して、領域毎に前記消失点からの距離に応じた補正強度で補正処理を行う補正手段を更に備える
ことを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。 - 前記補正処理は、前記画像の明るさ、コントラスト、色相、及び彩度のうちの少なくとも1つを補正する処理を含む
ことを特徴とする請求項10に記載の画像処理装置。 - 請求項1乃至11のいずれか1項に記載の画像処理装置と、
前記画像を生成する撮像手段と、
を備えることを特徴とする撮像装置。 - 画像処理装置が実行する画像処理方法であって、
画像から線分を検出する線分検出工程と、
前記画像の奥行き方向の距離を示す距離情報を取得する取得工程と、
前記線分検出工程により検出された線分から、消失点検出用の線分を選択する選択工程と、
前記消失点検出用の線分に基づき、前記画像の消失点を検出する消失点検出工程と、
を備え、
前記選択工程では、前記線分検出工程により検出された各線分について、前記距離情報により示される距離が前記線分に沿って単調変化傾向にある場合に前記線分を選択する
ことを特徴とする画像処理方法。 - コンピュータを、請求項1乃至11のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 画像からエッジ信号を検出するエッジ検出手段と、
前記検出されたエッジ信号のうち、所定の条件を満たすエッジ信号を選択するエッジ選択手段と、
前記選択されたエッジ信号から線分を検出する線分検出手段と、
前記検出された線分に基づき、前記画像の消失点を検出する消失点検出手段と、
を備え、
前記所定の条件は、対象のエッジ信号の周辺領域の各画素におけるエッジ信号の有無が所定の1以上のパターンのうちの少なくとも1つに該当するという条件である
ことを特徴とする画像処理装置。 - 前記エッジ選択手段は、前記所定の1以上のパターンとして、前記対象のエッジ信号の前記画像における領域に応じて異なるパターンを使用する
ことを特徴とする請求項15に記載の画像処理装置。 - 前記検出された線分のうち、前記画像の右側領域に存在し左上がりの傾きを持つ線分と、前記画像の左側領域に存在し右上がりの傾きを持つ線分とを、消失点検出用の線分として選択する線分選択手段を更に備え、
前記消失点検出手段は、前記消失点検出用の線分に基づき、前記画像の消失点を検出する
ことを特徴とする請求項15又は16に記載の画像処理装置。 - 前記画像に対して、領域毎に前記消失点からの距離に応じた補正強度で補正処理を行う補正手段を更に備える
ことを特徴とする請求項15乃至17のいずれか1項に記載の画像処理装置。 - 前記補正処理は、前記画像の明るさ、コントラスト、色相、及び彩度のうちの少なくとも1つを補正する処理を含む
ことを特徴とする請求項18に記載の画像処理装置。 - 請求項15乃至19のいずれか1項に記載の画像処理装置と、
前記画像を生成する撮像手段と、
を備えることを特徴とする撮像装置。 - 前記画像が生成された時の前記撮像装置の動きを示す動き情報を取得する取得手段を更に備え、
前記動き情報が前記撮像装置を搭載した車両の前進を示す場合、前記エッジ選択手段は、前記所定の1以上のパターンとして、前記対象のエッジ信号の前記画像における領域が前記画像の左側領域であるか右側領域であるかに応じて異なるパターンを使用する
ことを特徴とする請求項20に記載の撮像装置。 - 画像処理装置が実行する画像処理方法であって、
画像からエッジ信号を検出するエッジ検出工程と、
前記検出されたエッジ信号のうち、所定の条件を満たすエッジ信号を選択するエッジ選択工程と、
前記選択されたエッジ信号から線分を検出する線分検出工程と、
前記検出された線分に基づき、前記画像の消失点を検出する消失点検出工程と、
を備え、
前記所定の条件は、対象のエッジ信号の周辺領域の各画素におけるエッジ信号の有無が所定の1以上のパターンのうちの少なくとも1つに該当するという条件である
ことを特徴とする画像処理方法。 - コンピュータを、請求項15乃至19のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/626,520 US10650526B2 (en) | 2016-06-28 | 2017-06-19 | Image processing apparatus, image capturing apparatus, image processing method, and storage medium |
US16/260,028 US20190156489A1 (en) | 2016-06-28 | 2019-01-28 | Image processing apparatus, image capturing apparatus, image processing method, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016127859 | 2016-06-28 | ||
JP2016127859 | 2016-06-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018005891A true JP2018005891A (ja) | 2018-01-11 |
JP6986854B2 JP6986854B2 (ja) | 2021-12-22 |
Family
ID=60947988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017091400A Active JP6986854B2 (ja) | 2016-06-28 | 2017-05-01 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6986854B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110155349A (zh) * | 2018-02-12 | 2019-08-23 | 泰勒斯公司 | 人机界面中的外围视觉 |
CN110567376A (zh) * | 2019-10-22 | 2019-12-13 | 无锡航亚科技股份有限公司 | 一种涡轮盘榫槽检测方法 |
JP6877651B1 (ja) * | 2020-02-13 | 2021-05-26 | 三菱電機株式会社 | 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム |
JP2023170536A (ja) * | 2022-05-19 | 2023-12-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、移動体、及びコンピュータプログラム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003083742A (ja) * | 2001-09-13 | 2003-03-19 | Fuji Heavy Ind Ltd | 監視システムの距離補正装置および距離補正方法 |
JP2005275500A (ja) * | 2004-03-23 | 2005-10-06 | Zenrin Co Ltd | 消失点決定方法 |
JP2008225784A (ja) * | 2007-03-12 | 2008-09-25 | Toyota Motor Corp | 消失点抽出装置 |
US20130094764A1 (en) * | 2011-10-17 | 2013-04-18 | Richard John Campbell | Methods, Systems and Apparatus for Correcting Perspective Distortion in a Document Image |
JP2013080389A (ja) * | 2011-10-04 | 2013-05-02 | Nippon Telegr & Teleph Corp <Ntt> | 消失点推定方法、消失点推定装置及びコンピュータプログラム |
JP2013131160A (ja) * | 2011-12-22 | 2013-07-04 | Sharp Corp | 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム |
US20140125666A1 (en) * | 2012-11-06 | 2014-05-08 | Korea Advanced Institute Of Science And Technology | Apparatus and method for generating depth map of stereoscopic image |
JP2014085920A (ja) * | 2012-10-25 | 2014-05-12 | Honda Motor Co Ltd | 車両周辺監視装置 |
-
2017
- 2017-05-01 JP JP2017091400A patent/JP6986854B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003083742A (ja) * | 2001-09-13 | 2003-03-19 | Fuji Heavy Ind Ltd | 監視システムの距離補正装置および距離補正方法 |
JP2005275500A (ja) * | 2004-03-23 | 2005-10-06 | Zenrin Co Ltd | 消失点決定方法 |
JP2008225784A (ja) * | 2007-03-12 | 2008-09-25 | Toyota Motor Corp | 消失点抽出装置 |
JP2013080389A (ja) * | 2011-10-04 | 2013-05-02 | Nippon Telegr & Teleph Corp <Ntt> | 消失点推定方法、消失点推定装置及びコンピュータプログラム |
US20130094764A1 (en) * | 2011-10-17 | 2013-04-18 | Richard John Campbell | Methods, Systems and Apparatus for Correcting Perspective Distortion in a Document Image |
JP2013131160A (ja) * | 2011-12-22 | 2013-07-04 | Sharp Corp | 画像処理装置、撮像装置、表示装置、画像処理方法及び画像処理プログラム |
JP2014085920A (ja) * | 2012-10-25 | 2014-05-12 | Honda Motor Co Ltd | 車両周辺監視装置 |
US20140125666A1 (en) * | 2012-11-06 | 2014-05-08 | Korea Advanced Institute Of Science And Technology | Apparatus and method for generating depth map of stereoscopic image |
Non-Patent Citations (1)
Title |
---|
YUHUI ZHU ET AL.: "Image De-Weathering for Road Based on Physical Model", 2009 INTERNATIONAL CONFERENCE ON INFORMATION ENGINEERING AND COMPUTER SCIENCE, JPN6021022777, 20 December 2009 (2009-12-20), ISSN: 0004531345 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110155349A (zh) * | 2018-02-12 | 2019-08-23 | 泰勒斯公司 | 人机界面中的外围视觉 |
CN110567376A (zh) * | 2019-10-22 | 2019-12-13 | 无锡航亚科技股份有限公司 | 一种涡轮盘榫槽检测方法 |
JP6877651B1 (ja) * | 2020-02-13 | 2021-05-26 | 三菱電機株式会社 | 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム |
WO2021161443A1 (ja) * | 2020-02-13 | 2021-08-19 | 三菱電機株式会社 | 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム |
JP2023170536A (ja) * | 2022-05-19 | 2023-12-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、移動体、及びコンピュータプログラム |
JP7483790B2 (ja) | 2022-05-19 | 2024-05-15 | キヤノン株式会社 | 画像処理装置、画像処理方法、移動体、及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6986854B2 (ja) | 2021-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10650526B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
US11350038B2 (en) | Dual aperture zoom camera with video support and switching / non-switching dynamic control | |
CN107977940B (zh) | 背景虚化处理方法、装置及设备 | |
US10326927B2 (en) | Distance information producing apparatus, image capturing apparatus, distance information producing method and storage medium storing distance information producing program | |
CN107945105B (zh) | 背景虚化处理方法、装置及设备 | |
JP6271990B2 (ja) | 画像処理装置、画像処理方法 | |
US9076214B2 (en) | Image acquisition apparatus and image processing apparatus using selected in-focus image data | |
JP5374119B2 (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
US9204034B2 (en) | Image processing apparatus and image processing method | |
JP6986854B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5766077B2 (ja) | ノイズ低減のための画像処理装置及び画像処理方法 | |
CA2821143A1 (en) | Auto-focus image system | |
US9438887B2 (en) | Depth measurement apparatus and controlling method thereof | |
US11080873B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP2018018425A (ja) | 画像処理装置及び画像処理方法 | |
JP2020140497A (ja) | 演算装置、視差算出方法 | |
JP2016059051A (ja) | 撮像装置および距離情報取得方法 | |
JP6728020B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6436840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2007233487A (ja) | 歩行者検出方法、装置、およびプログラム | |
JP6762779B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP6486453B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP6556033B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20220375040A1 (en) | Image processing apparatus, image processing method, program, and electronic device | |
JP7437915B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200401 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211130 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6986854 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |