JP2014010495A - 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム - Google Patents
画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム Download PDFInfo
- Publication number
- JP2014010495A JP2014010495A JP2012144598A JP2012144598A JP2014010495A JP 2014010495 A JP2014010495 A JP 2014010495A JP 2012144598 A JP2012144598 A JP 2012144598A JP 2012144598 A JP2012144598 A JP 2012144598A JP 2014010495 A JP2014010495 A JP 2014010495A
- Authority
- JP
- Japan
- Prior art keywords
- epipole
- coordinate
- coordinates
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】画像取得部12は、被写体についての複数の画像を取得する。対応点取得部110は、複数の画像において互いに対応する複数の第1の対応点を取得する。基礎行列推定部120は、第1の対応点に基づいて第1の基礎行列を算出することを複数回繰り返し、複数の第1の基礎行列を算出する。エピポール座標導出部130は、第1の基礎行列の各々に対応する第1のエピポール座標を算出する。エピポール座標決定部140は、第1のエピポール座標のうちから最も確からしいものを選択し、それを第2のエピポール座標として決定する。基礎行列決定部150は、第2のエピポール座標に対応する第1の基礎行列を最終的な基礎行列として決定する。
【選択図】図1
Description
本発明の第1の実施形態について図面を参照して説明する。本実施形態に係る画像処理装置10の構成例を図1に示す。この図に示されるように、画像処理装置10は、画像処理部100と、画像取得部12と、記憶部14と、制御部16とを備える。この画像処理装置10は、入力された複数の画像に対して画像間の関係を表す基礎行列を算出し出力する。
本発明の第2の実施形態について説明する。ここでは、第1の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。第1の実施形態では、最適エピポール選択処理において、複数の第1の基礎行列に応じて算出された複数のエピポールの中央値を用いて、最適エピポールが選択されている。これに対して、本実施形態では、エピポールの座標について2次元ヒストグラムを作成し、この2次元ヒストグラムに基づいて最適エピポールを選択する。
本発明の第3の実施形態について説明する。ここでは、第1の実施形態及び第2の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。第1の実施形態及び第2の実施形態に係る画像処理装置10は、複数の画像が入力されたときに基礎行列を出力する装置である。これに対して本実施形態に係る画像処理装置10は、複数の画像が入力されたときに基礎行列を算出し、その基礎行列に基づいて得られる入力画像に対応する3次元座標を出力する装置である。
第4の実施形態について説明する。ここでは、第1の実施形態及び第2の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態は、第1の実施形態又は第2の実施形態の画像処理装置10を備えるデジタルカメラ1に係る。本実施形態に係るデジタルカメラ1の構成例を図14に示す。デジタルカメラ1は、画像処理装置10と、ブレ補正部18とを備える。また、デジタルカメラ1は、CPU20と、撮像光学系22と、撮像素子24と、AFE(Analog Front End)26と、信号画像処理部28と、圧縮伸長部30と、RAM(Random Access Memory)32と、ROM(Read Only Memory)34と、操作部36と、記録部38と、表示処理部40と、表示部42とを備える。
Claims (8)
- 複数の画像を取得する画像取得部と、
複数の前記画像間で互いに対応する複数の第1の対応点を取得する対応点取得部と、
複数の前記第1の対応点に基づいて複数の前記第1の基礎行列を算出する第1の基礎行列推定部と、
少なくとも1つの画像について、前記複数の第1の基礎行列の各々に対応する複数の第1のエピポール座標を算出するエピポール座標導出部と、
前記複数の第1のエピポール座標のうち、所定の統計的手法を用いて、1つのエピポール座標を第2のエピポール座標として決定するエピポール座標決定部と、
前記第2のエピポール座標に対応する前記第1の基礎行列を第2の基礎行列として決定する基礎行列決定部と、
を具備することを特徴とする画像処理装置。 - 前記エピポール座標決定部は、
複数の前記第1のエピポール座標の中央値を算出する中央値算出部と、
前記第1のエピポール座標の各々と前記中央値との距離を算出する距離算出部と、
複数の前記第1のエピポール座標のうち、前記距離が最小である前記第1のエピポール座標を前記第2のエピポール座標に決定するエピポール選択部と、
を有することを特徴とする請求項1に記載の画像処理装置。 - 前記エピポール座標決定部は、
複数の前記第1のエピポール座標の頻度をカウントするヒストグラム生成部と、
前記頻度が高い領域の重心位置を決定する重心位置算出部と、
前記第1のエピポール座標の各々と前記重心位置との距離を算出する距離算出部と、
複数の前記第1のエピポール座標のうち、前記距離が最小である前記第1のエピポール座標を前記第2のエピポール座標に決定するエピポール選択部と、
を有することを特徴とする請求項1に記載の画像処理装置。 - 複数の前記画像を撮像したカメラの位置及び姿勢の差異を推定する動き推定部と、
前記位置及び姿勢の前記差異に基づいて、前記画像に含まれる被写体の3次元座標を推定する3次元座標推定部と、
をさらに具備することを特徴とする請求項1乃至3のうち何れか1項に記載の画像処理装置。 - 前記第1の基礎行列の個数は、撮像装置情報と、シーン判別情報と、動きベクトル情報と、エピポール座標分布情報と、のうち少なくとも1つに基づいて決定される
ことを特徴とする請求項1乃至4のうち何れか1項に記載の画像処理装置。 - 画像を撮像する撮像部と、
異なる時間に撮像された複数の前記画像を取得する画像取得部と、
複数の前記画像において互いに対応する複数の第1の対応点を取得する対応点取得部と、
複数の前記第1の対応点に基づいて複数の前記第1の基礎行列を算出する第1の基礎行列推定部と、
少なくとも1つの画像について、前記複数の第1の基礎行列の各々に対応する複数の第1のエピポール座標を算出するエピポール座標導出部と、
前記複数の第1のエピポール座標のうち、所定の統計的手法を用いて、1つのエピポール座標を第2のエピポール座標として決定するエピポール座標決定部と、
前記第2のエピポール座標に対応する前記第1の基礎行列を第2の基礎行列として決定する基礎行列決定部と、
前記第2の基礎行列に基づいて、前記複数の画像の間に存在するブレを補正する補正部と、
を具備することを特徴とする撮像装置。 - 複数の画像を取得することと、
複数の前記画像間で互いに対応する複数の第1の対応点を取得することと、
複数の前記第1の対応点に基づいて複数の前記第1の基礎行列を算出することと、
少なくとも1つの画像について、前記複数の第1の基礎行列の各々に対応する複数の第1のエピポール座標を算出することと、
前記複数の第1のエピポール座標のうち、所定の統計的手法を用いて、1つのエピポール座標を第2のエピポール座標として決定することと、
前記第2のエピポール座標に対応する前記第1の基礎行列を第2の基礎行列として決定することと、
を具備することを特徴とする画像処理方法。 - 複数の画像を取得することと、
複数の前記画像間で互いに対応する複数の第1の対応点を取得することと、
複数の前記第1の対応点に基づいて複数の前記第1の基礎行列を算出することと、
少なくとも1つの画像について、前記複数の第1の基礎行列の各々に対応する複数の第1のエピポール座標を算出することと、
前記複数の第1のエピポール座標のうち、所定の統計的手法を用いて、1つのエピポール座標を第2のエピポール座標として決定することと、
前記第2のエピポール座標に対応する前記第1の基礎行列を第2の基礎行列として決定することと、
をコンピュータに実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012144598A JP5901447B2 (ja) | 2012-06-27 | 2012-06-27 | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム |
CN201380034425.8A CN104471612B (zh) | 2012-06-27 | 2013-02-08 | 图像处理装置以及图像处理方法 |
PCT/JP2013/053106 WO2014002521A1 (ja) | 2012-06-27 | 2013-02-08 | 画像処理装置及び画像処理方法 |
US14/574,698 US9183634B2 (en) | 2012-06-27 | 2014-12-18 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012144598A JP5901447B2 (ja) | 2012-06-27 | 2012-06-27 | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014010495A true JP2014010495A (ja) | 2014-01-20 |
JP5901447B2 JP5901447B2 (ja) | 2016-04-13 |
Family
ID=49782704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012144598A Expired - Fee Related JP5901447B2 (ja) | 2012-06-27 | 2012-06-27 | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9183634B2 (ja) |
JP (1) | JP5901447B2 (ja) |
CN (1) | CN104471612B (ja) |
WO (1) | WO2014002521A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017011431A (ja) * | 2015-06-19 | 2017-01-12 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2019090782A (ja) * | 2017-06-20 | 2019-06-13 | 株式会社ミツトヨ | 三次元形状計測装置及び三次元形状計測方法 |
JP2020523703A (ja) * | 2017-06-14 | 2020-08-06 | シェンチェン センスタイム テクノロジー カンパニー リミテッドShenzhen Sensetime Technology Co.,Ltd | ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5977591B2 (ja) * | 2012-06-20 | 2016-08-24 | オリンパス株式会社 | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
EP3358294A4 (en) * | 2015-09-30 | 2019-04-10 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
TWI604417B (zh) | 2016-08-31 | 2017-11-01 | 國立交通大學 | 估算對極幾何模型的方法及其系統 |
CN106780370B (zh) * | 2016-11-25 | 2019-12-20 | 阿依瓦(北京)技术有限公司 | 一种图像去抖动设备及其方法 |
CN106780365B (zh) * | 2016-11-25 | 2020-03-17 | 阿依瓦(北京)技术有限公司 | 一种基于异构计算的图像去抖动系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006234492A (ja) * | 2005-02-23 | 2006-09-07 | Aisin Seiki Co Ltd | 物体認識装置 |
JP2007256029A (ja) * | 2006-03-23 | 2007-10-04 | Denso It Laboratory Inc | ステレオ画像処理装置 |
US20090208063A1 (en) * | 2008-02-19 | 2009-08-20 | I-Hsien Chen | Dynamic calibration method for single and multiple vedio capture devices |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100944293B1 (ko) * | 2007-12-27 | 2010-02-24 | 중앙대학교 산학협력단 | 단일 축 회전 영상들로부터의 효율적인 전 방향 3차원모델의 재구성 방법 |
CN101650178B (zh) * | 2009-09-09 | 2011-11-30 | 中国人民解放军国防科学技术大学 | 序列图像三维重建中控制特征点与最优局部单应引导的图像匹配方法 |
JP5385740B2 (ja) * | 2009-09-25 | 2014-01-08 | キヤノン株式会社 | 撮像装置及び画像データの補正方法 |
CN102074015A (zh) * | 2011-02-24 | 2011-05-25 | 哈尔滨工业大学 | 一种基于二维图像序列的目标对象的三维重建方法 |
-
2012
- 2012-06-27 JP JP2012144598A patent/JP5901447B2/ja not_active Expired - Fee Related
-
2013
- 2013-02-08 WO PCT/JP2013/053106 patent/WO2014002521A1/ja active Application Filing
- 2013-02-08 CN CN201380034425.8A patent/CN104471612B/zh not_active Expired - Fee Related
-
2014
- 2014-12-18 US US14/574,698 patent/US9183634B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006234492A (ja) * | 2005-02-23 | 2006-09-07 | Aisin Seiki Co Ltd | 物体認識装置 |
JP2007256029A (ja) * | 2006-03-23 | 2007-10-04 | Denso It Laboratory Inc | ステレオ画像処理装置 |
US20090208063A1 (en) * | 2008-02-19 | 2009-08-20 | I-Hsien Chen | Dynamic calibration method for single and multiple vedio capture devices |
Non-Patent Citations (1)
Title |
---|
JPN6013016101; 右田 剛史、尺長 健: '"未校正画像対中の点対応に基づくエピポールの1次元探索法"' 情報処理学会研究報告 Vol.2006, No.25, 20060317, pp.413-420, 社団法人情報処理学会 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017011431A (ja) * | 2015-06-19 | 2017-01-12 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2020523703A (ja) * | 2017-06-14 | 2020-08-06 | シェンチェン センスタイム テクノロジー カンパニー リミテッドShenzhen Sensetime Technology Co.,Ltd | ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器 |
US11380017B2 (en) | 2017-06-14 | 2022-07-05 | Shenzhen Sensetime Technology Co., Ltd. | Dual-view angle image calibration method and apparatus, storage medium and electronic device |
JP2019090782A (ja) * | 2017-06-20 | 2019-06-13 | 株式会社ミツトヨ | 三次元形状計測装置及び三次元形状計測方法 |
JP7186019B2 (ja) | 2017-06-20 | 2022-12-08 | 株式会社ミツトヨ | 三次元形状計測装置及び三次元形状計測方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104471612A (zh) | 2015-03-25 |
US9183634B2 (en) | 2015-11-10 |
US20150104097A1 (en) | 2015-04-16 |
WO2014002521A1 (ja) | 2014-01-03 |
JP5901447B2 (ja) | 2016-04-13 |
CN104471612B (zh) | 2017-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5901447B2 (ja) | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム | |
US10789765B2 (en) | Three-dimensional reconstruction method | |
KR101921672B1 (ko) | 이미지 처리 방법 및 장치 | |
JP5997645B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
US8928736B2 (en) | Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program | |
JP5018980B2 (ja) | 撮像装置、長さ測定方法、及びプログラム | |
JP5977591B2 (ja) | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
TWI451750B (zh) | 攝影裝置、電腦可讀取記錄媒體及控制方法 | |
JP5110138B2 (ja) | Ar処理装置、ar処理方法及びプログラム | |
JPWO2018047687A1 (ja) | 三次元モデル生成装置及び三次元モデル生成方法 | |
JP6570296B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6304244B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
JP6594170B2 (ja) | 画像処理装置、画像処理方法、画像投影システムおよびプログラム | |
JP6409769B2 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
JP6153318B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
GB2569609A (en) | Method and device for digital 3D reconstruction | |
KR20110133677A (ko) | 3d 영상 처리 장치 및 그 방법 | |
JP5478533B2 (ja) | 全方位画像生成方法、画像生成装置およびプログラム | |
KR20160049639A (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
JP2017011537A (ja) | カメラキャリブレーション方法、カメラキャリブレーション装置及びカメラキャリブレーションプログラム | |
JP2012248206A (ja) | Ar処理装置、ar処理方法及びプログラム | |
JP5953142B2 (ja) | 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム | |
JPH09229648A (ja) | 画像情報入出力装置及び画像情報入出力方法 | |
JP2003256845A (ja) | 3次元運動測定方法及び装置、並びにこの方法の実行プログラム及びこの実行プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160308 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5901447 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |