JP2020034525A - 情報処理装置及びその方法及びコンピュータプログラム - Google Patents
情報処理装置及びその方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2020034525A JP2020034525A JP2018163624A JP2018163624A JP2020034525A JP 2020034525 A JP2020034525 A JP 2020034525A JP 2018163624 A JP2018163624 A JP 2018163624A JP 2018163624 A JP2018163624 A JP 2018163624A JP 2020034525 A JP2020034525 A JP 2020034525A
- Authority
- JP
- Japan
- Prior art keywords
- depth
- reliability
- contour
- information processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims description 16
- 238000004590 computer program Methods 0.000 title claims 2
- 238000003384 imaging method Methods 0.000 claims abstract description 38
- 238000012937 correction Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000010801 machine learning Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 25
- 238000005259 measurement Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000013500 data storage Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000032683 aging Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000012887 quadratic function Methods 0.000 description 2
- 238000012889 quartic function Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/752—Contour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
複数の撮像装置から撮像した撮像画像を取得する画像取得手段と、
前記撮像装置で取得した画像から被写体の輪郭を抽出する輪郭の抽出手段と、
前記各画像間の輪郭を対応付けする対応点の対応付け手段と、
前記対応付けられた点の奥行きを算出する奥行き算出手段と、
前記輪郭の接線方向とエピポーラ線との成す角度から前記奥行きの信頼度を求める信頼度の抽出手段と、
前記奥行きと信頼度から奥行きを補正する奥行き補正手段とを有する。
r=1−|cosθ| …(1)
ここで、rが“1”に近いほど信頼度は高いことをしめし、“0”に近づくほど信頼度は低いこと表すことになる。
r=(1−|cosθ|)・cosφ …(2)
その他、2つの撮像画像における対応点の画素値の差から対応の正確度を求め、信頼度に付与しても良い。
E=Σ(di−f(i))×ri …(3)
上記実施形態では、奥行き補正の方法として輪郭に沿った奥行きの変化関数に対して、n次関数で近似する方法を説明したが、より複雑な関数で近似しても良い。具体的には、輪郭に沿った奥行き関数に対して予め機械学習を用いて奥行き変化を学習しておき、学習結果を用いて奥行きと信頼度から奥行きを補正しても良い。
上記変形例1では近似関数の近似範囲を求め、範囲内の入力データから範囲内の奥行きを推定したが、必ずしも近似範囲を決める必要はない。例えば、任意の対応点の近傍にある複数の対応点の奥行き、および信頼度から注目している対応点の奥行きを補正しても良い。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (6)
- 複数の撮像装置から撮像した撮像画像を取得する画像取得手段と、
前記撮像装置で取得した画像から被写体の輪郭を抽出する輪郭の抽出手段と、
前記各画像間の輪郭を対応付けする対応点の対応付け手段と、
前記対応付けられた点の奥行きを算出する奥行き算出手段と、
前記輪郭の接線方向とエピポーラ線との成す角度から前記奥行きの信頼度を求める信頼度の抽出手段と、
前記奥行きと信頼度から奥行きを補正する奥行き補正手段と
を有することを特徴とする情報処理装置。 - 前記奥行き補正手段は、信頼度の大きい対応点の奥行きが保持されるように補正することを特徴とする請求項1に記載の情報処理装置。
- 前記奥行き補正手段は、輪郭と奥行きの変化と信頼度を機械学習によって学習し、対応点の奥行きを補正することを特徴とする請求項2に記載の情報処理装置。
- 前記奥行き補正手段は、対応点の近傍の奥行きと信頼度を機械学習によって学習し、対応点の奥行きを補正することを特徴とする請求項2に記載の情報処理装置。
- 情報処理装置の制御方法であって、
複数の撮像装置から撮像した撮像画像を取得する画像取得工程と、
前記撮像装置で取得した画像から被写体の輪郭を抽出する輪郭の抽出工程と、
前記各画像間の輪郭を対応付けする対応点の対応付け工程と、
前記対応付けられた点の奥行きを算出する奥行き算出工程と、
前記輪郭の接線方向とエピポーラ線との成す角度から前記奥行きの信頼度を求める信頼度の抽出工程と、
前記奥行きと信頼度から奥行きを補正する奥行き補正工程と
を有することを特徴とする情報処理装置の制御方法。 - コンピュータが読み込み実行することで、前記コンピュータに、請求項5に記載の方法の各工程を実行させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018163624A JP7240115B2 (ja) | 2018-08-31 | 2018-08-31 | 情報処理装置及びその方法及びコンピュータプログラム |
US16/552,028 US11393116B2 (en) | 2018-08-31 | 2019-08-27 | Information processing apparatus, method thereof, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018163624A JP7240115B2 (ja) | 2018-08-31 | 2018-08-31 | 情報処理装置及びその方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020034525A true JP2020034525A (ja) | 2020-03-05 |
JP7240115B2 JP7240115B2 (ja) | 2023-03-15 |
Family
ID=69641446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018163624A Active JP7240115B2 (ja) | 2018-08-31 | 2018-08-31 | 情報処理装置及びその方法及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11393116B2 (ja) |
JP (1) | JP7240115B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020066637A1 (ja) * | 2018-09-28 | 2020-04-02 | パナソニックIpマネジメント株式会社 | 奥行取得装置、奥行取得方法およびプログラム |
US11425283B1 (en) * | 2021-12-09 | 2022-08-23 | Unity Technologies Sf | Blending real and virtual focus in a virtual display environment |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050140670A1 (en) * | 2003-11-20 | 2005-06-30 | Hong Wu | Photogrammetric reconstruction of free-form objects with curvilinear structures |
JP2015005237A (ja) * | 2013-06-24 | 2015-01-08 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
JP2015035658A (ja) * | 2013-08-07 | 2015-02-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
JP2016061687A (ja) * | 2014-09-18 | 2016-04-25 | ファナック株式会社 | 輪郭線計測装置およびロボットシステム |
JP2017092983A (ja) * | 2017-01-25 | 2017-05-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2920306A (en) * | 1954-04-12 | 1960-01-05 | Jersey Prod Res Co | Correlator for zero crossing pulses obtained from seismograms |
US2866899A (en) * | 1955-12-12 | 1958-12-30 | Itt | Electronic spectroanalysis computer |
US4154788A (en) * | 1971-03-16 | 1979-05-15 | The United States Of America As Represented By The Secretary Of The Navy | Process for making a plastic antenna reflector |
US4210968A (en) * | 1975-12-16 | 1980-07-01 | Lindseth Roy O | Seismic exploration technique |
US4155098A (en) * | 1977-06-28 | 1979-05-15 | Rca Corporation | Groove depth estimation system using diffractive groove effects |
US5684890A (en) * | 1994-02-28 | 1997-11-04 | Nec Corporation | Three-dimensional reference image segmenting method and apparatus |
US6718062B1 (en) * | 2000-05-30 | 2004-04-06 | Microsoft Corporation | System and method for matching curves of multiple images representing a scene |
TW201005673A (en) * | 2008-07-18 | 2010-02-01 | Ind Tech Res Inst | Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system |
WO2012029298A1 (ja) * | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | 撮影装置および画像処理方法 |
JP5719198B2 (ja) | 2011-03-07 | 2015-05-13 | キヤノン株式会社 | プリントシステム、情報処理装置、制御方法、およびプログラム |
JP5777507B2 (ja) * | 2011-12-27 | 2015-09-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びそのプログラム |
WO2013099169A1 (ja) * | 2011-12-27 | 2013-07-04 | パナソニック株式会社 | ステレオ撮影装置 |
JP2013185905A (ja) | 2012-03-07 | 2013-09-19 | Sony Corp | 情報処理装置及び方法、並びにプログラム |
JP5703255B2 (ja) * | 2012-04-27 | 2015-04-15 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
JP5818857B2 (ja) | 2013-10-24 | 2015-11-18 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
US9674504B1 (en) * | 2015-12-22 | 2017-06-06 | Aquifi, Inc. | Depth perceptive trinocular camera system |
US20180068459A1 (en) * | 2016-09-08 | 2018-03-08 | Ford Global Technologies, Llc | Object Distance Estimation Using Data From A Single Camera |
US10755428B2 (en) * | 2017-04-17 | 2020-08-25 | The United States Of America, As Represented By The Secretary Of The Navy | Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model |
CN109284653A (zh) * | 2017-07-20 | 2019-01-29 | 微软技术许可有限责任公司 | 基于计算机视觉的细长物体检测 |
US10572760B1 (en) * | 2017-11-13 | 2020-02-25 | Amazon Technologies, Inc. | Image text localization |
JP7081142B2 (ja) * | 2017-12-26 | 2022-06-07 | 富士通株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP6981247B2 (ja) * | 2017-12-27 | 2021-12-15 | 富士通株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
GB2572755B (en) * | 2018-04-05 | 2020-06-10 | Imagination Tech Ltd | Matching local image feature descriptors |
US10733761B2 (en) * | 2018-06-29 | 2020-08-04 | Zoox, Inc. | Sensor calibration |
EP3953903A1 (en) * | 2019-04-30 | 2022-02-16 | Huawei Technologies Co., Ltd. | Scale-aware monocular localization and mapping |
US10937178B1 (en) * | 2019-05-09 | 2021-03-02 | Zoox, Inc. | Image-based depth data and bounding boxes |
US11315274B2 (en) * | 2019-09-20 | 2022-04-26 | Google Llc | Depth determination for images captured with a moving camera and representing moving features |
-
2018
- 2018-08-31 JP JP2018163624A patent/JP7240115B2/ja active Active
-
2019
- 2019-08-27 US US16/552,028 patent/US11393116B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050140670A1 (en) * | 2003-11-20 | 2005-06-30 | Hong Wu | Photogrammetric reconstruction of free-form objects with curvilinear structures |
JP2015005237A (ja) * | 2013-06-24 | 2015-01-08 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
JP2015035658A (ja) * | 2013-08-07 | 2015-02-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
JP2016061687A (ja) * | 2014-09-18 | 2016-04-25 | ファナック株式会社 | 輪郭線計測装置およびロボットシステム |
JP2017092983A (ja) * | 2017-01-25 | 2017-05-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US20200074659A1 (en) | 2020-03-05 |
US11393116B2 (en) | 2022-07-19 |
JP7240115B2 (ja) | 2023-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
US9759548B2 (en) | Image processing apparatus, projector and projector system including image processing apparatus, image processing method | |
JP4599515B2 (ja) | 3次元形状データの位置合わせ方法および装置 | |
US9519968B2 (en) | Calibrating visual sensors using homography operators | |
CN111028205B (zh) | 一种基于双目测距的眼睛瞳孔定位方法及装置 | |
WO2014002849A1 (ja) | 3次元測定方法、装置及びシステム、並びに画像処理装置 | |
JP6503906B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
TW201724031A (zh) | 擴增實境方法、系統及電腦可讀取非暫態儲存媒介 | |
EP3497618B1 (en) | Independently processing plurality of regions of interest | |
JP2011182397A (ja) | ずれ量算出方法およびずれ量算出装置 | |
JP6840697B2 (ja) | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム | |
JP2020008502A (ja) | 偏光ステレオカメラによる深度取得装置及びその方法 | |
JP2017123087A (ja) | 連続的な撮影画像に映り込む平面物体の法線ベクトルを算出するプログラム、装置及び方法 | |
JP6441581B2 (ja) | フレキシブルディスプレイの曲げモーションに対する光検出 | |
JP2020034525A (ja) | 情報処理装置及びその方法及びコンピュータプログラム | |
WO2020192218A1 (zh) | 一种应用于光学系统的角度测量方法及测量装置 | |
KR20190130407A (ko) | 전방위 카메라의 캘리브레이션을 위한 장치 및 방법 | |
JP2019045989A (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
CA3061920A1 (en) | Methods and systems for evaluating a size of a garment | |
CN115862124B (zh) | 视线估计方法、装置、可读存储介质及电子设备 | |
CN109902695B (zh) | 一种面向像对直线特征匹配的线特征矫正与提纯方法 | |
CN105783768B (zh) | 三维形状测量设备、三维形状测量方法 | |
JP2021015559A (ja) | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム | |
JP7152506B2 (ja) | 撮像装置 | |
CN113587895A (zh) | 双目测距方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210831 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220706 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230303 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7240115 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |