JP2017217215A - 3次元形状計測装置及び3次元形状計測方法 - Google Patents
3次元形状計測装置及び3次元形状計測方法 Download PDFInfo
- Publication number
- JP2017217215A JP2017217215A JP2016113925A JP2016113925A JP2017217215A JP 2017217215 A JP2017217215 A JP 2017217215A JP 2016113925 A JP2016113925 A JP 2016113925A JP 2016113925 A JP2016113925 A JP 2016113925A JP 2017217215 A JP2017217215 A JP 2017217215A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- dimensional shape
- dimensional
- data
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
Description
線分の接続状態又はパターンの対称性によって区別可能な特徴を有するノードとエッジから成るグラフから構成される2次元パターンを計測対象に投光する投光部と、
前記計測対象に投光されたパターンを撮像する撮像部と、
前記撮像された画像と前記2次元パターンについて、エピポーラ拘束に基づいて互いに対応するノードの解の候補を選択し、前記解の候補同士でのグラフの接続状態に基づいて、前記画像に含まれるパターンの誤りを解消し前記解の候補の中から正しい対応の解を得る対応計算部と、
前記対応の解に基づいてステレオ処理により前記計測対象の3次元形状を算出して出力する形状出力部と、
を備える。
前記2次元パターンのグラフの部分グラフにおけるパターンマッチングを行って、前記画像に含まれるノードと、前記2次元パターンにおけるノードとを対応付けることで、前記対応の解の候補を削減する、
こととしてもよい。
こととしてもよい。
こととしてもよい。
前記パターンマッチングの一致度をデータ項とし、グラフの接続関係を平滑化項とすることで、マルコフ確率場モデル(MRF)最適化により対応点を算出する、
こととしてもよい。
前記部分グラフのノードについて、前記パターンマッチングの一致度が閾値より高い場合に投票を行うことで、前記対応の解の候補から正しい対応点を得る、
こととしてもよい。
前記部分グラフを複数用意し、それぞれの部分グラフでの投票を繰り返した合計得票数によって前記対応の解を決定する、
こととしてもよい。
前記対応の解に基づく前記線分の対応関係から、光切断法を用いて前記3次元形状を算出する、
こととしてもよい。
曲線状に配置される、
こととしてもよい。
回折光学素子によるレーザ光の回折により前記計測対象上に形成される、
こととしてもよい。
こととしてもよい。
前記複数の3次元形状のデータのうち、第1のデータを構成する第1の線分と、前記第1のデータとは別の第2のデータを構成する、前記第1の線分とは方向の異なる第2の線分との間のずれを最小にするような、回転及び併進の補正量を算出する算出部と、
前記算出部で算出された回転及び並進の補正量によって、前記第1のデータと前記第2のデータのズレを補正した形状を出力する出力部と、
を備える、
こととしてもよい。
線分の接続状態又はパターンの対称性によって区別可能な特徴を有するノードとエッジから成るグラフから構成される2次元パターンを計測対象に投光し、前記計測対象に投光されたパターンを撮像するパターン撮像ステップと、
前記撮像された画像と前記2次元パターンについて、エピポーラ拘束に基づいて互いに対応するノードの解の候補を選択し、前記解の候補同士のグラフの接続状態に基づいて、前記画像に含まれるパターンの誤りを解消し前記解の候補の中から正しい対応の解を得る対応計算ステップと、
前記対応の解に基づいてステレオ処理により前記計測対象の3次元形状を算出して出力する形状出力ステップと、
を含む。
前記算出ステップで算出された回転及び並進の補正量によって、前記第1のデータと前記第2のデータのズレを補正した形状を出力する出力ステップと、
を含む、
こととしてもよい。
次に、画像処理部52(対応計算部52A)は、撮像光学系30から生画像を取得し、生画像から線を検出する(ステップS2)。ステップS2において、図8に示すように、画像処理部52(対応計算部52A)は、生画像から魚眼歪みを除去する(ステップS11)。続いて、画像処理部52(対応計算部52A)は、ガウシアンフィルタ又はメディアンフィルタを用いて画像中のノイズを低減する(ステップS12)。続いて、画像処理部52(対応計算部52A)は、画像中の格子の縦直線を検出する(ステップS13)。
次に、画像処理部52(対応計算部52A)は、グリッドグラフの構築を行う(ステップS3)。図9に示すように、画像処理部52(対応計算部52A)は、検出された縦直線及び横線分に基づいて、グリッドグラフ(格子グラフ)の構造を構築する(ステップS21,S22)。計測用パターン21におけるグリッドグラフの構造を図10に示す。この時点では、縦直線(例えばv1,v2)を含む縦直線群が検出されており、それらの間の横エッジ(例えばe1,e2)が検出されている。
次に、画像処理部52(対応計算部52A)は、部分グラフパターンによる対応付けを行う(ステップS4)。具体的には、対応計算部52Aは、以下に説明するように、計測用パターン21のグラフの部分グラフにおけるパターンマッチングを行って、画像に含まれるノードと、計測用パターン21におけるノードとを対応付けることで、対応の解(ノード)の候補を削減し、解の候補の中から正しい対応の解(対応ノード)を得る。さらに、画像処理部52(形状出力部52B)は、得られた対応の解からステレオ処理(光切断法)により、計測対象の3次元形状を算出して出力する(ステップS5)。
(1)G0とP0とが同じトポロジーのグラフであること
(2)G0とP0の対応するノードが、全てエピポーラ拘束条件を満たすこと
(3)G0とP0の対応するノードのコードラベルS,L,Rが、一定の閾値以上の割合で一致していること(パターンマッチングの一致度が閾値より高いこと)
なお、(2)の条件を満たすことが、エピポーラ拘束に基づいて対応の解の候補を選択する処理に対応する。
図7に戻り、次に、画像処理部52(形状出力部52B)は、撮影画像と計測用パターン21とにおける線分の対応を決定した後は,その線分の対応に基づいて、検出された縦直線の3次元形状を光切断法により復元する(ステップS5)。ここで、画像処理部52(形状出力部52B)は、光切断法で復元された疎な点群から、2次元回帰を利用して法線方向を推定する。そして、線間の形状を、法線方向を考慮しつつ、放射基底関数(Radial Basis Function)を重みとする補間によって復元する。これにより、計測対象の3次元形状が求められる。
式(1)
式(2)
pi(x)=a・(x−xi)+s(xi)
Claims (14)
- 線分の接続状態又はパターンの対称性によって区別可能な特徴を有するノードとエッジから成るグラフから構成される2次元パターンを計測対象に投光する投光部と、
前記計測対象に投光されたパターンを撮像する撮像部と、
前記撮像された画像と前記2次元パターンについて、エピポーラ拘束に基づいて互いに対応するノードの解の候補を選択し、前記解の候補同士のグラフでの接続状態に基づいて、前記画像に含まれるパターンの誤りを解消し前記解の候補の中から正しい対応の解を得る対応計算部と、
前記対応の解に基づいてステレオ処理により前記計測対象の3次元形状を算出して出力する形状出力部と、
を備える3次元形状計測装置。 - 前記対応計算部は、
前記2次元パターンのグラフの部分グラフにおけるパターンマッチングを行って、前記画像に含まれるノードと、前記2次元パターンにおけるノードとを対応付けることで、前記対応の解の候補を削減する、
請求項1に記載の3次元形状計測装置。 - 前記2次元パターンは、縦横の線分からなり、縦直線に接続する左右の横線分の段差によって前記各ノードが特徴を持つグラフ構造のパターンである、
請求項2に記載の3次元形状計測装置。 - 前記2次元パターンは、局所的に回転対称あるいは線対称な特徴があり、前記特徴の配置によって前記グラフのノードあるいはエッジが表されたパターンである、
請求項1または2に記載の3次元形状計測装置。 - 前記対応計算部は、
前記パターンマッチングの一致度をデータ項とし、グラフの接続関係を平滑化項とすることで、マルコフ確率場モデル(MRF)最適化により対応点を算出する、
請求項2から4のいずれか一項に記載の3次元形状計測装置。 - 前記対応計算部は、
前記部分グラフのノードについて、前記パターンマッチングの一致度が閾値より高い場合に投票を行うことで、前記対応の解の候補から正しい対応点を得る、
請求項2に記載の3次元形状計測装置。 - 前記対応計算部は、
前記部分グラフを複数用意し、それぞれの部分グラフでの投票を繰り返した合計得票数によって前記対応の解を決定する、
請求項6に記載の3次元形状計測装置。 - 前記形状出力部は、
前記対応の解に基づく前記線分の対応関係から、光切断法を用いて前記3次元形状を算出する、
請求項1から7のいずれか一項に記載の3次元形状計測装置。 - 前記2次元パターンに含まれる前記線分の連なりが、
曲線状に配置される、
請求項1から8のいずれか一項に記載の3次元形状計測装置。 - 前記2次元パターンは、
回折光学素子によるレーザ光の回折により前記計測対象上に形成される、
請求項1から9のいずれか一項に記載の3次元形状計測装置。 - 前記投光部が、内視鏡に組み込まれている、
請求項1から10のいずれか一項に記載の3次元形状計測装置。 - 異なる方向から計測された、計測対象の複数の3次元形状のデータが得られた場合に、
前記複数の3次元形状のデータのうち、第1のデータを構成する第1の線分と、前記第1のデータとは別の第2のデータを構成する、前記第1の線分とは方向の異なる第2の線分との間のずれを最小にするような、回転及び併進の補正量を算出する算出部と、
前記算出部で算出された回転及び並進の補正量によって、前記第1のデータと前記第2のデータのズレを補正した形状を出力する出力部と、
を備える、
請求項1に記載の3次元形状計測装置。 - 線分の接続状態又はパターンの対称性によって区別可能な特徴を有するノードとエッジから成るグラフから構成される2次元パターンを計測対象に投光し、前記計測対象に投光されたパターンを撮像するパターン撮像ステップと、
前記撮像された画像と前記2次元パターンについて、エピポーラ拘束に基づいて互いに対応するノードの解の候補を選択し、前記解の候補同士のグラフの接続状態に基づいて、前記画像に含まれるパターンの誤りを解消し前記解の候補の中から正しい対応の解を得る対応計算ステップと、
前記対応の解に基づいてステレオ処理により前記計測対象の3次元形状を算出して出力する形状出力ステップと、
を含む3次元形状計測方法。 - 異なる方向から計測された、計測対象の複数の3次元形状のデータが得られた場合に、前記複数の3次元形状のデータのうち、第1のデータを構成する第1の線分と、前記第1のデータとは別の第2のデータを構成する、前記第1の線分とは方向の異なる第2の線分との間のずれを最小にするような、回転及び併進の補正量を算出する算出ステップと、
前記算出ステップで算出された回転及び並進の補正量によって、前記第1のデータと前記第2のデータのズレを補正した形状を出力する出力ステップと、
を含む請求項13に記載の3次元形状計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016113925A JP6752468B2 (ja) | 2016-06-07 | 2016-06-07 | 3次元形状計測装置及び3次元形状計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016113925A JP6752468B2 (ja) | 2016-06-07 | 2016-06-07 | 3次元形状計測装置及び3次元形状計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017217215A true JP2017217215A (ja) | 2017-12-14 |
JP6752468B2 JP6752468B2 (ja) | 2020-09-09 |
Family
ID=60657021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016113925A Active JP6752468B2 (ja) | 2016-06-07 | 2016-06-07 | 3次元形状計測装置及び3次元形状計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6752468B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021029277A1 (ja) | 2019-08-13 | 2021-02-18 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2021039719A1 (ja) | 2019-08-27 | 2021-03-04 | 富士フイルム株式会社 | 内視鏡 |
WO2021132153A1 (ja) | 2019-12-26 | 2021-07-01 | 富士フイルム株式会社 | 内視鏡及び内視鏡システム |
WO2022049807A1 (ja) | 2020-09-02 | 2022-03-10 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
CN114930120A (zh) * | 2019-11-15 | 2022-08-19 | 汉莎技术股份公司 | 具有图案投影的管道镜 |
WO2022209156A1 (ja) * | 2021-03-30 | 2022-10-06 | ソニーグループ株式会社 | 医療用観察装置、情報処理装置、医療用観察方法及び内視鏡手術システム |
EP4094668A1 (en) | 2021-05-26 | 2022-11-30 | FUJIFILM Corporation | Endoscopy service support device, endoscopy service support system, and method of operating endoscopy service support device |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07260446A (ja) * | 1994-03-25 | 1995-10-13 | Olympus Optical Co Ltd | 画像処理装置 |
JPH09138870A (ja) * | 1995-11-15 | 1997-05-27 | Canon Inc | 画像処理装置及び方法 |
US20120092680A1 (en) * | 2010-03-27 | 2012-04-19 | Nicolae Paul Teodorescu | Methods and apparatus for real-time digitization of three-dimensional scenes |
JP2013024608A (ja) * | 2011-07-15 | 2013-02-04 | Technodream 21 Co Ltd | 3次元形状の取得装置、処理方法およびプログラム |
WO2014017566A1 (ja) * | 2012-07-24 | 2014-01-30 | 公立大学法人広島市立大学 | 心拍計測方法および装置 |
WO2014020823A1 (ja) * | 2012-07-30 | 2014-02-06 | 独立行政法人産業技術総合研究所 | 画像処理システムおよび画像処理方法 |
JP2015155886A (ja) * | 2014-01-20 | 2015-08-27 | キヤノン株式会社 | 三次元計測装置、三次元計測方法及びプログラム |
-
2016
- 2016-06-07 JP JP2016113925A patent/JP6752468B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07260446A (ja) * | 1994-03-25 | 1995-10-13 | Olympus Optical Co Ltd | 画像処理装置 |
JPH09138870A (ja) * | 1995-11-15 | 1997-05-27 | Canon Inc | 画像処理装置及び方法 |
US20120092680A1 (en) * | 2010-03-27 | 2012-04-19 | Nicolae Paul Teodorescu | Methods and apparatus for real-time digitization of three-dimensional scenes |
JP2013024608A (ja) * | 2011-07-15 | 2013-02-04 | Technodream 21 Co Ltd | 3次元形状の取得装置、処理方法およびプログラム |
WO2014017566A1 (ja) * | 2012-07-24 | 2014-01-30 | 公立大学法人広島市立大学 | 心拍計測方法および装置 |
WO2014020823A1 (ja) * | 2012-07-30 | 2014-02-06 | 独立行政法人産業技術総合研究所 | 画像処理システムおよび画像処理方法 |
JP2015155886A (ja) * | 2014-01-20 | 2015-08-27 | キヤノン株式会社 | 三次元計測装置、三次元計測方法及びプログラム |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021029277A1 (ja) | 2019-08-13 | 2021-02-18 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2021039719A1 (ja) | 2019-08-27 | 2021-03-04 | 富士フイルム株式会社 | 内視鏡 |
CN114930120A (zh) * | 2019-11-15 | 2022-08-19 | 汉莎技术股份公司 | 具有图案投影的管道镜 |
JP2022548415A (ja) * | 2019-11-15 | 2022-11-18 | ルフトハンザ・テッヒニク・アクチェンゲゼルシャフト | パターンプロジェクタを有するボアスコープ |
JP7185807B2 (ja) | 2019-11-15 | 2022-12-07 | ルフトハンザ・テッヒニク・アクチェンゲゼルシャフト | パターンプロジェクタを有するボアスコープ |
US11619486B2 (en) | 2019-11-15 | 2023-04-04 | Lufthansa Technik Ag | Borescope with pattern projection |
CN114930120B (zh) * | 2019-11-15 | 2023-09-22 | 汉莎技术股份公司 | 具有图案投影的管道镜 |
WO2021132153A1 (ja) | 2019-12-26 | 2021-07-01 | 富士フイルム株式会社 | 内視鏡及び内視鏡システム |
WO2022049807A1 (ja) | 2020-09-02 | 2022-03-10 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2022209156A1 (ja) * | 2021-03-30 | 2022-10-06 | ソニーグループ株式会社 | 医療用観察装置、情報処理装置、医療用観察方法及び内視鏡手術システム |
EP4094668A1 (en) | 2021-05-26 | 2022-11-30 | FUJIFILM Corporation | Endoscopy service support device, endoscopy service support system, and method of operating endoscopy service support device |
Also Published As
Publication number | Publication date |
---|---|
JP6752468B2 (ja) | 2020-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6752468B2 (ja) | 3次元形状計測装置及び3次元形状計測方法 | |
JP5631025B2 (ja) | 情報処理装置、その処理方法及びプログラム | |
US8787641B2 (en) | Method and apparatus for quantitative analysis of a tree of recursively splitting tubular organs | |
CN106605257B (zh) | 医学成像中具有空间和时间约束的界标检测 | |
CN102762142B (zh) | 3d表面的激光增强重建 | |
EP1882895A1 (en) | 3-dimensional shape measuring method and device thereof | |
US20230083809A1 (en) | Colonoscopy System and Method | |
JP6898927B2 (ja) | 血管内画像における影の検出および検証 | |
EP2161537A2 (en) | Optical position measuring apparatus based on projection of grid patterns | |
CN108369737B (zh) | 使用启发式图搜索以快速且自动地分割分层图像 | |
US10213110B2 (en) | Analysis of optical tomography (OCT) images | |
WO2014155778A1 (ja) | 画像処理装置、内視鏡装置、プログラム及び画像処理方法 | |
JP5955028B2 (ja) | 画像処理装置、画像処理方法および画像処理用のプログラム | |
EP3443536A1 (en) | Identification of branches of a blood vessel | |
EP1815436A1 (en) | Methods for mapping knowledge structures to organs: automated measurements and visualization using knowledge structure mapping | |
JP2007044488A (ja) | パスベースのツリーマッチングのためのシステムおよび方法 | |
TW201302154A (zh) | 決定皮膚發炎分數之裝置及方法 | |
JP2010510815A (ja) | 身体の通路または腔を通してカテーテルをナビゲートする適応的ナビゲーション技術 | |
JP2019113393A (ja) | オプティカルトラッキングシステム及びオプティカルトラッキング方法 | |
JP6214867B2 (ja) | 計測装置、方法及びプログラム | |
WO2019171082A1 (en) | Downhole inspection apparatus and method | |
JP7297891B2 (ja) | 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法 | |
CN110072431B (zh) | 使用多焦点角膜曲率测量法确定眼睛表面轮廓 | |
JP6096626B2 (ja) | 計測支援装置、方法及びプログラム | |
JP4732392B2 (ja) | 3次元形状データ生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200812 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6752468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |