JP2019168252A - 処理装置、3次元モデルの分割方法及びプログラム - Google Patents
処理装置、3次元モデルの分割方法及びプログラム Download PDFInfo
- Publication number
- JP2019168252A JP2019168252A JP2018054348A JP2018054348A JP2019168252A JP 2019168252 A JP2019168252 A JP 2019168252A JP 2018054348 A JP2018054348 A JP 2018054348A JP 2018054348 A JP2018054348 A JP 2018054348A JP 2019168252 A JP2019168252 A JP 2019168252A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional model
- model
- unit
- feature point
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
実施の形態1にかかる形状測定装置について説明する。図1は、実施の形態1にかかる形状測定装置100の構成を模式的に示す図である。形状測定装置100は、撮像部1、距離画像センサ部2、操作部3、表示部4及び処理装置5を有する。
処理部15は、RAM16に格納された2次元画像から、1フレーム分の2次元画像を読み込む。ここで、取得された2次元画像をIMGとする。また、処理部15は、RAM16に格納された距離画像から、画像IMGに対応する距離画像DISを読み込む。ここで、読み込んだ2次元画像の横方向をX方向、縦方向をY方向と定義する。距離画像は、X−Y平面に対して垂直なZ方向の対象物10までの距離を示すものとする。
読み込んだ2次元画像と距離画像とを用いて1フレーム分の特徴点を検出し、RAM16に保存する。
形状測定に用いる複数のフレームのうち、読み出されていないフレームが有るかを判定する。読み込まれていないフレームが有る場合、ステップS1に戻る。
読み込まれていないフレームが無い場合、保存した特徴点に基づいて、3次元モデルを生成する。3次元モデルは、ステップS1〜S3で不要な点を除いた距離画像に同じフレームの2次元画像の情報(画素の輝度、色など)を対応づけることで生成することができる。
対象物10を保持しているユーザの指などが距離画像に写り込んでいるため、指等についても形状測定装置は特徴点を検出してしまう。そのため、指等の特徴点をデータから除去する必要がある。ステップS21では、これらの不要なデータが削除される。
特徴点検出部15Gは、距離画像DISを複数の領域RAに分割する。図9に、距離画像DISの分割を模式的に示す。図9に示すように、距離画像DISは、例えば複数の領域RAに分割される。この例では、距離画像DISは、例えば複数の矩形領域に分割される。
特徴点検出部15Gは、分割された領域から、注目領域TAを選択する。
特徴点検出部15Gは、選択された領域に、距離画像の距離情報が対応づけられた点が存在するかを判定する。
特徴点検出部15Gは、選択された領域に距離画像の距離情報が対応づけられた点が存在する場合、選択された領域から特徴点候補を抽出する。以下、ステップS25にかかる特徴点候補の抽出について具体的に説明する。図10に、ステップS25にかかる特徴点候補の抽出を示すフローチャートである。
選択された領域に距離画像の距離情報が対応づけられた2点が存在する場合、特徴点検出部15Gは、選択された領域を、隣接する2点の組p1〜pm(注目領域の場合には第1の組とも称し、周辺領域の場合には第2の組とも称する)を全通り生成する。
特徴点検出部15Gは、2点の組p1〜pmの各組について、一方の点の距離と他方の点の距離との距離差を計算する。
特徴点検出部15Gは、2点の組p1〜pmの距離差の平均値を計算する。
特徴点検出部15Gは、算出した平均値よりも大きな距離差を有する2点の組を、特徴点候補として、例えばRAM16に保存する。
ステップS26
特徴点検出部15Gは、注目領域に隣接する周辺領域のうち、未選択の周辺領域が存在するかを判定する。図11に、注目領域TAと周辺領域CA1〜CA8とを模式的に示す。
未選択の周辺領域が存在する場合、特徴点検出部15Gは、未選択の周辺領域から1つの周辺領域を選択し、ステップS24へ戻る。これにより、ステップS25において、選択された周辺領域内の特徴点候補が抽出される。
未選択の周辺領域が存在しない場合、すなわち、全ての周辺領域が選択済みの場合、特徴点検出部15Gは、注目領域TA及び周辺領域の特徴点候補から、特徴点を検出する。以下、ステップS28にかかる特徴点の検出について具体的に説明する。図12に、ステップS28にかかる特徴点検出を示すフローチャートである。
注目領域の特徴点候補に含まれる点のそれぞれと、周辺領域の特徴点候補に含まれる点のそれぞれと、の組み合わせ(第3の組とも称する)を全通り生成する。
各組み合わせに含まれる2点の距離差を計算する。
計算した全ての組み合わせの距離差の平均値を計算する。
算出した平均値よりも大きな距離差を有する組み合わせに含まれる注目矩形領域の特徴点候補を、特徴点として検出する。検出された特徴点は、例えばRAM16に保存される。
ステップS29
特徴点検出部15Gは、複数の領域のうちで、注目領域として選択されていない領域が存在するかを判定する。
実施の形態1では、複数のフレームの2次元画像と距離画像とを用いた対象物の形状測定について説明した。しかし、第1フレームと第2フレームとの間での対象物10の移動が小さい場合、両方のフレームにおいて、ほぼ同じ位置で同じ特徴点を検出してしまい、新たな特徴点が少数しか得られない、又は、新たな特徴点が1つも得られないことがあり得る。この場合、第2フレームについて特徴点検出を行っても、検出処理に要するリソースに対する特徴点の蓄積効果が小さくなってしまう。そのため、本実施の形態では、第1フレームと第2フレームとの間で新たな特徴点検出を効率的に行うことができる程度に対象物10が移動した場合に、選択的に特徴点検出を行うことが望ましい。
移動検知部25Aは、1つ前に読み込んだフレーム(第1フレーム)が存在するかを判定する。1つ前に読み込んだフレーム(第1フレーム)が存在しない場合、距離画像の比較はできないので、移動検知部25Aは移動検知処置を終了し、ステップS3へ進む。
移動検知部25Aは、1つ前に読み込んだ(第1フレーム)フレームが存在する場合、RAM16から1つ前に読み込んだ(第1フレーム)フレームの距離画像とステップS1で読み込んだ後のフレーム(第2フレーム)の距離画像と、を読み込む。
移動検知部25Aは、1つ前に読み込んだ(第1フレーム)フレームの距離画像と、ステップS1で読み込んだ後のフレーム(第2フレーム)の距離画像と、の差分を算出する。
移動検知部25Aは、算出した差分が所定値よりも大きいかを判定する。算出した差分が所定値よりも小さい場合、特徴点検出(ステップS2)をスキップし、ステップS3に進む。算出した差分が所定値よりも小さい場合、特徴点検出(ステップS2)へ進む。なお、算出した差分が所定値と一致する場合、ステップS2へ進むものとしてもよいし、ステップS3へ進むものとしてもよい。
次いで、実施の形態3にかかる形状測定装置について説明する。実施の形態2及び3では、検出した特徴点の基づいた3次元モデルの生成について説明した。本実施の形態にかかる形状測定装置は、生成した3次元モデルを自動的に複数に部位に分割する機能を有するものとして構成される。
上述したように、モデル分割部35Bは、3次元モデルの断面を参照し、断面が所定値よりも小さくなる位置で3次元モデルを分割する。以下、ステップS6について説明する。図18は、ステップS6での処理を示すフローチャートである。
モデル分割部35Bは、RAM16から、3次元モデルを読み込む。
モデル分割部35Bは、読み込んだ3次元モデルを、仮想的な3次元直交座標系に展開する。
モデル分割部35Bは、3次元モデルをX軸に垂直な面で分割する処理を行う。以下、ステップS63について説明する。図19は、ステップS63での処理を示すフローチャートである。
X軸に所定のピッチだけ離隔し3次元モデルの複数の断面を複数取得する。例えば、X座標が最小の断面からX座標が最大の断面へ向けて、複数の断面を所得する。取得した断面の数をN(Nは、3以上の整数)である場合、1番目〜N番目の断面CS1〜CSNが取得される。
取得した複数の断面から隣接する2つの断面の組を順に選択する。ここでは、断面CSiと断面CS(i+1)とを選択する。ここで、iは、3以上N以下の整数である。なお、iの初期値は1である。
断面CSiと断面CS(i+1)との間での3次元モデルの断面積の差ΔCSを計算する。
算出した3次元モデルの断面積の差ΔCSが所定値THよりも大きいか(ΔCS>TH
)を判定する。断面積の差ΔCSが所定値THよりも小さければ、ステップS636へ進む。
算出した3次元モデルの断面積の差ΔCSが所定値THよりも大きい場合、断面積が小さい方の断面にて3次元モデルを分割する。
取得した複数の断面のうちで未選択の断面が有るかを判定する。具体的には、i=Nであるか否かを判定する。未選択の断面の組がない場合(i=N)、3次元モデルの分割を終了する。
未選択の断面の組が有る場合(i<N)、選択する断面を変更する必要がある。ここでは、iを1だけインクリメントして、ステップS632へ戻る。
モデル分割部35Bは、3次元モデルをY軸に垂直な面で分解する処理を行う。以下、ステップS64について説明する。図20は、ステップS64での処理を示すフローチャートである。
モデル分割部35Bは、3次元モデルをZ軸に垂直な面で分解する処理を行う。以下、ステップS65について説明する。図21は、ステップS65での処理を示すフローチャートである。
ステップS7
モデル再構築部35Cは、ステップS6で分割された3次元モデルを連結し、分割された部位の集合体として3次元モデルを再構築する。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、図17の形状測定装置の動作において、図14のステップS5にかかる移動検知処理を挿入してもよい。
2 距離画像センサ部
3 操作部
4 表示部
5〜7 処理装置
10 対象物
11 画像I/F
12 制御I/F
13 表示I/F
14 通信I/F
15、25、35 処理部
15A 制御部
15B 表示処理部
15C UI部
15D 通信部
15E 画像取得部
15F 認識処理部
15G 特徴点検出部
16 RAM
17 ROM
18 記憶部
19 バス
25A 移動検知部
35A 分割処理部
35B モデル分割部
35C モデル再構築部
100 形状測定装置
301、308 3次元モデル
302、307 頭部
303 右腕部
304 左腕部
305 胴体部
306 脚部
1000 ネットワーク
F1 親指
F2 人差し指
A1、A2、B1、B2、CP1〜CP3 特徴点
IMG 2次元画像
Claims (5)
- 3次元モデルを複数の部位に分割するモデル分割部と、
前記モデル分割部で分割された複数の部位を再結合して3次元モデルを再構築するモデル再構築部と、を備え、
前記モデル分割部は、
前記3次元モデルの所定の軸に垂直な複数の断面を生成し、
隣接する2つの前記断面の間の前記3次元モデルの断面積の差を算出し、
前記差が所定値よりも大きい場合、隣接する2つの前記断面のいずれかで前記3次元モデルを分割する、
処理装置。 - 前記モデル分割部は、前記隣接する2つの断面のうち、断面積が小さい方の前記断面で前記3次元モデルを分割する、
請求項1に記載の処理装置。 - 前記モデル分割部は、
第1の軸に垂直な複数の断面で前記3次元モデルを分割し、
前記第1の軸と直交する第2の軸に垂直な複数の断面で前記3次元モデルを分割し、
前記第1及び第2の軸と直交する第2の軸に垂直な複数の断面で前記3次元モデルを分割する、
請求項1又は2に記載の処理装置。 - 3次元モデルの所定の軸に垂直な複数の断面を生成し、
隣接する2つの前記断面の間の前記3次元モデルの断面積の差を算出し、
前記差を所定値と比較し、
前記差が前記所定値よりも大きい場合、隣接する2つの前記断面のいずれかで前記3次元モデルを分割する、
3次元モデルの分割方法 - 3次元モデルの所定の軸に垂直な複数の断面を生成する処理と、
隣接する2つの前記断面の間の前記3次元モデルの断面積の差を算出する処理と、
前記差を所定値と比較する処理と、
前記差が前記所定値よりも大きい場合、隣接する2つの前記断面のいずれかで前記3次元モデルを分割する処理と、コンピュータに実行させる、
3次元モデルの分割プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018054348A JP7000941B2 (ja) | 2018-03-22 | 2018-03-22 | 処理装置、3次元モデルの分割方法及びプログラム |
US16/296,185 US11080875B2 (en) | 2018-03-22 | 2019-03-07 | Shape measuring apparatus, shape measuring method, non-transitory computer readable medium storing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018054348A JP7000941B2 (ja) | 2018-03-22 | 2018-03-22 | 処理装置、3次元モデルの分割方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019168252A true JP2019168252A (ja) | 2019-10-03 |
JP7000941B2 JP7000941B2 (ja) | 2022-01-19 |
Family
ID=68107192
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018054348A Active JP7000941B2 (ja) | 2018-03-22 | 2018-03-22 | 処理装置、3次元モデルの分割方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7000941B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002222412A (ja) * | 2000-09-27 | 2002-08-09 | Canon Inc | 画像処理装置 |
JP2002251209A (ja) * | 2001-02-23 | 2002-09-06 | Minolta Co Ltd | データ処理装置、データ処理方法、記録媒体およびプログラム |
JP2006079472A (ja) * | 2004-09-10 | 2006-03-23 | Nsk Ltd | 3次元モデル自動構築システム |
JP2010186479A (ja) * | 2009-02-12 | 2010-08-26 | Fujitsu Ltd | 三次元モデル分割装置及び三次元モデル分割方法 |
US20150302594A1 (en) * | 2013-07-12 | 2015-10-22 | Richard H. Moore | System and Method For Object Detection Using Structured Light |
JP2017040505A (ja) * | 2015-08-18 | 2017-02-23 | ブラザー工業株式会社 | 立体物読取システム |
JP2017204800A (ja) * | 2016-05-13 | 2017-11-16 | 株式会社システムイグゼ | 立方体ドットによる3次元形状作成装置 |
-
2018
- 2018-03-22 JP JP2018054348A patent/JP7000941B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002222412A (ja) * | 2000-09-27 | 2002-08-09 | Canon Inc | 画像処理装置 |
JP2002251209A (ja) * | 2001-02-23 | 2002-09-06 | Minolta Co Ltd | データ処理装置、データ処理方法、記録媒体およびプログラム |
JP2006079472A (ja) * | 2004-09-10 | 2006-03-23 | Nsk Ltd | 3次元モデル自動構築システム |
JP2010186479A (ja) * | 2009-02-12 | 2010-08-26 | Fujitsu Ltd | 三次元モデル分割装置及び三次元モデル分割方法 |
US20150302594A1 (en) * | 2013-07-12 | 2015-10-22 | Richard H. Moore | System and Method For Object Detection Using Structured Light |
JP2017040505A (ja) * | 2015-08-18 | 2017-02-23 | ブラザー工業株式会社 | 立体物読取システム |
JP2017204800A (ja) * | 2016-05-13 | 2017-11-16 | 株式会社システムイグゼ | 立方体ドットによる3次元形状作成装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7000941B2 (ja) | 2022-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9767563B2 (en) | Image processing apparatus and method for obtaining position and orientation of imaging apparatus | |
TWI467494B (zh) | 使用深度圖進行移動式攝影機定位 | |
CN107430686A (zh) | 用于移动设备定位的区域描述文件的众包创建和更新 | |
CN108875133A (zh) | 确定建筑布局 | |
CN106484098B (zh) | 用户界面的实时交互操作系统和方法 | |
CN104380338A (zh) | 信息处理器以及信息处理方法 | |
US11490062B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP2011242183A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN109313821A (zh) | 三维对象扫描反馈 | |
WO2019093457A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US20190362548A1 (en) | Apparatus and method for creating biological model | |
US11373329B2 (en) | Method of generating 3-dimensional model data | |
JP2023525535A (ja) | 3次元画像内の表面特徴を識別する方法及び装置 | |
US20180114339A1 (en) | Information processing device and method, and program | |
US11574450B2 (en) | Systems for augmented reality sketching | |
US11816854B2 (en) | Image processing apparatus and image processing method | |
JP7000940B2 (ja) | 形状測定装置、形状測定方法及びプログラム | |
WO2017003424A1 (en) | Metric 3d stitching of rgb-d data | |
JP7000941B2 (ja) | 処理装置、3次元モデルの分割方法及びプログラム | |
US11080875B2 (en) | Shape measuring apparatus, shape measuring method, non-transitory computer readable medium storing program | |
CN115049744A (zh) | 机器人手眼坐标转换方法、装置、计算机设备和存储介质 | |
JP2019219248A (ja) | 点群処理装置、点群処理方法およびプログラム | |
JP2015114762A (ja) | 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム | |
JP7020636B2 (ja) | 光干渉断層撮影スキャン制御 | |
JP6894398B2 (ja) | オブジェクト追跡装置、オブジェクト追跡方法、及びオブジェクト追跡プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200831 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210928 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211207 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7000941 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |