JP2019060709A - 三次元形状測定装置 - Google Patents
三次元形状測定装置 Download PDFInfo
- Publication number
- JP2019060709A JP2019060709A JP2017185218A JP2017185218A JP2019060709A JP 2019060709 A JP2019060709 A JP 2019060709A JP 2017185218 A JP2017185218 A JP 2017185218A JP 2017185218 A JP2017185218 A JP 2017185218A JP 2019060709 A JP2019060709 A JP 2019060709A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional shape
- integrated
- sensor unit
- shape measuring
- base
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000010365 information processing Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000010276 construction Methods 0.000 abstract 1
- 210000002683 foot Anatomy 0.000 description 42
- 238000000034 method Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 9
- 210000002414 leg Anatomy 0.000 description 5
- 229910052751 metal Inorganic materials 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 230000002277 temperature effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】物体の三次元形状を高精度で、しかも、簡易な構成で測定可能な三次元形状測定装置を提供すること。【解決手段】マーク13aを有するベース10と、IRプロジェクタ51、IRカメラ52、RGBカメラ53を備えたセンサユニット50と、センサユニット50の検出に基づいて三次元形状を測定するコントロールユニット30と、を備え、コントロールユニット30は、各センサユニット50から得られた距離情報およびカラー画像に基づいて、各センサユニット50が撮像する測定対象物体(足F)の一部の画像に対応した測定対象物体(足F)の色付きの距離情報を有する部分点群を複数作成し、複数の部分点群を、基準点を基準として、1つの統合座標上に統合して、測定対象物体(足F)の全周の外形形状を示す色付きの距離情報を有する1つの統合点群を作成する三次元形状測定装置とした。【選択図】図1
Description
本開示は、三次元形状測定装置に関するものである。
従来、レーザ光などの可視光を照射しながら走査し、これを撮像して三次元形状を測定する三次元形状測定装置が知られている(例えば、特許文献1参照)。
しかしながら、上記の従来技術では、レーザ光などの可視光を照射しながら走査するため、照射装置や撮像装置を移動させる必要があり、装置が大掛かりとなる。加えて、高精度で撮像するには、暗室環境が必要になり、汎用性に劣る。
本開示は、このような従来の問題に着目して成されたもので、物体の三次元形状を高精度で、しかも、簡易な構成で測定可能な三次元形状測定装置を提供することを目的とするものである。
この目的を達成するため、この開示の三次元形状測定装置は、
基準点を有するベースと、
赤外線を照射するIRプロジェクタ、このIRプロジェクタから照射された赤外線を撮像するIRカメラ、およびカラー画像を撮像するRGBカメラを備え、前記IRプロジェクタおよび前記IRカメラによる距離情報と前記RGBカメラによるカラー画像とを取得可能なセンサユニットと、
前記センサユニットの作動を制御するとともに、前記センサユニットの検出に基づいて前記ベース上の測定対象物体の三次元形状を測定する制御部と、
を備え、
前記センサユニットは、前記ベース上の測定対象物体の全周を撮像可能に前記ベースを囲んで複数設置され、
前記制御部は、
各センサユニットから得られた前記距離情報および前記カラー画像に基づいて、各センサユニットが撮像する前記測定対象物体の一部の画像に対応した前記測定対象物体の色付きの距離情報を有する部分点群を複数作成し、
前記複数の部分点群を、前記基準点を基準として、1つの統合座標上に統合して、前記測定対象物体の全周の外形形状を示す前記色付きの距離情報を有する1つの統合点群を作成する三次元形状測定装置とした。
基準点を有するベースと、
赤外線を照射するIRプロジェクタ、このIRプロジェクタから照射された赤外線を撮像するIRカメラ、およびカラー画像を撮像するRGBカメラを備え、前記IRプロジェクタおよび前記IRカメラによる距離情報と前記RGBカメラによるカラー画像とを取得可能なセンサユニットと、
前記センサユニットの作動を制御するとともに、前記センサユニットの検出に基づいて前記ベース上の測定対象物体の三次元形状を測定する制御部と、
を備え、
前記センサユニットは、前記ベース上の測定対象物体の全周を撮像可能に前記ベースを囲んで複数設置され、
前記制御部は、
各センサユニットから得られた前記距離情報および前記カラー画像に基づいて、各センサユニットが撮像する前記測定対象物体の一部の画像に対応した前記測定対象物体の色付きの距離情報を有する部分点群を複数作成し、
前記複数の部分点群を、前記基準点を基準として、1つの統合座標上に統合して、前記測定対象物体の全周の外形形状を示す前記色付きの距離情報を有する1つの統合点群を作成する三次元形状測定装置とした。
本開示の三次元形状測定装置では、IRプロジェクタとIRカメラとRGBカメラとを備えたセンサユニットを複数用い、測定対象物体を複数方向から撮像し、色付きの距離情報による点群を取得する。そして、センサユニット毎の点群を、1つの統合座標上の点群とし、物体形状およびその色を示す三次元形状測定データとする。
したがって、レーザなどを走査することが不要であるとともに、暗室環境が不要であり、装置を簡易な構成とすることができる。しかも、複数のセンサユニットにより複数方向から測定対象物体を撮像することから、全体を走査しない構成でありながら、高精度で三次元形状を測定することができる。
したがって、レーザなどを走査することが不要であるとともに、暗室環境が不要であり、装置を簡易な構成とすることができる。しかも、複数のセンサユニットにより複数方向から測定対象物体を撮像することから、全体を走査しない構成でありながら、高精度で三次元形状を測定することができる。
以下、本開示の実施の形態1の三次元形状測定装置を図面に基づいて説明する。
(実施の形態1)
まず、実施の形態1の三次元形状測定装置の構成について説明する。
図1は、実施の形態1の三次元形状測定装置Aを示す斜視図である。
この三次元形状測定装置Aは、測定対象の物体として、主に足の三次元形状測定データを取得することを目的とするもので、ベース10とセンサ支持枠部材20とコントロールユニット30とを備える。
(実施の形態1)
まず、実施の形態1の三次元形状測定装置の構成について説明する。
図1は、実施の形態1の三次元形状測定装置Aを示す斜視図である。
この三次元形状測定装置Aは、測定対象の物体として、主に足の三次元形状測定データを取得することを目的とするもので、ベース10とセンサ支持枠部材20とコントロールユニット30とを備える。
ベース10は、厚みを有した略円盤状に形成され、下側のベース本体11と、このベース本体11の上部に着脱可能に設けられた薄板円盤状の蓋材12とを備えている。そして、ベース本体11と蓋材12との間に、コントロールユニット30を収容する収容部(不図示)が形成されている。
ベース10には、蓋材12の上面に、図2に示すように、後述するキャリブレーション時の基準点となる複数個(本実施の形態1では24個)のマーク13aを備えるマーク群13が設けられている。このマーク群13のマーク13aは、同一円周上に等間隔で設けられている。
なお、蓋材12は、ネジ(不図示)を用いてベース本体11に固定されている。このネジ(不図示)は、蓋材12を貫通してベース本体11に締結されているが、このネジ(不図示)は、マーク群13のマーク13aを配置する円周上に配置され、このネジ(不図示)の頭部13bが、マーク13aとして用いられている。
センサ支持枠部材20は、図1に示すように、ベース10の上方位置に配置され、かつ、図2に示すように、ベース10の外周を囲む円弧の一部を取り去ったように上方から見て略C形状に形成されている。なお、センサ支持枠部材20において、周方向の両端部の間は、ベース10の上に出入りするのを容易とするための通路用空間部22とされている。
また、センサ支持枠部材20は、3本の脚体42,42,42を介してベース10に支持されている。
これらの脚体42は、図3に示す、強度保持部材40により構成されている。
この強度保持部材40は、三次元形状測定装置Aの強度を確保するもので、金属製の本体ベース板41、脚体42、枠体支持板43を備える。
これらの脚体42は、図3に示す、強度保持部材40により構成されている。
この強度保持部材40は、三次元形状測定装置Aの強度を確保するもので、金属製の本体ベース板41、脚体42、枠体支持板43を備える。
本体ベース板41は、アルミ、ステンレス、鉄などの金属板製で円盤状に形成され、ベース本体11の底面を構成する。
脚体42は、本体ベース板41と同様に金属製で、円筒状に形成され、下端部が、本体ベース板41の外周部上面に設けられた支持ブラケット42aに支持され、上端部が、枠体支持板43の下面に設けられた支持ブラケット42bに支持されている。
枠体支持板43は、金属製板により、上方から見て略C形状に形成されている。
脚体42は、本体ベース板41と同様に金属製で、円筒状に形成され、下端部が、本体ベース板41の外周部上面に設けられた支持ブラケット42aに支持され、上端部が、枠体支持板43の下面に設けられた支持ブラケット42bに支持されている。
枠体支持板43は、金属製板により、上方から見て略C形状に形成されている。
枠体支持板43は、その外周、すなわち、上面、側面、底面が、図1に示す樹脂製のカバー部材21により覆われている。また、カバー部材21の下側面には、センサユニット50(1)、50(2)、50(3)、50(4)を収容するセンサ収容部21aが、周方向に略等間隔の4箇所において下方に膨らむように突出して形成されている。
センサユニット50(1)〜(4)は、それぞれ、同一の構成であり、符号50の末尾に付けている符号(1)〜(4)は、設置位置の違いを表しているだけである。したがって、これらの4つのセンサユニット50(1)〜(4)のうちの特定のものを指さない場合は、カッコ書きの符号(1)〜(4)の表記は省略する。
センサユニット50は、図4に示すように、IRプロジェクタ51、IRカメラ52、RGBカメラ53、演算回路54を備える。なお、上記のように、各センサユニット50の構成は、同一であるので、図4ではセンサユニット50(2)〜(4)におけるIRプロジェクタ51、IRカメラ52、RGBカメラ53、演算回路54の表示は省略する。
これらIRプロジェクタ51、IRカメラ52、RGBカメラ53は、IRプロジェクタ51による赤外線の照射方向および両カメラ52,53の撮像方向をベース10の蓋材12の中央方向に向けて設置されている。すなわち、センサユニット50は、前記照射方向および撮像方向が、センサ支持枠部材20の円弧の中心方向を向き、かつ、斜め下方を向くようにして設置されている。したがって、両カメラ52,53の撮像範囲には、マーク群13が含まれる。そして、IRプロジェクタ51は、前記両カメラ52,53の撮像範囲に赤外線パターンを照射する。
したがって、マーク群13の内側にベース10の上面に、三次元形状の測定対象の物体を配置し、センサユニット50を作動させると、複数の赤外線パターンが測定対象の物体に照射されるとともに、この測定対象物体が両カメラ52,53により撮像される。
演算回路54は、IRカメラ52が撮影した、IRプロジェクタ51から照射された複数赤外線パターンに基づいて、距離情報を有した画像である深度画像を形成する。また、演算回路54では、各画像の歪み補正も行われる。
したがって、センサユニット50をスキャン作動させた場合、IRカメラ52で撮像したグレースケールの画像と、RGBカメラ53で撮像したカラー画像と、前述の演算回路54で形成した深度画像が出力される。
センサユニット50は、コントロールユニット30に接続されている。
このコントロールユニット30は、いわゆるコンピュータであり、4つのセンサユニット50のそれぞれから取得したグレー画像、カラー画像、深度画像に基づいて、ベース10の上に配置された物体の形状の測定を行う。具体的には、物体の形状を示す三次元の点群のデータを作成するとともに、物体の外形形状に応じた画像データを作成する。
このコントロールユニット30は、いわゆるコンピュータであり、4つのセンサユニット50のそれぞれから取得したグレー画像、カラー画像、深度画像に基づいて、ベース10の上に配置された物体の形状の測定を行う。具体的には、物体の形状を示す三次元の点群のデータを作成するとともに、物体の外形形状に応じた画像データを作成する。
以下に、コントロールユニット30におけるセンサユニット50から得られた画像に基づく処理について説明する。
コントロールユニット30では、まず、各センサユニット50から取得したカラー画像および深度画像に基づいて、色付きの距離情報を有した三次元の点群から成る部分点群を作成する。
コントロールユニット30では、まず、各センサユニット50から取得したカラー画像および深度画像に基づいて、色付きの距離情報を有した三次元の点群から成る部分点群を作成する。
この部分点群は、センサユニット50それぞれにおいて撮像された物体の一部の外表面上に配置された複数の点から成る点群であって、センサユニット50毎に設定されたローカル座標上に作成される。
さらに、コントロールユニット30は、各センサユニット50(1)〜(4)の画像に基づいて作成された4つの部分点群を、1つの統合座標上に統合し、ベース10上の物体の全周の外形形状を示す、色付きの距離情報を有した三次元の点群から成る統合点群を作成する。
すなわち、センサユニット50(1)〜(4)は、ベース10の全周を囲むように配置されているため、各センサユニット50の画像から作成した点群を1つに統合することで、ベース10上の物体の全周に亘る三次元の点群を作成することができる。
すなわち、センサユニット50(1)〜(4)は、ベース10の全周を囲むように配置されているため、各センサユニット50の画像から作成した点群を1つに統合することで、ベース10上の物体の全周に亘る三次元の点群を作成することができる。
この部分点群から統合点群への変換は、変換行列を用いて行う。
この変換行列について説明するのにあたり、まず、基準となるマーク13aについて説明する。
各センサユニット50の撮像画像には、複数のマーク13aが含まれる。そこで、この複数のマーク13aのうち、所定のマーク13aを基準としてローカル座標とが対応付けされている。
この変換行列について説明するのにあたり、まず、基準となるマーク13aについて説明する。
各センサユニット50の撮像画像には、複数のマーク13aが含まれる。そこで、この複数のマーク13aのうち、所定のマーク13aを基準としてローカル座標とが対応付けされている。
さらに、基準となるマーク13aは、周方向に隣り合うセンサユニット50の基準となるマーク13aと共用されている。
これを詳細に説明すると、例えば、センサユニット50(1)は、マーク群13のうち、ベース10の図2において左下に配置された複数のマーク13aを、その画像において手前の位置となるように撮像する。
これを詳細に説明すると、例えば、センサユニット50(1)は、マーク群13のうち、ベース10の図2において左下に配置された複数のマーク13aを、その画像において手前の位置となるように撮像する。
それに対し、センサユニット50(1)に対し、周方向で時計回り方向に隣り合うセンサユニット50(2)は、マーク群13のうち、ベース10の図2において左上に配置された複数のマーク13aを、その画像において手前の位置となるように撮像する。
したがって、両センサユニット50(1)、50(2)の画像には、マーク群13のうち、ベース10の図2において左側の上下方向中間に配置されたマーク13aが、共通して含まれる。
したがって、両センサユニット50(1)、50(2)の画像には、マーク群13のうち、ベース10の図2において左側の上下方向中間に配置されたマーク13aが、共通して含まれる。
一方、センサユニット50(1)に対し、周方向で反時計回り方向に隣り合うセンサユニット50(4)は、マーク群13のうち、ベース10の図2において右下に配置された複数のマーク13aを、その画像において手前の位置となるように撮像する。
したがって、両センサユニット50(1)、50(4)の画像には、マーク群13のうち、ベース10の図2において左右方向中央の下側に配置されたマーク13aが、共通して含まれる。
したがって、両センサユニット50(1)、50(4)の画像には、マーク群13のうち、ベース10の図2において左右方向中央の下側に配置されたマーク13aが、共通して含まれる。
そこで、センサユニット50(1)では、画像上の右端と左端に撮像されるマーク13aを基準点とすることにより、周方向で隣り合って配置されるセンサユニット50(2)、50(4)と、それぞれ、基準点を共用することができる。
また、各基準点の相対位置が予め分かっているため、統合座標上に予め基準点を設定するとともに、各ローカル座標から統合座標への変換行列をローカル座標毎に設定することにより、各ローカル軸上の点を、1つの統合軸上の点として統合することができる。
さらに、コントロールユニット30では、各ローカル座標上の部分点群のデータを、統合座標上の三次元の統合点群のデータと変換する際に、ノイズ成分の除去およびベース10の蓋材12の上面(床)を示す点群の除去を行う。これにより、ベース10上の物体の外形形状を示す、点群(統合点群)のデータとすることができる。
加えて、コントロールユニット30では、作成した物体の外形形状を示す統合点群を面形状化する処理を行う。これにより、測定対象の物体の外形表面の形状に沿った面形状を有するデータを作成することができる。なお、面形状化するにあたっては、3つの点を結んで面を形成するなどの周知の方法を用いることができる。また、点群補間を行ったり、RGB画像データを利用して曲面化を図る補正を行ったりするとより好ましい。
図5および図6は、測定対象物体として、足の三次元形状を測定して得られた統合点群からのノイズ除去、ベース10の蓋材12の上面(床)を示す点群の除去を行い、さらに面形状化処理を行った後の画像の一例を示す。
図5は、測定した足の三次元形状を示す斜視図であり、図6は測定した足の三次元形状を示す平面図である。
なお、図5では、右足F41と左足F42を示す。この右足F41と、左足F42とは、異なる人の足の測定結果を示しており、左足F42は、履いている靴下の模様が表示されている。本実施の形態1では、RGBカメラ53によるカラー画像から点群を作成しているため、左足F42の靴下の模様は着色して表示される。
なお、図5では、右足F41と左足F42を示す。この右足F41と、左足F42とは、異なる人の足の測定結果を示しており、左足F42は、履いている靴下の模様が表示されている。本実施の形態1では、RGBカメラ53によるカラー画像から点群を作成しているため、左足F42の靴下の模様は着色して表示される。
また、図6では、右足F51と左足F52を示す。図5と同様に、右足F51と、左足F52とは、それぞれ、図5に示した右足F41と左足F42との面形状化したデータの画像を示しており、それぞれ、着色表示されている。なお、統合座標上では、基準点となるマーク13aの相対位置関係は予め分かっているため、統合座標上の長さも、正確に認識することができる。
また、この画像データは、図面上での着色は省略するが、カラー情報に基づいて、着色されている。
また、この画像データは、図面上での着色は省略するが、カラー情報に基づいて、着色されている。
このように、本実施の形態1の三次元形状測定装置Aでは、測定対象の物体の三次元点群のデータを得ることができるとともに、図5、図6に示す、面形状化した画像データを得ることができる。
また、三次元形状測定装置Aにおいて得られた測定対象の物体の測定データは、入出力部31を介して外部に出力することができる。すなわち、三次元の点群データおよび面形状化した画像データは、三次元形状測定装置Aから外部に出力することができる。なお、入出力部31を介した入出力は、有線で行ってもよいし、無線で行ってもよい。
例えば、図5、図6に示す表示例は、入出力部31を介してデータ出力を行って、三次元形状測定装置Aの外部の情報処理機器(例えば、パーソナルコンピュータ、携帯型情報端末、携帯電話)などの表示画面において表示した例である。
また、上記の測定データは、表示のみならず、例えば、本願出願人による発明である特開2017−97563号公報に記載の発明における靴の仮想試着にも用いることができる。すなわち、特開2017−97563号公報に記載の発明では、足の三次元測定データと、靴の内側の三次元測定データとを用いる靴の仮想試着方法および靴の仮想試着システムを提案している。したがって、上記の三次元形状測定装置Aにおいて得られた足の三次元測定データである統合点群のデータを、この仮想試着における足の当たりの強さを求めるのに使用することができる。また、上記の画像データを、上記発明の当たりの強さを表示する画像に使用することができる。
次に、各センサユニット50に対応するローカル座標と統合座標とのキャリブレーションについて説明する。
すなわち、各センサユニット50による深度画像と、ローカル座標との関係は、IRカメラ52と基準となるマーク13aとの相対位置で決まる。ところが、センサ支持枠部材20が外力を受けた場合や、あるいは、温度影響による伸縮により、基準位置に対する各センサユニット50の位置にずれが生じる場合がある。
すなわち、各センサユニット50による深度画像と、ローカル座標との関係は、IRカメラ52と基準となるマーク13aとの相対位置で決まる。ところが、センサ支持枠部材20が外力を受けた場合や、あるいは、温度影響による伸縮により、基準位置に対する各センサユニット50の位置にずれが生じる場合がある。
あるいは逆に、ベース10において、ベース本体11に対する蓋材12の取付位置にずれが生じ、各センサユニット50に対してマーク13a(基準位置)がずれる場合もある。
そして、このようにIRカメラ52と基準となるマーク13aとの相対位置にずれが生じると、マーク13aを基準とする相関関係にある統合座標との関係にもずれが生じる。このため、それを修正するキャリブレーションを行う必要がある。なお、このキャリブレーションは、定期的に行ったり、測定の前に行ったりする。
そして、このようにIRカメラ52と基準となるマーク13aとの相対位置にずれが生じると、マーク13aを基準とする相関関係にある統合座標との関係にもずれが生じる。このため、それを修正するキャリブレーションを行う必要がある。なお、このキャリブレーションは、定期的に行ったり、測定の前に行ったりする。
以下に、このキャリブレーションの手順について説明する。
なお、本実施の形態1では、このキャリブレーションを、コントロールユニット30の入出力部31に、情報端末(不図示)を有線あるいは無線で接続して、この情報端末(不図示)とコントロールユニット30との処理により行う。
以下に、その処理の手順を、図7のフローチャートに基づいて説明する。
なお、本実施の形態1では、このキャリブレーションを、コントロールユニット30の入出力部31に、情報端末(不図示)を有線あるいは無線で接続して、この情報端末(不図示)とコントロールユニット30との処理により行う。
以下に、その処理の手順を、図7のフローチャートに基づいて説明する。
このキャリブレーションを行う場合、操作者は、情報端末(不図示)のブラウザを起動させ、キャリブレーション画面を開いて、カメラチェックの開始を指示する。
まず、最初のステップS1では、カメラチェックの指示があるか否か判定し、カメラチェックの指示があった場合は、ステップS2に進んで、カメラチェックを開始する。
まず、最初のステップS1では、カメラチェックの指示があるか否か判定し、カメラチェックの指示があった場合は、ステップS2に進んで、カメラチェックを開始する。
このカメラチェックでは、各センサユニット50のIRカメラ52の撮影を行い、図8に示すように、情報端末の表示モニタMNに、各IRカメラ52で撮影した画像を表示する(ステップS3)。
なお、図8は、各センサユニット50のIRカメラ52が正常な場合の表示例を示しており、正常時には、4つのセンサユニット50で撮影された画像Im71〜Im74が、表示モニタMNに表示される。また、この場合、その画像Im71〜Im74上に、マーク群13の画像Im13が写される。
なお、表示モニタMNに、表示される画像Im71〜Im74が、4つに満たない場合や、画像Im71〜Im74のいずれかが真っ黒など明らかにおかしい場合は、カメラチェック作業を終了する。そして、各センサユニット50の接続状態などを確認することで、接続不良を発見した場合、それを修正し、再度、カメラチェック(ステップS1からの処理)を行う。
カメラチェックの結果に問題ない場合は、操作者は、キャリブレーションの開始を指示する操作を行う。
ステップS4では、キャリブレーションの指示の有無を確認し、指示があった場合、ステップS6においてキャリブレーションを実行する。このキャリブレーションでは、各センサユニット50のIRカメラ52で撮影されている予め設定されているマーク13aのローカル座標上の位置と、画像上の位置とのズレの有無を判定し、ズレがある場合には、このズレを無くすように、前述の変換行列を修正する。
ステップS4では、キャリブレーションの指示の有無を確認し、指示があった場合、ステップS6においてキャリブレーションを実行する。このキャリブレーションでは、各センサユニット50のIRカメラ52で撮影されている予め設定されているマーク13aのローカル座標上の位置と、画像上の位置とのズレの有無を判定し、ズレがある場合には、このズレを無くすように、前述の変換行列を修正する。
また、ズレ量が所定量以上のエラーの有無を判定し(ステップS7)、エラー判定の場合は、ステップS8に進んで、エアー発生を表示モニタMN上で警告し、キャリブレーションを終了する。
なお、所定量以上のズレ量は、例えば、蓋材12が正規の位置に固定されずに、ベース本体11から浮いてしまっている場合などに生じる。このような場合は、蓋材12を固定し直して、再度キャリブレーションを行う。あるいは、IRカメラ52のレンズの汚れなどにより画質が悪化した場合に、マーク13aの検出を行うことができない場合も、ズレ量が所定量以上と判定する。このような場合は、IRカメラ52のレンズ部分を拭いて汚れを落として、再度キャリブレーションを行う。
一方、ズレ量が所定未満の正常範囲の場合は、ステップS9においてズレの有無を判定し、ズレがある場合には、ステップS10に進んでズレ量を表示する。
本実施の形態では、キャリブレーション時には、図9に示すようにIRカメラ52の画像Im81〜Im84を表示するとともに、キャリブレーション中は、動作表示部85に現在の動作状態を表示する。図示の「位置を検出中」は、マーク13aの中の基準点を検出中であることを表示している状態を示す。
また、検出した予め設定された基準となるマーク13aの位置と、ローカル座標中に記録されている最新の基準点の位置とにずれがある場合は、そのずれ量を、画像の下のズレ量表示部86,87に表示する。
本実施の形態では、キャリブレーション時には、図9に示すようにIRカメラ52の画像Im81〜Im84を表示するとともに、キャリブレーション中は、動作表示部85に現在の動作状態を表示する。図示の「位置を検出中」は、マーク13aの中の基準点を検出中であることを表示している状態を示す。
また、検出した予め設定された基準となるマーク13aの位置と、ローカル座標中に記録されている最新の基準点の位置とにずれがある場合は、そのずれ量を、画像の下のズレ量表示部86,87に表示する。
そして、所定量未満のズレ量が生じている場合には、ステップS11に進んで、各センサユニットのローカル座標の位置を、その時点で検出している基準となるマーク13aの位置に基づいて設定し直す。そして、このローカル座標の移動に応じ、各センサユニットが有するローカル座標から統合座標に変換する変換行列も、再設定する。
以上の処理を終了したら、ステップS12に進んで、キャリブレーションの終了の表示を行う。
なお、ズレが無い場合は、変換行列の再設定を行うことなく、ステップS12に進んで、キャリブレーションの終了表示を行う。
なお、ズレが無い場合は、変換行列の再設定を行うことなく、ステップS12に進んで、キャリブレーションの終了表示を行う。
次に、実施の形態1の作用を説明する。
なお、作用の説明にあたっては、三次元形状の計測として、計測対象物体を足とした場合を例に挙げて説明する。
なお、作用の説明にあたっては、三次元形状の計測として、計測対象物体を足とした場合を例に挙げて説明する。
本実施の形態1では、コントロールユニット30の入出力部31に情報端末(不図示)を接続し、情報端末において測定用のアプリケーションを立ち上げて測定を行うものとする。なお、三次元形状測定装置Aにおいて、センサ支持枠部材20あるいは、ベース10に、起動用のスイッチを設け、スイッチ操作により測定を行うようにしてもよい。
次に、足の形状を測定するのにあたり、図10に示すように、ベース10の蓋材12の上面に足Fを乗せる。この場合、測定対象者は、ベース10の上に立ってもよいし、あるいは、椅子に座った状態で、膝下部分のみをベース10の上に載せてもよい。
そして、情報端末(不図示)の操作に基づいて、各センサユニット50をスキャン作動させる。
これにより、コントロールユニット30は、各センサユニット50から、グレー画像、カラー画像、深度画像を取得する。
これにより、コントロールユニット30は、各センサユニット50から、グレー画像、カラー画像、深度画像を取得する。
そして、コントロールユニット30では、まず、各センサユニット50からの取得した情報に基づいて、各センサユニット50に応じたローカル座標上に、色付きの距離情報を有する部分点群を作成する。
さらに、コントロールユニット30では、変換行列を用い、各センサユニット50から取得したそれぞれのローカル座標上の部分点群を、1つの統合座標に統合して足の全周の外形形状を示す色付きの点群からなる統合点群を作成する。
すなわち、各センサユニット50は、測定対象の足を囲むように配置されているため、部分点群を統合することで、1つの足の全周の外形形状を示す点群とすることができる。
すなわち、各センサユニット50は、測定対象の足を囲むように配置されているため、部分点群を統合することで、1つの足の全周の外形形状を示す点群とすることができる。
そして、統合点群の中から、ベース10の上面を示す点群や、ノイズ成分を除去することで、測定対象の足のみの外形形状を示す統合点群とすることができる。
したがって、この測定後の足の形状を示す統合点群のデータに基づいて、前述したような靴の仮想試着に利用することができる。
したがって、この測定後の足の形状を示す統合点群のデータに基づいて、前述したような靴の仮想試着に利用することができる。
また、統合点群を面形状化したデータを用いて、図5、図6に示すような測定した足の外形形状を示す画像を作成することができる。また、上述の仮想試着を行うのにあたり、この面形状化した画像情報を用いて表示することもできる。
以下に、実施の形態1の三次元形状測定装置の効果を列挙する。
1)実施の形態1の三次元形状測定装置は、
基準点となるマーク13aを有するベース10と、
赤外線パターンを照射するIRプロジェクタ51、このIRプロジェクタ51から照射された赤外線パターンを撮像するIRカメラ52、カラー画像を撮像するRGBカメラ53を備え、IRプロジェクタ51およびIRカメラ52による距離情報とRGBカメラ53によるカラー画像とを取得可能なセンサユニット50と、
センサユニット50の作動を制御するとともに、センサユニット50の検出に基づいてベース10上の測定対象物体(足F)の三次元形状を測定する制御部としてのコントロールユニット30と、
を備え、
センサユニット50は、ベース10上の測定対象物体(足F)の全周を撮像可能にベース10を囲んで複数設置され、
コントロールユニット30は、
各センサユニット50から得られた距離情報およびカラー画像に基づいて、各センサユニット50が撮像する測定対象物体(足F)の一部の画像に対応した測定対象物体(足F)の色付きの距離情報を有する部分点群を複数作成し、
複数の部分点群を、基準点を基準として、1つの統合座標上に統合して、測定対象物体(足F)の全周の外形形状を示す色付きの距離情報を有する1つの統合点群を作成する三次元形状測定装置である。
したがって、レーザなどを走査することが不要であるとともに、暗室環境が不要であり、装置を簡易な構成とすることができる。しかも、複数のセンサユニット50により複数方向から測定対象物体(足F)を撮像することから、全体を走査しない構成でありながら、高精度で三次元形状を測定することができる。
しかも、色付きの距離情報を用いることから、グレースケールのような単色の距離情報と比較して、測定対象物体(足F)の凹凸も、より高精度に測定することが可能である。
1)実施の形態1の三次元形状測定装置は、
基準点となるマーク13aを有するベース10と、
赤外線パターンを照射するIRプロジェクタ51、このIRプロジェクタ51から照射された赤外線パターンを撮像するIRカメラ52、カラー画像を撮像するRGBカメラ53を備え、IRプロジェクタ51およびIRカメラ52による距離情報とRGBカメラ53によるカラー画像とを取得可能なセンサユニット50と、
センサユニット50の作動を制御するとともに、センサユニット50の検出に基づいてベース10上の測定対象物体(足F)の三次元形状を測定する制御部としてのコントロールユニット30と、
を備え、
センサユニット50は、ベース10上の測定対象物体(足F)の全周を撮像可能にベース10を囲んで複数設置され、
コントロールユニット30は、
各センサユニット50から得られた距離情報およびカラー画像に基づいて、各センサユニット50が撮像する測定対象物体(足F)の一部の画像に対応した測定対象物体(足F)の色付きの距離情報を有する部分点群を複数作成し、
複数の部分点群を、基準点を基準として、1つの統合座標上に統合して、測定対象物体(足F)の全周の外形形状を示す色付きの距離情報を有する1つの統合点群を作成する三次元形状測定装置である。
したがって、レーザなどを走査することが不要であるとともに、暗室環境が不要であり、装置を簡易な構成とすることができる。しかも、複数のセンサユニット50により複数方向から測定対象物体(足F)を撮像することから、全体を走査しない構成でありながら、高精度で三次元形状を測定することができる。
しかも、色付きの距離情報を用いることから、グレースケールのような単色の距離情報と比較して、測定対象物体(足F)の凹凸も、より高精度に測定することが可能である。
2)実施の形態1の三次元形状測定装置は、
コントロールユニット30は、
センサユニット50ごとの部分点群を作成するローカル座標を有するとともに、予めキャリブレーションにより基準点を基準としてローカル座標上の点を、統合座標上の点に変換する変換行列を作成し、
変換行列を用いて、部分点群を統合座標上に変換する。
このように、ローカル座標上の部分点群を、統合座標上の統合点群に変換するのにあたり、変換行列を用いて変換するため、情報容量の大きな色付きの距離情報であっても、短時間に変換を行うことができる。
コントロールユニット30は、
センサユニット50ごとの部分点群を作成するローカル座標を有するとともに、予めキャリブレーションにより基準点を基準としてローカル座標上の点を、統合座標上の点に変換する変換行列を作成し、
変換行列を用いて、部分点群を統合座標上に変換する。
このように、ローカル座標上の部分点群を、統合座標上の統合点群に変換するのにあたり、変換行列を用いて変換するため、情報容量の大きな色付きの距離情報であっても、短時間に変換を行うことができる。
3)実施の形態1の三次元形状測定装置は、
コントロールユニット30は、外部の情報処理機器としての情報端末と通信可能な入出力部31を備え、情報端末からの操作により作動するとともに、1つの統合座標に統合した統合点群により形成される三次元形状情報を、情報端末に出力可能である。
したがって、三次元形状測定装置自体に、表示モニタMNなどを設ける必要が無く、装置の構成の簡略化を図ることができるとともに、汎用性を向上できる。
コントロールユニット30は、外部の情報処理機器としての情報端末と通信可能な入出力部31を備え、情報端末からの操作により作動するとともに、1つの統合座標に統合した統合点群により形成される三次元形状情報を、情報端末に出力可能である。
したがって、三次元形状測定装置自体に、表示モニタMNなどを設ける必要が無く、装置の構成の簡略化を図ることができるとともに、汎用性を向上できる。
4)実施の形態1の三次元形状測定装置は、
コントロールユニット30は、統合点群を面形状化した画像データを作成する。
測定対象物体(足F)の形状を示す統合点群のデータを、面形状化することにより、より測定対象物体(足F)の形状に近いデータとすることができるとともに、画面上での表示にも最適なデータとすることができる。
コントロールユニット30は、統合点群を面形状化した画像データを作成する。
測定対象物体(足F)の形状を示す統合点群のデータを、面形状化することにより、より測定対象物体(足F)の形状に近いデータとすることができるとともに、画面上での表示にも最適なデータとすることができる。
以上、図面に基づいて実施の形態の三次元形状測定装置について説明してきたが、本発明の具体的な構成については、この実施の形態に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
例えば、実施の形態の三次元形状測定装置では、三次元形状の測定対象物体を足とした例を示したが、測定対象物体としては、足に限定されるものではなく、ベースの上に載置された形状を有するものであれば、どのようなものを測定してもよい。さらに、足を測定する場合であっても、図示のように、足首近傍までを測定するものに限らず、例えば、膝下付近まで撮影して測定するようにしてもよい。
また、実施の形態では、センサ支持枠部材は、通路用空間部を除いて連続するC型形状に形成した例を示したが、その形状は、これに限定されない。例えば、円周環状、多角形環状などの全周で連続した環状に形成してもよいし、あるいは、空間部を複数箇所有して複数に分割された不連続な形状に形成してもよい。
また、実施の形態では、IRプロジェクタとIRカメラとに基づく深度画像を、センサユニットに含まれる演算回路において作成する例を示したが、これに限定されず、センサユニットからの信号を入力する演算部としてのコントロールユニット側で作成するようにしてもよい。
さらには、実施の形態では、制御部と接続可能な情報処理機器として、情報端末を示したが、これに限定されず、このような信号処理装置を、センサユニットの外部、例えば、制御部を構成するコントロールユニット内に設けてもよい。あるいは、前記信号処理を、通信ネットワークを介して接続されるサーバやパーソナルコンピュータなどの外部の情報処理機器に設けてもよい。
10 ベース
12 蓋材
13 マーク群
20 センサ支持枠部材
30 コントロールユニット(制御部)
31 入出力部
50 センサユニット
51 IRプロジェクタ
52 IRカメラ
53 RGBカメラ
54 演算回路
Im71-Im74 画像
Im81-Im84 画像
MN 表示モニタ
12 蓋材
13 マーク群
20 センサ支持枠部材
30 コントロールユニット(制御部)
31 入出力部
50 センサユニット
51 IRプロジェクタ
52 IRカメラ
53 RGBカメラ
54 演算回路
Im71-Im74 画像
Im81-Im84 画像
MN 表示モニタ
Claims (4)
- 基準点を有するベースと、
赤外線を照射するIRプロジェクタ、このIRプロジェクタから照射された赤外線を撮像するIRカメラ、およびカラー画像を撮像するRGBカメラを備え、前記IRプロジェクタおよび前記IRカメラによる距離情報と前記RGBカメラによるカラー画像とを取得可能なセンサユニットと、
前記センサユニットの作動を制御するとともに、前記センサユニットの検出に基づいて前記ベース上の測定対象物体の三次元形状を測定する制御部と、
を備え、
前記センサユニットは、前記ベース上の測定対象物体の全周を撮像可能に前記ベースを囲んで複数設置され、
前記制御部は、
各センサユニットから得られた前記距離情報および前記カラー画像に基づいて、各センサユニットが撮像する前記測定対象物体の一部の画像に対応した前記測定対象物体の色付きの距離情報を有する部分点群を複数作成し、
前記複数の部分点群を、前記基準点を基準として、1つの統合座標上に統合して、前記測定対象物体の全周の外形形状を示す前記色付きの距離情報を有する1つの統合点群を作成する三次元形状測定装置。 - 請求項1に記載の三次元形状測定装置において、
前記制御部は、
前記センサユニットごとの前記部分点群を作成するローカル座標を有するとともに、予めキャリブレーションにより前記基準点を基準として前記ローカル座標上の点を、前記統合座標上の点に変換する変換行列を作成し、
前記変換行列を用いて、前記部分点群を前記統合座標上に変換する三次元形状測定装置。 - 請求項1または請求項2に記載の三次元形状測定装置において、
前記制御部は、外部の情報処理機器と通信可能な入出力部を備え、前記情報処理機器からの操作により作動するとともに、前記1つの統合座標に統合した前記統合点群により形成される三次元形状情報を、前記情報処理機器に出力可能である三次元形状測定装置。 - 請求項1〜請求項3のいずれかに記載の三次元形状測定装置において、
前記制御部は、前記統合点群を面形状化した画像データを作成する三次元形状測定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017185218A JP2019060709A (ja) | 2017-09-26 | 2017-09-26 | 三次元形状測定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017185218A JP2019060709A (ja) | 2017-09-26 | 2017-09-26 | 三次元形状測定装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019060709A true JP2019060709A (ja) | 2019-04-18 |
Family
ID=66178473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017185218A Pending JP2019060709A (ja) | 2017-09-26 | 2017-09-26 | 三次元形状測定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019060709A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021047157A (ja) * | 2019-09-20 | 2021-03-25 | 沖電気工業株式会社 | 物体検出装置、物体検出方法およびプログラム |
CN113834444A (zh) * | 2021-09-24 | 2021-12-24 | 云南特可科技有限公司 | 一种适用于暗光环境的多维测量方法 |
CN113847885A (zh) * | 2021-09-24 | 2021-12-28 | 云南特可科技有限公司 | 一种适用于强反光环境的多维测量方法 |
CN117629105A (zh) * | 2023-12-06 | 2024-03-01 | 北京锐达仪表有限公司 | 物料三维形态测量系统 |
JP7542400B2 (ja) | 2020-10-28 | 2024-08-30 | 三菱電機株式会社 | 温度補正効果制御機能を備えた赤外線カメラ |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11101623A (ja) * | 1997-09-29 | 1999-04-13 | Ckd Corp | 形状計測装置及び足型計測装置 |
JP2001082940A (ja) * | 1999-09-14 | 2001-03-30 | Sanyo Electric Co Ltd | 立体モデル生成装置及び方法 |
JP2003061936A (ja) * | 2001-08-27 | 2003-03-04 | Sanyo Electric Co Ltd | 動立体モデル生成装置及び方法 |
JP2005114642A (ja) * | 2003-10-10 | 2005-04-28 | Mitsuru Kawaguchi | 立体物形成システムおよび方法 |
US20110080471A1 (en) * | 2009-10-06 | 2011-04-07 | Iowa State University Research Foundation, Inc. | Hybrid method for 3D shape measurement |
-
2017
- 2017-09-26 JP JP2017185218A patent/JP2019060709A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11101623A (ja) * | 1997-09-29 | 1999-04-13 | Ckd Corp | 形状計測装置及び足型計測装置 |
JP2001082940A (ja) * | 1999-09-14 | 2001-03-30 | Sanyo Electric Co Ltd | 立体モデル生成装置及び方法 |
JP2003061936A (ja) * | 2001-08-27 | 2003-03-04 | Sanyo Electric Co Ltd | 動立体モデル生成装置及び方法 |
JP2005114642A (ja) * | 2003-10-10 | 2005-04-28 | Mitsuru Kawaguchi | 立体物形成システムおよび方法 |
US20110080471A1 (en) * | 2009-10-06 | 2011-04-07 | Iowa State University Research Foundation, Inc. | Hybrid method for 3D shape measurement |
Non-Patent Citations (2)
Title |
---|
INTEL REALSENSE CAMERA SR300 - EMBEDDED CODED LIGHT 3D IMAGING SYSTEM WITH FULL HIGH DEFINITION COL, vol. Revision 1.0, JPN7021003090, June 2016 (2016-06-01), US, pages 10 - 14, ISSN: 0004709987 * |
木 純也、他4名: ""複数台のRGB-Dカメラを用いた足の三次元形状計測システムの検討"", 映像情報メディア学会2016年冬季大会講演予稿集, JPN6021030741, 21 December 2016 (2016-12-21), JP, pages 22 - 5, ISSN: 0004709986 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021047157A (ja) * | 2019-09-20 | 2021-03-25 | 沖電気工業株式会社 | 物体検出装置、物体検出方法およびプログラム |
JP7259674B2 (ja) | 2019-09-20 | 2023-04-18 | 沖電気工業株式会社 | 物体検出装置、物体検出方法およびプログラム |
JP7542400B2 (ja) | 2020-10-28 | 2024-08-30 | 三菱電機株式会社 | 温度補正効果制御機能を備えた赤外線カメラ |
CN113834444A (zh) * | 2021-09-24 | 2021-12-24 | 云南特可科技有限公司 | 一种适用于暗光环境的多维测量方法 |
CN113847885A (zh) * | 2021-09-24 | 2021-12-28 | 云南特可科技有限公司 | 一种适用于强反光环境的多维测量方法 |
CN117629105A (zh) * | 2023-12-06 | 2024-03-01 | 北京锐达仪表有限公司 | 物料三维形态测量系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019060709A (ja) | 三次元形状測定装置 | |
JP6429772B2 (ja) | 3d走査および位置決めシステム | |
JP5757950B2 (ja) | 非接触物体測定 | |
US8363927B2 (en) | High-resolution optical detection of the three-dimensional shape of bodies | |
US7095886B2 (en) | Arrangement and method for producing photogrammetric image records | |
KR20190124452A (ko) | 용접비드 비전 검사 장치 및 용접 불량 검사방법 | |
US12025468B2 (en) | Optical sensor with overview camera | |
JP2014044078A (ja) | 動物体の体重推定装置、及び体重推定方法 | |
JP2014119442A (ja) | 3次元計測装置およびその制御方法 | |
EP2587215A2 (en) | Image measuring system | |
KR101854366B1 (ko) | 3차원 형상 측정방법 | |
JP2019135483A (ja) | 3次元画像処理装置及び方法 | |
JP5417654B2 (ja) | 重心位置解析法 | |
KR20020005846A (ko) | 인체를 계측하는 장치 및 방법 | |
JP2008014882A (ja) | 三次元計測装置 | |
JP2005258622A (ja) | 三次元情報取得システムおよび三次元情報取得方法 | |
JP2006308323A (ja) | 3次元形状測定方法 | |
JP2011106931A (ja) | 3次元形状測定システムおよび携帯電話機 | |
JP2000039310A (ja) | 形状測定方法および形状測定装置 | |
CN109363687B (zh) | 一种颈椎活动度检测装置及方法 | |
JP2020193820A5 (ja) | ||
JP2011033428A (ja) | パンタグラフ高さ測定装置 | |
JP6722522B2 (ja) | 三次元測定装置及びその制御方法 | |
JP2004309318A (ja) | 位置検出方法、その装置及びそのプログラム、並びに、較正情報生成方法 | |
JP2016011930A (ja) | 三次元データの連結方法、測定方法、測定装置、構造物製造方法、構造物製造システム、及び形状測定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200924 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210810 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220222 |