JP2015137887A - 変化形状測定装置、変化形状測定方法、および変化形状測定装置用プログラム - Google Patents

Abstract

【課題】測定中に形状が変化するような物体の三次元測定の誤差及び変化形状を時間軸に沿って測定、可視化する変化形状測定装置を提供する。
【解決手段】周囲の物体までの距離を測定するためのカメラ部１２を備え、対象物体３０の三次元形状を測定する際の誤差を測定する変化形状測定装置は、前記カメラ部１２から、周囲の物体の各点までの距離を、距離画像として生成するとともに、現在の前記カメラ部の姿勢を推定し、前記推定された姿勢を基準に推定された前記対象物体の形状と、前記距離画像から抽出された対象物体の形状とを比較し、誤差を検出し、前記誤差を画像として生成し、表示部に表示する。
【選択図】図１

Description

本発明は、三次元の物体の計測において、計測の誤差及び計測対象物体の変化形状をリアルタイムに測定し、可視化する変化形状測定装置、変化形状測定方法、および変化形状測定装置用プログラムに関する。

近年、リモコンの動作を検知したり、手足の身振りを入力として検知したりといった、三次元測定技術が家庭にも普及し始めている。入力装置の一例として、赤外線カメラと赤外線を出力する赤外線源を搭載する装置が普及している。赤外線源から出力された赤外線が物体によって反射し、赤外線カメラによって検知されることで、物体の三次元的な位置や形状を把握することができる。

そこで、物体の形状を把握するに際し、より精度よく測定したいという需要が高まっている。そのような課題に対して、複数の赤外線カメラを利用することで衣服を着用したまま被測定者の寸法を測定する方法が開示されている。

特開２００３−６７７２５号 特開２００６−３３７０７５号

特許文献１によれば、衣服を着用した被測定者１０を背景とともに複数の赤外線カメラ２０で撮影し、得られた物体画像からＰＣ３０を用いて視点の異なる複数の輪郭画像を生成し、これらの輪郭画像から被測定者１０のボクセルデータを抽出する。被測定者１０が着用している衣服及び背景は、被測定者１０の体温より低いので輪郭画像を生成すると被測定者１０自身の輪郭を抽出することができる。結果、衣服を着用したままで被測定者１０の寸法を測定することができる。

しかしながら、特許文献１の構成は、物体の周囲を囲うようにカメラを設置する必要があり、例えば建造物のように大きな物体を三次元スキャンする場合には、カメラを数十、数百台の単位で並べる必要があるため、現実的でないという課題がある。また、特許文献１において開示されているように、物体を回転させながら一台のカメラで計測する場合にも、回転台に乗せられる対象物に限られるという課題があり、例えば建造物のように大きな物体を三次元スキャンする場合は、何らかの方法で対象とカメラとの位置関係を計測又は推定する必要があるという課題がある。

そこで、対象の大小に関わらず、一台のカメラで三次元スキャンするという課題に対して、カメラから得られた画像を元に、対象とカメラとの位置関係とカメラとの位置関係を逐次推定する方法が開示されている。

特許文献２によれば、撮影した一連の画像を重ね合わせながら、重複部分の誤差が最少になるように整合性を取ることで、対象とカメラの位置関係の推定及び三次元形状を復元することができる。

しかしながら、スキャン開始からの時間経過により、対象が変形してしまったり、対象以外の物体がカメラに映り込んでしまったり、又は環境光の強度や入射角度が変わってしまったなどの影響で、スキャン開始当初に撮影した画像との辻褄が合わなくなってしまった場合、画像の重ね合わせでは解消できない誤差が残り、スキャン精度の悪化につながるという課題がある。

本課題は、対象が大きいほど、又はスキャン作業の期間が長くなるほど、顕著な課題となる。そこで本発明の発明者は、カメラの姿勢推定時の誤差を、物体の変化形状とセンサノイズに区別することで、解消できない誤差を取り除き、誤差の無い画像の重ね合わせが可能となるとともに、カメラと対象の位置関係の推定精度が向上し、より高精度な三次元形状の復元が可能となる点に着目した。

また、本発明の発明者は、カメラと対象の位置関係の推定精度が上がることで、誤差の原因となる変化について、より高精度な三次元形状の復元が可能となる点に着目した。さらに、変化形状を別途復元することで、対象の変化なのか、環境の変化なのかを分析できるようになり、対象の部分的な再スキャンの実施や、またはスキャン環境の改善が可能になる点にも着目した。

本発明は、これらの課題に鑑み、三次元の物体の計測において、解消できない誤差を検出し、予め撮影画像から打ち消すために、解消できない誤差の原因となる変化形状を測定する変化形状測定装置、変化形状測定方法、および変化形状測定装置用プログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、周囲の物体までの距離を測定するためのカメラ部を備え、対象物体の三次元形状を測定する際の誤差を測定する変化形状測定装置であって、
前記カメラ部から、周囲の物体の各点までの距離を、距離画像として生成する距離画像生成手段と、
現在の前記カメラ部の姿勢を推定するカメラ姿勢推定手段と、
前記推定された前記カメラ部の姿勢を基準に推定された前記対象物体と、前記距離画像に基づく対象物体の形状とを比較し、誤差を検出する誤差検出手段と、
を備える変化形状測定装置を提供する。

第１の特徴に係る発明によれば、周囲の物体までの距離を測定するためのカメラ部を備え、対象物体の三次元形状を測定する際の誤差を測定する変化形状測定装置は、前記カメラ部から、周囲の物体の各点までの距離を、距離画像として生成し、現在の前記カメラ部の姿勢を推定し、前記推定された前記カメラ部の姿勢を基準に推定された前記対象物体と、前記距離画像に基づく対象物体の形状とを比較し、誤差を検出する。

第１の特徴に係る発明は、変化形状測定装置のカテゴリであるが、変化形状測定方法、及び変化形状測定装置用プログラムであっても、カテゴリに応じた同様の作用、効果を奏する。

第２の特徴に係る発明は、前記算出した誤差を、位置情報に基づきクラスタリングすることで、各点のまとまりとして捉える誤差クラスタリング手段と、
前記まとまりを前記距離画像から差し引いた後、前記誤差を検出できなくなった場合は、当該まとまりを誤差の原因となった変化の形状であると確定する変化形状確定手段と、
を備えることを特徴とした第１の特徴に係る発明である変化形状測定装置を提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明である変化形状測定装置は、前記算出した誤差を、位置情報に基づきクラスタリングすることで、各点のまとまりとして捉え、前記まとまりを前記距離画像から差し引いた後、前記誤差を検出できなくなった場合は、当該まとまりを誤差の原因となった変化の形状であると確定する。

第３の特徴に係る発明は、前記カメラ部の姿勢を基準として、前記確定した変化形状の三次元形状を正規格子上の立方体の集合として復元する変化形状復元手段と、
を備えることを特徴とした第２の特徴に係る発明である変化形状測定装置を提供する。

第３の特徴に係る発明によれば、第２の特徴に係る発明である変化形状測定装置は、前記カメラ部の姿勢を基準として、前記確定した変化形状の三次元形状を正規格子上の立方体の集合として復元する。

第４の特徴に係る発明は、前記誤差の算出基準となる三次元データを読み込む基準データ読み込み手段と、
所定の頻度以上で測定された誤差を、基準データからの変化形状であるとして検出する形状変化検出手段と、
を備えることを特徴とした第１から第３のいずれかの特徴に係る発明である変化形状測定装置を提供する。

第４の特徴に係る発明によれば、第１から第３のいずれかの特徴に係る発明である変化形状測定装置は、前記誤差の算出基準となる三次元データを読み込み、所定の頻度以上で測定された誤差を、基準データからの変化形状であるとして検出する。

第５の特徴に係る発明は、前記検出した誤差又は変化形状を、変形のタイミングに係る情報とともに出力し、又は記憶部に記憶させる検出内容出力手段と、
を備えることを特徴とした第１から第４のいずれかの特徴に係る発明である変化形状測定装置を提供する。

第５の特徴に係る発明によれば、第１から第４のいずれかの特徴に係る発明である変化形状測定装置は、前記検出した誤差又は変化形状を、変形のタイミングに係る情報とともに出力し、又は記憶部に記憶させる。

第６の特徴に係る発明は、周囲の物体までの距離を測定するためのカメラ部を備え、対象物体の三次元形状を測定する際の誤差を測定する変化形状測定装置が実行する変化形状測定方法であって、
前記カメラ部から、周囲の物体の各点までの距離を、距離画像として生成するステップと、
現在の前記カメラ部の姿勢を推定するステップと、
前記推定された前記カメラ部の姿勢を基準に推定された前記対象物体と、前記距離画像に基づく対象物体の形状とを比較し、誤差を検出するステップと、
を備える変化形状測定方法を提供する。

第７の特徴に係る発明は、周囲の物体までの距離を測定するためのカメラ部を備え、対象物体の三次元形状を測定する際の誤差を測定する変化形状測定装置に、
前記カメラ部から、周囲の物体の各点までの距離を、距離画像として生成するステップ、
現在の前記カメラ部の姿勢を推定するステップ、
前記推定された前記カメラ部の姿勢を基準に推定された前記対象物体と、前記距離画像に基づく対象物体の形状とを比較し、誤差を検出するステップ、
を実行させるための変化形状測定装置用プログラムを提供する。

本発明によれば、三次元の物体の計測において、解消できない誤差を検出し、予め撮影画像から打ち消すために、解消できない誤差の原因となる変化形状を測定する変化形状測定装置、変化形状測定方法、および変化形状測定装置用プログラムを提供することが可能となる。

図１は、本発明の好適な実施形態である変化形状測定装置１０の概要図である。 図２は、変化形状測定装置１０の全体構成図である。 図３は、変化形状測定装置１０の機能ブロックと各機能の関係を示す図である。 図４は、変化形状測定装置１０が実行する変化形状測定処理のフローチャート図である。 図５は、変化形状測定装置１０が実行する変化形状復元処理のフローチャート図である。 図６は、作成された距離画像の一例である。 図７は、カメラの姿勢推定を説明する為の概要図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［変化形状測定装置１０の概要］
図１は、本発明の好適な実施形態である変化形状測定装置１０の概要を説明するための図である。この図１に基づいて、変化形状測定装置１０の概要を説明する。

変化形状測定装置１０は、制御・記憶部１１と、カメラ部１２と、出力部１３により構成される。図１においては、制御・記憶部１１は省略されている。変化形状測定装置１０は、測定の対象となる対象物体３０に相対して設置されている。

はじめに、変化形状測定装置１０は、変化形状測定の基準となるデータを作成するため、対象物体３０の三次元構造を測定する（ステップＳ０１）。測定の基本原理としては、特定のパターンで赤外線を送信し、対象物にぶつかって跳ね返ってきた赤外線をカメラで受信する過程を通じ、受信時のパターンと受信までにかかる時間とで、物体までの三次元距離を推定することができる。

また、対象物体３０はカメラに対して移動が可能である。そのため、カメラは、物体を正面からのみならず、様々な角度から測定することが可能である。もちろん、カメラ自体を動かしてもよく、相対的に移動が発生すればよい。

対象物体３０が移動や回転をした後に測定を行うと（ステップＳ０２）、カメラから見た物体の距離は著しく変化することになる。そこで、カメラは直前の測定と、今回の測定との間で、各点同士を仮に対応させ、その三次元距離の総和が最も小さくなるようなカメラの姿勢を推定する。

その結果、今回の測定で、推定されたカメラの位置から測定した各点と、直前の測定との間で、各点には差異が生じることになる。本発明はこの変化を、測定誤差であるとして検出する。

次に、変化形状測定装置１０は検出した誤差を可視化し、画面表示する（ステップＳ０３）。そうすることで、行われた処理によりどこの部分の体積が増加し、どこの部分の体積が減少したのか、容易に把握可能となる。

また、ステップＳ０１とＳ０２を繰り返す事で、測定誤差はリアルタイムに更新され、画面表示もリアルタイムで切り替えることが可能となる（ステップＳ０５）。一方で、所定の頻度を超えて検出される誤差については、誤差ではなく対象物体３０そのものの変化であるとして、出力を行う。

なお、一度目の測定を行わず、三次元データを直接読み込んでもよい。例えば、工場で生産される部品の、設計図となる三次元モデルを読み込んだとする。その後、実際に生産された部品を測定し、設計図との誤差を算出することで、製品の異常を発見したり、生産機械の精度を推定したりすることがリアルタイムで可能となる。以上が、変化形状測定装置１０の概要である。

［変化形状測定装置１０のシステム構成］
図２は、変化形状測定装置１０の全体構成図である。前述のとおり、変化形状測定装置１０は、制御・記憶部１１と、カメラ部１２と、出力部１３によって構成される。

［各機能の説明］
図３は、変化形状測定装置１０の機能ブロックと各機能の関係を示す図である。

変化形状測定装置１０は、制御・記憶部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ），ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ），ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備えるとともに、ハードディスクや半導体メモリによる、データのストレージ部を備える。また、変化形状測定装置１０は、カメラ部１２として、物体までの三次元距離を測定可能なカメラを備える。カメラは、例えば、特定のパターンで赤外線を送信する赤外線送信部と、少し離れて設置された赤外線受信部とで構成される。また、変化形状測定装置１０は、例えば画面やスピーカーといった各種出力が可能な出力部１３を備える。

変化形状測定装置１０において、制御・記憶部１１が所定のプログラムを読み込むことで、カメラ部１２と協働して、基準データ読み込みモジュール１４、距離画像生成モジュール１５、対象物体抽出モジュール１６、カメラ姿勢推定モジュール１７、誤差検出モジュール１８、誤差クラスタリングモジュール１９、変化形状確定モジュール２０、変化形状復元モジュール２１、形状変化検出モジュール２２を実現する。また、変化形状測定装置１０において、制御・記憶部１１が所定のプログラムを読み込むことで、出力部１３と協働して、誤差画像表示モジュール２３、検出内容出力モジュール２４を実現する。

［変化形状測定処理］
図４は、変化形状測定装置１０が実行する変化形状測定処理のフローチャートである。上述した各装置のモジュールが行う処理について、本処理にて併せて説明する。

初めに、変化形状測定装置１０の基準データ読み込みモジュール１４は、変化形状測定の基準となる基準データを読み込む（ステップＳ１１）。なお、基準データの読み込みが必要ない場合には、データを読み込まず一度目の測定を行い、それを基準データとしてもよい。

次に、基準データ読み込みモジュール１４は、読み込んだデータをボクセルと呼ばれるデータ構造に変換する（ステップＳ１２）。ボクセルは、ピクセルを三次元に拡張した概念であり、空間内における座標を持たないものの、三次元正規直行座標を相対的に表すことができる。例えば、物体の表面の形状をボクセルで表すことができる。

次に、変化形状測定装置１０の距離画像生成モジュールは、物体までの距離画像を生成する（ステップＳ１３）。これは、赤外線送信部が特定のパターンで赤外線を送信し、物体の表面に当たり跳ね返ってきたところをカメラ部が受信することで、パターンと受信までにかかった時間から、物体までの距離を測定し、カメラから見た距離を色の濃さとして画像に表したものである。しかしながら、この状態では、単にカメラから見た深度マップに過ぎず、物体と物体の境界は定かではない。

図６は、作成された距離画像の一例である。辺６１の側は濃く、辺６２の側は色が薄くなっている。ここから、相対的に下側が手前に位置することが分かる。円６３は、球か円柱かは不明であるが、非常に手前に位置していることが分かる。一方で四角形６４は、円６３よりもかなり遠くに位置している事が分かる。四角形６４は、立方体を真正面から見ているかもしれないし、地面に垂直に立った張りぼてであるかもしれないが、遠くにあることだけが分かる。実際には、距離画像は更に複雑で重なり合っており、物体を背景から分離して認識することが困難であることも多い。

その下で、対象物体抽出モジュール１６は、距離画像から対象物体を抽出する（ステップＳ１４）。具体的な処理の一例として、初めに、距離画像の各ピクセルを周囲のピクセルの平均値としてスムージングすることにより、ノイズを除去する。その後、ｂｌｏｂ処理を行うことで、背景と前景とが分離でき、最もカメラの正面に近い物体を対象物体３０とすることで、背景と対象物体３０との境界を明らかにすることができる。

また、計測対象である対象物体３０の特徴が予め分かっている場合には、それを用いて抽出することも可能である。例えば、対象物体３０が顔である場合には、顔認識のアルゴリズムを適用することで、対象物体３０を背景から抽出することが可能である。

なお、対象物体３０のおおよその場所が分かった後は、距離画像を「対象物体３０」と「背景」に分けてラベリングするとともに、対象画像にエッジ検出処理をかけ、輪郭を抽出してよい。そして、前景及び背景をそれぞれ縮退し、対象物体の輪郭が、前景でも背景でもない「未定義（ラベルなし）」となるようにした後に、セグメンテーション処理により、「未定義」領域を前景又は背景に決定することで、前景と背景の境界線を対象物体の輪郭として確定する。

次に、カメラ姿勢推定モジュール１７は、カメラ姿勢の推定を試みる（ステップＳ１５）。ここで姿勢を推定できない場合は、姿勢の推定が可能になるまでステップＳ１３からステップＳ１５までの処理を試みる（ステップＳ１５：「ＮＯ」の場合）。一方、カメラの姿勢が推定できる場合（ステップＳ１５：「ＹＥＳ」の場合）にはそのまま変化形状復元処理を実行する（ステップＳ１６）。

図７は、カメラの姿勢推定を説明する為の概要図である。点７１を含み、左側に位置する点群が基準データであり、点７２を含み、右側に位置する点群が最新の計測データであるとする。ここで、基準データを基準とした計測データを計測した時のカメラの姿勢を回転行列Ｒ７６と並進ベクトルｔ７７により推定する。ここで、この図においては物体の方が回転、並進していることに注意する。ただし、移動は相対的なものなので、本質的には同じ考えが適用される。

すなわち、点７１を点７２に移動させ、点７３を点７４に移動させるＲとｔを考える。ここでは、点群の裏にも点があるものとし、点７３は点７５ではなく点７４に移動したものと考える。移動の前は、カメラの向きと位置は紙面と垂直な位置であり、図を見る人の目と同じ向きである。一方、移動後は、点７８のような向きになっている。このような移動をおこさせるＲとｔを推定する方法について考える。

ここで、カメラの姿勢推定には種々のアルゴリズムがあるが、中でもＩＣＰと呼ばれるアルゴリズムが広く用いられている。ここでＩＣＰについて簡単に説明すると、基準となるモデルデータにおける対象物体３０の各点と、今回測定した距離画像から抽出された対象物体３０の各点を、点ｙと点ｘとして、仮に対応させる。このとき、ｙとｘの対応が正しければ、カメラの回転行列Ｒと並進ベクトルｔを用いて、各点ｉについてｙｉ＝Ｒｘｉ＋ｔと書ける。

ＩＣＰアルゴリズムでは、適切なＲとｔを求めるために、（ｙｉ-Ｒｘｉ＋ｔ）の二乗を各点ｉについて足し合わせた総和の最小化問題を解く。これは単なる最適化問題に過ぎないので、例えばｘ，ｙを行列で表現した上でＬａｇｒａｎｇｅの未定乗数法を使えば、求めるＲとｔが算出できる。ただし、求められたＲは必ずしも真なるカメラの回転行列とは限らず、なぜならｘとｙの対応は必ずしも正しいとは限らないためである。よって、例えば、最小化される目的関数に閾値を設け、最小値が所定の閾値より小さくなった場合には、Ｒとｔが正しく推定され、カメラの姿勢の推定に成功したものと見なせばよい（ステップＳ１５：「ＹＥＳ」の場合）。

［変化形状復元処理］
図５は、変化形状測定装置１０が実行する変化形状復元処理のフローチャートである。上述した各装置のモジュールが行う処理について、本処理にて併せて説明する。

前提として、本処理が実行されるときは変化形状測定処理において、カメラ位置の推定が成功しているものとする。ここで、誤差検出モジュール１８は、推定されたカメラ位置から推定した対象物体３０の各点が、基準となる対象物体３０の各点から所定の閾値以上離れていた場合には、それを誤差として検出する（ステップＳ２１）。これは先述の点ｙと点ｘを比較することに他ならない。

一方で、誤差の検出は、推定されたカメラの位置からの推定距離画像を生成し、実測の距離画像と差分を取る事によって行ってもよい。その場合は、各ピクセルにおける距離を表す色濃度の差を算出するだけでよい。

次に、誤差クラスタリングモジュール１９は、先ほど誤差として検出した各点をクラスタリングする（ステップＳ２２）。クラスタリングにも様々なアルゴリズムがあるが、例えばＫ-ｍｅａｎｓ法を用いてよい。ここでは、所定の個数以下のクラスタはノイズとして無視する。また、Ｋ-ｍｅａｎｓにおけるＫ値はこの所定の個数と、検出された誤差となる点の数に基づいて決定されてよい。

クラスタリングの結果、孤立した誤差は無視され、ある程度のまとまりを持った各点が誤差として検出されることになる。この後、当該誤差が計測誤差であるか、あるいは変化形状であるかの判断を行うにあたり、二種類の処理について説明する。

初めに、フローチャート右側に分岐した場合について説明する。ここで、変化形状確定モジュール２０は、撮影された距離画像から、先ほどのクラスタリングの結果である点のまとまりそれぞれについて、距離を減算する（ステップＳ２３）。結果、まとまりを構成する点が撮影された部分の点については、距離がゼロとして扱われるため、誤差の算出ににおいて除外されることとなる。

ここで、減算処理の後で誤差がなおも検出される場合（ステップＳ２４：「ＹＥＳ」の場合）には、カメラ姿勢が確定されないため、今回は復元を行わず処理を終了する。一方、誤差が検出されなくなった場合（ステップＳ２４：「ＮＯ」の場合）には、減算したまとまりを、誤差の原因となった変化形状として確定する。

そして、変化形状復元モジュール２１は、確定した変化形状をボクセルとして復元する（ステップＳ２５）。ここで、ボクセルとはピクセルを三次元に拡張した概念であり、立体を表すための三次元の立方格子である。以上の処理により、変化形状の復元が成される。

なお、このボクセルの変化は、測定対象の変化と、環境の変化により構成されており、それぞれにおいて数値的特徴が異なる。すなわち、測定対象の変化の場合、カメラとの位置関係が変化しないため、特定のボクセルに誤差が格納される。また、対象を超えるサイズの変化はありえないため、面積は小さくなり、対象とその変化は隣接する。

具体的には、測定対象の変化の場合、ボクセル密度については、一ボクセル当たりに含まれる点の数が測定対象と同等であって、ボクセル面積については、まとまりを構成するボクセルの総数が対象よりも小さく、ボクセル位置については、まとまりを構成するボクセルが、対象表面に隣接すると考えられる。

次に、フローチャート左側に分岐した場合について説明する。
誤差画像表示モジュール２３は、前記検出し、クラスタリングした誤差を出力部に表示する（ステップＳ２６）。例えば、元データに重ね合わせて、誤差部分が表示されてよい。ここでは、カメラの距離センサーの焦点距離ｆが分かれば、１ピクセルが１ｍｍに相当する距離が分かるので、距離画像を基に各点の３次元位置情報を得ることが可能となる。このとき、誤差部分の３次元位置情報を利用することで、当該誤差部分の体積が算出されてもよい。

ここで、変化形状測定装置１０の検出内容出力モジュール２４は、誤差の検出を行った際のタイミングに関する情報を特定する（ステップＳ２７）。タイミングに関する情報とは、誤差が検出された瞬間を、例えば時刻のように絶対的な指標で特定したり、測定開始からの経過秒数といった相対的な指標で特定したりする。その結果、三次元データである検出内容と、時間軸の情報との組み合わせにより、変化形状測定装置１０が扱う情報は四次元のデータとなる。

ところで、同じような誤差が、短時間に同じ場所に繰り返し検出されるような場合には、それはもはや誤差ではなく、対象物体３０自体の形状が変化したものと考えた方が自然である。そこで、形状変化検出モジュール２２は、誤差が所定の頻度以上で検出されるか否かを判断する（ステップＳ２８）。この判断は、クラスタリングに含まれる誤差各点について行ってもよいし、クラスタ単位で行っても良い。

誤差の検出が所定の頻度以下である場合（ステップＳ２８：「ＮＯ」の場合）には、変化形状測定装置１０の検出内容出力モジュール２４は、検出した誤差を、先ほど特定したタイミングに関する情報とともに出力し、又は記憶部に記憶させる（ステップＳ２９）。ここで出力とは、画面上に立体図やグラフで可視化する場合のみならず、別の端末やサーバのＡＰＩと通信を行う等、目に見えない形式で出力を行う場合も含まれる。また、記憶部に記憶させる場合も、得られたデータをそのまま記憶させてもよいし、可視化等の加工を加えた上で記憶させてもよい。

一方で、誤差の検出が所定の頻度以上である場合（ステップＳ２８：「ＹＥＳ」の場合）には、それを対象物体３０の変化形状であるとみなし、変化形状測定装置１０の検出内容出力モジュール２４は、特定したタイミングに関する情報とともに、誤差と同様変化形状として出力し、又は記憶部に記憶させる（ステップＳ３０）。出力の形式については、誤差の場合と同様である。

以上が、変化形状復元処理の手順である。変化形状測定処理に戻り、測定を継続するか否かを判断する（ステップＳ１７）。測定を終了する場合（ステップＳ１７：「ＮＯ」の場合）には、そのまま変化形状測定処理を終了する。一方、測定を継続する場合（ステップＳ１７：「ＹＥＳ」の場合）には、ステップＳ１３の直前に戻り、距離画像の生成から処理を再開する。

以上のループにより、誤差の測定及び可視化は連続で行われることになる。そうすることで、出力部において、誤差や対象物体３０の変化をリアルタイムで可視化、確認することが可能となる。以上が、変化形状測定処理の手順である。

上述した手段、機能は、コンピュータ（ＣＰＵ，情報処理装置，各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１０ 変化形状測定装置、３０ 対象物体

Claims (7)

1. 周囲の物体までの距離を測定するためのカメラ部を備え、対象物体の三次元形状を測定する際の誤差を測定する変化形状測定装置であって、
   前記カメラ部から、周囲の物体の各点までの距離を、距離画像として生成する距離画像生成手段と、
   現在の前記カメラ部の姿勢を推定するカメラ姿勢推定手段と、
   前記推定された前記カメラ部の姿勢を基準に推定された前記対象物体と、前記距離画像に基づく対象物体の形状とを比較し、誤差を検出する誤差検出手段と、
   を備える変化形状測定装置。
2. 前記算出した誤差を、位置情報に基づきクラスタリングすることで、各点のまとまりとして捉える誤差クラスタリング手段と、
   前記まとまりを前記距離画像から差し引いた後、前記誤差を検出できなくなった場合は、当該まとまりを誤差の原因となった変化の形状であると確定する変化形状確定手段と、
   を備えることを特徴とした請求項１に記載の変化形状測定装置。
3. 前記カメラ部の姿勢を基準として、前記確定した変化形状の三次元形状を正規格子上の立方体の集合として復元する変化形状復元手段と、
   を備えることを特徴とした請求項２に記載の変化形状測定装置。
4. 前記誤差の算出基準となる三次元データを読み込む基準データ読み込み手段と、
   所定の頻度以上で測定された誤差を、基準データからの変化形状であるとして検出する形状変化検出手段と、
   を備えることを特徴とした請求項１乃至３のいずれか一項に記載の変化形状測定装置。
5. 前記検出した誤差又は変化形状を、変形のタイミングに係る情報とともに出力し、又は記憶部に記憶させる検出内容出力手段と、
   を備えることを特徴とした請求項１乃至４のいずれか一項に記載の変化形状測定装置。
6. 周囲の物体までの距離を測定するためのカメラ部を備え、対象物体の三次元形状を測定する際の誤差を測定する変化形状測定装置が実行する変化形状測定方法であって、
   前記カメラ部から、周囲の物体の各点までの距離を、距離画像として生成するステップと、
   現在の前記カメラ部の姿勢を推定するステップと、
   前記推定された前記カメラ部の姿勢を基準に推定された前記対象物体と、前記距離画像に基づく対象物体の形状とを比較し、誤差を検出するステップと、
   を備える変化形状測定方法。
7. 周囲の物体までの距離を測定するためのカメラ部を備え、対象物体の三次元形状を測定する際の誤差を測定する変化形状測定装置に、
   前記カメラ部から、周囲の物体の各点までの距離を、距離画像として生成するステップ、
   現在の前記カメラ部の姿勢を推定するステップ、
   前記推定された前記カメラ部の姿勢を基準に推定された前記対象物体と、前記距離画像に基づく対象物体の形状とを比較し、誤差を検出するステップ、
   を実行させるための変化形状測定装置用プログラム。