JP2018160145A - ３次元計測装置、３次元計測プログラム、および３次元計測システム - Google Patents

Abstract

【課題】距離画像の作成時に１部材のマーカが用いられた場合であってもその距離画像からマーカの３次元的な位置を得る。【解決手段】撮影画角内の各位置における撮影距離を表した距離値が該各位置の画素に付与された距離画像を作成する撮影装置からその距離画像を取得する画像取得部と、上記距離画像中で、距離値が、予め決められた特定値となっている特定画素を探索する探索部と、上記特定画素を間に挟んだ両側に位置する画素を参照してその特定画素における撮影距離を算出する距離算出部と、を備える。【選択図】図５

Description

本発明は、３次元計測装置、３次元計測プログラム、および３次元計測システムに関する。

従来、肘や膝などの部位にマーカを付けた対象者（対象物）を複数の撮像装置で撮影することによって、マーカが付いた部位の空間位置を３次元的に測定する３次元計測システムが知られている。このような３次元計測システムは大がかりでコストも計測の手間も掛かる。

また、ゲーム機などに利用される３次元計測システムとして、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）と称される計測方式を用いる３次元計測システムが知られている。このＴｏＦ方式の装置は、光（赤外線）照射器と撮像器が組み合わされた簡素な構造を有し、撮影画角内の各点について、その点に存在する被写体との距離が容易に得られるが、対象者の肘などといった部位を画像解析で特定するため位置精度が低い。

これらの従来例に対し、特許文献１には、対象者（対象物）に特別な構造のマーカを付けるとともにＴｏＦ方式の計測を行う技術が開示されている。

特開２０１５−２０６６５１号公報

しかし、特別な構造のマーカを要する３次元計測システムでは、特別な構造のマーカを用意する手間とコストが掛かる。

本発明は、撮影画角内の各位置における撮影距離を表した距離値が該各位置の画素に付与された距離画像の作成時に１部材のマーカが用いられた場合であってもその距離画像からマーカの位置を得ることができる３次元計測装置、３次元計測プログラム、および３次元計測システムを提供することを目的とする。

請求項１に係る３次元計測装置は、
撮影画角内の各位置における撮影距離を表した距離値が該各位置の画素に付与された距離画像を作成する撮影装置からその距離画像を取得する画像取得部と、
上記距離画像中で、距離値が、予め決められた特定値となっている特定画素を探索する探索部と、
上記特定画素を間に挟んだ両側に位置する画素を参照してその特定画素における撮影距離を算出する距離算出部と、
を備えたことを特徴とする。

請求項２に係る３次元計測装置は、請求項１の３次元計測装置において、
上記距離画像中の被写体のうち、予め決められた対象被写体の写っている対象領域を決定する領域決定部を備え、
上記探索部が、上記対象領域内で上記特定画素を探索するものであることを特徴とする。

請求項３に係る３次元計測装置は、請求項２の３次元計測装置において、
上記距離算出部が、上記特定画素を間に挟んだ両側に位置する画素を参照し、その参照した画素のうち上記対象領域内に位置している画素における距離値を用いてその特定画素における撮影距離を算出するものであることを特徴とする。

請求項４に係る３次元計測装置は、請求項２または３の３次元計測装置において、
上記領域決定部が、予め決められた距離範囲に含まれる距離値を有した画素の領域を上記対象領域として決定するものであることを特徴とする。

請求項５に係る３次元計測装置は、請求項２または３の３次元計測装置において、
上記領域決定部が、上記対象被写体が撮影された他の撮影画像と上記距離画像とに基づき上記対象領域を決定するものであることを特徴とする。

請求項６に係る３次元計測装置は、請求項２または３の３次元計測装置において、
上記領域決定部が、上記対象被写体の輪郭を解析することによって上記対象領域を決定するものであることを特徴とする。

請求項７に係る３次元計測装置は、請求項１の３次元計測装置において、
上記距離算出部が、上記特定画素の周囲に位置する３つ以上の周囲画素を参照してその特定画素における撮影距離を算出するものであることを特徴とする。

請求項８に係る３次元計測装置は、請求項７の３次元計測装置において、
上記距離算出部が、上記周囲画素を参照し、その周囲画素のうちの複数画素における距離値を用いて上記特定画素における撮影距離を算出するものであることを特徴とする。

請求項９に係る３次元計測装置は、請求項１の３次元計測装置において、
上記探索部が、撮影距離の測定に失敗したことを表す失敗値を距離値として有する画素を上記特定画素として探索するものであることを特徴とする。

請求項１０に係る３次元計測プログラムは、
情報処理装置に組み込まれ、その情報処理装置を、
撮影画角内の各位置における撮影距離を表した距離値がその各位置の画素に付与された距離画像を作成する撮影装置からその距離画像を取得する画像取得部と、
上記距離画像中で、撮影距離の値が、予め決められた特定値となっている特定画素を探索する特定画素探索部と、
上記特定画素の両側に位置する画素が有する撮影距離の値を参照してその特定画素における撮影距離を算出する距離算出部と、
を備えた３次元計測装置として動作させることを特徴とする。

請求項１１に係る３次元計測システムは、
撮影画角内の各位置における撮影距離を表した距離値がその各位置の画素に付与された距離画像を作成する撮影装置と、
上記撮影装置から上記距離画像を取得する画像取得部と、
上記距離画像中で、撮影距離の値が、予め決められた特定値となっている特定画素を探索する特定画素探索部と、
上記特定画素の両側に位置する画素が有する撮影距離の値を参照してその特定画素における撮影距離を算出する距離算出部と、
を備えたことを特徴とする。

請求項１に係る３次元計測装置、請求項１０に係る３次元計測プログラム、および請求項１１に係る３次元計測システムによれば、距離画像の作成時に１部材のマーカが用いられた場合であってもその距離画像からマーカの位置を得ることができる。

請求項２に係る３次元計測装置によれば、特定の被写体に付されたマーカ以外で特定値を示している画素を排除することができる。

請求項３に係る３次元計測装置によれば、対象領域外の画素の距離値も用いる場合に較べて特定画素における撮影距離の算出精度が高い。

請求項４に係る３次元計測装置によれば、上記距離範囲を用いない場合に較べて容易に対象領域を決定することができる。

請求項５に係る３次元計測装置によれば、他の撮影画像を用いない場合に較べて容易に対象領域を決定することができる。

請求項６に係る３次元計測装置によれば、輪郭の解析以外の解析を用いる場合に較べて容易に対象領域を決定することができる。

請求項７に係る３次元計測装置によれば、周囲画素を参照しない場合に較べて特定画素の撮影距離を高精度に算出することができる。

請求項８に係る３次元計測装置によれば、周囲画素のうちの１画素だけを用いる場合に較べて特定画素の撮影距離を高精度に算出することができる。

請求項９に係る３次元計測装置によれば、失敗値以外の値を有する特定画素を探索する場合に較べてマーカの位置の特定が容易である。

本発明の３次元計測システムの一実施形態を表す概略構成図である。 ３次元計測システムにおける機能的な構造を表した機能ブロック図である。 ３次元計測システムにおける３次元計測の手順を示すフローチャートである。 ３次元計測に際して得られる各種データのイメージを示す図である。 撮影距離の算出方法を示す図である。 マーカの形状の例を示す図である。 本発明の３次元計測システムの別実施形態を表す概略構成図である。 別実施形態における３次元計測システムの機能的な構造を表した機能ブロック図である。

本発明の実施形態について、以下図面を参照して説明する。

図１は、本発明の３次元計測システムの一実施形態を表す概略構成図である。

図１に示す３次元計測システム１は、例えば人物のような計測対象の被写体Ｈ（以下このような被写体のことを「対象被写体」と称する。）について３次元的な位置計測を行うシステムである。対象被写体Ｈの部位のうち、関節部分などのように特に位置の特定が望まれる部位については、後で詳述するマーカＭが付されているものとする。このような３次元計測システム１は、例えば工場などの作業現場における作業者の位置や動きをモニタして安全管理などを行うために利用される。

３次元計測システム１は、照射装置１１と撮像装置１２とを有する光学装置部１０と、光学装置部１０の制御や、光学装置部１０によって得られたデータの解析などを行う制御計算部２０とを備えている。

照射装置１１は、対象被写体Ｈが存在する空間全体に対して光（ここでは一例として赤外線）を照射する。そして、撮像装置１２は、対象被写体Ｈやその他の被写体から反射されて戻ってきた光を、照射装置１１からやや離れた位置で受光して撮影画角内について撮像する。撮像装置１２は、この撮像に際し、撮影画角内の各点について、例えばいわゆるＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式で撮像装置から被写体への距離を示す撮影距離を得て、各画素に撮影距離の値である距離値が付与された距離画像を作成する。距離画像の作成方法としては、ＴｏＦ方式以外にも視差方式やドットパターン投影方式などが採用されてもよいが、本実施形態ではＴｏＦ方式が用いられるものとして説明を続ける。

制御計算部２０は、一例としてパーソナルコンピュータとプログラムによって実現されている。この制御計算部２０は、ＴｏＦ方式における照射装置１１と撮像装置１２との連携を制御すると共に、本発明の３次元計測装置の一実施形態として機能して、距離画像から、対象被写体Ｈに付されたマーカＭの３次元的な位置を算出する。

図２は、３次元計測システムにおける機能的な構造を表した機能ブロック図である。

上述したように、３次元計測システム１は、対象被写体ＨやマーカＭに対して照射装置１１からの光を照射する。

そして、対象被写体ＨやマーカＭが存在する撮影画角について撮像装置１２によって撮像が行われ、上述した距離画像が作成される。この距離画像の作成に当たり、上述した制御計算部２０が有する機能としての制御装置２１によってＴｏＦ方式の制御が実行される。

また、撮像装置１２によって作成された距離画像は、制御計算部２０が有する機能としての画像処理装置２２に取得され、撮影画角内に存在する対象被写体Ｈの領域が求められる。画像処理装置２２が、本発明にいう画像取得部と領域決定部とを合わせたものの一例に相当する。

さらに、制御計算部２０が有する機能としての距離計算装置２３では、対象被写体Ｈの領域内に存在するマーカＭが探索され、各マーカＭにおける撮像距離が算出される。距離計算装置２３が、本発明にいう探索部と距離算出部とを合わせたものの一例に相当する。

以下、３次元計測システム１における３次元計測の手順について説明する。

図３は、３次元計測システム１における３次元計測の手順を示すフローチャートである。図４は、３次元計測に際して得られる各種データのイメージを示す図である。

図３に示すフローチャートのステップＳ１０３〜ステップＳ１０７は、本発明の３次元計測プログラムの一例を表している。パーソナルコンピュータなどの情報処理装置が、この図３のステップＳ１０３〜ステップＳ１０７に示された動作を実行することにより、その情報処理装置は、本発明の３次元計測装置の一実施形態として動作することになる。

３次元計測システム１で３次元計測が開始されると、まず、ステップＳ１０１で、対象被写体ＨにＮ個のマーカＭが装着される。そして、ステップＳ１０２では、制御装置２１による制御の下で、照射装置１１による照射と撮像装置１２による撮像が行われて距離画像が作成される。

図４には、距離画像３０の一例が示されている。距離画像３０は、一般に、対象被写体Ｈの画像部分３１の他に、他の被写体の画像部分３２，３３を有している。

このような距離画像３０がステップＳ１０３で画像処理装置２２に取得され、画像処理装置２２は、距離画像３０から、対象被写体Ｈの画像部分３１に相当する画像領域３５を抽出する（図４参照）。このステップＳ１０３が、本発明にいう画像取得部および領域決定部の一例としての動作に相当する。画像領域３５の具体的な抽出方法としては、例えば、距離画像３０の各画素のうち、特定の距離範囲に属する距離値を有している画素の領域を、対象被写体Ｈの画像領域３５として抽出する抽出方法が用いられる。あるいは、画像処理装置２２は、例えば、各画素の距離値を輝度値のように用いた場合に輝度値が周辺の画素から比較的大きく変化する箇所を抽出するエッジ検出処理によって対象被写体Ｈの輪郭を求め、その輪郭で囲まれた領域を対象被写体Ｈの画像領域３５として抽出してもよい。このように輪郭が求められて対象被写体Ｈの画像領域が決定される場合には、単純に距離のみで境域が決定されるような場合に較べて対象被写体Ｈの画像領域が精度よく特定される。

このように対象被写体Ｈの画像領域３５が抽出されると、次にステップＳ１０４のループ処理に進み、以下説明するステップＳ１０５〜ステップＳ１０７の手順が、Ｎ個のマーカＭについて繰り返し実行される。

まず、ステップＳ１０５では、上述した距離計算装置２３が、抽出された画像領域３５内でマーカＭの箇所３６を探索する。対象被写体Ｈに付されたマーカＭとしては、例えば再帰性反射材で形成されたマーカＭが用いられている。このようなマーカＭは、上述した照射装置１１から照射された光の多くを照射装置１１側へと戻してしまって撮像装置１２側にはあまり反射しないという特性を有している。このため、撮像装置１２ではマーカＭの箇所からの反射光を受光することが難しく、距離測定値としてエラー値が付与されることになる。距離計算装置２３は、このようなエラー値が付与された画素の箇所を、マーカＭに対応した箇所３６として探索する。このステップＳ１０５が、本発明にいう探索部の一例としての動作に相当する。マーカＭの箇所３６の探索により、撮影の画角内におけるマーカＭの位置が特定される。

上述した探索方法がステップＳ１０５で用いられるため、対象被写体Ｈに付されるマーカＭとしては、上述した再帰性反射材で形成されたマーカＭの他に、例えば、照射装置１１からの照射光に対して特に反射率の低い物質で形成されたマーカＭなどであってもよい。

次に、距離計算装置２３では、このような探索で見つかったマーカＭの箇所３６について、ステップＳ１０６で、撮影距離算出のための距離値が取得され、ステップＳ１０７で、撮影距離が算出される。このステップＳ１０７が、本発明にいう距離算出部の一例としての動作に相当する。

図５は、撮影距離の算出方法を示す図である。

距離計算装置２３の探索で見つかるマーカＭの箇所３６は、例えば図５に示すような点状の箇所３６であり、拡大図には、例えば３掛け３の合計９画素からなる箇所３６が例示されている。このような箇所３６が、マーカＭと対応しており、この箇所３６に含まれている各画素の距離値はエラー値となっている。

距離計算装置２３では、例えば、このような箇所３６の中心に位置した画素３７（以下中心画素３７と称する。）がマーカＭの代表位置として選択され、撮影距離が算出される。なお、マーカＭに対応した箇所３６に含まれる全画素について撮影距離が算出されてもよいが、ここでは説明の便宜上、中心画素３７が撮影距離の算出箇所であるものとして説明を続ける。

距離計算装置２３は、撮影距離を算出するための元データとして、例えば、中心画素３７を上下左右に等距離で取り囲んだ周囲画素３８の距離値を取得する。図５では、４つの周囲画素３８に「１」、「２」、「３」、「４」の数値が示されているが、これは周囲画素３８を区別する数値であって、周囲画素３８に与えられた距離値ではない。

距離計算装置２３では、このような周囲画素３８のうち、対象被写体Ｈの画像領域３５内に位置した周囲画素３８の距離値が、中心画素３７の撮影距離を算出するための元データとして、図３のステップＳ１０６で取得される。但し、例えば、図４に示された４つの周囲画素３８のうち、数値「１」が付された周囲画素３８が対象被写体Ｈの画像領域３５外に位置しているとすると、このような画素の距離値はマーカＭの真の撮影距離とは大きく異なる距離値を有している可能性が高いので元データからは除外される。そして、図３のステップＳ１０７では、距離計算装置２３により、残りの３つの周囲画素３８における距離値が用いられて中心画素３７の撮影距離が算出される。このように、対象被写体Ｈの画像領域３５を外れた画素の距離値が除外されることで、撮影距離の算出精度が向上する。マーカＭの箇所３６を代表する中心画素３７における撮影距離が算出されたことにより、撮影画角内におけるマーカＭの箇所３６の位置決定と併せて、マーカＭの３次元的な位置が計測されたこととなる。

３つの周囲画素３８における距離値が用いられた撮影距離の具体的な算出方法としては、例えば３つの周囲画素３８における距離値の平均値が中心画素３７の撮影距離として算出される。このように周囲画素３８のうち複数の周囲画素３８における距離値が用いられることにより、マーカＭの真の撮影距離に近い撮影距離が算出されることになる。

撮影距離の別の具体的な算出方法としては、例えば、３つの周囲画素３８のうち、中心画素３７を挟んだ両側に位置する、数値「２」と数値「４」が付された２つの周囲画素３８における距離値の平均値が中心画素３７の撮影距離として算出されてもよい。中心画素３７を挟んだ両側の画素における距離値が用いられることにより、少ない画素の距離値からでも精度よく撮影距離が算出される。

このようなステップＳ１０５〜ステップＳ１０７の手順がマーカＭの数だけ繰り返されるか、あるいは、Ｎ個に達する前に、新たなマーカＭが見つからなくなると、ステップＳ１０４のループ処理が終了し、３次元計測の手順も終了する。

次に、マーカＭの形状について説明する。

図６は、マーカの形状の例を示す図である。

対象被写体に付けられるマーカは、距離画像の形成時にエラー値などの特定値を生じるような素材が用いられたものであればよいため、単純な１部材の構造によって実現される。従って、マーカ形状の自由度が高く、丸い形状のマーカＭ１や四角い形状のマーカＭ２や三角形状のマーカＭ３や星形のマーカＭ４や５角形状のマーカＭ５など、種々の形状のマーカが考えられる。更には、環状のマーカＭ６なども考えられる。このような環状のマーカＭ６は、手首や肘などに巻いて用いられることで、マーカが腕などに隠れてしまう事が回避される。

次に、上記実施形態とは異なる別実施形態について説明する。

図７は、本発明の３次元計測システムの別実施形態を表す概略構成図である。

図７に示す３次元計測システム１００は、光学装置部１１０と制御計算部１２０とを備えている。

光学装置部１１０は、照射装置１１１と第１撮像装置１１２と第２撮像装置１１３とを備えている。照射装置１１１および第１撮像装置１１２は、図１に示す照射装置１１および撮像装置１２と同様の装置であり、例えばＴｏＦ方式で距離画像を作成する。

第２撮像装置１１３は、例えば照射装置１１１の照射光の波長とは異なる波長の光（例えば可視光）で対象被写体Ｈを撮影し、例えばカラー画像などといった撮影画像を作成するものである。このように作成された撮影画像は、制御計算部１２０によって取得される。

図８は、別実施形態における３次元計測システム１００の機能的な構造を表した機能ブロック図である。

別実施形態における３次元計測システム１００も、対象被写体ＨやマーカＭに対して照射装置１１１からの光を照射する。そして、照射光と波長が同じ光による撮像が第１撮像装置１１２によって行われて距離画像が作成されるとともに、第２撮像装置１１３では、照射光とは異なる波長の光による撮像が行われて例えばカラー画像の撮影画像が作成される。

別実施形態における制御計算部１２０は、図２に示す制御計算部２０と同様に、機能として、制御装置２１と画像処理装置１２２と距離計算装置２３とを有している。

第１撮像装置１１２によって作成された距離画像は、別実施形態の場合には、制御計算部１２０が有する機能としての距離計算装置２３に取得される。この別実施形態では、この距離計算装置２３が、本発明にいう画像取得部の一例に相当する。

一方、第２撮像装置１１３によって作成された撮影画像は、制御計算部１２０が有する機能としての画像処理装置１２２に取得され、撮影画角内に存在する対象被写体Ｈの画像領域が撮影画像の画像解析によって求められる。この別実施形態では、画像処理装置１２２が、本発明にいう領域決定部の一例に相当する。

画像処理装置１２２で対象被写体Ｈの画像領域を決定する決定方法としては、例えばエッジ解析によって領域の輪郭を求める決定方法や、服や肌や髪の色解析による領域の決定方法など、任意の周知技術が採用されるものとする。距離画像とは異なる撮影画像の画像解析が用いられることで対象被写体Ｈの領域が精度よく求められる。

距離計算装置２３では、画像処理装置１２２で決定された対象被写体Ｈの画像領域と、第１撮像装置１１２から取得された距離画像とが用いられて、図３のステップＳ１０４（ステップＳ１０５〜ステップＳ１０７）における手順と同様の手順によって、各マーカの箇所における撮影距離が算出される。

１……３次元計測システム、Ｈ……対象被写体、Ｍ……マーカ、１０……光学装置部、
１１……照射装置、１２……撮像装置、２０……制御計算部、２１……制御装置、
２２……画像処理装置、２３……距離計算装置、３０……距離画像、３５……対象被写体Ｈの画像領域、３７……中心画素、３８……周囲画素

Claims (11)

1. 撮影画角内の各位置における撮影距離を表した距離値が該各位置の画素に付与された距離画像を作成する撮影装置から該距離画像を取得する画像取得部と、
   前記距離画像中で、距離値が、予め決められた特定値となっている特定画素を探索する探索部と、
   前記特定画素を間に挟んだ両側に位置する画素を参照して該特定画素における撮影距離を算出する距離算出部と、
   を備えたことを特徴とする３次元計測装置。
2. 前記距離画像中の被写体のうち、予め決められた対象被写体の写っている対象領域を決定する領域決定部を備え、
   前記探索部が、前記対象領域内で前記特定画素を探索するものであることを特徴とする請求項１に記載の３次元計測装置。
3. 前記距離算出部が、前記特定画素を間に挟んだ両側に位置する画素を参照し、その参照した画素のうち前記対象領域内に位置している画素における距離値を用いて該特定画素における撮影距離を算出するものであることを特徴とする請求項２に記載の３次元計測装置。
4. 前記領域決定部が、予め決められた距離範囲に含まれる距離値を有した画素の領域を前記対象領域として決定するものであることを特徴とする請求項２または３に記載の３次元計測装置。
5. 前記領域決定部が、前記対象被写体が撮影された他の撮影画像と前記距離画像とに基づいて前記対象領域を決定するものであることを特徴とする請求項２または３に記載の３次元計測装置。
6. 前記領域決定部が、前記対象被写体の輪郭を解析することによって前記対象領域を決定するものであることを特徴とする請求項２または３に記載の３次元計測装置。
7. 前記距離算出部が、前記特定画素の周囲に位置する３つ以上の周囲画素を参照して該特定画素における撮影距離を算出するものであることを特徴とする請求項１記載の３次元計測装置。
8. 前記距離算出部が、前記周囲画素を参照し、該周囲画素のうちの複数画素における距離値を用いて前記特定画素における撮影距離を算出するものであることを特徴とする請求項７記載の３次元計測装置。
9. 前記探索部が、撮影距離の測定に失敗したことを表す失敗値を距離値として有する画素を前記特定画素として探索するものであることを特徴とする請求項１記載の３次元計測装置。
10. 情報処理装置に組み込まれ、該情報処理装置を、
    撮影画角内の各位置における撮影距離を表した距離値が該各位置の画素に付与された距離画像を作成する撮影装置から該距離画像を取得する画像取得部と、
    前記距離画像中で、撮影距離の値が、予め決められた特定値となっている特定画素を探索する特定画素探索部と、
    前記特定画素の両側に位置する画素が有する撮影距離の値を参照して該特定画素における撮影距離を算出する距離算出部と、
    を備えた３次元計測装置として動作させることを特徴とする３次元計測プログラム。
11. 撮影画角内の各位置における撮影距離を表した距離値が該各位置の画素に付与された距離画像を作成する撮影装置と、
    前記撮影装置から前記距離画像を取得する画像取得部と、
    前記距離画像中で、撮影距離の値が、予め決められた特定値となっている特定画素を探索する特定画素探索部と、
    前記特定画素の両側に位置する画素が有する撮影距離の値を参照して該特定画素における撮影距離を算出する距離算出部と、
    を備えたことを特徴とする３次元計測システム。

Images