JP2016090504A

JP2016090504A - ３ｄモデル作成ネットワーク

Info

Publication number: JP2016090504A
Application number: JP2014228005A
Authority: JP
Inventors: 田中　健治; Kenji Tanaka; 健治田中
Original assignee: Innovation I Co Ltd
Current assignee: Innovation I Co Ltd
Priority date: 2014-11-10
Filing date: 2014-11-10
Publication date: 2016-05-23

Abstract

【課題】少ない費用で立体物の３Ｄモデリングを行う３Ｄモデル作成ネットワークの提供。【解決手段】３Ｄ撮影室において、被写体に対しその周囲に水平面で９０度の角度で４台の昇降装置Ａ，Ｂ，Ｃ，Ｄを交差配置し、各昇降装置の配置位置で被写体の上部及び下部を撮影して被写体の３Ｄ形状データを撮影し、各３Ｄスキャナで取得した形状データの送信を、これを演算編成するＰＣで受け、ＰＣ内のソフトウエアで３Ｄスキャナからの３Ｄ形状データから３次元点群データを獲得し、複数視点からの３次元点群データの位置あわせを行い、取得した３次元点群データのメッシュ化を行って３Ｄモデルのデータを作成する。この３Ｄ形状のデータを、データ処理業者で補正処理し、最終業者が３Ｄプリンタ等を用いて３Ｄモデルを作成する。【選択図】図７

Description

本発明は少ない費用で立体物の３Ｄモデリングを行う３Ｄモデル作成ネットワークに関する。

３Ｄモデリングデータは、たとえばネット販売において、商品のプレビューに実物の３Ｄモデルを表示することができ、消費者は正確な形状を理解することが容易となり、販売の促進に役立つ。また、従来七五三や結婚式の記念としては２次元の写真が主であったが、実物の３Ｄモデルを記念として作成することが可能となる。このように、３Ｄデータの利用価値は高い。さらに従来においては、オーダーメイドの衣服を作成する場合、店員が客の体の寸法を測定し、それに基づいて、型紙を作成・修正して、衣服を作成していた。ここで、顧客（被写体）の体型を測定するに当たっては、店員がバスト等をメジャーで直接に測定していた。しかしながら、メジャーでの正確な測定には熟練が必要であること、測る人によって差があること、顧客によっては他人に触れられることを嫌がる人がいることなどの問題がある。他方、３Ｄスキャナ（「３次元スキャナシステム」ともいう）によって顧客の体型を測定すれば、顧客の体型を正確に測定することができる。しかしながら、３Ｄスキャナシステムは１千万円程度し、各店舗毎に設置することは困難であるという不具合があった。また３Ｄスキャナシステムで計測すると、その計測データの、計測器から影になる部分に穴ができたり、境界部分が崩れてしまうといった不具合があった。そこで、３Ｄスキャナシステムを各店舗毎に設置しなくても顧客の体型に即した顧客３Ｄボディデータを安価にかつ簡単に得ることができるバーチャル３Ｄボディ作成システムが提案されている（特許文献１）。ところが、従来、３次元形状測定装置を利用する場合、複数台のカメラを四方八方に設置し、かかる複数台のカメラから測定された生データ（３次元スキャンデータ）を処理する方法（非特許文献１）、または被写体を回転台に載せ、固定されたカメラに対し被写体が３６０度回転させ、複数の視点から生データ（３次元スキャンデータ）を取得する方法（非特許文献２）が提案され、３Ｄモデルを作成しているが、それには専用のソフトウエアが必要であった。このソフトウエアは、３次元スキャンデータからパラメトリックソリッドモデルを生成するための専用ソフトウエアで、価格が高価で操作も高度である。

特開２００６−５９１４３号公報 http://♯dprinterlog.com/archives/26437366.htm1♯more http://internetcom.jp/wmnews/20140418/2.htm1

近年Kinectのような安価で高速な３次元入力装置が出現した。その成果の一つとしてKinectが出力する生データを処理するオープンソースソフトウエアＰＣＬ（Point Cloud Library）が開発され、フリーであるだけでなく、自由にアプリケーションに組み込んで利用することが可能であり、このKinectとＰＣＬを用いれば少ない費用で３次元形状を入力し、モデリングすることが可能となり、少ない費用で立体物のモデリングができることで、実物から３Ｄモデルを作成することが容易となることが予測される。しかしながら、如何にKinectとＰＣＬを用いれば少ない費用で３次元形状を入力し、モデリングすることが可能となると言っても、これらを使いこなすのは町のカメラ屋さんでは困難であり、町のカメラ屋さんでも少ない費用で立体物のモデリングができ、各種３Ｄモデルデータを、例えば記念品としてこれまでの２次元写真に代えて、実物から３Ｄモデルを作成することが容易な、３Ｄモデル作成ネットワークを提供することを課題とする。

本発明者は鋭意検討の結果、上記課題を実現する手段として、３Ｄ撮影室において、被写体に対しその周囲に水平面で１２０度間隔で３台の昇降装置２０Ａ，２０Ｂ，２０Ｃまたは９０度の角度で４台の昇降装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄが交差配置され、該昇降装置に各一台の３Ｄスキャナ１０を配備して少なくとも各昇降装置の配置位置Ａ，Ｂ，ＣまたはＡ，Ｂ，Ｃ，Ｄで被写体の上部及び下部を撮影して被写体の３Ｄ形状データを撮影する手段と、各３Ｄスキャナで取得した形状データの送信を、これを演算編成するＰＣで受け、該ＰＣ内のソフトウエアで３Ｄスキャナからの３Ｄ形状データから３次元点群データを獲得し、複数視点からの３次元点群データの位置あわせを行い、取得した３次元点群データのメッシュ化を行ってパラメトリックソリッドモデルのデータを作成して保存するＰＣ３０と、該ＰＣから所定の場所の３Ｄプリンタまたは３Ｄモデル表示装置に送信して保存したモデルのデータに基づいて３Ｄプリンタ等で３Ｄモデルのフィギャ作成または採寸する手段とを備え、これをネットワークで接続してなることを特徴とする３Ｄモデル作成ネットワークを提供する。

本発明によれば、町のカメラ屋さんでも３Ｄモデルのフィギャ作成が容易であり、オーダメイド屋さんは町のカメラ屋さんを窓口としてバーチャル画像を用いて商談が可能となる。本発明においては、図１に示すように、３Ｄスキャナーを用い、図２Ａに示すように、この３Ｄスキャナを、左右視野角度を考慮して被写体に対し水平面でＡ，Ｂ，Ｃの周囲に少なくとも３台以上所定の角度間隔をおいて配置するとともに、図２Ｂに示すように、被写体の縦方向高さとカメラの上下方向視野角度を考慮して一定の高さ位置で、少なくとも上部及び下部で撮影するので、町のカメラ屋さんでもフィギャ作成に必要なデータを被写体に対する死角をなくした形状入力を得ることができる。さらに、水平面では９０度間隔で４台配置とするのが死角をなくする意味でより好ましいことが判明した。したがって、これを、編成すると、少なくとも３×２、合計６個以上のスキャンデータで３Ｄモデリングを行うに十分なデータを編成することができた。

本発明においては、町の写真屋さんに本発明の昇降装置を所定場所に設置し、その被写体の周囲から３Ｄスキャナで複数の視点から撮影し、ＰＣＬでの統合した点群データ処理を行い、画像表示して確認し、ネットワークを通して処理業者に送信すれば、ＰＣＬで処理されていない部分を補正することができ、この３Ｄモデリングデータを所定の場所の３Ｄプリンタに送信すれば、少ない費用で立体物のモデリングができ、記念品としてこれまでの２次元写真に代えて、実物から３Ｄモデルを作成することができる。

また、東京のオーダメイドの洋服屋さんへの注文にあたり、遠くから東京まで出かけなくとも居住地の町のカメラ屋さんで、本発明の３Ｄスキャナにより３Ｄ形状を撮影し、それを点群データ処理して、専門処理業者にネットワークを通して送信し、３Ｄモデリング用のデータを補正して編成してもらい、この３Ｄモデリングデータを東京の所定の場所のオーダメイド洋服屋さんに送信すれば、洋服屋さんで３Ｄモデリングデータから必要な採寸を行うことができる。また、その３Ｄモデルにバーチャルで試着させることができ、オーダーの洋服をバーチャルで顧客に見せることができるので、遠く離れた顧客とバーチャルな３Ｄ画像を見せながら、商談することが可能となる。

通常、町のカメラ屋には背景となるスクリーンが設置されているので、３Ｄスキャナを昇降させる昇降装置は、図４に示すように、被写体に対し水平面で９０度の角度で交差配置される４台の昇降装置Ａ，Ｂ，Ｃ，Ｄを正面から左右いずれかに斜め４５度にずれて、Ａ，Ｂ２台、背面から左右斜め４５度ずれてＣ，Ｄ２台に配置するのが好ましい。

被写体がウエディングドレスで着飾った花嫁である場合は、図５に示すように、被写体周囲の４方向だけでなく、後方水平方向に延びる立体物であるから、昇降装置を背面から斜め４５度に配置した昇降装置Ｃ，Ｄの後方に各１台Ｅ，Ｆを配置するのが好ましい。

今回開発された３ＤスキャナのＫｉｎｅｃｔの正面を示す写真。被写体周囲に対し水平面で１２０度間隔で配置される３Ｄスキャナ３台の配置の平面図。３Ｄスキャナの昇降装置の側面図。３Ｄスキャナの昇降装置の平面図。３Ｄスキャナの昇降装置の空気回路図。３Ｄスキャナの昇降装置の電気回路図。被写体周囲に対し水平面で正面から４５度斜めにずらして配置される３Ｄスキャナ４台の配置図。被写体周囲に対し水平面で正面から４５度斜めにずらして配置される３Ｄスキャナ４台と後方に２台の合計６台の配置図。Ａは昇降装置に乗せたKINECTで対象物を撮影したデータを処理するプロブラムを示す。Ｂは撮影した３ＤデータをＰＣＬにより統合処理するプログラムを示す。Ｃは４台の３Ｄスキャナからのデータを１台のＰＣで処理して上下スキャナデータを統合し、被写体の立体像を合成する模式図を示す。本発明の３Ｄモデル作成ネットワークを利用するビジネスモデル図である。

３次元スキャナで被写体の立体形状の生データを入力してからメカニカルＣＡＤで加工可能な完全な３Ｄモデルを生成するまでのプロセスは、一般に１．３Ｄスキャナによる形状入力、２．３次元点群データの獲得、３．複数視点からの３次元点群データの位置あわせ、４．取得した３次元点群データのメッシュ化、５．パラメトリックソリッドモデルの作成の手順により作成される。

３ＤスキャナとしてKinectを使用すると、カラー画像とデプス画像とから３次元点群データを獲得することができる。このとき実空間での水平垂直位置を三角関数によって求める。また、カラー画像とデプス画像の取得範囲が違うために３次元点群データはデプス画像とカラー画像の取得範囲が被さっている部分のみを取得する。３次元点群処理では例えば、ＰＣＬを使用する。ここでは、はずれ値フイルタリングでノイズを除去し、ボクセルグリッドフィルタリングでデータ数を低減し、ダウンサンプリングを行うことでその後の処理を高速化する。次にフィルタリングを行った３次元点群データを用意し、位置あわせを行った後、例えば、SAC-IAによって初期位置合わせを行うことで対応する点の距離を近づけ、ICPアルゴリズムにより高精度な位置合わせを行う。以下、KinectとPCLを用い、複数視点から見た３次元点群データを取得して統合を行う。

1.３Ｄスキャナによる形状入力
非接触型３次元測定装置としてKinectが利用される。Kinectは図１に示すように、マイクとともに、ＲＧＢカメラ１１と深度センサ１２を有する３Ｄスキャナー１０であって、マイクロソフトが製品化したものである。Kinectで取得したカラー画像とデプス画像を整列させ、３次元点群データに変換する。立体物の形状を取得したデプス画像を実空間での３次元座標に変換するとともにデプス画像とカラー画像を統合させる。

図２Aは被写体１００の周囲に対し水平面で１２０度間隔の位置Ａ、Ｂ、Ｃに配置される３Ｄスキャナ１０の昇降装置２０を３台の配置する平面図で、各昇降装置２０は図２Bに示すように、上下に延びるエアーシリンダはマグネット式のロッドレスシリンダ２１を基礎台２２に取付金具２３を介して起立して取り付けられ、シリンダ内にエアー圧で上下に昇降する図示しない磁石ロッドが内蔵され、エアーシリンダ２１の外筒に内部の磁石ロッドの昇降動作に伴って昇降するボディ２４が取り付けられ、それに連結する載置台２５が昇降可能になっているエア駆動形式であって、軽量小型で操作安定性に優れる。図２Ｃは３Ｄスキャナの昇降装置の平面図を示す。

昇降装置の空気回路は図３に示すように、ポンプ１０１のモータＭの駆動を図３Ｂに示す電気回路で操作する。ポンプ１０１の駆動による空気はカプラ１０２を介してフィルタレギュレータ１０３に送られ、ニップル１０４を介してソレノイドバルブ１０５に送られる。ソレノイドバルブ１０５にはサイレンサ付き排気絞り弁１０６が設けられ、送気及び排気の流路が決められる。ソレノイドバルブ１０５で空気の送気、排気方向が決められると、ロッドレスシリンダ１０７の送気、排気がエキゾーストコントローラ１０８によって選択され、ロッドレスシリンダ２１をボディ２４が昇降するようになっており、図２Ｂに
示すように、３Ｄスキャナ１０を載せる昇降台２５が昇降する。

２．デプス画像から３次元点群データへの変換
Kinectの深度センサーの出力は画像データ、すなわちデプス画像である。Kinectのデプス画像は６４０×４８０画素で、各画素は１３ビットの精度を有する。画素の数値は深度センサから被写体表面までの奥行きをｍｍ単位で表したものである。画像データの各画素は被写体上の１点に対応している。したがって、深度センサを中心とする３次元座標系において水平方向（Ｘ軸）、垂直方向（Ｙ軸）、奥行き方向（Ｚ軸）の座標値を計算する。この中で画素の数値はＺ軸の値に相当する。Ｘ軸、Ｙ軸の座標値は、画像座標と深度センサの視野角および奥行き（Ｚ値）から求める。Kinectの深度センサから得られるのは被写体からセンサまでの奥行きである。センサから被写体までの水平垂直位置は画素単位で取得する。画素単位の座標とKinectの視野角、距離から、三角関数を用い水平垂直位置の実寸を求める。

３．カラー画像とデプス画像の整列
図１はKinectに示すように、RGBカメラ１１と深度センサ１２の搭載位置がずれているため、視差による取得データにずれを生ずる。よって、対応する座標位置を合わせる必要がある。

以上の、複数の３次元点群データの取得を図６Aに示すKinectを用いるステップで行い、これらの複数の点群データの統合を図６Bに示すＰＣＬのステップによって行う。図６Cは被写体が人物である場合の上部撮像データと下部撮像データの統合と重なり部分の処理を示している。

ついで、ＰＣＬによる３次元点群データの処理について説明する。
図６ＢにおけるPCL による 3 次元点群データの処理は次の処理を行う。
PCLとはPoint Cloud Library の略であり、3次元点群データを扱うことのできるソフトウェアである。Kinectによって取得したデータを PCL にて処理するが、取得データを pcd 形式に変換して PCL で扱う。
2. はずれ値フィルタ
一定以上の誤差を保持する点の除去を行うことをいう。
3. ボクセルグリッドフィルタ
点群の密度を下げてもよい場合にはフィルタリングを行う。
4. 初期位置合わせ
Kinect による一回測定で得られる3次元データは、測定対象物の一部分の形状を現しているに過ぎない。立体物の完全な 3 次元データを取得するためには複数の視点から取得した3次元点群データを一つに統合する必要がある。ただ、複数の点群データをそれぞれ独立に取得した場合、それらの位置関係を知ることができない。そのため、位置合わせを下記のような順序で行う。
（１） SAC-IA (Sample Consensus Initial Alignment) によって初期の位置合わせ
※SAC-IA 位置合わせを行う2つの3次元点群データから、それぞれ複数の特徴点を抽出する。一方の点群データをターゲット、他方をインプットとして特徴点間でランダムに対応付けし、対応付けた特徴点間がもっとも近づくように座標変換を行う。この誤差の低い座標変換を採用して大まかな位置を合わせることができる。まず、特徴点を抽出するために FPFH (Fast Point Feature Histogram) で特徴点を求める。さらにFPFH の実施に法線ベクトルが必要となるため、位置合わせは下記のような順序で行われる。法線ベクトル推定−＞特徴点抽出−＞SAC-IAの実行−＞ICPアルゴリズムの実行
（２） ICPアルゴリズムを用いた高精度の位置合わせ
※ICP アルゴリズム 3次元点群データ間の位置合わせを行う手法で、下記の 6 つのステップで実行される。
・位置合わせを行う2つの点群データのうち一方から点を選択する。
・選択した点と他方の点との対応を求める。
・対応した点の組に重みをつける。
・不要な点の対応を除外する。
・誤差量を求める。
・誤差量を最小にする。
ICPアルゴリズムでは、対応させる点を間違えた場合、正しく収束しない。したがって、初期位置合わせが重要である。位置合わせを行った後、2つの3次元点群データを合成して一つにするが、このときデータが膨大になることを防ぐため、再びボクセルグリッドフィルタリングを行う。これを繰り返し実施して、複数の視点から見た3次元点群データを合成する。

本発明においては、町の写真屋さんで３Ｄスキャナで被写体の形状入力を取得し、写真屋さんでＰＣＬ処理により３Ｄモデルデータを作成し、画面表示して確認し、このデータをデータ処理業者ＰＣに送信して、ＰＣＬ処理により処理しきれていない部分を手作業で補正し、３Ｄモデルデータを修正してもらう。その３Ｄモデルデータを送信してオーダメイドの洋服屋、記念品作成業者、などの３Ｄモデル利用業者に提供されるようにネットワークが組まれる。

具体的には図７に示すように、一般利用者は写真スタジオに行って(1)身体データを撮影する、(2)Kinectによる身体データの撮影を行い、(3)PCLによるデータの統合処理をし、(4)データ暗号化処理を行い、(5)データ圧縮処理を行った後、３Ｄデータ処理業者に(6)身体３Ｄデータの送信を行い、そこで(7)３Ｄデータの補正処理を行い、そして(8)各サービスに応じたデータ加工処理を行い、それを(9)３Ｄプリント出力サービス業者に送信して３Ｄプリンタによりフィギャ作成をしたり、(10)オーダメイド商品業者に送信して３Ｄデータから身体にあったオーダメイド商品の作成をしたり、(11)ゲーム開発業者に送信して３Ｄデータをゲームキャラクタに利用したゲーム開発をしたり、(12)コンピュータグラフィックス業者に送信して３Ｄデータを映像の登場人物などに利用することができる。したがって、町の写真屋さんの３Ｄ撮影室において、被写体に対しその周囲に水平面で９０度の角度で交差配置される４台の昇降装置Ａ，Ｂ，Ｃ，Ｄ（図４）を置き、該昇降装置２０に各一台の３Ｄスキャナ１０を配備して少なくとも各昇降装置の配置位置Ａ，Ｂ，Ｃ，Ｄで被写体の上部及び下部を撮影して被写体の３Ｄ形状データを撮影し、ＰＣＬで処理すると、専門業者がＰＣＬで処理しきれていない部分の補正を手作業で行い、補修するので、最終的に業者はこの３Ｄデータに基づいてフィギャ作成もしくはオーダメイド商品の作成に利用する。

１０３Ｄスキャナ
２０昇降装置
３０ＰＣ

Claims

３Ｄ撮影室において、被写体に対しその周囲に水平面で１２０度間隔で３台の昇降装置２０Ａ，２０Ｂ，２０Ｃまたは９０度の角度で４台の昇降装置２０Ａ，２０Ｂ，２０Ｃ，２０Ｄが交差配置され、該昇降装置に各一台の３Ｄスキャナ１０を配備して少なくとも各昇降装置の配置位置Ａ，Ｂ，ＣまたはＡ，Ｂ，Ｃ，Ｄで被写体の上部及び下部を撮影して被写体の３Ｄ形状データを撮影する手段と、各３Ｄスキャナで取得した形状データの送信を、これを演算編成するＰＣで受け、該ＰＣ内のソフトウエアで３Ｄスキャナからの３Ｄ形状データから３次元点群データを獲得し、複数視点からの３次元点群データの位置あわせを行い、取得した３次元点群データのメッシュ化を行ってパラメトリックソリッドモデルのデータを作成して保存するＰＣ３０と、該ＰＣから所定の場所の３Ｄプリンタまたは３Ｄモデル表示装置に送信して保存したモデルのデータに基づいて３Ｄプリンタ等で３Ｄモデルのフィギャ作成または採寸する手段とを備え、これをネットワークで接続してなることを特徴とする３Ｄモデル作成ネットワーク。