JP2023009953A - 分析装置、コミュニケーションシステム、分析方法、及びプログラム - Google Patents

分析装置、コミュニケーションシステム、分析方法、及びプログラム Download PDF

Info

Publication number
JP2023009953A
JP2023009953A JP2021113648A JP2021113648A JP2023009953A JP 2023009953 A JP2023009953 A JP 2023009953A JP 2021113648 A JP2021113648 A JP 2021113648A JP 2021113648 A JP2021113648 A JP 2021113648A JP 2023009953 A JP2023009953 A JP 2023009953A
Authority
JP
Japan
Prior art keywords
reference model
data
updating
vertices
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021113648A
Other languages
English (en)
Inventor
雅也 藤若
Masaya Fujiyoshi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2021113648A priority Critical patent/JP2023009953A/ja
Priority to US17/851,153 priority patent/US20230009413A1/en
Publication of JP2023009953A publication Critical patent/JP2023009953A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】センサ装置と表示デバイスとの間において転送されるデータ量を減少させることが可能な分析装置を提供すること。【解決手段】対象物の３次元形状を示す基準モデルを、基準モデルが生成されてから所定期間経過後の対象物をセンシングした結果を表す３次元センシングデータが示す３次元形状に変換するために用いる変換パラメータを算出する算出部１１と、変換パラメータ及び３次元センシングデータを用いて前記基準モデルを更新する更新部１２と、基準モデルを共有する端末装置へ、更新後の基準モデルの頂点及び更新前の基準モデルの頂点の差分データと、前記変換パラメータを有する更新後の前記基準モデルの代表点及び更新後の前記基準モデルの代表点の差分データと、変換パラメータとを送信する通信部１３と、を備える。【選択図】図１

Description

本開示は分析装置、コミュニケーションシステム、分析方法、及びプログラムに関する。
近年、現実空間と仮想空間とを融合させた高い臨場感のあるコミュニケーションとして、ｘＲコミュニケーションが広く用いられている。ｘＲコミュニケーションは、ＶＲ（Virtual Reality）コミュニケーション、ＡＲ（Augmented Reality）コミュニケーション、ＭＲ（Mixed Reality）コミュニケーションを含む。ｘＲコミュニケーションにおいては、ある空間Ａにおける３次元データを異なる空間Ｂへ転送し、空間Ｂにおいて空間Ａの状況を模擬的に再現する。例えば、空間Ａにおいて３Ｄ（３次元）カメラによって取得された３次元データが空間Ｂに転送され、転送された３次元データに基づく立体画像が空間ＢにおいてＡＲデバイスを用いて表示される。この時、空間Ａから空間Ｂへ転送される３次元データのデータ量を減少させることが求められている。
特許文献１には、サーバ装置とクライアント装置との間のシンクライアントシステムの構成が開示されている。特許文献１においては、サーバ装置が画像Ａをクライアント装置へ送信し、クライアント装置が画像Ａの位置を移動させ画像Ｂを表示する等の操作を行った場合に、サーバ装置は、クライアント装置から操作情報を受信する。サーバ装置は、画像Ａから画像Ｂまでの差分画像生成し、差分画像をクライアント装置へ送信する。クライアント装置は、画像Ａ及び差分画像を用いて動画を再生する。これにより、サーバ装置は、画像Ａから画像Ｂに至るまでの全ての画像をクライアント装置へ送信する必要が無いため、サーバ装置とクライアント装置との間のデータ量を減少させることができる。
特開２０１２－１９５６２９号公報
しかし、特許文献１においては、サーバ装置は、画像Ａから画像Ｂへの変化を示す画像データを送信することになるため、ｘＲコミュニケーションように臨場感のあるコミュニケーションを行う場合には、頻繁にデータ転送が行われる。そのため、ｘＲコミュニケーションを考慮すると、さらに装置間において転送されるデータ量を減少することが求められる。
本開示の目的の一つは、センサ装置と表示デバイスとの間において転送されるデータ量を減少させることが可能な分析装置、コミュニケーションシステム、分析方法、及びプログラムを提供することにある。
本開示の第１の態様にかかる分析装置は、対象物の３次元形状を示す基準モデルを、前記基準モデルが生成されてから所定期間経過後の前記対象物をセンシングした結果を表す３次元センシングデータが示す３次元形状に変換するために用いる、基準モデルの代表点の変換パラメータを算出する算出部と、前記変換パラメータ及び前記３次元センシングデータを用いて前記基準モデルを更新する更新部と、前記基準モデルを共有する端末装置へ、更新後の前記基準モデルの頂点と更新前の前記基準モデルの頂点の差分データと、更新後の前記基準モデルの代表点と更新前の前記基準モデルの代表点の差分データと、前記変換パラメータとを送信する通信部と、を備える。
本開示の第２の態様にかかるコミュニケーションシステムは、対象物の３次元形状を示す基準モデルを、前記基準モデルが生成されてから所定期間経過後の前記対象物をセンシングした結果を表す３次元センシングデータが示す３次元形状に変換するために用いる、基準モデルの代表点の変換パラメータを算出する算出部と、前記変換パラメータ及び前記３次元センシングデータを用いて前記基準モデルを更新する更新部と、を有する分析装置と、更新後の前記基準モデルの頂点及び更新前の前記基準モデルの頂点の差分データと、更新後の前記基準モデルの代表点及び更新前の前記基準モデルの代表点の差分データと、前記変換パラメータとを受信する通信部と、前記差分データを用いて前記基準モデルを更新し、前記基準モデルに対して前記変換パラメータを適用して、前記対象物の３次元形状を生成する生成部と、を有するユーザ端末と、を備える。
本開示の第３の態様にかかる分析方法は、対象物の３次元形状を示す基準モデルを、前記基準モデルが生成されてから所定期間経過後の前記対象物をセンシングした結果を表す３次元センシングデータが示す３次元形状に変換するために用いる、基準モデルの代表点の変換パラメータを算出し、前記変換パラメータ及び前記３次元センシングデータを用いて前記基準モデルを更新し、前記基準モデルを共有する端末装置へ、更新後の前記基準モデルの頂点及び更新前の前記基準モデルの頂点の差分データと、前記変換パラメータとを送信する。
本開示の第４の態様にかかるプログラムは、対象物の３次元形状を示す基準モデルを、前記基準モデルが生成されてから所定期間経過後の前記対象物をセンシングした３次元センシングデータが示す３次元形状に変換するために用いる、基準モデルの代表点の変換パラメータを算出し、前記変換パラメータ及び前記３次元センシングデータを用いて前記基準モデルを更新し、前記基準モデルを共有する端末装置へ、更新後の前記基準モデルの頂点と更新前の前記基準モデルの頂点の差分データと、更新後の前記基準モデルの代表点と更新前の前記基準モデルの代表点の差分データと、前記変換パラメータとを送信することをコンピュータに実行させる。
本開示により、センサ装置と表示デバイスとの間において転送されるデータ量を減少させることが可能な分析装置、コミュニケーションシステム、分析方法、及びプログラムを提供することができる。
実施の形態１にかかる分析装置の構成図である。 実施の形態２にかかるＡＲコミュニケーションシステムの構成図である。 実施の形態２にかかる分析装置の構成図である。 実施の形態２にかかる変換パラメータの算出例を説明する図である。 実施の形態２にかかる非剛体変換を説明する図である。 実施の形態２にかかる基準モデルの更新を示す図である。 実施の形態２にかかるユーザ端末の構成図である。 実施の形態２にかかる分析装置における基準モデルの更新処理の流れを示す図である。 実施の形態２にかかるユーザ端末における基準モデルの更新処理の流れを示す図である。 それぞれの実施の形態にかかる分析装置及びユーザ端末の構成図である。
（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。図１を用いて実施の形態１にかかる分析装置１０の構成例について説明する。分析装置１０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。例えば、分析装置１０は、サーバ装置であってもよい。
分析装置１０は、算出部１１、更新部１２、及び通信部１３を有している。算出部１１、更新部１２、及び通信部１３は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、算出部１１、更新部１２、及び通信部１３は、回路もしくはチップ等のハードウェアであってもよい。
算出部１１は、３次元形状を示す基準モデルを、基準モデルが生成されてから所定期間経過後の対象物をセンシングした結果を表す３次元センシングデータが示す３次元形状に変換するために用いる、基準モデルの代表点の変換パラメータを算出する。３次元形状を示す基準モデルは、例えば、メッシュデータ、メッシュモデル、もしくはポリゴンデータであってもよく、３次元データと称されてもよい。基準モデルは、例えば、対象物をセンシングした３次元センシングデータを用いて生成されてもよい。センシングとは、例えば、カメラを用いて対象物を撮像することであってもよく、３次元センシングデータは、撮像データであってもよい。撮像データは、例えば、カメラから対象物までの距離データ及び２次元画像データを有する３次元点群データであってもよい。２次元画像データは、例えば、ＲＧＢ（Red Green Blue）画像データであってもよい。
対象物は時間の経過とともに移動もしくは動作する。そのため、基準モデルが生成されてから所定期間経過後の対象物の３次元センシングデータが示す３次元形状は、基準モデルが示す３次元形状とは異なる。変換パラメータは、基準モデルの一部の頂点（代表点）の回転量もしくは平行移動量等を定めるパラメータであってもよい。
更新部１２は、変換パラメータ及び所定期間経過後の対象物に関する３次元センシングデータを用いて、基準モデルを更新する。基準モデルは、更新を繰り返すごとに、基準モデルの形状を示す情報が増加し、対象物を示す精度が向上する。基準モデルの形状を示す情報は、例えば、基準モデルの頂点の数、頂点によって形成される平面等であってもよい。対象物を示す精度が向上するとは、更新を繰り返すごとに基準モデルがより正確に対象物の３次元形状を表すことであってもよい。
更新部１２は、例えば、変換パラメータ及び所定期間経過後の対象物に関する３次元センシングデータを用いて、基準モデルが示す３次元形状を推定する。更新部１２は、例えば、推定した３次元形状を用いて基準モデルを更新する。
通信部１３は、基準モデルを共用する端末装置へ、更新後の基準モデルの頂点及び更新前の基準モデルの頂点の差分データと、変換パラメータとを送信する。
端末装置は、遠隔地に存在する対象物を表示する装置である。例えば、端末装置は、ＡＲデバイス、ＶＲデバイス、ＭＲデバイス等であってもよい。
端末装置は、分析装置１０と同一の基準モデルを有する。そのため、端末装置は、変換パラメータを受信して、基準モデルに対して変換パラメータを適用することによって、所定期間経過後の対象物の３次元形状を示す３次元データを生成することができる。さらに、端末装置は、更新後の基準モデルの頂点及び更新前の基準モデルの頂点の差分データを用いることによって基準モデルを更新する。これにより、端末装置は、分析装置１０と同様に対象物を示す基準モデルの精度を向上させる。
以上説明したように、遠隔地に存在する対象物を表示する端末装置に対して、分析装置１０は、画像や点群の頂点全てを送信することなく、変換パラメータ及び頂点の差分データを送信する。端末装置は、頂点の差分データ及び代表点の差分データを用いることによって、分析装置１０と同様に基準モデルを更新することができる。さらに、端末装置は、変換パラメータを用いることによって、基準モデルが生成されてから所定期間経過後の対象物の３次元形状を示す３次元データを生成することができる。分析装置１０は、画像データよりもデータ量がすくない変換パラメータ及び差分データを送信する。そのため、分析装置１０は、画像データや点群の頂点全てを送信する場合と比較して、分析装置１０と端末装置との間において転送されるデータ量を減少させることができる。
（実施の形態２）
続いて、図２を用いて実施の形態２にかかるＡＲコミュニケーションシステムの構成例について説明する。図２のＡＲコミュニケーションシステムは、分析装置２０、カメラ３０～３３、アクセスポイント装置４０、及びユーザ端末５０を有している。分析装置２０は、図１の分析装置１０に対応する。図２においては、４台のカメラを含むＡＲコミュニケーションシステムの構成例を示しているが、カメラの台数は４台に制限されない。
カメラ３０～３３は、３Ｄセンサの具体例であり、カメラの代わりに対象物の３次元データを取得する他の装置が用いられてもよい。カメラ３０～３３は、例えば、３Ｄカメラであり、対象物の点群データを生成する。点群データは、画像内の位置及びカメラから対象物までの距離に関する値を有する。点群データが示す画像は、カメラから対象物までの距離を示す画像であり、深度画像もしくは深度マップ等と称されてもよい。カメラ３０～３３は、対象物を撮影し、ネットワークを介して撮影データである点群データを分析装置２０へ送信する。カメラ３０～３３は、それぞれが時間的に同期して対象物を撮影しているとする。
分析装置２０は、カメラ３０～３３から点群データを受信し、ユーザ端末５０に対象物を表示させるために必要な分析データを生成する。分析データには、変換パラメータ及び差分データ等が含まれる。
アクセスポイント装置４０は、例えば、無線ＬＡＮ（Local Area Network）通信をサポートする通信装置であり、無線ＬＡＮ親機と称されてもよい。ユーザ端末５０は、例えば、ｘＲデバイスであってもよく、具体的には、ＡＲデバイスであってもよい。これに対して、アクセスポイント装置４０と無線ＬＡＮ通信を行うユーザ端末５０は、無線ＬＡＮ子機と称されてもよい。
ユーザ端末５０は、アクセスポイント装置４０と無線ＬＡＮ通信を行い、アクセスポイント装置４０を介して、分析装置２０において生成された分析データを受信する。なお、ユーザ端末５０は、無線ＬＡＮ通信を行わず、モバイルネットワークを介して分析装置２０から分析データを受信してもよく、光ネットワーク等の固定通信ネットワークを介して分析装置２０から分析データを受信してもよい。
続いて、図３を用いて分析装置２０の構成例について説明する。分析装置２０は、パラメータ算出部２１、３Ｄモデル更新部２２、通信部２３、パラメータ管理部２４、及び３Ｄモデル管理部２５を有している。パラメータ算出部２１、３Ｄモデル更新部２２、通信部２３、パラメータ管理部２４、及び３Ｄモデル管理部２５は、プログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、パラメータ算出部２１、３Ｄモデル更新部２２、通信部２３、パラメータ管理部２４、及び３Ｄモデル管理部２５は、回路もしくはチップ等のハードウェアであってもよい。パラメータ算出部２１は、図１の算出部１１に対応する。３Ｄモデル更新部２２は、図１の更新部１２に対応する。通信部２３は、図１の通信部１３に対応する。
通信部２３は、カメラ３０～３３から対象物を含む点群データを受信する。通信部２３は、受信した点群データを３Ｄモデル更新部２２へ出力する。３Ｄモデル更新部２２は、これまでに対象物に関する基準モデルを作成していない場合、基準モデルを作成する。例えば、３Ｄモデル更新部２２は、各カメラから受信した各点群データを合成し、対象物を含む点群データを生成する。点群データを合成するとは、点群データを統合すると言い換えられてもよく、例えば、ＩＣＰ（Iterative Closet Point）、もしくは、姿勢推定処理等が利用されてもよい。姿勢推定処理には、例えば、PnP（パースペクティブnポイント）ソルバーが利用されてもよい。さらに、３Ｄモデル更新部２２は、点群データから対象物の基準モデルを生成する。基準モデルは、点群とその一部の変換パラメータを有する代表点から構成される。基準モデルを変換させることにより、新たな点群を得ることが可能となり、得られた点群からメッシュデータを生成することも可能となる。メッシュデータを生成することは、メッシュを構築すると言い換えられてもよい。メッシュデータは、点群データに含まれる点を頂点とし、各頂点を組み合わせた三角形面もしくは四角形面によって対象物の表面の立体的形状を示すデータである。
３Ｄモデル更新部２２は、基準モデルを３Ｄモデル管理部２５へ格納する。さらに、３Ｄモデル更新部２２は、通信部２３及びアクセスポイント装置４０を介して、ユーザ端末５０へ基準モデルに関するデータを送信する。基準モデルに関するデータは、頂点の位置及び変換パラメータを有する頂点を示すデータを含んでもよい。もしくは、ユーザ端末５０が、３Ｄモデル更新部２２と同様に点群データからメッシュデータを生成することができる場合、３Ｄモデル更新部２２は、各カメラにおいて生成された点群データを合成した点群データをユーザ端末５０へ送信してもよい。ユーザ端末５０が基準モデルを受信もしくは点群データから３Ｄモデル更新部２２と同様に基準モデルを生成することによって、分析装置２０及びユーザ端末５０は、同じ基準モデルを共有する。
３Ｄモデル更新部２２において基準モデルが生成された後に、通信部２３がカメラ３０～３３から点群データを受信した場合、パラメータ算出部２１は、基準モデル及び点群データを用いて変換パラメータを算出する。ここで、パラメータ算出部２１は、３Ｄモデル更新部２２と同様に、各カメラにおいて生成された点群データを合成した点群データを生成する。もしくは、パラメータ算出部２１は、３Ｄモデル更新部２２において各点群データが合成された場合に、３Ｄモデル更新部２２から合成後の点群データを受け取ってもよい。
パラメータ算出部２１は、３Ｄモデル管理部２５に格納されている基準モデルの頂点から代表点を抽出し、代表点を示す代表点データを生成する。パラメータ算出部２１は、基準モデルに含まれるすべての頂点からランダムに代表点を抽出してもよく、もしくは、対象物内に代表点が均等に配置されるように、k-means法を実行して代表点を抽出してもよい。
パラメータ算出部２１は、基準モデルの頂点を、基準モデル生成後に受信した対象物の点群データが示す３次元形状を示すように変換パラメータを算出する。変換パラメータは、代表点毎に算出される。代表点がｎ（ｎは１以上の整数）個存在する場合、変換パラメータは、変換パラメータＷｋと示される。ｋは、代表点を識別する値であり、１からｎの値をとりうる。すべての変換パラメータは、変換パラメータＷ＝［Ｗ１、Ｗ２、Ｗ３、・・・Ｗｎ］と示されてもよい。変換パラメータＷｋは、回転行列Ｒｋと、平行移動行列Ｔｋとを含み、Ｗｋ＝［Ｒｋ｜Ｔｋ］と示されてもよい。基準モデルの頂点を頂点ｖiとすると、変換後の頂点ｖ’iは、ｖ’i＝Σαｋ（ｖi）・Qｋ（ｖi）、Qｋ（ｖi）＝Ｒｋ・（ｖi － ｖk）＋ｖk＋Ｔｋと示されてもよい。「・」は掛け算を表す。ここでｖkは基準モデルの代表点を指し、αｋは代表点ｖkと頂点ｖiとの近さを計算する関数であり、総和が１となる、つまり、Σαｋ（ｖi）＝１となる。αｋ（ｖi）はｖiが代表点に近いほど大きい値となり、言い換えれば、代表点に近い変換がされることになる。このQｋ（ｖi）は、回転と並行移動を点に作用させる１例であり、他の回転と並行移動を作用させる式を用いてもよい。
ここで、パラメータ算出部２１における変換パラメータＷ＝［Ｗ１、Ｗ２、Ｗ３、・・・Ｗｎ］の算出例について説明する。図４の左図は、変換後の頂点ｖ’iを２次元画像上の座標（Ｃｘ、Ｃｙ）に投影したことを示している。２次元画像は、点群データを用いて示される画像のX-Y平面上の画像であってもよい。また、図４の右図は、基準モデル生成後に受信した点群データの２次元画像上の座標（Ｃｘ、Ｃｙ）に対応する３次元空間上の点Ｈiを示している。変換後の頂点ｖ’iの２次元画像上の座標（Ｃｘ、Ｃｙ）へ投影には、カメラの内部パラメータが利用され、カメラの２次元画像上の座標系と同一になるように行われる。変換後の頂点ｖ’iの距離データをｖ’i（Ｄ）とし、点Ｈｋの距離データをＨｋ（Ｄ）とする。パラメータ算出部２１は、Σ｜ｖ’i（Ｄ）－Ｈi（Ｄ）｜２が最小となるような変換パラメータＷ＝［Ｗ１、Ｗ２、Ｗ３、・・・Ｗｎ］を算出する。｜ｖ’i（Ｄ）－Ｈi（Ｄ）｜は、ｖ’ｋ（Ｄ）－Ｈi（Ｄ）の絶対値を示す。ここで、Σ｜ｖ’i（Ｄ）－Ｈi（Ｄ）｜２におけるiは、１からｎまでの値をとりえる。mは基準モデルの頂点数を示す。
パラメータ算出部２１は、変換パラメータＷをパラメータ管理部２４及び３Ｄモデル更新部２２へ出力する。３Ｄモデル更新部２２は、３Ｄモデル管理部２５に格納されている基準モデルに対して変換パラメータＷを適用することによって、基準モデルを基準モデルの生成後に受信した点群データが示す３次元形状に変換する。基準モデルの生成後に受信した点群データが示す３次元形状を３次元データとする。
例えば、３Ｄモデル更新部２２は、基準モデルに含まれるそれぞれの代表点に対して、変換パラメータＷを用いて変換後の代表点を算出する。ここで、３Ｄモデル更新部２２は、変換パラメータＷを用いて代表点を変換し、代表点以外の頂点については、近傍の代表点に用いられる変換パラメータＷを用いて変換する。このように、変換パラメータを用いて代表点の位置を変換させるとともに、代表点以外の頂点の位置を、近傍の代表点において用いられている変換パラメータを用いて変換することは、非剛体変換と称されてもよい。
ここで、図５を用いて非剛体変換について説明する。図５は、基準モデルに含まれる頂点を変換し、基準モデル生成後に受信した点群データが示す３次元形状に関する３次元データにおける頂点の位置を示している。図５における二重丸が代表点を示し、一重丸が、代表点以外の頂点を示している。説明の簡略化のため、基準モデルにこの３点のみが存在する場合について説明する。ここで、代表点以外の頂点ｖと２つの代表点との距離は同じであること仮定する。このとき、αｋ（ｖ）= 0.5（k = 1, 2）となり、変換後ｖ’は、ｖ’=(Ｒ1・（ｖ － ｖ1）＋ｖ1＋Ｔ1 ＋Ｒ2・（ｖ － ｖ2）＋ｖ2＋Ｔ2）/ 2 となる。「/」は割り算を表す。代表点ｖｋについては、近傍の代表点を受けないように、αｋ’（ｖｋ）＝ 0.0 (k≠k’)、αｋ’（ｖｋ）＝ 1.0 (k == k’)と設定してもよいし、他の頂点と同様に変換式を用いてもよい。
図３に戻り、３Ｄモデル更新部２２は、非剛体変換を行うことによって、基準モデルの点群を変換し、変換後の点群を用いてメッシュデータを生成する。
続いて、３Ｄモデル更新部２２において実行される基準モデルの更新処理について説明する。３Ｄモデル更新部２２は、基準モデル生成後に受信した点群データに対して、パラメータ算出部２１により計算された変換パラメータＷの逆変換パラメータＷ－１を適用する。逆変換パラメータＷ－１が適用された点群データは、基準モデルと実質的に同一の３次元形状を示す点群データへ変換される。基準モデルと逆変換された点群を、例えば、平均化する等の処理を行って生成された点群を新しい基準モデルとして更新する。平均化は、例えば、点群をTSDF（Truncated Signed Distance Function）によるデータ構造で表現したのちに、時刻を考慮した加重平均などで行われてもよい。代表点は、更新された基準モデルを元に新しく生成してもよいし、大きく変更のあった場所のみ更新してもよい。
ここで、図６を用いて、逆変換パラメータＷ－１が適用された後の点群データと基準モデルの頂点との差分について説明する。図６の左図は、更新前の基準モデルに含まれるメッシュデータを示している。二重丸は代表点を示している。メッシュデータは、３つの頂点を用いた三角形面として示されている。右図は、逆変換パラメータＷ－１が適用された後の頂点を用いたメッシュデータが示されている。右図のメッシュデータは、左図と比較して頂点が一つ追加されている。図６においては、追加された頂点を代表点として示しているが、代表点でなくてもよい。これにより、新たに追加された頂点を用いて基準モデルを更新することによって、基準モデルの精度を向上させることができる。
３Ｄモデル更新部２２は、更新前の基準モデルと更新後の基準モデルとの差分データを通信部２３を介してユーザ端末５０へ送信する。差分データには、更新後の基準モデルに新たに追加もしくは削除された頂点、代表点に関するデータ、さらに、新たに追加された三角形面もしくは四角形面の頂点に関するデータを含んでもよい。
続いて、図７を用いて実施の形態２にかかるユーザ端末５０の構成例について説明する。ユーザ端末５０は、プログラムを実行することによって動作するコンピュータ装置であってもよい。ユーザ端末５０は、ｘＲデバイスであってもよく、具体的には、ＡＲデバイスであってもよい。
ユーザ端末５０は、通信部５１及び３Ｄデータ生成部５２を有している。通信部５１及び３Ｄデータ生成部５２は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。
通信部５１は、アクセスポイント装置４０を介して分析装置２０から、基準モデルに関するデータを受信する。さらに、通信部５１は、分析装置２０から更新前の基準モデルと更新後の基準モデルとの差分データ、及び変換パラメータを受信する。
３Ｄデータ生成部５２は、分析装置２０から受信した基準モデルに関するデータを用いて基準モデルを生成する。例えば、３Ｄデータ生成部５２は、基準モデルの頂点に関するデータを受信した場合に、基準モデルの頂点に関するデータを用いてメッシュデータを生成する。
さらに、３Ｄデータ生成部５２は、受信した差分データを用いて分析装置２０と同様に基準モデルを更新する。さらに、３Ｄデータ生成部５２は、受信した変換パラメータＷを用いて基準モデルの頂点の位置を変換し、変換後の頂点を用いてメッシュデータを生成する。３Ｄデータ生成部５２は、生成したメッシュデータを、ユーザ端末５０の表示部（不図示）へ出力して表示させる。
続いて、図８を用いて実施の形態２にかかる分析装置２０における基準モデルの更新処理について説明する。はじめに、３Ｄモデル更新部２２は、カメラ３０～３３から受信した点群データを用いて、対象物の基準モデルを生成する（Ｓ１１）。例えば、３Ｄモデル更新部２２は、基準モデルとしてメッシュデータを生成する。
次に、３Ｄモデル更新部２２は、通信部２３を介してユーザ端末５０へ、基準モデルに関するデータを送信する（Ｓ１２）。基準モデルに関するデータは、頂点の位置及び頂点の組み合わせを示すデータを含んでもよい。つまり、３Ｄモデル更新部２２は、頂点の位置及び頂点の組み合わせを示すデータを含むメッシュデータを送信してもよい。
次に、パラメータ算出部２１は、基準モデル及びカメラ３０～３３から新たに受信した点群データを用いて変換パラメータＷを算出する（Ｓ１３）。新たに受信した点群データは、対象物の実質的にリアルタイムの３次元形状を示すデータであり、リアルタイムデータと称されてもよい。パラメータ算出部２１は、基準モデルの表面上に配置される頂点を、カメラ３０～３３から新たに受信した点群データが形成する対象物の３次元形状を示す位置へ変換する変換パラメータＷを算出する。
次に、パラメータ算出部２１は、通信部２３を介してユーザ端末５０へ変換パラメータＷを送信する（Ｓ１４）。次に、３Ｄモデル更新部２２は、変換パラメータＷを用いて基準モデルの頂点の位置を変換し、変換後の点群データを用いてメッシュデータを生成する（Ｓ１５）。
次に、３Ｄモデル更新部２２は、カメラ３０～３３から新たに受信した点群データに逆変換パラメータＷ－１を適用し、逆変換後の点群データを用いて基準モデルを更新する（Ｓ１６）。３Ｄモデル更新部２２は、逆変換後の点群データと、基準モデルの頂点のデータとの差分を検出し、逆変換パラメータＷ－１が適用された後の点群データにのみ含まれる点を基準モデルに追加する。３Ｄモデル更新部２２は、新たに追加された頂点を用いてメッシュデータを生成することによって基準モデルを更新する。
次に、３Ｄモデル更新部２２は、更新前の基準モデルと更新後の基準モデルとの差分データを通信部２３を介してユーザ端末５０へ送信する（Ｓ１７）。これ以降は、ステップＳ１３以降の処理が繰り返され、基準モデルが更新される。
続いて、図９を用いてユーザ端末５０における基準モデルの更新処理の流れについて説明する。はじめに、通信部５１は、分析装置２０から基準モデルに関するデータを受信する（Ｓ２１）。次に、通信部５１は、分析装置２０から変換パラメータＷを受信する（Ｓ２２）。
次に、３Ｄデータ生成部５２は、基準モデルの表面上に配置される頂点に対して変換パラメータＷを適用し、得られた点群データを用いてメッシュデータを生成する（Ｓ２３）。
次に、通信部５１は、更新前の基準モデルと更新後の基準モデルとの差分データを受信する（Ｓ２４）。次に、３Ｄデータ生成部５２は、差分データを用いて、分析装置２０と同様に基準モデルを更新する。これ以降は、ステップＳ２２以降の処理が繰り返され、基準モデルが更新される。
以上説明したように、分析装置２０は、ユーザ端末５０へ、変換パラメータ及び更新前の基準モデルと更新後の基準モデルとの差分データを送信する。ここで、差分データは、基準モデルの更新が繰り返されるたびに減少する。言い換えると、基準モデルの更新が繰り返されるたびに、新たに追加する頂点及び頂点を組み合わされて生成される平面に関する情報が減少する。その結果、分析装置２０は、ユーザ端末５０へ送信するデータ量を、基準モデルの更新が繰り返されるたびに減少させることができる。また、分析装置２０とユーザ端末５０とは、同一の基準モデルを共有する。そのため、ユーザ端末５０は、分析装置２０から受信する変換パラメータを基準モデルに適用することによって、対象物のリアルタイムの形状を生成することができる。分析装置２０は、対象物に関するリアルタイムの画像や点群の頂点全てを送信するのではなく、変換パラメータを送信することによって、送信するデータ量を減少させることができる。
図１０は、分析装置１０、分析装置２０、及びユーザ端末５０（以下、分析装置１０等とする）の構成例を示すブロック図である。図１０を参照すると、分析装置１０等は、ネットワークインタフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワークインタフェース１２０１は、他のネットワークノードと通信するために使用されてもよい。ネットワークインタフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインタフェースカード（NIC）を含んでもよい。
プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された分析装置１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU、又はCPUであってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/O（Input/Output）インタフェースを介してメモリ１２０３にアクセスしてもよい。
図１０の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された分析装置１０等の処理を行うことができる。
図１０を用いて説明したように、上述の実施形態における分析装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１０ 分析装置
１１ 算出部
１２ 更新部
１３ 通信部
２０ 分析装置
２１ パラメータ算出部
２２ ３Ｄモデル更新部
２３ 通信部
２４ パラメータ管理部
２５ ３Ｄモデル管理部
３０ カメラ
３１ カメラ
３２ カメラ
３３ カメラ
４０ アクセスポイント装置
５０ ユーザ端末
５１ 通信部
５２ ３Ｄデータ生成部

Claims (9)

  1. 対象物の３次元形状を示す基準モデルを、前記基準モデルが生成されてから所定期間経過後の前記対象物をセンシングした結果を表す３次元センシングデータが示す３次元形状に変換するために用いる、基準モデルの代表点の変換パラメータを算出する算出部と、
    前記変換パラメータ及び前記３次元センシングデータを用いて前記基準モデルを更新する更新部と、
    前記基準モデルを共有する端末装置へ、更新後の前記基準モデルの頂点及び更新前の前記基準モデルの頂点の差分データと、前記変換パラメータを有する更新後の前記基準モデルの代表点及び更新後の前記基準モデルの代表点の差分データと、前記変換パラメータとを送信する通信部と、を備える分析装置。
  2. 前記更新部は、
    前記３次元センシングデータに対して前記変換パラメータの逆変換パラメータを適用して得られた３次元データを用いて前記基準モデルを更新する、請求項１に記載の分析装置。
  3. 前記基準モデルは、
    前記基準モデルの表面上に配置される複数の頂点を組み合わせた複数の平面を用いて示すメッシュモデルである、請求項１又は２に記載の分析装置。
  4. 前記基準モデルは、
    前記複数の頂点に含まれる一部の頂点を代表点とし、
    前記算出部は、
    前記代表点ごとに前記変換パラメータを算出する、請求項３に記載の分析装置。
  5. 前記通信部は、
    更新後の前記基準モデルに含まれる頂点のうち、更新前の前記基準モデルに含まれていない前記頂点に関するデータを前記端末装置へ送信する、請求項３又は４に記載の分析装置。
  6. 対象物の３次元形状を示す基準モデルを、前記基準モデルが生成されてから所定期間経過後の前記対象物をセンシングした結果を表す３次元センシングデータが示す３次元形状に変換するために用いる、基準モデルの代表点の変換パラメータを算出する算出部と、前記変換パラメータ及び前記３次元センシングデータを用いて前記基準モデルを更新する更新部と、を有する分析装置と、
    更新後の前記基準モデルの頂点及び更新前の前記基準モデルの頂点の差分データと、前記変換パラメータを有する更新後の前記基準モデルの代表点及び更新後の前記基準モデルの代表点の差分データと、前記変換パラメータとを受信する通信部と、前記差分データを用いて前記基準モデルを更新し、前記基準モデルに対して前記変換パラメータを適用して、前記対象物の３次元形状を生成する生成部と、を有するユーザ端末と、を備えるコミュニケーションシステム。
  7. 前記更新部は、
    前記３次元センシングデータに対して前記変換パラメータの逆変換パラメータを適用して得られた３次元データを用いて前記基準モデルを更新する、請求項６に記載のコミュニケーションシステム。
  8. 対象物の３次元形状を示す基準モデルを、前記基準モデルが生成されてから所定期間経過後の前記対象物をセンシングした結果を表す３次元センシングデータが示す３次元形状に変換するために用いる、基準モデルの代表点の変換パラメータを算出し、
    前記変換パラメータ及び前記３次元センシングデータを用いて前記基準モデルを更新し、
    前記基準モデルを共有する端末装置へ、更新後の前記基準モデルの頂点及び更新前の前記基準モデルの頂点の差分データと、前記変換パラメータを有する更新後の前記基準モデルの代表点及び更新後の前記基準モデルの代表点の差分データと、前記変換パラメータとを送信する、分析方法。
  9. 対象物の３次元形状を示す基準モデルを、前記基準モデルが生成されてから所定期間経過後の前記対象物をセンシングした結果を表す３次元センシングデータが示す３次元形状に変換するために用いる、基準モデルの代表点の変換パラメータを算出し、
    前記変換パラメータ及び前記３次元センシングデータを用いて前記基準モデルを更新し、
    前記基準モデルを共有する端末装置へ、更新後の前記基準モデルの頂点及び更新前の前記基準モデルの頂点の差分データと、前記変換パラメータを有する更新後の前記基準モデルの代表点及び更新後の前記基準モデルの代表点の差分データと、前記変換パラメータとを送信することをコンピュータに実行させるプログラム。
JP2021113648A 2021-07-08 2021-07-08 分析装置、コミュニケーションシステム、分析方法、及びプログラム Pending JP2023009953A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021113648A JP2023009953A (ja) 2021-07-08 2021-07-08 分析装置、コミュニケーションシステム、分析方法、及びプログラム
US17/851,153 US20230009413A1 (en) 2021-07-08 2022-06-28 Analysis apparatus, communication system, non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021113648A JP2023009953A (ja) 2021-07-08 2021-07-08 分析装置、コミュニケーションシステム、分析方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023009953A true JP2023009953A (ja) 2023-01-20

Family

ID=84798213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021113648A Pending JP2023009953A (ja) 2021-07-08 2021-07-08 分析装置、コミュニケーションシステム、分析方法、及びプログラム

Country Status (2)

Country Link
US (1) US20230009413A1 (ja)
JP (1) JP2023009953A (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105637512B (zh) * 2013-08-22 2018-04-20 贝斯普客公司 用于创造定制产品的方法和系统
CN112401919B (zh) * 2020-11-17 2023-04-21 上海联影医疗科技股份有限公司 一种基于摆位模型的辅助摆位方法及系统
CN115769259A (zh) * 2020-12-21 2023-03-07 谷歌有限责任公司 从影像学习铰接形状重建
EP4388500A1 (en) * 2021-11-15 2024-06-26 Samsung Electronics Co., Ltd. Method and apparatus for three-dimensional reconstruction of a human head for rendering a human image
US20230162404A1 (en) * 2021-11-22 2023-05-25 Tencent America LLC Decoding of patch temporal alignment for mesh compression

Also Published As

Publication number Publication date
US20230009413A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
EP3786890B1 (en) Method and apparatus for determining pose of image capture device, and storage medium therefor
CN111465962B (zh) 用于手持式用户设备的增强现实的运动深度
WO2018119889A1 (zh) 三维场景定位方法和装置
US9922447B2 (en) 3D registration of a plurality of 3D models
US20240029384A1 (en) 3-D Reconstruction Using Augmented Reality Frameworks
CN106846467A (zh) 基于每个相机位置优化的实体场景建模方法和系统
KR102152432B1 (ko) 동적 3차원 모델을 이용한 실사 콘텐츠 생성 시스템 및 방법
JP2020042772A (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
JP6902881B2 (ja) 情報処理装置及び三次元モデルの生成方法
US20180253858A1 (en) Detection of planar surfaces for use in scene modeling of a captured scene
US8509522B2 (en) Camera translation using rotation from device
Lan et al. Development of a virtual reality teleconference system using distributed depth sensors
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN117036569A (zh) 三维模型颜色生成网络训练方法、颜色生成方法及装置
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN110378948B (zh) 3d模型重建方法、装置及电子设备
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
CN113706692B (zh) 三维图像重构方法、装置、电子设备以及存储介质
JP2023009953A (ja) 分析装置、コミュニケーションシステム、分析方法、及びプログラム
WO2022142908A1 (zh) 三维模型生成方法、xr设备及存储介质
JP6719168B1 (ja) 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法
JP2017215706A (ja) 映像合成方法、映像取得装置、映像合成装置、映像合成システム及びコンピュータプログラム。
JP6967150B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
JP2023009952A (ja) 分析装置、データ生成方法、及びプログラム
CN113643343B (zh) 深度估计模型的训练方法、装置、电子设备及存储介质