JP2023501041A - 深層学習を使用して２ｄフォトから３ｄオブジェクトの圧力マップを予測するための方法及びシステム - Google Patents

Abstract

深層学習を使用して現実世界オブジェクトの圧力マップを生成するためのシステム及び方法が、開示される。現実世界オブジェクトの構造化３Ｄモデルが、いくつかの実施例では、写真測量、キーポイント検出深層学習ネットワークＤＬＮ、及びリトポロジーを利用するプロセスを使用して、オブジェクトの一連の２Ｄ写真から生成される。加えて、オブジェクトのオブジェクト・パラメータが、受信される。次いで、オブジェクトの圧力マップが、構造化３Ｄモデル及びオブジェクト・パラメータに基づいて、圧力推定深層学習ネットワークＤＬＮによって生成され、ここで、圧力推定ＤＬＮは、所与のオブジェクト・カテゴリーに属する複数のオブジェクトの、構造化３Ｄモデル、オブジェクト・パラメータ、及び圧力マップに関して訓練された。現実世界オブジェクトの圧力マップは、カスタム製造など、下流プロセスにおいて使用され得る。

Description

オブジェクトの２次元（２Ｄ）写真に基づいて、深層学習を使用してオブジェクトについて圧力測定値を導出し、オブジェクト圧力測定値から、カスタマイズされた製品を随意に製造する分野における実施例が、開示される。

本発明の背景技術における記述は、本発明並びにそれの適用例及び使用を理解するのを支援するために提供され、従来技術を構成しないことがある。

境界面圧力の分布は、比較的平坦な表面の間でさえ、一般に、ピーク圧力の局所エリアにより一様ではない。たとえば、一般的な靴を着用する人間の足における圧力分布は、局所圧力のエリアにより一様ではなく、これは、ユーザにとって不快であり得る。その結果、圧力マップなど、視覚表現で２つの表面の間のピーク圧力点をマッピング及び識別することは、靴、医療デバイス、人工装具から、機械及び自動車部品などに及ぶ多種多様な分野において、製品設計及び製造品質を向上させるための見識を提供する。圧力マップは、記録されたデータからのリアルタイムでの又はオフラインでの圧力分布データの明瞭な視覚表現の働きをしながら、力の合計、ピーク圧力、力の中心など、有用なメトリックを提供することができる。現代の圧力マッピング・システムは、主に、薄いフレキシブルなセンサーと、数千個の検知点を走査することができる走査電子回路と、２つのオブジェクトの間の、圧力分布のマップ及び他の表面相互作用データを生成する関連ソフトウェアとから構築される。

圧力マッピングは、コンポーネントのプレス・フィット及び封止、機械設計、並びに工業的立ち上げ（ｉｎｄｕｓｔｒｉａｌ ｓｅｔ ｕｐ）における立ち上げ精度を査定する際に使用され得る。医療デバイス及び人工装具（たとえば、固定器）の分野では、圧力マップは、快適さ及びパーソナライズされた人間工学的フィットを査定するのを助けることができる。加えて、圧力マッピング技術は、高速衝撃試験、熱伝導率について表面接触を試験すること、半導体試験、製品及びプロセスが適切なフィット及び封止を有することを保証するためにプレス・フィット及び封止の適用を試験することなどを含む、無数の分野における多数の適用例を有することができる。すべてのこれらの適用例では、圧力マップの生成は、試験されている表面の間の物理的接触を必要とし、これは、表面に関連するオブジェクトが、互いに物理的に近接させられることを必要とする。カスタマイズされた製品を必要とするユーザが、容易に移動することが可能でない、医療デバイス又は人工装具など、いくらかの適用例では、表面を物理的に近接させることは、問題となり得る。

この背景に対して、本発明は開発された。

Ｃｈａｒｌｅｓ Ｒ．Ｑｉ，ｅｔ ａｌ．、「ＰｏｉｎｔＮｅｔ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｏｎ Ｐｏｉｎｔ Ｓｅｔｓ ｆｏｒ ３Ｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ」、ＣＶＰＲ２０１７、２０１７年１１月９日 Ａｌｅｊａｎｄｒｏ Ｎｅｗｅｌｌ，ｅｔ ａｌ．、「Ｓｔａｃｋｅｄ Ｈｏｕｒｇｌａｓｓ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」、ＥＣＣＶ２０１６、２０１６年９月１７日 Ｋｅ Ｓｕｎ，ｅｔ ａｌ．、「Ｄｅｅｐ Ｈｉｇｈ－Ｒｅｓｏｌｕｔｉｏｎ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」、ＣＶＰＲ２０１９、２０２０年１月９日 Ａａｒｏｎ ｖａｎ ｄｅｎ Ｏｏｒｄ，ｅｔ ａｌ．、「Ｎｅｕｒａｌ Ｄｉｓｃｒｅｔｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ Ｌｅａｒｎｉｎｇ」、ＮＩＰＳ２０１７、２０１７年１２月５日

本発明の概要は、本発明の広義の概要、それの適用例、及び使用を提供し、発明を実施するための形態から、図面と併せて読まれたときに明らかになる、本発明の範囲を限定するものではない。

オブジェクトの２Ｄ画像からオブジェクトの圧力マップを予測するための方法及びシステムが、開示される。最初に、現実世界オブジェクトの一連の２Ｄ画像が、デジタル画像をキャプチャすることが可能な、デジタル・カメラ、スマートフォン、タブレット・デバイス、又は他のコンピューティング・デバイスから取得される。一連の２Ｄ画像は、オブジェクトの形態が、画像の２次元性質によって許容される程度まで一連の２Ｄ画像中に包括的に記録されるように、異なる角度からオブジェクトをキャプチャすることができる。加えて、オブジェクトのオブジェクト・パラメータが、２Ｄ画像とともに受信される。収集されるオブジェクト・パラメータは、オブジェクトの性質に依存することがある。概して、オブジェクト・パラメータは、（長さ、幅、高さなどを含む）サイズなど、いくらかのオブジェクト属性、又は重さ、オブジェクトがそれから作られた材料など、他の物理的属性を含むことがある。実施例では、オブジェクトは、人の手又は足など、人間の身体部位に関係することがある。２Ｄ画像中に記録されているオブジェクトが、人の身体部位であるとき、収集されるパラメータは、人の身長、体重、肥満度指数（ＢＭＩ：ｂｏｄｙ ｍａｓｓ ｉｎｄｅｘ）、性別、人種プロファイルなど、ユーザ・パラメータを含むことがある。

画像及びオブジェクト・パラメータは、写真測量を使用する３次元（３Ｄ）モデル生成モジュールによって処理される。写真測量は、写真画像を通して物理的オブジェクトに関する信頼できる情報を抽出するための技法である。収集される一連の２Ｄ写真は、現実世界オブジェクトの構造化（ｓｔｒｕｃｔｕｒｅｄ）３Ｄモデルを取得するために、写真測量プロセスを通して処理される。いくつかの実施例では、写真測量プロセスの後に、後続のトポロジー転送（ｔｏｐｏｌｏｇｙ ｔｒａｎｓｆｅｒ）ステップ（換言すれば、リトポロジー又はモーフィング）に必要な２Ｄ又は３Ｄキーポイントを生成するキーポイント深層学習ネットワーク（ＤＬＮ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ Ｎｅｔｗｏｒｋ）が続く。リトポロジー・ステップは、構造化３Ｄモデルにオブジェクトのベース・メッシュをモーフィングするために、キーポイントを使用する。ここで、現実世界オブジェクトの構造化３Ｄモデルは、長さ、幅、高さなど、オブジェクトの物理的属性の測定値を取得するために使用され得る。構造化３Ｄモデルは、オブジェクト・パラメータとともに、オブジェクトの圧力マップを生成するように訓練されたオブジェクト圧力推定ＤＬＮに提供される。異なるオブジェクト圧力推定ＤＬＮが、異なるオブジェクトについて訓練され得る。

たとえば、足圧推定ＤＬＮは、地面又は他の基準面上の靴に関する人間の足の圧力マップを生成するように訓練され得る。このようにして取得された圧力マップは、限定はされないが、オブジェクトの性質を調査すること、又はカスタマイズされた製品の製造を可能にすることを含む、様々な目的のために使用され得る。再び人の足の実例を参照すると、一実施例によれば、このようにして取得された足圧マップは、カスタマイズされた履き物又はカスタマイズされたインソールなど、カスタマイズされた足アクセサリを製造するために使用され得る。人の属性、足測定値、足の３Ｄモデル、並びに足圧ＤＬＮによって予測された圧力マップは、人の足に合わせてカスタマイズされた製品を取得するために、３Ｄプリンタなど、製造システムに提供され得る。本明細書で開示及び説明される圧力マップ予測システムは、それゆえ、人の足の圧力マップを取得するために現在採用される、高価な３Ｄ足スキャナの必要性を解消する。その上、移動することが困難であり得る、足に問題がある患者は、患者の自宅に直接輸送され得る、カスタマイズされた足アクセサリを取得するために、３Ｄ足スキャナのロケーションまで移動するという手間が省ける。実際、圧力マップ予測システムは、オブジェクトの圧力マップを取得するための圧力検知ハードウェアの必要性を解消する。

圧力マップ予測システムにおいて使用されるために、オブジェクト圧力推定ＤＬＮは、最初に、様々なオブジェクトの３Ｄモデル、オブジェクトのオブジェクト・パラメータ、及びオブジェクトの実際の圧力マップを含む、様々な入力から圧力マップを生成するように訓練されなければならない。異なるオブジェクト圧力推定ＤＬＮが、異なるオブジェクトについて同様の入力を用いて訓練され得る。もちろん、異なるオブジェクト・パラメータが、異なるオブジェクトについて収集されてもよい。訓練実例は、人間の足の特定の実例に関して考察されるが、同様の訓練方法論が、様々なオブジェクトの圧力マップを生成するように様々なオブジェクト圧力推定ＤＬＮを訓練するために適用され得ることが諒解できよう。一実施例では、足圧推定ＤＬＮのための訓練データ・セットが、収集される。訓練データ・セットは、人々の足の２Ｄ写真のセットから生成された異なる人々の異なる足の構造化３Ｄモデル、足が構造化３Ｄモデルを生成するために使用された異なる人々の属性、及び（物理的）足スキャナによって足について記録された圧力マップを含むことがある。訓練データは、それゆえ、構造化３Ｄモデルと、個人属性と、各人についての足の圧力マップとの間の対応関係を含む。この訓練データは、本明細書で詳述されるように、（一連の２Ｄ画像から取得された）構造化３Ｄモデル及び個人属性から人々の足について圧力マップをもたらすように足圧推定ＤＬＮを訓練するために使用される。

一実施例では、オブジェクトの圧力マップを生成するためのコンピュータ実装方法が開示され、コンピュータ実装方法は、ハードウェア・プロセッサによって実行可能であり、方法は、オブジェクトの複数の２次元（２Ｄ）画像を受信することであって、複数の２Ｄ画像が、異なる角度からオブジェクトをキャプチャする、複数の２次元（２Ｄ）画像を受信することと、１つ又は複数の入力パラメータを受信することであって、入力パラメータが、オブジェクトに関連する少なくとも１つの属性を備える、１つ又は複数の入力パラメータを受信することと、複数の２Ｄ画像からオブジェクトの構造化３次元（３Ｄ）モデルを構築することと、圧力推定深層学習ネットワーク（ＤＬＮ：ｄｅｅｐ ｌｅａｒｎｉｎｇ ｎｅｔｗｏｒｋ）を使用して、構造化３Ｄモデル及び入力パラメータからオブジェクトの圧力マップを生成することであって、圧力推定ＤＬＮが、所与のオブジェクトの所与の構造化３Ｄモデル及び所与のパラメータからオブジェクトの圧力マップを生成するように訓練された、オブジェクトの圧力マップを生成することとを備える。

一実施例では、複数の２Ｄ画像からオブジェクトの構造化３Ｄモデルを構築することは、写真測量プロセス及びスケール・ファクタを使用して、複数の２Ｄ画像からオブジェクトのスケーリングされた非構造化（ｕｎｓｔｒｕｃｔｕｒｅｄ）３Ｄメッシュを生成することであって、スケーリングされた非構造化３Ｄメッシュが、構造化３Ｄモデルを生成するために利用される、オブジェクトのスケーリングされた非構造化３Ｄメッシュを生成することを備える。

一実施例では、複数の２Ｄ画像からオブジェクトの構造化３Ｄモデルを構築することは、注釈付きの（ａｎｎｏｔａｔｅｄ）スケーリングされた非構造化３Ｄメッシュと整合するように注釈付きの構造化ベース３Ｄメッシュをモーフィングすることによって（換言すれば、リトポロジーを通して）、注釈付きのスケーリングされた非構造化３Ｄメッシュから構造化３Ｄモデルを生成することをさらに備える。

一実施例では、複数の２Ｄ画像からオブジェクトの構造化３Ｄモデルを構築することは、オブジェクトのスケーリングされた非構造化３Ｄメッシュからオブジェクトの注釈付きのスケーリングされた非構造化３Ｄメッシュを生成するために、３ＤキーポイントＤＬＮを利用することであって、注釈付きのスケーリングされた非構造化３Ｄメッシュが、構造化３Ｄモデルを生成するために利用される、３ＤキーポイントＤＬＮを利用することをさらに備える。

一実施例では、３ＤキーポイントＤＬＮは、ＰｏｉｎｔＮｅｔに基づく。

一実施例では、複数の２Ｄ画像からオブジェクトの構造化３Ｄモデルを構築することは、複数の２Ｄ画像から１つ又は複数のキーポイントを抽出するために、２ＤキーポイントＤＬＮを利用することであって、１つ又は複数のキーポイントが、構造化３Ｄモデルを生成するために、注釈付きの非構造化３Ｄメッシュを生成するために使用される、２ＤキーポイントＤＬＮを利用することをさらに備える。

一実施例では、複数の２Ｄ画像からオブジェクトの構造化３Ｄモデルを構築することは、注釈付きのスケーリングされた非構造化３Ｄメッシュを生成するために、オブジェクトのスケーリングされた非構造化３Ｄメッシュ上に１つ又は複数のキーポイントを投影することであって、注釈付きのスケーリングされた非構造化３Ｄメッシュが、構造化３Ｄモデルを生成するために利用される、１つ又は複数のキーポイントを投影することをさらに備える。

一実施例では、２ＤキーポイントＤＬＮは、スタック型砂時計（ｓｔａｃｋｅｄ ｈｏｕｒｇｌａｓｓ）ネットワーク及び高解像度ネットワーク（ＨＲＮｅｔ：ｈｉｇｈ－ｒｅｓｏｌｕｔｉｏｎ ｎｅｔｗｏｒｋ）からなるグループから選択される。

一実施例では、構造化３Ｄモデル及び入力パラメータからオブジェクトの圧力マップを生成することは、表面上に構造化３Ｄモデルを投影することによって密度マップを生成することであって、密度マップが、圧力マップを生成するために利用される、密度マップを生成することをさらに備える。

一実施例では、圧力推定ＤＬＮは、修正されたベクトル量子化変分オートエンコーダ（ＶＱ－ＶＡＥ：ｖｅｃｔｏｒ ｑｕａｎｔｉｚｅｄ－ｖａｒｉａｔｉｏｎａｌ ａｕｔｏ－ｅｎｃｏｄｅｒ）であり、密度マップは、圧力マップを生成するために、修正されたＶＱ－ＶＡＥへの入力として利用され、修正されたＶＱ－ＶＡＥは、所与の密度マップ及び１つ又は複数の所与の入力パラメータから所与の圧力マップを生成するように訓練される。

一実施例では、１つ又は複数の入力パラメータは、少なくともスケール・ファクタを備え、スケール・ファクタは、構造化３Ｄモデルを現実世界座標にスケーリングするために使用される。

一実施例では、方法は、構造化３Ｄモデルから抽出された３Ｄ測定値を利用して、構造化３Ｄモデルから３Ｄ製品を製造するようにとの命令を提供することをさらに備える。

一実施例では、オブジェクトは、身体部位（たとえば、足又は手）である。

一実施例では、圧力推定ＤＬＮは、３Ｄスキャナからの構造化３Ｄモデルと、オブジェクト圧力センサーからの対応する圧力マップとを備える訓練データに関して訓練される。

一実施例では、構造化３Ｄモデルは、履き物又は任意の他の覆いがない人間の素足の少なくとも１つの３Ｄモデルを備える。

一実施例では、圧力マップ予測深層学習ネットワーク（ＤＬＮ）は、畳み込みニューラル・ネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を備える。一実施例では、深層学習ネットワーク（ＤＬＮ）は、ピラミッド・プーリング・モジュールをさらに備える。

一実施例では、方法は、深層学習ネットワーク（ＤＬＮ）を訓練するために訓練データ・セットを提供する前に、訓練データ・セットを後処理することをさらに備える。

様々な実施例において、コンピュータ・プログラム製品が開示される。コンピュータ・プログラムは、オブジェクトの一連の２Ｄ画像からオブジェクトの圧力マップを生成するために使用され得、それとともに具備される、プログラム命令又はプログラム・コードを有するコンピュータ可読記憶媒体を含み得、プログラム命令は、プロセッサに上述のステップを実施させるためにプロセッサによって実行可能である。

様々な実施例では、コンピュータ実行可能命令を記憶するメモリと、メモリに動作可能に結合され、メモリに記憶されたコンピュータ実行可能命令を実行するハードウェア・プロセッサとを含むシステムが説明され、ここで、コンピュータ実行可能命令は、上述のステップを実行するプロセッサと通信可能に結合された命令を含み得る。

別の実施例では、本発明は、プロセッサによって実行されたとき、プロセッサに、圧力マップを生成するためのプロセスを実施させる、実行可能な命令を記憶する非一時的コンピュータ可読記憶媒体であり、命令は、プロセッサに上述のステップを実施させる。

別の実施例では、本発明は、２Ｄフォン・カメラを使用する圧力マップ予測のためのシステムであって、システムは、２Ｄカメラ、プロセッサ、ディスプレイ、第１のメモリを有するユーザ・デバイスと、第２のメモリ及びデータ・リポジトリを備えるサーバと、前記ユーザ・デバイス及び前記サーバの間の電気通信リンクと、前記ユーザ・デバイス及び前記サーバの前記第１及び第２のメモリ上に具備された複数のコンピュータ・コードとを備え、前記複数のコンピュータ・コードは、実行されたとき、前記サーバ及び前記ユーザ・デバイスに、上述のステップを備えるプロセスを実行させる。

また別の実施例では、本発明は、少なくとも１つのプロセッサ、メモリ、及び前記メモリ上に具備された複数のコンピュータ・コードを備えるコンピュータ化サーバであり、前記複数のコンピュータ・コードは、実行されたとき、前記プロセッサに、上述のステップを備えるプロセスを実行させる。本発明の他の態様及び実施例は、本明細書で説明されるステップを備える方法、プロセス、及びアルゴリズムを含み、本明細書で説明されるシステム及びサーバのプロセス及び動作モードをも含む。

本発明のまた他の態様及び実施例は、発明を実施するための形態から、添付の図面と併せて読まれたときに明らかになろう。

本明細書で説明される本発明の実施例は、例示的であり、限定的ではない。次に、実施例は、添付の図面を参照しながら実例として説明される。

本発明の一実施例による、圧力マップ予測システムの概要概略図を示す図である。 本発明の別の実施例による、圧力マップ予測システムの別の概要概略図を示す図である。 本発明の例示的な実施例による、オブジェクトの一連の２Ｄ写真から圧力マップを生成するための１つの例示的プロセスの詳細な概略図を示す図である。 本発明の例示的な実施例による、オブジェクトの一連の２Ｄ写真から圧力マップを生成するための１つの例示的プロセスの詳細な概略図を示す図である。 本発明の一実施例による、オブジェクトの一連の２Ｄ写真から圧力マップを生成するためのプロセスを例示するフローチャートを示す図である。 写真測量プロセスの一実施例を使用して２Ｄ写真から、スケーリングされた非構造化３Ｄメッシュを構築するための方法の実例を詳述するフローチャートを示す図である。 ２Ｄ写真と、実施例に従って写真測量プロセスによって２Ｄ写真から構築された３Ｄモデルとの実例を示す図である。 実施例による、カスタム・インソールを製造するための、圧力マップ予測システムによって生成された圧力マップの適用例のうちの１つのブロック図を示す図である。 一実施例による、教師あり学習を介してオブジェクト圧力推定ＤＬＮを訓練するためのＤＬＮ訓練システムのブロック図を示す図である。 本発明の一例示的実施例による、深層学習を使用して２Ｄ写真中のキーポイントを検出するための２ＤキーポイントＤＬＮアーキテクチャの図を示す図である。 本発明の一例示的実施例による、ベース・メッシュを使用して構造化３Ｄモデルを構築するためのリトポロジー方法の実例を詳述するフローチャートを示す図である。 本発明の一例示的実施例による、圧力マップ予測ＤＬＮアーキテクチャのブロック図を示す図である。 本発明の一実施例を実装するためのサーバの例示的ハードウェア・アーキテクチャ図を示す図である。 本発明の一実施例を実装するための例示的システム・アーキテクチャを示す図である。 単一のカメラ及びＡＲガイデッド走査アプリケーションをもつモバイル・デバイスが、圧力マップ予測のためのインターフェースとして使用される、本発明の使用事例の例示的図であり、本発明のいくつかの実施例がそれを通して実装されているモバイル・グラフィカル・ユーザ・インターフェース（ＧＵＩ：ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を示す、図である。 単一のカメラ及びＡＲガイデッド走査アプリケーションをもつモバイル・デバイスが、圧力マップ予測のためのインターフェースとして使用される、本発明の使用事例の例示的図であり、本発明のいくつかの実施例がそれを通して実装されているモバイル・グラフィカル・ユーザ・インターフェース（ＧＵＩ）を示す、図である。 単一のカメラ及びＡＲガイデッド走査アプリケーションをもつモバイル・デバイスが、圧力マップ予測のためのインターフェースとして使用される、本発明の使用事例の例示的図であり、本発明のいくつかの実施例がそれを通して実装されているモバイル・グラフィカル・ユーザ・インターフェース（ＧＵＩ）を示す、図である。 単一のカメラ及びＡＲガイデッド走査アプリケーションをもつモバイル・デバイスが、圧力マップ予測のためのインターフェースとして使用される、本発明の使用事例の例示的図であり、本発明のいくつかの実施例がそれを通して実装されているモバイル・グラフィカル・ユーザ・インターフェース（ＧＵＩ）を示す、図である。 単一のカメラ及びＡＲガイデッド走査アプリケーションをもつモバイル・デバイスが、圧力マップ予測のためのインターフェースとして使用される、本発明の使用事例の例示的図であり、本発明のいくつかの実施例がそれを通して実装されているモバイル・グラフィカル・ユーザ・インターフェース（ＧＵＩ）を示す、図である。

概要
次に、提供された図を参照しながら、本発明の実施例が、詳細に説明される。

以下の説明では、解説の目的で、本発明の完全な理解を提供するために、多数の特定の詳細が記載される。しかしながら、本発明はこれらの特定の詳細なしに実践され得ることが当業者には明らかであろう。他の例では、構造、デバイス、活動、及び方法は、本発明を不明瞭にすることを回避するために、概略図、使用事例、及び／又はフロー図を使用して示される。以下の説明は、例示の目的で多くの詳細を含んでいるが、当業者であれば、示唆された詳細に対する多くの変形形態及び／又は改変形態が本発明の範囲内に入ることを諒解されよう。同様に、本発明の特徴のうちの多くが、互いに関して又は互いに併せて説明されるが、当業者は、これらの特徴のうちの多くが他の特徴とは無関係に提供され得ることを諒解されよう。それゆえに、本発明のこの説明は、本発明の一般性の喪失なしに、及び本発明に限定を課することなしに記載される。

２つの表面が接触しているときのより高い及びより低い圧力の点を示す圧力プロファイルを表す圧力マップは、製品を設計及び製造する際に非常に有用である。現在利用可能な圧力マッピング技術は、収集されたデータを分析し、圧力マップを生成するために、センサー、スキャナなどのハードウェア、及びソフトウェアの使用を伴う。その結果、試験対象の表面が、表面の間の圧力プロファイルを収集するために、互いに物理的に接触させられることが、これらの圧力マッピング・システムにとって必要条件である。それらの表面が圧力プロファイル・データのために試験されるべきであるオブジェクトを物理的に近接させることは、サイズ又は距離の問題により、或いはヘルスケア／医療デバイス適用例における患者の場合、健康理由により、常に実現可能であるとは限らないことがある。本明細書で開示される圧力マップ予測システムは、一連の２Ｄ画像から再構築されたオブジェクトの３Ｄモデルに基づく圧力マップの生成を可能にすることによって、試験対象の表面の間が物理的に近接している必要性を緩和する。その結果、ユーザが自分のカスタマイズされた製品又は医療デバイスを受けとるための移動が、最小化されるだけでなく、センサー又はスキャナ・ハードウェアの使用も、低減されるか又は完全に解消され、システムのユーザにとっての摩擦点（ｆｒｉｃｔｉｏｎ ｐｏｉｎｔ）を低減する。

代わりに、深層学習技法と組み合わせられた高度なコンピュータ・ビジョン・アルゴリズムが、単純な２Ｄモバイル・デバイス・カメラから提供されたフォトから、オブジェクトの正確な圧力マップを生成するために使用され得る。本開示において、「２Ｄモバイル・デバイス・カメラ」という用語は、スマートフォン、タブレット、ラップトップ、又はデスクトップなど、コンピューティング・デバイス中に組み込まれた、又はコンピューティング・デバイスに接続された任意の旧来のカメラを表すために使用される。そのようなカメラによってキャプチャされた２Ｄ画像は、「２Ｄフォト」、「画像」、又は「写真」と呼ばれる。２Ｄフォトからの圧力マップ生成のための深層学習ネットワークを実装することに関する１つの困難さは、訓練データ・セットが、深層学習ネットワークを訓練するために必要とされることである。一実施例では、本発明はまた、２Ｄ画像から圧力マップを予測又は生成するように深層学習ネットワークを訓練するための方法論を提供する。

２Ｄ画像からオブジェクトの圧力マップを生成すること
図１Ａは、本発明の一実施例による、圧力マップ予測システムの概要概略図を示す。一実施例では、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）ガイデッド走査アプリケーション１０２は、ユーザが、オブジェクト（たとえば、人間の足）の一連のフォト１０４を撮るのを支援する。オブジェクト関連パラメータ１２０（たとえば、オブジェクトの高さ又はユーザの身長）も、ＡＲガイデッド走査アプリ１０２によって収集される。フォト１０４及びオブジェクト・パラメータ１２０は、サーバに送られ、サーバにおいて、写真測量、リトポロジー、及び１つ又は複数の深層学習ネットワーク（ＤＬＮ）など、様々なプロセスを備える３Ｄモデル生成モジュール１０６が、フォト１０４からオブジェクトの構造化３Ｄモデル１０８を構築するために使用される。構造化３Ｄモデル１１０から、任意の数の測定が、構造化３Ｄモデルからオブジェクトの任意の所望の測定値１１４を取得するために、たとえば、スクリプト１１２を使用して実施され得る。さらに、構造化３Ｄモデル及び１つ又は複数のオブジェクト・パラメータ１２０から、サーバ上に配置された圧力推定深層学習ネットワーク（ＤＬＮ）１１６は、以下でより詳細に説明されるように、オブジェクトの圧力マップ１１８を予測する。最後に、得られた圧力マップ１１８、測定値、及び３Ｄ走査モデル１１４は、ユーザ・デバイスに送られ得る。

図１Ｂは、本発明の別の実施例による、圧力マップ予測システムの詳細な概略図を示す。圧力マップ予測システムは、圧力マップ１５２がそれについて生成されるべきである、表面１３５上で静止する現実世界オブジェクト１３３の一連の２Ｄ画像１３４、たとえば、写真を受信する。オブジェクト１３３の約４～６枚（又はそれ以上）の写真１３４のセットが、オブジェクト１３３が一連の写真１３４中で様々な方向からキャプチャされるように、オブジェクト１３３の様々な側から異なる角度から撮影され得る。スマートフォン１３１、タブレット・デバイス、又は他のイメージング・ハードウェアに取り付けられたカメラが、一連の２Ｄ写真１３４をキャプチャするために使用され得る。実施例では、スマートフォン１３１は、ユーザがオブジェクト１３３の写真１３４を正確にキャプチャするのを支援するために、拡張現実（ＡＲ）ガイデッド走査アプリケーション１０２、１３２を実行することができる。概して、一連の４０～６０枚の写真が、旧来の写真測量プロセスを使用してオブジェクト１３３の３Ｄモデルを再構築するために必要とされ得る。しかしながら、ＡＲガイデッド走査アプリケーション１３２は、オブジェクト１３３が、最大のカバレージを確保するために撮影されるべきである角度、高さ、及び方向を識別するようにプログラム的に構成され得る。それゆえに、ＡＲガイデッド走査アプリケーション１３２は、３Ｄモデル１５０構築のためにオブジェクト１３３を最も良くキャプチャするために、特定の高さに、特定の方向に、及び特定の角度にスマートフォン１３１を置くように、テキスト又はボイス・プロンプトを介してユーザをガイドすることができる。ＡＲガイデッド走査アプリケーション１３２、及び圧力マップ予測システム１４０内に備えられた１つ又は複数の深層学習ネットワーク（ＤＬＮ）の使用によって、必要とされる写真の数は、本発明の一実施例では、４０～６０枚のフォトから約４～６枚のフォトまで低減され得る。ＡＲガイデッド走査アプリケーション１３２は、一連の２Ｄ写真１３４の各々をキャプチャするために、背景要件、オブジェクト位置、距離、及び角度について、オブジェクト（たとえば、足）を撮像するユーザをガイドすることができる。ＡＲガイデッド走査アプリケーション１３２は、異なるオブジェクト・カテゴリーに属するオブジェクトが、圧力マップ予測システム１４０によって処理され得るので、ユーザによって選択されたオブジェクトのカテゴリーに基づいて、これらの指示を提供するように構成され得る。別の実施例では、フォト又はパラメータは、一連の２Ｄフォト１３４でポピュレートされたデータベースから取得され得る。

ＡＲガイデッド走査アプリケーション１３２はまた、一連の写真１３４を生成するユーザが、いくらかのオブジェクト・パラメータ１３６を追加として入力することを必要とすることがあり得る。ユーザによって提供されるべきオブジェクト・パラメータ１３６は、圧力マップ１５２がそれについて予測されるべきである、撮像されているオブジェクト１３３に依存することがある。実例では、オブジェクト・パラメータ１３６は、撮像されているオブジェクト１３３の属性だけでなく、オブジェクト１３３がそれの一部分にすぎないことがあるより大きい本体（ｂｏｄｙ）の属性をも含むことがある。実例では、ユーザは、ＡＲガイデッド走査アプリケーション１３２が、オブジェクト・パラメータ１３６を対応して検索することができるように、撮像されているオブジェクト１３３を明確に識別することを必要とされ得る。たとえば、撮像されているオブジェクト１３３が、人の足である場合、オブジェクト・パラメータ１３６は、限定はされないが、身長、体重、肥満度指数（ＢＭＩ）、人種プロファイル、性別など、人の属性を含むことがある。

一連の写真１３４及びオブジェクト・パラメータ１３６は、一連の写真１３４からオブジェクト１３３の仮想構造化３Ｄモデル１５０を再構築する、３Ｄモデル生成モジュール１４２及び圧力推定深層学習ネットワーク（ＤＬＮ）１４６を利用する圧力マップ予測システム１４０に提供される。３Ｄモデル生成モジュール１４２は、以下で説明されるように、写真測量、キーポイントＤＬＮ、及びトポロジー転送（すなわち、リトポロジー又はモーフィング）を使用して、構造化３Ｄモデル１５０の再構築を実行する。キーポイントＤＬＮは、図２Ａ、図２Ｂ、及び図８に関連してより詳細に解説されるように、構造化３Ｄモデル１５０の構築のために必要である２Ｄ又は３Ｄキーポイントを生成するように訓練されたニューラル・ネットワークである。トポロジー転送ステップは、走査されたベース３Ｄメッシュを構造化３Ｄモデル１５０にモーフィングするために、キーポイントを使用する。測定スクリプトは、オブジェクトの構造化３Ｄモデル１５０から、あらかじめ定義されたオブジェクト測定値を抽出することができることに留意されたい。

次に、オブジェクト１３３の構造化３Ｄモデル１５２は、オブジェクト・パラメータ１３６とともに、オブジェクト圧力推定ＤＬＮ１４６に提供される。オブジェクト圧力推定ＤＬＮ１４６は、オブジェクト１３３の構造化３Ｄモデルに基づいて、表面１３５に関してオブジェクト１３３の圧力マップ１５２を予測又は生成するように、ＤＬＮ訓練システム１３８によって訓練される。オブジェクト圧力推定ＤＬＮ１４６アーキテクチャは、図１０に関連してより詳細に説明される。圧力マップ１５２は、表面１３５と接触しているオブジェクト１３３によって及ぼされる圧力のプロファイルの視覚表現を提供する。より高い圧力エリアは、いくらかの色又は色強度によって指し示され、他の異なる色又は色強度が、より低い圧力エリアを指し示すために使用され得る。実施例では、圧力マップ１５２は、コンピューティング・デバイスのディスプレイ上に表示され得る。実施例では、オブジェクト１３３の圧力マップ１５２は、下流プロセス、たとえば、カスタム製造プロセスの実行のために他のシステムにさらに送信され得る。

オブジェクト圧力推定ＤＬＮ１４６は、本明細書でさらに詳述されるように、ＤＬＮ訓練システム１３８によって所与のオブジェクト・カテゴリーについて圧力マップを生成するように訓練され得る。それゆえ、異なるオブジェクト圧力推定ＤＬＮが、特定のオブジェクト・カテゴリーの構造化３Ｄモデル及びオブジェクト・パラメータを受信したことに応答して、異なるオブジェクトについて圧力マップをもたらすように訓練され得る。圧力マップは、それゆえ、走査又はセンサー・ハードウェアを必要とせずに、及びオブジェクトがそのようなハードウェアに物理的に近接している必要性なしに、訓練されたＤＬＮから取得される。オブジェクト圧力推定ＤＬＮ１４６によって生成された圧力マップは、圧力マップ予測システム１４０に関連するＧＵＩ１４８を介して表示され得る。しかしながら、圧力マップを表示することは、圧力マップが、カスタム製造プロセスなど、さらなる下流プロセスの実行のためにさらに送信され得るので、常に必要とされるとは限らないことがある。

様々なオブジェクト・カテゴリーの圧力マップに基づいて、様々な適用例が可能にされる。１つのそのような適用例は、カスタマイズされた履き物、衣類、又はアクセサリの製作を含む。実施例では、圧力マップの予測の目的で撮像されているオブジェクト１３３は、人の足など、人の身体部位に関係することがある。ＡＲガイデッド走査アプリケーション１３２は、人の素足の一連の２Ｄ写真を生成するために使用され得る。足の構造化３Ｄモデル１５２は、一連の２Ｄ写真１３４から３Ｄモデル生成モジュール１４２によって再構築される。３Ｄモデルは、身長、体重、ＢＭＩ、人種プロファイル、性別など、人のパラメータ１３６とともに、ＡＲガイデッド走査アプリケーション１３２から収集される。オブジェクト圧力推定ＤＬＮ１４６は、構造化３Ｄモデル及び人のパラメータにアクセスし、人の足の圧力マップ１５２を予測する。圧力マップ１５２及びリトポロジー化された（ｒｅｔｏｐｏｌｏｇｉｚｅｄ）構造化３Ｄモデル１５０は、人の足に合わせてカスタマイズされた、インソール１５８など、履き物又は足アクセサリを印刷することができる、３Ｄ印刷システムなど、製造システム１５４によってさらにアクセスされ得る。

オブジェクト測定値を生成すること
実例では、足圧マップ１５２は、リトポロジー化された構造化３Ｄモデル１５０と組み合わせて、足の寸法及び足の圧力プロファイルを取得することを可能にする。体長とともに、人の幅、及び足の甲のタイプ（高い、中間、又は低い）、並びに圧力マップ１５２が、インソール１５８を製造する際に考慮され得る。いくつかの実施例では、画像中のオブジェクトを検出するマスク領域畳み込みニューラル・ネットワーク（Ｒ－ＣＮＮ：Ｒｅｇｉｏｎ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が、足圧マップから足の測定値を決定するために適用され得る。マスクＲＣＮＮベースのオブジェクト・セグメント化は、足の分離された画像に適用されたとき、足圧マップ中の足の属性を測定することを可能にする。たとえば、仮想空間における構造化３Ｄモデルに基づくＰｙｔｈｏｎスクリプトを使用する様々な方法が、構造化３Ｄモデル１５０からオブジェクト１３３の寸法又は測定値を取得するために実装され得る。代替的に、オブジェクト測定プロシージャも、領域畳み込みニューラル・ネットワーク（ＲＣＮＮ：Ｒｅｇｉｏｎａｌ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ファスト（Ｆａｓｔ）ＲＣＮＮなどを使用して実装され得る。

足測定適用例の場合、システムは、インソールを生成するために、足の寸法及び形状を考慮する。さらに、人の足の圧力マップは、人の足の高圧点、中圧点、及び低圧点の表現を提供する。その結果、人の足の寸法及び形状に加えて、人の足圧プロファイルに合わせてカスタマイズされたインソールが、製造され得る。

圧力推定のための人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）アルゴリズムの使用
尚、本明細書で説明されるデバイス及びシステム（並びにそれらの様々なコンポーネント）の実施例は、本明細書で説明される１つ又は複数の特徴（たとえば、構造化３Ｄモデルを再構築すること、圧力マップを予測すること、及び同様のもの）を自動化することを容易にするために、人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）を採用することができる。コンポーネントは、本明細書で開示される様々な実施例／実例を行うために、様々なＡＩベースの方式を採用することができる。本明細書で説明される多数の決定（たとえば、決定する、確認する、推論する、算出する、予測する、予知する、推定する、派生する、予報する、検出する、計算する）を提供又は補助するために、本明細書で説明されるコンポーネントは、それへのアクセスを許可されたデータの全体又はサブセットを検査することができ、イベント及び／又はデータを介してキャプチャされた観測値のセットから、システム、環境などの状態について推理することを提供するか、又はそれらを決定することができる。決定は、特定のコンテキストを識別するために採用され得るか、又はたとえば、状態にわたる可能性分布を生成することができる。決定は、確率的、すなわち、データ及びイベントの考慮に基づく対象とする状態にわたる可能性分布の計算であり得る。決定はまた、イベントのセット及び／又はデータからより高いレベルのイベントを組み立てるために採用された技法を指すことがある。

そのような決定は、イベントが、近い時間近接（ｃｌｏｓｅ ｔｅｍｐｏｒａｌ ｐｒｏｘｉｍｉｔｙ）で相関しているかどうかにかかわらず、並びにイベント及びデータが１つ又は複数のイベント及びデータ・ソースに由来するかどうかにかかわらず、観測されたイベントのセット及び／又は記憶されたイベント・データからの新しいイベント又はアクションの構築を生じることがある。本明細書で開示されるコンポーネントは、請求される主題に関連して自動及び／又は決定されたアクションを実施することに関連して、（（たとえば、訓練データを介して）明示的に訓練された、並びに（たとえば、挙動を観測すること、選好、履歴情報、外来情報を受信することなどを介して）暗黙的に訓練された）様々な分類方式及び／又はシステム（たとえば、サポート・ベクター・マシン、ニューラル・ネットワーク、エキスパート・システム、ベイジアン信念ネットワーク、ファジー論理、データ融合エンジンなど）を採用することができる。このようにして、分類方式及び／又はシステムは、いくつかの機能、アクション、及び／又は決定を自動的に学習及び実施するために使用され得る。

たとえば、分類器は、ｆ（ｚ）＝信頼度（クラス）によって、入力属性ベクトルｚ＝（ｚ_１、ｚ_２、ｚ_３、ｚ_４、．．．、ｚ_ｎ）を、入力がクラスに属するという信頼度にマッピングし得る。そのような分類は、自動的に実施されるべきアクションを決定するために、（たとえば、分析ユーティリティ及びコストを考慮する）確率及び／又は統計ベースの分析を採用し得る。採用され得る分類器の別の実例は、サポート・ベクター・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）である。ＳＶＭは、可能な入力の空間において超曲面（ｈｙｐｅｒ－ｓｕｒｆａｃｅ）を見つけることによって動作し、ここで、超曲面は、トリガリング基準を非トリガリング・イベントから分割することを試みる。直観的に、これは、分類に、訓練データに近いが同等でない試験データを補正させる。他の指向及び無指向モデル分類手法は、たとえば、ナイーブ・ベイズ、ベイジアン・ネットワーク、決定木、ニューラル・ネットワーク、ファジー論理モデルを含み、及び／又は独立性の異なるパターンを提供する確率分類モデルが、採用され得る。本明細書で使用される分類はまた、優先度のモデルを開発するために利用される統計的回帰を含む。

図２Ａ及び図２Ｂは、本発明の例示的な実施例による、オブジェクトの一連の２Ｄ写真から圧力マップを生成するための２つの例示的プロセスの詳細な概略図を示す。

図２Ａ中で、ＡＲガイデッド・アプリケーション２０２は、ターゲット・オブジェクトのフォト２０６及びパラメータ２０８を取得するためのインターフェースとして使用される。ＡＲアプリ２０２はまた、距離正規化目的のためにスケール・ファクタを収集する。スケール・ファクタ２０４は、オブジェクト１３３又はそれの背景の寸法の、フォト２０６上のピクセル座標から実世界座標への転換を可能にするための正規化データを表す。様々な実施例では、モバイル・コンピューティング・デバイス上のセンサーからの深度データ、オブジェクト・パラメータ（たとえば、オブジェクトの高さ）、又は受信されたフォト中の知られているサイズをもった基準オブジェクトが、ピクセル座標から現実世界座標にスケーリングするためのスケール・ファクタ２０４として使用され得る。スケール・ファクタ２０４は、３Ｄモデル生成モジュール２１０内でのメッシュの現実世界寸法へのスケーリングを可能にする。ＡＲ走査アプリ２０２を通して収集されたフォト２０６及びスケール・ファクタ２０４は、オブジェクトの構造化３Ｄモデル２２４を生成するために、３Ｄモデル生成モジュール２１０に送られる。

構造化及び非構造化メッシュは、それらの接続性によって異なる。非構造化メッシュは、頂点の間の不規則な接続性を有し、頂点が個々のメッシュ要素を作り出すやり方の明示的リスティングを必要とする。非構造化メッシュは、それゆえ、不規則なメッシュ要素を可能にするが、隣接頂点関係の明示的記憶を必要とし、より低い記憶効率及びより低い解像度につながる。しかしながら、構造化メッシュは、それの頂点の間の規則的な接続性を有し（換言すれば、メッシュ要素及び頂点距離が、あらかじめ定義され）、より高い空間及び記憶効率並びに優れた解像度につながる。

図２Ａ中で説明される実施例では、３Ｄモデル生成モジュール２１０は、３つの主要な動作、すなわち、写真測量２１２、３Ｄキーポイント検出２１６、及びリトポロジー２２０を行う。写真測量２１２は、３次元でオブジェクトを表すスケーリングされた非構造化メッシュ２１４を生成するために、ターゲット・オブジェクトの入力フォト２０６及びスケール・ファクタ２０４を使用する。写真測量２１２は、図４のコンテキストにおいて以下で詳細に説明される。写真測量２１２プロセスによって生成されたスケーリングされた非構造化メッシュ２１４は、次いで、３ＤキーポイントＤＬＮ２１６に供給される。

キーポイント注釈付け（ａｎｎｏｔａｔｉｏｎ）は、３Ｄオブジェクトのメッシュ表現内の（たとえば、オブジェクト表面上の）キーポイントを検出することによって、スケーリングされた非構造化メッシュ２１４に注釈を付ける（ａｎｎｏｔａｔｅ）プロセスである。非構造化３Ｄメッシュの注釈付けは、構造化３Ｄモデルの生成における初期段階として必要とされる。注釈付けは、ターゲット・オブジェクト１３３の顕著な特徴を指し示す注釈付けキーポイントの生成である。メッシュ注釈付けは、特定のオブジェクト・タイプ（たとえば、特定の身体部位）に関して訓練された１つ又は複数の注釈付けＤＬＮモジュールを通して行われ得る。いくつかの実施例では、たとえば、背景からのオブジェクトのセグメント化は、別個のＤＬＮによって行われ得る。

キーポイント検出プロセスは、ランドマーク検出の広義のカテゴリーに入る。ランドマーク検出は、ＤＬＮが一般的に使用されるコンピュータ・ビジョン・アプリケーションのカテゴリーである。ランドマーク検出は、２Ｄ又は３Ｄイメージング・データ中の顕著な特徴の識別を意味し、局在化、オブジェクト認識などの目的で広く使用される。ＰｏｉｎｔＮｅｔ、フィードフォワード・ニューラル・ネットワーク（ＦＦＮＮ：ＦｅｅｄＦｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ファスター（Ｆａｓｔｅｒ）領域畳み込みニューラル・ネットワーク（ファスターＲ－ＣＮＮ：Ｒｅｇｉｏｎａｌ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、及び様々な他の畳み込みニューラル・ネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）など、様々なＤＬＮが、ランドマーク検出のために設計された。３ＤキーポイントＤＬＮ２１６は、ＰｏｉｎｔＮｅｔなど、任意の３Ｄランドマーク検出機械学習アルゴリズムに基づき得る。

ＰｏｉｎｔＮｅｔは、３Ｄセマンティック構文解析、部分セグメント化、並びに分類において適用される高効率なＤＬＮである。ＰｏｉｎｔＮｅｔは、直接的にポイント・クラウドを処理するように設計され、よって、効果的な３Ｄランドマーク検出を可能にする。ＰｏｉｔｎＮｅｔはまた、非構造化３Ｄメッシュ入力の不要な変換を回避する。一実施例では、ＰｏｉｎｔＮｅｔアルゴリズムは、本明細書で完全に記載されるかのように、本明細書でその全体が参照により本明細書に組み込まれる、ａｒＸｉｖ：１６１２．００５９３で入手可能な、Ｃｈａｒｌｅｓ Ｒ．Ｑｉ，ｅｔ ａｌ．、「ＰｏｉｎｔＮｅｔ：Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｏｎ Ｐｏｉｎｔ Ｓｅｔｓ ｆｏｒ ３Ｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ」、ＣＶＰＲ２０１７、２０１７年１１月９日に説明されているように実装される。ＰｏｉｎｔＮｅｔは、本発明の範囲内にある例示的ＤＬＮアルゴリズムにすぎず、本発明は、ＰｏｉｎｔＮｅｔの使用に限定されない。他のＤＬＮアルゴリズムも、本発明の範囲内にある。たとえば、本発明の一実施例では、畳み込みニューラル・ネットワーク（ＣＮＮ）は、オブジェクト・キーポイントを抽出するための、及びメッシュに注釈を付けるための３ＤキーポイントＤＬＮ２１６として利用される。

３Ｄキーポイント注釈付けを行うために、３ＤキーポイントＤＬＮは、オブジェクト・メッシュ及び対応するキーポイント注釈付けを備える訓練データ・セットを使用してあらかじめ訓練されなければならない。キーポイント注釈付けＤＬＮは、特定のタイプのオブジェクトについてキーポイントを検出するように訓練され得る。いくつかの実施例では、セグメント化（換言すれば、オブジェクトの、それの背景からの切り離し）及び注釈付けは、異なるＤＬＮを通して行われ得る。３Ｄキーポイント注釈付けＤＬＮは、注釈付きの非構造化３Ｄメッシュ２１８をもたらす。

リトポロジー・プロセス２２０は、スケーリングされた構造化３Ｄモデル２２４を生成するために、注釈付きの構造化ベース３Ｄメッシュ２２２と一緒に、注釈付きの非構造化３Ｄメッシュ２１８を使用する。リトポロジー２２０は、オブジェクトの存在する構造化された注釈付きのベース３Ｄメッシュ２２２の形状を、それのキーポイントが、３ＤキーポイントＤＬＮ２１６によってオブジェクト１３３上で検出された（及び注釈付きの非構造化３Ｄメッシュ２１８によって表された）キーポイントと整合するように、ターゲット・オブジェクト１３３の構造化３Ｄモデル２２４に変形する、モーフィング・プロセスである。リトポロジーはまた、図９のコンテキストにおいて考察されるように、メッシュ表面又は投影された２次元輪郭に対して動作し得る。ベース３Ｄメッシュ２２２は、サーバ上に又はデバイス内に記憶された、オブジェクトの未加工３Ｄメッシュ表現である。リトポロジー・プロセス２２０は、ターゲット・オブジェクト１３３のカテゴリーにおける少なくとも１つのベース３Ｄメッシュ２２２を含んでいる、３Ｄベース・メッシュのライブラリにアクセスすることができる。一実施例では、ライブラリ中のベース３Ｄメッシュは、構造化され、事前に注釈を付けられる。ベース３Ｄメッシュのモーフィングは、それゆえ、オブジェクトのスケーリングされた構造化３Ｄメッシュ表現２２４をもたらす。リトポロジーは、さらに、図９のコンテキストにおいてより詳細に考察される。

３Ｄモデル生成モジュール２１０によって生成された構造化３Ｄモデル２２４は、次いで、オブジェクト１３３の出力圧力マップ２２８を生成するために、オブジェクト・パラメータ２０８とともに圧力推定ＤＬＮ２２６に入力される。圧力推定ＤＬＮは、任意の好適なＤＬＮアルゴリズムを使用し得る。たとえば、ベクトル量子化変分オートエンコーダ（ＶＱ－ＶＡＥ：Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚｅｄ－Ｖａｒｉａｔｉｏｎａｌ ＡｕｔｏＥｎｃｏｄｅｒ）は、以下で考察されるように、圧力マップ２２８を生成するのに特に好適である、ＤＬＮの一種である。当然、ＶＱ－ＶＡＥは、本発明の範囲内にある例示的ＤＬＮアルゴリズムにすぎず、本発明は、ＶＱ－ＶＡＥの使用に限定されない。他のＤＬＮアルゴリズムも、本発明の範囲内にある。

圧力推定を行うために、圧力推定ＤＬＮ２２６は、図７中で詳細に説明されるように、オブジェクトの構造化３Ｄモデル及び対応する圧力マップを備える訓練データ・セットを使用してあらかじめ訓練されなければならない。圧力推定ＤＬＮは、特定のタイプのオブジェクト（たとえば、人間の足）について圧力マップを生成するように訓練され得る。

図２Ｂは、本発明の異なる実施例を描き、ここで、２ＤキーポイントＤＬＮ２４４が、３ＤキーポイントＤＬＮ２１６の代わりに使用され、圧力推定ＤＬＮ２６６は、圧力マップ２６８を生成するために密度マップ２６４を必要とする。図２Ｂ中で、ＡＲガイデッド・アプリケーション２３２は、ターゲット・オブジェクトのフォト２３６及びパラメータ２３８を取得するためのインターフェースとして使用される。ＡＲアプリ２３２はまた、距離正規化目的のためにスケール・ファクタを収集する。スケール・ファクタ２３４は、オブジェクト１３３又はそれの背景の寸法の、フォト２３６上のピクセル座標から実世界座標への転換を可能にするための正規化データを表す。よって、スケール・ファクタ２３４は、３Ｄモデル生成モジュール２４０内のメッシュの現実世界寸法へのスケーリングを可能にする。ＡＲ走査アプリ２３２を通して収集されたフォト２３６及びスケール・ファクタ２３４は、オブジェクトの構造化３Ｄモデル２６０を生成するために、３Ｄモデル生成モジュール２４０に送られる。

図２Ｂ中で説明される実施例では、３Ｄモデル生成モジュール２４０は、４つの主要な動作、すなわち、写真測量２４２、２Ｄキーポイント検出２４４、（「投影１」と示されている）キーポイント投影２５２、及びリトポロジー２５６を行う。図２Ａに関して、写真測量２４２は、３次元でオブジェクトを表すスケーリングされた非構造化メッシュ２４８を生成するために、ターゲット・オブジェクトの入力フォト２３６及びスケール・ファクタ２３４を使用する。しかしながら、写真測量プロセス２４２はまた、正確なキーポイント投影２５２に必要なカメラ・パラメータ２５０を生成する。カメラ・パラメータ２５２は、位置パラメータ（たとえば、カメラ・ロケーション及び回転）、並びにカメラの焦点距離、レンズひずみ、サンプリング（ピクセル・サイズ）、又はイメージング・サイズ（換言すれば、デジタル・センサーのイメージング・エリアのサイズ）など、内部パラメータを含み得る。写真測量２４２は、図４のコンテキストにおいて以下で詳細に説明される。

図２Ｂの実施例では、３Ｄモデル生成モジュール２４０は、入力フォト２３６からキーポイント２４６を生成するために、２ＤキーポイントＤＬＮ２４４を使用する。このコンテキストでは、２Ｄキーポイント検出は、２Ｄフォト２３６からキーポイント２４６を検出及び抽出するプロセスである。生成されたキーポイントは、２Ｄフォト２３６上でのターゲット・オブジェクト１３３の顕著な特徴を指し示す。キーポイント投影ステップ２５２（投影１）において、生成されたキーポイント２４６は、スケーリングされた非構造化３Ｄメッシュ２４８上に投影され、ここで、カメラ・パラメータ２５０は、３Ｄ空間におけるキーポイント２４６のロケーションを正確に決定するために使用される。投影ステップ２５２は、それゆえ、注釈付きの非構造化３Ｄメッシュ２５４を生成するために、キーポイント２４６を、スケーリングされた非構造化３Ｄメッシュ２４８と組み合わせる。

キーポイント生成は、特定のオブジェクト・タイプ（たとえば、人間の足）に関して訓練された１つ又は複数の２ＤキーポイントＤＬＮモジュールを通して行われ得る。いくつかの実施例では、背景からのオブジェクトのセグメント化は、別個のＤＬＮによって行われ得る。２Ｄキーポイント生成プロセスも、上記で考察されたランドマーク検出のカテゴリーに入る。スタック型砂時計（Ｓｔａｃｋｅｄ Ｈｏｕｒｇｌａｓｓ）畳み込みニューラル・ネットワーク（ＣＮＮ）、ＨＲＮｅｔ、フィードフォワード・ニューラル・ネットワーク（ＦＦＮＮ）、ファスター領域畳み込みニューラル・ネットワーク（ファスターＲ－ＣＮＮ）、及び他のＣＮＮなど、様々なランドマークＤＬＮが、２ＤキーポイントＤＬＮを作り上げるために使用され得る。スタック型砂時計ＣＮＮの例示的なアーキテクチャが、図８のコンテキストにおいて考察される。

２Ｄキーポイント注釈付けを行うために、２ＤキーポイントＤＬＮは、オブジェクト・フォト及び対応するキーポイントを備える訓練データ・セットを使用してあらかじめ訓練されなければならない。２ＤキーポイントＤＬＮは、特定のタイプのオブジェクトについてキーポイントを検出するように訓練され得る。いくつかの実施例では、セグメント化（換言すれば、オブジェクトの、それの背景からの切り離し）及び注釈付けは、上述のように、異なるＤＬＮを通して行われ得る。

図２Ａの実施例の場合と同様に、キーポイント投影２５２ステップ（投影１）は、注釈付きの非構造化３Ｄメッシュ２５４をもたらす。同様に、リトポロジー・プロセス２５６は、スケーリングされた構造化３Ｄモデル２６０を生成するために、注釈付きの構造化ベース３Ｄメッシュ２５８と一緒に、注釈付きの非構造化３Ｄメッシュ２５４を使用する。リトポロジーは、さらに、図９のコンテキストにおいてより詳細に考察される。

図２Ｂ中で、構造化２Ｄモデル２６０から圧力マップ２６８への遷移は、図２Ａのものとは異なる実施例を使用する。３Ｄモデル生成モジュール２４０によって生成された構造化３Ｄモデル２６０は、まず、第２の投影プロセス２６２（投影２）を通して密度マップ２６４に転換される。密度マップ２６４は、次いで、ターゲット・オブジェクト１３３の圧力マップを生成するために、圧力推定ＤＬＮ２６６に入力される。密度マップ２６４は、基準面上に投影されたターゲット・オブジェクト１３３の体積の２Ｄ表現である。一実施例では、密度マップ２６４は、密度マップ上の各点が、投影の軸に沿ってオブジェクトの厚さを表すように、構造化３Ｄモデル２６０の最も近い点と最も遠い点との間の距離を基準面上に投影することによって生成される。

圧力推定ＤＬＮ２６６は、オブジェクト１３３の出力圧力マップ２６８を生成するために、密度マップ２６４及びオブジェクト・パラメータ２３８を使用する。圧力推定ＤＬＮは、任意の好適なＤＬＮ方法を使用し得る。密度マップ及びオブジェクト・パラメータから圧力マップを生成する目的で修正されたＶＱ－ＶＡＥアルゴリズムが、図１０中で考察される。

本明細書で開示される様々なＤＬＮ適用例について上記で列挙されたＤＬＮアルゴリズム（たとえば、スタック型砂時計、ＨＲＨＮｅｔ、ＶＱ－ＶＡＥなど）は、本発明の範囲内にある例示的アルゴリズムにすぎず、本発明は、列挙されたＤＬＮアルゴリズムの使用に限定されない。他のＤＬＮアルゴリズムも、本発明の範囲内にある。その上、他の機械学習（ＭＬ：ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）方法が、様々な列挙されたＤＬＮアルゴリズムの代わりに、又は様々な列挙されたＤＬＮアルゴリズムと組み合わせて使用され得る。よって、限定はされないが、リグレッサ、最近傍アルゴリズム、決定木、サポート・ベクター・マシン（ＳＶＭ：ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、Ａｄａｂｏｏｓｔ、ベイジアン・ネットワーク、ファジー論理モデル、進化的アルゴリズムなどを含む他のＭＬアルゴリズムが、本発明の範囲内にある。

図３は、実施例による、オブジェクトの一連の２Ｄ写真から圧力マップを生成するためのプロセスのフローチャートを示す。ステップ３０２において、一連の２Ｄ写真１３４、２０６、２３６が取得される。一連の写真の各写真は、およそ４～５メガピクセルであり得、構造化３Ｄモデル１５０、２２４、２６０の生成に有用であるために、ぼけなどの欠陥なしにその全体がオブジェクト１３３を示す。概して、写真測量プロセスは、異なる角度からのオブジェクト１３３の４０～６０枚の写真を必要とする。しかしながら、本発明の一実施例では、キーポイント深層学習ネットワーク（ＤＬＮ）２１６、２４４とともにＡＲガイデッド走査アプリケーション１３２、２０２、２３２を使用すると、写真データを記録する撮影者は、３Ｄモデルを再構築するために３Ｄモデル生成モジュール２１０、２４０に十分な情報を提供するために、構造化３Ｄモデル構築のためのオブジェクト１３３の最適なカバレージを与えることができる厳密な角度及び距離にガイドされ得るので、写真の数をほんの４～６枚の写真に低減することができる。

ステップ３０４において、オブジェクト・パラメータ１３６、２０８、２３８はまた、たとえば、ＡＲガイデッド走査アプリケーション１３２、２０２、２３２を介して受信される。上述のように、写真データを記録するユーザは、オブジェクト・パラメータのセットが収集のために選択され得るようにオブジェクト・カテゴリーを入力することを必要とされ得る。再び、オブジェクト・パラメータ１３６、２０８、２３８は、オブジェクト属性であり得、ここで、オブジェクト１３３は、完全で、より大きい本体の部分ではなく、それゆえ、その全体が撮影されている。しかしながら、オブジェクト１３３が、より大きい本体の一部分、たとえば、人の手又は足である場合、オブジェクト・パラメータ１３６、２０８、２３８は、人の体重、身長など、より大きい本体の特性をも含むことができる。

一連の２Ｄ写真１３４、２０６、２３６及びオブジェクト・パラメータ１３６、２０８、２３８は、図２Ａ及び図２Ｂのコンテキストにおいて考察されたように、ステップ３０６において一連の写真１３４、２０６、２３６からオブジェクト１３３の構造化３Ｄモデル１５０、２２４、２６０を構築する、３Ｄモデル生成モジュール１４２、２１０、２４０に提供される。

構造化３Ｄモデル１５０、２２４、２６０及びオブジェクト・パラメータ１３６、２０８、２３８は、ステップ３１０においてオブジェクト圧力推定ＤＬＮ１４６、２２６、２６６に直接的に（図２Ａ）又は間接的に（図２Ｂ）提供される。オブジェクト１３３と表面１３５との間の接触のエリア内の各点における圧力を推定するように訓練された、オブジェクト圧力推定ＤＬＮ１４６、２２６、２６６は、ステップ３１２においてオブジェクト１３３の圧力マップ１５２、２２８、２６８を予測する。このようにして生成された圧力マップは、分析目的のために、又は下流の製造プロセスを可能にするためにさらにアクセスされ得る。圧力マップ１５２、２２８、２６８に関するデータは、一実施例では、可視ＧＵＩ出力なしに、製造システム１５４など、外部のシステムに直接的にエクスポートされ得る。別の実施例では、１つ又は複数のコンピューティング・デバイス上の１つ又は複数のＧＵＩ上に表示される圧力マップの形態の可視出力が、もたらされ得る（たとえば、図１５）。

例示的写真測量プロセス
図４は、２Ｄ写真２０６、２３６から、スケーリングされた非構造化３Ｄメッシュ２１４、２４８を構築するための方法の実例を詳述するフローチャートを示す。２Ｄ写真から、スケーリングされた非構造化３Ｄメッシュを構築するための様々なアルゴリズムが、本発明の範囲内にある。限定ではなく例示として、スケーリングされた非構造化３Ｄメッシュ生成のための、本発明の一実施例によって実装されるステップが、以下で考察される。他のアルゴリズムの実装形態は、スケーリングされた非構造化３Ｄメッシュ２１４、２４８の構築に、異なるステップ又はプロセスを伴い得る。オブジェクトの構造化３Ｄモデルの生成のためのさらなるステップが、図８、図９、及び図１０に関連して開示される。

写真測量プロセスは、最初に、ステップ４０４において２Ｄ写真４０２、２０６、２３６から特徴を抽出する。その結果、変化するカメラ視点に対して一連の２Ｄ写真４０２、２０６、２３６において不変である特徴的なピクセルのグループが、抽出される。スケール不変特徴量変換（ＳＩＦＴ：Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）アルゴリズムなどの特徴検出方法が、使用され得る。ＳＩＦＴは、最初に、回転、並進（ｔｒａｎｓｌａｔｉｏｎ）、及びスケールにかかわらず、一連の２Ｄ写真４０２、２０６、２３６中の第２の画像の識別パッチ（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｐａｔｃｈ）と比較され得る、一連の２Ｄ写真４０２、２０６、２３６の第１の画像中の識別パッチの抽出を可能にする。この方法論では、ＳＩＦＴ不変性が、観点が画像獲得中に変化しているときに起こる画像変換に対処するために使用され得る。実例では、ポストフィルタ処理ステップが、抽出される特徴の数を制限するために使用され得る。

ステップ４０６において、画像整合プロセスが、オブジェクト１３３の同じエリアをキャプチャする写真を識別するために実行される。語彙木手法（ｖｏｃａｂｕｌａｒｙ ｔｒｅｅ ａｐｐｒｏａｃｈ）が、画像記述子を生成するために採用され得る。次いで、画像記述子の間の距離が、オブジェクトの同じ部分を示す写真を整合させるために計算される。

ステップ４０８において、候補画像サブセット、たとえば、４０６において識別された画像ペアの間の特徴が、整合される。実例では、２つ又はそれ以上の入力画像からの記述子のセットの間の測光整合（ｐｈｏｔｏｍｅｔｒｉｃ ｍａｔｃｈ）が、実施され得る。たとえば、入力画像Ｉ中の各特徴について、候補整合特徴（ｃａｎｄｉｄａｔｅ ｍａｔｃｈｉｎｇ ｆｅａｔｕｒｅ）のリストが、画像ＩＩから取得される。再び、ステップ４０６において生成された特徴記述子は、画像ペアの間の特徴整合（ｆｅａｔｕｒｅ ｍａｔｃｈｉｎｇ）のために採用され得る。近似最近傍（ＡＮＮ：Ａｐｐｒｏｘｉｍａｔｅ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）などのプロセスが、特徴整合のために採用され得る。

ステップ４１０において、入力画像によって提供された観測値の背後にある幾何学的関係が分析され、すべてのカメラの姿勢（位置及び向き）及び内部較正をもつ剛性シーン構造（ｒｉｇｉｄ ｓｃｅｎｅ ｓｔｒｕｃｔｕｒｅ）（３Ｄ点）が推論される。まず、新しいビューを加えることによって反復的に拡張された初期２ビュー再構築（ｉｎｉｔｉａｌ ｔｗｏ－ｖｉｅｗ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）が、計算される。

ステップ４１０において解決（ｒｅｓｏｌｖｅ）されたカメラの各々について、各ピクセルの深度値が、４１２において検索される。ブロック整合、セミグローバル整合（ＳＧＭ：Ｓｅｍｉ－Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）、又はＡＤＣｅｎｓｕｓなど、様々な方法論が、深度マップ推定のために採用され得る。２Ｄ写真４０２、２０６、２３６の各々についての深度マップが、独立して及び並列に計算され得る。フィルタ処理ステップは、複数のカメラの間の一貫性（ｃｏｎｓｉｓｔｅｎｃｙ）を保証することができる。スケール・ファクタ２０４、２３４入力が、ステップ４１２又は４１４において使用され、よって、入力画像４０２から生成されたオブジェクトの３Ｄ表現をスケーリングすることができる。

メッシング・ステップ４１４において、（オブジェクト１３３を含む）シーンの高密度幾何学的表面表現が、作成される。すべての深度マップは、最初に、互換性がある深度値が八分木セルにマージされるグローバル八分木（ｇｌｏｂａｌ ｏｃｔｒｅｅ）に組み合わせられる。複合投票手順（ｃｏｍｐｌｅｘ ｖｏｔｉｎｇ ｐｒｏｃｅｄｕｒｅ）、たとえば、３Ｄデローネイ・テトラヘドラリゼーションが、次いで、セル上の重さ、及びセルを接続するファセット上の重さを算出するために実行される。得られた体積は、次いで、グラフ・カット・マックスフローのような手順を採用することによって、最適に切断される。この切断は、抽出されたメッシュ表面を表す。他のフィルタ処理手順が、ローカル・アーテファクトを削除するためにメッシュに対して適用され得、メッシュはまた、不要な頂点を低減するために簡略化され得る。

ステップ４１４において作成されたメッシュは、ステップ４１６においてテクスチャ化される。メッシュが、関連する「ＵＶ」を有しない場合、写真測量プロセスは、自動「ＵＶ」マップを計算することができる。この例では、文字「Ｕ」及び「Ｖ」は、２Ｄテクスチャの軸を表す。各三角形について、各頂点に関連する可視性情報が、次いで、テクスチャ候補を検索するために使用される。表面に対する良好な角度をもたないカメラは、前頭平行カメラ（ｆｒｏｎｔｏ－ｐａｒａｌｌｅｌ ｃａｍｅｒａ）を選好するためにフィルタ処理され、次いで、ピクセル値は平均化される。

このようにして上記で説明されたプロセスの各々は、中間ファイルを作成する。たとえば、メッシング・プロセス４１４は、オブジェクト・ファイル（たとえば、「ｍｅｓｈ．ｏｂｊ」）を作成する。しかしながら、最終結果は、オブジェクト・タイプである、テクスチャ化された「ｍｅｓｈ．ｏｂｊ」の形態のテクスチャ・マップである。背景又はキャプチャされた他の外来アーテファクトは除去され、オブジェクト４１８のスケーリングされた非構造化３Ｄメッシュを生じることができる。写真測量プロセスは、スケーリングされた非構造化３Ｄオブジェクト・メッシュ４１８作成プロセスの各ステップにおいて視覚出力を表示するための別個のＧＵＩを含むことができるが、ＧＵＩは、すべてのシナリオにおいて必要とされるとは限らない。高解像度テキスト・マップ又は３Ｄメッシュは、概して、写真測量プロセスにおけるデフォルト設定を用いて作成されるが、これらの高解像度マップは、リアルタイム適用例のためのより低い解像度の構造化テクスチャ・マップ（たとえば、構造化３Ｄモデル１５０、２２４、２６０）を作成するために、抽出されたキーポイント２１８、２４６及びリトポロジー２２０、２５６を使用してさらに処理され得る。

図５は、実施例による、２Ｄ写真１３４、２０６、２３６、及び３Ｄモデル生成モジュール１４２、２１０、２４０によって２Ｄ写真から構築された構造化３Ｄモデル１５０、２２４、２６０の実例を示す、３Ｄモデル生成５００を例示する。手の写真、たとえば、画像５０２が、３Ｄモデル生成モジュール１４２、２１０、２４０に供給されたとき、５０４において示されている手の構造化３Ｄモデルが、生成される。同様に、画像５０６など、脚の一連の写真が、３Ｄモデル生成モジュール１４２、２１０、２４０に供給されたとき、５０６において示されている脚の３Ｄモデルが、生成される。

生成された圧力マップを利用するカスタム・インソール製造
図６は、本発明の実施例による、圧力マップ予測システム１４０によって生成された圧力マップ６０２の適用例のうちの１つのブロック図を示す。足の圧力マップ６０２は、製造システム６０８に提供される。加えて、足の生成された構造化３Ｄモデル６０６から取得され得る足測定値６０４も、足の構造化３Ｄモデル６０６と一緒に、製造システム６０８に供給される。３Ｄプリンタなど、製造システム６０８は、次いで、カスタマイズされたインソール６１０など、製品を出力することができる。出力製品（たとえば、インソール６１０）は、提供された測定値及びオブジェクト形状（たとえば、人の足の形状）を考慮に入れて作られるだけでなく、それは、予測された圧力マップ６０２中の特定の圧力点に合わせてカスタマイズされる。図６のインソール６１０の場合、製造システム６０８は、足測定値のみからもたらされるであろうインソールよりも足により良く人間工学的にフィットする製品を提供する。

圧力推定深層学習ネットワーク（ＤＬＮ）を訓練すること
深層学習ネットワークなど、任意の機械学習方法のための開始点は、システム入力及び正しい成果の複数の例を含んでいるドキュメント化されたデータセット（換言すれば、訓練データ）である。このデータ・セットは、機械学習システムを訓練し、訓練されたシステムの性能を評価及び最適化するために、限定はされないが、パラメトリック分類方法、ノンパラメトリック方法、決定木学習、ニューラル・ネットワーク、帰納的学習及び分析的学習の両方を組み合わせる方法、並びに回帰モデルなどのモデリング手法など、標準化された機械学習方法を含む、当技術分野において知られている方法を使用して、使用され得る。機械学習システム出力の出力の品質は、（ａ）パターン・パラメータ化、（ｂ）学習機械設計、及び（ｃ）訓練データベースの品質に依存する。これらのコンポーネントは、様々な方法を使用して改良及び最適化され得る。たとえば、データベースは、新しいドキュメント化された主題のためのデータ・セットを加えることによって、改良され得る。データベースの品質は、たとえば、カスタマイゼーションが１人又は複数の専門家によって達成された事例でデータベースをポピュレートすることによって、改善され得る。このようにして、データベースは、専門家の知識をより良く表すことになる。一実施例では、データベースは、訓練されたシステムの評価を支援することができる、整合の実例についてのデータを含む。訓練データベースはまた、訓練されているＤＬＮによってもたらされた成功した成果でデータベースをポピュレートすることによって、フィードバック方法を介して改善され得る。

図７は、一実施例による、教師あり学習を介してオブジェクト圧力推定ＤＬＮを訓練するためのＤＬＮ訓練システム１３８のブロック図を示す。教師あり学習は、所望のネットワーク挙動の実例のセットとともにネットワークに学習則を提供することを伴う。ＤＬＮ訓練システム１３８、７１０は、３Ｄモデル生成のための、足スキャナなど、３Ｄスキャナ７０１と、対応する圧力マップ７０８を生成するためのオブジェクト圧力スキャナ７０６とに結合され得る。ＤＬＮ訓練システム１３８、７１０は、３Ｄモデル受信機７１２、オブジェクト・パラメータ受信機７１４、圧力マップ受信機７１６、及び訓練データ７２０を記憶するための訓練データベース７１８を含む。訓練データ７２０は、特定のオブジェクト・カテゴリー（たとえば、人間の足）に属するオブジェクトの圧力マップ１５２、２２８、２６８を生成するようにオブジェクト圧力推定ＤＬＮ１４６、２２６、２６６を訓練するために、その特定のオブジェクト・カテゴリーに関連する多数のサンプル・オブジェクトから収集される。上述のように、異なるＤＬＮが、異なるカテゴリーのオブジェクトの圧力マップを生成する際に訓練され得る。

足圧マップを生成するためのオブジェクト圧力推定ＤＬＮ７２２を訓練する実例が、以下で考察される。ＤＬＮ訓練システム１３８、７１０には、多数の人々の足から収集された訓練データ７２０が供給される。各人について、３Ｄモデル受信機７１２は、人の（片方又は両方の）足の３Ｄモデル７０２を受信する。３Ｄモデル７０２は、３Ｄスキャナ７０１（たとえば、足スキャナ）を使用して生成される。代替的に、受信された３Ｄモデルは、３Ｄモデル生成モジュール１４２、２１０、２４０を使用して一連の２Ｄ画像から生成され得る。オブジェクト・パラメータ受信機７１４は、身長、体重、ＢＭＩ、性別、人種プロファイルなどを含む、上述のオブジェクト又は人の様々なパラメータを受信する。最後に、圧力マップ受信機７１６は、オブジェクト圧力スキャナ７０６によって生成されたオブジェクト（たとえば、人の足）の圧力マップ７０８を受信する。サンプルは、訓練データベース７１８をポピュレートするために、数千人の人々から収集される。訓練データベース７１８からのサンプルは、圧力マップ１５２、２２８、２６８を生成するようにオブジェクト圧力推定ＤＬＮ７２２を訓練及び試験するために使用される。仮想訓練データも、実在足圧走査に対するデータ拡張、又は仮想足モデルから仮想訓練データを生成することなど、技法を使用して、圧力推定ＤＬＮ１４６、２２６、２６６、７２２を訓練するために生成され得る。

例示的キーポイントＤＬＮアーキテクチャ及びリトポロジー・プロセス
図８は、本発明の一例示的実施例による、深層学習を使用して２Ｄ写真２３６中のキーポイント２４６を検出するための２ＤキーポイントＤＬＮ２４４アーキテクチャの図を示す。図８は、例示的スタック型砂時計畳み込みニューラル・ネットワーク（ＣＮＮ）アーキテクチャを示す。

スタック型砂時計ＣＮＮは、人間の姿勢など、パターンを検出する際に効率的であるランドマーク検出ＤＬＮである。それらは、通常、複数のスタック型砂時計モジュールから構成され、ここで、各砂時計モジュールは、対称的なダウンサンプリング及びアップサンプリング層を有する。連続する砂時計モジュールは中間監視を有し、このようにして、ダウンサンプリング及びアップサンプリング層の間の繰返し推論を可能にする。一実施例では、スタック型砂時計ＣＮＮアルゴリズムは、本明細書で完全に記載されるかのように、本明細書でその全体が参照により本明細書に組み込まれる、ａｒＸｉｖ：１６０３．０６９３７で入手可能な、Ａｌｅｊａｎｄｒｏ Ｎｅｗｅｌｌ，ｅｔ ａｌ．、「Ｓｔａｃｋｅｄ Ｈｏｕｒｇｌａｓｓ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」、ＥＣＣＶ２０１６、２０１６年９月１７日に説明されているように実装される。

図８は、４つの砂時計モジュール８０６をもつスタック型砂時計ＣＮＮ８０４を示す。図８中に示されているように、訓練されたスタック型砂時計ＣＮＮは、入力画像８０２からキーポイント８０６を抽出するために使用され得る。２Ｄキーポイント注釈付けを行うために、スタック型砂時計ＣＮＮは、オブジェクト・フォト及び対応するキーポイントを備える訓練データ・セットを使用してあらかじめ訓練されなければならない。そのような訓練データは、３Ｄ走査された及びリトポロジー化されたオブジェクト（たとえば、足）データを通して取得され得る。

高解像度ネットワーク（ＨＲＮｅｔ：Ｈｉｇｈ－Ｒｅｓｏｌｕｔｉｏｎ Ｎｅｔｗｏｒｋ）は、２ＤキーポイントＤＬＮ２４４のための好適なＤＬＮベース・アーキテクチャである別のランドマーク検出ＤＬＮである。ＨＲＮｅｔは、人間の姿勢推定、セマンティック・セグメント化、及び顔ランドマーク検出において使用される。ＨＲＮｅｔｓは、接続平行高低間解像度畳み込み（ｃｏｎｎｅｃｔｅｄ ｐａｒａｌｌｅｌ ｈｉｇｈ－ｔｏ－ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ ｃｏｎｖｏｌｕｔｉｏｎ）から構成され、平行畳み込みにわたる繰返し融合を可能にし、強い高解像度表現につながる。一実施例では、ＨＲＮｅｔアルゴリズムは、本明細書で完全に記載されるかのように、本明細書でその全体が参照により本明細書に組み込まれる、ａｒＸｉｖ：１９０２．０９２１２で入手可能な、Ｋｅ Ｓｕｎ，ｅｔ ａｌ．、「Ｄｅｅｐ Ｈｉｇｈ－Ｒｅｓｏｌｕｔｉｏｎ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｈｕｍａｎ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」、ＣＶＰＲ２０１９、２０２０年１月９日に説明されているように実装される。

スタック型砂時計ＣＮＮ及びＨＲＮｅｔは、本発明の範囲内にある例示的ＤＬＮアルゴリズムにすぎず、本発明は、スタック型砂時計ＣＮＮ又はＨＲＮｅｔの使用に限定されない。他のＤＬＮアルゴリズムも、本発明の範囲内にある。たとえば、本発明の一実施例では、畳み込みニューラル・ネットワーク（ＣＮＮ）は、２Ｄ入力フォト２３６からオブジェクト・キーポイント２４６を抽出するための２ＤキーポイントＤＬＮ２４４として利用される。

図９は、本発明の一例示的実施例による、注釈付きの非構造化３Ｄメッシュ２１８、２５４及びベース３Ｄメッシュ２２２、２５８から構造化３Ｄモデル２２４、２６０を構築するためのリトポロジー２２０、２５６方法の実例を詳述するフローチャートを示す。ベース３Ｄメッシュ２２２、２５８は、（たとえば、クラウド中の）サーバに又はデバイス内に記憶された、オブジェクトの未加工３Ｄメッシュ表現である。リトポロジー・プロセス２２０、２５６は、ターゲット・オブジェクト１３３のカテゴリーにおける少なくとも１つのベース３Ｄメッシュ２２２、２５８を含んでいる、３Ｄベース・メッシュのライブラリにアクセスすることができる。一実施例では、ライブラリ中のベース３Ｄメッシュは、構造化され、事前に注釈を付けられる。リトポロジー２２０、２５６は、存在する構造化及び注釈付きのベース３Ｄメッシュ２２２、２５８を、それのキーポイント及びそれの表面が、注釈付きの非構造化３Ｄメッシュ２１８、２５４のキーポイント及び表面と整合するように、ターゲット・オブジェクト１３３の構造化３Ｄモデル２２４、２６０にモーフィングする、モーフィング・プロセスである。

リトポロジー２２０、２５６は、それゆえ、図９中に示されているような、適応型ベース・メッシュ調節プロセスである。このプロセスは、３つの主要なステップを有する。まず、ステップ９０２において、ベース・メッシュ２２２、２５８及び非構造化メッシュ２１８、２５４のキーポイントが、アラインされる。第２に、ステップ９０４において、ベース・メッシュ２２２、２５８のキーポイントの各々についての新しい３Ｄ位置が、３Ｄ投影誤差関数が最小化されるように計算される。投影誤差関数は、変形の測度、又はベース・メッシュ２２２、２５８と非構造化３Ｄメッシュ２１８、２５４（換言すれば、ターゲット・メッシュ）との間の距離であり、少なくとも２つの項を有する。投影誤差関数の第１の項は、ベース・メッシュの表面とターゲット・メッシュの表面との間の距離に対応する表面誤差である。投影誤差関数の第２の項は、ベース・メッシュ・キーポイントとターゲット・メッシュ・キーポイントとの間のグローバル距離メトリック（ｇｌｏｂａｌ ｄｉｓｔａｎｃｅ ｍｅｔｒｉｃ）に対応するキーポイント投影誤差である。２つの項は、係数を使用して投影誤差関数において重み付けされ得る。ステップ９０４は、ベース・メッシュについての推定３Ｄキーポイントの修正されたセットの定義につながる。第３に、ステップ９０６において、ベース・メッシュは、それの修正された３Ｄキーポイントと整合するように変形（換言すれば、モーフィング）される。投影誤差関数の最小化は、ターゲット・メッシュの表面に対するベース・メッシュの接着を確実にする。ベース・メッシュ２２２、２５８のモーフィングは、オブジェクト１３３のスケーリングされた構造化３Ｄメッシュ表現（換言すれば、構造３Ｄモデル２２４、２６０）を生じる。

リトポロジーの別の実施例は、直接的に入力２Ｄ画像２３６を使用し得る。その実施例では、キーポイントは、画像面上へのベース・メッシュ２５８の投影との、入力画像２３６の各々の初期アライメントのために使用される。ここで、異なる投影誤差関数が、輪郭誤差（換言すれば、オブジェクトの画像とベース・メッシュ投影との間の形状の差）をキャプチャするために使用され得る。投影誤差を最小化するために、ベース・メッシュの表面は、それの投影された輪郭が、画像２３６上のオブジェクト１３３の形状と整合するように、モーフィングされる。上記で説明されたリトポロジー方法の両方が、反復的に使用され得、ここで、誤差関数は、十分に低い誤差しきい値が実現されるまで、モーフィングされたベース・メッシュの数回の反復について計算される。

一実施例によれば、構造化３Ｄモデルを生成するための投影誤差最小化を通した構造化３Ｄベース・メッシュのモーフィングは、既存の写真測量プロセスを改善し、４０～６０枚のフォトを必要とし得る一般的な写真測量プロセスの代わりに、いくつかの実施例では、わずか４～６枚のフォトを使用するオブジェクトの３Ｄモデルの３Ｄ再構築を可能にする。

圧力推定ＤＬＮアーキテクチャ
図１０は、本発明の一例示的実施例による、圧力推定ＤＬＮアーキテクチャのブロック図を示す。図１０の実施例は、ベクトル量子化変分オートエンコーダ（ＶＱ－ＶＡＥ：Ｖｅｃｔｏｒ Ｑｕａｎｔｉｓｅｄ－Ｖａｒｉａｔｉｏｎａｌ ＡｕｔｏＥｎｃｏｄｅｒ）に基づく圧力推定ＤＬＮアーキテクチャを示す。

変分オートエンコーダ（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ ＡｕｔｏＥｎｃｏｄｅｒ）は、エンコーダ・ニューラル・ネットワーク、デコーダ・ニューラル・ネットワーク、及び損失関数からなる。エンコーダは、事実上データの寸法が低減された確率表現（ｓｔｏｃｈａｓｔｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）である潜在表現（換言すれば、隠れた表現）に、データを符号化する。デコーダは、次いで、データと同じ寸法をもつ再構築された表現を作成する。損失関数（換言すれば、訓練プロセスにおいて最適化される関数）は、ＶＡＥが、入力の確率分布を学習し、再構築プロセスにおいてそれを考慮に入れることを可能にするように設計される。この設計は、ＶＡＥが、データの複素生成モデルを構築し、それらをより大きいデータ・セットにフィットさせることを可能にし、効率的な画像生成及び強化学習につながる。ベクトル量子化変分オートエンコーダ（ＶＱ－ＶＡＥ）は、潜在表現が連続的というよりむしろ離散的であるという点で、ＶＡＥとは異なり、離散的表現を学習する生成ネットワーク・モデルにつながる。

図１０中で、ＤＬＮアーキテクチャは、潜在表現への追加のパラメータ入力１００４を伴う修正されたＶＱ－ＶＡＥ１００６であり、ここで、追加のパラメータ入力１００４は、１つ又は複数の受信されたオブジェクト・パラメータ１２０、１３６、２０８、２３８である。図１０中で、ＶＱ－ＶＡＥの入力は、３Ｄ体積データ１００２であり、ターゲット・オブジェクト１３３の生成された構造化３Ｄモデル２２４（図２Ａ）、又は構造化３Ｄモデル２６０から導出された密度マップ２６４（図２Ｂ）を意味する。任意のＶＱ－ＶＡＥに関して、修正されたＶＱ－ＶＡＥ１００６は、エンコーダ・ネットワーク１００８及びデコーダ・ネットワーク１０１０を有する。しかしながら、潜在表現は、オブジェクト・パラメータ１００４の包含によって修正される。ＶＱ－ＶＡＥデコーダは、ターゲット・オブジェクト１３３の推定圧力マップ１０１２を生成する。潜在表現にオブジェクト・パラメータを加えることは、ＶＱ－ＶＡＥが、異なるオブジェクト・パラメータから異なる表現を学習し、よって、推定圧力マップ１０１２の生成においてオブジェクト・パラメータを考慮に入れることを可能にする。

一実施例では、図１０のＤＬＮがそれに基づくＶＱ－ＶＡＥアルゴリズムは、本明細書で完全に記載されるかのように、本明細書でその全体が参照により本明細書に組み込まれる、ａｒＸｉｖ：１７１１．００９３７で入手可能な、Ａａｒｏｎ ｖａｎ ｄｅｎ Ｏｏｒｄ，ｅｔ ａｌ．、「Ｎｅｕｒａｌ Ｄｉｓｃｒｅｔｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ Ｌｅａｒｎｉｎｇ」、ＮＩＰＳ２０１７、２０１７年１２月５日に説明されているように実装される。ＶＱ－ＶＡＥは、本発明の範囲内にある例示的ＤＬＮアルゴリズムにすぎず、本発明は、ＶＱ－ＶＡＥの使用に限定されない。他のＤＬＮアルゴリズムも、本発明の範囲内にある。

本発明のハードウェア、ソフトウェア、及びクラウド実装形態
考察されるように、本開示全体にわたって説明されるデータ（たとえば、フォト、テキスト説明、及び同様のもの）は、クラウド・コンピューティング・プラットフォームに記憶されるか又はクラウド・コンピューティング・プラットフォーム上でホストされたデータベースに記憶されたデータを含むことができる。本開示は、以下で、クラウド・コンピューティングについての詳細な説明を含むが、本明細書で具陳される教示の実装形態は、クラウド・コンピューティング環境に限定されないことを理解されたい。そうではなく、本発明の実施例は、現在知られているか又は後で開発される任意の他のタイプのコンピューティング環境と併せて実装されることが可能である。

クラウド・コンピューティングは、最小限の管理努力又はサービスのプロバイダとの対話で急速にプロビジョニング又は解放され得る、構成可能なコンピューティング・リソース（たとえば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、及びサービス）の共有プールへの便利なオンデマンド・ネットワーク・アクセスを可能にするためのサービス配信のモデルを指すことがある。このクラウド・モデルは、少なくとも５つの特性、少なくとも３つのサービス・モデル、及び少なくとも４つの展開モデルを含むことがある。

特性は、以下のうちの１つ又は複数を含み得る。オンデマンド・セルフサービス：クラウド消費者が、サービスのプロバイダとの人間対話を必要とせずに自動的に必要に応じて、サーバ時間及びネットワーク・ストレージなど、計算能力を単方向にプロビジョニングすることができる。広域ネットワーク・アクセス：能力が、ネットワーク上で利用可能であり、異種のシン又はシック・クライアント・プラットフォーム（たとえば、モバイル・フォン、ラップトップ、及びＰＤＡ）による使用を促進する標準的な機構を通してアクセスされる。リソース・プーリング：プロバイダのコンピューティング・リソースが、マルチテナント・モデルを使用して複数の消費者にサービスするためにプールされ、異なる物理及び仮想リソースが、要求に従って動的に割り当てられ、再割り当てされる。消費者は、概して、提供されたリソースの厳密なロケーションの制御又は知識を有しないが、より高い抽象レベル（たとえば、国、州、又はデータセンター）においてロケーションを特定することが可能であり得るという点で、ロケーション独立性の感覚がある。急速弾性（ｒａｐｉｄ ｅｌａｓｔｉｃｉｔｙ）：能力が、すばやくスケールアウトするために、いくつかの場合には自動的に、急速に及び弾性的にプロビジョニングされ、すばやくスケールインするために急速に解放され得る。消費者には、プロビジョニングのために利用可能な能力は、しばしば、無限であるように見え、任意の時間に任意の量で購入され得る。測定されたサービス（ｍｅａｓｕｒｅｄ ｓｅｒｖｉｃｅ）：クラウド・システムが、サービスのタイプに適した何らかの抽象レベル（たとえば、ストレージ、処理、帯域幅、及びアクティブなユーザ・アカウント）において計測能力を活用することによって、リソース使用を自動的に制御及び最適化する。リソース使用状況が、監視、制御、及び報告され得、利用されるサービスのプロバイダ及び消費者の両方に透明性を提供する。

別の実施例では、サービス・モデルは、以下のうちの１つ又は複数を含み得る。ソフトウェア・アズ・ア・サービス（ＳａａＳ：Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）：消費者に提供される能力が、クラウド・インフラストラクチャ上で稼働するプロバイダのアプリケーションを使用することである。アプリケーションは、ウェブ・ブラウザ（たとえば、ウェブベースの電子メール）など、シン・クライアント・インターフェースを通して様々なクライアント・デバイスからアクセス可能である。消費者は、限られたユーザ固有アプリケーション構成設定という考えられる例外はあるが、ネットワーク、サーバ、オペレーティング・システム、ストレージ、又は個々のアプリケーション能力さえも含む、基礎をなすクラウド・インフラストラクチャを管理又は制御しない。

プラットフォーム・アズ・ア・サービス（ＰａａＳ：Ｐｌａｔｆｏｒｍ ａｓ ａ Ｓｅｒｖｉｃｅ）：消費者に提供される能力が、プロバイダによってサポートされるプログラミング言語及びツールを使用して作成された、消費者が作成又は獲得したアプリケーションをクラウド・インフラストラクチャ上に展開することである。消費者は、ネットワーク、サーバ、オペレーティング・システム、又はストレージを含む、基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、展開されたアプリケーション、及び場合によっては環境設定をホストするアプリケーションに対する制御を有する。

インフラストラクチャ・アズ・ア・サービス（ＩａａＳ：Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）：消費者に提供される能力は、消費者が、オペレーティング・システム及びアプリケーションを含むことがある、任意のソフトウェアを展開し、稼働させることが可能である、処理、ストレージ、ネットワーク、及び他の基本コンピューティング・リソースをプロビジョニングすることである。消費者は、基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、オペレーティング・システム、ストレージ、展開されたアプリケーションに対する制御、及び場合によっては選択されたネットワーキング・コンポーネント（たとえば、ホスト・ファイアウォール）の限られた制御を有する。

展開モデルは、以下のうちの１つ又は複数を含み得る。プライベート・クラウド：クラウド・インフラストラクチャが、ある団体についてのみ運営される。クラウド・インフラストラクチャは、団体又はサード・パーティによって管理され得、構内に又は構外に存在することができる。

コミュニティ・クラウド：クラウド・インフラストラクチャが、いくつかの団体によって共有され、関心事項（たとえば、ミッション、セキュリティ要件、ポリシー、及びコンプライアンス考慮事項）を共有する特定のコミュニティをサポートする。クラウド・インフラストラクチャは、団体又はサード・パーティによって管理され得、構内に又は構外に存在することができる。

パブリック・クラウド：クラウド・インフラストラクチャが、一般社会又は大きい工業グループにとって利用可能にされ、クラウド・サービスを販売する団体によって所有される。

ハイブリッド・クラウド：クラウド・インフラストラクチャが、固有のエンティティのままであるが、データ及びアプリケーションのポータビリティを可能にする標準化された技術又は専用技術（たとえば、クラウドの間で負荷分散させるためのクラウド・バースティング）によってともに結びつけられた、２つ又はそれ以上のクラウド（プライベート、コミュニティ、又はパブリック）の合成物である。

クラウド・コンピューティング環境は、サービス指向型であり、ステートレスネス、低結合、モジュラリティ、及びセマンティック相互運用性に焦点を合わせる。クラウド・コンピューティングの中心に、相互接続されたノードのネットワークを含むインフラストラクチャがある。

クラウド・コンピューティング環境は、クラウドの消費者によって使用されるローカル・コンピューティング・デバイス、たとえば、携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）又はセルラー電話、デスクトップ・コンピュータ、ラップトップ・コンピュータ、及び／或いは自動車コンピュータ・システムなどがそれらと通信することができる１つ又は複数のクラウド・コンピューティング・ノードを含み得る。ノードは、互いに通信することができる。ノードは、本明細書の上記で説明されたプライベート、コミュニティ、パブリック、又はハイブリッド・クラウド、或いはそれらの組合せなど、１つ又は複数のネットワークにおいて、物理的に又は仮想的にグループ化され得る。これは、クラウドの消費者が、ローカル・コンピューティング・デバイス上のリソースをそれらのために維持する必要がないサービスとして、インフラストラクチャ、プラットフォーム及び／又はソフトウェアをクラウド・コンピューティング環境が提供することを可能にする。コンピューティング・デバイスのタイプは、例示的なものであるにすぎないこと、並びにコンピューティング・ノード及びクラウド・コンピューティング環境は、（たとえば、ウェブ・ブラウザを使用して）任意のタイプのネットワーク及び／又はネットワーク・アドレス指定可能接続を介して任意のタイプのコンピュータ化デバイスと通信することができることを理解されたい。

本発明は、サーバベースのハードウェア及びソフトウェアを使用して実装され得る。図１１は、本発明の一実施例を実装するためのサーバの例示的ハードウェア・アーキテクチャ図を示す。システムの多くのコンポーネント、たとえば、ネットワーク・インターフェースなどは、本発明を不明瞭にしないように示されていない。しかしながら、当業者は、システムがこれらのコンポーネントを必然的に含むことを諒解されよう。ユーザ・デバイスは、メモリ１１５０に結合された少なくとも１つのプロセッサ１１４０を含むハードウェアである。プロセッサは、１つ又は複数のプロセッサ（たとえば、マイクロプロセッサ）を表し得、メモリは、ハードウェアの主記憶装置、並びに任意の補足レベルのメモリ、たとえば、キャッシュ・メモリ、不揮発性又はバックアップ・メモリ（たとえば、プログラマブル又はフラッシュ・メモリ）、読取り専用メモリなどを備えるランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）デバイスを表し得る。加えて、メモリは、ハードウェア中の他の場所に物理的に配置されたメモリ・ストレージ、たとえば、プロセッサ中の任意のキャッシュ・メモリ、並びに仮想メモリとして使用される、たとえば、大容量ストレージ・デバイスに記憶された任意の記憶容量を含むと考えられ得る。

ユーザ・デバイスのハードウェアはまた、一般に、外部と情報を通信するためのいくつかの入力１１１０及び出力１１２０を受信する。ユーザとのインターフェースのために、ハードウェアは、１つ又は複数のユーザ入力デバイス（たとえば、キーボード、マウス、スキャナ、マイクロフォン、ウェブ・カメラなど）及びディスプレイ（たとえば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）パネル）を含み得る。追加の記憶のために、ハードウェアは、１つ又は複数の大容量ストレージ・デバイス１１９０、たとえば、特に、フロッピー（登録商標）又は他のリムーバブル・ディスク・ドライブ、ハード・ディスク・ドライブ、ダイレクト・アクセス・ストレージ・デバイス（ＤＡＳＤ：ＤｉｒｅｃｔＡｃｃｅｓｓＳｔｏｒａｇｅＤｅｖｉｃｅ）、オプティカル・ドライブ（たとえばコンパクト・ディスク（ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｋ）ドライブ、デジタル多用途ディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）ドライブなど）及び／或いはテープ・ドライブをも含み得る。さらに、ハードウェアは、ネットワークに結合された他のコンピュータとの情報の通信を可能にするために、インターフェース１つ又は複数の外部のＳＱＬデータベース１１３０、並びに１つ又は複数のネットワーク１１８０（たとえば、特に、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ワイド・エリア・ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ワイヤレス・ネットワーク、及び／又はインターネット）を含み得る。ハードウェアは、一般に、互いに通信するために、好適なアナログ及び／又はデジタル・インターフェースを含むことを諒解されたい。

ハードウェアは、オペレーティング・システム１１７０の制御下で動作し、上記で説明された方法、プロセス、及び技法を実施するために、参照番号によってまとめて指し示された、様々なコンピュータ・ソフトウェア・アプリケーション１１６０、コンポーネント、プログラム、コード、ライブラリ、オブジェクト、モジュールなどを実行する。

本発明は、クライアント・サーバ環境において実装され得る。図１２は、クライアント・サーバ環境において本発明の一実施例を実装するための例示的システム・アーキテクチャを示す。クライアント側のユーザ・デバイス１２１０は、スマートフォン１２１２、ラップトップ１２１４、デスクトップＰＣ１２１６、タブレット１２１０、又は他のデバイスを含み得る。そのようなユーザ・デバイス１２１０は、インターネットなど、何らかのネットワーク接続１２２０を通してシステム・サーバ１２３０のサービスにアクセスする。

本発明のいくつかの実施例では、システム全体は、いわゆるクラウド実装形態において、実装され、インターネットを介してエンドユーザ及びオペレータに提供され得る。ソフトウェア又はハードウェアのローカル・インストールは、必要とされないことがあり、エンドユーザ及びオペレータは、クライアント上のウェブ・ブラウザ又は同様のソフトウェアのいずれかを使用して、インターネットを介して直接的に本発明のシステムへのアクセスを可能にされ得、そのクライアントは、デスクトップ、ラップトップ、モバイル・デバイスなどであり得る。これは、クライアント側でのカスタム・ソフトウェア・インストールの必要性を解消し、サービス（ソフトウェアアズアサービス）の配信の柔軟性を増加させ、ユーザ満足度及び使いやすさを増加させる。本発明についての様々なビジネス・モデル、収益モデル、及び配信機構が想定され、すべて、本発明の範囲内にあると見なされるべきである。

通常は、本発明の実施例を実装するために実行される方法は、オペレーティング・システム、或いは「コンピュータ・プログラム」又は「コンピュータ・コード」と呼ばれる特定のアプリケーション、コンポーネント、プログラム、オブジェクト、モジュール又は命令のシーケンスの部分として実装され得る。コンピュータ・プログラムは、一般に、コンピュータ中の様々なメモリ及びストレージ・デバイス中に様々な時間において設定された１つ又は複数の命令を備え、それは、コンピュータ中の１つ又は複数のプロセッサによって読み取られ、実行されたとき、コンピュータに、本発明の様々な態様を伴う要素を実行するのに必要な動作を実施させる。その上、本発明は、完全に機能するコンピュータ及びコンピュータ・システムのコンテキストにおいて説明されたが、当業者は、本発明の様々な実施例が、様々な形態のプログラム製品として配布されることが可能であること、及び本発明が、配布を実際に遂行するために使用される機械又はコンピュータ可読媒体の特定のタイプにかかわらず、等しく適用されることを諒解されよう。コンピュータ可読媒体の実例は、限定はされないが、揮発性及び不揮発性メモリ・デバイス、フロッピー（登録商標）及び他のリムーバブル・ディスク、ハード・ディスク・ドライブ、光ディスク（たとえば、コンパクト・ディスク読取り専用メモリ（ＣＤ ＲＯＭ：Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、デジタル多用途ディスク（ＤＶＤ）など）など、記録可能タイプ媒体、並びにデジタル及びアナログ通信媒体を含む。

本発明の実例使用事例
図１３Ａ、図１３Ｂ、図１４Ａ、図１４Ｂ、及び図１５は、単一のカメラ及びＡＲガイデッド走査アプリケーション１０２、１３２、２０２、２３２をもつモバイル・デバイスが、圧力マップ予測のためのインターフェースとして使用される、本発明の使用事例の例示的図であり、本発明のいくつかの実施例がそれを通して実装されているモバイル・グラフィカル・ユーザ・インターフェース（ＧＵＩ）を示す、図である。

図１３Ａは、オブジェクト選択のためのユーザ・インストラクションを示すモバイル・デバイスＧＵＩの例示的図である。図１３Ａの実例では、オブジェクトは、人間の足であり、ＧＵＩは、右足又は左足を選択するためのユーザ・インストラクションを示す。図１３Ｂは、圧力マップ予測システム１４０にオブジェクト（換言すれば、選択された足）の画像を送るためのモバイル・デバイスＧＵＩの例示的図を示す。

図１４Ａは、選択されたオブジェクト（換言すれば、ユーザの右足）をキャプチャするためのモバイル・デバイスＧＵＩの例示的図を示す。キャプチャ・プロセスは、「開始」ボタン１４０２を押すことを通してユーザによって始められ得る。ＧＵＩは、例示的ターゲット・オブジェクト位置（たとえば、足形）１４０８と、カメラによってキャプチャされたリアルタイム画像の上に拡張現実（ＡＲ）においてオーバーレイされた検出された表面表現１４０４とを示す。図１４Ｂは、オブジェクト・アライメントのためのモバイル・デバイスＧＵＩの例示的図を示し、ここで、ＡＲターゲット・オブジェクト位置（たとえば、足形）１４０８及び表面表現１４０４は、依然として明らかである。図１４Ｂは、オブジェクト（ユーザの右足）１４１２が、モバイル・デバイスＧＵＩ上のＡＲオブジェクト・トラッカー１４１０によってガイドされることを示す。ユーザ・インストラクション１４１４が、ユーザの動き及び行為をさらにガイドするためにポップアップし得る。画像は、オブジェクト１４１２がＡＲターゲット位置１４０８とアラインされると、自動的にキャプチャされ得る。図１５は、出力オブジェクト（換言すれば、足）圧力マップ予測１５０４及び測定値１５０２をもつモバイル・デバイスＧＵＩの例示的図を示す。

図１３Ａ、図１３Ｂ、図１４Ａ、図１４Ｂ、及び図１５は、モバイル・デバイス上の単一のカメラが、オブジェクト圧力マップ予測のための２Ｄフォトをキャプチャするために使用される、本発明の使用事例の例示的図である。図１３Ａ、図１３Ｂ、図１４Ａ、図１４Ｂ、及び図１５中に示されているモバイル・デバイスは、少なくとも１つのカメラ、プロセッサ、非一時的記憶媒体、及びサーバへのワイヤレス通信を備える（図示せず）。一実施例では、モバイル・デバイス及びサーバのハードウェア・アーキテクチャは、図１１及び図１２中に示されているようなものである。一実施例では、オブジェクトの２Ｄフォトは、本明細書で説明される動作を実施するサーバに送信される。一実施例では、オブジェクトのフォトは、モバイル・デバイスのプロセッサによってローカルに分析される。実施された動作は、図１５中に示されているような、サーバに記憶され、並びにユーザに提示され得る、１つ又は複数の圧力マップ予測を返す。加えて、圧力マップ予測は、次いで、限定はされないが、１つ又は複数のカスタム衣服、カスタム・ボディ・スーツ、カスタム固定器（たとえば、医療人工装具）、カスタムＰＰＥ（個人保護機器）などを対象者に販売目的でオファーすることを含む、多くの目的のために利用され得る。さらに、圧力マップ予測は、サードパーティ・モバイル・デバイス及び／又はサードパーティ・サーバへの出力であり得る。一実施例では、出力は、デジタル・ファイル、電子メール、モバイル・アプリケーション又はウェブサイト上のテキスト説明、テキスト・メッセージ、それらの組合せ、及び同様のものの形態にあり得る。

一般性の喪失なしに、圧力マップ予測は、圧力マップがそれのために有用である任意の目的で、出力、送信、及び／又は利用され得る。特に、圧力マップ予測は、たとえば、圧力マップに基づいて衣服又は機器を製造する会社に関連する、コンピューティング・デバイス及び／又は対応するサーバへの出力であり得る。当業者は、圧力マップ予測の出力が、限定はされないが、小売、製造、医療など、正確で単純な圧力マップが有用である任意の目的で利用され得ることを認識されよう。

結論として、本発明は、わずか２～６枚のフォトを使用し、有用で正確な圧力マップ予測を実現することが予想される。システムは、任意の専用ハードウェア・センサーの使用を必要とせず、ユーザが、任意の専用の表面上に、又は任意の専用の背景に対して立つことを必要とせず、専用の照明を必要とせず、任意の距離で撮られたフォトとともに使用され得る。その結果、ユーザが、オブジェクトのフォトを容易に撮り、自動圧力マップ予測から恩恵を受けることができるような、任意のモバイル・デバイスとともに作動する圧力マップ予測システムが得られる。

当業者は、使用事例、構造、概略図、及びフロー図が、他の順序又は組合せで実施され得るが、本発明の発明的概念が、本発明のより広い範囲から逸脱することがないままであることがわかる。あらゆる実施例は、固有であり得、方法／ステップは、あらゆるユーザが、本発明の方法を実践するために収容（ａｃｃｏｍｍｏｄａｔｅ）されるように、短くされるか又は長くされるかのいずれかであり、他の活動と重ねられ、延期され、遅延され、時間ギャップの後に継続され得る。

本発明は、特定の例示的な実施例を参照しながら説明されたが、様々な修正及び変更が本発明のより広い範囲から逸脱することなくこれらの実施例に行われ得ることは明白である。それゆえに、本明細書及び図面は、限定的意味ではなく例示的意味で顧慮されるべきである。上記で説明された実施例は、教示された単数の説明（ｓｉｎｇｕｌａｒ ｄｅｓｃｒｉｐｔｉｏｎ）のうちのいずれかよりも大きい範囲を有し得る、単一のより広い発明の特定の実例であることも当業者には明らかであろう。本発明の範囲から逸脱することなく説明になされる多くの改変があり得る。

Claims (20)

1. オブジェクトの圧力マップを生成するためのコンピュータ実装方法であって、前記コンピュータ実装方法が、ハードウェア・プロセッサによって実行可能であり、前記方法は、
   前記オブジェクトの複数の２次元（２Ｄ）画像を受信することであって、前記複数の２Ｄ画像が、異なる角度から前記オブジェクトをキャプチャする、複数の２次元（２Ｄ）画像を受信することと、
   １つ又は複数の入力パラメータを受信することであって、前記入力パラメータが、前記オブジェクトに関連する少なくとも１つの属性を備える、１つ又は複数の入力パラメータを受信することと、
   前記複数の２Ｄ画像から前記オブジェクトの構造化３次元（３Ｄ）モデルを構築することと、
   圧力推定深層学習ネットワーク（ＤＬＮ）を使用して、前記構造化３Ｄモデル及び前記入力パラメータから前記オブジェクトの前記圧力マップを生成することであって、前記圧力推定ＤＬＮが、所与のオブジェクトの所与の構造化３Ｄモデル及び所与のパラメータからオブジェクトの圧力マップを生成するように訓練された、前記オブジェクトの前記圧力マップを生成することと
   を備える、コンピュータ実装方法。
2. 前記複数の２Ｄ画像から前記オブジェクトの前記構造化３Ｄモデルを構築することは、
   写真測量プロセス及びスケール・ファクタを使用して、前記複数の２Ｄ画像から前記オブジェクトのスケーリングされた非構造化３Ｄメッシュを生成することであって、前記スケーリングされた非構造化３Ｄメッシュが、前記構造化３Ｄモデルを生成するために利用される、前記オブジェクトのスケーリングされた非構造化３Ｄメッシュを生成すること
   を備える、請求項１に記載のコンピュータ実装方法。
3. 前記複数の２Ｄ画像から前記オブジェクトの前記構造化３Ｄモデルを構築することは、
   注釈付きのスケーリングされた非構造化３Ｄメッシュと整合するように注釈付きの構造化ベース３Ｄメッシュをモーフィングすることによって、前記注釈付きのスケーリングされた非構造化３Ｄメッシュから前記構造化３Ｄモデルを生成すること
   をさらに備える、請求項２に記載のコンピュータ実装方法。
4. 前記複数の２Ｄ画像から前記オブジェクトの前記構造化３Ｄモデルを構築することは、
   前記オブジェクトの前記スケーリングされた非構造化３Ｄメッシュから前記オブジェクトの前記注釈付きのスケーリングされた非構造化３Ｄメッシュを生成するために、３ＤキーポイントＤＬＮを利用することであって、前記注釈付きのスケーリングされた非構造化３Ｄメッシュが、前記構造化３Ｄモデルを生成するために利用される、３ＤキーポイントＤＬＮを利用すること
   をさらに備える、請求項３に記載のコンピュータ実装方法。
5. 前記３ＤキーポイントＤＬＮが、ＰｏｉｎｔＮｅｔに基づく、請求項４に記載のコンピュータ実装方法。
6. 前記複数の２Ｄ画像から前記オブジェクトの前記構造化３Ｄモデルを構築することは、
   前記複数の２Ｄ画像から１つ又は複数のキーポイントを抽出するために、２ＤキーポイントＤＬＮを利用することであって、前記１つ又は複数のキーポイントが、前記構造化３Ｄモデルを生成するために、前記注釈付きの非構造化３Ｄメッシュを生成するために使用される、２ＤキーポイントＤＬＮを利用すること
   をさらに備える、請求項３に記載のコンピュータ実装方法。
7. 前記複数の２Ｄ画像から前記オブジェクトの前記構造化３Ｄモデルを構築することは、
   前記注釈付きのスケーリングされた非構造化３Ｄメッシュを生成するために、前記オブジェクトの前記スケーリングされた非構造化３Ｄメッシュ上に前記１つ又は複数のキーポイントを投影することであって、前記注釈付きのスケーリングされた非構造化３Ｄメッシュが、前記構造化３Ｄモデルを生成するために利用される、前記１つ又は複数のキーポイントを投影すること
   をさらに備える、請求項６に記載のコンピュータ実装方法。
8. 前記２ＤキーポイントＤＬＮが、スタック型砂時計ネットワーク及び高解像度ネットワーク（ＨＲＮｅｔ）からなるグループから選択された、請求項６に記載のコンピュータ実装方法。
9. 前記構造化３Ｄモデル及び前記入力パラメータから前記オブジェクトの前記圧力マップを生成することは、
   表面上に前記構造化３Ｄモデルを投影することによって密度マップを生成することであって、前記密度マップが、前記圧力マップを生成するために利用される、密度マップを生成すること
   をさらに備える、請求項１に記載のコンピュータ実装方法。
10. 前記圧力推定ＤＬＮが、修正されたベクトル量子化変分オートエンコーダ（ＶＱ－ＶＡＥ）であり、
    前記密度マップが、前記圧力マップを生成するために、前記修正されたＶＱ－ＶＡＥへの入力として利用され、
    前記修正されたＶＱ－ＶＡＥが、所与の密度マップ及び１つ又は複数の所与の入力パラメータから所与の圧力マップを生成するように訓練された、
    請求項９に記載のコンピュータ実装方法。
11. 前記１つ又は複数の入力パラメータが、少なくともスケール・ファクタを備え、前記スケール・ファクタが、前記構造化３Ｄモデルを現実世界座標にスケーリングするために使用される、請求項１に記載のコンピュータ実装方法。
12. 前記構造化３Ｄモデルから抽出された３Ｄ測定値を利用して、前記構造化３Ｄモデルから３Ｄ製品を製造するようにとの命令を提供すること
    をさらに備える、請求項１に記載のコンピュータ実装方法。
13. 前記オブジェクトが、身体部位である、請求項１に記載のコンピュータ実装方法。
14. 前記圧力推定ＤＬＮが、３Ｄスキャナからの構造化３Ｄモデルと、オブジェクト圧力センサーからの対応する圧力マップとを備える訓練データに関して訓練された、請求項１に記載のコンピュータ実装方法。
15. プログラム・コードを記憶するための非一時的記憶媒体であって、前記プログラム・コードが、ハードウェア・プロセッサによって実行可能であり、前記プログラム・コードは、前記ハードウェア・プロセッサによって実行されたとき、前記ハードウェア・プロセッサにオブジェクトの圧力マップを生成させ、前記プログラム・コードは、
    前記オブジェクトの複数の２次元（２Ｄ）画像を受信することであって、前記複数の２Ｄ画像が、異なる角度から前記オブジェクトをキャプチャする、複数の２次元（２Ｄ）画像を受信することと、
    １つ又は複数の入力パラメータを受信することであって、前記入力パラメータが、前記オブジェクトに関連する少なくとも１つの属性を備える、１つ又は複数の入力パラメータを受信することと、
    前記複数の２Ｄ画像から前記オブジェクトの構造化３次元（３Ｄ）モデルを構築することと、
    圧力推定深層学習ネットワーク（ＤＬＮ）を使用して、前記構造化３Ｄモデル及び前記入力パラメータから前記オブジェクトの前記圧力マップを生成することであって、前記圧力推定ＤＬＮが、所与のオブジェクトの所与の構造化３Ｄモデル及び所与のパラメータからオブジェクトの圧力マップを生成するように訓練された、前記オブジェクトの前記圧力マップを生成することと
    を行うためのコードを備える、非一時的記憶媒体。
16. 前記複数の２Ｄ画像から前記オブジェクトの前記構造化３Ｄモデルを構築することを行うための前記プログラム・コードは、
    写真測量プロセス及びスケール・ファクタを使用して、前記複数の２Ｄ画像から前記オブジェクトのスケーリングされた非構造化３Ｄメッシュを生成することであって、前記スケーリングされた非構造化３Ｄメッシュが、前記構造化３Ｄモデルを生成するために利用される、前記オブジェクトのスケーリングされた非構造化３Ｄメッシュを生成すること
    を行うためのコードを備える、請求項１５に記載の非一時的記憶媒体。
17. 前記複数の２Ｄ画像から前記オブジェクトの前記構造化３Ｄモデルを構築することを行うための前記プログラム・コードが、
    注釈付きのスケーリングされた非構造化３Ｄメッシュと整合するように注釈付きの構造化ベース３Ｄメッシュをモーフィングすることによって、前記注釈付きのスケーリングされた非構造化３Ｄメッシュから前記構造化３Ｄモデルを生成すること
    を行うためのコードをさらに備える、請求項１６に記載の非一時的記憶媒体。
18. 前記複数の２Ｄ画像から前記オブジェクトの前記構造化３Ｄモデルを構築することを行うための前記プログラム・コードは、
    前記オブジェクトの前記スケーリングされた非構造化３Ｄメッシュから前記オブジェクトの前記注釈付きのスケーリングされた非構造化３Ｄメッシュを生成するために、３ＤキーポイントＤＬＮを利用することであって、前記注釈付きのスケーリングされた非構造化３Ｄメッシュが、前記構造化３Ｄモデルを生成するために利用される、３ＤキーポイントＤＬＮを利用すること
    を行うためのコードをさらに備える、請求項１７に記載の非一時的記憶媒体。
19. 前記複数の２Ｄ画像から前記オブジェクトの前記構造化３Ｄモデルを構築することを行うための前記プログラム・コードは、
    前記複数の２Ｄ画像から１つ又は複数のキーポイントを抽出するために、２ＤキーポイントＤＬＮを利用することであって、前記１つ又は複数のキーポイントが、前記構造化３Ｄモデルを生成するために、前記注釈付きの非構造化３Ｄメッシュを生成するために使用される、２ＤキーポイントＤＬＮを利用すること
    を行うためのコードをさらに備える、請求項１７に記載の非一時的記憶媒体。
20. ハードウェア・プロセッサと、プログラム・コードを記憶するための非一時的記憶媒体とを備えるシステムであって、前記プログラム・コードが、前記ハードウェア・プロセッサによって実行可能であり、前記プログラム・コードは、前記ハードウェア・プロセッサによって実行されたとき、前記ハードウェア・プロセッサにオブジェクトの圧力マップを生成させ、前記プログラム・コードは、
    前記オブジェクトの複数の２次元（２Ｄ）画像を受信することであって、前記複数の２Ｄ画像が、異なる角度から前記オブジェクトをキャプチャする、複数の２次元（２Ｄ）画像を受信することと、
    １つ又は複数の入力パラメータを受信することであって、前記入力パラメータが、前記オブジェクトに関連する少なくとも１つの属性を備える、１つ又は複数の入力パラメータを受信することと、
    前記複数の２Ｄ画像から前記オブジェクトの構造化３次元（３Ｄ）モデルを構築することと、
    圧力推定深層学習ネットワーク（ＤＬＮ）を使用して、前記構造化３Ｄモデル及び前記入力パラメータから前記オブジェクトの前記圧力マップを生成することであって、前記圧力推定ＤＬＮが、所与のオブジェクトの所与の構造化３Ｄモデル及び所与のパラメータからオブジェクトの圧力マップを生成するように訓練された、前記オブジェクトの前記圧力マップを生成することと
    を行うためのコードを備える、システム。

Images