JP2022535617A - レーダースキャンの適用範囲および効率を改善するためのシステムおよび方法 - Google Patents

Abstract

不規則な形状の対象の寸法を取得するためのシステムおよび方法。方法は、ハンドヘルドスキャナシステムのディスプレイによって、被写体の３Ｄ光像を表示し、被写体の３Ｄ光像上に重ねられたグリッドであって、行および列に配置された複数のマークを備えるグリッドを表示し、ハンドヘルドスキャナシステムのレーダーモジュールによって、レーダーモジュールと、少なくとも１つのアイテムによって覆われる不規則な形状の対象の第１の部分の少なくとも表面と、の間の感知された間隔を特定する距離データを生成し、ハンドヘルドスキャナシステムのプロセッサによって、被写体がスキャンされているときにレーダーモジュールから距離データを受信し、対応する距離データがプロセッサによって正常に受信されたときに、複数のマークの第１のマークの少なくとも１つの第１の視覚的特徴を変化させる。【選択図】図１

Description

この出願は、２０１９年７月１６日に出願された米国仮特許出願第６２／８７４，６１８号からの優先権を主張する。この米国仮特許出願の内容は、参照によりその全体が本明細書に組み込まれる。

本開示は、概して、データ処理システムに関する。より具体的には、本開示は、レーダースキャンの適用範囲および効率を改善するための実装システムおよび方法に関する。

今日の衣料品の買い物客は、衣料品のスタイル、カットおよびサイズの選択肢が膨大であるのに、それらのサイズや、現在のスタイルに彼／彼女らの身体の固有のプロポーションがどのようにフィットするのかについての十分な情報がないというジレンマに直面している。

本開示は、不規則な形状の対象（例えば、個人）の寸法を取得するための実装システムおよび方法に関する。方法は、ハンドヘルドスキャナシステムのディスプレイによって、被写体の３Ｄ光像を表示し、対象の３Ｄ光像上に重ねられたグリッドであって、行および列に配置された複数のマークを含むグリッドを表示し、ハンドヘルドスキャナシステムのレーダーモジュールによって、レーダーモジュールと、少なくとも１つのアイテム（例えば、個人が着用している衣服）によって覆われる不規則な形状の対象の第１の部分の少なくとも表面と、の間の感知された間隔を特定する距離データを生成し、ハンドヘルドスキャナシステムのプロセッサによって、被写体がスキャンされているときにレーダーモジュールから距離データを受信し、対応する距離データがプロセッサによって正常に受信されたときに、複数のマークのうちの第１のマークの少なくとも１つの第１の視覚的特徴（例えば、色、形状、またはサイズ）を変化させる。

方法はまた、ハンドヘルドスキャナシステムの光学モジュールによって、不規則な形状の対象の少なくとも第１の部分を覆う少なくとも１つのアイテムの表面と、不規則な形状の対象の露出している表面の第２の部分の表面と、を表す３Ｄ点群データを生成し、対象がスキャンされているときに、プロセッサによって、光学モジュールから３Ｄ点群データを受信し、プロセッサによって、３Ｄ点群データおよびレーダーデータを使用して、不規則な形状の対象の身体の寸法を表すマップを作成することを含む。

いくつかのシナリオでは、距離情報はまた、ハンドヘルドスキャナシステムから被写体までの距離を特定する３Ｄ光像にも重ね合わされる。追加的または代替的に、プロセッサは、複数のマークの第１のマークまたは第２のマークの少なくとも１つの第２の視覚的特徴を変化させて、スキャンされている対象に対するハンドヘルドスキャナシステムのポインティング方向を示す。第２の視覚的特徴が、少なくとも１つの第１の視覚的特徴とは異なる。プロセッサは、ハンドヘルドスキャナシステムのポインティング方向が変化したときに、第１または第２のマークの少なくとも１つの第２の視覚的特徴を前の設定に変化させてもよい。対象の対応する領域について被写体のスキャン中に距離データが正常に受信されたときに、新しいマークが３Ｄ光像の上にさらに重ね合わせられてもよい。

実装システムは、プロセッサと、ハンドヘルドスキャナシステムを使用して不規則な形状の対象（例えば、個人）の寸法を取得するための方法をプロセッサに実装させるように構成されたプログラミング命令を含む非一時的なコンピュータ可読記憶媒体と、を備える。プログラミング命令は、被写体の３Ｄ光像を表示する命令、被写体の３Ｄ光像に重ねられたグリッドであって、行および列に配置された複数のマークを含むグリッドを表示する命令、レーダーモジュールに、レーダーモジュールと、少なくとも１つのアイテム（例えば、個人が着用している衣服）で覆われている不規則な形状の対象の第１の部分の少なくとも表面と、の間の感知された間隔を特定する距離データを生成させる命令、および／または、対応する距離データがレーダーモジュールによって正常に生成されたときに、複数のマークの第１のマークの少なくとも１つの第１の視覚的特徴（例えば、色、形状、またはサイズ））を変化させる命令を備える。

プログラミング命令は、光学モジュールに、不規則な形状の対象の少なくとも第１の部分を覆う少なくとも１つのアイテムの表面と、不規則な形状の対象の露出している表面の第２の部分の表面と、を表す３Ｄ点群データを生成させる命令、および／または、プロセッサに、３Ｄ点群データおよびレーダーデータを使用して、不規則な形状の対象の身体の寸法を表すマップを作成させる命令を備える。

プログラミング命令は、距離情報をハンドヘルドスキャナシステムから被写体までの距離を特定する３Ｄ光像にも重ね合わせる命令、複数のマークの第１のマークまたは第２のマークの少なくとも１つの第２の視覚的特徴を変化させて、スキャンされている対象に対するハンドヘルドスキャナシステムのポインティング方向を示す命令、ハンドヘルドスキャナシステムのポインティング方向が変化したときに、第１または第２のマークの少なくとも１つの第２の視覚的特徴を前の設定に変化させる命令、および／または、対象の対応する領域について被写体のスキャン中に距離データが正常に受信されたときに、新しいマークを３Ｄ光像の上にさらに重ね合わせるようにする命令を備えてもよい。第２の視覚的特徴は、少なくとも１つの第１の視覚的特徴とは異なってもよい。

本開示はまた、不規則な形状の対象（例えば、個人）の寸法を取得するためのハンドヘルドスキャナシステムに関する。ハンドヘルドスキャナシステムは、ハウジングと、不規則な形状の対象の少なくとも第１の部分を覆う少なくとも１つのアイテムの表面と、不規則な形状の対象の露出している表面の第２の部分の表面と、を表す３Ｄ点群データを生成する少なくとも１つの３Ｄ光学センサを含む光学モジュールと、ハウジングと、少なくとも１つのアイテム（例えば、個人が着用している衣服）によって覆われる不規則な形状の対象の第１の部分の少なくとも表面と、の間の感知された間隔を特定する距離データを生成する少なくとも１つのレーダーセンサを含むレーダーモジュールと、被写体が光学モジュールおよびレーダーモジュールを使用してスキャンされている間、被写体の３Ｄ光像上に重ねられたグリッドであって、行および列に配置された複数のマークを含むグリッドを表示するディスプレイと、プロセッサと、を備える。プロセッサは、被写体がスキャンされているときに、光学モジュールから３Ｄ点群データと、レーダーモジュールから距離データを受信し、被写体のスキャン中に対応する距離データが正常に受信されたときに、各マークの少なくとも１つの第１の視覚的特徴（例えば、色、形状、またはサイズ）を変化させ、３Ｄ点群データとレーダーデータを使用して、不規則な形状の対象の身体の寸法を表すマップを作成する。

いくつかのシナリオでは、距離情報は、ハンドヘルドスキャナシステムから被写体までの距離を特定する３Ｄ光像にも重ね合わされる。追加的または代替的に、プロセッサは、さらに、複数のマークのうちの１つのマークの少なくとも１つの第２の視覚的特徴を変化させて、スキャンされている対象に対するハンドヘルドスキャナシステムのポインティング方向を示し、ハンドヘルドスキャナシステムのポインティング方向が変化したときに、マークの少なくとも１つの第２の視覚的特徴を前の設定に変化させ、および／または、対象の対応する領域について被写体のスキャン中に距離データが正常に受信されたときに、新しいマークを３Ｄ光像の上にさらに重ね合わせるように構成されている。第２の視覚的特徴は、少なくとも１つの第１の視覚的特徴とは異なってもよい。

本解決策は、以下の図を参照して説明され、図中の同様の数字は、図全体を通して同様の構成を表す。
本解決策を実施する例示的なシステムの斜視図である。 例示的なハンドヘルドスキャナシステムの正面斜視図である。 図３のハンドヘルドスキャナシステムの背面斜視図であり、ハウジングが透明に示されている。 例示的なハンドヘルドスキャナシステムのブロック図である。 例示的な波形レーダーユニットのブロック図である。 例示的なレーダープロセッサのシステム図である。 複数のアンテナ開口が同時に測距情報を捕捉するために使用される場合に使用されるターゲットに関するアンテナ形状のマルチラテレーションプロセスを示す概略図である。 ワイヤメッシュマネキンおよび適用範囲マップを示す斜視図である。 図１に示される演算装置の例示的な構成の図である。 図１に示されるシステムの動作を理解するのに有用な図である。 （本明細書ではまとめて「図１１」と呼ぶ）ハンドヘルドスキャナシステムを使用して３Ｄモデルを作成するための例示的な方法の流れ図である。 （本明細書ではまとめて「図１１」と呼ぶ）ハンドヘルドスキャナシステムを使用して３Ｄモデルを作成するための例示的な方法の流れ図である。 例示的なパラメトリック３Ｄモデルの図である。 例示的な被写体点群の図である。 パラメトリック３Ｄモデルおよび設定ベクトルを使用して、基準点群を感知された被写体点群に変形するための例示的なプロセスを示す。 例示的な合成表面モデルの図である。 対象をスキャンするための例示的な方法の流れ図である。 被写体の光学画像の上に重ねられたグリッドを示す画像である。 被写体の光学画像の上に重ねられたグリッドを示す画像である。 被写体の光学画像の上に重ねられたグリッドを示す画像である。 光学データから作成された情報を表す第１の点群、レーダーセンサから作成された情報を表す第２の点群、および光学データとレーダーデータの両方から作成された情報を表す第３の点群を示す図である。

本明細書に概して記載され、添付の図に示されている実施形態の構成要素は、多種多様な異なる構成で配置および設計され得ることが容易に理解されよう。したがって、図に示されているように、以下の様々な実施形態のより詳細な説明は、本開示の範囲を限定することを意図するものではなく、単に様々な実施形態を代表するものである。実施形態の様々な態様が図面に示されているが、特に示されない限り、図面は必ずしも一定の縮尺で描かれているわけではない。

本解決策は、その精神または本質的な特徴から逸脱することなく、他の特定の形態で具体化されてもよい。説明された実施形態は、すべての点で例示としてのみ考慮されるべきであり、限定的ではないと見なされるべきである。したがって、本解決策の範囲は、この詳細な説明ではなく、添付の特許請求の範囲によって示される。特許請求の範囲の意味および同等性の範囲内にあるすべての変更は、それらの範囲内に含まれるものとする。

本明細書全体にわたる特色、利点、または同様の文言への言及は、本解決策で実現され得るすべての特色および利点が、本解決策の任意の単一の実施形態であるべきである、またはそうであることを意味するものではない。むしろ、特色および利点を指す文言は、一実施形態に関連して説明される特定の特色、利点、または特徴が、本解決策の少なくとも１つの実施形態に含まれることを意味すると理解される。したがって、本明細書全体にわたる特色および利点、ならびに同様の文言の議論は、必ずしもそうではないが、同じ実施形態を参照してもよい。

さらに、本解決策の記載された特色、利点および特徴を、１つまたは複数の実施形態において任意の適切な方法で組み合わせてもよい。当業者は、本明細書の説明に照らして、本解決策が、特定の実施形態の特定の特色または利点のうちの１つまたは複数なしで実施できることを認識するであろう。他の例では、本解決策のすべての実施形態に存在しない可能性がある特定の実施形態において、追加の特色および利点が認識され得る。

本明細書全体を通して「一実施形態」、「ある実施形態」、または同様の文言への言及は、示された実施形態に関連して説明される特定の特色、構造、または特徴が本解決策の少なくとも１つの実施形態に含まれることを意味する。したがって、「一実施形態において」、「ある実施形態において」という句、および本明細書全体にわたる同様の文言は、必ずしもそうではないが、すべてが同じ実施形態を指す場合がある。

この文書で使用されるように、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明らかに他のことを示さない限り、複数形の参照を含む。別段の定義がない限り、本明細書で使用されるすべての技術的および科学的用語は、当業者によって一般的に理解されるのと同じ意味を有する。この文書で使用されているように、「備える」という用語は「含むがこれに限定されない」ことを意味する。

複雑な実世界の対象から３Ｄ表面スキャンまたは点群を生成するために利用可能な多くのシステムが存在する。ラベルのない３Ｄサーフェスは、静的対象の描写には役立つが、既知の機能と意味を持つ特定の領域またはサブ対象で構成される複雑な対象の測定や相互作用する表示にはあまり役立たない。本解決策は、概して、複数のセンサを備えたハンドヘルドスキャン装置を使用して３Ｄデータを相互作用的にキャプチャし、領域とサブ対象の意味付けを提供するためのシステムおよび方法に関する。結果として得られるモデルは、スキャン対象の改善された測定値を導き出し、スキャン対象の機能的側面を表示し、および／または機能的側面に基づいてスキャン対象の他の対象への幾何学的適合を決定するために使用されてもよい。

小売用途では、本解決策の目的は、光学およびレーダー技術を使用して、服を着た個人の３Ｄ点群表現を作成することによって、一連の身体測定値を確立することである。衣服は、ＧＨｚ周波数で動作するレーダー信号に対して透過的であるため、入射レーダー信号は身体に反射し、下にある表面までの距離測定を提供する。レーダーのこの特色は、追加の距離情報を決定するために使用されるため、個人の正確な測定値のセットを取得することができる。身体までの距離と衣服までの距離とがわかっている場合は、距離の違いを考慮して正確な測定値の収集を取得できる。

例示的なシステム
ここで、図１～図４を参照すると、本解決策を実装するシステム１５０を理解するのに役立つ図が提供されている。システム１５０は、ハンドヘルドスキャナシステム１００を備える。本解決策は、図２および図３に示されるハンドヘルドスキャナシステムの形状、サイズ、および他の幾何学的特徴に限定されない。他のシナリオでは、ハンドヘルドスキャナシステムの全体的な設計が異なる。

図１において、ハンドヘルドスキャナシステム１００は、不規則な形状の対象１０２（図示の用途では個人である）に対して位置して示されている。ハンドヘルドスキャナシステム１００は、以下に説明する様々な構成要素が収容されるハウジング１０４を含む。ハウジング１０４は、様々な構成を有することができ、操作者の手に快適にフィットするように構成される。支柱または支持部品（図示せず）は、随意にハウジング１０４から延び、操作者が被写体１０２に対してハンドヘルドスキャナシステム１００を支持するのを支援してもよい。動作中、ハンドヘルドスキャナシステム１００は、被写体に極めて接近して（たとえば、被写体から１２インチから２５インチ）、被写体１０２の周りを移動する。ハウジング１０４は、耐久性のあるプラスチック材料で作ることができる。アンテナ要素の近くにあるハウジングセクションは、レーダーの動作周波数に対して透過的である。

ハンドヘルドスキャナシステム１００の例示的な構成が、図４～図６に示されている。本解決策は、この構成に限定されない。ここでは、他のハンドヘルドスキャナ構成を制限なく使用できる。

図４に示すように、小さなディスプレイ４０２は、スキャン中に操作者に見えるように、ハウジング１０４に組み込まれる、またはハウジング１０４の外部に組み込まれる。ディスプレイ４０２はまた、基本的なデータ入力タスク（プロンプトへの応答、顧客情報の入力、およびハンドヘルドスキャナシステム１００の状態に関する診断情報の受信など）を実行するように構成することができる。さらに、ハンドヘルドスキャナシステム１００はまた、操作者へのフィードバック（力覚、聴覚、視覚、触覚など）を組み込むことができ、これは、例えば、スキャンされる必要がある顧客の場所に操作者を導く。いくつかのシナリオでは、フィードバック（例えば、力覚、聴覚、視覚、および／または触覚）は、ハンドヘルドスキャナシステム１００がスキャンされている被写体から近すぎるかまたは遠すぎることを操作者に示すことができる。

ハンドヘルドスキャナシステム１００は、充電式電池４０６または他の電源４０８によって電力を供給される。充電式電池４０６は、高エネルギー密度、および／または軽量電池（例えば、リチウムポリマー電池）を含むことができるが、これらに限定されない。充電式電池４０６は、長期または連続動作をサポートするために交換可能であり得る。ハンドヘルドスキャナシステム１００は、使用されていないとき、クレードル（図示せず）にドッキングすることができる。ドッキングされている間、クレードルは、充電式電池４０６を再充電し、外部コンピュータ機器（例えば、演算装置１０６）への有線接続のためのインターフェースを提供する。ハンドヘルドスキャナシステム１００は、有線および無線インターフェース４１０、４１２の両方をサポートする。ハウジング１０４は、電力、ネットワーク１０８（例えば、インターネットまたはイントラネット）を介したデータの高速転送、ならびに装置のプログラミングまたは更新を可能にする物理的インターフェース４１０を含む。無線インターフェース４１２は、８０２．１１インターフェースを含んでもよいが、これに限定されない。無線インターフェース４１２は、測定データ（レーダーおよび画像データ）を補助コンピュータ機器１０６（例えば、外部ホストデバイス）に交換して、画像を操作者の端末のディスプレイに描写するための一般的な動作通信リンクを提供する。製造およびテストの目的で、ＲＦ回路の校正用にＲＦテストポートを含めてもよい。

ハンドヘルドスキャナシステム１００は、２つの測定モード、すなわち、光学モジュール４１４の測定モードおよびレーダーモジュール４１６の測定モードを利用する。両方のモジュール４１４、４１６からのデータは、中央処理装置（「ＣＰＵ」）４１８にストリーミングされる。ＣＰＵ４１８またはカメラモジュール上で、光およびレーダーデータストリームは、同時処理され、同期される。共処理の結果は、ネットワーク１０８を介してモバイル演算装置または他の補助コンピュータ機器１０６（例えば、ディスプレイ用）に配信される。デジタル信号プロセッサ（「ＤＳＰ」）４２０もまた、ハンドヘルドスキャナシステム１００に含まれてもよい。

後続の測定抽出は、３Ｄデータに対して動作することができ、抽出された結果は、衣服フィッティングエンジンに供給することができる。あるいは、光学データは、レーダーモジュール４１６に送信される。レーダーモジュール４１６は、光学データにレーダーデータをはさみ、補助コンピュータ機器１０６への単一のＵＢＳ接続を提供する。光学データおよびレーダーデータはまた、光学データフレームを一時的に保存するために外部データ記憶装置１１０に書き込むことができる。

電子メモリ４２２は、以前のスキャンからの距離情報を一時的に記憶する。以前のスキャンからの記憶されたデータは、レーダーモジュール４１６および光学モジュール４１４が対象の周りを動き、身体の改良された表現を取得し身体の特色を決定するときに、現在のサンプルで処理を増強することができる。いくつかのシナリオでは、ドップラー信号処理または移動目標指示器（「ＭＴＩ」）アルゴリズムを使用して、身体の改良された表現を取得し、身体の特色を決定する。ドップラー信号処理およびＭＴＩアルゴリズムは当技術分野で周知であり、したがって本明細書では説明しない。本明細書では、任意の既知のドップラー信号処理技術および／またはＭＴＩアルゴリズムを使用することができる。本解決策は、この点に関して限定されない。ハンドヘルドスキャナシステム１００は、ホストプラットフォームが光学システムおよびレーダーシステムの両方を使用して、個人の２つの表面（例えば、衣服の表面および着用者の身体の表面）を決定することを可能にする。レーダーモジュール４１６はまた、光学距離データを解析し、この情報を使用して、距離分解を解決し、多重像または距離の曖昧さを排除してもよい。

光学モジュール４１４は、１つまたは複数のカメラ４２４および／またはセンサ４５０に結合されている。カメラには、３Ｄカメラ、ＲＧＢカメラ、および／または追跡カメラが含まれるが、これらに限定されない。センサには、レーザーおよび／または赤外線システムが含まれるが、これらに限定されない。列挙されたタイプのカメラおよび／またはセンサのそれぞれは当技術分野で知られており、したがって、本明細書では詳細に説明しない。

３Ｄカメラは、統合された３Ｄデータ構造が、３Ｄ点群（衣服着および身体）、体積視差の領域（操作者によって特定される）、および両方の表面（例えば、衣服の表面及び身体の表面）の統計的表現を提供するように構成される。このような３Ｄカメラは当技術分野でよく知られており、多くのメーカーから広く入手できる（たとえば、Ｉｎｔｅｌ ＲｅａｌＳｅｎｓｅ（登録商標） ３Ｄ光学カメラスキャナシステム）。

光学モジュール４１４は、固定座標基準フレームに関して、および身体に関して、慣性状態ベクトルを維持することができる。状態情報（ユニットの向き、平行移動、回転を含む）は、ユニットの重心に対するアンテナ要素の既知の物理的オフセットとともに使用され、各仮想アンテナおよび光モジュールの補正と更新距離の推定値を提供する。慣性状態ベクトルを、随意のオンボード慣性測定ユニット（「ＩＭＵ」）４２６からのセンサデータを使用して、またはマルチアンテナレーダーアレイ（例えば、３つ以上の要素を備える）によって取得してもよい。ＩＭＵおよびマルチアンテナレーダーアレイは当技術分野で周知であり、したがって本明細書では説明しない。本明細書では、任意の既知のまたは既知になるＩＭＵおよび／またはマルチアンテナレーダーアレイを制限なく使用することができる。

そのようなシステムの能力は、通常、近距離でミリメートルの精度と解像度を達成し、遠距離でセンチメートルの解像度に増加する。それらの優れた解像度にもかかわらず、服を着た個人の身体の次元を取得することは、衣服などの障害物によって制限される。被写体にパターンを投影するカメラシステムは、この用途に十分なパフォーマンスを提供する。

図５に示すように、レーダーモジュール４１６は、概して、距離決定に適した波形を生成することができる波形発生器５０２と、少なくとも１つの送信要素（エミッタ）５０６および少なくとも１つの受信要素（受信機）５０８を備えた少なくとも１つのアンテナアセンブリ５０４と、周波数乗算器５１０と、送信選択スイッチ５１２と、受信されたターゲット波形の瞬時位相を送信信号の写しの瞬時位相と比較することによって直交出力５１４を介してビート周波数を提供するように構成された整合フィルタであるダウンコンバータ（ストレッチプロセッサ）を備える。一定の周波数シフトを与えるためにアップコンバージョンを実行するＳＳＢミキサー５１６を含んでもよい。この機能ブロックは、フィードスルーの問題に対処するための設計の強化であり、必須ではない。

所望の波形は、線形周波数変調（「ＬＦＭ」）チャープパルスであることに留意されたい。ただし、他の波形を使用してもよい。高範囲の解像度を達成するために、レーダーモジュール４１６は、ブロードバンドシステムである。これに関して、レーダーモジュール４１６は、Ｘ／Ｋｕバンド動作を備えたレーダーモジュールを含んでもよいが、これに限定されない。ＬＦＭシステムには、リターンパルスと比較するために、送信バーストの遅延写しが含まれる。ハンドヘルドスキャナシステム１００を使用する操作者は、被写体からの固定された分離を確実に維持できないという事実のために、レーザー距離計、光学システムまたは他の近接センサが、被写体の外側の衣服に対しこの分離を追跡するのを助けることができる。この情報を、ＬＦＭシステムを使用して行われたレーダー測定を検証し、それに応じて遅延パラメータを補正するために使用してもよい。光学３Ｄカメラ４２４またはレーザー４５０は、衣服で覆われている身体を測定することができないので、超広帯域（「ＵＷＢ」）レーダーモジュール４１６がこの測定の実行を担当する。

図示のＵＷＢレーダーモジュール４１６を用いて、波形発生器５０２は、衣料品を通過し、身体で反射し、そしてレーダー受信開口に散乱応答を返す低電力の非電離ミリメートル波（たとえば、５８～６４ＧＨｚ）を放出する。範囲を解決するために、ＵＷＢレーダーモジュール４１６は、既知の空間的分離を有する２つ以上のアンテナ要素４２８、４３０からなる。この場合、１つまたは複数のアンテナ対が使用される。開口２０４は、関連する送信要素４２８と共に使用される。しかしながら、幾何学的目的およびコスト目的の両方を満たすために、異なる構成が可能である。送信の開口２０４が複数の場合、各要素は交代でエミッタとなり、他の要素は受信機である。

単一の開口２０４は、送信および受信の両方に使用することができる。デュアル開口を使用して、特定のチャネルの送信要素と受信要素を高度に分離することもできる。さらに、アンテナ２０６は、特定の偏波で送信して、追加の分離を達成するように、またはターゲットによって決定される所与の偏波センスに対してより敏感になるように構成することができる。

身体の方向に放出される波形は、数ギガヘルツの帯域幅にわたって掃引するＬＦＭランプである。波形は、すべてのアンテナ対で同じにすることも、反射面の特色を表現するように変更することもできる。帯域幅は、レーダーモジュール４１６によって達成可能な明確な空間分解能を決定する。他のレーダー波形と実装を使用できるが、この場合、ＬＦＭ三角波形を使用する。

ここで図６を参照すると、ＤＳＰ４２０は、概して、ＡＤＣ用のプロセッサ、メモリ回路、およびサンプリングクロックを動作させるための正確な時間基準を提供し、レーダーデータを光フレームに時間合わせするクロック供給源６０４と、レーダーモジュール４１６の構成、未処理のレーダーデータの処理、および距離分解演算を担当するＣＰＵ（または他のプロセッサ）４１８と、未処理のレーダー波形を処理用に記憶すると共に校正情報および波形補正値を記憶する外部メモリ６０２と、アナログ－デジタル変換器（「ＡＤＣ」）６０６と、ローパス（すなわち、第１のナイキストゾーン）またはバンドパス（すなわち、中間周波数（「ＩＦ」））サンプリングのためにアナログ信号をフィルタリングするために使用されるアンチエイリアシングフィルタ６０８と、デジタルおよびアナログマルチプレクサ電子機器６１０と、イベントのタイミングを調整する複合プログラム可能論理デバイス（「ＣＰＬＤ」）またはフィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）６１２と、を含む。ヒルベルト変換器を使用して、保存された信号鎖に位相シフトを与え複素信号処理に必要な直角位相成分を得る場合には、直角位相チャネルの１つを削除し、それによって受信機ハードウェアを単純化し、単一のＡＤＣコンバータ鎖（要素６０６、６０８、６１０、６１４）を除去することも可能である。これらの処理技術は周知であり、レーダー処理に適用可能である。

アンテナ対４２８、４３０のすべての組み合わせについて、距離決定を、要素の三辺測量（一対について）または多重測量（一組について）のプロセスを介して被写体に対して行うことができる。図７を参照すると、ハンドヘルドスキャナシステム１００の正面に距離が不明のターゲットがある場合、その反射波形は、送信波形の写しと混合され、ビート周波数が生成される。このビート周波数は、ランプ波形の伝搬遅延を直接マッピングする。全経路長は、ＬＦＭレーダーの出力に対してフーリエ変換を実行してスペクトル周波数成分を抽出することによって分解される。代替の解析技法には、Ｐｒｏｎｙ法が含まれる。Ｐｒｏｎｙ法の出力は、均一にサンプリングされた信号から周波数、振幅、位相、および減衰パラメータを抽出することができる。Ｐｒｏｎｙ法の解析の利用により、ノイズが存在する場合のパラメータ抽出が可能になる。顕著なスペクトルピークは、さまざまな散乱表面までの往復距離を示す。この処理がどのように実行されるかは当技術分野で十分に確立されている。あるいは、他の方法を利用してもよい。たとえば、レーダーモジュールは、サイドスキャンレーダー（「ＳＳＲ」）アルゴリズムを利用して、ターゲットまでの距離情報を決定することもできる。ＳＳＲアルゴリズムは、単独で使用することも、三辺測量と組み合わせて使用することもできる。

操作者が個人をスキャンすると、図８に示されるように、適用範囲の領域を示すディスプレイ８００が更新される。操作者は、身体の領域がスキャンされた場所と、身体がまだスキャンされる必要がある場所と、の画面上の表示８０２で、取得されたスキャンのリアルタイム更新を確認する。表示情報は、装置の操作者が身体のすべての表面がスキャンされたことを確認するのに役立つ。この概念の簡単な例は、スキャンされた身体の領域を示すために、身体のシルエットを白黒またはグレースケールで表示することである。

例示的な用途では、ハンドヘルドスキャナシステム１００は、大量の完全に服を着た顧客を迅速にスキャンすることを可能にする。この技術の重要な利点は、ハンドヘルドスキャナシステム１００が被写体に対して固定された方向に拘束されないことであり、したがって、固定構造では実行することが困難である身体の領域に対して測定を挑むことができる。さらに、協調して動作する２つの空間測定システムの組み合わせにより、個人の次元をより忠実に再現できる。

ハンドヘルドスキャナシステム１００は、例示的な衣服フィッティング用途の文脈で本明細書に記載されているが、ハンドヘルドスキャナシステム１００は、他の不規則な形状の対象のサイズ測定値を決定するために利用され、不規則な形状の対象のサイズ測定値を利用する他の用途で使用されてもよいことが認識される。

ここで図９を参照すると、演算装置１０６の例示的な構成の詳細なブロック図が提供される。演算装置１０６には、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、またはスマートデバイス（例えば、スマートフォン）が含まれるが、これらに限定されない。

演算装置１０６は、図９に示されるものよりも多いまたは少ない構成要素を含んでいてもよい。しかしながら、示される構成要素は、本解決策を実装する例示的な実施形態を開示するのに十分である。図９のハードウェア構成は、ハンドヘルドスキャナシステム１００によって取得されたデータを使用して３Ｄモデルの生成を容易にするように構成された代表的な演算装置の一実施形態を表す。このように、図９の演算装置１０６は、本解決策に関連して本明細書に記載された方法の少なくとも一部を実装する。

演算装置１０６のいくつかまたはすべての構成要素は、ハードウェア、ソフトウェア、および／またはハードウェアとソフトウェアの組み合わせとして実装することができる。ハードウェアには、１つまたは複数の電子回路が含まれるが、これらに限定されない。電子回路には、受動的構成要素（例えば、抵抗器およびコンデンサ）および／または能動的構成要素（例えば、増幅器および／またはマイクロプロセッサ）が含まれ得るが、これらに限定されない。受動的および／または能動的構成要素は、本明細書に記載の方法論、手順、または機能の１つまたは複数を実行するように適合、配置、および／またはプログラムすることができる。

図９に示すように、演算装置１０６は、ユーザーインターフェース９０２と、ＣＰＵ９０６と、システムバス９１０と、システムバス９１０を介して演算装置１０６の他の部分に接続されてアクセス可能なメモリ９１２と、システムバス９１０に接続されたハードウェア構成要素９１４と、を備える。ユーザーインターフェースは、演算装置１０６の動作を制御するためのユーザー－ソフトウェア相互作用を容易にする入力装置（例えば、キーパッド９５０）および出力装置（例えば、スピーカー９５２、ディスプレイ９５４、および／または発光ダイオード９５６）を含むことができる。

少なくともいくつかのハードウェア構成要素９１４は、ＲＡＭおよび／またはディスクドライバであり得るメモリ９１２へのアクセスおよび使用を含むアクションを実行する。ハードウェア構成要素９１４は、本明細書に記載の方法論、手順、または機能の１つまたは複数を実装するように構成された命令９２０（例えば、ソフトウェアコード）の１つまたは複数の組が記憶されるコンピュータ可読記憶媒体９１８を備えるディスクドライブユニット９１６を含むことができる。命令９２０はまた、演算装置１０６によるその実行中に、メモリ９１２内および／またはＣＰＵ９０６内に完全にまたは少なくとも部分的に存在することができる。メモリ９１２およびＣＰＵ９０６はまた、機械可読媒体を構成することができる。本明細書で使用される「機械可読媒体」という用語は、命令９２０の１つまたは複数の組を記憶する単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および／または関連するキャッシュおよびサーバー）を指す。本明細書で使用される「機械可読媒体」という用語はまた、演算装置１０６によって実行するための命令９２０の組を記憶、符号化、または運ぶことができ、演算装置１０６に本開示の方法論のいずれか１つまたは複数を実行させる任意の媒体を指す。

いくつかのシナリオでは、ハードウェア構成要素９１４は、ハンドヘルドスキャナシステム１００によって取得されたデータを使用して３Ｄモデルの生成を容易にするようにプログラムされた電子回路（例えば、プロセッサ）を含む。これに関して、電子回路は、演算装置１０６にインストールされた１つまたは複数のアプリケーション９２４にアクセスして実行することができることを理解されたい。ソフトウェアアプリケーション９２４は、概して、パラメトリック３Ｄモデルの構築を容易にすること、パラメトリック３Ｄモデルを記憶すること、ハンドヘルドスキャナシステム１００からの取得データを取得すること、取得データを使用して、スキャン対象が属する一般的な対象クラスまたはカテゴリを識別すること、スキャン対象と同じ一般的な対象クラスまたはカテゴリに属する対象を表す３Ｄモデルを識別すること、点群を生成すること、点群を変更すること、点群を比較すること、第２の点群に最適な第１の点群を特定すること、第１の点群に関連付けられた設定ベクトルを取得すること、設定ベクトルを使用して３Ｄモデルを設定すること、設定された３Ｄモデルから完全な３Ｄ表面モデルと領域ラベリングを取得すること、設定ベクトルからスキャン対象の特定の特徴のメトリックを取得すること、メトリックを改良すること、および／またはユーザに情報を提示することを目的に機能する。演算装置のこれらの動作を示す説明が図１０に提供されている。図１０はまた、ハンドヘルドスキャナシステムと演算装置との間の動作関係を示している。ソフトウェアアプリケーション９２４の他の機能は、議論が進むにつれて明らかになるであろう。

改良３Ｄモデルを生成するための例示的な方法
ここで図１１を参照すると、ハンドヘルドスキャナシステム（例えば、図１のハンドヘルドスキャナシステム１００）によって取得されたデータを使用して改良３Ｄモデルを生成するための例示的な方法１１００の流れ図が提供される。３Ｄモデルには、複数の意味のあるサブ領域がある。対象の各意味のあるサブ領域（例えば、図１の不規則な形状の対象１０２）は、キーおよび関連する値（意味タグ付け）で識別される。

方法１１００は、ブロック１１０２～１１４４に示される複数の動作を備える。これらの動作は、図１１に示されるものと同じまたは異なる順序で実行することができる。例えば、１１１６～１１１８の動作は、図１１Ａに示されるように１１０９～１１１４の後ではなく、１１０９～１１１４の前に実行することができる。本解決策は、この点に関して限定されない。

図１１Ａに示すように、方法１１００は、１１０２で始まり、複数の合成３Ｄモデルが構築される１１０４に続く。合成３Ｄモデルは、ハンドヘルドスキャナシステムの外部および／または遠隔の演算装置（例えば、図１および図９の演算装置１０６）を使用して構築することができる。演算装置には、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、スマートデバイス、および／またはサーバーが含まれるが、これらに限定されない。列挙された演算装置のそれぞれは、当技術分野で周知であり、したがって、本明細書では説明しない。

合成３Ｄモデルは、ハンドヘルドスキャナシステムを使用して感知される異なる対象（例えば、生物（例えば、人間（男性および／または女性）または動物）、衣料品、車両など）を表す。合成３Ｄモデルを構築するための方法は、当技術分野でよく知られている。合成３Ｄモデルを構築するための任意の既知のまたは既知になる方法を、本明細書で制限なしに使用することができる。たとえば、いくつかのシナリオでは、本解決策はコンピュータ支援設計（「ＣＡＤ」）ソフトウェアプログラムを採用する。ＣＡＤソフトウェアプログラムは当技術分野でよく知られている。追加的または代替的に、本解決策は、Ｂｌａｎｚらによって書かれた「３Ｄ面の合成のための変形可能なモデル」というタイトルの文書（「Ｂｌａｎｚ」）に記載されている３Ｄモデリング技術を使用する。この３Ｄモデリング技術に従って生成された人間１２００の例示的な合成３Ｄモデルが図１２に示されている。本解決策は、この例の詳細に限定されない。次の１１０６において、複数の合成３Ｄモデルは、後で使用するためにデータ記憶装置（例えば、図４のメモリ４２２、および／または図６の外部メモリ６０２）に記憶される。

各合成３Ｄモデルは、複数の変更可能な特徴を有する。これらの変更可能な特徴には、外観、形状、向き、および／またはサイズが含まれるが、これらに限定されない。特徴は、所与の一般的な対象クラスまたはカテゴリ（人間のクラスまたはカテゴリ）内のすべての対象に共通のパラメータ値（たとえば、高さパラメータ値、重量パラメータ値、胸囲パラメータ値、腰囲パラメータ値など）を設定または調整することによって変更できる。いくつかのシナリオでは、各パラメータ値を－１．０から１．０までの任意の値に調整できる。合成３Ｄモデルの離散パラメータ値設定の収集は、本明細書では「設定ベクトル」と呼ばれる。合成３Ｄモデルは、所与の一般的な対象クラスまたはカテゴリの知覚的に異なる形状と外観ごとに、形状と外観を最もよく表す設定ベクトルが存在するように設計される。合成３Ｄモデルの設定ベクトルの収集は、現実の世界で見られる可能性のある外観と形状の分布を表す、可能性のある形状と外観の分布を記述する。設定ベクトルのこの収集は、本明細書では「設定スペース」と呼ばれる。

合成３Ｄモデルはまた、複数のサブ対象または領域（例えば、額、耳、目、口、鼻、あご、腕、脚、胸、手、足、首、頭、腰など）を備えてもよい。意味のある各サブ対象または領域には、キーと値の対のラベルが付される。キーと値の対は、２つのリンクされたデータアイテム、すなわち、キー（データの一部のアイテムの一意の識別子）と、値（識別されたデータ、またはデータがデータ記憶装置に記憶されている場所へのポインターのいずれか）の組である。キーには、数字シーケンス、英字シーケンス、英数字シーケンス、または数字、文字、及び／またはその他の記号のシーケンスを含めることができるが、これらに限定されない。

再び図１１Ａを参照すると、方法１１００は、合成３Ｄモデルのそれぞれが実際の３Ｄスキャンされた点群のデータセットと組み合わされてパラメトリック３Ｄモデルを生成する１１０７に続く。一例では、実際の（本当の）対象の３Ｄスキャンされた点群のデータセット（の一部）は、ハンドヘルドスキャナシステム１００によって取得することができる。

次に１１０８において、ハンドヘルドスキャナシステムの操作者は、連続的な動きで対象（例えば、個人）をスキャンする。スキャンの前に、追加の物理的特色を対象の実際の表面に追加して、スキャンデータを使用した被写体点群のその後の作成をより適切かつ迅速に行ってもよい。例えば、被写体は、その上に形成された所与の目に見えるパターンを備えたバンドを着用してもよい。バンドは、対象の周囲に外接または延びるように設計されている。バンドは、（ａ）バンドの上にある対象の一部の可視性、および（ｂ）バンドの下にある対象の一部の可視性を可能にする幅を持っている。バンド（例えば、ベルト）の目に見えるパターンにより、点群データ、形状登録、および３Ｄポーズ推定での対象認識がより高速かつ正確になる。したがって、追加の物理的特色は、実装装置の機能を改善する。

このスキャンの結果として、ハンドヘルドスキャナシステムは、スキャン対象（例えば、人）のレーダー深度データ（例えば、図４のレーダーモジュール４１６を介して）、光学カメラ深度データ（例えば、図４のカメラ４２４を介して）、色データ（例えば、図４のカメラ４２４を介して）、および／またはスペクトルデータ（例えば、図４のカメラ４２４を介して）を取得するための動作を実行する。取得データは、ハンドヘルドスキャナシステムにローカルな、またはハンドヘルドスキャナシステムから離れたデータ記憶装置（例えば、図１のデータ記憶装置１１０）に記憶される。これに関して、１１０８はまた、遠隔データ記憶装置に記憶するために、ネットワーク（例えば、図１のネットワーク１０８）を介して取得データを遠隔演算装置（例えば、図１および図９の演算装置１０６）に通信することを含んでもよい。

取得データは、１１０９にて使用され、被写体の３Ｄ点群を構築する。本明細書で使用される「点群」という用語は、ある座標系におけるデータ点の組を指す。３Ｄ座標系では、これらの点はＸ、Ｙ、およびＺ座標で定義できる。より具体的には、光学キーポイントは、光学データから抽出される。あるシナリオでは、これらのキーポイントは、ＯＲＢ特色を使用して抽出できるが、これに限定されない。キーポイントにはインデックスが付けられ、スキャンされたすべてのデータを被写体の３Ｄ点群に連結するために使用される。これらのキーポイントは、固定座標フレームに対するハンドヘルドスキャナシステム１００の位置（回転および並進）を（継続的に）追跡するためにも使用される。キーポイントの数と質はスキャン環境に依存するため、ハンドヘルドスキャナシステム１００は十分なキーポイントを収集できず、３Ｄ点群を構築できない場合がある。この問題を解決するために、追加のレイヤーを被写体の実際の表面に適用して、キーポイントの量とタイプを保証することができる。このレイヤーは、被写体が着用したり、被写体に投影したりするパターン（ベルト上）にすることができる。

１１１０において、取得データは、スキャン対象が属する一般的な対象クラスまたはカテゴリ（例えば、人間）を識別するために使用される。例えば、画像処理は、画像内の対象を認識し、認識された対象に関する特色情報（例えば、認識された対象の全部または一部の形状および／または認識された対象の色）を画像から抽出するために使用される。対象認識および特色抽出技術は、当技術分野でよく知られている。本明細書では、任意の既知のまたは既知になる対象認識および特色抽出技術を制限なく使用することができる。次に、抽出された特色情報は、複数の一般的な対象クラスまたはカテゴリ（例えば、人間、動物、車両など）を定義する記憶された特色情報と比較される。一致（たとえば、ある程度まで）が存在する場合、対応する一般的な対象クラスまたはカテゴリが１１１０で識別される。本解決策は、この例の詳細に限定されない。１１１０の動作は、ハンドヘルドスキャナシステム１００および／または遠隔演算装置（例えば、図１および図９の演算装置１０６）によって実行することができる。

次に１１１２において、初期の３Ｄモデルは、スキャン対象の同じ一般的な対象クラスまたはカテゴリ（例えば、人間）に属する対象を表す複数のパラメトリック３Ｄモデルから識別される。様々なタイプのクエリに基づいて複数の３Ｄモデルから３Ｄモデルを識別するための方法は、当技術分野で周知であり、本明細書では説明されない。３Ｄモデルを識別するための任意の既知のまたは既知になる方法を、本明細書で制限なしに使用することができる。そのような方法の１つは、ＦｕｎｋＨｏｕｓｅｒらによって書かれた「３Ｄモデルの検索エンジン」というタイトルの文書（「ＦｕｎｋＨｏｕｓｅｒ」）に記載されている。１１１２の動作は、ハンドヘルドスキャナシステム１００および／または遠隔演算装置（例えば、図１および図９の演算装置１０６）によって実行することができる。

１１１４では、初期の３Ｄモデルおよび複数の異なる設定ベクトルが使用され、複数の基準点群を生成する。点群を生成するための方法は、当技術分野でよく知られている。点群を生成するための任意の既知のまたは既知になる方法を、本明細書で制限なしに使用することができる。例示的な基準点群１２００が図１２に示されている。１１１４の動作は、ハンドヘルドスキャナシステム１００および／または遠隔演算装置（例えば、図１および図９の演算装置１０６）によって実行することができる。

その後、１１１６において、取得された光学カメラ深度データを使用して、スキャン対象の部分的または全体的な点群（「被写体点群」）が構築される。例示的な被写体点群が図１４に示されている。

被写体点群は、随意に、１１１８で示されるレーダー深度データ、１１２０で示される色データ、および／または１１２０で示されるスペクトルデータを使用して変更することができる。様々なタイプのカメラベースのデータを使用して点群を変更する方法は、当技術分野でよく知られており、したがって本明細書では説明しない。カメラベースのデータを使用して点群を変更するための任意の既知のまたは既知になる方法を、本明細書で制限なしに使用することができる。１１１６～１１２０の動作は、ハンドヘルドスキャナシステム１００および／または遠隔演算装置（例えば、図１および図９の演算装置１０６）によって実行することができる。

１１１８は、被写体点群の精度を向上させるので、重要な動作である。上記のように、ＧＨｚ周波数は肌の水分に反射するため、レーダーは衣服を「透視」できる。レーダー深度測定値は、装置からレーダー距離が測定されたスキャンされた被写体のスポットまたは領域を識別するために、光学カメラデータに登録される。結果として、最終的にスキャンされた点群は、光学点群に加えて、そのように識別されたレーダースポットを備える。レーダー点群を使用して、対象の身体の３Ｄレーダー表現を再構築できる。次に、これらのレーダースポットを使用して、対象の少なくとも一部を覆うもの（たとえば、衣料品）で得られた光学点群を変更したり、基準点群（たとえば、人間のモデル）を被写体の実際の形に最もフィットするように変更したりすることもできる。変更された群は、光学群（衣料品を含む）と比較して、被写体の実際の形状（たとえば、衣料品を含まない人間の身体）をより適切に表すため、基準点群を識別および変形する処理が改善され、１１２２～１１３２に示すように、より改良された３Ｄモデルが得られるため、被写体の実際の形状によりよく適合する。ラベル付けされた領域の光学距離とレーダー距離の差をさらに利用して、１１３４に示すように、スキャン対象の特定の特徴（例えば、胸囲および／または腰囲など）のより正確なメトリックを取得できる。

次に、１１２２において、被写体点群は、複数の基準点群と比較される。基準点群は、これらの比較動作の結果に基づいて１１２４において識別される。識別された基準点群（例えば、図１２の基準点群１２００）は、被写体点群に関して最良適合である基準点群である。点群に関する最良適合法は、当技術分野でよく知られている。本明細書では、点群に関して最良適合法を制限なく使用できる。例示の最良適合法は、Ｂａｒｄｉｎｅｔらによって書かれた「コンピュータビジョンと画像の理解」というタイトルの文書、およびＣｏｏｔｅｓによって書かれた「医用画像内の構造を特定するためのアクティブ形状モデルの使用」というタイトルの文書に記載されている。１１２２～１１２４の動作は、ハンドヘルドスキャナシステム１００および／または遠隔演算装置（例えば、図１および図９の演算装置１０６）によって実行することができる。また、１１２２～１１２４の動作は、あるいは、１１１８の被写体点群のレーダー変更の前に実行することができる。

最良適合の基準点群が特定されると、方法１１００は、図１１Ｂの１１２６に続く。図１１Ｂに示すように、１１２６は、最良適合の基準点群に関連する設定ベクトルを取得することを含む。その後、初期の３Ｄモデルは１１２８において改良された３Ｄモデルに変換される。改良された３Ｄモデルは、被写体点群によりよく適合するパラメトリック３Ｄモデルの例である。この変換は、初期の３Ｄモデルの変更可能なパラメータ値を設定ベクトルで指定された値に設定することによって実現される。設定された初期の３Ｄモデルは、その設定ベクトルの外観と形状の変化を記述する。設定された初期の３Ｄモデルには、意味のあるサブ対象または領域のラベル付けが含まれる。１１２６～１１２８の動作は、ハンドヘルドスキャナシステム１００および／または遠隔演算装置（例えば、図１および図９の演算装置１０６）によって実行することができる。

１１３０において、完全な３Ｄ表面モデルおよび領域ラベリングは、改良された３Ｄモデルから得られる。表面モデリング技術は当技術分野で周知であり、したがって本明細書では説明しない。本明細書では、任意の既知または既知になる表面モデリング技術を制限なく使用することができる。いくつかのシナリオでは、表面モデリング機能を備えたＣＡＤソフトウェアプログラムが１１３０で採用される。例示的な表面モデルが図１５に示されている。１１３０の動作は、ハンドヘルドスキャナシステム１００および／または遠隔演算装置（例えば、図１および図９の演算装置１０６）によって実行することができる。

スキャン対象の外観は、１１３２において合成される。合成は、３Ｄ表面モジュールを、被写体点群（光学および／またはレーダー群、３Ｄレーダー再構築群）からの光学データおよび随意にレーダーデータに適合およびマッピングすることによって達成される。本明細書で使用される「適合およびマッピング」という句は、３Ｄ表面モデル内の点と被写体点群内の点との間の対応を見つけること、および随意に、３Ｄ表面モジュールを被写体点群に最良適合するように変更することを意味する。スキャン対象の特定の特徴（高さ、重量、胸囲、および／または腰囲など）のメトリックは、１１３４において、改良された３Ｄモデルの設定ベクトルから取得される。メトリックは、随意に、（ａ）改良された３Ｄモデルのラベル付けされた領域に関連付けられたレーダーデータを使用して、および／または（ｂ）１１３６で示されるように、改良された３Ｄモデルでラベル付けされた領域の幾何学に基づいて改良される。スキャン対象の合成された外観は、１１３８に示すように、ハンドヘルドスキャナシステムの操作者および／または別の演算装置（たとえば、図１および図９の演算装置１０６）のユーザに提示される。いくつかのシナリオでは、スキャン対象の合成された外観は、図１５に示される表面モデルと同じである。

合成されたスキャン対象の外観および／またはメトリック（未改良および／または改良済）は、随意に、少なくとも１つの他の対象（例えば、シャツまたはズボンの対）へのスキャン対象の幾何学的適合を決定するために、またはスキャン対象に適合する少なくとも１つの他の対象を識別するために、１１４０で使用され得る。随意の１１４２では、さらなる情報が、ハンドヘルドスキャナシステムの操作者および／または別の演算装置（例えば、図１および図９の演算装置１０６）のユーザに提示される。さらなる情報は、決定されたスキャン対象の少なくとも１つの他の対象への幾何学的適合を特定し、および／または少なくとも１つの他の対象の識別情報を備える。たとえば、スキャンされた個人の衣料品の提案は、ハンドヘルドスキャナシステムおよび／または他の演算装置（たとえば、パーソナルコンピュータ、スマートフォン、および／またはリモートサーバー）から出力される。続いて、方法１１００が終了する１１４４が実行されるか、または他の処理が実行される（例えば、１１０４に戻る）。

本解決策は、図１１の詳細に限定されない。たとえば、いくつかのシナリオでは、基準点群の近傍が識別される。補間された基準ベクトルは、関連する隣接基準ベクトルの寄与から累積される。初期の３Ｄモデルは、補間された基準ベクトルを使用して設定される。設定された初期の３Ｄモデルは、補間された基準ベクトルの外観と形状の変化を記述する。領域のラベル付けは、変換されたサブ領域を引き続き参照する。次に、完全な３Ｄ表面モデルと領域のラベル付けが、設定された初期の３Ｄモデルから取得される。

上記の方法１１００の以下の動作、すなわち、対象クラスを使用して、複数の３Ｄパラメトリックモデルから３Ｄパラメトリックモデルを選択すること、空間ハッシュによって検出された基準点群との設定ベクトルの関連付けを使用して、３Ｄパラメトリックモデルを検出された非構造化データに適合させる設定ベクトルを見つけること、見つかった設定ベクトルの近傍を使用して、３Ｄパラメトリックモデルの形状と外観をさらに改良すること、および／または３Ｄパラメトリックモデルのタグ付き領域の意味情報と同様に外観モデルを返すこと、は、新規であると見なされる。

スキャンの適用範囲および効率を改善するための例示的な方法
上記のように、ハンドヘルドスキャナシステム１００は、光学およびレーダー技術を利用して、服を着た被写体１０２をスキャンする。光学カメラ（例えば、図４の光学カメラ４２４）を使用して、服を着た被写体１０２の基本形状を決定する。次に、形状情報を使用して、衣料品の背後にあるレーダーセンサ形状のアルゴリズムを最適化し、測定値をより正確に決定できるようにする。

操作者が被写体をスキャンしているとき、光学情報を画面上で見ることができる。操作者は、光学情報を使用してスキャナーを被写体上に移動させ、被写体の３Ｄ画像を描写できるようにする。ただし、操作者はディスプレイに光学情報を表示できるが、操作者はレーダーセンサデータの品質に関する情報を持っていない。操作者が視覚補助なしで被写体全体にわたって十分な量のレーダーデータを捕捉したかどうかを判断することは困難である。したがって、本解決策は、拡張現実を使用して光学ディスプレイに情報を追加し、レーダーデータの品質を向上させることによって操作者を支援する。

ここで図１６を参照すると、対象または被写体をスキャンするための改良された方法１６００が提供される。方法１６００は、図１１の１１０８で実行することができる。方法１６００は、図１１に示される操作のいくつかまたはすべてを含むことができる。動作は、図１６に示されるものと同じまたは異なる順序で実行されてもよい。方法１６００では、動作は、概して、ハンドヘルドスキャナシステム（例えば、図１のハンドヘルドスキャナシステム１００）によって実行され、スキャン対象のレーダー深度データ、光学カメラ深度データ、色データおよび／またはスペクトルデータを取得する。

図１６に示すように、方法１６００は、１６０２で始まり、１６０４に続き、物理的特色が、随意に、対象または被写体の実際の表面に追加される。物理的特色を追加して、スキャンデータを使用した被写体点群のその後の作成をより適切かつ迅速に行うことができる。例えば、被写体は、その上に形成された所与の目に見えるパターンを備えたバンドを着用してもよい。バンドは、対象の周囲に外接または延びるように設計される。バンドは、（ａ）バンドの上にある対象の一部の可視性、および（ｂ）バンドの下にある対象の一部の可視性を可能にする幅を持っている。バンド（例えば、ベルト）の目に見えるパターンにより、点群データ、形状登録、および３Ｄポーズ推定での対象認識がより高速かつ正確になる。したがって、追加の物理的特色は、実装装置の機能を改善する。

１６０６において、ハンドヘルドスキャナシステムのスキャン動作が開始される（例えば、物理的または仮想的なボタンの作動を介して）。ハンドヘルドスキャナシステムは、１６０８によって示されるように、スキャンされる対象を表す光像を表示する。１６１０において、表示された光像の上にグリッドが重ね合わされる。光像は、３Ｄ光像（例えば、人間を表す光像）であってもよい。

表示された光像１７２０の上に重ねられた例示的なグリッド１７００の画像が図１７に提供されている。グリッド１７００は、グリッド領域１７１０を定義する複数の行１７０２および複数の列１７０４を備える。行および列のセルを定義するグリッドの線は、透明なフォーマットで示されている。複数のマーク１７１２が、グリッド１７００の各行、列、および／またはグリッド領域に提供される。マーク１７１２は、色付きのドットとして示されているが、本解決策は、この点に関して限定されない。マーク１７１２は、任意の形状および／または色を有することができる。マーク１７１２の形状および／または色は、被写体の対応する領域のレーダーデータが正常に取得されたときに選択的に変更することができる。たとえば、被写体の対応する場所のレーダー情報がまだ取得されていない場合、マークは暗い色（たとえば、黒）で示される。被写体の対応する場所のレーダー情報が正常に取得されると、マークは中程度または明るい色（たとえば、緑または白）で示される。本解決策は、この例の詳細に限定されない。

随意に、複数の基準点群からの基準点群は、スキャンされた被写体の基本情報（例えば、人間のスキャンのための高さおよび重量）に基づいて識別され得、次いで、蓄積された光学群は、基準点群に位置合わせして、関心領域（レーダースキャンが必要な領域）、スキャン方向と装置の向きなどに関する情報を含むがこれらに限定されない、操作者をガイドするのに役立つフィードバックと情報を提供する。３Ｄ（光学）点群を基準点群へ位置合わせする方法は、当技術分野で周知である。そのような方法の１つは、反復最接近点（「ＩＣＰ」）アルゴリズムである。

再び図１６を参照すると、ハンドヘルドスキャナシステムと対象との間の距離を示す情報はまた、随意に、１６１２において光像の上に重ね合わされる。光像１７２０の上に重ねられた例示的な距離情報１７０８の画像が図１７に提供されている。表示された光像１７２０、グリッド１７００および／または距離情報１７０８は、スキャン処理を支援するために、ハンドヘルドスキャナシステム１００の操作者によって使用される。

次に、１６１４において、動作は、ハンドヘルドスキャナシステムによって実行され、ハンドヘルドスキャナシステムがスキャン目的で対象上のどこを指しているかを決定する。１６０４に追加された物理的特色は、この決定を容易にすることができる。この決定が行われると、グリッドの第１のマークは、１６１６で示されるように、ハンドヘルドスキャナシステムが現在指している対象上の位置に対応するマークとして識別される。第１のマークの少なくとも１つの視覚的特徴（たとえば、サイズおよび／または色）は、１６１８において変更される。

対象に対するハンドヘルドスキャナシステムのポインティング方向を示すように変更されたマーク１７０６を示す画像が、図１７に提供されている。図１７に示すように、マーク１７０６は、グリッド１７００の他のマークと視覚的に区別できるように、拡大され、比較的明るい色（例えば、緑または白）で示されている。本解決策は、この例の詳細に限定されない。マーク１７０６は、代替的または追加的に、他のマークとは異なる色を有するように、および／または他のマークとは異なる形状を有するように変更することができる。

再び図１６を参照すると、方法１６００は、１６２０に続き、対象がスキャンされているときに、対象のレーダー深度データ、光学カメラ深度データ、色データ、および／またはスペクトルデータがハンドヘルドスキャナシステムによって取得される。レーダーデータは１６２２において分析され、１６２０においてレーダー深度データが正常に取得された対象上の位置に対応するグリッドの第２のマークを識別する。第２のマークの少なくとも１つの視覚的特徴（色など）が、１６２４において変更される。変更された第２のマーク１７１４を示す画像が、図１７に提供されている。図１７に示すように、第２のマーク１７１４の色は、暗い色（例えば、黒）から明るい色（例えば、灰色または緑）に変更されている。追加のマーク１７１６もグリッドに追加されて、対象の所与の領域についてのレーダー深度データ取得の成功を示している。本解決策は、図１７の詳細に限定されない。

次に、図１６の１６２６において、十分な量のレーダー深度データが取得されているかについて、決定がなされる。その場合（１６２６においてＹＥＳの場合）、１６３０が実行され、方法１６００が終了するか、他の処理が実行される。

そうでない場合（１６２６においてＮＯの場合）、１６２８が実行され、第１のマークの視覚的特徴が以前の設定に変更される。たとえば、第１のマークのサイズが縮小されたり、第１のマークの色が暗い色に戻されたりして、第１のマークが他のマークと区別できなくなる。ハンドヘルドスキャナシステムがポインティング方向を変更してから、１６２８において第１のマークの視覚的特徴が変更されるまで、時間の遅れが生じる場合がある。これは、所与の期間におけるハンドヘルドスキャナシステムの動きを操作者に示すのに役立つ。続いて、方法１６００は、１６１４に戻り、スキャン処理を対象の別の領域から繰り返すことができるようにする。

ここで、図１８および図１９を参照すると、対象上の対応する位置についてレーダーデータが正常に取得されたことを示すために変更されたマークの数が増加したグリッド１７００を示す図が提供されている。

被写体が完全にスキャンされると、光学データを使用して、図１１に関連して上記で論じたように、服を着た人の３Ｄ画像を作成する。この光学３Ｄ再構成は、グリッド情報に依存しない。次に、レーダー情報を使用して、衣料品のアウトライン内（背後）に新しい３Ｄ画像を作成する。グリッド支援スキャンは、より高密度で一貫性のあるレーダーパターンを作成する。レーダーパターンは、測定精度を大幅に向上させる、より正確な身体画像を作成するために使用される。

図２０は、３Ｄ点群を示す。第１の点群２０００は、光学データから作成された情報を表す。第２の点群２００２は、レーダーセンサから作成された情報を表す。第３の点群２００４は、光学データとレーダーデータの両方から作成された情報を表す。第１点群と第３点群の分離は、衣料品の線と肌の線をはっきりと示す。

本解決策は、１つまたは複数の実装に関して図示および説明されてきたが、本明細書および添付の図面を読んで理解すると、同等の変更および変更が当業者に生じる。さらに、本解決策の特定の特色は、いくつかの実装のうちの１つに関してのみ開示され得るが、そのような特色は、他の実装の１つまたは複数の他の特色と、任意の所与のまたは特定の用途に対して所望かつ有利であるように組み合わせることができる。したがって、本解決策の幅および範囲は、上記の実施形態のいずれによっても限定されるべきではない。むしろ、本解決策の範囲は、以下の特許請求の範囲およびそれらの同等物に従って定義されるべきである。

Claims (30)

1. 不規則な形状の対象の寸法を取得するための方法であって、
   ハンドヘルドスキャナシステムのディスプレイによって、被写体の３Ｄ光像を表示し、
   前記被写体の前記３Ｄ光像上に重ねられたグリッドであって、行および列に配置された複数のマークを含むグリッドを表示し、
   前記ハンドヘルドスキャナシステムのレーダーモジュールによって、前記レーダーモジュールと、少なくとも１つのアイテムによって覆われる前記不規則な形状の対象の第１の部分の少なくとも表面との間の感知された間隔を特定する距離データを生成し、
   前記ハンドヘルドスキャナシステムのプロセッサによって、前記被写体がスキャンされているときに前記レーダーモジュールから前記距離データを受信し、
   対応する距離データが前記プロセッサによって正常に受信されたときに、前記複数のマークのうちの第１のマークの少なくとも１つの第１の視覚的特徴を変化させる、
   方法。
2. 前記ハンドヘルドスキャナシステムの光学モジュールによって、前記不規則な形状の対象の少なくとも前記第１の部分を覆う前記少なくとも１つのアイテムの表面と、前記不規則な形状の対象の露出している表面の第２の部分の表面と、を表す３Ｄ点群データを生成することをさらに含む、
   請求項１記載の方法。
3. 前記対象がスキャンされているときに、前記プロセッサによって、前記光学モジュールから前記３Ｄ点群データを受信することをさらに含む、
   請求項２記載の方法。
4. 前記プロセッサによって、前記３Ｄ点群データおよび前記レーダーデータを使用して、前記不規則な形状の対象の身体の寸法を表すマップを作成することをさらに含む、
   請求項３記載の方法。
5. 前記少なくとも１つの第１の視覚的特徴は、色、形状、またはサイズを含む、
   請求項１記載の方法。
6. 距離情報は、前記ハンドヘルドスキャナシステムから前記被写体までの距離を特定する前記３Ｄ光像にも重ね合わされる、
   請求項１記載の方法。
7. 前記プロセッサによって、前記複数のマークの前記第１のマークまたは第２のマークの少なくとも１つの第２の視覚的特徴を変化させて、スキャンされている前記対象に対する前記ハンドヘルドスキャナシステムのポインティング方向を示すことをさらに含む、
   請求項１記載の方法。
8. 前記少なくとも１つの第２の視覚的特徴が、前記少なくとも１つの第１の視覚的特徴とは異なる、
   請求項７記載の方法。
9. 前記ハンドヘルドスキャナシステムのポインティング方向が変化したときに、前記プロセッサによって、前記第１または第２のマークの前記少なくとも１つの第２の視覚的特徴を前の設定に変化させることをさらに含む、
   請求項７記載の方法。
10. 前記対象の対応する領域について前記被写体のスキャン中に前記距離データが正常に受信されたときに、前記プロセッサによって、新しいマークを前記３Ｄ光像の上にさらに重ね合わせるようにすることをさらに含む、
    請求項１記載の方法。
11. 前記不規則な形状の対象が個人であり、前記少なくとも１つのアイテムが前記個人によって着用されている衣服である、
    請求項１記載の方法。
12. プロセッサと、
    ハンドヘルドスキャナシステムを使用して不規則な形状の対象の寸法を取得するための方法を前記プロセッサに実装させるように構成されたプログラミング命令を含む非一時的なコンピュータ可読記憶媒体と、を備え、
    前記プログラミング命令は、
    被写体の３Ｄ光像を表示する命令と、
    前記被写体の３Ｄ光像に重ねられたグリッドであって、行および列に配置された複数のマークを含むグリッドを表示する命令と、
    レーダーモジュールに、前記レーダーモジュールと、少なくとも１つのアイテムで覆われている前記不規則な形状の対象の第１の部分の少なくとも表面と、の間の感知された間隔を特定する距離データを生成させる命令と、
    対応する距離データが前記レーダーモジュールによって正常に生成されたときに、前記複数のマークの第１のマークの少なくとも１つの第１の視覚的特徴を変化させる命令とを含む、
    システム。
13. 前記プログラミング命令は、前記光学モジュールに、前記不規則な形状の対象の少なくとも第１の部分を覆う少なくとも１つのアイテムの表面と、前記不規則な形状の対象の露出している表面の第２の部分の表面と、を表す３Ｄ点群データを生成させる命令をさらに含む、
    請求項１１記載のシステム。
14. 前記プログラミング命令は、前記プロセッサに、前記３Ｄ点群データおよびレーダーデータを使用して、前記不規則な形状の対象の身体の寸法を表すマップを作成させる命令をさらに含む、
    請求項１３記載のシステム。
15. 前記少なくとも１つの第１の視覚的特徴は、色、形状、またはサイズを含む、
    請求項１１記載のシステム。
16. 距離情報は、前記ハンドヘルドスキャナシステムから前記被写体までの距離を特定する前記３Ｄ光像にも重ね合わされる、
    請求項１１記載のシステム。
17. 前記プログラミング命令は、前記複数のマークの前記第１のマークまたは第２のマークの少なくとも１つの第２の視覚的特徴を変化させて、スキャンされている前記対象に対する前記ハンドヘルドスキャナシステムのポインティング方向を示す命令をさらに含む、
    請求項１１記載のシステム。
18. 前記少なくとも１つの第２の視覚的特徴が、前記少なくとも１つの第１の視覚的特徴とは異なる、
    請求項１７記載のシステム。
19. 前記プログラミング命令は、前記ハンドヘルドスキャナシステムのポインティング方向が変化したときに、前記第１または第２のマークの前記少なくとも１つの第２の視覚的特徴を前の設定に変化させる命令をさらに含む、
    請求項１７記載のシステム。
20. 前記プログラミング命令は、前記対象の対応する領域について前記被写体のスキャン中に前記距離データが正常に受信されたときに、新しいマークを前記３Ｄ光像の上にさらに重ね合わせるようにする命令をさらに含む、
    請求項１１記載のシステム。
21. 前記不規則な形状の対象が個人であり、前記少なくとも１つのアイテムが前記個人によって着用されている衣服である、
    請求項１１記載のシステム。
22. 不規則な形状の対象の寸法を取得するためのハンドヘルドスキャナシステムであって、
    ハウジングと、
    （Ａ）前記不規則な形状の対象の少なくとも第１の部分を覆う少なくとも１つのアイテムの表面と、（Ｂ）前記不規則な形状の対象の露出している表面の第２の部分の表面と、を表す３Ｄ点群データを生成する少なくとも１つの３Ｄ光学センサを含む光学モジュールと、
    前記ハウジングと、前記少なくとも１つのアイテムによって覆われる前記不規則な形状の対象の前記第１の部分の少なくとも表面と、の間の感知された間隔を特定する距離データを生成する少なくとも１つのレーダーセンサを含むレーダーモジュールと、
    前記被写体が前記光学モジュールおよび前記レーダーモジュールを使用してスキャンされている間、前記被写体の３Ｄ光像上に重ねられたグリッドであって、行および列に配置された複数のマークを含むグリッドを表示するディスプレイと、
    プロセッサと、を備え、
    前記プロセッサは、
    前記被写体がスキャンされているときに、前記光学モジュールから３Ｄ点群データと、前記レーダーモジュールから前記距離データを受信し、
    前記被写体のスキャン中に対応する距離データが正常に受信されたときに、各前記マークの少なくとも１つの第１の視覚的特徴を変化させ、
    前記３Ｄ点群データと前記レーダーデータを使用して、前記不規則な形状の対象の身体の寸法を表すマップを作成する、
    ハンドヘルドスキャナシステム。
23. 前記少なくとも１つの第１の視覚的特徴は、色、形状、またはサイズを含む、
    請求項２２記載のハンドヘルドスキャナシステム。
24. 距離情報は、前記ハンドヘルドスキャナシステムから前記被写体までの距離を特定する前記３Ｄ光像にも重ね合わされる、
    請求項２２記載のハンドヘルドスキャナシステム。
25. 前記プロセッサは、さらに、前記複数のマークのうちの１つのマークの少なくとも１つの第２の視覚的特徴を変化させて、スキャンされている前記対象に対する前記ハンドヘルドスキャナシステムのポインティング方向を示す、
    請求項２２記載のハンドヘルドスキャナシステム。
26. 前記少なくとも１つの第２の視覚的特徴が、前記少なくとも１つの第１の視覚的特徴とは異なる、
    請求項２５記載のハンドヘルドスキャナシステム。
27. 前記プロセッサは、さらに、前記ハンドヘルドスキャナシステムのポインティング方向が変化したときに、前記マークの前記少なくとも１つの第２の視覚的特徴を前の設定に変化させる、
    請求項２５記載のハンドヘルドスキャナシステム。
28. 前記プロセッサは、さらに、前記対象の対応する領域について前記被写体のスキャン中に距離データが正常に受信されたときに、新しいマークを前記３Ｄ光像の上にさらに重ね合わせるようにする、
    請求項２２記載のハンドヘルドスキャナシステム。
29. 前記不規則な形状の対象が個人であり、前記少なくとも１つのアイテムが前記個人によって着用されている衣服である、
    請求項２２記載のハンドヘルドスキャナシステム。
30. 前記グリッドは、前記レーダーモジュールを使用してスキャンされる必要がある前記対象の領域について、前記ハンドヘルドスキャナシステムのユーザにフィードバックを提供する、
    請求項２２記載のハンドヘルドスキャナシステム。
    
    

Images