JP2022502230A - フォトグラメトリを使用するモデル再構成装置と方法 - Google Patents

Abstract

フォトグラメトリを使用するモデル再構成装置及び方法を開示する。フォトグラメトリを使用したモデル再構成装置は、人工爪モデルを生成する対象の爪の画像と標準仕様物とを合わせた画像データを受信するための画像受信ユニットと、画像データから対象の爪甲と爪先の形状を認識し、標準仕様物に基づいて爪甲形状と爪先形状のパラメータを決定するための画像解析ユニットと、パラメータに基づいて人工爪モデルを生成するためのモデル生成ユニットとを有する。

Description

画像認識技術及び三次元（３Ｄ）モデリング技術に関し、より詳細には、フォトグラメトリ（photogrammetry）を使用するモデル再構成技術に関する。

女性は、爪を美しくするために、プラスチック製装甲等のプラスチック製材料を主成分とする人工爪を使用している。現在市販されている人工爪は、標準仕様（標準サイズ、曲率）に適した射出成形を用いて製作されている。消費者に販売される１組の人工爪は、１０〜１５個のサイズがあり、１つのサイズにつき２つのピースが存在するように、合計２０〜３０個のピースに対応する人工爪を含むことができる。しかしながら、爪の大きさ、形状、直角は人によって異なることがあるため、１０〜１５個の人工爪の大きさは、各消費者の爪に完全にフィットすることはほとんど不可能である。この欠点により、人工爪は、必然的に人間の自然爪と区別しやすく、それぞれの使用者が異なる大きさの爪を有するため、着用性が悪いために使用者が不快に感じ、自然爪から容易に取り外されるという問題が生じる。

一方、「Precision fit fingernails」と題する米国特許第６，１９６，２３４号及び「Process for fabricating custom fit removable and reusable metal fingernails」と題する米国特許第６，３８２，２１７号は、ユーザの爪から作製された型を使用してカスタムフィット人工爪を作製する方法を開示している。

しかし、米国特許第６，１９６，２３４号及び米国特許第６，３８２，２１７号は、複雑な成形プロセスが必要とされる点で制限されている。

更に、韓国特許出願公開第１０−２０１１−０１０１１０６号の「人工爪製造サービスシステム」という名称の技術は、個人的にカスタマイズされた人工爪を製造し供給するためのシステムを開示しており、このシステムは、走査システムを使用して消費者の爪の形状に関する３Ｄデータを検出し、３Ｄデータを使用して消費者の要求を満たす消費者の人工爪の形状をシミュレートし、次いで、人工爪を製造し提供する。

しかし、韓国特許出願公開第１０−２０１１−０１０１１０６号に開示された技術は、爪の主走査専用の３Ｄ主走査装置を使用しなければならないという点で、ユーザのアクセス可能性に限界がある。

本発明は、上記従来の問題点に鑑みてなされたものであり、ユーザに適したユーザカスタマイズの人工爪モデルを簡便かつ簡便に提供することを目的とする。

また、従来の規格仕様に準拠した基準人工爪モデルから、複雑な工程や特殊な工具を必要とせずに、ユーザがカスタマイズした人工爪モデルを生成することを目的とする。

本発明は、上記課題を解決するためになされたものであり、人工爪モデルを生成する対象の爪の画像と標準仕様物とを合わせた画像データを受信する画像受信ユニットと、画像データから対象の爪の爪甲や爪先の形状を認識し、標準仕様物に基づいて爪甲の形状や爪先の形状のパラメータを決定する画像解析ユニットと、パラメータに基づいて人工爪モデルを生成するモデル生成ユニットとを備える、フォトグラメトリを使用したモデル再構成装置を提供することを目的とする。

標準仕様物は、国際規格に準拠して製造された物であってもよい。

画像データは、爪甲の形状を認識するための第１画像と、爪先の形状を認識するための第２画像とを含み得る。

なお、第１画像及び第２画像は、標準仕様物が対象の指の底部に接触した状態で撮影されてもよい。

また、対象の手の甲を見た視点から、標準仕様物と共に対象の爪甲の第１画像を撮影するようにしてもよい。

第２画像は、対象の指先が見られる視点から標準仕様物と共に爪先を撮影してもよい。

第２画像は、対象の親指の底部が標準仕様物の第１面に接触し、対象の残りの４本の指の底部が全て標準仕様物の第２面に接触して撮影されてもよい。

画像解析ユニットは、手の甲を見ている視点からの第１画像から爪甲の形状を認識し、その標準仕様物に基づいて爪甲の形状に対するパラメータを決定してもよい。

画像解析ユニットは、対象の手の甲が見られる視点からの第１画像内の爪甲の爪壁上に少なくとも４つの点を設定することができ、次いで、爪甲の形状に対する座標値として少なくとも４つの点を使用してパラメータを決定してもよい。

画像解析ユニットは、対象の手の裏を見る視点から認識される爪甲の形状に基づいて、第１画像から少なくとも１つの選択可能な人工爪モデルの爪形状の種類を決定してもよい。

画像解析ユニットは、対象の指先を見ている視点からの第２画像から爪先の形状を認識してもよく、その標準仕様物に基づいて爪先の形状に関するパラメータを決定してもよい。

画像解析ユニットは、対象の指先を見る視点から位置ごとに１点を設定するようにして、爪の両側に対応する位置に２点を設定し、爪先上に少なくとも１点の追加点を設定し、その後、その２点と追加点を爪先の形状に対する座標値としてパラメータを決定するようにしてもよい。

画像解析ユニットは、２点を結ぶ直線を生成してもよく、その直線に垂直で、対象の爪甲を通る垂直線を追加点として満たす爪先上の位置を設定してもよい。

モデル生成ユニットは、爪甲の形状や爪先の形状に対する座標値に基づいて、基準となる人工爪モデルの爪甲や爪先の形状を調整することができ、基準となる人工爪モデル、爪甲の形状や爪先を調整したものから人工爪モデルを生成してもよい。

モデル生成ユニットは、人工爪モデルの座標値と前記標準仕様物の座標値とに基づいて、前記標準仕様物に対応する前記人工爪モデルのスケール値を決定してもよい。

上記の目的を達成するための本発明の別の態様によれば、フォトグラメトリを使用するモデル再構成装置によって実行される、人工爪モデルを生成する対象の爪の画像と標準仕様物とを合わせた画像データを受信するステップと、画像データから対象の爪の爪甲及び爪先の形状を認識するステップと、標準仕様物に基づいて爪甲の形状及び爪先の形状のパラメータを決定するステップと、パラメータに基づいて人工爪モデルを生成するステップとを含む、フォトグラメトリを使用するモデル再構成方法を提供する。

本発明の上記及び他の物、特徴及び利点は、添付の図面と併せて以下の詳細な説明からより明確に理解されるであろう。

本発明の一実施形態によるフォトグラメトリを使用したモデル再構成装置を示すブロック図である。 対象の手の甲を見た視点から標準仕様物に近接した４本の手指の撮影画像を示す図である。 本発明の一実施形態に係る対象手の甲面を見る視点から、標準仕様物と密接に接触する親指の画像を示す図である。 標準仕様物に接触する指を対象の指先を見た視点から撮影した画像を示す図である。 爪体（爪甲）の形状を認識し、爪甲の座標値を決定するための点設定を説明するための図である； 本実施形態に係る選択可能な人工爪モデルの爪形状の種類を示す図である。 爪先の形状（爪の自由端）を認識し、爪先の座標値を決定するための点設定を説明するための図である； 本実施形態に係る人工爪モデルの詳細な調整を示す図である。 本実施形態に係るフォトグラメトリを使用したモデル再構成方法を示す動作フローチャート図である。 図９の画像データを受信する工程の詳細を示す動作フローチャート図である。 図９の画像データ解析する工程の詳細を示す動作フローチャート図である。 図９の人工爪モデル生成する工程の詳細を示す動作フローチャート図である。 本発明の一実施形態に係るコンピュータシステムを示す図である。

以下、図面を参照して本発明を詳細に説明する。なお、以下では、本発明の要旨を不必要に曖昧にするものとみなされた公知の機能及び構成についての繰り返しの説明及び説明は省略する。本発明の実施形態は、本発明が関係する技術分野における通常の知識を有する者に本発明を完全に説明することを意図している。従って、図面における構成要素の形状、大きさ等は、明瞭にするために誇張してもよい。

本明細書において、要素が構成要素を「含む」又は「有する」と言及される場合、それは別の構成要素を排除するものではなく、文脈が別段の明確な指示をしない限り、他の構成要素を更に含んでもよい。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係るフォトグラメトリを使用したモデル再構成装置を示すブロック図である。図２は、本発明の一実施形態による、対象の手の甲を見た視点から、標準仕様物と密接に接触した４本の手指を撮影した画像を示す図である。図３は、本発明の一実施形態による対象の手の甲を見た視点から、標準仕様物と密接に接触している親指の撮影画像を示す図である。図４は、対象の指先を見た視点から、標準仕様物に接触した指を撮影した様子を示す図である。図５は、爪体（爪甲）の形状を認識し、爪甲の座標値を決定するための点設定を説明するための図である。図６は、本実施形態に係る選択可能な人工爪モデルの爪形状の種類を示す図である。図７は、爪先の形状（爪の自由端）を認識し、爪先の座標値を決定するための点設定を説明するための図である。図８は、本実施形態に係る人工爪モデルの詳細な調整を示す図である。

図１を参照すると、本発明の実施の形態に係るフォトグラメトリによるモデル再構成装置は、画像受信ユニット１１０と、画像解析ユニット１２０と、モデル生成ユニット１３０と、画像学習ユニット１４０とを有している。

画像受信ユニット１１０は、人工爪モデルを生成する対象の爪の画像と、標準仕様物とをまとめた画像データを受信してもよい。

まず、ユーザ端末装置は、標準仕様物と共に対象の爪を撮影して画像データを生成してもよい。

ここで、画像データは、スマートフォン、スマートタブレット、デジタルカメラ等、２次元（２Ｄ）デジタル映像を撮影して画像データを生成してもよい多様なユーザ端末装置を用いて生成してもよい。

ユーザ端末装置は、人工爪のモデル（以下、「人工爪モデル」ともいう）を生成するために必要な画像データの生成を、人工爪モデル生成サービスを提供するためのアプリケーション、ソフトウエア、又はウェブサイトの案内のもとでユーザに要求してもよい。

人工爪モデル生成サービスを提供するためのアプリケーション、ソフトウエア、又はウェブサイトは、ユーザ端末装置を通じて人工爪モデルを生成するために必要な情報をメッセージとして出力してもよい。

人工爪モデルを生成するために必要な情報には、人工爪モデルを生成するために対象の手を撮影する方法を説明するための情報等が含まれてもよい。

ここで、人工爪モデル生成サービスを提供するためのアプリケーション、ソフトウエア、又はウェブサイトは、ユーザ端末装置に内蔵された内蔵カメラを用いて人工爪モデルを生成するために必要な画像データが撮影されるようにユーザ端末装置を制御してもよい。

また、ユーザ端末装置は、フォトグラメトリを用いて画像データを網を介してモデル再構成機器に送信してもよい。

ここで、ユーザ端末装置は、人工爪モデル生成サービスを提供するために、画像データをアプリケーション、ソフトウエア、又はウェブサイトにアップロードすることもできる。

画像受信ユニット１１０は、ネットワークを介してユーザ端末装置から画像データを受信してもよいし、人工爪の生成を要求するためにユーザがアップロードした画像データを、人工爪モデル生成サービスを提供するためのアプリケーション、ソフトウエア、又はウェブサイトからダウンロードしてもよい。

ここで、前記画像データは、各爪本体（すなわち、各爪甲）の形状を認識するための第１画像と、各爪先（すなわち、各爪の自由端）の形状を認識するための第２画像とを含むことができる。

図２及び図３は、第１画像の例を示し、図４は、第２画像の例を示すことが分かる。

図２〜図４を参照して、第１画像及び第２画像は、標準仕様物が対象の指の底部に接触した状態で撮影されてもよい。

特に、図２及び図３に示すように、対象の手の甲を見る視点から、標準仕様物とともに対象の爪甲の画像を撮ることによって、第１画像を得ることができる。

また、第１画像は、対象の手の甲を見た視点から、左手の親指の底部が標準仕様物に接触した状態で撮影された画像と、対象の手の甲を見た視点から、左手の残りの４本の指の底部が標準仕様物に接触した状態で撮影された画像と、対象の手の甲を見た視点から、右手の親指の底部が標準仕様物に接触した状態で撮影された画像と、対象の手の甲を見た視点から、右手の残りの４本の指の底部が標準仕様物に接触した状態で撮影された画像とを含んでいてもよい。

特に、図４に示すように、第２画像は、対象の指先を見た視点から標準仕様物と共に爪先（爪の自由端）の画像を撮影することによって得ることができる。

ここで、第２画像は、対象の対応する手の親指の下端が標準仕様物の一方の面に接触し、残りの４本の指の下端が全て標準仕様物の他方の面に接触した状態で撮影された左手画像及び右手画像を含んでいてもよい。

ここで、第２画像では、爪先がどの程度湾曲しているか（すなわち、爪先の湾曲の程度）を認識するために、対象の指先の画像を、指が注文に伸びる方向と反対の視点から撮影する必要がある。

また、前記画像データは、前記爪甲がどの程度湾曲しているかを認識するために、前記指の側面を注文して撮影した第３の画像を更に含むことができる。

標準仕様物は、国際規格に基づいて作成された物であってもよい。

例えば、標準仕様物は、国際標準化機構（ＩＳＯ）によって開発された国際規格に基づいて製造された物であってもよく、国際規格に基づいて製造された物は、クレジットカード、紙幣、硬貨、紙幣等の様々な物のいずれであってもよい。

以下、本実施形態に係る標準仕様物の一例としてクレジットカードについて説明する。

画像解析ユニット１２０は、画像データから対象の爪の爪甲や爪先の形状を認識し、標準仕様物に基づいて爪甲の形状や爪先の形状のパラメータを決定してもよい。

図５を参照すると、画像解析ユニット１２０は、第１画像から、手の甲が見られる視点からの爪甲の形状を認識することができ、標準仕様物に基づいて、爪甲の形状に関するパラメータを決定してもよい。

画像解析ユニット１２０は、対象の手の甲を見た視点から、それぞれの爪甲の爪壁に少なくとも４点を設定し、第１画像において、対応する爪甲の形状に対する座標値として、少なくとも４点を用いてパラメータを決定してもよい。

ここで、画像解析ユニット１２０は、対象の手の甲を見る視点からの第１画像から認識される爪甲の形状に基づいて、少なくとも１つの選択可能な人工爪モデルの爪形状の種類を決定してもよい。

図６を参照すると、本発明の実施の形態に係るフォトグラメトリによるモデル再構成装置によって選択可能な人工爪モデルの爪形状の種類が描かれていることが分かる。

本発明の実施形態による爪形状の種類は、方形、角丸方形、スクーバル又は半方形、丸みを帯びた形、楕円形、アーモンド形、バレリーナ又は棺形、及び小剣形を含むことができ、追加の爪形状を更に含むことができる。

ここで、画像解析ユニット１２０は、対象の爪甲の認識された形状と基準人工爪モデルの爪甲とを比較して、人工爪モデルの爪形状をユーザに推奨することに注文して人工爪モデルの爪形状のうちの１つ以上を選択し、選択された人工爪モデルの爪形状をユーザ端末装置を介してユーザに推奨してもよい。

例えば、対象の爪の長さが基準人工爪モデルの爪よりも長い場合、画像解析ユニット１２０は、方形、角丸方形、スクーバル又は半方形を選択してもよい。なお、画像解析ユニット１２０は、対象の爪の長さが基準人工爪モデルの爪よりも小さい場合には、丸みを帯びた形状を推奨してもよい。対象の爪の幅が基準人工爪モデルの爪よりも小さい場合、画像解析ユニット１２０は、楕円形又はアーモンド形を選択してもよい。

また、画像解析ユニット１２０は、対象の指先を見た視点から第２画像から爪先の形状を認識し、標準仕様物に基づいて爪先の形状のパラメータを決定してもよい。

図７を参照すると、画像解析ユニット１２０は、対象の指先を見る視点から、位置ごとに１点を設定するようにして、第２画像から各爪の両側に対応する位置に２点を設定し、爪先上に少なくとも１点の追加点を設定し、その後、その２点及び追加点を爪先の形状に対する座標値としてパラメータを決定するようにしてもよい。

画像解析ユニット１２０は、２点を結ぶ直線を生成し、その直線に垂直で、対象の爪甲を通る垂直線を付加点として、爪先上に点を設定してもよい。

ここで、画像解析ユニット１２０は、標準仕様物上に２点を設定してもよく、２点を結ぶ直線を生成してもよく、標準仕様物上に生成される直線の傾きを用いて、爪先の形状に対する座標値の位置を調整してもよい。

又、画像解析ユニット１２０は、第３画像から、対象の指の側面を見る視点から撮像した各爪側面の形状を認識し、爪側面の形状に関するパラメータを決定してもよい。

ここで、画像解析ユニット１２０は、第３画像において、各指の側面を見た視点から、爪先に一点、爪根に他点を設定するように、爪甲の爪先（自由端）と爪根に２点を設定し、爪甲上の少なくとも１点に追加点を設定し、その２点と追加点を爪側の形状の座標値として決定してもよい。

画像解析ユニット１２０は、２点を結ぶ直線を生成し、その直線に垂直で、対象の爪甲を通る垂直線を付加点として、爪甲上に位置を設定するようにしてもよい。

ここで、画像解析ユニット１２０は、標準仕様物上に２点を設定してもよく、２点を結ぶ直線を生成してもよく、標準仕様物で生成される直線の傾きを利用して爪側面の形状に対する座標値の位置を調整してもよい。

モデル生成ユニット１３０は、パラメータに基づいて人工爪モデルを生成してもよい。

モデル生成ユニット１３０は、各爪甲の形状に対する座標値に基づいて、基準人工爪モデルに対する各爪甲の形状を調整することができ、その爪甲の形状を調整した基準人工爪モデルから人工爪モデルを生成してもよい。

モデル生成ユニット１３０は、各爪先の形状に対する座標値に基づいて、基準人工爪モデルの各爪先の形状を調整することができ、その爪先の形状を調整した基準人工爪モデルから人工爪モデルを生成してもよい。

モデル生成ユニット１３０は、各爪甲の側面の形状に対する座標値に基づいて、基準となる人工爪モデルの各爪甲の側面の形状を調整し、調整された爪甲の側面の形状である基準となる人工爪モデルから人工爪モデルを生成してもよい。

モデル生成ユニット１３０は、人工爪モデルの座標値と標準仕様物の座標値とに基づいて、標準仕様物に対応する人工爪モデルのスケール値を決定してもよい。

また、モデル生成ユニット１３０は、第１画像、第２画像、及び第３の画像においてまとめられた爪及び標準仕様物の座標値を比較することによって、人工爪モデルのスケール値を決定し、人工爪モデルの実際の大きさを算出してもよい。

ここで、モデル生成ユニット１３０は、第１画像において撮影された爪及び標準仕様物が３Ｄ座標系のＸ−Ｙ平面に位置することを指定して、第２画像における爪先の形状から認識される座標値と、第３画像における爪甲の側の形状から認識される座標値とに基づいて、爪甲の側の爪先の曲率の程度及び曲率の程度を算出し、爪先の曲率の程度及び爪甲の側の曲率の程度をＸ−Ｙ平面に対するＺ軸上の座標として算出したスカラー空間を算出することにより、３Ｄ座標系における人工爪モデルを生成してもよい。

図８を参照すると、本実施形態による人工爪モデルの詳細な調整が示されていることが分かる。

例えば、モデル生成ユニット１３０は、生成された人工爪モデルの厚さ、水平曲率高さ、垂直曲率高さ、爪長さをミリメートル（ｍｍ）単位で微調整してもよい。又、追加パラメータを更に含めて調整してもよく、詳細な調整のユニットはこれに限定されない。

ここで、モデル生成ユニット１３０は、ダウンロード機能（ＤＯＷＮＬＯＡＤ）を通じて最終的に生成された人工爪モデルをユーザに伝達し、プロジェクト保存機能(ＳＡＶＥ ＰＲＯＪＥＣＴ)を通じて人工爪モデルを保存してもよい。

このとき、モデル生成ユニット１３０は、３Ｄ印刷可能な３Ｄモデルファイル（例えば、ステレオリソグラフィー（ＳＴＬ）ファイル等）の形態で人工爪モデルを生成してもよい。

また、モデル生成ユニット１３０は、画像データ、座標値、及び調整されたパラメータから学習データを生成するために、基準人工爪モデルから調整された人工爪モデル、座標値、及びパラメータを生成する過程で使用される画像データを画像学習ユニット１４０に伝達してもよい。

画像学習ユニット１４０は、人工爪モデルを生成するための画像データ及び座標値と、基準人工爪モデルから調整されたパラメータとを学習して学習データを生成し、モデル生成ユニット１３０に学習データを提供してもよい。

ここで、モデル生成ユニット１３０は、学習データを用いて、３次元座標系における人工爪モデルの形状やスケール値をより効果的に決定してもよい。

図９は、本発明の一実施形態に係るフォトグラメトリを使用したモデル再構成方法を示す動作フローチャートである。図１０は、図９の画像データ受信する工程の詳細を示す動作フローチャート図である。図１１は、図９の画像データ解析工程の詳細を示す動作フローチャート図である。図１２は、図９の人工爪モデル生成工程の詳細を示す動作フローチャート図である。

図９を参照すると、本発明の実施の形態に係るフォトグラメトリを使用するモデル再構成方法は、ステップＳ２１０で画像データを受信してもよい。

すなわち、ステップＳ２１０で、人工爪モデルが生成されるべき対象の爪と標準仕様物とが一緒に撮影された画像データを受信してもよい。

図１０を参照して、ステップＳ２１０の処理では、ステップＳ２１１で画像データを生成してもよい。

すなわち、Ｓ２１１ステップで、ユーザ端末装置は、標準仕様物と共に対象の爪を撮影して画像データを生成してもよい。

ここで、画像データは、スマートフォン、スマートタブレット、デジタルカメラ等、２次元（２Ｄ）デジタル映像を撮影して画像データを生成してもよい多様なユーザ端末装置を用いて生成してもよい。

例えば、Ｓ２１１ステップで、ユーザ端末装置は、人工爪モデル生成サービスを提供するためのアプリケーション、ソフトウエア、又はウェブサイトの案内を受けて、人工爪モデルを生成するために必要な画像データを生成するようにユーザに要求してもよい。

Ｓ２１１ステップで、人工爪モデル生成サービスを提供するためのアプリケーション、ソフトウエア、又はウェブサイトは、ユーザ端末装置を通じて人工爪モデルを生成するために必要な情報をメッセージとして出力してもよい。

人工爪モデルを生成するために必要な情報には、人工爪モデルを生成するのに注文して対象の手を撮影する手法を説明するための情報等が含まれてもよい。

Ｓ２１１ステップで、人工爪モデル生成サービスを提供するためのアプリケーション、ソフトウエア、又はウェブサイトは、人工爪モデルを生成するために必要な画像データがユーザ端末装置に内蔵された内蔵カメラを用いて撮影されるようにユーザ端末装置を制御してもよい。

又、ステップＳ２１０では、ステップＳ２１２で画像データを送信してもよい。

すなわち、Ｓ２１２ステップで、ユーザ端末装置は、フォトグラメトリを用いて画像データをネットワークを通じて伝送してもよい。

ここで、Ｓ２１２ステップで、ユーザ端末装置は、人工爪モデル生成サービスを提供するためのアプリケーション、ソフトウエア、又はウェブサイトに画像データをアップロードすることもできる。

又、ステップＳ２１０の処理において、ステップＳ２１３で画像データを受信してもよい。

すなわち、ステップＳ２１３で、画像データをユーザ端末装置からネットワーク経由で受信することもできるし、あるいは、人工ネイルの生成を要求するためにユーザがアップロードした画像データを、人工爪モデル生成サービスを提供するアプリケーション、ソフトウエア、又はウェブサイトからダウンロードすることもできる。

ここで、前記画像データは、各爪本体（すなわち、各爪甲）の形状を認識するための第１画像と、各爪先（すなわち、各爪の自由端）の形状を認識するための第２画像とを含むことができる。

図２及び図３は、第１画像の例を示し、図４は、第２画像の例を示すことがわかる。

図２〜図４を参照して、第１画像及び第２画像は、標準仕様物が対象の指の底に接触した状態で撮影されてもよい。

特に、図２及び図３に示すように、対象の手の甲を見る視点から、標準仕様物とともに対象の爪甲の画像を撮ることによって、第１画像を得ることができる。

また、第１画像は、対象の手の甲を見た視点から、左手の親指の底部が標準仕様物に接触した状態で撮影された画像と、対象の手の甲を見た視点から、左手の残りの４本の指の底部が標準仕様物に接触した状態で撮影された画像と、対象の手の甲を見た視点から、右手の親指の底部が標準仕様物に接触した状態で撮影された画像と、対象の手の甲を見た視点から、右手の残りの４本の指の底部が標準仕様物に接触した状態で撮影された画像とを含んでいてもよい。

特に、図４に示すように、第２画像は、対象の指先を見た視点から標準仕様物と共に爪先（爪の自由端）の画像を撮影することによって得ることができる。

ここで、第２画像は、対象の対応する手の親指の下端が標準仕様物の一方の面に接触し、残りの４本の指の下端が全て標準仕様物の他方の面に接触した状態で撮影された左手画像及び右手画像を含んでいてもよい。

ここで、第２画像では、爪先がどの程度湾曲しているか（すなわち、爪先の湾曲の程度）を認識するために、対象の指先の画像を、指が注文に伸びる方向と反対の視点から撮影する必要がある。

又、画像データは、爪甲がどの程度湾曲しているかを認識するために、指の側面を撮影した第３画像を更に含むことができる。

標準仕様物は、国際規格に基づいて作成された物体であってもよい。

例えば、標準仕様物は、国際標準化機構（ＩＳＯ）によって開発された国際規格に基づいて製造された物体であってもよく、国際規格に基づいて製造された物体は、クレジットカード、紙幣、硬貨、紙幣等の様々な物体のいずれであってもよい。

以下、本実施形態に係る標準仕様物の一例としてクレジットカードについて説明する。

次に、本実施形態によるフォトグラメトリを使用したモデル再構成方法は、ステップＳ２２０で画像データを分析してもよい。

すなわち、ステップＳ２２０で、対象の爪の爪甲及び爪先の形状が画像データから認識され、爪甲の形状及び爪先の形状に対するパラメータが標準仕様物に基づいて決定される。

図５を参照すると、ステップＳ２２０において、爪甲の形状は、手の甲が見られる視点からの第１画像から認識されてもよく、爪甲の形状に対するパラメータは、標準仕様物に基づいて決定されてもよい。

図１１を参照すると、ステップＳ２２０における手続きにおいて、各爪甲の形状に関するパラメータは、ステップＳ２２１において最初に決定されてもよい。すなわち、ステップＳ２２１において、対象の手の甲を見る視点から、第１画像内の各爪甲の爪壁上に少なくとも４つの点を設定することができ、次いで、パラメータは、対応する爪甲の形状に関する座標値として少なくとも４つの点を使用して決定してもよい。

ここで、ステップＳ２２１において、少なくとも１つの選択可能な人工爪モデルの爪形状の種類を、対象の手の甲を見る視点からの第１画像から認識される爪甲の形状に基づいて決定してもよい。

図６を参照すると、本発明の実施の形態に係るフォトグラメトリを使用したモデル再構成装置によって選択可能な人工爪モデルの爪形状の種類が描かれていることが分かる。

本発明の実施形態による爪形状の種類は、方形、角丸方形、スクーバル又は半方形、丸みを帯びた形、楕円形、アーモンド形、バレリーナ又は棺形、及び小剣形を含むことができ、追加の爪形状を更に含むことができる。

ここで、Ｓ２２１ステップでは、対象の爪甲の認識された形状と基準人工爪モデルの爪甲とを比較することによって、人工爪モデルの爪形状をユーザに推奨することに注文して人工爪モデルの爪形状のうち一つ以上を選択し、選択された人工爪モデルの爪形状をユーザ端末装置を通じてユーザに推奨してもよい。

例えば、ステップＳ２２１で、対象の爪の長さが基準人工爪モデルの爪のそれより長い場合、方形、角丸方形、スクーバル又は半方形を選択してもよい。対象の爪の長さが基準人工爪モデルの爪よりも小さい場合には、丸みを帯びた形状を選択してもよい。対象の爪の幅が基準人工爪モデルの爪のそれよりも小さい場合には、楕円形又はアーモンド形を選択してもよい。

又、ステップＳ２２０の処理では、ステップＳ２２２において、それぞれの爪先の形状に関するパラメータを決定してもよい。

すなわち、ステップＳ２２２では、対象の指先を見た視点から第２映像から爪先の形状を認識し、その標準仕様物に基づいて爪先の形状に対するパラメータを決定してもよい。

図７を参照すると、ステップＳ２２２において、対象の指先が見られる視点から位置ごとに１点を設定するように、各爪の両側に対応する位置に２点を設定し、爪先上の少なくとも１点に追加点を設定し、次いで、爪先の形状に対する座標値として２点及び追加点を使用してパラメータを決定してもよい。

ステップＳ２２２において、２点を結ぶ直線を生成し、その直線に垂直で対象の爪甲を通る垂直線を満たす爪先上の点を追加点として設定してもよい。

なお、Ｓ２２２では、標準仕様物上に２点を設定し、２点を結ぶ直線を生成し、標準仕様物上に生成された直線の傾きを用いて、爪先の形状の座標値の位置を調整してもよい。

更に、ステップＳ２２０の手順では、ステップＳ２２３において、各爪の側面の形状に関するパラメータを決定してもよい。

又、第３画像から対象の指の側面を見た視点から撮った爪側の形状を認識し、爪側の形状のパラメータを決定してもよい。

ここで、Ｓ２２３では、第３画像の爪甲の爪先（自由端）と爪根に、各指の側面を見た視点から、爪先に１点、爪根に他の１点を設定するように２点を設定し、爪甲上の少なくとも１点に追加点を設定し、その２点と追加点を爪側の形状の座標値としてパラメータを決定してもよい。

ステップＳ２２３では、２点を結ぶ直線を生成し、その直線に垂直であり、対象の爪甲を通る垂直線を満たす爪甲上の位置を追加点としてもよい。

ステップＳ２２３では、標準仕様物上に２点を設定し、２点を結ぶ直線を生成し、標準仕様物で生成される直線の傾きを用いて爪側面の形状に対する座標値の位置を調整するようにしてもよい。

この場合、ステップＳ２２０に含まれるステップＳ２２１、Ｓ２２２、Ｓ２２３の実行順序も変更されてもよい。

次に、本実施形態によるフォトグラメトリモデル再構成方法は、人工爪モデルを生成する（Ｓ２３０）。

すなわち、ステップＳ２３０で、パラメータに基づいて人工爪モデルを生成してもよい。

図１２を参照すると、ステップＳ２３０の手順において、ステップＳ２３１で基準爪モデルの形状を調整することによって人工爪モデルを生成してもよい。

ステップＳ２３１では、各爪甲の形状に対する座標値に基づいて基準人工爪モデル用の各爪甲の形状を調整し、その爪甲の形状を調整した基準人工爪モデルから人工爪モデルを生成するようにしてもよい。

Ｓ２３１では、各爪先の形状の座標値に基づいて、基準人工爪モデルの各爪先の形状を調整し、爪先の形状が調整された基準人工爪モデルから人工爪モデルを生成してもよい。

ステップＳ２３１では、基準人工爪モデルの各爪甲の側面の形状を、各爪甲の側面の形状に対する座標値に基づいて調整し、爪甲の側面の形状を調整した基準人工爪モデルから人工爪モデルを生成するようにしてもよい。

又、ステップＳ２３０の手順において、ステップＳ２３２にて人工爪モデルのスケール値を決定してもよい。

すなわち、Ｓ２３２ステップで、人工爪モデルの座標値及び標準仕様物の座標値に基づいて標準仕様物に対応する人工爪モデルのスケール値を決定してもよい。

又、Ｓ２３２ステップで、第１画像、第２画像、及び第３画像でまとめられた爪と標準仕様物の座標値を比較して人工爪モデルのスケール値を決定し、人工爪モデルの実際の大きさを計算してもよい。

Ｓ２３２ステップでは、第１画像で撮影された爪及び標準仕様物が３Ｄ座標系のＸ−Ｙ平面に位置するように指定され、第２画像の爪先の形状から認識される座標値と第３画像の爪甲の側面の形状から認識される座標値とに基づいて爪先の曲率の程度及び爪甲の側面の曲率の程度が計算され、爪先の曲率の程度及び爪甲の側面の曲率の程度がＸ−Ｙ平面に対するＺ軸上の座標として計算されるスカラー空間が計算され、これにより３Ｄ座標系における人工爪モデルが生成されることを可能にする。

図８を参照すると、本実施形態による人工爪モデルの詳細な調整が示されていることが分かる。

例えば、ステップＳ２３２で、生成された人工爪モデルの厚さ、横曲率高さ、縦曲率高さ、及び爪長さをミリメートル単位で微調整してもよい。また、追加パラメータを更に含めて調整してもよく、詳細な調整のユニットはこれに限定されない。

ここで、Ｓ２３２ステップでは、ダウンロード機能（ＤＯＷＮＬＯＡＤ）を通じて最終的に生成された人工爪モデルに関する情報をユーザに伝達し、プロジェクトセービング機能(ＳＡＶＥ ＰＲＯＪＥＣＴ)を通じて人工爪モデルを保存してもよい。

ここで、人工爪モデルは、３Ｄ印刷可能な３Ｄモデルファイル（例えば、ステレオリソグラフィー（ＳＴＬ）ファイル等）の形態で生成されてもよい。

又、ステップＳ２３０の処理では、ステップＳ２３３で学習データを生成してもよい。

すなわち、Ｓ２３３ステップでは、人工爪モデルを生成する過程で使用される画像データ及び座標値と、基準人工爪モデルから調整されたパラメータとから学習データを生成してもよい。

ここで、Ｓ２３３ステップでは、人工爪モデルを生成するために使用される画像データ及び座標値と、基準人工爪モデルから調整されたパラメータとを学習して学習データを生成してもよい。

ここで、ステップＳ２３１、Ｓ２３２で学習データを用いることで、３Ｄ座標系における人工爪モデルの形状やスケールをより効果的に決定してもよい。

図１３は、本発明の一実施形態に係るコンピュータシステムを示す図である。

図１３を参照すると、本発明の実施形態によるフォトグラメトリ法を使用するモデル再構成装置は、コンピュータ可読記憶媒体等のコンピュータシステム１１００に実装してもよい。また、図１３に示すように、コンピュータ１１００は、１つ又は複数のプロセッサ１１１０、メモリ１１３０、ユーザインタフェース入力装置１１４０、ユーザインタフェース出力装置１１５０、及び記憶装置１１６０を含むことができ、これらはバス１１２０を介して互いに通信する。コンピュータシステム１１００は、ネットワーク１１８０に接続されたネットワーク・インタフェース１１７０を更に含むことができる。プロセッサ１１１０は、メモリ１１３０や記憶装置１１６０に格納された処理命令を実行する中央処理装置であってもよい。メモリ１１３０及び記憶装置１１６０の各々は、様々なタイプの揮発性又は不揮発性記憶媒体のいずれであってもよい。例えば、メモリは、読み出し専用メモリ（ＲＯＭ）１１３１又はランダムアクセスメモリ１１３２を含み得る。

ユーザに適したユーザカスタマイズ人工爪モデルを簡便かつ簡単に提供してもよい。

又、複雑な工程や特殊な工具を必要とすることなく、現行の規格仕様に準拠した基準人工爪モデルからユーザカスタマイズの人工爪モデルを生成してもよい。

以上説明したように、本発明に係るフォトグラメトリを使用したモデル再構成装置及び方法では、上述した実施形態の構成及びスキームを限定的に適用するものではなく、上述した実施形態の一部又は全部を選択的に組み合わせて、様々な変形が可能に構成してもよい。

Claims (16)

1. 人工爪モデルを生成する対象の爪の画像と標準仕様物とを合わせた画像データを受信するための画像受信ユニットと、
   前記画像データから前記対象の爪甲形状と爪先形状を認識し、前記標準仕様物に基づいて前記爪甲形状と前記爪先形状のパラメータを決定するための画像解析ユニットと、
   前記パラメータに基づいて人工爪モデルを生成するためのモデル生成ユニットと、
   を有するフォトグラメトリを使用したモデル再構成装置。
2. 前記標準仕様物は、国際規格に準拠して製造された物である、請求項１に記載のモデル再構成装置。
3. 前記画像データは、前記爪甲形状を認識するための第１画像と、前記爪先形状を認識するための第２画像とを含む、請求項２に記載のモデル再構成装置。
4. 前記第１画像及び前記第２画像は、前記標準仕様物が前記対象の指の底部に密接に接触している状態で撮影される、請求項３に記載のモデル再構成装置。
5. 前記第１画像は、前記対象の手の甲が見られる視点から、前記標準仕様物と共に前記対象の爪甲の前記第１画像が撮影される、請求項４に記載のモデル再構成装置。
6. 前記第２画像は、前記対象の指先が見られる視点から、前記標準仕様物と一緒に爪先の第２画像が撮影される、請求項５に記載のモデル再構成装置。
7. 前記第２画像は、前記対象の親指の底部が前記標準仕様物の第１表面と密接に接触し、対象の残りの４本の指のすべての底部が前記標準仕様物の第２表面に密着して存在する状態で撮影される、請求項６に記載のモデル再構成装置。
8. 前記画像解析ユニットは、前記手の甲が見られる視点からの前記第１画像から前記爪甲形状を認識し、前記標準仕様物に基づいて前記爪甲形状のパラメータを決定する、請求項７に記載のモデル再構成装置。
9. 前記画像解析ユニットは、前記対象の手の甲が見られる視点からの前記第１画像の前記爪甲の爪壁上に少なくとも４つの点を設定し、次に、前記爪甲形状に対する座標値として前記少なくとも４つの点を使用して前記パラメータを決定する、請求項８に記載のモデル再構成装置。。
10. 前記画像解析ユニットは前記対象の手の甲が見られる視点から認識される前記爪甲形状に基づいて、前記第１画像から少なくとも１つの選択可能な人工爪モデルの爪の形状のタイプを決定する、請求項９に記載のモデル再構成装置。
11. 前記画像解析ユニットは、前記対象の指先が見られる視点からの前記第２画像から前記爪先形状を認識し、前記標準仕様物に基づいて前記爪先形状のパラメータを決定する、請求項１０に記載のモデル再構成装置。
12. 前記画像分析ユニットは、前記対象の指先が見られる視点から位置ごとに１つの点を設定するように、前記第２画像の爪の両側に対応する位置に２つの点を設定し、前記爪先の少なくとも１つの位置に追加の点を設定し、前記爪先形状の座標値として前記２つの点と前記追加の点を使用して前記パラメータを決定する。請求項１１に記載のモデル再構成装置。
13. 前記画像解析ユニットは、前記２点を結ぶ直線を生成し、前記追加の点として、前記直線に垂直であり、前記対象の爪甲を通る垂直線と交わる爪先に位置を設定する、請求項１２に記載のモデル再構成装置。
14. 前記モデル生成ユニットは、前記爪甲形状及び前記爪先形状の座標値に基づいて、参照人工爪モデルの爪甲及び爪先の形状を調整し、調整された前記爪甲形状と前記爪先形状、参照人工爪モデルから人工爪モデルを生成する、請求項１３に記載のモデル再構成装置。
15. 前記モデル生成ユニットは、前記人工爪モデルの座標値及び前記標準仕様物の座標値に基づいて、前記標準仕様物に対応する前記人工爪モデルのスケール値を決定する、請求項１４に記載のモデル再構成装置。
16. フォトグラメトリを使用するモデル再構成装置によって実行される、フォトグラメトリを使用するモデル再構成方法であって、
    人工爪モデルを生成する対象の爪の画像と標準仕様物とを合わせた画像データを受信することと、
    前記画像データから前記対象の爪甲と爪先の形状を認識し、標準仕様物に基づいて前記爪甲形状と前記爪先形状のパラメータを決定すること、
    前記パラメータに基づいて人工爪モデルを生成することと、
    を含む方法。

Images