JP2023184496A - ３ｄ形状を２ｄスケッチ上に推論する方法 - Google Patents

Abstract

【課題】３Ｄ形状を２Ｄスケッチ上に推論する方法、プログラム、記憶媒体及びシステムを提供する。【解決手段】３Ｄシーンで少なくとも１つの３Ｄモデルを設計するためのコンピュータで実装される方法は、ａ）設計される３Ｄモデルのビューを表現するユーザの２Ｄスケッチを受け入れ、これを平面上に表示するステップと、ｂ）前記２Ｄスケッチに基づいて、３Ｄシーン内に配向および位置されて前記ビューに合致する３Ｄプリミティブを推論するステップと、ｃ）前記平面上に、前記３Ｄプリミティブの２Ｄ投影を実行するステップと、ｄ）前記２Ｄスケッチ上に、前記２Ｄ投影を適合させるステップと、を備える。【選択図】図９

Description

本発明は、コンピュータプログラムおよびシステムの分野に関し、より具体的には、３Ｄシーンで３次元（３Ｄ）モデル化されたオブジェクトを設計するためのコンピュータで実装される方法に関する。特に、本発明はスケッチ分野に属する。本発明は、任意の３次元ベースのＣＡＤソフトウェアで使用されることが可能であろう。

２Ｄスケッチおよび３Ｄモデリングは、工業デザインの２つのメジャーな工程である。スケッチは、設計者に彼らのビジョンを素早く且つおおよそ表現することを許すため、典型的に最初に行われる。設計スケッチは、高度な正確さおよび編集性を提供するＣＡＤツールを使用することにより、その後、下流のエンジニアリングおよび下流製造のための３Ｄモデルへ変換される。

しかしながら、設計スケッチおよびＣＡＤモデリングはしばしば、異なるスキルを有する異なる専門家によって実行され、設計の反復が煩雑で、費用と時間がかかる。実際に、２Ｄスケッチから３Ｄモデルを計算することは、簡単なタスクではない。２Ｄスケッチの入力について選択された視野角および視点によっては、ユーザが意図した３Ｄモデルを見つけることが困難になる場合がある。

例えば、長方形の２Ｄスケッチは、３Ｄ円柱（正面視野から）または直方体（任意の標準的視野から）のいずれかの表現であることが可能である。さらに、２Ｄスケッチは、その線が滑らかまたは真っ直ぐでない、または、その遠近感が現実に対して不誠実であり得るように、不正確に描かれ得る。これらの不正確さは、この問題を解決することをさらに難しくしている。様々な方法が、先行技術において、この問題を取り組むことに挑戦している。

「Ｓｋｅｔｃｈ２ＣＡＤ」（Ｓｋｅｔｃｈ２ＣＡＤ：Ｓｅｑｕｅｎｔｉａｌ ＣＡＤ Ｍｏｄｅｌｉｎｇ ｂｙ Ｓｋｅｔｃｈｉｎｇ ｉｎ Ｃｏｎｔｅｘｔ，ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈ．，Ｖｏｌ.３９，Ｎｏ．６，Ａｒｔｉｃｌｅ１６４．，２０２０年１２月）では、ユーザは、所望の形状編集をスケッチすることによりオブジェクトを創造し、これは自動的にＣＡＤオペレーションへ変換される。更新されたモデルは、既存の形状に基づいて、および、所定のオペレータに対応する入力スケッチストロークに基づいて製造される。Ｓｋｅｔｃｈ２ＣＡＤにおいて支持されるオペレータは、面押し出し（ｆａｃｅ ｅｘｔｒｕｓｉｏｎ）、角の面取り（ｂｅｖｅｌｉｎｇ ｏｆ ｃｏｒｎｅｒ）、適切な多面体の追加／控除（ａｄｄｉｔｉｏｎ／ｓｕｂｔｒａｃｔｉｏｎ ｏｆ ａ ｒｉｇｈｔ ｐｏｌｙｈｅｄｒｏｎ）、および、円柱形状のスイープ（ｓｗｅｅｐｉｎｇ ｏｆ ａ ｃｙｌｉｎｄｒｉｃａｌ ｓｈａｐｅ）である。

オペレータタイプは、既存の形状および曲線セグメンテーションマップのベース面を選択するために使用され、それに基づいてオペレータを定義するパラメータが、最適化処理を通じて適合される。しかしながら、Ｓｋｅｔｃｈ２ＣＡＤは、いくつかの欠点を有する。オペレータの入力スケッチストロークは、更新されたモデルが推論されることが可能になる前に完全に描かれなければならない。進歩的なフィードバックはない。

それゆえ、ユーザが更新されたモデルに満足していない場合、彼は、テキストファイルにおいてオペレータパラメータの煩雑な編集を通じて（例えば、「ＡｄｄＳｗｅｅｐＳｈａｐｅ」：＜ｐｌａｎｅ１、ｌｅｎｇｔｈ０．２３＞）、推論されたＣＡＤ命令を修正することのみが可能であり、これは非専門家ユーザにとって複雑であり得る。そのうえ、適切な多面体の追加／控除などのいくつかのオペレータは、３次元で複雑な入力スケッチストロークを必要とし、これは非専門家ユーザにとってすばやく行うことができ得ない。

特許文献１は、３Ｄ設計の方法を開示しており、その中で、ニューラルネットワークは、２Ｄスケッチを入力、２Ｄスケッチによって表現される３Ｄモデルを出力としている。ニューラルネットワークは、一般的な構造上のおよび／または機能的な特徴を有するオブジェクトの分類に対して学習されるため、３Ｄモデルが、単一の２Ｄスケッチに基づいて推論され、すなわち、計算される。そのため、完全にスケッチを描く必要がない。

２Ｄスケッチは、スクリーンの平面上に与えられ、推論された３Ｄモデルが、２Ｄスケッチの隣の３Ｄシーンに与えられる（当該特許出願の図１０、１１および１２を参照）。

推論処理の間、２Ｄスケッチは、連続的に切り取りおよびサイズ変更され、それにより、ニューラルネットワークの入力は、常に中心に置かれて２５６×２５６ピクセルの一定のサイズを有する。そのため、推論された３Ｄモデルは、２Ｄスケッチのサイズを考慮に入れることもなく、３Ｄシーン内のその位置を考慮に入れることもない。

それゆえ、２Ｄスケッチおよび３Ｄモデルを同じスクリーン上で合致させるためには、３Ｄシーンでの３Ｄモデルのサイズ変更および再配置、および、視点を変える必要があるだろう。そのような種類の処理は、設計処理を楽にしない。

Ｄ１（Ａ Ｓｕｇｇｅｓｔｉｖｅ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｉｍａｇｅ Ｇｕｉｄｅｄ ３Ｄ Ｓｋｅｔｃｈｉｎｇ，Ｔｓａｎｇ ｅｔ ａｌ．）は、３Ｄワイヤーフレームモデルをスケッチするための、画像ガイド付きペンベースの示唆的インターフェースに関する。３Ｄモデルは、直交の構造平面に様々な視点から２Ｄプロフィール曲線を描くことにより創造される。

Ｄ２（Ｏｎ Ａｌｉｇｎｉｎｇ Ｓｈａｐｅｓ，Ｂｏｕａｇａｒ ｅｔ ａｌ．）は、最小面積の長方形に基づく、２つの形状間の形状位置合わせのための方法に関する。

ＥＰ特許出願公開第３９５８１６２号明細書

Ｓｅｑｕｅｎｔｉａｌ ＣＡＤ Ｍｏｄｅｌｉｎｇ ｂｙ Ｓｋｅｔｃｈｉｎｇ ｉｎ Ｃｏｎｔｅｘｔ，ＡＣＭ Ｔｒａｎｓ．Ｇｒａｐｈ． Ａ Ｓｕｇｇｅｓｔｉｖｅ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｉｍａｇｅ Ｇｕｉｄｅｄ ３Ｄ Ｓｋｅｔｃｈｉｎｇ，Ｔｓａｎｇ ｅｔ ａｌ． Ｏｎ Ａｌｉｇｎｉｎｇ Ｓｈａｐｅｓ， Ｂｏｕａｇａｒ ｅｔ ａｌ．

そのため、ユーザの現在のスケッチ上に直接表示することが可能な３Ｄモデルを設計するための、ユーザーフレンドリーなコンピュータで実装される方法を提供する必要性がある。

本発明の目的は、３Ｄシーンで少なくとも１つの３Ｄモデルを設計するためのコンピュータで実装される方法であって、
ａ）ユーザの２Ｄスケッチ（１）を受け入れ、これを平面上に表示するステップであって、前記２Ｄスケッチ（１）は、設計される３Ｄモデルのビューを表現する、ステップと、
ｂ）前記２Ｄスケッチ（１）に基づいて３Ｄプリミティブ（４）を推論するステップであって、前記３Ｄプリミティブは、３Ｄシーン内に配向および位置されて前記ビューに合致する、ステップと、
ｃ）前記平面上に、前記３Ｄプリミティブ（４）の２Ｄ投影を実行するステップと、
ｄ）前記２Ｄスケッチ（１）上に、前記２Ｄ投影を適合させるステップと、
を備えるコンピュータで実装される方法である。

本発明はまた、３Ｄモデルのセットを設計するための方法、コンピュータプログラム製品、非一時的コンピュータ可読データ記憶媒体、および、コンピュータシステムに関する。

本発明の追加の特徴および利点が添付図面と併用して、後続の説明から明らかになる。

図１Ａは、発明された方法による長方形の直方体の設計の例を示す図である。 図１Ｂは、発明された方法による長方形の直方体の設計の例を示す図である。 図１Ｃは、発明された方法による長方形の直方体の設計の例を示す図である。 図１Ｄは、発明された方法による長方形の直方体の設計の例を示す図である。 図１Ｅは、発明された方法による長方形の直方体の設計の例を示す図である。 図２Ａは、発明された方法による回転円柱の設計の例を示す図である。 図２Ｂは、発明された方法による回転円柱の設計の例を示す図である。 図２Ｃは、発明された方法による回転円柱の設計の例を示す図である。 図２Ｄは、発明された方法による回転円柱の設計の例を示す図である。 図３は、境界正方形を使用して、当該２Ｄスケッチ上に、３Ｄプリミティブの２Ｄ投影を適合させるステップを示す図である。 図４は、境界長方形を使用して、当該２Ｄスケッチ上に、３Ｄプリミティブの２Ｄ投影を適合させるステップを示す図である。 図５は、２値マスクを使用して、当該２Ｄスケッチ上に、３Ｄプリミティブの２Ｄ投影を適合させるステップを示す図である。 図６は、２Ｄスケッチのエッジを２Ｄ投影のエッジと交換するステップを示す図である。 図７は、エッジ制限に沿って設計するための方法の実施形態を示す図である。 図８は、３Ｄモデルのセットを設計するための方法の実施形態を示す図である。 図９は、発明された方法のフローチャートである。 図１０は、発明された方法を実行するためのコンピュータを示す図である。 図１１は、方法を実行するため適切なコンピュータシステムのブロック図である。

発明された方法の第１の例示は、図１Ａから図１Ｅに関連して開示される。図１Ａに示されるように、ストローク１は、ＣＡＤツールなどのスケッチ環境において、マウス、付属品、または任意の適切な入力手段を使用してユーザによりスケッチされる（図９のステップａ））。

マウスを使用することにより、ユーザは、ポインタをドラッグする、すなわち、マウスの転移およびマウスボタンのうちの１つの長押しの組合せを行う。タッチモードでは、タッチスクリーンを使用して、ユーザは、タッチスクリーン上に付属品（スタイラスまたは指）を、それらの接触を維持しながら、移動する。

図１Ｂでは、ユーザは、３つの他のストロークをスケッチし続ける。スケッチが複数のストロークを含み得ることを注意することが可能である。本発明では、複雑な描画の異なる部分からストロークが混在しないように、ユーザは、新しい形状を描き始めたときを指示する必要がある。例えば、ユーザは、メニューで専用のコマンドを選択、または、専用のショートカットを使用し得る。

１つまたは複数のユーザの２Ｄスケッチのストロークは、同じ平面、すなわち視錐台に近い面、で受け入れられ、ユーザの透視図から３Ｄ形状を表現する。ユーザの２Ｄスケッチは、コンピュータのスクリーン上に表示される。近似の面は、視点からのユーザの視野方向の眺めに対して垂直である。スケッチが不完全であり得ても、３Ｄプリミティブは、不完全なスケッチの部分情報に基づいて導き出され（図９のステップｂ））、スクリーン上に表示される。

特許文献１に開示された畳み込みニューラルネットワーク（ＣＮＮ）エンコーダは、これら部分情報、および、３Ｄモデルを定義するデータへ２Ｄスケッチを符号化する学習されたパターンを使用する。２Ｄスケッチに基づいてリアルタイム３Ｄモデルを提供する他の解決策が想定され得る。

例えば、図１Ｃでは、３Ｄプリミティブは、平行六面体であり、３Ｄ形状の透視の視点と合致するように配向および位置されている。推論は、各ストロークの後で、すなわち、付属品とタッチスクリーンとの接触が開放されたとき、または、マウスを押すことが開放されたときに、計算され得る。代替的に、推論は、定期的に計算され得る。両方の実施形態では、３Ｄプリミティブは、ユーザがスケッチし終えていなくても、表示され得る。

つぎに、３Ｄプリミティブは、近似の面上に投影され（図９のステップｃ））、２Ｄスケッチ上に適合される（図９のステップｄ））。それゆえ、ユーザは、２Ｄスケッチに重ね合わされた３Ｄプリミティブのリアルタイムフィードバックを、スクリーン上で受け入れ、これは、ユーザの現在の再構築された３Ｄモデルを可視化および修正することを助ける。

特許文献１に開示された畳み込みニューラルネットワーク（ＣＮＮ）エンコーダは、リアルタイム３Ｄプリミティブを推論する、それゆえユーザは、３Ｄプリミティブのリアルタイムフィードバックを受け入れる。発明された方法のおかげで、設計処理は邪魔されず、ユーザは、提案された推論によってガイドされる間連続的にスケッチすることが可能である。

実際、深層学習アーキテクチャを使用することで、高速の計算結果を可能にし（計算時間１秒未満）、それにより、ＧＰＵアクセラレーションを活用できる。

図１Ｄでは、２Ｄスケッチの角のうちの１つから開始する別のストロークが、ユーザによって提供される。再び、図１Ｅで見ることが可能なように、３Ｄプリミティブは、新しいストロークに基づいて推論される。

任意に、プリミティブの２Ｄ投影の変形（プリミティブの２Ｄ投影が２Ｄスケッチ上に適合される方法、例えば、変換やスケーリング）は、３Ｄプリミティブ上に反映される。代替的に、３Ｄプリミティブは、直接的にユーザのスケッチ中に変更されて、各ストロークの後で計算されるその投影は、２Ｄスケッチに適合する。この代替はしかし、２Ｄエラーから３Ｄパラメータを修正する方法を知るために、微分可能なレンダリングツールを必要とするため、より複雑である。

２Ｄスケッチ上に適合される２Ｄ投影は、視錐台に近い面の３Ｄプリミティブの透視投影または正投影であり得る。近似の面は、視野方向の眺めに対して垂直な平面であることに注意されたい。

正投影図よりも透視図においてスケッチすることはより難しく、それゆえ、本発明は特に、透視図において有用である。そのうえ、透視図に従って表示される写真の上にスケッチする場合、透視図で描くことは重要である。しかしながら、本発明は、透視図に制限されるものではない。初心者のユーザは、正投影図（例えば、平行線および消失点なし）に従って描く傾向があり、正投影図でスケッチする際に何らかの支援を提供することも有用であろう。透視図と正投影図の選択は、専用のコマンドを使用してユーザに委ねることが可能であろうし、デフォルトで設定することも可能であろう。

図２Ａ、図２Ｂ、図２Ｃおよび図２Ｄは、別のプリミティブでの、発明された方法の別の例を示す図である。図２Ａでは、ユーザは、扁平な円１をスケッチし、推論された３Ｄプリミティブは、半円柱４である（図２Ｂ）。ユーザのスケッチおよび推論された３Ｄプリミティブは、重ね合わされている。そのため、ユーザは、彼のスケッチの即時のフィードバックを受け入れる。図２Ｃでは、ユーザは、扁平な円から開始し、スクリーン上に垂直に延びるストロークをスケッチする。図２Ｄで見ることが可能であるように、円柱は、扁平な円および扁平な円から延びるストロークのスケッチから推論される。

他の簡略だがカジュアルな３Ｄプリミティブが、スケッチから推論され得る。示された例は、２Ｄ面の押し出しに基づいて３Ｄプリミティブを開示するが、これらの形状は、ユーザの必要性やユーザの専門知識の領域に応じて、任意のユーザ定義のプリミティブを使用してニューラルネットワークを訓練することにより新しいプリミティブに拡張されることが可能である。

例えば、新しいプリミティブテンプレートは、結果の関連性を高め時間を節約するために、データセットに追加されることが可能である。この機能は、ユーザが過去に創造したものに類似する形状の可変性を維持するために、特に興味深い。

深層学習アーキテクチャはまた、一般的な構造および／または機能的な特徴を有する３Ｄモデルの少なくとも１つのグループで訓練され得る。例えば、ユーザが多くのねじを創造した場合、システムは、まさにその最初のストロークからねじを推論するだろう。

３Ｄプリミティブの２Ｄスケッチへの重ね合わせは、３Ｄプリミティブの２Ｄ投影をスケッチの平面上に実行することによって（ステップｃ））および２Ｄ投影を２Ｄスケッチ上に適合させること（ステップｄ））によって達成される。

さらなる実施形態では、近くの平面と３Ｄプリミティブとの間の距離は、深層学習アーキテクチャのグループの３Ｄモデルの表現されるサイズに基づいて設定され得る。これは、３Ｄプリミティブが推論されると、３Ｄシーンにて、ユーザがズームインまたはズームアウトすることを防ぐ。

いくつかの実施形態が、２Ｄ投影を２Ｄスケッチに適合させるために考えられている。

図３により示される、第１の実施形態によると、２Ｄ投影を２Ｄスケッチ上に適合させる（ステップｄ）は、２Ｄ投影の第１の２Ｄ境界正方形５を計算する第１のサブステップを備える（図３の中央部分を参照）。

第２のサブステップでは、２Ｄスケッチ１の第２の２Ｄ境界正方形６が計算される（図３の左部分）。第２の２Ｄ境界正方形は、２Ｄスケッチを内包する最も小さな正方形である。第１および第２の２Ｄ境界正方形は同時に計算され得る。

３Ｄプリミティブの２Ｄ投影を２Ｄスケッチ上に適合させることは、好ましい実施形態では、平面で第１の２Ｄ境界正方形５を変換して、第１の２Ｄ境界正方形５の中央と第２の２Ｄ境界正方形６の中央とを一致させることにより、および、第１の２Ｄ境界正方形５を均一にスケーリングして、その辺の長さが、第２の２Ｄ境界正方形６の辺の長さと適合する、すなわち、第１の２Ｄ境界正方形５および第２の２Ｄ境界正方形６の辺の長さが等しくなる、ことによって、実行され得る。

この変換は、均一なスケーリングの前に、または逆に、同時に、動作され得る。

推論された３Ｄプリミティブは、２Ｄ投影が２Ｄスケッチ上に適合した時点でのみ表示され、それにより、ユーザは、即座に３Ｄプリミティブと２Ｄスケットとの重ね合わせを見ることができることに注意することが可能である。

ユーザを支援するため、適合された２Ｄ投影は、ユーザを鼓舞させ、彼が彼の描画を仕上げまたは修正することを助けるために、彼の現在のスケッチ上に、透明（または部分的に透明）で表示される。

図４により示される、第２の実施形態によると、２Ｄ投影の第１の２Ｄ境界長方形７が計算される（図４の中央部分を参照）。２Ｄスケッチ１の第２の２Ｄ境界長方形８が計算される（図３の左部分）。第２の２Ｄ境界長方形は、２Ｄスケッチの全てのポイントを内包する、最も小さな辺を有する長方形である。

第１の２Ｄ境界長方形７は、平面で変換され、その中央と第２の境界長方形８の中央とが一致する。第１の２Ｄ境界長方形７は、均一にスケールされて、その長いまたは短い辺のうちの１つの長さが、第２の２Ｄ境界長方形８の対応する辺の長さに適合する。「対応する辺」により、スケーリングがなされて、第１の２Ｄ境界長方形７の長い辺の長さが、第２の２Ｄ境界長方形８の長い辺の長さと等しくなる、または、第１の２Ｄ境界長方形７の短い辺の長さが、第２の境界長方形８の短い辺の長さと等しくなる、ことが理解される。

変換は、均一なスケーリングの前に、または逆に、同時に、動作され得る。

図４では、境界長方形の辺は、３Ｄプリミティブおよび２Ｄスケッチが原則的に垂直に延びるため、垂直および水平に配置される。境界長方形の他の配向が考えられる。

例えば、第１の２Ｄ境界長方形について、配向は２Ｄ境界長方形の領域が最小化される配向であり得る。そして、第２の２Ｄ境界長方形の配向は、第１の２Ｄ境界長方形の配向と同じであり得る。代替的に、第２の２Ｄ境界長方形の配向が、初めに決定され得る。

代替的に、２Ｄ境界長方形のうちの１つの配向は、辺の長さが最も小さい配向を考慮して計算され得る。

２つの境界正方形の１つを他に適合させること、または、２つの境界長方形の１つを他に適合させることは、時間の掛かる処理ではなく、そのため、リアルタイム実装に完全に互換性がある。

図５により示される、別の実施形態では、（ステップｄ）は、２Ｄスケッチ１の覆いの第１の２Ｄ２値マスク９を計算すること、および、３Ｄプリミティブの２Ｄ投影の第２の２Ｄ２値マスク１０を計算することを備える。マスクは、次々に、または同時に、計算され得る。

２値マスクは、２Ｄスケッチおよび３Ｄプリミティブの２Ｄ投影の凸包または凹包を使用することにより計算され得る。２Ｄスケッチが部分的である、または、非常に部分的である場合、凸包を使用することが好ましい。２Ｄスケッチが完全である場合、凹包を使用することがより良いだろう（凹包は、凸包に比べて、より小さな領域を有し、より自然な境界を表現する）。

２Ｄスケッチは、ストロークのセットが少なくとも１つの不連続を有する場合、部分的または不完全であると定義される。

そして、３Ｄプリミティブの２Ｄ投影は、平面で第２の２値マスク１０を変換し、第２の２Ｄ２値マスク１０を均一にスケーリングして、第１の２値マスク９および第２の２値マスク１０の重なりを最大にすることにより、２Ｄスケッチ上に適合される。

特定の実施形態では、２値マスクの重なりを決定するため、下記に定義される、交差オーバーユニオン（ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）関数ＩｏＵ（ｘ，ｙ，ｓ）が使用される。

Ｍａｓｋ_１は、第１の２Ｄ２値マスク９であり、Ｍａｓｋ_２は、１つの軸（例えば、スクリーンの水平軸）に沿ってｘだけ、および、別の軸（例えばスクリーンの垂直軸）に沿ってｙだけ変換され、第１の２Ｄ２値マスク９に関して係数ｓに従って均一にサイズ変更される第２の２Ｄ２値マスク１０である。

「＋（プラス）」「－（マイナス）」および「＊（アスタリスク）」は、両方の２値マスクを含む画像が同じサイズであることを考慮して、それぞれ、画素間加算、画素間減算、および画素間乗法の、画素毎の演算（ｐｉｘｅｌ－ｗｉｓｅ ｏｐｅｒａｔｉｏｎ）である。

パラメータｘ、ｙ、およびｓは、１に向かう交差オーバーユニオン関数を有するように決定される。

２つの２値マスクを比較する任意の他の関数、例えば、一般化した交差オーバーユニオン（Ｇｅｎｅｒａｌｉｚｅｄ ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ ｕｎｉｏｎ）（ＧＩｏＵ）が使用されることが可能であろう。

２値マスクに基づいた、第３の実施形態は、第１および第２の実施形態、それぞれ境界正方形および長方形に基づく、よりも時間が掛かり得るが、誤差最小化計算のおかげで、より良い結果を提供することができる。

第１および第２の実施形態は、第３の実施形態に統合され得る。例えば、第１または第２の実施形態は、２Ｄスケッチ上に適合される３Ｄプリミティブを素早く提供するために、ユーザが、第１のストロークのセットのスケッチを開始する場合に実装され得る。例えば、図１Ａ－図１Ｅおよび図２Ａ－図２Ｄを参照すると、第１または第２の実施形態は、ユーザがそれぞれ長方形または扁平な円をスケッチする場合に実装され得る。そして、第３の実施形態は、ユーザが、第２のストロークのセットで彼のスケッチを洗練する場合に実装され得る。図１Ａ－図１Ｅおよび図２Ａ－図２Ｄを参照すると、第３の実施形態は、ユーザが垂直なストロークを描くことを開始する場合に実装され得る。

ユーザは、３Ｄプリミティブが２Ｄスケッチに関して十分に中央にないと考える場合、１つの実施形態から他の実施形態へ切り替えることができる。

図６により示される、好ましい実施形態では、ユーザは、３Ｄプリミティブのエッジ１１のうちの１つを使用して彼の２Ｄスケッチを修正および／または仕上げ得る。そのために、ユーザは、例えば、エッジ１１をダブルクリックして、またはマウスの左右両方のボダンを押すことにより、あるいはタッチモードでエッジ１１をロングタップして、エッジの選択のための入力を提供する。

ユーザの入力の位置が３Ｄのプリミティブ投影のエッジに近い場合（例えば、距離が所定の閾値を下回ることを考慮することにより）、エッジは、２Ｄスケッチに追加される。代替的に、プリミティブのエッジ、２Ｄスケッチのエッジ上に少なくとも部分的に適合する、は、２Ｄスケッチのエッジと交換され得る。

有利には、ユーザが、ポインタ（マウスポインタまたはタッチモードの付属品）を３Ｄのプリミティブ投影のエッジのうちの１つに合わせるときに、エッジの強調表示などのエッジにおける視覚のフィードバックが存在し得る。

ユーザはまた、予想される完全な形状を選択し、およびそれゆえ、全ての現在のユーザのストロークを、完全に推論された形状のストロークと交換し得る。これは、表示されたシルエットをダブルクリックする、またはボタンをダブルクリックして結果を検証することによって達成されることが可能である。２Ｄ投影と２Ｄスケッチとが重なるため、ユーザは、簡単に２Ｄスケッチから３Ｄプリミティブへ切り替えることが可能であり、これは、本方法のインタラクティブ性に寄与する。

図７により示される、別の実施形態によると、ユーザは、スケッチの間ガイドされ得る。推論された３Ｄプリミティブは、少なくとも１つのエッジを有する。所与のエッジに対してエッジ制限を定義し、それがユーザのスケッチのターゲットとして機能することが可能である。エッジ制限１３は、例えば、エッジ１４と位置合わせされることにより、エッジ１４に適合する。各エッジは、そのため、目に見える投影されたエッジに限定されず、無限のルーラのように振る舞い得る。

図７では、ユーザは扁平な円をスケッチし、それゆえ、円柱が推論される。３Ｄプリミティブのパラメータのうちの１つ、すなわち、円柱の高さ、は、デフォルト値である。エッジ制限は、パラメータに対応するエッジに適用される。

ユーザのスケッチ１２が、所定の閾値を下回る２Ｄ投影のエッジに対する距離で受け入れられる場合、エッジ制限１３は、ユーザのスケッチを「引き付ける（ａｔｔｒａｃｔｓ）」。エッジ制限１３は、無限の線制限として機能し、エッジ制限１３に対するユーザのストロークをガイドおよびスナップし得る。そして、３Ｄプリミティブの新しい推論が、エッジ制限に沿った追加のユーザのスケッチに基づいて計算される。

そのため、発明された方法は、ユーザに、非常に限られた数の入力で、およびさらには部分的な入力でも、素早く３Ｄ形状を設計することを可能にさせる。すべての相互作用は、可能なかぎり、簡単かつ２つの次元で保たれており、３Ｄの複雑さは、ユーザからは見えない。

ユーザは、１つの３Ｄモデルを設計する前述のステップを繰り返すことにより、３Ｄモデルのアセンブリを設計し得る。前述したように、ユーザは、別の３Ｄモデルを設計するための特定の入力を提供しなければならない、そうでなければ、現在の３Ｄモデルの修正として解釈され、それゆえ、新しい推論が引き起こされる。

図８により例として示される、３Ｄモデルのセットを設計するための方法は、前述の方法を使用して第１の３Ｄモデル２を設計する第１のステップを備える。そして、第２のステップでは、第２の３Ｄモデル３が、前述の方法を使用して設計される。３Ｄ制限は、第１の３Ｄモデル２と第２の３Ｄモデル３との間で検出される。図８において、３Ｄ制限は、第１の３Ｄモデル２の上側ベースと第２の３Ｄモデル３下側ベースとの共平面性である。第２の３Ｄモデル３の３Ｄの位置および／または配向は、例えば、共平面性、接触、共軸性、平行性、対称性のうちの少なくとも１つが可能である、先述の３Ｄ制限に基づいて変更（スナップ）される。

例えば、２つのストロークの２Ｄ垂直性を優先する２Ｄスナップツールが既に存在することに注意することが可能である。しかしながら、透視図では、３次元の平行線は透視図において消滅点で合流するため、垂直性または２Ｄ平行性のこれらの概念は、もはや有効ではない。発明された方法は、３Ｄシーンで３Ｄモデルと直接相互作用するため、透視図におけるスナップを可能にする。

本発明の方法は、ハードディスク、ソリッドステートディスク、またはＣＤ－ＲＯＭなどのコンピュータ可読媒体上の不揮発性形式に適切なプログラムを記憶し、そのマイクロプロセッサおよびメモリを使用して当該プログラムを実行する、コンピュータネットワークを場合によっては含む、適切にプログラムされた汎用コンピュータによって実行されることが可能である。

本発明の例示的な実施形態による方法を実行するために適切なコンピュータ、より正確には設計ステーションを支援するコンピュータ、は、図１０を参照して説明される。図１０では、コンピュータは、上記説明された処理を実行する中央処理装置ＣＰを含む。処理は、実行可能なプログラム、すなわち、コンピュータ可読命令のセット、として、ＲＡＭ ＭＥＭ１またはＲＯＭ ＭＥＭ２、またはハードディスクドライブ（ＨＤＤ）ＭＥＭ３、ＤＶＤ／ＣＤドライブＭＥＭ４などのメモリに記憶されること、または、リモートに記憶されること、が可能である。本発明の方法による実行可能なプログラムによって処理されることに適した形式の３Ｄモデルデータベースはまた、メモリデバイスＭＥＭ１からＭＥＭ４のうちの１つまたは複数に、またはリモートに記憶され得る。

特許請求される発明は、本発明の処理のコンピュータ可読命令が記憶されたコンピュータ可読媒体の形式によっては限定されない。例えば、命令およびデータベースは、ＣＤ、ＤＶＤ、フラッシュメモリ、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ハードディスク、または、サーバもしくはコンピュータなどの設計ステーションを支援するコンピュータが通信する任意の他の情報処理デバイスに記憶されることが可能である。プログラムおよびデータベースは、同一のメモリデバイスまたは異なるメモリデバイスに記憶されることが可能である。

さらに、ＣＰＵ ＰＲ、およびＭｉｃｒｏｓｏｆｔ ＶＩＳＴＡ、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ７、ＵＮＩＸ（登録商標）、Ｓｏｌａｒｉｓ（登録商標）、ＬＩＮＵＸ（登録商標）、Ａｐｐｌｅ ＭＡＣ－ＯＳ、および当業者にとって既知の他のシステムなどのオペレーティングシステムと共に実行する、ユーティリティアプリケーション、バックグラウンドデーモン、もしくはオペレーティングシステムの構成要素、またはそれらの組み合わせとして、本発明の方法を実行するために適切なコンピュータプログラムが設けられることが可能である。

中央処理装置ＣＰは、Ｉｎｔｅｌ ｏｆ ＡｍｅｒｉｃａからのＸｅｎｏｎプロセッサもしくはＡＭＤ ｏｆ ＡｍｅｒｉｃａからのＯｐｔｅｒｏｎプロセッサであることが可能であり、またはＦｒｅｅｓｃａｌｅ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ ＡｍｅｒｉｃａからのＦｒｅｅｓｃａｌｅ ＣｏｌｄＦｉｒｅ、ＩＭＸ、もしくはＡＲＭプロセッサなどの他のプロセッサタイプであることが可能である。代替的に、中央処理装置ＣＰは、当業者が認識するように、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ ＡｍｅｒｉｃａからのＣｏｒｅ２ Ｄｕｏなどのプロセッサであることが可能であり、またはＦＰＧＡ、ＡＳＩＣ、ＰＬＤ上で、もしくは離散論理回路を使用して実装されることが可能である。さらに、ＣＰＵは、上記説明された本発明の処理のコンピュータ可読命令を実行するよう協同的に作用する複数のプロセッサとして実装されることが可能である。

図１０において設計ステーションを支援するコンピュータはまた、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットなどのネットワークと相互作用するための、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ ＡｍｅｒｉｃａからのＩｎｔｅｌ Ｅｔｈｅｒｎｅｔ ＰＲＯネットワークインタフェースカードなどのネットワークインタフェースＮＩを含む。設計ステーションを支援するコンピュータはさらに、Ｈｅｗｌｅｔｔ Ｐａｃｋａｒｄ ＨＰＬ２４４５ｗ ＬＣＤモニタまたはバーチャルリアリティヘッドセットなどのディスプレイＤＹとインターフェースするためのＮＶＩＤＩＡ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ ＡｍｅｒｉｃａからのＮＶＩＤＩＡ ＧｅＦｏｒｃｅ ＧＴＸ グラフィックアダプタなどディスプレイコントローラＤＣを含む。汎用Ｉ／ＯインターフェースＩＦは、キーボードＫＢおよび、ローラボール、マウス、タッチパッド、バーチャルリアリティシステムなどの制御デバイスなどのポインティングデバイスＰＤとインターフェースする。ディスプレイ、キーボードおよびポインティングデバイスは、ディスプレイコントローラおよびＩ／Ｏインターフェースと共に、グラフィカルユーザインターフェースを形成する。

本発明はまた、タッチモードで実装されることができ、その中で、コンピュータシステムは、３Ｄシーンを表示することおよび１つの付属品の相互作用を検出することのためのタッチセンシティブディスプレイを備える。

ユーザは、タッチパッドと共に、ポインティングデバイスＰＤを使用して、１つの平面にスケッチする。２Ｄスケッチは、ディスプレイＤＹ上で見ることが可能である。

本発明はまた、没入環境で実装されることが可能であろう。この場合、コンピュータシステムは、バーチャルリアリティヘッドセットを備え、これは、３Ｄシーンを表示するために、ユーザによって着用される。様々なユーザ相互作用は、タップジェスチャー、ドラッグまたはホールドジェスチャーを検出するためにボタンを備え得る、制御デバイスを使用することにより検出され得る。コンピュータシステムはまた、制御デバイスの位置を判断するために、赤外線センサなどの感知センサを備え得る。

ディスクコントローラＤＫＣは、ＨＤＤ ＭＥＭ３およびＤＶＤ／ＣＤ ＭＥＭ４を通信バスＣＢに接続し、これは、設計ステーションを支援するコンピュータのすべての構成要素を相互接続するための、ＩＳＡ、ＥＩＳＡ、ＶＥＳＡ、ＰＣＩ、または同様のものであることが可能である。

コンピュータはまた、２Ｄスケッチに基づいて、および、学習されたパターンに基づいて、３Ｄプリミティブを推論する畳み込みニューラルネットワーク（ＣＮＮ）エンコーダを備えるデータ構造がそれに記録されたメモリを備える。当業者は、エンコーダの例示的な説明について特許文献１を参照し得る。

設計された３Ｄモデル、または、設計された３Ｄモデルのアセンブリは、設計を支援するコンピュータにおけるさらなる使用のために、ＣＤ、ＤＶＤ、フラッシュメモリ、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ハードディスクまたは任意の他のサーバまたはコンピュータに記憶され得る。物理的なオブジェクトは、３Ｄモデルを含むファイルに基づいて製造され得る。ファイルは、製造処理のために可読フォーマットに変換され得る。

ディスプレイコントローラ、ディスクコントローラ、ネットワークインタフェース、およびＩ／Ｏインターフェースと同様に、ディスプレイ、キーボード、ポインティングデバイスの一般的な特徴および機能性の説明は、それらの特徴が既知であるため、簡潔にするために本明細書では省略される。

図１１は、本発明の異なる例示的な実施形態による方法を実行するための適切なコンピュータシステムのブロック図である。

図１１では、ネットワークＮＷを介して、サーバＳＣが、アドミニストレータシステムＡＤＳおよびエンドユーザコンピュータＥＵＣに接続される。

理解が可能なように、ネットワークＮＷは、インターネットなどのパブリックネットワーク若しくはＬＡＮまたはＷＡＮネットワークなどのプライベートネットワーク、またはそれらの任意の組み合わせとすることが可能であり、ＰＳＴＮまたはＩＳＤＮサブネットワークも含むことが可能である。ネットワークＮＷはまた、イーサネットネットワークのような有線であることが可能であり、またはＥＤＧＥ、３Ｇおよび４Ｇ無線セルラーシステムを含むセルラーネットワークのような無線であることが可能である。無線ネットワークは、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または既知の他の無線通信形態であることも可能である。したがって、ネットワークＮＷは例示的なものにすぎず、決して本発明の進歩の範囲を限定するものではない。

エンドユーザコンピュータのメモリデバイスに格納され、後者のＣＰＵによって実行されるクライアントプログラムは、ネットワークＮＷを介して、サーバ上の３Ｄモデルデータベースにアクセスする。

１つのアドミニストレータシステムＡＤＳおよび１つのエンドユーザシステムＥＵＸのみが示されているが、システムは、制限なく、任意の数のアドミニストレータシステムおよび／またはエンドユーザシステムを支持することが可能である。

本明細書に記載されたフローチャートにおける任意の処理、説明またはブロックは、処理における特定の論理機能またはステップを実装するための１つまたは複数の実行可能命令を含むコードのモジュール、セグメント、または部分を表すと理解すべきであり、代替の実装は本発明の例示的な実施形態の範囲内に含まれる。

図４により示される、第２の実施形態によると、２Ｄ投影の第１の２Ｄ境界長方形７が計算される（図４の中央部分を参照）。２Ｄスケッチ１の第２の２Ｄ境界長方形８が計算される（図４の左部分）。第２の２Ｄ境界長方形は、２Ｄスケッチの全てのポイントを内包する、最も小さな辺を有する長方形である。

ディスクコントローラＤＣＫは、ＨＤＤ ＭＥＭ３およびＤＶＤ／ＣＤ ＭＥＭ４を通信バスＣＢに接続し、これは、設計ステーションを支援するコンピュータのすべての構成要素を相互接続するための、ＩＳＡ、ＥＩＳＡ、ＶＥＳＡ、ＰＣＩ、または同様のものであることが可能である。

１つのアドミニストレータシステムＡＤＳおよび１つのエンドユーザコンピュータＥＵＣのみが示されているが、システムは、制限なく、任意の数のアドミニストレータシステムおよび／またはエンドユーザコンピュータを支持することが可能である。

Claims (15)

1. ３Ｄシーンで少なくとも１つの３Ｄモデルを設計するためのコンピュータで実装される方法であって、
   ａ）ユーザの２Ｄスケッチ（１）を受け入れ、これを平面上に表示するステップであって、前記２Ｄスケッチ（１）は、設計される３Ｄモデルのビューを表現する、ステップと、
   ｂ）前記２Ｄスケッチ（１）に基づいて３Ｄプリミティブ（４）を推論するステップであって、前記３Ｄプリミティブは、３Ｄシーン内に配向および位置されて前記ビューに合致する、ステップと、
   を備え、
   前記方法はまた、
   ｃ）前記平面上に、前記３Ｄプリミティブ（４）の２Ｄ投影を実行するステップと、
   ｄ）前記２Ｄスケッチ（１）上に、前記２Ｄ投影を適合させるステップと、
   を備えることを特徴とする方法。
2. ステップｄ）は、
   前記２Ｄ投影の第１の２Ｄ境界正方形（５）を計算するステップと、
   前記２Ｄスケッチ（１）の第２の２Ｄ境界正方形（６）を計算するステップと、
   前記平面で前記第１の２Ｄ境界正方形（５）を変換して、前記第１の２Ｄ境界正方形（５）の中央および前記第２の２Ｄ境界正方形（６）の中央が一致するステップと、
   前記第１の２Ｄ境界正方形（５）を均一にスケーリングして、その辺の長さを前記第２の２Ｄ境界正方形（６）の辺の長さに適合させるステップと、を備える、
   請求項１に記載の方法。
3. ステップｄ）は、
   前記２Ｄ投影の第１の２Ｄ境界長方形（７）を計算するステップと、
   前記２Ｄスケッチ（１）の第２の２Ｄ境界長方形（８）を計算するステップと、
   前記平面で前記第１の２Ｄ境界長方形（７）を変換して、その中央および前記第２の２Ｄ境界長方形（８）の中央が一致するステップと、
   前記第１の２Ｄ境界長方形（７）を均一にスケーリングして、その長辺または短辺のうちの１つの長さを前記第２の２Ｄ境界長方形（８）の対応する辺の長さに適合させるステップと、を備える、
   請求項１に記載の方法。
4. ステップｄ）は、
   前記２Ｄ投影の前記２Ｄスケッチの覆いの第１の２Ｄ２値マスク（９）を計算するステップと、
   前記２Ｄ投影の覆いの第２の２Ｄ２値マスク（１０）を計算するステップと、
   前記平面で前記第２の２Ｄ２値マスク（１０）を変換し、および、前記第２の２Ｄ２値マスク（１０）を均一にスケーリングして、前記第１（９）および前記第２（１０）の２Ｄ２値マスクの重なりを最大化するステップと、を備える、
   請求項１に記載の方法。
5. 前記ユーザの２Ｄスケッチは、少なくとも第１のストロークのセットおよび第２のストロークのセットを備え、ステップｄ）は、
   前記第１のストロークのセットについて、前記平面で前記第１の２Ｄ境界正方形（５）を変換して、その中央および前記第２の２Ｄ境界正方形（６）の中央が一致し、前記第１の２Ｄ境界正方形（５）を均一にスケーリングして、その辺の長さを前記第２の２Ｄ境界正方形（６）の辺の長さに適合させるステップ、または、
   前記第１のストロークのセットについて、前記平面で前記第１の２Ｄ境界長方形（７）を変換して、その中央および前記第２の２Ｄ境界長方形（８）の中央が一致し、前記第１の２Ｄ境界長方形（７）を均一にスケーリングして、その長辺または短辺のうちの１つの長さを前記第２の２Ｄ境界長方形（８）の対応する辺の長さに適合させるステップと、
   前記第２のストロークのセットについて、前記平面で前記第２の２Ｄ２値マスク（１０）を変換し、および、前記第２の２Ｄ２値マスクを均一にスケーリングして、前記第１（９）および前記第２（１０）の２Ｄ２値マスクの重なりを最大化するステップと、を備える、
   請求項１から４に従う方法。
6. 前記２Ｄ投影は、前記２Ｄスケッチ（１）のエッジ上に少なくとも部分的に適合する、少なくとも１つのエッジ（１１）を備え、前記方法は、
   前記２Ｄ投影のエッジを選択することを含むユーザの入力を受け入れるステップと、
   前記２Ｄスケッチ（１）のエッジを前記２Ｄ投影のエッジと交換するステップと、を備える、
   請求項１から５のいずれかに記載の方法。
7. 前記２Ｄ投影のエッジ（１４）に適合するエッジ制限（１３）を提供するステップと、
   第２のユーザのスケッチ（１２）を、所定の閾値を下回る前記２Ｄ投影のエッジに対する距離で受け入れるステップと、
   前記エッジ制限（１３）に対して、前記第２のユーザのスケッチ（１２）をスナップするステップと、を備える、
   請求項１から６のいずれかに記載の方法。
8. 前記２Ｄスケッチは、複数のストロークを備え、ステップａ）からｄ）は、各ストロークの後で反復される、
   請求項１から７のいずれかに記載の方法。
9. 前記３Ｄプリミティブは、深層学習モデルを使用して推論され、前記深層学習モデルは、一般的な構造および／または機能的特徴を有する３Ｄモデルの少なくとも１つのグループで訓練される、
   請求項１から８のいずれかに記載の方法。
10. 前記グループの３Ｄモデルの表現されるサイズに基づいて、前記平面と前記３Ｄプリミティブとの間の距離を設定するステップを備える、
    請求項９に記載の方法。
11. ３Ｄモデルのセットを設計するための方法であって、
    請求項１から１０のいずれかに記載の方法に従う前記方法を使用して第１の３Ｄモデル（２）を設計するステップと、
    請求項１から１０のいずれかに記載の方法に従う前記方法を使用して第２の３Ｄモデル（３）を設計するステップと、
    前記第１の３Ｄモデル（２）と前記第２の３Ｄモデル（３）との間の３Ｄ制限を検出するステップと、
    前記３Ｄ制限に基づいて、前記第１の３Ｄモデル（２）および前記第２の３Ｄモデル（３）のうちの１つの位置および／または配向を変更するステップと、
    を備える方法。
12. 前記３Ｄ制限は、共平面性、接触、共軸性、平行性、対称性のうちの少なくとも１つである、
    請求項１１に記載の方法。
13. 請求項１から１２のいずれかに記載の方法をコンピュータシステムに実行させるコンピュータ実行可能命令を備えるコンピュータプログラム製品。
14. 請求項１から１２のいずれかに記載の方法をコンピュータシステムに実行させるコンピュータ実行可能命令を含む非一時的コンピュータ可読データ記憶媒体（ＭＥＭ１、ＭＥＭ２、ＭＥＭ３、ＭＥＭ４）。
15. メモリ（ＭＥＭ１、ＭＥＭ２、ＭＥＭ３、ＭＥＭ４）に結合されたプロセッサ（ＣＰ）を備えるコンピュータシステムであって、前記メモリは、請求項１から１２のいずれかに記載の方法をコンピュータシステムに実行させるコンピュータ実行可能命令を記憶する、コンピュータシステム。

Images