JP2018097567A - 形状変形装置および形状変形用プログラム - Google Patents

形状変形装置および形状変形用プログラム Download PDF

Info

Publication number
JP2018097567A
JP2018097567A JP2016241037A JP2016241037A JP2018097567A JP 2018097567 A JP2018097567 A JP 2018097567A JP 2016241037 A JP2016241037 A JP 2016241037A JP 2016241037 A JP2016241037 A JP 2016241037A JP 2018097567 A JP2018097567 A JP 2018097567A
Authority
JP
Japan
Prior art keywords
deformation
shape
sphere
unit
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016241037A
Other languages
English (en)
Other versions
JP6802702B2 (ja
Inventor
博之 中邨
Hiroyuki Nakamura
博之 中邨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nihon Unisys Ltd
Original Assignee
Nihon Unisys Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nihon Unisys Ltd filed Critical Nihon Unisys Ltd
Priority to JP2016241037A priority Critical patent/JP6802702B2/ja
Publication of JP2018097567A publication Critical patent/JP2018097567A/ja
Application granted granted Critical
Publication of JP6802702B2 publication Critical patent/JP6802702B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】ユーザが変形対象領域を指定しなくても、物体形状の広領域を滑らかな形状に変形することができるようにする。【解決手段】物体形状を表す形状データに対して、隣接する領域間でオーバーラップする複数の変形対象領域(球)を設定する領域設定部10と、球内に含まれる物体形状の各構成点の移動元位置を移動先位置へと変形させるための変形写像を算出する変形写像算出部20と、球ごとに算出した変形写像を用いて各球内の物体形状を変形させる処理を実行する形状変形部30とを備え、球どうしがオーバーラップする重複領域内に含まれる構成点については、各球について算出された変形写像による移動先の重み付き平均により移動先位置を決定することにより、球ごとに物体形状を滑らかな形状に平滑化するとともに、オーバーラップ部分に関しては重み付き平均により段差や折れが生じないようにする。【選択図】図1

Description

本発明は、形状変形装置および形状変形用プログラムに関し、特に、測定等により得られた点群・ポリゴンにより表された3次元形状の表面を平滑化するための技術に関するものである。
今日、製品の設計を行う際には、CAD(Computer Aided Design)によって製品の形状データを生成することが一般的に行われている。伝統的なCADシステムでは、NURBSあるいはBスプライン関数で表された曲線・曲面を用いて物体形状が表されていた。これに対し、最近では、多数の点の集合である点群データ、または、三角形や四角形の形状をした複数のポリゴンの集合(ポリゴンメッシュ)として物体形状を表す形状モデリングシステムが増えてきている。
この種の形状モデリングシステムにおいて、目的とする物体形状に近づけるために、表面形状を適宜変形することは必須である。例えば、物体表面に存在する凹凸をなくすような形状変形を施すことにより、滑らかな曲面形状を生成することが行われる。従来、滑らかな曲面形状を生成するための標準的な技術として、スムージングと呼ばれる手法が知られている。
本出願人は、点群データまたはポリゴンメッシュの何れにより表される物体形状に対しても適用でき、かつ、物体形状の広領域を「うねり」のない(曲がり方の変化が少ない)滑らかな形状に変形可能にしたスムージングに関する形状変形装置に係る発明について、特許出願をしている(特許文献1参照)。
特許文献1に記載した形状変形装置では、放射基底関数(RBF)の1次結合で表わした位置連続に関する項を含む変形写像式と、移動元位置を変形写像式で写像した位置と目標とする移動先位置との距離を表した「位置近似」および移動先位置における「曲率変化率最小化」に関する拘束条件方程式とを設定し、当該拘束条件方程式を解いて、変形写像式に含まれる未知数を求めることにより、位置近似および曲率変化率最小化を満たす変形写像を確定させる。そして、確定された変形写像を用いて、形状データにより表された物体形状を変形させる処理を実行するようにしている。
特許文献1に記載の技術によれば、移動元位置および移動先位置という点のデータを用いて、物体形状を近似変形することができる。そのため、物体形状の形状データが点群データにより表される場合は、各点のデータを移動させて物体形状を近似変形させることが可能である。また、物体形状の形状データがポリゴンメッシュにより表される場合は、メッシュの各頂点のデータを移動させて物体形状を近似変形させることが可能である。ここで、物体形状の近似変形は、位置近似および曲率変化率最小化を満たす変形写像に基づき行われるので、曲がり方の変化の少ない形状、つまり「うねり」のない滑らかな形状に変形される。
また、物体形状の広い範囲に複数の移動元位置が分布しているような場合でも、それら複数の移動元位置を表す各点のデータと、複数の移動元位置に対応する複数の移動先位置を表す各点のデータとを用いて拘束条件方程式を設定し、当該拘束条件方程式を解いて、変形写像式に含まれる未知数を求めれば、物体形状を近似変形することができる。つまり、広領域に含まれる点データを用いて表現した拘束条件方程式を解くだけで、物体形状を近似変形することができる。
以上により、特許文献1に記載の技術によれば、点群データまたはポリゴンメッシュの何れにより表される物体形状に対しても適用でき、かつ、物体形状の広領域を滑らかな形状に変形することが可能である。
なお、高品質なレンダリングを実現するための手法として、SLIM(Sparse Low-degree IMplicit)曲面を用いた描画方法が知られている(例えば、非特許文献1参照)。SLIM曲面は、中心位置、半径、基底変換の回転行列、多項式関数の情報を持ったサポート球の集合で構成され、関数はサポート球の持つローカル座標系により表現されている。曲面上の点の位置を求めるときは、ローカル座標系での座標値を回転行列によりグローバル座標系での座標値に変換してから、重み付き和を計算する。
特願2016−51971号明細書
Sparse low-degree implicit surfaces with applications to high quality rendering, feature extraction, and smoothing (Yutaka Ohtake, Alexander Belyaev, Marc Alexa) - Eurographics Symposium on Geometry Processing, 2005
上記特許文献1に記載した形状変形装置は、物体形状の比較的広い領域を対象として滑らかな形状に変形することを可能にするものであるが、物体形状の中から変形対象領域を指定する必要があり、指定された領域内だけをスムージングするものであった。特許文献1に記載の技術では、変形対象領域内から複数のサンプル点を抽出し、抽出した複数のサンプル点に対する近似平面を生成する処理を行うため、サンプル点の位置のばらつきが大きくなると、誤差の少ない近似平面を生成することが難しくなる。そのため、サンプル点の位置のばらつきがあまり大きくならない比較的平坦な領域に絞って変形対象領域を指定する必要があった。
そこで、本発明は、ユーザが変形対象領域を指定しなくても、物体形状の広領域を滑らかな形状に変形することができるようにすることを目的とする。
上記した課題を解決するために、本発明では、物体形状を表す形状データに対して、隣接する領域間でオーバーラップする複数の変形対象領域を設定し、複数の変形対象領域のそれぞれにおいて、当該変形対象領域内に含まれる物体形状の各構成点の移動元位置を移動先位置へと変形させるための変形写像を算出し、変形対象領域ごとに算出した変形写像を用いて、変形対象領域内に含まれる物体形状を変形させる処理を実行する。ここで、変形対象領域がオーバーラップする重複領域内に含まれる形状部分の構成点については、各変形対象領域について算出された変形写像によるそれぞれの移動先の重み付き平均により移動先位置を決定するようにしている。
上記のように構成した本発明によれば、処理対象の物体形状が複数の互いにオーバーラップする変形対象領域に分割され、それぞれの変形対象領域内において変形写像による物体形状の変形が行われることにより、滑らかな形状に平滑化される。また、変形対象領域どうしのオーバーラップ部分に関しては、各変形対象領域の変形写像により算出される移動先の重み付き平均により移動先位置が決定されるので、オーバーラップ部分で段差や折れが生じないようにすることができる。これにより、本発明によれば、ユーザが変形対象領域を指定しなくても、物体形状の広領域を滑らかな形状に変形することができる。
本実施形態による形状変形装置の基本的な機能構成例を示すブロック図である。 本実施形態の領域設定部による複数の球の設定例を示す図である。 本実施形態の形状変形部によって行われる重み付け平均の概要を説明するための図である。 本実施形態による領域設定部の具体的な機能構成例を示すブロック図である。 本実施形態の球設定部による処理内容を説明するための模式図である。 本実施形態の球分割部による処理内容を説明するための模式図である。 本実施形態の隣接関係生成部による処理内容を説明するための模式図である。 本実施形態による変形写像算出部の具体的な機能構成例を示すブロック図である。 本実施形態による近似平面生成部および投影点算出部の処理内容を説明するための図である。 本実施形態の形状変形部によって行われる重み付け平均の詳細を説明するための図である。 本実施形態の重み付け平均に用いる重み関数を示す図である。 本実施形態による形状変形装置の他の機能構成例を示す図である。 本実施形態の形状変形装置による処理を実行する前の物体形状の一例を示す図である。 本実施形態の形状変形装置による処理を実行した後の物体形状の一例を示す図である。
以下、本発明の一実施形態を図面に基づいて説明する。本実施形態の形状変形装置は、点群データまたはポリゴンメッシュにより表される物体形状の広領域(例えば、物体形状の全体)の構成面を滑らかな形状に変形するためのスムージング処理を行うものである。本実施形態の形状変形装置において処理対象とする物体形状は、大きな凹凸や屈曲部、突出部などが比較的少ない単純な形状とすることが可能なことはもちろん、例えば図13に示すような複雑な立体形状とすることも可能である。
本実施形態の形状変形装置では、スムージングの処理対象とする物体形状の全体に対して、互いにオーバーラップする複数の変形対象領域を設定し、それぞれの変形対象領域内において、特許文献1に記載した手法により変形写像を算出する。そして、それぞれの変形対象領域において、変形写像を用いた形状変形を行う。このとき、変形対象領域が互いにオーバーラップする部分については、領域ごとに算出された変形写像による移動先位置を重み付け平均化することにより、隣接する変形対象領域間を滑らかに接続するようにする。
<本実施形態による形状変形装置の概略構成>
図1は、本実施形態による形状変形装置の基本的な機能構成例を示すブロック図である。図1に示すように、本実施形態の形状変形装置は、その機能構成として、領域設定部10、変形写像算出部20および形状変形部30を備えて構成されている。変形写像算出部20は、具体的な機能構成として、変形写像設定部21、拘束条件設定部22および変形写像確定部23を備えている。
図1に示した各機能ブロックは、ハードウェア、DSP(Digital Signal Processor)、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロックは、実際にはコンピュータのCPU、RAM、ROMなどを備えて構成され、RAMやROM、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
領域設定部10は、スムージング対象とする物体形状を表す形状データに対して、隣接する領域間でオーバーラップする複数の変形対象領域を設定する。本実施形態では、領域設定部10は、変形対象領域として球形状の領域を設定する。物体形状のうち、比較的平坦な形状のところには大きな半径の球を設定し、凹凸部、屈曲部、突出部といった比較的複雑な形状のところには小さな半径の球を設定する。
図2は、隣接する領域間でオーバーラップする複数の球(変形対象領域)を設定した様子を示している。ここでは図示の便宜上、物体形状の一部201のみを示している。実際は、領域設定部10は、物体形状の全体を覆うように複数の球202を設定する。図2において、球202の中に描かれている複数の点203は、物体形状を構成している各構成点である。物体形状の形状データが点群データにより表される場合は、各点が物体形状の構成点203となる。また、物体形状の形状データがポリゴンメッシュにより表される場合は、メッシュの各頂点が物体形状の構成点203となる。
領域設定部10は、1つの球202内に含まれる複数の構成点203の数が所定範囲内となるように、複数の球202を設定する。これにより、比較的平坦な形状で構成点203が密集していないところには、上述したように大きな半径の球202が設定される。一方、凹凸部、屈曲部、突出部のように比較的複雑な形状で構成点203が密集しているところには、上述したように小さな半径の球202が設定される。なお、この球202の具体的な設定方法は後述する。
変形写像算出部20は、領域設定部10により設定された複数の変形対象領域のそれぞれにおいて、変形対象領域内に含まれる物体形状の各構成点の移動元位置を移動先位置へと変形させるための変形写像を算出する。この変形写像の算出は、特許文献1に記載した手法に基づいて行う。
すなわち、変形写像算出部20は、点群データまたはポリゴンメッシュにより表される物体形状の構成面を滑らかな曲面に変形するための変形写像を、RBF(Radial Basis Function:放射基底関数)を用いて表現する。RBFは、「定点からの距離によって値が定まる関数」である。一般には、n次元ユークリッド空間Rにおけるノルムを||・||と表すときに、以下の形で表されるn変数実数値関数Φ(x)をRBFと呼ぶ。
Φ(x)=φ(||x−χ||)
ここで、φは1変数の関数である。また、χ∈Rはn次元空間における固定点で、Φ(x)の中心点と呼ぶ。
例えば、n個の点χ(i=1,・・・,n)について、それらが行き先の新しい点χ~(i=1,・・・,n)に移動するように物体形状を変形させる場合、そのための変形写像Ψを、点χを中心点に持つRBF(Φ(x−χ)=φ(||x−χ||))の1次結合として、次の(式1)のように表す。ここで、係数a∈R(i=1,・・・,n)は未知ベクトルである。
一方、領域設定部10により設定された変形対象領域(球202)に含まれる各構成点203をN個の点ξj(j=1,・・・,N)で表し、これが目標とする行き先の新しい点ξ~j(j=1,・・・,N)に移動するものとして、移動後の点ξ~jで形成される物体形状の構成面が凹凸や波打ちのない滑らかな曲面となるような拘束条件を与える。ここで、N個の点ξjが特許請求の範囲の「空間上の指定された移動元位置」であり、行き先の新しい点ξ~jが「目標とする移動先位置」である。
本実施形態において与える拘束条件は2つある。1つは、移動元位置の点ξjを(式1)の変形写像式で写像した位置Ψ(ξj)と、点ξ~jで表される目標とする移動先位置との距離ができるだけ小さくなるようにするための位置近似に関する拘束条件である。もう1つは、移動先位置の点ξ~jにより形成される構成面の曲がり方の変化が少なくなるようにするための曲率変化率最小化に関する拘束条件である。
前者の位置近似に関する拘束条件は、次の(式2)に示す距離評価値E0によって表す。
また、後者の曲率変化率最小化に関する拘束条件は、変形前の曲面S上の移動元位置における2つの独立な接ベクトルをsu,svとして、次の(式3)に示す曲率変化率評価値Efairによって表す。接ベクトルをsu,svは、変形前曲面s(u,v)上の点における互いに直交するu方向・v方向の1階微分ベクトルである。
ここで、右辺のs~uuu,s~vvv,s~uuv,s~uvvは、変形後曲面の移動先位置における3階微分ベクトルであり、それぞれ次の(式4)で表される。
上記(式4)において、DΨは変形写像Ψの1階微分写像、D2Ψは2階微分写像、D3Ψは3階微分写像である。このうち、1階微分写像DΨは、次の(式5)のように定義される。なお、vは任意のベクトルであり、添え字のαは3変数{x,y,z}上を動く。
ここで、変形前曲面の微分ベクトルと変形後曲面の微分ベクトルとの関係について説明する。変形前曲面をs(u,v)、これを変形写像Ψで変形した変形後曲面をs~(u,v)で表すと、次の(式6)に示す関係が成り立つ。
s~(u,v)=Ψ(s(u,v)) ・・・(式6)
つまり、変形後曲面s~を2変数u,vのベクトル値の関数として見ると、これは変形写像Ψと変形前曲面sとの合成関数であると言える。そこで、合成関数の微分法を適用することで、変形後曲面の微分ベクトルを求めることができる。
すなわち、変形写像Ψの1階微分写像を上述の(式5)のように定義し、2階微分写像を(式7)のように定義すると(v,v,vは任意のベクトルであり、添え字のα,βは3変数x,y,z上を動く)、変形後曲面s~(u,v)=Ψ(s(u,v))の1階微分ベクトルは次の(式8)のように表され、2階微分ベクトルは次の(式9)のように表される。
また、変形写像Ψの1階微分写像を上述の(式5)、2階微分写像を上述の(式7)のように定義し、さらに3階微分写像を次の(式10)のように定義すると(v,v,v,vは任意のベクトルであり、添え字のα,β,γは3変数x,y,z上を動く)、変形後曲面s~(u,v)=Ψ(s(u,v))の3階微分ベクトルは上述の(式4)のように表される。
本実施形態では、次の(式11)に示すように、距離評価値E0と曲率変化率評価値Efairとを重みづけ加算した総合評価値Etotalを定義し、この総合評価値Etotalを最小化するという拘束条件を設定する。重みwは、球の半径の6乗(球の断面である円の面積の3乗)に比例するように定める。これにより、大きい球ではより強く平滑化を行い、小さい球では弱く平滑化を行うこととなり、全体として整合性を保った平滑化結果形状を得ることができる。さらに、比例係数の大小により、全体的な平滑化の強さをユーザがコントロールすることができる。
上記(式1)で表される変形写像Ψの中で、この(式11)に示す評価値を最小化するものを求めることにより、未知ベクトルai(i=1,・・・,n)が求められ、目的の変形写像Ψが確定する。例えば、移動対象とする空間上にあるN個の拘束点ξjについて(式1)の連立1次方程式を解くことによって変形写像Ψが求まれば、その空間上の拘束点ではない点についても、それらがどこに移動するかを計算することができるようになる。すなわち、変形写像Ψが求まるということは、空間のどの点に対しても移動先が決まるということである。
図1に示す変形写像設定部21は、上記(式1)に示したような、RBFの1次結合で表わした位置連続に関する項を含む変形写像式を設定する。すなわち、(式1)に対して、未知数ai以外の値であるRBFの中心点χi(i=1,・・・,n)を設定することにより、変形写像式を設定する。ここで、n個の中心点χiは、領域設定部10により設定された変形対象領域の中から変形写像設定部21が自動的に設定する。
拘束条件設定部22は、移動元位置の点ξjを(式1)の変形写像式で写像した位置の点Ψ(ξj)と目標とする移動先位置の点ξ~jとの距離を表した位置近似の距離評価値E0、および、変形結果形状の曲率変化率評価値Efairとを含む拘束条件方程式(上述した(式11))を設定する。すなわち、(式11)に対して、距離評価値E0に含まれるξj,ξ~jと、曲率変化率評価値Efairに含まれるs~uuu,s~vvv,s~uuv,s~uvvと、重みwとを設定することにより、拘束条件方程式を設定する。
変形写像確定部23は、拘束条件設定部22により設定された拘束条件方程式を解いて、変形写像設定部21により設定された変形写像式に含まれる未知数aiを求めることにより、位置近似および曲率変化率最小化を満たす変形写像Ψを確定させる。具体的には、変形写像確定部23は、上述の(式11)で示される総合評価値Etotalを最小化するような(式1)の未知数aiを求めることにより、変形写像Ψを確定させる。
形状変形部30は、変形写像算出部20により変形対象領域(球202)ごとに算出された変形写像Ψを用いて、球202内に含まれる物体形状を変形させる処理を実行する。すなわち、形状変形部30は、球202内の各点に対して変形写像Ψを適用して移動先位置の点を求めることにより、物体形状を変形させる。これにより、球202内の形状が凹凸や波打ちのない滑らかな構成面となるような形状変形が実行される。
また、形状変形部30は、変形対象領域がオーバーラップする重複領域内に含まれる形状部分の構成点については、各変形対象領域について算出された変形写像Ψによるそれぞれの移動先の重み付き平均により移動先位置を決定する。図3は、この重み付け平均の概要を説明するための図である。
図3に示すように、変形対象領域としての2つの球BL1,BL2がオーバーラップしていて、そのオーバーラップ領域内に構成点Pがあるものとする。点Pは、一方の球BL1にも属し、他方の球BL2にも属する点である。変形写像算出部20により、2つの球BL1,BL2のそれぞれについて変形写像Ψ1,Ψ2が算出されている。形状変形部30は、点Pを移動元位置として、変形写像Ψ1,Ψ2により移動先位置Q1,Q2をそれぞれ算出し、この移動先位置Q1,Q2を重み付き平均化することにより、点Pの移動先位置を決定する。なお、重み付き平均計算の詳細については後述する。
<各機能ブロックの詳細構成>
次に、図1に示した領域設定部10、変形写像算出部20および形状変形部30の詳細な構成について説明する。
<領域設定部10の詳細な構成例>
まず、領域設定部10の詳細な構成例について説明する。図4は、領域設定部10の具体的な機能構成例を示すブロック図である。図4に示すように、本実施形態の領域設定部10は、その具体的な機能構成として、球設定部11、球分割部12および隣接関係生成部13を備えている。
球設定部11は、点群データまたはポリゴンメッシュにより表される物体形状の形状データに対して、1つのボックス内に含まれる複数の構成点の数が所定範囲内(例えば、100±n個程度の範囲内)となるまで分割を繰り返すことにより、複数の包含ボックスを設定し、それぞれの包含ボックスごとに、当該包含ボックスを内包する球を設定する。
本実施形態では一例として、BVH(Bounding Volume Hierarchy)を用いた2分木分割構造による複数の包含ボックスを設定し、ツリーのリーフノードに相当する包含ボックスごとに、これを内包する球を設定する。包含ボックスとは、形状データの一部分を表す点群またはポリゴンメッシュを包含する直方体である。包含ボックスを内包する球とは、直方体の中心点を中心とし、その点から最も遠い角までの長さを半径とする球のことである。
図5は、球設定部11による処理内容を説明するための模式図である。なお、説明を簡便にするために、図5では、立体の物体形状501を一方向から見た平面で表し、包含ボックスの直方体は長方形で表している。
図5に示すように、まず、2分木分割構造の1階層目に当たるルートノードでは、物体形状501の全体を覆う(例えば、物体形状501が内接する)ような大きな包含ボックスBX1を設定する。次に、2階層目において包含ボックスBX1を2つの包含ボックスBX21,BX22に分割する。次いで、3階層目において包含ボックスBX21を2つの包含ボックスBX31,BX32に分割するとともに、包含ボックスBX22を2つの包含ボックスBX33,BX34に分割する。さらに、4階層目において包含ボックスBX32を2つの包含ボックスBX41,BX42に分割するとともに、包含ボックスBX33を2つの包含ボックスBX43,BX44に分割する。
このように、再帰的に分割処理を行うことで二分木構造にした結果、図5の例では、6つの包含ボックスBX31,BX34,BX41,BX42,BX43,BX44がリーフノードとなる。これらのリーフノードに相当する包含ボックスBX31,BX34,BX41,BX42,BX43,BX44は、何れもその中に含まれる複数の構成点の数が所定範囲内(例えば、100±n個程度の範囲内)となっている。
球設定部11は、これら6つの包含ボックスBX31,BX34,BX41,BX42,BX43,BX44に対して、これを内包する6つの球をそれぞれ設定する。この場合、3階層目の包含ボックスBX31,BX34に対して設定される球は比較的大きくなり、4階層目の包含ボックスBX41,BX42,BX43,BX44に対して設定される球は比較的小さくなる。すなわち、比較的平坦な形状のところには大きな半径の球が設定され、比較的複雑な形状のところには小さな半径の球が設定されることになる。
なお、ここでは、BVHを用いた2分木分割構造によって複数の包含ボックスを設定する例について説明したが、本発明はこれに限定されない。例えば、BVHに代えて、8分木やkd−tree等を用いてもよい。
球分割部12は、球設定部11により設定された球内に含まれる複数の構成点と最小2乗平面との距離誤差を算出し、当該誤差の算出値が第1の所定値より大きい球を更に分割する。誤差の算出に関しては、種々の方法を適用することが可能である。一例として、球分割部12は、図6に示すように、球設定部11により設定された球内に含まれる複数の構成点s1〜sNから最小2乗平面601を生成し、当該最小2乗平面601と複数の構成点s1〜sNとの距離d1〜dNがそれぞれ第1の所定値より大きいか否かを判定する。そして、所定数以上の構成点について距離が第1の所定値より大きくなる場合は、その球は精度が不十分であると判断し、これを複数のより小さい球に分割する。
本実施形態では、第1の所定値として、球の半径に対して一定割合(例えば、30%)の値を用いる。また、本実施形態では、最小2乗平面601と構成点s1〜sNとの距離が第1の所定値より大きい球を、4個の小さい球に分割する。分割した球についても同様の判定を行い、精度が不十分であれば更に分割する。なお、全ての球について精度が良くなるまで分割を繰り返してもよいが、処理効率を考慮して、上限の分割回数を定めてもよいし、固定回数(例えば、4回)だけ分割を行うようにしてもよい。
なお、図6において、s1〜sNは、1つの球内に含まれるN個の構成点を示している。形状変形部30により変形が行われる前の物体形状は、その表面に凹凸を有しているため、N個の構成点s1〜sNは波打った位置に存在している。球分割部12は、これらN個の構成点s1〜sNから最小2乗法により近似平面(最小2乗平面)601を生成する。そして、球分割部12は、N個の構成点s1〜sNと最小2乗平面601との距離d1〜dNをそれぞれ求め、第1の所定値より大きくなるものが存在するか否かを判定する。
また、球分割部12は、物体形状の形状データがポリゴンデータまたは法線付き点群データの場合には、分割によって最終的に生成される球内に含まれる複数の構成点の法線ベクトルがほぼ同じ方向を向くように、球の分割を行う。すなわち、球分割部12は、球内に含まれる複数の構成点の法線ベクトルの方向の相違度合を算出し、当該相違度合の算出値が第2の所定値より大きい場合には、その球を更により小さい球に分割する。
例えば、球分割部12は、図6のように球内に含まれる複数の構成点s1〜sNから最小2乗平面601を生成し、当該最小2乗平面601の法線ベクトルの方向と、複数の構成点s1〜sNの法線ベクトルの方向との誤差が第2の所定値より大きいか否かを判定し、所定数以上の構成点について誤差が第2の所定値より大きくなる球を更に分割する。
これにより、球分割部12は、複数の構成点s1〜sNから求められる最小2乗平面601の法線ベクトルの方向を、物体形状の表方向と一致させるように球の分割を行う。例えば、球分割部12は、最小2乗平面601の法線ベクトルと球内の各構成点s1〜sNの法線ベクトルとの内積が√3/2以上(角度の誤差が30度以下)でない場合は、その球を更に分割する。このような分割を行うことにより、1つの球内に、法線ベクトルの方向が逆を向く構成点が含まれないようになる。
隣接関係生成部13は、球設定部11および球分割部12によって生成された球どうしの隣接関係に関するデータを生成する。すなわち、隣接関係生成部13は、各球と、その近傍に存在する別の球との間における隣接関係のデータを生成する。図7に示すように、球BL2が球BL1に隣接して存在するとは、この2つの球BL1,BL2の中心点C1,C2間の距離Dが、球BL1,BL2のそれぞれの半径R1,R2の和よりも小さいことをいう。
ただし、物体形状の形状データがポリゴンデータまたは法線付き点群データ で構成される場合には、球BL2が球BL1に隣接して存在しても、ただちにこの2つの球BL1,BL2の間に隣接関係を構築するわけではない。すなわち、2つの球BL1,BL2の最小2乗平面の法線ベクトルの方向(表・裏)が一致する場合にのみ、隣接関係を構築する。
2つの球BL1,BL2が隣接関係にあるとき、隣接関係生成部13は、一方の球を他方の球の「隣接球集合」に入れる。すなわち、球BL2を他方の球BL1の「隣接球集合」に入れる。また、球BL1を他方の球BL2の「隣接球集合」に入れる。さらに、隣接関係生成部13は、一方の球に所属する構成点から他方の球の中心までの距離が他方の球の半径よりも小さいとき、つまり、一方の球の構成点が球BL1,BL2のオーバーラップ領域に含まれるとき、その構成点を他方の球の「所属点集合」に入れる。例えば、図7のように球BL1,BL2のオーバーラップ領域に所属する球BL1の構成点s1を、他方の球BL2の「所属点集合」に入れる。
<変形写像算出部20の詳細な構成例>
次に、変形写像算出部20の詳細な構成例について説明する。図8は、変形写像算出部20の具体的な機能構成例を示すブロック図である。なお、図8において、図1に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図8に示すように、変形写像算出部20は、その具体的な機能構成として、図1に示した構成に加え、近似平面生成部24、投影点算出部25および中心点抽出部26をさらに備えている。
近似平面生成部24は、領域設定部10により変形対象領域として設定された球に含まれる複数の構成点に対する近似平面を生成する。本実施形態において、近似平面の生成法は特に限定しないが、一例として、図6に示したように、複数の構成点に最小2乗法を適用して近似平面(最小2乗平面601)を生成することが可能である。なお、この最小2乗平面601は、球分割部12が球を分割するか否かを判定する際に生成したものを用いてもよい。その場合、近似平面生成部24は省略が可能である。
投影点算出部25は、複数の構成点をそれぞれ近似平面上に投影することにより、複数の投影点を算出する。例えば、投影点算出部25は、構成点から近似平面に対して垂線を下し、その垂線と近似平面との交点を投影点として設定する。
図9は、近似平面生成部24および投影点算出部25の処理内容を説明するための図である。図9において、s1〜sNは、1つの球内に含まれるN個の構成点を示している。近似平面生成部24は、これらN個の構成点s1〜sNから最小2乗法により近似平面601を生成する。そして、投影点算出部25は、N個の構成点s1〜sNから近似平面601に対してそれぞれ垂線を下ろし、その垂線と近似平面601との交点をN個の投影点p1〜pNとして設定する。
拘束条件設定部22は、投影点算出部25により算出されたN個の投影点p1〜pNをそれぞれ移動元位置の点ξj(j=1,・・・,N)として指定する。また、拘束条件設定部22は、領域設定部10により設定された球内に含まれるN個の構成点s1〜sNをそれぞれ、複数の投影点p1〜pNに対する目標の移動先位置の点ξ~j(j=1,・・・,N)として指定して、位置近似および曲率変化率最小化に関する拘束条件方程式を設定する。
中心点抽出部26は、近似平面生成部24により生成された近似平面601内から複数のRBFの中心点χi(i=1,・・・,n)を抽出する。本実施形態において、中心点χiの抽出法は特に限定しないが、近似平面601内からほぼ均等に複数の中心点χiを抽出するのが好ましい。
例えば、中心点抽出部26は、近似平面生成部24により生成された近似平面601を格子状に分割し、各格子点(格子の隅の各点)を1つずつ抽出する。上述の変形写像設定部21は、中心点抽出部26により抽出されたn個のRBFの中心点χi(i=1,・・・,n)を、(式1)に示す変形写像式における位置連続に関する項Φ(x−χ)に設定する。
<形状変形部30の詳細な構成例>
次に、形状変形部30の詳細な構成例について説明する。上述のように、形状変形部30は、各球内に含まれる構成点を移動元位置の点として、各構成点に対して、変形写像算出部20により個々の球ごとに算出された変形写像Ψを適用して移動先位置の点を求めることにより、物体形状を変形させる。このとき、形状変形部30は、変形対象領域がオーバーラップする重複領域内に含まれる形状部分の構成点については、変形写像Ψによるそれぞれの移動先の重み付き平均により移動先位置を決定する。
例えば、図10に示すように、球BLに対してn個(図10はn=5の例)の他の球BLi(i=1〜n)が隣接している場合、球BLに含まれる構成点sの移動先の点Qは、次の(式12)により算出される。
上記(式12)において、pは球BL内における構成点sの最小2乗平面への投影点、Ψ(p)は当該投影点pを変形写像Ψにより写像した先の点を示す。また、piは各球BLi(i=1〜n)内における構成点siの最小2乗平面への投影点、Ψi(pi)は当該投影点piを変形写像Ψiにより写像した先の点を示す。また、(式12)に含まれる関数g(x)は、次の条件を満たす重み関数である。
g(0)=0,g(1)=1,g’(0)=g’(1)=0
0≦g(x)≦1(0≦x≦1)
ただし、g’(x)は1階微分を示す。
本実施形態では、上記条件を満たす重み関数の一例として、次の(式13)に示す関数g(x)を用いる。そして、球BLについてはx=(r−d)/r、球BLに隣接する各球BLiについてはx=(ri−di)/riを用いる。ここで、rは球BLの半径、riは球BLiの半径、dは構成点sと球BLの中心点Cとの距離、diは構成点sと球BLiの中心点Ciとの距離である。図10には、球BL2に関する半径r2および距離d2が示されている。
上記(式13)に示す重み関数g(x)は、図11のように表される。これにより、重み関数g(x)の値は、構成点sの位置が球BLの中心点Cに近いほど大きくなり、中心点Cの位置と一致すると(d=0)、g(x)=g(1)=1となる。逆に、構成点sの位置が球BLの中心点Cから遠いほど、重み関数g(x)の値は小さくなり、球BLの周面の位置と一致すると(d=r)、g(x) =g(0)=0となる。また、g’(0)=g’(1)=0であるから、球BLと球BLiとのオーバーラップ部分における形状の滑らかさが保証されている。
以上詳しく説明したように、本実施形態によれば、処理対象の物体形状が複数の互いにオーバーラップする変形対象領域(球)に分割され、それぞれの変形対象領域内において変形写像Ψによる物体形状の変形が行われることにより、滑らかな形状に平滑化される。また、変形対象領域どうしのオーバーラップ部分に関しては、各変形対象領域の変形写像Ψ,Ψi(i=1〜n)により算出される移動先の重み付き平均により移動先位置が決定されるので、オーバーラップ部分で段差や折れが生じないようにすることができる。これにより、本実施形態によれば、ユーザが変形対象領域を指定しなくても、物体形状の広領域(例えば、全体)を滑らかな形状に変形することができる。
図14は、図13に示した物体形状の全体に対して、本実施形態の形状変形装置によりスムージング処理を実行した結果を示す図である。図13に示す形状データは、フェイス数が871,306個、メッシュの頂点数が435,545個のポリゴンデータで構成されたものである。この形状データに対して本実施形態のスムージング処理を実行することにより、113,452個の球が設定され、球ごとに算出された変形写像Ψを用いた形状変形の結果、図14に示す物体形状が得られた。図14に示すように、物体の表面に存在していた凹凸が形状変形後には少なくなって、滑らかな曲面となっている。
なお、物体形状の中でシャープなエッジ形状をしている部分では、分割して生成された球内の点群の分布が平面的ではなくなる。そのような球の各点群に対して変形写像Ψをそのまま適用すると、各点群の移動先の点群で形成される曲面も平面的でなくなって、滑らかな曲面にならない可能性がある。そこで、複数の構成点が平面的に分布していない球については、移動先の重み付け平均を求める際に、変形写像Ψによる移動先の位置に代えて、当該変形写像Ψを適用しない移動元の位置を用いるようにしてもよい。
図12は、シャープなエッジ形状への対策を考慮した形状変形装置の機能構成例を示す図である。なお、この図12において、図1に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。図12に示す形状変形装置では、分散指標算出部40を更に備えている。また、形状変形部30に代えて形状変形部30’を備えている。
分散指標算出部40は、領域設定部10により設定された変形対象領域(球)内に含まれる複数の構成点が非平面的に分散している度合いを表す指標である分散指標を算出する。例えば、分散指標算出部40は、球内に含まれる複数の構成点から、共分散行列の固有値を算出し、最小固有値と2番目に小さい固有値との比率を分散指標として算出する。
例えば、共分散行列の固有値を小さい方から順に、σ1,σ2とする。ここで、球内に含まれる複数の構成点が平面的に分散している場合は、最小固有値σ1だけ“0”に近くなり、他の固有値σ2はσ1より大きな値となる。一方、球内に含まれる複数の構成点が平面的に分散していない場合は、最小固有値σ1と2番目に小さい固有値σ2とはほぼ同じ値となる。したがって、最小固有値σ1と2番目に小さい固有値σ2との比率λ=σ1/σ2は、複数の構成点が非平面的に分散している度合を表す値として用いることができる。
形状変形部30’は、分散指標算出部40により算出された分散指標の算出値(比率λの値)が第3の所定値より大きい変形対象領域内に含まれる構成点については、当該変形対象領域について算出された変形写像によるそれぞれの移動先に代えて、当該変形写像を行わない移動元の構成点を用いるようにする。すなわち、(式12)において、Ψ(p)の代わりに構成点sの位置を用い、Ψi(pi)の代わりに構成点siの位置を用いるようにする。
一例として、形状変形部30’は、ある球について分散指標算出部40により算出された固有値σ1,σ2の比率λが0.2より大きい場合に(λ>0.2)、当該球については移動元の構成点の位置を用いて重み付け平均を行うようにする。または、球BLについて算出された比率λの値が0.02<λ≦0.2で、その球BLに関するλの値が、 隣接する球BLiに関するλiの値の平均値の2.5倍を超える場合に、移動元の構成点の位置を用いて重み付け平均を行うようにしてもよい。
図12に示すように構成することにより、シャープなエッジ形状や形状が急変する箇所において、無理な形状変形をすることがなくなるので、形状の品質を低下させることを防止することができる。
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
10 領域設定部
11 球設定部
12 球分割部
13 隣接関係生成部
20 変形写像算出部
21 変形写像設定部
22 拘束条件設定部
23 変形写像確定部
24 近似平面生成部
25 投影点算出部
26 中心点抽出部
30,30’ 形状変形部
40 分散指標算出部

Claims (12)

  1. 物体形状を表す形状データに対して、隣接する領域間でオーバーラップする複数の変形対象領域を設定する領域設定部と、
    上記領域設定部により設定された上記複数の変形対象領域のそれぞれにおいて、当該変形対象領域内に含まれる物体形状の各構成点の移動元位置を移動先位置へと変形させるための変形写像を算出する変形写像算出部と、
    上記変形写像算出部により上記変形対象領域ごとに算出された上記変形写像を用いて、上記変形対象領域内に含まれる物体形状を変形させる処理を実行する形状変形部とを備え、
    上記形状変形部は、上記変形対象領域がオーバーラップする重複領域内に含まれる形状部分の構成点については、各変形対象領域について算出された上記変形写像によるそれぞれの移動先の重み付き平均により上記移動先位置を決定し、
    上記変形写像算出部は、
    放射基底関数の1次結合で表わした位置連続に関する項を含む変形写像式を設定する変形写像設定部と、
    空間上の指定された移動元位置を上記変形写像式で写像した位置と目標とする移動先位置との距離を表した位置近似、および、上記移動先位置における曲率変化率最小化に関する拘束条件方程式を設定する拘束条件設定部と、
    上記拘束条件設定部により設定された上記拘束条件方程式を解いて、上記変形写像設定部により設定された上記変形写像式に含まれる未知数を求めることにより、上記位置近似および上記曲率変化率最小化を満たす変形写像を確定させる変形写像確定部とを備えたことを特徴とする形状変形装置。
  2. 上記領域設定部は、
    上記形状データに対して、1つのボックス内に含まれる複数の構成点の数が所定範囲内となるまで分割を繰り返すことにより、複数の包含ボックスを設定し、それぞれの包含ボックスごとに、当該包含ボックスを内包する球を設定する球設定部と、
    上記球内に含まれる複数の構成点の最小2乗平面に対する距離誤差を算出し、当該誤差の算出値が第1の所定値より大きい球を更に分割する球分割部とを備え、
    上記球設定部および上記球分割部の処理により設定される球を上記変形対象領域として設定することを特徴とする請求項1に記載の形状変形装置。
  3. 上記球分割部は、上記球内に含まれる複数の構成点から最小2乗平面を生成し、当該最小2乗平面と上記複数の構成点との距離が上記第1の所定値より大きいか否かを判定し、所定数以上の構成点について上記距離が上記第1の所定値より大きくなる球を更に分割することを特徴とする請求項2に記載の形状変形装置。
  4. 上記球分割部は、上記球内に含まれる複数の構成点の法線ベクトルの方向の相違度合を算出し、当該相違度合の算出値が第2の所定値より大きい球を更に分割することを特徴とする請求項2に記載の形状変形装置。
  5. 上記球分割部は、上記球内に含まれる複数の構成点から最小2乗平面を生成し、当該最小2乗平面の法線ベクトルの方向と上記複数の構成点の法線ベクトルの方向との誤差が上記第2の所定値より大きいか否かを判定し、所定数以上の構成点について上記誤差が上記第2の所定値より大きくなる球を更に分割することを特徴とする請求項4に記載の形状変形装置。
  6. 上記形状変形部は、
    g(0)=0,g(1)=1,g’(0)=g’(1)=0,0≦g(x)≦1(0≦x≦1)
    を満たす関数g(x)を用いて、上記重み付き平均を求めることを特徴とする請求項1に記載の形状変形装置。
  7. 上記領域設定部により設定された上記変形対象領域内に含まれる複数の構成点が非平面的に非分散している度合いを表す指標である分散指標を算出する分散指標算出部を更に備え、
    上記形状変形部は、上記分散指標の算出値が第3の所定値より大きい変形対象領域内に含まれる構成点については、当該変形対象領域について算出された上記変形写像による移動先に代えて、当該変形写像を行わない移動元の構成点の位置を用いて上記重み付き平均を算出することを特徴とする請求項1に記載の形状変形装置。
  8. 上記分散指標算出部は、上記領域設定部により設定された上記変形対象領域内に含まれる複数の構成点から、共分散行列の固有値を算出し、最小固有値と2番目に小さい固有値との比率を上記分散指標として算出し、
    上記形状変形部は、上記比率が上記第3の所定値より大きい変形対象領域内に含まれる構成点については、上記移動元の構成点を用いて上記重み付き平均を算出することを特徴とする請求項7に記載の形状変形装置。
  9. 上記変形写像算出部は、
    上記領域設定部により設定された上記変形対象領域内に含まれる上記複数の構成点に対する近似平面を生成する近似平面生成部と、
    上記複数の構成点をそれぞれ上記近似平面上に投影することにより複数の投影点を算出する投影点算出部とを更に備え、
    上記拘束条件設定部は、上記投影点算出部により算出された上記複数の投影点をそれぞれ上記移動元位置として指定し、上記複数の構成点をそれぞれ上記複数の投影点に対する上記移動先位置として指定して、上記位置近似および上記曲率変化率最小化に関する拘束条件方程式を設定することを特徴とする請求項1に記載の形状変形装置。
  10. 上記近似平面生成部により生成された上記近似平面内から上記放射基底関数の複数の中心点を抽出する中心点抽出部を更に備え、
    上記変形写像設定部は、上記中心点抽出部により抽出された上記複数の中心点を用いて上記変形写像式を設定することを特徴とする請求項9に記載の形状変形装置。
  11. 上記変形写像確定部は、上記移動元位置と上記移動先位置との距離を表す値および上記曲率変化率最小化を表す値の合計値を最小化するような上記未知数を求めることにより、上記変形写像を確定させることを特徴とする請求項1に記載の形状変形装置。
  12. 物体形状を表す形状データに対して、隣接する領域間でオーバーラップする複数の変形対象領域を設定する領域設定手段、
    上記領域設定手段により設定された上記複数の変形対象領域のそれぞれにおいて、当該変形対象領域内に含まれる物体形状の各構成点の移動元位置を移動先位置へと変形させるための変形写像を算出する変形写像算出手段、および
    上記変形写像算出手段により上記変形対象領域ごとに算出された上記変形写像を用いて、上記変形対象領域内に含まれる物体形状を変形させる処理を実行する形状変形手段
    としてコンピュータを機能させ、
    上記形状変形手段は、上記変形対象領域がオーバーラップする重複領域内に含まれる形状部分の構成点については、各変形対象領域について算出された上記変形写像によるそれぞれの移動先の重み付き平均により上記移動先位置を決定し、
    上記変形写像算出手段は、
    放射基底関数の1次結合で表わした位置連続に関する項を含む変形写像式を設定する変形写像設定手段、
    空間上の指定された移動元位置を上記変形写像式で写像した位置と目標とする移動先位置との距離を表した位置近似、および、上記移動先位置における曲率変化率最小化に関する拘束条件方程式を設定する拘束条件設定手段、
    上記拘束条件設定手段により設定された上記拘束条件方程式を解いて、上記変形写像設定手段により設定された上記変形写像式に含まれる未知数を求めることにより、上記位置近似および上記曲率変化率最小化を満たす変形写像を確定させる変形写像確定手段
    とを含むことを特徴とする形状変形用プログラム。
JP2016241037A 2016-12-13 2016-12-13 形状変形装置および形状変形用プログラム Active JP6802702B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016241037A JP6802702B2 (ja) 2016-12-13 2016-12-13 形状変形装置および形状変形用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016241037A JP6802702B2 (ja) 2016-12-13 2016-12-13 形状変形装置および形状変形用プログラム

Publications (2)

Publication Number Publication Date
JP2018097567A true JP2018097567A (ja) 2018-06-21
JP6802702B2 JP6802702B2 (ja) 2020-12-16

Family

ID=62633706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016241037A Active JP6802702B2 (ja) 2016-12-13 2016-12-13 形状変形装置および形状変形用プログラム

Country Status (1)

Country Link
JP (1) JP6802702B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015106228A (ja) * 2013-11-29 2015-06-08 富士通株式会社 データ探索装置、データ探索装置の制御方法およびデータ探索装置の制御プログラム
JP2016075637A (ja) * 2014-10-08 2016-05-12 キヤノン株式会社 情報処理装置およびその方法
JP2016207055A (ja) * 2015-04-27 2016-12-08 日本ユニシス株式会社 形状変形装置および形状変形用プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015106228A (ja) * 2013-11-29 2015-06-08 富士通株式会社 データ探索装置、データ探索装置の制御方法およびデータ探索装置の制御プログラム
JP2016075637A (ja) * 2014-10-08 2016-05-12 キヤノン株式会社 情報処理装置およびその方法
JP2016207055A (ja) * 2015-04-27 2016-12-08 日本ユニシス株式会社 形状変形装置および形状変形用プログラム

Also Published As

Publication number Publication date
JP6802702B2 (ja) 2020-12-16

Similar Documents

Publication Publication Date Title
RU2413996C2 (ru) Большая деформация сетки с использованием лапласиана объемного графа
US20170287231A1 (en) Methods and systems for generating polycubes and all-hexahedral meshes of an object
Peternell Developable surface fitting to point clouds
US20200210814A1 (en) Set of neural networks
US9881417B2 (en) Multi-view drawing apparatus of three-dimensional objects, and method
CN111581776B (zh) 一种基于几何重建模型的等几何分析方法
JP4740688B2 (ja) 平面形状モーフィングのための知覚に基づくアプローチ
US20160138914A1 (en) System and method for analyzing data
US10614178B2 (en) Scalable and precise fitting of NURBS surfaces to large-size mesh representations
Choi et al. Spherical conformal parameterization of genus-0 point clouds for meshing
Aubry et al. A robust conforming NURBS tessellation for industrial applications based on a mesh generation approach
Zeng et al. Least squares quasi-developable mesh approximation
KR101032397B1 (ko) 구면 좌표계를 사용하는 3차원 형상 표현장치 및 방법
Zhu et al. A review of 3D point clouds parameterization methods
JP6802702B2 (ja) 形状変形装置および形状変形用プログラム
Mosbach et al. A local approach for computing smooth B-Spline surfaces for arbitrary quadrilateral base meshes
Naitsat et al. Geometric Approach to Estimation of Volumetric Distortions.
JP6727931B2 (ja) 穴被覆曲面生成装置および穴被覆曲面生成用プログラム
Zala et al. Curvilinear mesh adaptation using radial basis function interpolation and smoothing
JP6727932B2 (ja) 点群面張りによる曲面生成装置および曲面生成用プログラム
JP6752054B2 (ja) スプリングバック後形状の構成点算出装置および構成点算出用プログラム
Ma et al. Guaranteed quality isotropic surface remeshing based on uniformization
Urick et al. Reconstruction of Trimmed NURBS Surfaces for Gap-Free Intersections
CN116229005B (zh) 三维巷道模型的测地线确定方法和装置
Li et al. Composite generalized elliptic curve-based surface reconstruction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201127

R150 Certificate of patent or registration of utility model

Ref document number: 6802702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250