JP2020160467A - 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム - Google Patents

眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム Download PDF

Info

Publication number
JP2020160467A
JP2020160467A JP2020102688A JP2020102688A JP2020160467A JP 2020160467 A JP2020160467 A JP 2020160467A JP 2020102688 A JP2020102688 A JP 2020102688A JP 2020102688 A JP2020102688 A JP 2020102688A JP 2020160467 A JP2020160467 A JP 2020160467A
Authority
JP
Japan
Prior art keywords
model
adaptation
parameters
frame
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020102688A
Other languages
English (en)
Other versions
JP7356403B2 (ja
Inventor
シュワルツ オリバー
Schwarz Oliver
シュワルツ オリバー
ブロイニンガー トビアス
Breuninger Tobias
ブロイニンガー トビアス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Vision International GmbH
Original Assignee
Carl Zeiss Vision International GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=59295073&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2020160467(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Carl Zeiss Vision International GmbH filed Critical Carl Zeiss Vision International GmbH
Publication of JP2020160467A publication Critical patent/JP2020160467A/ja
Application granted granted Critical
Publication of JP7356403B2 publication Critical patent/JP7356403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C13/00Assembling; Repairing; Cleaning
    • G02C13/003Measuring during assembly or fitting of spectacles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00Details relating to the application field
    • G06F2113/10Additive manufacturing, e.g. 3D printing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0621Item configuration or customization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Geometry (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Eyeglasses (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】人の頭への眼鏡フレームの仮想適合化のための方法及び装置であって、眼鏡フレームを頭へ特に美的態様の観点で適合化するようなフレーム固有適合化ガイドラインが容易に考慮され得る方法及び装置を提供する。【解決手段】眼鏡フレームのパラメトリックフレームモデルの人(眼鏡が適合化される)の頭の3Dモデルへの仮想適化処理が2つの適合化処理に分割される。第1の適合化処理では、パラメトリックフレームモデルはパラメトリックフレームモデルの特定適合化ガイドラインを満足するために頭の3Dモデルへ調整される。この手の適合化ガイドラインは適合化における美的判断基準に適合するためにフレーム製造業者により規定され得る。次に、解剖学的適合化が第2の適合化処理において行われる。【選択図】図7

Description

本出願は眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラムに
関する。
ここで、DIN ESO 77998:2006−01及びDIN ESO 8624
:2015−12に準じて、眼鏡フレームは、これにより眼鏡レンズが頭上に装着され得
るフレーム又はホルダーを意味するように理解されるべきである。特に、本明細書で使用
される用語はまた、リム無し眼鏡フレームを含む。口語的には、眼鏡フレームはフレーム
とも呼ばれる。本出願の範囲内で、眼鏡フレームの仮想装着は、通常はディスプレイ(例
えばコンピュータモニタ)上での眼鏡フレームの人の頭への適合化のグラフィック表現に
関連するコンピュータデバイス上で眼鏡フレームのモデルを頭のモデルへ適合化すること
を表す。
頭上の眼鏡フレームの仮想装着は例えば米国特許出願公開第2003/0123026
A1号明細書又は米国特許出願公開第2002/015530A1号明細書から知られて
いる。これらの文献では、眼鏡フレームの仮想装着は主に、ユーザの頭が眼鏡フレームと
共に表示されるグラフィック表現のおかげでユーザが様々な眼鏡フレームの中から選ぶの
を支援する役目を果たす。
米国特許第9,286,715B2号明細書もまた一対の眼鏡の仮想試装着のための方
法を開示する。ここでは、複数の点が眼鏡フレーム上と頭上との両方で定義される。眼鏡
フレームは、眼鏡フレーム上で選択された点が頭上で選択された点と対応付けられるおか
げで頭上に配置される。位置は選択される点を変更することにより変更される。これは、
視覚印象を提供する目的のための仮想試装着を得る米国特許第9,286,715B2号
明細書の目的に十分な精度での位置決めを容易にする。同様に、米国特許出願公開第20
05/162419A号明細書は特徴点の助けを借りた眼鏡フレームの仮想装着について
説明する。この文献では、フレームは、当初スケーリングされ、次に様々な方向に配置さ
れる。最後に、眼鏡フレームの耳当てが2つの空間軸を中心として回転される。
Volumentalは、2017年3月5日時点で「Vacker」ソフトウェアの
デモ映像をhttps://www.volumental.com/face−sca
nning/において利用可能にしており、ここでは、装着された一対の眼鏡を有する頭
が提示され、一対の眼鏡のパラメータがスライダ(例えば鼻梁上の一対の眼鏡の台座)に
より修正可能である又はそうでなければそり角などの他のパラメータが修正可能である。
眼鏡フレームの色又は眼鏡フレームの蝶番の色もまた選択され得る。次に、選択されたパ
ラメータが出力される。この映像では、眼鏡フレームのパラメトリックモデルの様々なパ
ラメータも適応化される。
一対の眼鏡を仮想的に適合化するための別のシステムが米国特許出願公開第2015/
0055085A1号明細書から知られている。ここでは、一対の眼鏡が、適応化される
人の頭上の眼鏡のサイズ及び適合化のおかげで自動的に適合化される。さらに、眼鏡の形
式、スタイル及び色が選択され得る。
一対の適合化された眼鏡(すなわち人の頭へ自動的に適合化された一対の眼鏡)を構築
する方法及び装置は独国特許出願公開第102016824A1号明細書からのものであ
る。この方法では、頭画像データが2又は3次元で記録され、一対の見本眼鏡が選択され
、この一対の見本眼鏡は一対の見本眼鏡の構築パラメータに基づき表される。構築パラメ
ータは頭画像データに基づき判断される。
米国特許出願公開第2015/0277155A1号明細書は眼鏡フレームのフレーム
の個人化を開示し、この範囲内では、距離が人の顔上で測定され、眼鏡フレームはこの測
定された距離に基づく3D印刷により生成される。
米国特許出願公開第2013/0088490A1号明細書は、一対の眼鏡を適合化す
る反復方法を開示する。ここでは、眼鏡フレームはいくつかの小さな段階を経て置かれ、
適合化は衝突検出に基づき実施される。衝突検出では、眼鏡フレームが人の頭と重なるか
どうかに関してのチェックが行われる。
米国特許出願公開第2015/0293382A1号明細書は装着された例示的フレー
ムを有する人を記録することによる一対の眼鏡の仮想試装着のためのパラメータの判断を
開示する。この例示的フレームにより判断されるパラメータは仮想フレームの仮想試装着
に応じて修正される。人は記録中に眼鏡フレームを既に装着しているので、眼鏡フレーム
の無い頭のいかなる3次元モデルもこの場合使用されない。
記事“Virtual Try−On of Eyeglasses using 3
D−Model of the Head”,Institute for Infoc
omm Research,December 2011,DOI:10.1145/2
087756.2087838において、Niswar、Kahn及びFarbizは一
対の眼鏡を仮想的に試装着する方法について説明している。これは4つの基準点(2点は
耳上に存在し、2点は鼻上に存在する)に基づく。ここでは、頭の3Dモデルが、2〜3
個の特徴点に基づき頭の汎用モデルを変形することにより適応化される。
米国特許出願公開第2016/0327811A1号明細書は請求項1に記載の前文に
よる方法について説明している。この方法はフレームの仮想モデルから進む。フレームは
変形により頭へ適合化される。眼鏡フレームを適合化する目的のために、以下の適合化判
断基準がここでは実施され得る:例えば、鼻パッドと人の鼻との間の接触領域の最大化、
眼鏡耳当ての接触領域の最大化、眼に対する眼鏡フレームのフレームリムの心取り、眼鏡
フレームのアラインメント又は、フレームリムと人の頬骨と人の眉毛との接触領域の最小
化。
目標値を設定することが、これらの判断基準に対する可能な拡張として規定される。一
例として、このような目標値は、眼鏡フレームの2つの眼鏡耳当て間の距離、フレームの
「装用時」前傾角、フレームのパッド間の距離、眼鏡リムからの眼の距離、眉毛及び頬骨
からの眼鏡リムの距離、眼鏡フレームの「装用時」前傾角、又は眼鏡フレームのそり角に
関連し得る。これらのパラメータ及び目標値は費用関数に含まれ、最適化は従来の最適化
処理(例えばLevenberg−Marquardtアルゴリズム)により行われる。
次に、フレームはさらに変形され得る。
この処理における問題は「グローバル最適条件は、Levenberg−Marqua
rdtアルゴリズムなどの最適化方法が通常は費用関数の局所最小値だけを発見し得るの
でこのような最適化処理を使用することにより必ずしも達成される必要がない」というこ
とである。眼鏡フレーム又は頭のために採用された3Dモデルにおける表面のうねりの場
合、最適化は最適条件からかけ離れたこのような表面うねり内で「行き詰まり」得、した
がって最適適合化は実現されない。
さらに、このような最適化方法による最適化は多くのパラメータが使用されれば高いコ
ンピュータ費用を必要とする。これは、比較的多くのパラメータが最適化されなければな
らないパラメトリックフレームモデルの使用をより困難にする。
一般的に、この文献に記載された方法だけでなく他の前述の文献に記載された方法にお
ける問題は、製造業者が眼鏡フレームを適合化するためのいくつかの適合化ガイドライン
をしばしば規定することである。前記ガイドラインは眼鏡の適合化のための美的判断基準
(例えば眼又は眉毛などの顔特徴に対するフレームリムの位置決め)を主に定義する。そ
れぞれの眼鏡フレームへ割り当てられる適合化ガイドラインを考慮することは上述の手法
においては容易に可能ではない。他方で、これらのフレーム関連適合化ガイドラインは、
頭上の眼鏡フレームの求められている適合化がそれぞれの眼鏡フレーム毎に得られるとい
うことを保証する。
米国特許出願公開第2016/0327811A1号明細書のように、国際公開第20
16/164859A1号パンフレットは「眼鏡類」(特に眼鏡フレーム)を人の頭の3
Dモデルへ適合化するコンピュータ実施方法について記載している。ここでは、眼鏡フレ
ームのパラメトリックモデルのパラメータは、頭への解剖学的適合化の目的のためにすべ
ての眼鏡フレームへ適用する一般的判断基準に従って修正される。
したがって、米国特許出願公開第2016/0327811A1号明細書又は米国特許
出願公開第2016/0327811A1号明細書から進んで、本発明の目的は、人の頭
への眼鏡フレームの仮想適合化のための方法及び装置であって、眼鏡フレームを頭へ特に
美的態様の観点で適合化するこのようなフレーム固有適合化ガイドラインが容易に考慮さ
れ得る方法及び装置を提供することである。さらに、対応コンピュータプログラム及び対
応装置が提供されるように意図されている。
第1の態様によると、この目的は請求項1又は5に記載の方法及び請求項29又は30
に記載の装置により達成される。
第1の別の目的はこのような方法及び装置の自動化を容易にすることにある。第2の態
様によると、この第1の別の目的は請求項15に記載の方法及び請求項31に記載の装置
により達成される。
第2の別の目的はこのような方法及び装置の柔軟性及び/又は精度を増加することにあ
る。第3の態様によると、この第2の別の目的は請求項16に記載の方法及び請求項32
に記載の装置により達成される。
第3の別の目的は、様々な製造業者からの眼鏡フレームのためのこのような方法及び装
置の使用を容易にすることにある。第4の態様によると、この第3の別の目的は請求項1
7に記載の方法及び請求項33に記載の装置により達成される。
第4の別の目的はこのような方法及び装置の効率的実施を増加することにある。第5の
態様によると、この第4の別の目的は請求項18に記載の方法及び請求項34に記載の装
置により達成される。
第5の別の目的はこのような方法及び装置の精度を増加することにある。第6の態様に
よると、この第5の別の目的は請求項19に記載の方法及び請求項35に記載の装置によ
り達成される。
第6の別の目的はこのような方法及び装置の安全性を増加することにある。第7の態様
によると、この第6の別の目的は請求項20に記載の方法及び請求項36に記載の装置に
より達成される。
従属請求項は別の例示的実施形態並びに別の装置及びコンピュータプログラム及びコン
ピュータ可読記憶媒体を定義する。
本発明によると、眼鏡の仮想適合化のためのコンピュータ実施方法は様々な態様に従っ
て提供され、前記方法は人の頭の3Dモデルへの眼鏡フレームのパラメトリックフレーム
モデルの仮想適合化を含む。本方法は、仮想適合化が以下の方法工程を含むということを
特徴とする:パラメトリックフレームモデルに固有な適合化ガイドラインを満足するよう
にパラメトリックフレームモデルを頭の3Dモデルへ適合化する第1の手順、及び解剖学
的適合化のためにパラメトリックフレームモデルを頭の3Dモデルへ適合化する第2の手
順。
適合化を第1の適合化手順と第2の適合化手順とに分割するおかげで、上に説明したよ
うに第1の適合化手順の範囲内の一般的やり方でフレーム製造業者により予め定められ得
る特定適合化ガイドラインを考慮することが容易に可能である。次に、頭の形式への残り
の解剖学的適合化は第2の適合化手順において企てられ得る。
以下では、前述の方法と以下に説明される方法において使用される用語についてさらに
説明する:
適合化は、この処理がパーソナルコンピュータ(PC)などのコンピュータデバイス上
で行われるので「仮想的」であり、実際の眼鏡フレームは実際の頭の上に置かれない。
モデル(特に3Dモデル)は、記憶媒体(例えばコンピュータのメモリ又はデータ媒体
)内でデータ記録として利用可能である現実物体の3次元表現を意味するものと理解され
るべきである。一例として、このような3次元表現は一組の3D点(頂点とも呼ばれる)
とこれらの点間の接続(縁とも呼ばれる)とからなる3Dメッシュあり得る。最も単純な
場合、この接続は三角形メッシュを形成する。3Dメッシュとしてのこのような表現は物
体の容積ではなく表面だけを記述する。メッシュは必ずしも閉じられる必要はない。した
がって、頭が例えばメッシュの形式で記述されれば、頭はマスクのように見える。このよ
うな3Dモデルに関する詳細は、Rau J−Y,Yeh P−C,“A Semi−A
utomatic Image−Based Close Range 3D Mode
ling Pipeline Using a Multi−Camera Confi
guration.”Sensors(Basle,Switzerland).201
2;12(8):11271−11293.doi:10.3390/s1208112
71;特に11289頁,図16)に見出される。
ボクセルグリッド(容積型表現を表す)は3Dモデルを表すための別の選択肢である。
ここでは、空間は小さい立方体又は直方体(ボクセルとも呼ばれる)に分割される。最も
簡単な場合、表される物体の有無がボクセル毎に2進値(1又は0)の形式で格納される
。1mmのボクセルの縁長さ及び300mm×300mm×300mmの容積(頭の典型
的な容積を表す)の場合、合計2700万のこのようなボクセルが結果的に得られる。こ
のようなボクセルグリッドは例えばM.Niessner,M.Zollhoefer,
S.Izadi,及びM.Stamminger,“Real−time 3D rec
onstruction at scale using voxel hashing
”.ACM Trans.Graph.32,6,Article 169(Novem
ber 2013),DOI:https://doi.org/10.1145/25
08363.2508374に記載されている。
特に、頭の3Dモデル及び/又は眼鏡フレームの3Dモデルはテクスチャを有する3D
モデルであり得る。テクスチャを有する3Dモデルは、現実物体の表面点の色情報を追加
的に含む3Dモデルを意味するものと理解される。テクスチャを有する3Dモデルの使用
は頭及び眼鏡フレームの真の色表現を容易にする。
ここでは、色情報が属性として(例えばRGB(赤緑青)色値として)頂点に直接含ま
れ得る、又は一対のテクスチャ座標が属性として各頂点へ添付される。このとき、これら
の座標は追加テクスチャ画像内の画像座標(画素位置)であると理解されるべきである。
このとき、三角形メッシュの前述の三角形のテクスチャは例えばテクスチャ画像の画素か
らの補間により生成される。
ここでは、属性は通常、物体へ割り当てられる特徴、特性など(本ケースでは特定頂点
)を表す(2017年7月5日時点のGerman Wikipedia articl
e“Attribut(Objekt)”も参照)。
パラメトリックモデルは1つ又は複数の可変パラメータを有する3Dモデルである。こ
のとき、3Dモデルにより記述される物体(この場合眼鏡フレーム)の幾何学形状は、パ
ラメータ又はパラメータ群を変更することにより変化する(例えばサイズ又は形式に関し
)。このようなパラメータの例は、例えば眼鏡フレームの鼻梁幅又は耳当て長さ又はそう
でなければ眼鏡フレームのフレームリムの形式を含む。これらのパラメータのタイプ及び
数は、パラメトリックフレームモデルにより表される眼鏡フレームに依存する。特に、眼
鏡フレームの製造業者はパラメータの値範囲を設定し得、このとき、パラメータの値範囲
は製造されることができる眼鏡フレームをそれに応じて記述する。自由フレームパラメー
タはパラメトリックフレームモデルのパラメータ(本方法の範囲内で未だ設定されていな
いパラメータ、すなわち依然として適合化され判断される必要があるパラメータ)を意味
するものと理解される。
適合化ガイドラインは、どのように眼鏡フレームが眼、瞳、眉毛又は鼻などの頭上の領
域又は点に対し位置決めされるべきかに関係する仕様である。パラメトリックフレームモ
デルに固有なこれらの適合化ガイドラインは、特に眼鏡フレームの製造業者により望まれ
る美的印象を保証するために使用される。フレーム固有適合化ガイドラインは、それぞれ
の製造業者により例えば適切なファイルとしてパラメトリックフレームモデルと共に電子
的形式で提供され得る。ここで、「フレーム固有」は、適合化ガイドラインが眼鏡フレー
ムモデル毎に別個に利用可能であるということを意味し、前記適合化ガイドラインはこの
眼鏡フレームモデルの特定処方箋を提供する。
対照的に、解剖学的適合化は、頭上の眼鏡フレームの正しい快適な適合化を保証するよ
うに意図された適合化に関係する。この点に関し、それぞれの眼鏡フレームに固有ではな
いが複数の異なる眼鏡フレームへ一般的に適用される判断基準が使用される。これらの判
断基準は、上述の方法を行うために使用される装置の製造業者により予め定められ得る。
これらの判断基準はまた、本方法を行う人(例えば眼鏡技師又はそうでなければ医師)に
より予め設定可能及び/又は調整可能であり得る。このような判断基準はまた、この場合
は1つのフレームに特に関係するのではなく様々なタイプのフレームへ適用可能な判断基
準により、フレーム製造業者により又はそうでなければ複数のフレーム製造業者が一緒に
なって予め定められ得る。このような判断基準の例は、耳上の眼鏡フレームの正しい適合
化又は一対の眼鏡の鼻パッドの正しい適合化に関係する。解剖学的適合化はまた、頭の領
域までの最小距離を保証すること(例えば眼鏡フレームのフレームリムと頬骨及び/又は
頭の眉毛部との間の最小距離を保証すること及び/又はまつ毛までの最小距離を保証する
こと)を含み得る。解剖学的適合化の別の例は、眼鏡レンズと眼との間の意図された距離
(すなわち頂点間距離(vertex distance:独語略称HSA))又はこの
距離の意図された範囲の設定にある。頂点間距離は眼の角膜の前面と眼に面する眼鏡レン
ズの表面との間の距離である。一例として、解剖学的適合化は、意図された12mmの頂
点間距離又は12mm〜17mmの範囲の頂点間距離が遵守されることを保証し得る。こ
の理由は、眼鏡レンズはまつ毛との接触を回避するとともにレンズ上の凝結(発汗)を回
避するためには眼に対し余りに近くに置かれるべきでないということである。さらに、何
人かの眼鏡技師は、球面円柱状屈折を測定するために使用されるフォロプタにおいて初期
設定される頂点間距離からの頂点間距離の偏差を回避することを好む。比較的大きな頂点
間距離は屈折力を正のジオプタ値の方向に修正するので、遠視の場合(すなわち所謂正レ
ンズが必要とされる場合)には較的大きな頂点間距離が恐らく好ましいかもしれない。し
たがって、屈折測定の結果に基づく意図された頂点間距離が有利なやり方で使用され得る
適合化ガイドラインはこの場合テキスト形式で(例えば処理を簡単にするxml又はJ
SONファイルとして)利用可能なことが好ましい。
適合化ガイドラインは、例えば非対称暗号法により暗号化され、(2017年6月8日
時点の独語ウィキペディア記事“Asymmetrisches Kryptosyst
em”又は2017年6月8日時点の“Public−Key−Verschluess
elungsverfahren”を参照)、したがって、署名することにより無断修正
に対し保護され得、権限の無い人間は読み出しアクセスをすることが暗号化により防止さ
れ得る。ここでは、フレーム製造業者は、システム製造業者の公開鍵によりフレーム固有
適合化ガイドラインを暗号化し、それ自身の鍵の助けを借りてそれに追加的に署名し得、
その結果、フレーム製造業者は適合化ガイドラインの源及び完全性をシステム製造業者に
対し可視にし得る。他方で、第1の製造業者のフレーム固有ガイドラインは第2のフレー
ム製造業者にとって可視ではない。
本出願の範囲内で、「人」は、その頭が眼鏡フレームへ最終的に適合化されるべき人を
表す。「ユーザ」は、眼鏡を適合化するための装置及び方法を操作し行う人を表す。これ
はその人自身でもよいが誰か他の人(例えば眼鏡技師)でもよい。
好適には、本方法はさらに、パラメトリックフレームモデル及び/又は適合化ガイドラ
インの所定フォーマットへの変換を含む。特にパラメトリックフレームリムモデルは眼鏡
フレーム製造業者により様々なフォーマットで(例えばそれぞれに採用されるCAD(コ
ンピュータ支援設計:computer aided design)プログラムの専用
フォーマットで)提供され得る。変換の結果として、その後の処理特に第1及び第2の適
合化手順は、様々なフォーマットで元々利用可能だった様々な製造業者からのフレームモ
デル又は適合化ガイドラインに関して一様に行われ得る。
一つの好ましい例示的実施形態では、パラメトリックフレームモデルは複数のパラメー
タを含む。このとき、第1組のパラメータは第1の適合化手順において判断され、残りの
第2組のパラメータは第2の適合化手順において判断される。この結果、より少ない残り
の自由パラメータが解剖学的適合化の第2の適合化手順において判断される必要があり、
特に、従来の最適化アルゴリズムが使用される場合の最適条件の検出を単純化する。
このようなパラメータは、特に、眼鏡フレームの幅、眼鏡フレームの鼻梁幅、眼鏡フレ
ームの眼鏡フレームの前傾角(DIN EN ISO 8624:2015−12、頁1
2、A.14を参照)、眼鏡フレームの眼鏡耳当ての耳当て長さ、眼鏡フレームの鼻パッ
ドの位置(任意選択的に左及び右鼻パッド毎に別個に)、鼻パッドの垂直方向及び/又は
水平方向作業角度(任意選択的に左及び右鼻パッド毎に別個に)、(オフセットの無いモ
デルの場合の用語「鼻パッド」により、鼻パッドは鼻支持体(すなわち鼻との接触領域)
を表す)、フレームの基底曲線(base curve)の半径及び/又はそり角を含み
得る。眼鏡レンズに関する基底曲線はDIN EN ISO 13666:2013−1
0に定義されている;この点に関し、DIN EN ISO 13666:2013−1
0,頁58、11.4を参照されたい。これは、眼鏡フレームの標準規格では明示的に述
べられていない;しかし、この点に関し、図DIN EN ISO 8624:2015
−12,頁7,図4;頁9,A.13を参照されたい。基底曲線は、上方からの平面図に
おけるフレームの曲がりの半径を規定する。これらのパラメータは、上に定義された標準
規格において部分的に定義される。眼鏡フレームはこれらのパラメータにより十分に定義
可能である。
第1の適合化手順では、特に全体スケーリング、フレームリムの傾斜及び/又は形式に
従ってフレームの幅を設定することは、適合化ガイドラインを満たす目的のためにこれら
が製造業者により可変に保たれれば、可能である。特に、これらのパラメータはまた、頭
上に装着された眼鏡フレームの美的効果にとって重要であるので、眼鏡製造業者により望
まれる美的印象が得られる。このとき、前述のパラメータの他のもの(例えば鼻梁幅及び
耳当て長さ)が第2の適合化手順において設定され得る。
特定適合化ガイドラインは、特に眼鏡フレームの特徴と頭上の特徴との間の距離の目標
値又は目標範囲(目標値、最小値、最大値)を規定し得る。ここでは、フレームの特徴は
、例えばフレームリム又はその一部(上側フレームリム、下側フレームリム)などのフレ
ームの物理的特徴又はそうでなければ仮想特徴(例えばDIN ESO 13666にお
いて定義されたボックス系に対応するボックスのボックス中心)を含み得る。ここで、ボ
ックスはフレームリムを囲むレンズ面内の矩形を表す。このボックスの中心又は他の特徴
も同様に、前述の意味内の眼鏡フレームの特徴である。
したがって、頭の特徴はまた、例えば鼻の位置、配向及び寸法、眉毛の位置、配向及び
寸法、顎の位置、眼の瞳孔中心位置及び寸法又はそうでなければ眼の位置寸法などの物理
的特徴であり得る。しかし、補助的特徴もまた、例えば計算により複数のこれらの特徴を
結び付けることによりこれらの物理的特徴から導出され得る。
このとき、第1の適合化手順は、このような特徴を使用することにより自動的やり方で
容易に行われ得る。
第1の適合化手順は、例えば2017年5月18日時点の独語ウィキペディア記事“S
yntaxbaum”に記載のような構文ツリーの助けを借りて企てられ得る。これは効
率的適合化を可能にする。構文ツリーは、どのように単語(前述のウィキペディア記事に
おいて説明されるようなコンピュータサイエンスの意味の範囲内)が形式文法により生成
されるかの導出(すなわち手順)のツリー状表現を抽象的且つ一般的やり方で意味するも
のと理解される。第1の適合化手順の特定ケースでは、これらの規則は、補助的特徴、特
徴又は補助的特徴の目標値又は目標範囲(及びそのための計算処方箋)、特定適合化ガイ
ドラインがどの程度満足されるかを規定する適合化品質(例えば目標値又は目標領域から
の偏差の加重二乗和としての)、又は第1の適合化手順において適応化されるべきフレー
ムパラメータの算定式を提供する。
ここで、第1の適合化手順の範囲内で、目標値又は目標範囲からの偏差は適合化手順に
おいてペナルティ項として使用され得る。ペナルティ項は従来の最適化方法の使用に準じ
て可能な限り小さく保たれるべきである。したがって、ペナルティ項は、目標値又は目標
範囲からの偏差を特徴付けるとともに最適化方法により可能な限り小さく保たれるべきで
ある項を表し、このとき、この項は目標値又は目標範囲からの小さな偏差に対応する。
そうでなければ、目標範囲内の目標値からの偏差が二乗偏差として考慮され得る。
ペナルティ項及び最適化方法のこのような使用は、2017年5月18日時点の独語ウ
ィキペディア記事“Optimierung”及びその章“Methoden der
lokalen nichtlinearen Optimierung mit Ne
benbedingungen”に記載されている。
パラメトリックフレームモデル及び/又はパラメトリックフレームモデルに固有の適合
化ガイドラインはまた、製造業者固有データを第三者へアクセス可能にしないように暗号
化形式で利用可能かもしれない。この目的を達成するために、従来の暗号化技術(例えば
公開又は秘密鍵による)が使用され得る。この点に関する情報はまた、例えば2017年
5月18日時点の独語ウィキペディア記事“Verschluesselungsver
fahren”に見出され得る。
特に、第1の適合化手順は、特徴及び構文ツリーに基づく最適化ループとして実施され
得る。このような最適化ループは、眼鏡フレームの仮想装着、目標値の構文ツリー上の項
評価及び任意選択的に目的関数(前述の二乗偏差により計算される)及び任意選択的にペ
ナルティ項を含み得る。このような最適化ループを使用することにより、適合化ガイドラ
インのほぼ任意の記述の一般的適合化手順を実施することが可能である。換言すれば、複
数の異なる適合化ガイドラインがこのような手法によりカバーされ得る。
特に、眼鏡レンズの重量がここでは仮想装着の範囲内で考慮され得る。一例として、眼
鏡レンズの重量は、一対の眼鏡又は鼻パッドが皮膚中に沈み込むこと又は一対の眼鏡が鼻
梁へ滑り込むことに影響を及ぼし得る;J.Eber,“Anatomische Br
illenanpassung”,Verlag Optische Fachvero
effentlichung GmbH,頁24 ffを参照。眼鏡レンズの重量を考慮
することにより、このような沈み込み又は滑り込みの場合でさえ適合化ガイドラインを満
たすためにこのような効果を考慮することが可能である。
例えば、第2の適合化手順は、例えば米国特許出願公開第2013/0088490A
1号明細書又は米国特許出願公開第2015/0293382A1号明細書との関連で最
初に説明された従来技術に記載されるようなそれ自体公知のやり方で行われ得る。特に、
最初に論述された米国特許出願公開第2016/0327811A1号明細書に説明した
ようにこの場合の衝突領域を計算することが可能である。欧州特許出願第1717392
9.5号明細書に記載の方法も使用され得る。
さらに、本方法は、仮想適合化の品質尺度(すなわち第1及び/又は第2の適合化手順
の結果)の計算を含み得る。ここで、品質尺度は、どれだけ良く特定適合化ガイドライン
及び/又は解剖学的適合化の要件が満足されたかを規定する。一例として、品質尺度は、
人の頭の領域からの適合化済み眼鏡フレームの距離値に基づき(適切な場合には重み付け
により)計算され得る。品質尺度は人及び/又はユーザに眼鏡フレームの適合化の品質に
関するフィードバックを提供し得る。一例として、品質尺度と閾値との比較は、適合化が
眼鏡フレームの快適な適合化を保証するのに十分には良好ではなかったという認識を可能
にする。
上述の方法は、一対の眼鏡の仮想適合化のための装置であって1つ又は複数のプロセッ
サとディスプレイとを含む装置により行われ得、ここでは、本方法を行うためのプログラ
ムコードを有する対応コンピュータプログラムがプロセッサ又はプロセッサ群上で走る。
コンピュータプログラムは装置のメモリ上に格納されてもよいし、そうでなければクラウ
ドを介し提供されてもよい。ここで、本装置はまた様々な空間的に分離された構成要素を
有する分散形システムにより実施され得るということに注意すべきである。一例として、
この目的を達成するための適合化手順及び計算の一部は、ユーザとの相互作用がローカル
コンピュータ上で行われる間に比較的強力なコンピュータ(例えば外部サーバ)上で行わ
れ得る。
コンピュータによりプログラムが実行されるとコンピュータに上述の方法のうちの1つ
を行わせる指示を含むコンピュータプログラムも提供される。
コンピュータにより実行されるとコンピュータに上述の方法のうちの1つを行わせる指
示を含む特に触知可能なコンピュータ可読記憶媒体も提供される。記憶媒体の例は、CD
又はDVDなどの光記憶媒体、ハードディスクドライブなどの磁気記憶媒体、又はフラッ
シュメモリ又は読み取り専用メモリ(ROM)などの固体記憶装置を含む。
上述のコンピュータプログラムを格納する特に触知可能なコンピュータ可読データ媒体
も提供される。
さらに、上述のコンピュータプログラムを伝送するデータ媒体信号が(例えばインター
ネットなどのネットワークを介し)提供される。
上述の方法を行う手段を含むデータ処理及び/又は一対の眼鏡を適合化するための装置
も提供される。
さらに、眼鏡フレームを製造するための方法が提供される。本方法は、上述の方法を行
う工程、第1の測定点を使用することによる頭の3Dモデルへの眼鏡フレームの仮想適合
化工程、及び適合化された眼鏡フレームを製造する工程を含む。
したがって、第1の測定点を含む3Dモデルであって上述の方法を有する3Dモデルが
眼鏡フレームの仮想適合化のために当初使用される。眼鏡フレームの仮想適合化自体は、
最初に説明された従来技術において説明したように実施され得る。次に、このようにして
仮想的に適合化された眼鏡フレームは、最初に引用された従来技術において説明したのと
同様に物理的眼鏡フレームとして提供され得る。製造は3D印刷などの加法的方法により
実施され得る、例えば;この点の概要に関して、2018年6月25日時点の独語ウィキ
ペディア記事“Generatives Fertigungsverfahren”を
参照されたい。
本発明は添付図面を参照して好ましい例示的実施形態に基づき以下にさらに詳細に説明
される。
例示的一実施形態による一対の眼鏡の仮想適合化のための装置を示す。 図1のカメラデバイスの実施形態の例を示す。 例示的一実施形態による一対の眼鏡を適合化する方法の概要を提供する流れ図を示す。 図3の方法において使用可能である例示的一実施形態による方法の流れ図を示す。 図3の方法の範囲内で使用可能である例示的一実施形態による方法の流れ図を示す。 適合化ガイドラインにおいて参照され得る頭の特徴を解明するための図を示す。 図4の方法工程40又は図5の工程54の詳細な実施形態を示す。 補助的特徴を説明するための線図を示す。 適合化を解明するための頭の概略図を示す。 適合化ガイドラインに基づき適合化を解明するための頭の別の概略図を示す。 図3の方法の範囲内で使用可能である例示的一実施形態による方法の流れ図を示す。 図11の方法の詳細な実施形態の流れ図を示す。 頭モデルを解明するための図解を示す。 頭モデルを解明するための図解を示す。 図12の方法における一対の眼鏡を適合化する部分的工程を解明するための線図を示す。 鼻梁幅を解明するためのフレームモデルの図を示す。
図1は、例示的一実施形態による一対の眼鏡の仮想適合化のための装置の例示的実施形
態を示す。図1の装置は、プロセッサ12及びメモリ13を含むコンピュータデバイス1
1を含む。メモリ13は、データを格納する役目を果たし、図1の例示的実施形態では、
ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)及び1つ又は複数の
大量記憶媒体(ハードディスク、固体ディスク、光ドライブなど)を含む。プロセッサ1
2上で実行されると、上に既に詳述された又は以下にさらに詳細に説明される一対の眼鏡
を仮想適合化する方法を行うために使用されるプログラムがメモリ13内に格納される。
図1の装置はさらに、コンピュータプログラムがプロセッサ12上で実行されると眼鏡
フレームと共に人の頭を表示するディスプレイ16を含む。ユーザ入力は1つ又は複数の
入力機器17(例えばキーボード、マウス)により実施され得る。追加的に又はその代わ
りに、ディスプレイ16は、入力を実施することができるために接触感知画面(タッチス
クリーン)であり得る。
図1の装置はさらに、これによりデータが受信され得るネットワーク18へのインター
フェース14を含む。特に、ここでは眼鏡フレームのパラメトリックフレームモデルと関
連適合化ガイドラインとを眼鏡の製造業者から受信することが可能である。いくつかの例
示的実施形態では、データがまた、例えばこの一対の眼鏡の適合化に必要とされる計算の
一部分を行うためにインターフェース14を介し別のコンピュータデバイスへ送信される
。一対の眼鏡が適合化されるべき人の頭の3Dモデルを生成するために、図1の装置は任
意選択的に、これにより人の複数の画像が様々な方向から記録され得るとともに3Dモデ
ルが判断され得るカメラデバイス15を含む。画像記録に基づく3Dモデルのこのような
判断に関する情報は、例えばH.Hirschmueller,“Stereo Pro
cessing by Semiglobal Matching and Mutua
l Information”in IEEE Transactions on Pa
ttern Analysis and Machine Intelligence,
vol.30,no.2,pp.328−341,Feb.2008.doi:10.1
109/TPAMI.2007.1166に見出される。
図2は図1のカメラデバイス15の実施形態を示す。図2の例示的実施形態では、カメ
ラの半円状配置110が柱19へ固定される。次に、人は、図2に示すように人の頭11
1が半円状配置110で位置決めされそして様々な方向から記録され得るようなやり方で
自らを位置決めし得る。次に、頭111の3Dモデルが頭111から生成され得る。テク
スチャ(すなわちモデルの色(上に説明したような)に関する情報)もまた画像記録から
生じる。さらに、このような装置は欧州特許出願第17153556.0号明細書に記載
のように心取り測定のために使用され得る。
図3は例示的一実施形態による一対の眼鏡の仮想適合化の方法全体の流れ図を示す。本
出願は特にこの方法の部分的工程に関する。
本方法は工程30で始まる。工程31では、頭モデルメタデータを含む頭の3Dモデル
がメモリからロードされる。この3Dモデルは、図1と図2を参照して上に説明したよう
に画像記録の助けを借りて生成されてもよいし、例えばある人に対する一対の眼鏡の以前
の調整から既に利用可能な3Dモデルであってもよい。
頭モデルメタデータは、モデル自体ではなく3Dモデルの特徴に関する情報項目を含む
データである。特に、メタデータは、頭の3Dモデルに関する追加情報を提供し得る、及
び/又は頭の3Dモデル上のいくつかの点、曲線又は領域を含み得る。このようなメタデ
ータの使用に関するさらなる詳細もまた欧州特許出願第17173929.5号明細書に
見出される。
パラメトリックフレームモデルにより記述される眼鏡フレームの基本モデルが工程32
において選択される。パラメトリックフレームモデルは自由パラメータ(すなわち判断さ
れるべきパラメータ)を有する。このような自由パラメータの例は、特にパラメトリック
フレームモデル(特に眼鏡フレームの鼻梁幅又は耳当て長さ又はそうでなければ眼鏡フレ
ームのフレームリムの形式)の記述の文脈においてさらに上の方で既に規定された。
工程312において、パラメータの少なくともいくつかが次に、上に記載されたそして
以下にさらに詳細に説明されるフレームモデルに関連付けられた適合化ガイドラインに基
づき計算される。他のパラメータが、同様に既に説明されたように解剖学的適合化に基づ
き判断される。
次に、工程33〜310では、より深い解剖学的適合化による眼鏡の仮想装着がある。
この目的を達成するために、工程33では、欧州特許出願第17173929.5号明細
書において既に述べられたような配置点及び鼻梁静止点に基づく近似的位置決めがある。
眼鏡耳当ては、頭の耳の方へ開かれて折り曲げられ、配置される。ここでは、工程34及
び35において、一対の眼鏡のx軸を中心とする回転があり得る。ここで、x軸は頭内の
眼同士を結ぶ方向に対応し、z方向は耳当ての方向にほぼ対応し、y方向はそれに対し垂
直である。一対の眼鏡の接触領域はxy面内の微細位置決めにより工程36において最適
化される。さらに、工程312において未だ設定されていないパラメータがここでさらに
適応化され得る。この場合の工程34〜36は欧州特許出願第17173929.5号明
細書に記載された対応工程に対応する。この適合化の範囲内で、パラメトリック眼鏡モデ
ルは、特にパラメータが工程312において判断された後に変形及び配置され得る。
次に、フレーム及び頭が工程37において描画される、すなわち図1のディスプレイ1
6上に適切な表現が存在する。この描画も欧州特許出願第17173929.5号明細書
において既に説明された。ここで、画像合成とも呼ばれる描画は、生データ(この場合は
それぞれのモデルからの)に基づく画像の(例えばコンピュータモニタ上の表示のための
)生成であると理解される。
次に、工程38では、工程39に示すように様々な結果を有し得るユーザとモデルとの
相互作用がある。したがって、例えば異なる方向から頭を観測するために単純にナビゲー
ションがあり得る。この場合、新しい描画が工程37においてある。
工程39における相互作用はまた、x軸を中心とするフレームの回転の手動適応化を可
能にする。この場合、本方法は、例えばフレームの新しい位置に従って耳当てを判断する
ために工程35へ戻る。
さらに、モデルとのユーザの相互作用もまた、眼鏡フレームの位置を装置のユーザによ
り頭モデルの鼻梁へ適応化し得る。これは実質的に、工程33において設定された眼鏡フ
レームの位置を変更する。したがって、本方法はこの場合工程33へ戻る。
例えば観測角度を変更する、回転を適応化する、鼻梁上に配置された一対の眼鏡の位置
を適応化するための前述のタイプの相互作用(特にナビゲーション)が同様に欧州特許出
願第17173929.5号明細書において既に詳細に説明されている。
さらに、パラメトリックフレームモデルのフレームパラメータのうちの1つもまた、相
互作用の範囲内でユーザにより設定され得る。一例として、ユーザはこの場合、工程31
2において自動計算により実施されたパラメータの判断を修正し得る。この場合、これは
工程310における自由フレームパラメータの数を低減し、本方法は工程36において続
けられる。ユーザが、相互作用に続く適合化に最終的に満足すれば、本方法は工程311
において終了される。この処理において、最終検査が依然としてあり得る。ユーザ(例え
ば眼鏡技師)は最終チェック中に発注データをチェックする。この処理では、発注のデー
タ及び対応図的表現が概観モニタ上で前記ユーザへ提示される。この表現は、本方法の範
囲内で判断された眼鏡フレーム及び/又は頭のパラメータ(鼻梁幅及び鼻翼角度など)と
、また、恐らく例えば適合化ガイドラインにより処方される理想形からの偏差に関する注
釈も含む発注されたフレームのパラメータとを示す。このようなパラメータの判断はさら
に以下に説明される。次に、確定されたパラメータは、対応パラメータを有する物理的眼
鏡フレームを発注するためにそれぞれの製造業者の発注システムへ送信され得る。
次に、図3の方法の個々の態様が図4〜15を参照して以下にさらに詳細に説明される
図4は例示的一実施形態による方法の流れ図を示す。図4は、それぞれのパラメトリッ
クフレームモデルに関連付けられた適合化ガイドラインに基づく適合化とその後に続く頭
の生体構造への適合化とへの眼鏡適合化の下位部分を示す。
図4の方法では、パラメトリックフレームモデルは工程40において適合化ガイドライ
ンに基づき人の頭の3Dモデルへ適合化される。ここで、前記適合化ガイドラインはそれ
ぞれの眼鏡フレームの眼鏡フレーム製造業者により眼鏡フレーム専用に予め定められてい
る。これらの適合化ガイドラインは以下に同様により詳細に説明される美的処方箋に関係
し得る。この工程の実施形態例が後でさらに詳細に説明される。一例として、工程40は
図3の工程312の範囲内で行われ得る。
パラメトリックフレームモデルの第1組のパラメータが工程40における適応化により
設定され得る。
次に、人の頭の生体構造への一般的適合化が工程41において企てられる、すなわち工
程41における適合化は特定適合化ガイドラインとは無関係に実施される。この適合化は
、最初に引用された従来技術において説明されたように実施され得、工程312において
又は任意選択的に工程34及び35における適応化においても同様に実施され得る。この
とき、解剖学的眼鏡適合化がまた、頭モデルのメタデータに基づき又はそうでなければJ
ohannes Eber,“Anatomische Brillenanpassu
ng”,Verlag Optische Fachveroeffentlichun
g GmbH,1987,頁23ffにおいて説明されるように直接発生し得る。
図5は、図4の方法の実施形態の詳細流れ図を示す。
本方法の入力データは図5の工程50〜53において提供される。工程51では、フレ
ーム製造業者が眼鏡フレームのパラメトリックフレームモデルを生成する。工程51のパ
ラメトリックフレームモデルは、この場合、データが専用CAD(コンピュータ支援設計
)フォーマットで眼鏡製造業者により供給されれば本発明による方法において使用される
一様な標準化されたフォーマットへ転送され得る。
さらに、従来の圧縮方法の助けを借りたデータ削減(例えば3Dモデルにおける三角形
又はボクセルの数の低減)又はデータ圧縮があり得る。
工程50では、フレーム製造業者は、説明したようにフレームを適合化する際に美的態
様を考慮し得るこのパラメトリックフレームモデルの特定適合化ガイドラインを生成する
人の頭の3Dモデルが工程52及び53において生成及び分析される。ここで、このモ
デルは当初、3D測定システムにより(特に図2に示すカメラデバイスにより)工程52
において生成される。3D頭スキャナなどの他のタイプの測定システムも使用され得る。
このような頭スキャナの例は2017年6月8日時点でいずれの場合もhttp://c
yberware.com/products/scanners/ps.html又は
http://www.3d−shape.com/produkte/face_d.
phpに見出される。工程53では、点又は領域が、最初に説明された従来技術において
も使用されるようなこの頭モデル上の特徴(例えば点、特徴)として識別される。
次に、フレームが、図4における工程40に対応する特定適合化ガイドラインに従って
工程54において適合化される。加えて、眼鏡フレームの意図された位置及び配向が、工
程54における適応化のための開始値として設定され得る。パラメトリックフレームモデ
ルの所定標準パラメータと共に欧州特許出願第17173929.5号明細書におけるも
ののようなメタデータによる位置が適応化のための開始値として役立ち得る意図された位
置及び意図された配向として役立ち得る。その代替案として、意図された位置はいくつか
のケースでは特定適合化ガイドラインから計算され得る。一例として、特定適合化ガイド
ラインはxz面内の瞳孔中心に対するフレームリムの好ましい位置を定義し、意図された
頂点間距離(例えば12mm)はy軸の方向の位置を定義する。「装用時」前傾角もまた
、空間内のフレームの配向(すなわちx軸まわりの角度)の一部として例えば9度の意図
された値に設定され得る。これは同様に特定適合化ガイドラインの一部であり得る。
次に、フレームは工程55において頭の解剖学的条件へ適合化される。ここで、工程5
4において未だ適合化されなかったパラメータ(すなわち依然として自由なパラメータ)
がさらに適応化される。
工程56では仮想装着及び描画があり、工程57では手動適応化がある。ここで、仮想
装着及び手動適応化は、図3において参照符号33〜310を参照して既に説明されたよ
うに実施される。
工程58では、図3の工程311に対応するフレーム製造業者の発注システムへの転送
がある。
次に、フレーム固有適合化ガイドラインの使用及び対応適応化が図6〜10を参照して
さらに詳細に説明される。
図6は、このような特定適合化ガイドラインの顔内の特徴及び点として好適である顔の
様々な特徴を示す。換言すれば、顔のこのような点に対する眼鏡フレームの特徴の目標位
置又は目標範囲がこのような例示的実施形態では適合化ガイドライン内に提供される。顔
のこのような特徴はまた、Johannes Eber,“Anatomische B
rillenanpassung”,Verlag Optische Fachver
oeffentlichung GmbH,1987,頁17ffにおいて説明されてい
る。
この例は以下のものを含む:
1.眼の位置、特に瞳孔中心(図6の線L2と線LBとの交点)。線L2はさらに瞳軸
を表す。
2.眼のボックス寸法(すなわち眼の周囲に置かれた矩形の寸法)すなわち各矩形の位
置、矩形の幅及び高さ。
3.図6の線LA、L3に一致する鼻の位置。
4.図6の線LDに対応する顔の幅及びこめかみの位置。
5.図6の線L1と線L5(顎の線)との間の顔の高さ。
6.顎領域(すなわち線L5に接触する顎の部分)の曲率半径。
7.眉毛の位置:ここで図6の線L1は眉毛の中心軸を表し、線LCは眉毛のそれぞれ
の外側限界を表す。
8.図6の線L4に一致する口の位置。
前述の特徴は、パラメトリック頭モデルによる又はそうでなければ画像解析方法(画像
認識)による以下に述べるような手順により、及び/又は図2のカメラデバイスにより記
録された画像における機械学習により識別され得、したがって前記特徴の位置は頭の3D
モデル上で判断され得る。このような特徴の自動認識の選択肢がまた、V.Kazemi
,J.Sullivan,“One millisecond face alignm
ent with an ensemble of regression trees
”Proceedings of the IEEE Conference on C
omputer Vision and Pattern Recognition,2
014に記載されている。
以下の説明では、左眼、右眼、顔の左半分又は顔の右半分などの参照は一対の眼鏡が適
合化された人の観点から理解されるべきである。
図7は、データが提供されることと併せて適合化ガイドラインに基づき眼鏡フレームを
適合化する詳細な方法(すなわち図4の工程40又は図5の工程54の詳細な例)を示す
パラメトリックフレームモデルの適合化ガイドラインが、図7の工程70において提供
され、提示された方法においてこれらを使用することができるために工程73においてコ
ンピュータデバイスへ読み込まれる。ここで、適合化ガイドラインは例えばxmlファイ
ル又はJSONファイルなどのテキストファイルとして格納される。
パラメトリックフレームモデルが工程71において提供され、工程70における適合化
ガイドラインがそれへ割り当てられる。例えばフレームモデルのいくつかの領域又は点を
表すメタデータが、パラメトリックフレームモデルへ割り当てられ得る。フレームモデル
のこのようなメタデータもまた欧州特許出願第17173929.5号明細書に記載され
ている。このパラメトリックフレームモデルは工程74において読み出される。工程77
では、工程74において読み出されることから生じるパラメトリックフレームモデルのパ
ラメータ及びそれらの値範囲がその後の最適化のために提供される。最後に、眼鏡フレー
ムが適合化されるべき人の頭の3Dモデルには工程72において関連メタデータが与えら
れ、前記モデルは工程75において読み出される。
適合化ガイドラインは工程76において解析される。解析は、さらなる処理にとってよ
り好ましいフォーマットへの入力データの分解及び変換を意味するものと理解される。解
析器はこのような解析を行う対応デバイス(通常コンピュータプログラムにより実現され
る)である。この点に関するより詳細は2017年5月19日時点の独語ウィキペディア
記事「解析器」に見出される。
ここで、適合化ガイドラインは、特にその後の最適化処理に好適なフォーマットに翻訳
される。ここで、説明したように、適合化ガイドラインは、特に眼鏡フレームの特徴と頭
上の特徴との間の距離(例えば上側フレームリムと眉毛との間の距離、フレームの上側フ
レームリムと眼の上縁との間の距離、眼の下縁までの下側フレームリムの距離、又はフレ
ームリムに対する瞳の相対位置)の目標量及び/又は許容可能範囲を含み得る。さらに、
計算され導出された特徴(すなわち頭及び/又はフレームの複数の特徴から導出された点
又は領域)までの距離を使用することも可能である。このような導出された特徴は補助的
特徴とも呼ばれる。このような導出された特徴の使用は適応化のより大きな柔軟性及び/
又はより高い精度を可能にする。
このような補助的特徴の一例が図8に示される。図8は眼鏡フレーム81を備えた頭8
0を示す。顔の幅の1/2の半径と鼻の下縁における中心の幅とを有する仮想円が80に
より表される。図8では、yUNは鼻の下縁を表し、yUKは顎の下縁を表し、yUOD
は眼の下縁を表す。顔の幅(すなわち図6の線D同士間の距離)がyGにより表される。
工程76における解析中に検出された適合化ガイドライン70内の項の助けを借りて定義
される導出された補助的特徴yHの例は次のとおりである:
yH=(yUK−(yUN−0.5×xG))/0.5×xG
この値yHは、顔の幅の1/2に対する比として実際の顎下縁からの理想的顔の計算さ
れた顎下縁の偏差を表し、前記値は鼻の下の顔の垂直方向長さの尺度である。このような
補助的特徴は眼鏡フレームの下側フレームリムの比率を設定するために使用され得る。こ
の結果、垂直方向の顔の長さもまた眼鏡フレームにより引き起こされる美的印象に影響を
与え得るということと、したがって特定適合化ガイドラインはパラメータyHに対する眼
鏡フレームのサイズ及び/又は形式の関係性を予め定め得るということとを考慮すること
が可能である。
適合化ガイドラインの別の例はフレーム外接ボックス内の瞳の位置である。これは図1
0Dに示される。図10Dは、この場合は右眼のフレーム外接ボックス102を有する眼
鏡フレーム81を示す。
瞳の適合化点高さ(下側フレームリムの上の瞳の高さ)はyにより表され、瞳の水平位
置はxにより表される。ボックス102の幅はΔaであり、ボックスの高さはΔbである
。一例として、このとき、適合化ガイドラインは「水平方向において瞳がボックス中心と
鼻黄金比との間に在るべきである、すなわちΔa×3.82<x<Δa×0.5」という
ことを規定し得る。ここで、黄金比は、x=Δa×3.82の場合のようにΔa−xに対
するxの比がΔaに対するΔa−xの比に等しいことを意味する。この黄金比よりフレー
ムリムの内側により近い眼位置はそれほど美的でないということが一般的に分かる。
同様のガイドラインは垂直方向の眼位置のセットでもよい:具体的には、瞳はボックス
102のボックス中心と中心の上方の黄金比の値との間の垂直方向に精密に位置が定めら
れる(すなわちΔb×0.5<y<Δb×0.618)。
適合化ガイドラインはまた、算定式として直接提供され得、ここでは、このとき算定式
の変数が上述の特徴である。換言すれば、特定適合化ガイドライン内のフレームパラメー
タは、項として直接規定され得る、又は最適化ループにより反復的に判断され得る。後者
の場合、項の助けを借りて定義される適合化品質が最適化され、項は目標を設定するがこ
れらの目標は通常は叶えられない。したがって、例えば形式「目標量=項」の表現は、最
適化の意味の範囲内(例えば最小二乗法の意味の範囲内)で適合化品質に寄与するだけで
あろうが、この適合化品質を直接には満足しないだろう。
工程76における解析は、特に、述べられた補助的特徴に関し、この目的を達成するた
めの目標量及び計算処方箋に関し、そして任意選択的に、既に上に説明したように例えば
目標量からの偏差の加重二乗和の形式で利用可能であり且つ追加ペナルティ項を任意選択
的に有し得るスカラ量としての品質値に関し、実施される。
次に、工程76の項の構文ツリーのリストが工程79において生成される。
したがって、瞳孔中心の位置、眼の位置及び寸法(例えば眼を表現する矩形)、鼻の位
置、配向及び寸法、眉毛の位置、配向及び位置、及び/又は顎の位置などの頭モデルの値
の位置、配向及び寸法が工程78において判断される。
補助的特徴の構文ツリーの項が工程710において評価される、すなわち、補助的特徴
が提示及び判断され、例えば上に説明した値yHのこれらの補助的特徴の値が工程711
において判断される。次に、工程712の最適化工程がある。ここで、パラメトリックフ
レームモデルのフレームパラメータは変更され、項は目標量が工程713において到達さ
れるまで評価される。これから、適合化ガイドラインに基づき適応化された1組のフレー
ムパラメータのパラメータセットが714において出現する。特に、これらは美的効果を
有するパラメータ:例えば可変フレームリムの場合は、眼鏡フレームのスケーリング、眼
鏡フレームの「装用時」前傾角及び/又はフレームリムの形式である。例えば鼻パッドの
角度又は眼鏡耳当ての長さ又は鼻梁幅などの別のパラメータが、製造業者により予め定め
られた標準値に当初維持される。次に、これらは解剖学的適合化(例えば図4の工程41
)中に適応化される。
最適化ループはまた、例えば欧州特許出願第17173929.5号明細書に記載のよ
うに仮想装着を含み得る。パラメトリックフレームモデルのパラメータの適応化を含む先
の工程が一対の眼鏡の最適適応化への最適化の収斂を保証する。
仮想装着中に結果として出現すると、第1に例えば回転行列及び変換ベクトルのような
提示可能な幾何学的運動のパラメータ(6つの自由度:2017年5月22日時点の独語
ウィキペディア記事“Bewegung(Mathematik)”を参照)、そして第
2にフレームの撓みのパラメータのようなパラメータがある。一般に、後者のパラメータ
は、曲げ中に耳静止点において横断された角度の単一パラメータである。これは欧州特許
出願第17173929.5号明細書に記載のような仮想装着に対応する。上述の仮想装
着の結果、フレームの回転及び並進並びに耳当ての変形のパラメータが存在する。
装着後、すべてのフレーム固有特徴が頭の座標系において利用可能である。この目的を
達成するために、幾何学的運動が特徴へ適用される。一例として、個別フレーム(すなわ
ち適合化されたパラメータを有するパラメトリックフレームモデルに対応するフレーム)
の右及び左側鼻パッドの位置及び配向が計算される。理想的ケースでは、この位置及び配
向はフレーム固有パラメータを適応化する工程において以前に計算された位置に対応する
べきである。この工程では、鼻翼の対応特徴は、以下にさらに具体的に説明されるように
、フレーム上の特徴に対応付けされた。しかし、鼻領域における個人化への制約のために
、場合によっては仮想装着の処理はフレームの位置を判断する際に適合化手順と同じ結果
を生じないかもしれない。一例として、これは、フレームの対称的な鼻台(nose r
est)と併せて実際の鼻の非対称性に起因し得る。しかし、一般に、位置間には非常に
わずかな差だけがあるはずである。わずかな差(例えば1mm未満の鼻パッド中心間の距
離)の場合、これは無視され得る。比較的大きな差の場合、仮想装着に続く新しい位置が
、フレーム固有適合化ガイドラインに基づき判断されるべきパラメータの新しい適合化手
順をトリガし得る。フレームモデルのあり得る非互換性に関するオペレータへの通知の形
式でのフィードバックもまた可能である。
図10A〜10Cは、頭80における様々な瞳孔間距離PD(図10A)、PD
図10B)及びPD(図10C)のボックス102内の眼のこの位置決めを解明する。
ここで、PDは比較的小さい瞳孔間距離であり、PDは中間の瞳孔間距離であり、P
は比較的大きな瞳孔間距離である。美的適応化のために、フレーム形式100の外側
リムが、例えば黄金比の状態を維持するために図10Aの場合には厚くされるとともに、
主末端部を備える。主末端部は眼鏡フレームの中心部分の外側部分であり、内側部分は鼻
梁と呼ばれる。したがって、この場合の修正されたパラメータはフレーム形式である。図
10Cの場合、主領域又は主鼻梁は所望美的印象を得るために恐らくより大きな鼻梁幅と
併せて選択される。
図9は、所望美的効果を得るための適合化ガイドラインに基づきパラメータを適応化す
る例を示す。ここで、図9A〜9Cは眼鏡フレーム81のスケーリングの効果を示す。図
9Aでは、非常に小さなフレームが人の上に仮想的に置かれるが、これは美的及びファッ
ション態様によると小さ過ぎる。フレームは図9Cでは大き過ぎる。図9Bでは、フレー
ムは中間サイズを有する。一対の眼鏡の美的適合サイズを保証するために、適合化ガイド
ラインは、この場合はフレームリムと顔及び/又は眉毛の縁との間の距離を処方し得る。
図9D〜9Fは鼻梁幅の影響を示す。ここで説明される例示的実施形態では、鼻梁幅は
、以下にさらに詳細に説明される鼻上のメガネフレームの解剖学的に正しい適合化を保証
するために、解剖学的適合化中に設定される。しかし、鼻梁幅はまた、解剖学的適合化中
に追加的に考慮され得る美的印象を変更し得る。小さな鼻梁幅bが図9Dでは選択され
る。ここで、フレームは鼻梁との衝突に起因して非常に高く位置する。鼻梁幅は図9Eに
おいて鼻梁幅bへ若干拡張された。結果として、眼鏡フレームは若干下側に且つより調
和の取れたやり方で着座される。図9Fの場合、鼻梁幅はさらに値bまで下げられた。
ここで、瞳は例えば黄金比に基づくフレームリムに対する所定範囲内に位置を定められる
という注意が解剖学的適合化の範囲内で払われ得る。
その結果、適合化ガイドラインと、頭の生体構造への適合化が続く適合化ガイドライン
に基づく適合化への分割との助けを借りて保証され得るものは、眼鏡製造業者の処方箋(
特に、美的性質のものである)が満足され得るということである。
前述の方法では、そしてまた一対の眼鏡を適合化する他の方法では、例えば欧州特許出
願第17173929.5号明細書に記載された方法では又は従来技術として最初に説明
された方法のうちのいくつかでは、頭の3Dモデル上のいくつかの点の位置が必要とされ
る、及び/又は静止点又は耳静止領域など眼鏡を適合化するためのいくつかの領域を特徴
付けるメタデータが必要とされる。1つの選択肢は、このような点又は領域を手動で又は
パターン認識方法により判断することにある。次に、別の選択肢が図11〜15を参照し
て説明される。
図11は、例示的一実施形態による測定点を人の頭の3Dモデル上へ設定する方法を示
す。ここで、測定点は上述の方法に使用され得る点(例えば耳、眼、眉毛などの顔特徴を
表現する点)を意味するものと理解されるべきである。
工程110では、測定点と共にパラメトリック頭モデルが提供される。ここで、パラメ
トリック頭モデルは頭を記述するパラメトリックモデルである。パラメトリックモデルの
パラメータを変更することで、頭モデルにより記述された頭形式を変更する。本明細書で
使用される用語「パラメトリック頭モデル」はまた、頭の一部分だけ(例えば眼鏡の適合
化に必要な部分(特に、眼、鼻及び耳の領域)だけ)を記述するモデルを含む。パラメト
リック頭モデルの例は図13A、13Cを参照して以下に説明される。測定点は、例えば
手動選択によりこのパラメトリック頭モデル上に設定される。このような測定点の例は図
13A、13Cを参照して同様に以下に説明される。
次に、工程111では、パラメトリック頭モデルが人の頭の3Dモデルへ適合化される
。この目的を達成するために、パラメトリック頭モデルと人の頭の3Dモデルとの間に可
能な限り小さい偏差があるようなやり方(例えば、最小二乗法により又は上に引用された
J.Boothらによる記事内の方法により)でパラメトリック頭モデルのパラメータを
適応化する任意の従来の最適化方法が使用され得る。次に、工程112では、測定点は適
応化に基づき人の頭の3Dモデルへ転送される。換言すれば、適合化済みパラメトリック
頭モデル上の測定点の位置は、頭の3Dモデル上の対応測定点を設定するために使用され
る。これは、例えば法線ベクトル(すなわちパラメトリック頭モデル上の測定点の場合に
は使用されている頭の3Dモデルと垂直なベクトル)の交点のおかげで、パラメトリック
頭モデルから頭の3Dモデルへの投影により実現され得る。精密モデルでは、頭の3Dモ
デル上の位置としてパラメトリック頭モデル上の測定点の位置を直接使用することも可能
である。
このようにして、パラメトリック頭モデル上に一度だけ設定される必要がある測定点に
より、任意の頭のほぼ任意の3Dモデルの測定点を判断することが可能である。
図12は、一対の眼鏡の仮想適合化の方法に埋め込まれた人の頭の3Dモデル上の測定
点を設定するためのパラメトリック頭モデルを使用するより詳細な方法を示す。図12の
一対の眼鏡の仮想適合化の方法の代わりに、図1〜10を参照して上に説明された方法が
また、図11の方法の可能な応用として役立ち得る。
図12において、自由パラメータを含むパラメトリックフレームモデルが工程120に
おいて提供される。図12の例示的実施形態の場合の自由パラメータは解剖学的適合化に
役立つ。他の例示的実施形態では、上に説明したように、フレーム固有適合化ガイドライ
ンによる追加の適応化があり得る。
工程121では、パラメトリック頭モデルが提供される。パラメトリック頭モデルは、
例えばA.Brunton,A.Salazar,T.Bolkart,S.Wuhre
r,“Review of Statistical Shape Spaces fo
r 3D Data with Comparative Analysis for
Human Faces”,Computer Vision and Image U
nderstanding,128:1−17,2014に説明されるような主成分分析
(PCA:principal component analysis)に基づき判断
される顔モデル又は頭モデル、又はそうでなければJ.Booth,A.Roussos
,S.Zafeiriou,A.Ponniah and D.Dunaway“A 3
D Morphable Model learnt from 10,000 fac
es”,2016 IEEE Conference on Computer Vis
ion and Patent Recognition(CVPR),Las Veg
as,NV 2016 pages 5543−5552 doi:10.1109/C
VPR.2016.598に説明されるような頭モデルであり得る。工程122では、人
の頭の3Dモデル(例えば図2のカメラデバイスにより生成されたかもしれない)が提供
される。
工程123では、測定点がパラメトリック頭モデル上で判断される。顔の少なくとも一
部分のこのような3Dモデルの例が図14に座標軸と共に呈示される。
工程123では、測定点がパラメトリック頭モデル上で判断される。この目的を達成す
るために、パラメトリック頭モデルの所謂標準頭が提供される。標準頭は、パラメトリッ
ク頭モデルのパラメータが所定標準値を採る頭である。主成分分析に基づく頭モデルの場
合、これは、例えば主成分分析の第1の成分に対応する平均的頭であり得る。
工程123では、測定点がパラメトリック頭モデル上で設定される。これは手動で点を
設定することにより発生し得る。このような規定の例が図13Aに示される。ここでは、
複数の点(例えば口の角、鼻の先端、額しわに沿った点、視点、鼻梁、及び鼻翼上の点)
がパラメトリック頭モデルの標準頭130上に設定された。別の例が図13Cに示される
。ここでは、三角形132(すなわち3点)が頭モデル130の鼻翼上に印される。
工程124では、パラメトリック頭モデルは、適合化処理を使用することにより人の頭
の3Dモデルへ適合化される。適合化処理は、パラメトリック頭モデルが(例えば最小二
乗判断基準に従って)人の頭の3Dモデルに可能な限り精密に適合化されるようなやり方
でパラメトリック頭モデルのパラメータが判断される処理である。工程123、124は
任意の順番で行われ得る。工程123は本方法が行われる前に一回だけ行われる必要があ
るので、判断された測定点は、本方法が様々な人間の頭の様々な3Dモデル及び様々なパ
ラメトリックフレームモデルに関して行われるたびに、使用され得る。
次に、工程125では、測定点は適合化済みパラメトリック頭モデルへ転送される。換
言すれば、測定点の位置は適合化済み頭モデル上で判断される。この目的を達成するため
に、これを元に測定点が工程123において判断された標準頭モデルから適合化済みパラ
メトリック頭モデルへ到達するために使用されるほぼ同じ変換が、例えばJ.Booth
らによる前述の記事に記載のように測定点へ適用される。任意選択的に、工程126では
、測定点は頭の3Dモデルへ転送される。工程126が使用されるかどうかは採用された
モデルの精度に(すなわち、どれだけ精確に適合化済みパラメトリック頭モデルが人の頭
の3Dモデルに対応するかに)依存する。一例として、工程126は平均二乗偏差が閾値
未満であれば省略され得る。適合化済みパラメトリック頭モデルから人の頭の3Dモデル
への測定点の転送は、法線ベクトルが適合化済み頭モデル上のそれぞれの測定点を通して
判断され、次にこの法線ベクトルと人の頭の3Dモデルとの交点が人の頭の3Dモデル上
の対応測定点として使用される投影により、実施され得る。この例が図13B、13Dに
示される。図13Bでは、図13Aの点が人の頭の3Dモデル131上へ投影され、図1
3Dでは図13Cの三角形132が三角形132’として3Dモデル131上へ投影され
る。
この投影は、パラメトリックモデルが大きな平滑度(特に図14に示すような頭の典型
的3Dモデルより大きな平滑度)をしばしば有するので、多くの顔モデルの場合確実に働
く。ここで、表面の平滑度は法線ベクトルの局所偏差の尺度として定義され得る。代替的
に、近似多項式面からの頭の3Dモデルのポイントクラウドの局所偏差もまた尺度として
定義され得る(例えばいずれの場合も5mmの径を有する局所領域において)。多項式面
は、無限に多くの回数微分可能であり、その結果、微分幾何学では「平滑」であると呼ば
れる。例示的実施形態において適用され得る「移動最小二乗法」(MLS)による局所平
滑化は2017年6月8日時点でhttp://pointclouds.org/do
cumentation/tutorials/resampling.phpに記載さ
れている。
さらに、手動工程が、頭の3Dモデル上に別の測定点をマーキングするために使用され
得る(図12では不図示)。特に、これらは3Dモデルにより容易に検出されない点(例
えば髪の毛により覆われた人の部分)であり得る。特に、これは耳の場合かもしれない。
したがって、これらの点は人の頭の3Dモデルでは精確に識別可能でなく、前記点は手動
で追加され得る。このような測定点の例は耳の基部上の眼鏡耳当ての静止点である。
次に、工程127では、特徴が測定点(工程126が無しで済まされれば適合化済み頭
モデルにおける測定点、又は工程126が行われる場合は転送済み測定点)に基づき計算
される。測定特徴とも呼ばれるこれらの特徴は、測定点のグループに基づいており、例え
ば頭の領域を定義する。
特徴は、直接計算により(例えば、空間内の3つの非共線点が面を一意的に定義し、そ
の法線ベクトルが正規化差ベクトルのクロス積により計算され得る;4つの非共線点が球
を定義し、5つの非共線点が円柱を定義する)、又は面又は球又は円柱などの幾何学的基
本要素(点、線又は領域)のいくつかの測定点への近似により、確定され得る。次に、特
徴は、適応化済み幾何学的基本要素のパラメータにより(例えば面の場合は面の考察下の
法線ベクトル及び点により、又は球の場合は球の中心及び半径により、等々により)判断
される。工程127において計算されるこのような特徴の例は以下のように規定される:
左又は右鼻翼
鼻の左又は右鼻翼に関し、鼻支持体の領域又は鼻パッドの領域内のモデルの小領域(例
えば6mmの径を有する)に対する近似により定義される面(例えば図13D内の三角形
132’に対応する)が特徴として使用され得る。水平及び垂直方向鼻翼角度はこの面の
位置及び配向から生じる。ここで、この面は鼻支持体の領域の中心点内の座標軸により交
差され、生じる角度は何れの場合も測定される。一例として、三角形132に対応する3
点が図13Cの各鼻翼上に印されれば、当該面は3点から計算され得る。4点以上の場合
、当該面は、適応化処理により(例えば一組の点上での主成分分解により又は最小二乗法
の助けを借りた適応化により)計算され得る。上述のように、単一面は面内の点(x,y
,z)とこの点を通る法線ベクトル(nx,ny,nz)とにより表現可能であり、x、
y、zはデカルト座標である。したがって、両方の鼻翼は纏めて、例えば(x[N,OD
,y[N,OD],z[N,OD],nx[N,OD],ny[N,OD],nz[N
,OD],x[N,OS],y[N,OS],z[P,OS],nx[N,OS],ny
[N,OS],nz[N,OS])のように12タプルとして(すなわち12の値(2点
と2つの法線ベクトル)により)表され得る。ここで、指標Nは鼻を表し、指標ODは右
側の眼(右眼)を表し、指標OSは左側の眼(左眼)を表す。
額の曲率
ここで、空間内の円曲線の断面が図13A、13Cに示すような額上の測定点へ適合化
され得る。この適合化のパラメータは円が存在する面の中心、半径、法線ベクトルである
。この適応化は2つの工程で行われ得る。当初、面は鼻翼について上に説明されたように
適応化され、次に、円がこの面内で適応化される。円のこの適応化は、例えば最小二乗法
又は任意の他の従来の適合化方法により発生し得る。
眉毛及び/又は頬骨
ここで、スプライン曲面S(2017年5月23日時点の独語ウィキペディア記事「ス
プライン」を参照)又は2017年6月8日時点の二変数多項式(例えばhttps:/
/en.wikipedia.org/wiki/Polynomial#Defini
tion→「二変数多項式」参照)が眉毛周囲の領域内で及び/又は頬骨のまわりの領域
内で眉毛の領域内及び頬骨の領域内の測定点に対し適合化される。スプライン表現S(c
1,..,cn):(x,z)→yでは、スプライン関数Sの係数(c1,...,cn
)は、対応領域(眉毛又は頬骨)内の一組の測定点{(x1,y1,z1),...,(
xm,ym,zm)}に関し、二乗平均平方根誤差Fが最小となるような、すなわち誤差
FがF(c1,...,cn)=Σi=1...m(yi−S(c1,..,cn)(x
i,zi))形式を有するようなやり方で判断される。
この表現では、フレームを装着する処理は何れの場合も図14の座標系内の固定y値を
有するxy面に対する平行運動によりその後実施されるという仮定がなされる。後部フレ
ームリムと頭の3Dモデルとの間の最小距離が適合化処理により実現されれば、この距離
値はスプライン曲面からのオフセットとして予め提供され得る。次に、接触はy値におけ
る対応関係を介し検出され得る(y値はオフセットとして予め格納されるので)。この目
的を達成するために、次に、後部フレームリムの各頂点は眼鏡フレームの適合化後の適応
化中に検査され得、座標(x,y,z)により与えられるそれぞれの頂点は差Δy=y−
(c1,...cn):(x,z)に関し検査される。頂点がモデルに接触している又
はその中に埋められているということが検出されれば、眼鏡フレームの位置が適応化され
得る又は眼鏡フレームのフレームリムが修正され得る。
眼鏡耳当ての静止点として働く耳の基部上の点
この目的を達成するために、頭モデル上の単一点が使用され得る;すなわちこの場合い
かなる測定点も組み合わせられる必要がない。他の実施形態では、耳静止曲線は欧州特許
出願第17173929.5号明細書に記載のように判断され得る。耳のモデリングの無
いモデル(例えば純粋な顔モデル)が使用されれば(上記参照)、又は人の頭の3Dモデ
ルを生成する際に耳が覆われていたならば、耳の基部におけるこの点は、異なるやり方で
(例えば頭の3Dモデルの生成のために使用された画像からの機械学習により)生成され
得る。この機械学習では、この目的を達成するために、トレーニングされた特徴検出器が
画像内の耳の基部における点を検出する目的を達成するために使用され得る。2D画像内
で検出されたこれらの点は、別の工程において頭の3Dモデル上へ投影される。このよう
な投影に関する情報は、射影幾何学及びカメラ校正に関する以下の背景文献に見出される
:例えば、Hartley and Zisserman,“Multiple Vie
w Geometry in Computer Vision”,2000、空間内の
直線としての画像ピクセルの表現の頁7から;三角形メッシュと直線との最前交点の計算
としての空間内の3Dモデル上への投影“ray casting”とも呼ばれる;また
例えばソフトウェアライブラリ“vtk”、関数“vtkModifiedBSPTre
e::Intersect WithLine”を参照されたい。代替的に、このような
点はまた、上に説明したように手動で判断され得る。
いくつかの例示的実施形態では、眼位置又は瞳位置などのいくつかの点もまた、別個の
方法により(例えば図2のカメラにより記録される画像を使用する瞳検出及び角膜検出に
より)判断され得る。このような判断は欧州特許出願第17153558.3号明細書及
び欧州特許出願第17153559.4号明細書に記載されている。
工程127においてこのように計算された特徴に基づき、次にパラメトリックフレーム
モデルのフレームパラメータが工程128において計算される。この計算の例が以下に提
供される。しかし、特徴はまた、欧州特許出願第17173929.5号明細書に記載の
ように特定適合化ガイドラインに基づき上述のフレーム適合化のために又は仮想装着のた
めに使用され得る。
一般的に、適合化の目的のために、特徴は、相対位置及び配向に関する及び/又は角度
又は曲率などの別の特性に関する組み合わせで評価される。工程128におけるフレーム
パラメータの計算のいくつかの例が以下に説明される。これらもまた、図4の工程41の
解剖学的適合化のための例として役立ち得る。
鼻梁幅
鼻梁幅はDIN EN ISO 8624:2015−12,付録Aに定義されている
。鼻梁幅は、より大きな鼻梁幅の場合には鼻パッド同士が互いにさらに離れて位置し、よ
り狭い鼻梁幅の場合には鼻パッド同士が互いにより接近して位置するので鼻パッド同士の
相対位置から生じる。鼻パッドの無い眼鏡フレームの場合、一般化された鼻パッドが、鼻
との接触領域として設けられる鼻台の特定領域として定義される。鼻梁幅は、これらの一
般化された鼻パッドの中心点同士の間隔として生じる。したがって、鼻梁幅は、両鼻翼上
の三角形(図13Dの三角形132’に対応する)の中心点間の間隔に対応し得る。ここ
では、幾何学的重心(すなわち角度二等分線の交点)が三角形の中心点と見做され得る。
説明目的のために、図16は、鼻パッド160(この意味の範囲内の)及び鼻梁幅16
1を有するパラメトリックフレームモデルの斜視図を示す。
鼻パッドの相対位置及び角度
この適応化は図15において説明される。ここでは、鼻翼は断面として提示される。こ
れは曲線150により表され、鼻パッド151が適応化される。
2つの鼻パッドのそれぞれはそれぞれの鼻パッドと接触する面(接平面)により適応化
され得る。他の面に関して上に説明したように、鼻パッドのこの面は考察中の点(x
,z)と法線ベクトル(nx,ny,nz)とにより近似され得る。特に、考察中
の点は鼻パッドの中心であり得る。従来の意味での鼻パッドの場合、すなわち金属フレー
ムの場合、この中心点は、例えば鼻パッドの重心を外側(すなわちパッドと鼻との接触面
)へ投影することにより定義され、このパッド中心はまた、所定点としてパラメータ化可
能フレームモデルの一部分であり得る、すなわちこの点はモデルと共に提供される。別個
パッドの無いプラスチックフレームの場合、鼻の接触領域(図16内の160)と想定さ
れるフレームの部分は、鼻台又はここでの一般化されたやり方では鼻パッドと呼ばれる。
その結果、2つの鼻パッドは同様に12タプルとして次のように表され得、この表現は本
例示的実施形態におけるフレームの局所座標系において実現される:
(x[P,OD],y[P,OD],z[P,OD],nx[P,OD],ny[P,
OD],nz[P,OD],x[P,OS],y[P,OS],z[P,OS],nx
P,OS],ny[P,OS],nz[P,OS])、ここで、指標Pは鼻パッドを表す
上に説明したように、このとき、鼻パッドの位置及び配向もまた鼻梁幅を意味する。
鼻パッドのこの表現では、座標系の座標原点及び配向は、12タプルが考察中の点と考
察中の共通回転マッピング点とへの共通翻訳マッピング及び法線ベクトルにより任意の所
望座標系へ転送可能であるので、自由に選択され得る。前提条件は、前述の12タプルの
すべてのパラメータが実際にパラメトリックフレームモデル内で自由に選択可能であると
いうことである。実際、パラメータはパラメトリックフレームモデルにおける制約に従い
、パラメトリックフレームモデルの個々のパラメータの最大及び最小値が存在する(一例
として、フレームは、任意に大きなサイズを有し得ない、又は任意に大きな又は任意に小
さな鼻梁幅では製造され得ない)。いずれにせよ、両方の鼻パッド及び上に述べたような
鼻翼は12タプルとして表され得る。
上述のデカルト座標における代わりに、法線ベクトルは、空間内の2つの角度θ及びφ
(実質的に、極座標における表現)により何れの場合も次のように表され得、ここでは1
が法線ベクトルの長さ(半径)として選択される:
(nx,ny,nz)=(sin(φ)×sin(θ),cos(φ)×sin(θ)
,cos(θ))
したがって、このとき、合計10個の自由度が、パッド(従ってまた鼻鼻梁)に関して
併せて生じ;次の10タプルとしての表現が得られる:
(x[P,OD],y[P,OD],z[P,OD],θOD,φOD,x[P,OS
,y[P,OS],z[P,OS],θOS,φOS)=z[P,OS]
鼻梁幅と鼻パッドの位置との間の関係は図15から明らかである:鼻梁が広げられれば
、それに応じて左及び右パッドの面の考察中の点同士間の距離の拡大があり、逆も同様で
ある。
パラメータの数の低下は、鼻梁が対称であり鼻パッドは互いに対して対称であるという
仮定がなされれば発生する。対称面としての図14のyz面により、以下のことが適用さ
れる:
i.x[P,OS]=−x[P,OD]
ii.y[P,OD]=y[P,OS]及びz[P,OD]=z[P,OS]
iii.θ[P,OD]=θ[P,OS]及びφ[P,OD]=−φ[P,OS]
次に、(w,y,z,θ,φ)が自由パラメータとして生じ、ここで、θ=θ[P
,OD]=θ[P,Os]及びφ=φ[P,OD]=−φ[P,OS]である。ここで、
wは鼻梁幅である。ここでは[P,OD]=w/2及びx[P,OS]=−w/2が
適用される。その結果、パラメトリックフレームモデルを適応化するために使用され得る
5つの自由パラメータは、対称的な場合には存在する。フレームに依存して、上に説明し
たように、より少ない自由度が存在し得る又は自由度は特定適合化ガイドラインにより制
約され得る。
パラメトリックフレームモデルを頭の3Dモデルへ適合化するために、鼻パッドの面は
鼻翼の面に対応するようなやり方で選択され得る;すなわち、一般的に、鼻パッドの12
タプルは鼻翼の12タプルに対応する。
一例として、制約として、鼻梁又は鼻パッドの位置はフレームの局所座標系において固
定され得る(すなわち、値y及びzが固定される)、又はθとφとの間に固定され例
えば線形な関係はθとφが互いに独立に選択され得ないように選択され得る。
縮小された組のフレームパラメータの場合、例えば前述の対称的な場合、平均化が使用
され得る。一例として、鼻翼の対応角度θ[P,OD]とθ[P,OS]とが異なれば、
平均値が使用され得る。角度間の差が閾値より大きければ、不利な摩耗特性を生じる対称
的なフレーム形式の影響に対する警告がこの場合は出力され得る。解剖学的適合化品質を
表す品質尺度が、摩耗特性がどれだけ不利かを評価するために使用され得る。このような
品質尺度は頭の領域からの眼鏡フレームの前述の距離に基づき計算され得、ここでは、様
々な距離が、様々な重み付けを有する品質尺度に含まれ得る。パラメトリックフレームの
タイプに依存して、自由パラメータの数は、例えば鼻支持体の領域内の2つのパラメータ
(具体的には鼻梁幅と鼻梁角度のパラメータ)までさらに低減され得る。一例として、鼻
梁角度は、鼻梁角度に関するJohannes Eber,“Anatomische
Brillenanpassung”,Verlag Optische Fachve
roeffentlichung GmbH,1987,頁26,図24に説明されてい
る。
フレームの前傾角
さらに、フレームの前傾角(「装用時」前傾角とも呼ばれる)は計算されてもよいし、
特徴により適応化されてもよい。上に説明したようなフレーム固有適合化ガイドラインが
使用される例示的実施形態では、前傾角はこの適合化中に既に設定され得る(図4の工程
40)。次にこの前傾角は図12の工程128においてさらに適応化され得る。この目的
を達成するために、フレームリム(例えばフレームリムの下側境界の後縁、フレームの正
面図における左又は右下角)と前述の頬面(スプライン曲面により表され得る)との間の
距離が計算される。次に、前傾角は所定最小距離例えば2mmが保証されるようなやり方
で修正される。
耳当て長さ
耳当て長さは、鼻上のフレームの適合化が例えば前述の鼻パッドにより設定されると工
程128において計算される。フレームの耳当て長さを設定する目的のために(これはパ
ラメトリックフレームモデルの自由パラメータであると仮定する)、耳当ての前側静止点
が耳の基部における前述の点と合致される。
次に、工程129では、工程128において計算されたフレームパラメータがパラメト
リックフレームモデルへ適用される。工程1210では、図5の工程56を参照して説明
したように仮想装着及び描画がある。任意選択的に、別の最適化(例えば、初めに述べた
米国特許出願公開第2016/0327811A1号明細書に説明されるような最適化、
又は図5の工程57において説明されたような手動適応化)が工程1211において発生
し得る。次に、工程1212では発注システムへの転送がある。別のフレームパラメータ
(例えば眼鏡フレームの中心部分の色、眼鏡フレームの眼鏡耳当ての色、眼鏡フレームの
蝶番の材料及び色、眼鏡フレームの眼鏡耳当て上の彫刻、設計要素、眼鏡フレームの眼鏡
耳当て又は中心部分への塗布)を選択することも可能である。次に、発注された眼鏡フレ
ームは、最初に説明したように例えば付加製造方法を使用することにより、判断されたパ
ラメータに従って製造される。

Claims (37)

  1. パラメトリックフレームモデル(81)を人の頭の3Dモデル(72)へ仮想適合化す
    る工程を含む一対の眼鏡を適合化するコンピュータ実施方法であって、前記仮想適合化は

    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)を含む、ことを特徴とする方法。
  2. 前記適合化ガイドライン及び/又は前記パラメトリックフレームモデルの所定フォーマ
    ットへの変換により特徴付けられる請求項1に記載の方法。
  3. 前記パラメトリックフレームモデルは複数のパラメータを含むことを特徴とする請求項
    1又は2に記載の方法であって、
    第1組のパラメータは前記第1の適合化手順において判断され、前記第1組とは異なる
    第2組のパラメータが前記第2の適合化手順において判断される、方法。
  4. 前記第1組のパラメータは、前記眼鏡フレームのスケーリング、「装用時」前傾角、及
    び/又は前記眼鏡フレームの眼鏡リムの形式を含むことを特徴とする請求項3に記載の方
    法。
  5. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する工程を含む一対の眼鏡を適合化するコンピュータ実施方法であ
    って、前記仮想適合化は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)と、を含
    むことを特徴とする、方法。
  6. 前記特定適合化ガイドラインは前記眼鏡フレームの特徴と前記人の前記頭の特徴との間
    の距離の目的値及び/又は目的範囲を含む、ことを特徴とする請求項1乃至5のいずれか
    一項に記載の方法。
  7. 前記目的値及び/又は目的範囲は異なる眼鏡フレームに関して異なることを特徴とする
    請求項6に記載の方法。
  8. 前記特定適合化ガイドラインは前記フレームの特徴から導出される特徴の仕様及び/又
    は前記頭の特徴を含む、ことを特徴とする請求項1乃至7のいずれか一項に記載の方法。
  9. 前記第1の適合化手順は構文ツリーの使用を含むことを特徴とする請求項1乃至8のい
    ずれか一項に記載の方法。
  10. 前記第1の適合化手順は前記特定適合化ガイドラインの目的値の偏差に基づく及び/又
    は目的範囲が超過された場合のペナルティ項に基づく目的関数における最適化処理を含む
    、ことを特徴とする請求項1乃至9のいずれか一項に記載の方法。
  11. 前記第1の適合化手順は最適化ループの通しの繰り返しを含むことを特徴とする請求項
    1乃至10のいずれか一項に記載の方法。
  12. 前記第1の適合化手順は眼鏡レンズの重量が考慮されることを含むことを特徴とする請
    求項1乃至11のいずれか一項に記載の方法。
  13. 前記パラメトリックフレームモデル及び/又は前記特定適合化ガイドラインは暗号化形
    式で存在することを特徴とする請求項1乃至12のいずれか一項に記載の方法。
  14. 前記仮想適合化の品質尺度の計算をさらに含む請求項1乃至13のいずれか一項に記載
    の方法。
  15. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する工程を含む一対の眼鏡を適合化するコンピュータ実施方法であ
    って、前記仮想適合化は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)とを含む
    ことと、
    前記特定適合化ガイドラインは前記眼鏡フレームの特徴と前記人の前記頭の特徴との間
    の距離の目的値及び/又は目的範囲を含む、こととを特徴とする、方法。
  16. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する工程を含む一対の眼鏡を適合化するコンピュータ実施方法にお
    いて、前記仮想適合化は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)とを含む
    こと、を特徴とする方法であって、
    前記特定適合化ガイドラインは前記フレームの特徴から導出される特徴の仕様及び/又
    は前記頭の特徴を含むこと、を特徴とする、方法。
  17. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する工程を含む一対の眼鏡を適合化するコンピュータ実施方法にお
    いて、前記仮想適合化は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)と、を含
    むことを特徴とする方法であって、
    前記適合化ガイドライン及び/又は前記パラメトリックフレームモデルの所定フォーマ
    ットへの変換により特徴付けられる、方法。
  18. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する工程を含む一対の眼鏡を適合化するコンピュータ実施方法にお
    いて、前記仮想適合化は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)と、を含
    む方法であって、
    前記第1の適合化手順は構文ツリーを使用する工程を含むことを特徴とする方法。
  19. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する工程を含む一対の眼鏡を適合化するコンピュータ実施方法にお
    いて、前記仮想適合化は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)と、を含
    むことを特徴とする方法であって、
    前記第1の適合化手順は眼鏡レンズの重量が考慮されることを含むことを特徴とする方
    法。
  20. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する工程を含む一対の眼鏡を適合化するコンピュータ実施方法にお
    いて、前記仮想適合化は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)と、を含
    む、方法であって、
    前記パラメトリックフレームモデル及び/又は前記特定適合化ガイドラインは暗号化形
    式で存在することを特徴とする方法。
  21. プログラムコードがプロセッサ上で実行されると請求項1乃至20のいずれか一項に記
    載の方法が行われるようにする前記プログラムコードを含むコンピュータプログラム。
  22. コンピュータによりコンピュータプログラムが実行されると前記コンピュータに請求項
    1乃至20のいずれか一項に記載の方法を行わせる指示を含む前記コンピュータプログラ
    ム。
  23. コンピュータにより実行されると前記コンピュータに請求項1乃至20のいずれか一項
    に記載の方法を行わせる指示を含むコンピュータ可読記憶媒体。
  24. 請求項21と請求項22のいずれかに記載のコンピュータプログラムが格納されるコン
    ピュータ可読データ媒体。
  25. 請求項21と請求項22のいずれかに記載のコンピュータプログラムを伝送するデータ
    媒体信号。
  26. 一対の眼鏡を仮想適合化するための装置であって、プロセッサと、請求項21又は22
    に記載のコンピュータプログラムが前記プロセッサ上で実行される目的のために格納され
    るメモリとを含む装置。
  27. 請求項1乃至20のいずれか一項に記載の方法を行う手段を含むデータ処理のための装
    置。
  28. 請求項1乃至20のいずれか一項に記載の方法を行うように構成されたプロセッサを含
    むデータ処理のための装置。
  29. パラメトリックフレームモデル(81)を人の頭の3Dモデル(72)へ仮想適合化す
    る手段を含むデータ処理のための装置であって、前記仮想適合化手段は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)を行う手段と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)を行う手段、装置。
  30. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する手段を含むデータ処理のための装置であって、
    前記仮想適合化手段は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)を行う手段と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)を行う手
    段と、を含むことを特徴とする、装置。
  31. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する手段を含むデータ処理のための装置において、前記仮想適合化
    手段は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)を行う手段と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)を行う手
    段とを含むことを特徴とする、装置であって、
    前記特定適合化ガイドラインは前記眼鏡フレームの特徴と前記人の前記頭の特徴との間
    の距離の目的値及び/又は目的範囲を含む、ことを特徴とする装置。
  32. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する手段を含むデータ処理のための装置であって、前記仮想適合化
    手段は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)を行う手段と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)を行う手
    段と含むことを特徴とする、装置であって、
    前記特定適合化ガイドラインは前記フレームの特徴から導出される特徴の仕様及び/又
    は前記頭の特徴を含むこと、を特徴とする装置。
  33. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する手段を含むデータ処理のための装置において、前記仮想適合化
    手段は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)を行う手段と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)を行う手
    段とを含むことを特徴とする、装置であって、
    前記適合化ガイドライン及び/又は前記パラメトリックフレームモデルの所定フォーマ
    ットへの変換により特徴付けられる、装置。
  34. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する手段を含むデータ処理のための装置において、前記仮想適合化
    手段は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)を行う手段と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)を行う手
    段とを含むことを特徴とする装置において、
    前記第1の適合化手順を行う前記手段は構文ツリーを使用することを特徴とする、装置
  35. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する手段を含むデータ処理のための装置において、前記仮想適合化
    手段は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)を行う手段と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)を行う手
    段とを含むことを特徴とする、装置において、
    前記第1の適合化手順を実行する前記手段は眼鏡レンズの重量を考慮する手段を含むこ
    とを特徴とする、装置。
  36. 複数のパラメータを含むパラメトリックフレームモデル(81)を人の頭の3Dモデル
    (72)へ仮想適合化する手段を含むデータ処理のための装置において、前記仮想適合化
    手段は:
    パラメトリックフレームモデル(71)に固有な適合化ガイドライン(70)を満足す
    るように前記パラメトリックフレームモデル(71)を前記頭の前記3Dモデル(72)
    へ適合化する第1の手順(40)であって、第1組のパラメータが前記第1の適合化手順
    において判断され、前記第1組のパラメータ前記第1組のパラメータは前記眼鏡フレーム
    のスケーリング、「装用時」前傾角、及び/又は前記眼鏡フレームの眼鏡リムの形式を含
    む、第1の手順(40)を行う手段と、
    前記パラメトリックフレームモデル(71)を解剖学的適合化のために前記頭の前記3
    Dモデル(72)へ適合化する第2の手順(41)であって、前記第1組とは異なる第2
    組のパラメータが前記第2の適合化手順において判断される第2の手順(41)を行う手
    段と、を含むことを特徴とする、装置において、
    前記パラメトリックフレームモデル及び/又は前記特定適合化ガイドラインは暗号化形
    式で存在することを特徴とする、装置。
  37. 請求項1乃至28のいずれか一項に記載の方法を行う工程と、眼鏡フレームの前記適合
    化されたモデルに基づき前記眼鏡フレームを製造する工程とを含む眼鏡フレームを製造す
    る方法。
JP2020102688A 2017-07-06 2020-06-12 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム Active JP7356403B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17180008.9A EP3425447B1 (de) 2017-07-06 2017-07-06 Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung
EP17180008.9 2017-07-06
JP2019572165A JP7097917B2 (ja) 2017-07-06 2018-07-05 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019572165A Division JP7097917B2 (ja) 2017-07-06 2018-07-05 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2020160467A true JP2020160467A (ja) 2020-10-01
JP7356403B2 JP7356403B2 (ja) 2023-10-04

Family

ID=59295073

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019572165A Active JP7097917B2 (ja) 2017-07-06 2018-07-05 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム
JP2020102688A Active JP7356403B2 (ja) 2017-07-06 2020-06-12 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019572165A Active JP7097917B2 (ja) 2017-07-06 2018-07-05 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム

Country Status (12)

Country Link
US (2) US11221504B2 (ja)
EP (2) EP3425447B1 (ja)
JP (2) JP7097917B2 (ja)
KR (2) KR102193093B1 (ja)
CN (2) CN112989616A (ja)
BR (2) BR112019028003A2 (ja)
CA (1) CA3068948C (ja)
DK (1) DK3425447T3 (ja)
ES (2) ES2753645T3 (ja)
PL (1) PL3425447T3 (ja)
PT (1) PT3425447T (ja)
WO (1) WO2019008087A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK3425447T3 (da) * 2017-07-06 2019-12-02 Zeiss Carl Vision Int Gmbh Fremgangsmåde, anordning og computerprogram til virtuel tilpasning af en brillefatning
WO2019199025A1 (ko) * 2018-04-09 2019-10-17 에스케이텔레콤 주식회사 영상을 부호화/복호화하는 방법 및 그 장치
US11509937B2 (en) * 2018-04-09 2022-11-22 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding video
DE102018121742B4 (de) * 2018-09-06 2023-05-11 Fielmann Ventures GmbH Verfahren und System zur virtuellen anatomischen Anpassung einer Brille
CN110533775B (zh) * 2019-09-18 2023-04-18 广州智美科技有限公司 一种基于3d人脸的眼镜匹配方法、装置及终端
EP3809304A1 (de) 2019-10-18 2021-04-21 Carl Zeiss Vision International GmbH Computerimplementiertes verfahren zur ermittlung eines parametrischen ersatzmodells eines brillenfassungselements sowie vorrichtung und systeme, die ein solches verfahren benutzen
CN111461814B (zh) * 2020-03-11 2024-03-26 深圳市新镜介网络有限公司 虚拟眼镜的试戴方法、终端设备及存储介质
WO2021203071A1 (en) * 2020-04-02 2021-10-07 Ocularex, Inc. Real time augmented reality selection of user fitted eyeglass frames for additive manufacture
EP4264360A1 (en) * 2020-12-18 2023-10-25 Essilor International Method for determining the shape of a nose pad to be part of an ophthalmic lens
GB202100314D0 (en) * 2021-01-11 2021-02-24 Cubitts Kx Ltd Frame adjustment systems
US11704931B2 (en) * 2021-04-29 2023-07-18 Google Llc Predicting display fit and ophthalmic fit measurements using a simulator
CN113609667B (zh) * 2021-07-30 2024-03-15 深圳市创想三维科技股份有限公司 模型布局方法、装置、计算机设备和存储介质
EP4227732A1 (en) 2022-02-14 2023-08-16 Carl Zeiss Vision International GmbH Method for head image recording and corresponding mobile device
EP4227903A1 (en) 2022-02-14 2023-08-16 Carl Zeiss Vision International GmbH Method for head image registration and head model generation and corresponding devices
CN115308935A (zh) * 2022-08-17 2022-11-08 珠海赛纳视博科技有限公司 眼镜建模方法及眼镜

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5576778A (en) * 1993-12-15 1996-11-19 Paris Miki Inc. Design system for designing shapes of eyeglasses
WO2001088654A2 (en) * 2000-05-18 2001-11-22 Visionix Ltd. Spectacles fitting system and fitting methods
WO2003081536A1 (en) * 2002-03-26 2003-10-02 So-Woon Kim System and method for 3-dimension simulation of glasses
US20130088490A1 (en) * 2011-04-04 2013-04-11 Aaron Rasmussen Method for eyewear fitting, recommendation, and customization using collision detection
WO2013177456A1 (en) * 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for adjusting a virtual try-on
US20150243015A1 (en) * 2012-09-07 2015-08-27 Tipheret Method and device for preparing a spectacle frame
US20160246078A1 (en) * 2015-02-23 2016-08-25 Fittingbox Process and method for real-time physically accurate and realistic-looking glasses try-on
US20160299360A1 (en) * 2015-04-10 2016-10-13 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses
US20160321412A1 (en) * 2015-05-03 2016-11-03 Raymond Basri Cost, Quality and Distance Based Method and System for Health Care Referrals
US20160327811A1 (en) * 2014-01-02 2016-11-10 Essilor International (Compagnie Generale D'optique) Method for fitting an actual predetermined glasses frame for the use thereof by a given wearer
JP2016537716A (ja) * 2013-08-22 2016-12-01 ビスポーク, インコーポレイテッド カスタム製品を創作するための方法及びシステム
US20160360970A1 (en) * 2015-06-14 2016-12-15 Facense Ltd. Wearable device for taking thermal and visual measurements from fixed relative positions
JP2020522076A (ja) * 2017-06-01 2020-07-27 カール ツァイス ヴィジョン インターナショナル ゲーエムベーハー 眼鏡フレームを仮想的に調整するための方法、装置、及びコンピュータプログラム
JP2020525844A (ja) * 2017-07-06 2020-08-27 カール ツァイス ヴィジョン インターナショナル ゲーエムベーハー 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2812506B1 (fr) 2000-07-25 2002-12-20 Canon Kk Procede et dispositif d'alerte lors du decodage progressif d'une image numerique codee avec une region d'interet
US6792401B1 (en) * 2000-10-31 2004-09-14 Diamond Visionics Company Internet-based modeling kiosk and method for fitting and selling prescription eyeglasses
DE10216824B4 (de) 2002-04-16 2006-03-02 Thomas Doro Verfahren und Vorrichtung zum Konstruieren einer Maßbrille
JP4232166B2 (ja) 2006-01-31 2009-03-04 株式会社アイメトリクス・ジャパン 眼鏡装着シミュレーション方法及び装置
ES2829678T3 (es) * 2007-12-28 2021-06-01 Essilor Int Método para calcular un sistema óptico según una montura para gafas dada
EP2486443B1 (en) * 2009-10-07 2017-12-06 Essilor International (Compagnie Générale D'Optique) A lens and optical function determining method
FR3016051B1 (fr) 2014-01-02 2017-06-16 Essilor Int Procede de determination d'au moins un parametre geometrique d'une monture personnalisee de lunettes et procede de determination de la monture personnalisee associe
FR3016052B1 (fr) 2014-01-02 2018-03-30 Essilor International Procede de determination d'une definition geometrique d'un equipement optique personnalise
US20150277155A1 (en) 2014-03-31 2015-10-01 New Eye London Ltd. Customized eyewear
US20150293382A1 (en) 2014-04-09 2015-10-15 Pro Fit Optix, Inc. Method and System for Virtual Try-On and Measurement
CN208569223U (zh) 2015-04-30 2019-03-01 奥克利有限公司 三维取向的校正眼镜
ES2604806B1 (es) 2016-03-03 2018-07-25 Horizons Optical S.L.U. Procedimiento de pedido de gafas y procedimientos de fabricación y suministro y dispositivo correspondientes
EP3354190B1 (de) 2017-01-27 2018-12-05 Carl Zeiss Vision International GmbH Computerimplementiertes verfahren zur detektion eines hornhautscheitels
EP3355100A1 (de) 2017-01-27 2018-08-01 Carl Zeiss Vision International GmbH Vorrichtung zur bestimmung von zentrierparametern für die brillenanpassung

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5576778A (en) * 1993-12-15 1996-11-19 Paris Miki Inc. Design system for designing shapes of eyeglasses
WO2001088654A2 (en) * 2000-05-18 2001-11-22 Visionix Ltd. Spectacles fitting system and fitting methods
US20030123026A1 (en) * 2000-05-18 2003-07-03 Marc Abitbol Spectacles fitting system and fitting methods useful therein
WO2003081536A1 (en) * 2002-03-26 2003-10-02 So-Woon Kim System and method for 3-dimension simulation of glasses
US20130088490A1 (en) * 2011-04-04 2013-04-11 Aaron Rasmussen Method for eyewear fitting, recommendation, and customization using collision detection
WO2013177456A1 (en) * 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for adjusting a virtual try-on
US20130321412A1 (en) * 2012-05-23 2013-12-05 1-800 Contacts, Inc. Systems and methods for adjusting a virtual try-on
US20150243015A1 (en) * 2012-09-07 2015-08-27 Tipheret Method and device for preparing a spectacle frame
JP2016537716A (ja) * 2013-08-22 2016-12-01 ビスポーク, インコーポレイテッド カスタム製品を創作するための方法及びシステム
US20160327811A1 (en) * 2014-01-02 2016-11-10 Essilor International (Compagnie Generale D'optique) Method for fitting an actual predetermined glasses frame for the use thereof by a given wearer
US20160246078A1 (en) * 2015-02-23 2016-08-25 Fittingbox Process and method for real-time physically accurate and realistic-looking glasses try-on
US20160299360A1 (en) * 2015-04-10 2016-10-13 Bespoke, Inc. Systems and methods for creating eyewear with multi-focal lenses
US20160321412A1 (en) * 2015-05-03 2016-11-03 Raymond Basri Cost, Quality and Distance Based Method and System for Health Care Referrals
US20160360970A1 (en) * 2015-06-14 2016-12-15 Facense Ltd. Wearable device for taking thermal and visual measurements from fixed relative positions
JP2020522076A (ja) * 2017-06-01 2020-07-27 カール ツァイス ヴィジョン インターナショナル ゲーエムベーハー 眼鏡フレームを仮想的に調整するための方法、装置、及びコンピュータプログラム
JP2020525844A (ja) * 2017-07-06 2020-08-27 カール ツァイス ヴィジョン インターナショナル ゲーエムベーハー 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム

Also Published As

Publication number Publication date
US20200142224A1 (en) 2020-05-07
US11215850B2 (en) 2022-01-04
US20200319482A1 (en) 2020-10-08
JP2020525844A (ja) 2020-08-27
EP3642670A1 (de) 2020-04-29
PL3425447T3 (pl) 2020-03-31
BR112019028003A2 (pt) 2020-07-07
KR102193093B1 (ko) 2020-12-21
ES2753645T3 (es) 2020-04-13
DK3425447T3 (da) 2019-12-02
US11221504B2 (en) 2022-01-11
KR20200084058A (ko) 2020-07-09
EP3642670B1 (de) 2020-10-14
JP7356403B2 (ja) 2023-10-04
EP3425447B1 (de) 2019-09-11
CN111033363A (zh) 2020-04-17
CN112989616A (zh) 2021-06-18
PT3425447T (pt) 2019-12-05
CA3068948C (en) 2021-03-23
KR102334280B1 (ko) 2021-12-03
KR20200022499A (ko) 2020-03-03
ES2841827T3 (es) 2021-07-09
JP7097917B2 (ja) 2022-07-08
WO2019008087A1 (de) 2019-01-10
BR122020012139A2 (pt) 2020-10-27
CA3068948A1 (en) 2019-01-10
EP3425447A1 (de) 2019-01-09

Similar Documents

Publication Publication Date Title
JP7356403B2 (ja) 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム
JP6840889B2 (ja) 眼鏡フレームの仮想適合化のための方法、装置及びコンピュータプログラム
US11262597B2 (en) Method, device, and computer program for virtually adjusting a spectacle frame
CN114730101B (zh) 使用面部特征的3d扫描来调整库存眼镜框架的系统和方法
US10890784B2 (en) Methods, devices, and computer program for determining a near-vision point

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200616

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200616

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211102

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220510

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220510

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220517

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220524

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220715

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220726

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221213

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230405

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20230411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230922

R150 Certificate of patent or registration of utility model

Ref document number: 7356403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150