JP2011060100A - Eyeglass fitting simulation system, eyeglass fitting simulation method and program - Google Patents
Eyeglass fitting simulation system, eyeglass fitting simulation method and program Download PDFInfo
- Publication number
- JP2011060100A JP2011060100A JP2009210575A JP2009210575A JP2011060100A JP 2011060100 A JP2011060100 A JP 2011060100A JP 2009210575 A JP2009210575 A JP 2009210575A JP 2009210575 A JP2009210575 A JP 2009210575A JP 2011060100 A JP2011060100 A JP 2011060100A
- Authority
- JP
- Japan
- Prior art keywords
- shape model
- spectacle frame
- face
- face shape
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000004088 simulation Methods 0.000 title claims abstract description 33
- 239000013598 vector Substances 0.000 claims description 34
- 239000011521 glass Substances 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 230000008569 process Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 22
- 238000005452 bending Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、眼鏡のフィッティングシミュレーションシステム及び眼鏡のフィッティングシミュレーション方法及びプログラムに関する。 The present invention relates to an eyeglass fitting simulation system, an eyeglass fitting simulation method, and a program.
従来から、個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデリングシステムが知られている（例えば、特許文献１参照）。また、眼鏡フレームの形状データと眼鏡装用者の顔画像データを画面に表示し、画面上において、フレーム種類の変更、パーツの変更、パーツ位置の変更を行えるようにした眼鏡のオーダーメイドシステムが知られている（例えば、特許文献２参照）。 Conventionally, there has been a face shape modeling system that extracts feature points from a plurality of individual face images and generates a personal face shape model by deforming a standard face shape model based on the three-dimensional position information of the extracted feature points. It is known (see, for example, Patent Document 1). In addition, the eyeglass frame shape data and eyeglasses wearer's face image data are displayed on the screen, and on the screen, a custom-made eyeglass system that can change the frame type, change the part, and change the part position is known. (For example, refer to Patent Document 2).
しかしながら、従来の眼鏡のオーダーメイドシステムは、眼鏡フレームの各パーツの種類や取り付け位置を眼鏡装用者の好みに合わせて決定するものであり、眼鏡フレームが眼鏡装用者の顔にフィットするようにフレームや鼻パッド等を調整する作業までをシミュレートするものではなかった。 However, the conventional bespoke system for spectacles determines the type and mounting position of each part of the spectacle frame according to the spectacle wearer's preference, and the spectacle frame fits the spectacle wearer's face. It did not simulate the work of adjusting the nose pad and the nose pad.
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、眼鏡フレームが個人の顔にフィットするように調整する作業をもシミュレートすることが可能な眼鏡のフィッティングシミュレーションシステム、眼鏡のフィッティングシミュレーション方法及びプログラムを提供することにある。 The present invention has been made in view of the above-described problems, and an object of the present invention is to provide an eyeglass that can simulate an operation of adjusting an eyeglass frame to fit a person's face. To provide a fitting simulation system, a fitting simulation method for eyeglasses, and a program.
（１）本発明に係る眼鏡のフィッティングシミュレーションシステムは、
標準顔形状モデルと、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルとを記憶する記憶部と、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、
生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも１つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部とを含むことを特徴とする。
(1) A glasses fitting simulation system according to the present invention includes:
A storage unit for storing a standard face shape model and a shape model of a spectacle frame composed of a shape model of a plurality of parts;
Extracting a feature point from a plurality of individual face images, and based on the three-dimensional position information of the extracted feature point, deforming the standard face shape model to generate an individual face shape model; and
An alignment unit for aligning the shape model of the spectacle frame with the generated face shape model;
And a spectacle frame shape model deforming unit configured to deform a shape model of at least one component constituting the shape model of the spectacle frame subjected to the alignment in accordance with the face shape model.
また本発明は、上記各部としてコンピュータを機能させるためのプログラムに関する。 The present invention also relates to a program for causing a computer to function as each of the above units.
本発明によれば、眼鏡フレームが個人の顔にフィットするように眼鏡フレームの部品を調整する作業をシミュレートすることができる。 According to the present invention, it is possible to simulate the operation of adjusting the components of the spectacle frame so that the spectacle frame fits the individual's face.
（２）また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成する鼻パッドの形状モデルから前記顔形状モデルまでの距離に基づいて、前記眼鏡フレームの形状モデルを構成するクリングスの形状モデルを変形することで、前記鼻パッドの形状モデルを前記顔形状モデルの鼻にフィットさせるようにしてもよい。
(2) In the eyeglass fitting simulation system and program according to the present invention,
The spectacle frame shape model deforming unit is
Based on the distance from the shape model of the nose pad constituting the shape model of the spectacle frame to the face shape model, the shape model of the nose pad is deformed by deforming the shape model of Krings constituting the shape model of the spectacle frame. The model may be fitted to the nose of the face shape model.
本発明によれば、眼鏡フレームの鼻パッドが個人の鼻にフィットするように調整する作業をシミュレートすることができる。 According to the present invention, it is possible to simulate the operation of adjusting the nose pad of the spectacle frame to fit the individual's nose.
（３）また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記鼻パッドの形状モデルの接触面の法線と、前記顔形状モデルにおける前記鼻バッドの形状モデルが接触する面の法線の逆ベクトルとのなす角度αが所定の閾値を超えている場合に、前記鼻パッドの形状モデルを角度αだけ回転させるようにしてもよい。
(3) In the eyeglass fitting simulation system and program according to the present invention,
The spectacle frame shape model deforming unit is
When the angle α formed by the normal of the contact surface of the shape model of the nose pad and the inverse vector of the normal of the surface of the face shape model that contacts the shape model of the nose pad exceeds a predetermined threshold value The shape model of the nose pad may be rotated by an angle α.
本発明によれば、眼鏡フレームの鼻パッドが個人の鼻にフィットするように調整する作業をシミュレートすることができる。 According to the present invention, it is possible to simulate the operation of adjusting the nose pad of the spectacle frame to fit the individual's nose.
（４）また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するヨロイの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせるようにしてもよい。
(4) In the glasses fitting simulation system and program according to the present invention,
The spectacle frame shape model deforming unit is
The shape model of the eyelid frame constituting the shape model of the spectacle frame may be modified so that the modern shape model constituting the shape model of the spectacle frame is put on the ear of the face shape model. .
本発明によれば、眼鏡フレームのモダンが個人の耳に掛かるように調整する作業をシミュレートすることができる。 According to the present invention, it is possible to simulate the work of adjusting the spectacle frame so that the modernity of the spectacle frame is applied to an individual's ear.
（５）また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するレンズの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせるようにしてもよい。
(5) In the eyeglass fitting simulation system and program according to the present invention,
The spectacle frame shape model deforming unit is
The shape model of the lens constituting the shape model of the spectacle frame may be modified so that the modern shape model constituting the shape model of the spectacle frame is put on the ear of the face shape model. .
本発明によれば、眼鏡フレームのモダンが個人の耳に掛かるように調整する作業をシミュレートすることができる。 According to the present invention, it is possible to simulate the work of adjusting the spectacle frame so that the modernity of the spectacle frame is applied to an individual's ear.
（６）また、本発明に係る眼鏡のフィッティングシミュレーションシステム及びプログラムでは、
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを、前記顔形状モデルの耳裏の付け根に沿って曲げるようにしてもよい。
(6) In the glasses fitting simulation system and program according to the present invention,
The spectacle frame shape model deforming unit is
A modern shape model constituting the shape model of the eyeglass frame may be bent along the base of the back of the face shape model.
本発明によれば、眼鏡フレームのモダンが個人の耳裏の付け根に沿うように調整する作業をシミュレートすることができる。 According to the present invention, it is possible to simulate an operation of adjusting the modernity of the spectacle frame so as to follow the root of the back of the individual.
（７）本発明に係る眼鏡のフィッティングシミュレーション方法は、
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、記憶部に記憶された標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成手順と、
生成された前記顔形状モデルに対して、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルの位置を合わせる位置合わせ手順と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも１つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形手順とを含むことを特徴とする。
(7) A fitting simulation method for spectacles according to the present invention includes:
A face shape that extracts feature points from a plurality of individual face images and generates a personal face shape model by modifying the standard face shape model stored in the storage unit based on the three-dimensional position information of the extracted feature points Model generation procedure,
An alignment procedure for aligning the position of the shape model of the spectacle frame composed of the shape models of a plurality of parts with respect to the generated face shape model;
A spectacle frame shape model deformation procedure for deforming a shape model of at least one component constituting the shape model of the spectacle frame that has been aligned according to the face shape model.
本発明によれば、眼鏡フレームが個人の顔にフィットするように眼鏡フレームの部品を調整する作業をシミュレートすることができる。 According to the present invention, it is possible to simulate the operation of adjusting the components of the spectacle frame so that the spectacle frame fits the individual's face.
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。 Hereinafter, this embodiment will be described. In addition, this embodiment demonstrated below does not unduly limit the content of this invention described in the claim. In addition, all the configurations described in the present embodiment are not necessarily essential configuration requirements of the present invention.
１．装置の構成
図１に本実施形態の眼鏡のフィッティングシミュレーションシステムの機能ブロック図の一例を示す。なお本実施形態のフィッティングシミュレーションシステムは図１の構成要素（各部）の一部を省略した構成としてもよい。
1. Configuration of Apparatus FIG. 1 shows an example of a functional block diagram of the eyeglass fitting simulation system of this embodiment. Note that the fitting simulation system of this embodiment may have a configuration in which some of the components (each unit) in FIG. 1 are omitted.
記憶部１７０は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭ、ＶＲＡＭなどにより実現できる。そして、本実施形態の記憶部１７０は、ワーク領域として使用される主記憶部１７２と、個人の複数の顔画像が記憶される顔画像記憶部１７４と、標準顔形状モデルのモデルデータが記憶される標準顔形状モデル記憶部１７６と、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルのモデルデータが記憶される眼鏡フレーム形状モデル記憶部１７８と、最終的な表示画像等が記憶されるフレームバッファ１７９とを含む。なお、顔画像記憶部１７４に記憶される個人の複数の顔画像は、個人の顔をデジタルカメラにより異なる撮像方向から複数枚撮像した画像であり、眼鏡のフィッティングシミュレーションシステムに接続された撮像部（デジタルカメラ）から入力されたものでもよいし、外部の情報処理装置から通信部１９６を介して受信したものでもよい。なお、本実施形態では、正面と左右側面の３枚の顔画像が顔画像記憶部１７４に記憶される。 The storage unit 170 serves as a work area for the processing unit 100, the communication unit 196, and the like, and its function can be realized by a RAM, a VRAM, or the like. The storage unit 170 of the present embodiment stores a main storage unit 172 used as a work area, a face image storage unit 174 that stores a plurality of individual face images, and model data of a standard face shape model. A standard face shape model storage unit 176, a spectacle frame shape model storage unit 178 for storing model data of a spectacle frame shape model composed of a plurality of part shape models, a final display image, and the like. Frame buffer 179. The plurality of individual face images stored in the face image storage unit 174 are images obtained by capturing a plurality of individual faces from different imaging directions using a digital camera, and are connected to an eyeglass fitting simulation system ( The information may be input from a digital camera) or received from an external information processing apparatus via the communication unit 196. In the present embodiment, three face images of the front and left and right side surfaces are stored in the face image storage unit 174.
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク（ＭＯ）、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。情報記憶媒体１８０には、本実施形態の各部としてコンピュータを機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）を記憶することができる。 The information storage medium 180 (computer-readable medium) stores programs, data, and the like, and functions as an optical disk (CD, DVD), magneto-optical disk (MO), magnetic disk, hard disk, and magnetic tape. Alternatively, it can be realized by a memory (ROM). The processing unit 100 performs various processes of the present embodiment based on a program (data) stored in the information storage medium 180. The information storage medium 180 can store a program for causing a computer to function as each unit of the present embodiment (a program for causing a computer to execute processing of each unit).
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＣＲＴ、ＬＣＤ、或いはタッチパネル型ディスプレイなどにより実現できる。 The display unit 190 outputs an image generated according to the present embodiment, and its function can be realized by a CRT, LCD, touch panel display, or the like.
通信部１９６は、インターネット等のネットワークを介して外部（ＰＣ、携帯電話等の情報処理装置やサーバ）との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ＡＳＩＣなどのハードウェアや、プログラムなどにより実現できる。 The communication unit 196 performs various controls for communicating with the outside (PC, mobile phone or other information processing apparatus or server) via a network such as the Internet, and functions as various processors or This can be realized by hardware such as a communication ASIC or a program.
処理部１００（プロセッサ）は、モデル生成処理、モデル変形処理、描画処理などの処理を行う。この処理部１００は主記憶部１７２をワーク領域として各種処理を行う。処理部１００の機能は各種プロセッサ（ＣＰＵ、ＤＳＰ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムにより実現できる。 The processing unit 100 (processor) performs processing such as model generation processing, model deformation processing, and drawing processing. The processing unit 100 performs various processes using the main storage unit 172 as a work area. The functions of the processing unit 100 can be realized by hardware such as various processors (CPU, DSP, etc.), ASIC (gate array, etc.), and programs.
処理部１００は、顔形状モデル生成部１１０、位置合わせ部１１２、眼鏡フレーム形状モデル変形部１１４、描画部１２０を含む。 The processing unit 100 includes a face shape model generation unit 110, an alignment unit 112, a spectacle frame shape model deformation unit 114, and a drawing unit 120.
顔形状モデル生成部１１０は、まず、顔画像記憶部１７４に記憶された個人の複数の顔画像のそれぞれについて複数の特徴点を抽出する。ここで、特徴点とは、顔形状の個人差を表す形状の特徴点（例えば、鼻の最突出点や目尻）をいう。特徴点の抽出は、例えば、任意の輝度を閾値として２値化した顔画像を走査して、各特徴点の定義に合う点を判定することによって行うことができる。次に、顔形状モデル生成部１１０は、撮像方向の違う各顔画像の特徴点の対応関係から、抽出された特徴点の３次元位置情報を算出する。 The face shape model generation unit 110 first extracts a plurality of feature points for each of a plurality of individual face images stored in the face image storage unit 174. Here, the feature point refers to a feature point of a shape representing individual differences in face shape (for example, the most protruding point of the nose or the corner of the eye). Extraction of feature points can be performed, for example, by scanning a face image binarized with an arbitrary luminance as a threshold and determining points that meet the definition of each feature point. Next, the face shape model generation unit 110 calculates the three-dimensional position information of the extracted feature points from the correspondence between the feature points of the face images with different imaging directions.
次に、顔形状モデル生成部１１０は、算出された特徴点の３次元位置情報に基づき、標準顔形状モデル記憶部１７６に記憶された標準顔形状モデルを変形して個人の顔形状モデルを生成する。標準顔形状モデル記憶部１７６に記憶された標準顔形状モデルは、ポリゴンメッシュ、或いは自由曲面で構成された幾何学形状と、顔画像から抽出する特徴点（第２の特徴点）と一対一で対応する特徴点（第１の特徴点）から構成される。この標準顔形状モデルの第１の特徴点を、算出された第２の特徴点の３次元位置情報に合うように移動し、且つ第１の特徴点以外の幾何学形状部分を第１の特徴点の移動を補間するように変形する。この手法により、特別な測定装置を必要とせずに個人の顔形状モデルを容易に且つ短時間で生成することができる。 Next, the face shape model generation unit 110 generates a personal face shape model by modifying the standard face shape model stored in the standard face shape model storage unit 176 based on the calculated three-dimensional position information of the feature points. To do. The standard face shape model stored in the standard face shape model storage unit 176 has a one-to-one correspondence with a geometric shape constituted by a polygon mesh or a free-form surface and a feature point (second feature point) extracted from the face image. It consists of corresponding feature points (first feature points). The first feature point of the standard face shape model is moved so as to match the calculated 3D position information of the second feature point, and the geometric shape portion other than the first feature point is moved to the first feature point. Transform to interpolate the movement of points. By this method, an individual face shape model can be generated easily and in a short time without requiring a special measuring device.
位置合わせ部１１２は、顔形状モデル生成部１１０によって生成された個人の顔形状モデルの座標系に、眼鏡フレーム形状モデル記憶部１７８に記憶された眼鏡フレームの形状モデルを配置し、個人の顔形状モデルに対して眼鏡フレームの形状モデルの位置を合わせる処理を行う。例えば、眼鏡フレームの形状モデルを構成するレンズと、顔形状モデルの目との位置関係等に基づいて、眼鏡フレームの形状モデルの位置合わせを行う。 The alignment unit 112 arranges the shape model of the eyeglass frame stored in the eyeglass frame shape model storage unit 178 in the coordinate system of the face shape model of the individual generated by the face shape model generation unit 110, and the face shape of the individual A process for aligning the shape model of the spectacle frame with the model is performed. For example, the spectacle frame shape model is aligned based on the positional relationship between the lenses constituting the spectacle frame shape model and the eyes of the face shape model.
眼鏡フレーム形状モデル変形部１１４は、位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも１つの部品の形状モデルを、前記顔形状モデルに合わせて変形する処理を行う。 The eyeglass frame shape model deforming unit 114 performs a process of deforming the shape model of at least one component constituting the shape model of the eyeglass frame that has been aligned according to the face shape model.
また、眼鏡フレーム形状モデル変形部１１４は、眼鏡フレームの形状モデルを構成する鼻パッドの形状モデルから顔形状モデルまでの距離に基づいて、眼鏡フレームの形状モデルを構成するクリングスの形状モデルを変形することで、前記鼻パッドの形状モデルを前記顔形状モデルの鼻にフィットさせるようにしてもよい。 The eyeglass frame shape model deforming unit 114 deforms the Krings shape model constituting the eyeglass frame shape model based on the distance from the shape model of the nose pad constituting the shape model of the eyeglass frame to the face shape model. Thus, the shape model of the nose pad may be fitted to the nose of the face shape model.
また、眼鏡フレーム形状モデル変形部１１４は、前記クリングスの形状モデルの変形後に、前記鼻パッドの形状モデルの接触面の法線と、顔形状モデルにおける前記鼻バッドの形状モデルが接触する面の法線の逆ベクトルとのなす角度αが所定の閾値を超えている場合に、前記鼻パッドの形状モデルを角度αだけ回転させるようにしてもよい。 Further, the eyeglass frame shape model deforming unit 114 is configured to calculate a normal of the contact surface of the shape model of the nose pad and a surface contact surface of the shape model of the nose pad in the face shape model after the deformation of the shape model of the Krings. When the angle α formed with the inverse vector of the line exceeds a predetermined threshold, the shape model of the nose pad may be rotated by the angle α.
また、眼鏡フレーム形状モデル変形部１１４は、眼鏡フレームの形状モデルを構成するヨロイの形状モデルを変形することで、眼鏡フレームの形状モデルを構成するモダンの形状モデルを顔形状モデルの耳に掛かった状態にさせるようにしてもよい。 Further, the spectacle frame shape model deforming unit 114 deforms the shape model of the Yoroi that constitutes the shape model of the spectacle frame, so that the modern shape model constituting the shape model of the spectacle frame is applied to the ear of the face shape model. You may make it be in a state.
また、眼鏡フレーム形状モデル変形部１１４は、眼鏡フレームの形状モデルを構成するレンズの形状モデルを変形することで、眼鏡フレームの形状モデルを構成するモダンの形状モデルを顔形状モデルの耳に掛かった状態にさせるようにしてもよい。 Further, the spectacle frame shape model deforming unit 114 deforms the shape model of the lens constituting the spectacle frame shape model, so that the modern shape model constituting the spectacle frame shape model is applied to the ear of the face shape model. You may make it be in a state.
また、眼鏡フレーム形状モデル変形部１１４は、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを、前記顔形状モデルの耳裏の付け根に沿って曲げるようにしてもよい。 Further, the spectacle frame shape model deforming unit 114 may bend a modern shape model constituting the spectacle frame shape model along the root of the back of the face shape model.
描画部１２０は、処理部１００で行われる種々の処理の結果に基づいて描画処理を行い、これにより顔形状モデルと、顔形状モデルにフィットさせた眼鏡フレームの形状モデルとを含む画像であって、オブジェクト空間（座標系）の所与の視点（仮想カメラ）から見える画像を生成し、表示部１９０に出力する。 The drawing unit 120 is an image including a face shape model and a spectacle frame shape model fitted to the face shape model by performing drawing processing based on the results of various processes performed by the processing unit 100. An image that can be seen from a given viewpoint (virtual camera) in the object space (coordinate system) is generated and output to the display unit 190.
また本実施形態のフィッティングシミュレーションシステムは、眼鏡フレーム形状モデル変形部１１４により変形された眼鏡フレーム形状モデルの形状データ或いは変形データに基づいて、実物の眼鏡フレームを構成する部品を変形する加工機を含むようにしてもよい。 Further, the fitting simulation system of the present embodiment includes a processing machine that deforms parts constituting an actual spectacle frame based on the shape data or deformation data of the spectacle frame shape model deformed by the spectacle frame shape model deforming unit 114. You may make it.
２．本実施形態の手法
次に本実施形態の眼鏡のフィッティングシミュレーション手法について図面を用いて説明する。
2. Next, a method for fitting simulation of glasses according to this embodiment will be described with reference to the drawings.
２−１．眼鏡フレームの形状モデルと顔形状モデル
図２に、本実施形態の眼鏡のフィッティングシミュレーションシステムで用いられる眼鏡フレームの形状モデルの一例を示す。眼鏡フレームをレンズ保持部分（リム）の形態によって分類すると、フルリム、ハーフリム、リムレスの３つに分けられる。図２では、リムレスタイプの眼鏡フレームを用いた例を示している。
2-1. Eyeglass Frame Shape Model and Face Shape Model FIG. 2 shows an example of the eyeglass frame shape model used in the eyeglass fitting simulation system of this embodiment. When the spectacle frame is classified according to the shape of the lens holding portion (rim), it can be divided into three types, a full rim, a half rim, and a rimless. FIG. 2 shows an example using a rimless type eyeglass frame.
図２に示す眼鏡フレームの形状モデルＧＭは、ブリッジＢＲ、クリングスＣＬ、鼻パッドＮＰ、ヨロイＹＲ、テンプルＴＭ、モダンＭＤ、レンズＬＮ、ブリッジ−レンズ固定ネジＢＮ、レンズ−ヨロイ固定ネジＹＮの各部品の形状モデルから構成される。各部品の形状モデルはポリゴンメッシュにより構成される。なお、図２では、説明の便宜上、各部品の形状モデルを分離して示しているが、実際には各部品の形状モデルは互いに結合して眼鏡フレームの形状モデルＧＭを構成している。フィッティングシミュレーションに用いる眼鏡フレームの形状モデルを複数の部品の形状モデルにより構成することにより、部品ごとに顔形状モデルに合わせて変形することができ、眼鏡フレームの形状モデルを顔形状モデルにフィットさせる処理を容易に行うことができる。 The shape model GM of the eyeglass frame shown in FIG. 2 includes parts of a bridge BR, a clings CL, a nose pad NP, a Yoroi YR, a temple TM, a modern MD, a lens LN, a bridge-lens fixing screw BN, and a lens-Yoroi fixing screw YN. It consists of a shape model. The shape model of each part is constituted by a polygon mesh. In FIG. 2, for convenience of explanation, the shape models of the components are shown separately, but in reality, the shape models of the components are coupled to each other to form the shape model GM of the eyeglass frame. By configuring the shape model of the eyeglass frame used for fitting simulation with the shape model of multiple parts, each part can be deformed according to the face shape model, and the shape model of the eyeglass frame is fitted to the face shape model Can be easily performed.
図３に、本顔形状モデル生成部１１０により生成された個人の顔形状モデルの一例を示す。図３に示す顔形状モデルＦＭも、眼鏡フレームの形状モデルＧＭと同様にポリゴンメッシュにより構成される。図３に示すように、顔形状モデルＦＭが記述される座標系は、法医学復顔法の前頭面、正中矢状面、耳眼水平面をそれぞれＸＹ平面、ＹＺ平面、ＸＺ平面とし、この３つの平面が交差する点を原点ＳＰとする座標系である。 FIG. 3 shows an example of an individual face shape model generated by the face shape model generation unit 110. The face shape model FM shown in FIG. 3 is also composed of a polygon mesh, like the eyeglass frame shape model GM. As shown in FIG. 3, the coordinate system in which the face shape model FM is described includes the frontal plane, the median sagittal plane, and the ear-ophthalmic horizontal plane of the forensic face restoration method as the XY plane, the YZ plane, and the XZ plane, respectively. This is a coordinate system in which the point where the planes intersect is the origin SP.
２−２．眼鏡フレームの形状モデルの位置合わせ
本実施形態では、眼鏡のフィッティングシミュレーションの前処理として、図３に示す座標系に眼鏡フレームの形状モデルＧＭを配置し、顔形状モデルＦＭに対して眼鏡フレームの形状モデルＧＭの位置を合わせる処理を行う。
2-2. Alignment of Shape Model of Eyeglass Frame In this embodiment, as a pre-processing of eyeglass fitting simulation, the shape model GM of the eyeglass frame is arranged in the coordinate system shown in FIG. 3, and the shape of the eyeglass frame is compared with the face shape model FM. A process for aligning the position of the model GM is performed.
まず、眼鏡フレームの形状モデルＧＭの横方向の中心を、図３に示す座標系のＹＺ平面に合わせて、眼鏡フレームの形状モデルＧＭのＸ位置を決定する。次に、眼鏡フレームの形状モデルＧＭを構成するレンズの形状モデルＬＮが顔形状モデルＦＭの側面から見て１０°前傾した状態になるように眼鏡フレームの形状モデルＧＭを回転させる。次に、レンズの形状モデルＬＮの縦幅の中間位置のＹ値（左右の平均値）を求め、そのＹ値にアイポイント高さ値（一般に２ｍｍ）を加えた値が顔形状モデルＦＭの瞳のＹ値（左右の平均値）となるように、眼鏡フレームの形状モデルＧＭのＹ位置を決定する。最後に、レンズの形状モデルＬＮの裏面と顔形状モデルＦＭの瞳間のＺ軸方向の距離（頂点間距離）が所定の距離（一般に１２ｍｍ）となるように、眼鏡フレームの形状モデルＧＭのＺ位置を決定する。 First, the X position of the spectacle frame shape model GM is determined by aligning the center in the horizontal direction of the spectacle frame shape model GM with the YZ plane of the coordinate system shown in FIG. Next, the spectacle frame shape model GM is rotated so that the lens shape model LN constituting the spectacle frame shape model GM is tilted forward by 10 ° when viewed from the side of the face shape model FM. Next, the Y value (average value of left and right) of the middle position of the lens shape model LN in the vertical width is obtained, and the value obtained by adding the eye point height value (generally 2 mm) to the Y value is the pupil of the face shape model FM. The Y position of the shape model GM of the eyeglass frame is determined so as to be the Y value (average value of left and right). Finally, the Z of the eyeglass frame shape model GM is set so that the distance in the Z-axis direction (distance between vertices) between the back surface of the lens shape model LN and the pupil of the face shape model FM is a predetermined distance (generally 12 mm). Determine the position.
２−３．クリングスの変形と鼻パッドの回転
眼鏡フレームの形状モデルＧＭの位置合わせを行っても、鼻パッドの形状モデルＮＰの位置と傾きが顔形状モデルＦＭの鼻に合っていなければ、鼻パッドの形状モデルＮＰが鼻に対して浮いたり、めり込んだりする。
2-3. Deformation of Klings and rotation of nose pad If the position and inclination of the shape model NP of the nose pad do not match the nose of the face shape model FM even if the shape model GM of the eyeglass frame is aligned, the shape model of the nose pad NP floats or sinks into the nose.
そこで、本実施形態の手法では、位置合わせが行われた眼鏡フレームの形状モデルＧＭを構成するクリングスの形状モデルＣＬを変形し、且つ鼻パッドの形状モデルＮＰの傾きを変えることで、鼻パッドの形状モデルＮＰを顔形状モデルＦＭの鼻にフィットさせる処理を行う。以下、鼻パッドの形状モデルＮＰを顔形状モデルＦＭの鼻にフィットさせる処理について、図４のフローチャートと、図５、図６（Ａ）、図６（Ｂ）を用いて説明する。 Therefore, in the method of the present embodiment, the shape model CL of the Krings that forms the shape model GM of the eyeglass frame that has been aligned is deformed, and the inclination of the shape model NP of the nose pad is changed, whereby the nose pad shape is changed. A process of fitting the shape model NP to the nose of the face shape model FM is performed. Hereinafter, processing for fitting the shape model NP of the nose pad to the nose of the face shape model FM will be described with reference to the flowchart of FIG. 4 and FIGS. 5, 6A, and 6B.
まず、鼻パッドの形状モデルＮＰの接触面（鼻に接触する面）におけるポリゴンを構成する全ての頂点Ｐｉ(i=1,2‥)を求める（図４のステップＳ１０）。次に、頂点Ｐｉを通り、Ｚ軸に平行な直線が顔形状モデルＦＭと交わる点Ｑｉ(i=1,2‥)を求める（ステップＳ１２）。次に、頂点Ｐｉの平均座標値をＰとし、点Ｑｉの平均座標値をＱとしたとき、ＰとＱ間の距離Ｄｚ（図５参照）を求める（ステップＳ１４）。 First, all vertices P i (i = 1, 2,...) Constituting the polygon on the contact surface (surface contacting the nose) of the nose pad shape model NP are obtained (step S10 in FIG. 4). Next, a point Q i (i = 1, 2,...) Where a straight line passing through the vertex P i and parallel to the Z axis intersects the face shape model FM is obtained (step S12). Next, when the average coordinate value of the vertex P i is P and the average coordinate value of the point Q i is Q, a distance Dz (see FIG. 5) between P and Q is obtained (step S14).
次に、図６（Ａ）に示すクリングスの形状モデルＣＬの曲げ回転中心点Ｏから先端部分（クリングスの形状モデルＣＬに繋がる鼻パッドの形状モデルＮＰを含む）を、点Ｏを通りＸ軸に平行な軸回りに回転させた場合に、鼻パッドの形状モデルＮＰの接触面が顔形状モデルＦＭに接触するときの角度λｘを求め（ステップＳ１６）、クリングスの形状モデルＣＬの点Ｏから先端部分を角度λｘだけ回転させる（ステップＳ１８）。ここで、Ｐの座標値を(Px,Py,Pz)とすると、角度λｘは、次式により求めることができる。但し、ここでは点Ｏの座標値を(0,0,0)として計算している。 Next, from the bending rotation center point O of the Krings shape model CL shown in FIG. 6 (A), the tip portion (including the shape model NP of the nose pad connected to the Krings shape model CL) passes through the point O along the X axis. When rotated about a parallel axis, an angle λ x when the contact surface of the shape model NP of the nose pad contacts the face shape model FM is obtained (step S16), and the tip from the point O of the shape model CL of the Krings is obtained. The part is rotated by an angle λ x (step S18). Here, assuming that the coordinate value of P is (P x , P y , P z ), the angle λ x can be obtained by the following equation. However, here, the coordinate value of the point O is calculated as (0,0,0).
次に、図５に示すベクトルＭとベクトル−Ｎとのなす角度αをベクトルＭとベクトル−Ｎの内積から求める（ステップＳ２０）。ここで、ベクトルＭは、クリングスの形状モデルＣＬを角度λｘだけ曲げ回転させた後の、鼻パッドの形状モデルＮＰの接触面を構成する全てのポリゴンの法線を平均したベクトルである。またベクトル−Ｎは、顔形状モデルＦＭにおける鼻パッドの形状モデルＮＰの接触面が接触する部分を構成する全てのポリゴンの法線を平均したベクトルＮの逆ベクトルである。 Next, the angle α formed by the vector M and the vector −N shown in FIG. 5 is obtained from the inner product of the vector M and the vector −N (step S20). Here, the vector M, after rotating bending shape model CL of pad arms angle lambda x, is averaged vector normals of all polygons constituting the contact surface of the shape model NP of the nose pad. The vector -N is an inverse vector of the vector N obtained by averaging the normal lines of all the polygons that make up the part of the face shape model FM where the contact surface of the shape model NP of the nose pad contacts.
次に、ステップＳ２０の処理において求めた角度αが所定の閾値γ以内であるか否かを判断し（ステップＳ２２）、閾値γ以内である場合には処理を終了する。閾値γの値は実験的に定めるが、ここでは、見た目上違和感のないγ＝0.2°の値を採用する。 Next, it is determined whether or not the angle α obtained in the process of step S20 is within a predetermined threshold γ (step S22). If it is within the threshold γ, the process is terminated. The value of the threshold γ is determined experimentally, but here, a value of γ = 0.2 °, which does not seem uncomfortable in appearance, is adopted.
ステップＳ２２の処理において、角度αが所定の閾値γを超えていると判断された場合には、ベクトルＭとベクトル−Ｎの外積をベクトルＡとしたとき、鼻パッドの形状モデルＮＰが回転する点Ｃ（図６（Ｂ）参照）を通りベクトルＡに平行な軸回りに角度αだけ鼻パッドの形状モデルＮＰを回転させ（ステップＳ２４）、ステップＳ１２の処理に進む。以降、角度αが所定の閾値以内となるまでステップＳ１２からステップＳ２４までの処理を繰り返す。 In the process of step S22, when it is determined that the angle α exceeds the predetermined threshold γ, the shape model NP of the nose pad rotates when the outer product of the vector M and the vector −N is the vector A. The shape model NP of the nose pad is rotated by an angle α around an axis passing through C (see FIG. 6B) and parallel to the vector A (step S24), and the process proceeds to step S12. Thereafter, the processing from step S12 to step S24 is repeated until the angle α is within a predetermined threshold.
図７に、本実施形態の手法により、鼻パッドの形状モデルＮＰを個人の顔形状モデルＦＭの鼻にフィットさせる処理を行ったときの、顔形状モデルＦＭと眼鏡フレームの形状モデルＧＭの画像の一例を示す。図７に示すように、本実施形態の手法によれば、鼻パッドの形状モデルＮＰを様々な形状の個人の顔形状モデルＦＭにフィットさせることができる。 FIG. 7 shows images of the face shape model FM and the spectacle frame shape model GM when the process of fitting the shape model NP of the nose pad to the nose of the individual face shape model FM is performed by the method of the present embodiment. An example is shown. As shown in FIG. 7, according to the method of the present embodiment, the shape model NP of the nose pad can be fitted to the individual face shape models FM of various shapes.
２−４．ヨロイとレンズの変形
眼鏡フレームの形状モデルＧＭの横幅が顔形状モデルＦＭの横幅に合っていない場合や、モダンの形状モデルＭＤの高さ位置が顔形状モデルＦＭの耳に合っていない場合は、モダンの形状モデルＭＤが顔に対して浮いたり（図８（Ａ）参照）、めり込んだり（図８（Ｂ）参照）、耳に対して浮いたり（図８（Ｃ）参照）して、モダンの形状モデルＭＤが顔形状モデルＦＭの耳に掛からない。
2-4. Deformation of lens and lens When the horizontal width of the shape model GM of the spectacle frame does not match the width of the face shape model FM, or when the height position of the modern shape model MD does not match the ear of the face shape model FM, The modern shape model MD floats against the face (see FIG. 8 (A)), sinks (see FIG. 8 (B)), or floats against the ear (see FIG. 8 (C)). The shape model MD does not hit the ear of the face shape model FM.
そこで、本実施形態の手法では、眼鏡フレームの形状モデルＧＭを構成するヨロイの形状モデルＹＲを変形してヨロイの形状モデルＹＲの一部とテンプルの形状モデルＴＭ及びモダンの形状モデルＭＤをＸ軸に平行な軸回りに回転させ、且つレンズの形状モデルＬＮを変形して大きさを変えることで、モダンの形状モデルＭＤを顔形状モデルＦＭの耳に掛かった状態にさせる処理を行う。以下、モダンの形状モデルＭＤを顔形状モデルＦＭの耳に掛かった状態にさせる処理について、図９のフローチャートと、図１０、図１１（Ａ）、図１１（Ｂ）を用いて説明する。 Therefore, in the method of the present embodiment, the shape model YR of the Yoroi that constitutes the shape model GM of the eyeglass frame is deformed, and a part of the Yoroi shape model YR, the shape model TM of the temple, and the modern shape model MD are converted to the X axis , And the lens shape model LN is deformed to change its size, so that the modern shape model MD is put on the face shape model FM. Hereinafter, the process of setting the modern shape model MD to the face shape model FM will be described with reference to the flowchart of FIG. 9 and FIGS. 10, 11A, and 11B.
まず、図１０に示すように、モダンの形状モデルＭＤの一方の先端の点Ｓとモダンの形状モデルＭＤの中間の点Ｒとを結ぶベクトルＲＳと、モダンの形状モデルＭＤの他方の先端の点Ｔと中間の点Ｒとを結ぶベクトルＴＲとのなす角度βを、ベクトルＲＳとベクトルＴＲとの内積から求める（図９のステップ３０）。 First, as shown in FIG. 10, a vector RS that connects a point S at one end of the modern shape model MD and a point R at the middle of the modern shape model MD and a point at the other end of the modern shape model MD. An angle β formed by the vector TR connecting T and the intermediate point R is obtained from the inner product of the vector RS and the vector TR (step 30 in FIG. 9).
次に、ベクトルＲＳとベクトルＴＲとの外積をベクトルＫとしたとき、点Ｒを通りベクトルＫに平行な軸回りに角度βだけモダンの形状モデルＭＤの点Ｒから先端までを回転変形し、モダンの形状モデルＭＤを真っ直ぐに伸ばす（ステップＳ３２）。 Next, assuming that the outer product of the vector RS and the vector TR is a vector K, the point from the point R to the tip of the modern shape model MD is rotated and deformed by an angle β around an axis passing through the point R and parallel to the vector K. The shape model MD is straightly extended (step S32).
次に、図１１（Ａ）に示すヨロイの形状モデルＹＲの曲げ回転中心点Ｂから−Ｚ軸方向に位置する眼鏡部品（ヨロイの形状モデルＹＲに繋がるテンプルの形状モデルＴＭとモダンの形状モデルＭＤとを含む）を、点Ｂを通りＸ軸に平行な軸回りに回転させた場合に、モダンの形状モデルＭＤが点Ｈ’（顔形状モデルＦＭの耳におけるモダンの形状モデルＭＤが接触する点ＥとＺ値及びＹ値が一致する点）に接触するときの角度φｘを求め（ステップＳ３４）、ヨロイの形状モデルＹＲの点Ｂから−Ｚ軸方向に位置する眼鏡部品を角度φｘだけ回転させる（ステップＳ３６）。ここで、点Ｔ、点Ｓ、点Ｅの座標値をそれぞれ(Tx,Ty,Tz)、(Sx,Sy,Sz)、(Ex,Ey,Ez)とすると、角度φｘは次式により求めることができる。 Next, the spectacle parts (the temple shape model TM connected to the armor shape model YR and the modern shape model MD) positioned in the −Z-axis direction from the bending rotation center point B of the armor shape model YR shown in FIG. Is rotated around the axis parallel to the X axis through the point B, the modern shape model MD is in contact with the point H ′ (the point where the modern shape model MD in the ear of the face shape model FM contacts) obtains an angle phi x when E and Z and Y values are in contact with points) coincide (step S34), the eyeglass parts angle phi x located in the -Z-axis direction from the point B of the shape model YR of armor Rotate (step S36). Here, assuming that the coordinate values of point T, point S, and point E are (T x , T y , T z ), (S x , S y , S z ), and (E x , E y , E z ), respectively. The angle φ x can be obtained by the following equation.
ここでは、a=mEy+nEz、b=nEy-mEz、c=nTy-mTz、m=Sy-Ty、n=Sz-Tzとし、点Ｂの座標値を(0,0,0)として計算している。 Here, a = mE y + nE z , b = nE y -mE z , c = nT y -mT z , m = S y -T y , n = S z -T z, and the coordinate value of point B is Calculated as (0,0,0).
次に、点Ｅと点Ｈ’間の距離Ｄｘ（図１１（Ｂ）参照）を求める（ステップＳ３８）。ステップＳ３６の処理により、点Ｔ及び点Ｓが角度φｘだけ回転して、それぞれT’(Tx’,Ty’,Tz’)、S’(Sx’,Sy’,Sz’)に移動したとすると、距離Ｄｘは次式により求めることができる。 Next, a distance Dx (see FIG. 11B) between the point E and the point H ′ is obtained (step S38). The process of step S36, by rotating the point T and the point S is the angle phi x, respectively T '(T x', T y ', T z'), S '(S x', S y ', S z If it moves to '), the distance Dx can be calculated | required by following Formula.
次に、レンズの形状モデルＬＺの横幅を所定単位だけ変える。通常レンズの加工は１ｍｍ単位であるので、ここでは１ｍｍだけ横幅を変える（ステップＳ４０）。なお、距離Ｄｘが正の値である場合には、横幅を所定単位だけ小さくし、距離Ｄｘが負の値である場合には、横幅を所定単位だけ大きくする。 Next, the lateral width of the lens shape model LZ is changed by a predetermined unit. Since the processing of the normal lens is in units of 1 mm, the lateral width is changed here by 1 mm (step S40). When the distance Dx is a positive value, the horizontal width is reduced by a predetermined unit. When the distance Dx is a negative value, the horizontal width is increased by a predetermined unit.
次に、再び距離Ｄｘを求め、距離Ｄｘが０に最も近くなったか否かを判断し（ステップＳ４２）、距離Ｄｘが０に最も近くなるまでステップＳ４０及びステップＳ４２の処理を繰り返す。 Next, the distance Dx is obtained again, it is determined whether or not the distance Dx is closest to 0 (step S42), and the processing of step S40 and step S42 is repeated until the distance Dx is closest to 0.
図１２に、本実施形態の手法により、モダンの形状モデルＭＤを顔形状モデルＦＭの耳に掛かった状態にさせる処理を行ったときの、顔形状モデルＦＭと眼鏡フレームの形状モデルＧＭの画像の一例を示す。図１２に示すように、本実施形態の手法によれば、眼鏡フレームの形状モデルＧＭの横幅が顔形状モデルＦＭの横幅に合っていない場合や、モダンの形状モデルＭＤの高さ位置が顔形状モデルＦＭの耳に合っていない場合であっても、モダンの形状モデルＭＤを顔形状モデルＦＭの耳に掛かった状態にさせることができる。 FIG. 12 shows images of the face shape model FM and the shape model GM of the eyeglass frame when the process of causing the modern shape model MD to be put on the ear of the face shape model FM by the method of the present embodiment. An example is shown. As shown in FIG. 12, according to the method of the present embodiment, when the horizontal width of the shape model GM of the spectacle frame does not match the horizontal width of the face shape model FM, or the height position of the modern shape model MD is the face shape. Even if the ear does not match the ear of the model FM, the modern shape model MD can be put on the ear of the face shape model FM.
２−５．モダンの変形
本実施形態の手法では、最後に、モダンを顔形状モデルＦＭの耳に掛かった状態にさせる上記処理によって真っ直ぐに伸ばされたモダンの形状モデルＭＤを、顔形状モデルＦＭの耳裏の付け根に沿って曲げる処理を行う。モダンの形状モデルＭＤを顔形状モデルＦＭの耳裏の付け根に沿って曲げる処理について、図１３のフローチャートと図１４を用いて説明する。
2-5. Modern deformation In the method according to the present embodiment, finally, the modern shape model MD straightly stretched by the above-described processing that causes the modern to be put on the ear of the face shape model FM is converted into the ear shape of the face shape model FM. Bend along the root. The process of bending the modern shape model MD along the root of the back of the face shape model FM will be described with reference to the flowchart of FIG. 13 and FIG.
まず、図１４に示すように、顔形状モデルＦＭの耳裏の付け根に沿った複数の点Ｅｉ(i=1,2‥n)を求める（図１３のステップＳ５０）。ここで、点Ｅ１は、モダンの形状モデルＭＤが顔形状モデルＦＭの耳に接触する点Ｅ（図１１参照）と同一の点である。 First, as shown in FIG. 14, a plurality of points E i (i = 1, 2,... N) along the root of the back of the face shape model FM are obtained (step S50 in FIG. 13). Here, the point E 1 is the same point as the point E (see FIG. 11) where the modern shape model MD contacts the ear of the face shape model FM.
次に、ｉに１をセットし（ステップＳ５２）、点Ｅｉ−１と点Ｅｉとを結ぶベクトルＵｉと、点Ｅｉと点Ｅｉ＋１とを結ぶベクトルＶｉとのなす角θｉをベクトルＵｉとベクトルＶｉの内積から求める（ステップＳ５４）。ただし、ｉ＝１のときは、モダンの形状モデルＭＤの一方の先端の点Ｔと他方の先端の点Ｓとを結ぶベクトルＴＳをベクトルＵｉとする。 Next, 1 is set to i (step S52), and the angle θ i formed by the vector U i connecting the point E i-1 and the point E i and the vector V i connecting the point E i and the point E i + 1 is set. Is obtained from the inner product of the vector U i and the vector V i (step S54). However, when i = 1, a vector TS connecting the point T at one end of the modern shape model MD and the point S at the other end is defined as a vector U i .
次に、ベクトルＵｉとベクトルＶｉとの外積をベクトルＧｉとしたとき、点Ｅｉを通りベクトルＧｉに平行な軸回りに角度θｉだけモダンの形状モデルＭＤの点Ｅｉから先端までを回転変形する（ステップＳ５６）。 Next, tip outer product of the vector U i and the vector V i when the vector G i, the axis parallel to the street vectors G i points E i by an angle theta i terms E i modern shape model MD Are rotated and deformed (step S56).
次に、ｉがｎに達したか否かを判断し（ステップＳ５８）、ｉがｎに達していない場合には、ｉにｉ＋１をセットし（ステップＳ６０）、ステップＳ５４の処理に進む。以降、ｉがｎに達するまでステップＳ５４からステップＳ６０までの処理を繰り返す。 Next, it is determined whether i has reached n (step S58). If i has not reached n, i + 1 is set to i (step S60), and the process proceeds to step S54. Thereafter, the processing from step S54 to step S60 is repeated until i reaches n.
図１５に、本実施形態の手法により、モダンの形状モデルＭＤを顔形状モデルＦＭの耳裏の付け根に沿って曲げる処理を行ったときの、顔形状モデルＦＭと眼鏡フレームの形状モデルＧＭの画像の一例を示す。図１５に示すように、本実施形態の手法によれば、モダンの形状モデルＭＤを、様々な形状の個人の顔形状モデルＦＭの耳裏の付け根にフィットさせることができる。 FIG. 15 shows images of the face shape model FM and the shape model GM of the spectacle frame when the process of bending the modern shape model MD along the root of the back of the face shape model FM is performed by the method of the present embodiment. An example is shown. As shown in FIG. 15, according to the method of the present embodiment, the modern shape model MD can be fitted to the root of the back of the individual face shape model FM of various shapes.
このように本実施形態の手法によれば、位置合わせが行われた眼鏡フレームの形状モデルを構成する部品の形状モデルを、個人の顔形状モデルに合わせて変形することで、眼鏡フレームが個人の顔にフィットするように眼鏡フレームの部品を調整する作業をシミュレートすることができる。そして、本実施形態の手法により変形された眼鏡フレームの形状モデルの画像や形状データ或いは各部品の変形データ（例えば、クリングスの曲げ回転角度λｘ、ヨロイの曲げ回転角度φｘ、モダンの曲げ回転角度θｉ）に基づいて、眼鏡フレームの形状モデルに対応する実物の眼鏡フレームを手作業或いは加工機により調整することができ、顧客が店舗に出向くことを要せずに遠隔地で眼鏡フレームの調整を行うことができる。すわなち、顧客はＰＣや携帯電話等の情報処理端末を用いてサーバにアクセスして、異なる撮像方向から撮像した自身の顔画像を送信し、購入を希望する眼鏡フレームを選択するだけで、自身の顔にフィットする眼鏡フレームを手に入れることができる。 As described above, according to the method of the present embodiment, the shape model of the parts constituting the shape model of the eyeglass frame that has been aligned is deformed according to the individual face shape model, so that the eyeglass frame is The operation of adjusting the parts of the spectacle frame to fit the face can be simulated. Then, the image and shape data of the shape model of the spectacle frame deformed by the method of the present embodiment, or the deformation data of each component (for example, Krings bending rotation angle λ x , Yoroi bending rotation angle φ x , modern bending rotation) Based on the angle θ i ), the actual spectacle frame corresponding to the shape model of the spectacle frame can be adjusted manually or by a processing machine, and the spectacle frame can be remotely adjusted without requiring the customer to go to the store. Adjustments can be made. In other words, the customer simply accesses the server using an information processing terminal such as a PC or a mobile phone, transmits his / her face image captured from a different imaging direction, and selects a spectacle frame desired to be purchased. You can get eyeglass frames that fit your face.
３．変形例
なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。
3. Modifications The application of the present invention is not limited to the above-described embodiments, and various modifications can be made.
例えば、本実施形態では、リムレスタイプの眼鏡フレームを対象とした場合について説明したが、フルリムタイプ或いはハーフリムタイプの眼鏡フレームを対象とするようにしてもよい。この場合には、モダンの形状モデルＭＤを顔形状モデルＦＭの耳に掛かった状態にさせる処理を行う際に、レンズの形状モデルＬＮの横幅を変化させることに代えて、ヨロイの形状モデルＹＲの曲げ回転中心点Ｂから−Ｚ軸方向に位置する眼鏡部品を、点Ｂを通りＹ軸に平行な軸回りに回転させるようにすればよい。 For example, in the present embodiment, a case where a rimless type spectacle frame is targeted has been described, but a full rim type or half rim type spectacle frame may be targeted. In this case, instead of changing the lateral width of the lens shape model LN when performing the process of bringing the modern shape model MD into the state of being hooked on the ear of the face shape model FM, The spectacle component positioned in the −Z-axis direction from the bending rotation center point B may be rotated about an axis passing through the point B and parallel to the Y-axis.
１００ 処理部、１１０ 顔形状モデル生成部、１１２ 位置合わせ部、１１４ 眼鏡フレーム形状モデル変形部、１２０ 描画部、１７０ 記憶部、１７６ 標準顔形状モデル記憶部、１７８ 眼鏡フレーム形状モデル記憶部、１８０ 情報記憶媒体、１９０ 表示部、１９６ 通信部 DESCRIPTION OF SYMBOLS 100 Processing part, 110 Face shape model production | generation part, 112 Position alignment part, 114 Eyeglass frame shape model deformation | transformation part, 120 Drawing part, 170 Storage part, 176 Standard face shape model storage part, 178 Eyeglass frame shape model storage part, 180 Information Storage medium, 190 display unit, 196 communication unit
Claims (8)
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、
生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも１つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部とを含むことを特徴とする眼鏡のフィッティングシミュレーションシステム。 A storage unit for storing a standard face shape model and a shape model of a spectacle frame composed of a shape model of a plurality of parts;
Extracting a feature point from a plurality of individual face images, and based on the three-dimensional position information of the extracted feature point, deforming the standard face shape model to generate an individual face shape model; and
An alignment unit for aligning the shape model of the spectacle frame with the generated face shape model;
A spectacle fitting comprising: a spectacle frame shape model deforming unit configured to deform a shape model of at least one component constituting the shape model of the spectacle frame that has been aligned according to the face shape model Simulation system.
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成する鼻パッドの形状モデルから前記顔形状モデルまでの距離に基づいて、前記眼鏡フレームの形状モデルを構成するクリングスの形状モデルを変形することで、前記鼻パッドの形状モデルを前記顔形状モデルの鼻にフィットさせることを特徴とする眼鏡のフィッティングシミュレーションシステム。 In claim 1,
The spectacle frame shape model deforming unit is
Based on the distance from the shape model of the nose pad constituting the shape model of the spectacle frame to the face shape model, the shape model of the nose pad is deformed by deforming the shape model of Krings constituting the shape model of the spectacle frame. An eyeglass fitting simulation system characterized by fitting a model to the nose of the face shape model.
前記眼鏡フレーム形状モデル変形部が、
前記鼻パッドの形状モデルの接触面の法線と、前記顔形状モデルにおける前記鼻バッドの形状モデルが接触する面の法線の逆ベクトルとのなす角度αが所定の閾値を超えている場合に、前記鼻パッドの形状モデルを角度αだけ回転させることを特徴とする眼鏡のフィッティングシミュレーションシステム。 In claim 2,
The spectacle frame shape model deforming unit is
When the angle α formed by the normal of the contact surface of the shape model of the nose pad and the inverse vector of the normal of the surface of the face shape model that contacts the shape model of the nose pad exceeds a predetermined threshold value A fitting simulation system for spectacles, wherein the shape model of the nose pad is rotated by an angle α.
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するヨロイの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせることを特徴とする眼鏡のフィッティングシミュレーションシステム。 In any one of Claims 1 thru | or 3,
The spectacle frame shape model deforming unit is
The shape model of the eyeglass frame is deformed so that the modern shape model constituting the shape model of the spectacle frame is put on the ear of the face shape model. Glasses fitting simulation system.
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するレンズの形状モデルを変形することで、前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを前記顔形状モデルの耳に掛かった状態にさせることを特徴とする眼鏡のフィッティングシミュレーションシステム。 In any one of Claims 1 thru | or 4,
The spectacle frame shape model deforming unit is
The shape model of the lens constituting the shape model of the spectacle frame is deformed, so that the modern shape model constituting the shape model of the spectacle frame is put on the ear of the face shape model. Glasses fitting simulation system.
前記眼鏡フレーム形状モデル変形部が、
前記眼鏡フレームの形状モデルを構成するモダンの形状モデルを、前記顔形状モデルの耳裏の付け根に沿って曲げることを特徴とする眼鏡のフィッティングシミュレーションシステム。 In any one of Claims 1 thru | or 5,
The spectacle frame shape model deforming unit is
A fitting simulation system for spectacles, wherein a modern shape model constituting the shape model of the spectacle frame is bent along the root of the back of the face shape model.
生成された前記顔形状モデルに対して、複数の部品の形状モデルから構成される眼鏡フレームの形状モデルの位置を合わせる位置合わせ手順と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも１つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形手順とを含むことを特徴とする眼鏡のフィッティングシミュレーション方法。 A face shape that extracts feature points from a plurality of individual face images and generates a personal face shape model by modifying the standard face shape model stored in the storage unit based on the three-dimensional position information of the extracted feature points Model generation procedure,
An alignment procedure for aligning the position of the shape model of the spectacle frame composed of the shape models of a plurality of parts with respect to the generated face shape model;
Spectacle frame shape model deformation procedure for deforming a shape model of at least one component constituting the shape model of the spectacle frame, which has been aligned, in accordance with the face shape model; Simulation method.
個人の複数の顔画像から特徴点を抽出し、抽出した特徴点の三次元位置情報に基づいて、前記標準顔形状モデルを変形して個人の顔形状モデルを生成する顔形状モデル生成部と、
生成された前記顔形状モデルに対して、前記眼鏡フレームの形状モデルの位置を合わせる位置合わせ部と、
位置合わせが行われた前記眼鏡フレームの形状モデルを構成する少なくとも１つの部品の形状モデルを、前記顔形状モデルに合わせて変形する眼鏡フレーム形状モデル変形部としてコンピュータを機能させるためのプログラム。 A storage unit for storing a standard face shape model and a shape model of a spectacle frame composed of a shape model of a plurality of parts;
Extracting a feature point from a plurality of individual face images, and based on the three-dimensional position information of the extracted feature point, deforming the standard face shape model to generate an individual face shape model; and
An alignment unit for aligning the shape model of the spectacle frame with the generated face shape model;
A program for causing a computer to function as a spectacle frame shape model deforming unit that deforms a shape model of at least one component constituting the shape model of the spectacle frame that has been aligned with the face shape model.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009210575A JP5327866B2 (en) | 2009-09-11 | 2009-09-11 | Glasses fitting simulation system, glasses fitting simulation method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009210575A JP5327866B2 (en) | 2009-09-11 | 2009-09-11 | Glasses fitting simulation system, glasses fitting simulation method and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2011060100A true JP2011060100A (en) | 2011-03-24 |
| JP2011060100A5 JP2011060100A5 (en) | 2012-10-04 |
| JP5327866B2 JP5327866B2 (en) | 2013-10-30 |
Family
ID=43947638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009210575A Expired - Fee Related JP5327866B2 (en) | 2009-09-11 | 2009-09-11 | Glasses fitting simulation system, glasses fitting simulation method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5327866B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016080746A (en) * | 2014-10-10 | 2016-05-16 | 東海光学株式会社 | Calculation method of lens mounting information, electronic system for executing the same calculation method and program for use in the same electronic system |
| KR101952112B1 (en) * | 2017-10-11 | 2019-02-26 | 주식회사 넥스컴스 | How to order glasses using 3D scanner |
| JP2019515355A (en) * | 2016-05-10 | 2019-06-06 | マテリアライズ エヌ．ブイ．Ｍａｔｅｒｉａｌｉｓｅ Ｎ．Ｖ． | How to design and place a lens in an eyeglass frame |
| JP2021099504A (en) * | 2017-07-06 | 2021-07-01 | カール ツァイス アーゲー | Method, device, and computer program for virtual fitting of spectacle frame |
| JP7497895B2 (en) | 2022-07-25 | 2024-06-11 | 株式会社3D Printing Corporation | Shape change system, shape change method, program, and manufacturing execution system |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0561004A (en) * | 1991-08-30 | 1993-03-12 | Hoya Corp | Method for determining pad of spectacle frame |
| JPH05172545A (en) * | 1991-09-30 | 1993-07-09 | Aoyama Megane Kk | Spectacle-frame manufacturing system |
| JPH06290239A (en) * | 1993-04-06 | 1994-10-18 | Seiko Epson Corp | Simulation device for spectacles wearing |
| JPH0990288A (en) * | 1995-09-28 | 1997-04-04 | Hoya Corp | Spectacle frame and its adjusting method |
| JP2001350982A (en) * | 2000-04-07 | 2001-12-21 | Vision Megane:Kk | System and method for ordering and selling spectacles by network |
| JP2003215511A (en) * | 2002-01-22 | 2003-07-30 | Fukui Megane Kogyo Kk | Selection system of nose pad of eyeglass, and nose pad apparatus |
| JP2004094773A (en) * | 2002-09-03 | 2004-03-25 | Nec Corp | Head wearing object image synthesizing method and device, makeup image synthesizing method and device, and program |
| JP2006107145A (en) * | 2004-10-05 | 2006-04-20 | Tokyo Univ Of Agriculture & Technology | Face shape modeling system and face shape modeling method |
| JP2006155638A (en) * | 1997-05-16 | 2006-06-15 | Hoya Corp | Wraparound endpiece, bridge, rim lock position decision method for glasses and glasses custom-made system |
| JP2006163020A (en) * | 2004-12-08 | 2006-06-22 | Hakugan:Kk | Spectacle frame nose pad |
| JP2007206211A (en) * | 2006-01-31 | 2007-08-16 | Eyemetrics Japan Co Ltd | Spectacle wearing simulation method and device |
-
2009
- 2009-09-11 JP JP2009210575A patent/JP5327866B2/en not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0561004A (en) * | 1991-08-30 | 1993-03-12 | Hoya Corp | Method for determining pad of spectacle frame |
| JPH05172545A (en) * | 1991-09-30 | 1993-07-09 | Aoyama Megane Kk | Spectacle-frame manufacturing system |
| JPH06290239A (en) * | 1993-04-06 | 1994-10-18 | Seiko Epson Corp | Simulation device for spectacles wearing |
| JPH0990288A (en) * | 1995-09-28 | 1997-04-04 | Hoya Corp | Spectacle frame and its adjusting method |
| JP2006155638A (en) * | 1997-05-16 | 2006-06-15 | Hoya Corp | Wraparound endpiece, bridge, rim lock position decision method for glasses and glasses custom-made system |
| JP2001350982A (en) * | 2000-04-07 | 2001-12-21 | Vision Megane:Kk | System and method for ordering and selling spectacles by network |
| JP2003215511A (en) * | 2002-01-22 | 2003-07-30 | Fukui Megane Kogyo Kk | Selection system of nose pad of eyeglass, and nose pad apparatus |
| JP2004094773A (en) * | 2002-09-03 | 2004-03-25 | Nec Corp | Head wearing object image synthesizing method and device, makeup image synthesizing method and device, and program |
| JP2006107145A (en) * | 2004-10-05 | 2006-04-20 | Tokyo Univ Of Agriculture & Technology | Face shape modeling system and face shape modeling method |
| JP2006163020A (en) * | 2004-12-08 | 2006-06-22 | Hakugan:Kk | Spectacle frame nose pad |
| JP2007206211A (en) * | 2006-01-31 | 2007-08-16 | Eyemetrics Japan Co Ltd | Spectacle wearing simulation method and device |
Non-Patent Citations (2)
| Title |
|---|
| CSNG200000887012; 荻原和浩， 外１名: '"ベジェ曲面によるメガネの形状表現とそのメガネオーダメイドシステムへの応用"' 情報処理学会論文誌 第３６巻， 第１１号, 19951115, ｐ．２６４２-２６５２, 社団法人情報処理学会 * |
| JPN6013017617; 荻原和浩， 外１名: '"ベジェ曲面によるメガネの形状表現とそのメガネオーダメイドシステムへの応用"' 情報処理学会論文誌 第３６巻， 第１１号, 19951115, ｐ．２６４２-２６５２, 社団法人情報処理学会 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016080746A (en) * | 2014-10-10 | 2016-05-16 | 東海光学株式会社 | Calculation method of lens mounting information, electronic system for executing the same calculation method and program for use in the same electronic system |
| JP2019515355A (en) * | 2016-05-10 | 2019-06-06 | マテリアライズ エヌ．ブイ．Ｍａｔｅｒｉａｌｉｓｅ Ｎ．Ｖ． | How to design and place a lens in an eyeglass frame |
| JP2021099504A (en) * | 2017-07-06 | 2021-07-01 | カール ツァイス アーゲー | Method, device, and computer program for virtual fitting of spectacle frame |
| JP7369154B2 (en) | 2017-07-06 | 2023-10-25 | カール ツァイス アーゲー | Method, device and computer program for virtual adaptation of eyeglass frames |
| US11915381B2 (en) | 2017-07-06 | 2024-02-27 | Carl Zeiss Ag | Method, device and computer program for virtually adjusting a spectacle frame |
| KR101952112B1 (en) * | 2017-10-11 | 2019-02-26 | 주식회사 넥스컴스 | How to order glasses using 3D scanner |
| JP7497895B2 (en) | 2022-07-25 | 2024-06-11 | 株式会社3D Printing Corporation | Shape change system, shape change method, program, and manufacturing execution system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5327866B2 (en) | 2013-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI755671B (en) | Virtual try-on systems and methods for spectacles | |
| US12067689B2 (en) | Systems and methods for determining the scale of human anatomy from images | |
| CN114730101B (en) | System and method for adjusting inventory eyeglass frames using 3D scanning of facial features | |
| US9990780B2 (en) | Using computed facial feature points to position a product model relative to a model of a face | |
| US9842246B2 (en) | Fitting glasses frames to a user | |
| CN111461814B (en) | Virtual glasses try-on method, terminal equipment and storage medium | |
| CN111033364A (en) | Method, apparatus and computer program for virtually fitting spectacle frames | |
| KR102231239B1 (en) | Eyeglasses try-on simulation method | |
| TW202019167A (en) | Generating and modifying representations of objects in an augmented-reality or virtual-reality scene | |
| JP5327866B2 (en) | Glasses fitting simulation system, glasses fitting simulation method and program | |
| US12008711B2 (en) | Determining display gazability and placement of virtual try-on glasses using optometric measurements | |
| JP2012066002A (en) | Visual field image display device of eyeglasses | |
| TWI694271B (en) | Operating method, head mounted display, and tracking system | |
| CN113744411A (en) | Image processing method and device, equipment and storage medium | |
| CN112164378A (en) | VR glasses all-in-one machine anti-distortion method and device | |
| US12014462B2 (en) | Generation of a 3D model of a reference object to perform scaling of a model of a user's head | |
| CN108881892B (en) | Anti-dizziness method and system for desktop virtual reality system | |
| JP2009003812A (en) | Generation method and generation device of defocus image | |
| RU2657098C2 (en) | Method of manufacture of spectacle frames | |
| US20240362881A1 (en) | Systems and methods for determining the scale of human anatomy from images | |
| JP6533925B2 (en) | Method of calculating lens mounting information, electronic system for executing the same calculation method, and program used for the same electronic system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120817 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120817 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130613 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130703 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130718 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5327866 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |