CN110543874A - 一种头部图像采集装置、在线配镜系统及配镜方法 - Google Patents

一种头部图像采集装置、在线配镜系统及配镜方法 Download PDF

Info

Publication number
CN110543874A
CN110543874A CN201910885469.0A CN201910885469A CN110543874A CN 110543874 A CN110543874 A CN 110543874A CN 201910885469 A CN201910885469 A CN 201910885469A CN 110543874 A CN110543874 A CN 110543874A
Authority
CN
China
Prior art keywords
head
image
point
camera
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910885469.0A
Other languages
English (en)
Inventor
施炜
施凯宸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Provincial Hospital of Chinese Medicine
Liyang Traditional Chinese Medicine Hospital
Original Assignee
Jiangsu Provincial Hospital of Chinese Medicine
Liyang Traditional Chinese Medicine Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Provincial Hospital of Chinese Medicine, Liyang Traditional Chinese Medicine Hospital filed Critical Jiangsu Provincial Hospital of Chinese Medicine
Priority to CN201910885469.0A priority Critical patent/CN110543874A/zh
Publication of CN110543874A publication Critical patent/CN110543874A/zh
Pending legal-status Critical Current

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/42Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters with arrangement for propelling the support stands on wheels
    • F16M11/425Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters with arrangement for propelling the support stands on wheels along guiding means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0621Item configuration or customization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Computer Graphics (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Eyeglasses (AREA)

Abstract

本发明公开了一种单摄像头沿圆弧导轨采集头部图像的装置,还提供了应用该图像采集装置的在线配镜系统和方法。首先,单摄像头圆弧导轨头部图像采集装置采集多视角头部图像信息,并实时传送至后台处理器。然后,后台处理器根据接收的头部图像信息,构建头部3D虚拟模型,并获取头部关键部位点参数及两眼瞳距数据。接着,后台处理器根据头部关键部位点参数,调取系统库预存的3D镜架模型与头部3D虚拟模型进行匹配,选取出合适的镜架。最后,厂家通过远程终端接收选取好的镜架的参数、瞳距数据和预先输入的双眼实际度数,进行镜片磨配,完成在线配镜。本发明构建模型准确,配镜过程方便快捷,可大大减少线下镜架选择及配镜的繁琐程度,节省时间和精力。

Description

一种头部图像采集装置、在线配镜系统及配镜方法
技术领域
本发明涉及互联网配镜技术领域,尤其涉及一种头部图像采集装置、在线配镜系统及配镜方法。
背景技术
传统的配镜过程是这样的:用户在眼镜店通过瞳距测量仪进行瞳距测量,然后再通过试戴大量的实体镜架模型选择合宜的款型,最后根据双眼实际近视度数选择镜片(折射率、防篮光等等)并联系外地厂家进行镜片磨配。传统的配镜方式存在诸多缺点:其一,传统眼镜店需配备专业的测量仪器与磨片设备,价格昂贵,对于实体眼镜店来说投资成本高,部分眼镜店所用设备质量低劣,测量及验配准确度难以保证。其二,选好镜架后需现场配制,由于设备及技术原因,配镜质量良莠不齐;如定做镜片则需寄送至外地厂家,由厂家根据镜架款式和眼睛数据进行镜片磨配,此过程周期较长且繁琐。其三,用户在眼镜店选配试戴实体镜架耗费大量时间,眼镜店出于成本考虑,备有的镜架及款式均有限,而且用户不能自己全方位评判自己戴镜效果,用户选到满意的镜架存在难度。
近些年也出现了一些在线的眼镜虚拟试戴设备,但是这些设备多为体验性的,即通过摄像头采集人脸图像并生成3D头像,线上配镜大多只能实现虚拟眼镜在人脸3D模型上的大致效果(类似目前的虚拟穿衣),并不能完整实现整个配镜流程。此外,在图像采集上,摄像头终端一般地正对用户抓取脸部图像,摄像头高度不可调,对于头部不同部位点及不同年龄身高用户,需要用户转动头部或弯曲身体才能实现正常图像采集,体验及图像采集效果均欠佳。
发明内容
针对背景技术中提到的配镜繁琐等问题,本发明提出一种头部图像采集装置、在线配镜系统及配镜方法。
本发明所采用的技术方案为:
一种头部图像采集装置,包括圆弧导轨、两升降柱、嵌在所述圆弧导轨上并可沿所述圆弧导轨移动的小车、固定在所述小车上用于采集头部图像的摄像头、以及固定在所述圆弧导轨下方中间位置的注视灯;所述两升降柱相对设置,所述圆弧导轨两端分别固定在所述两升降柱上端部,所述圆弧导轨向左凹,所述注视灯朝向左侧。
进一步地,所述两升降柱上端部的升降高度区间为0.5~2.5m。
进一步地,所述圆弧导轨的截面为“工”字型,所述小车包括车架、主动轮、从动轮和电机;所述车架跨设在所述圆弧导轨上方,所述电机固定在所述车架上端面,所述电机的转轴穿过所述车架并与所述主动轮相连;所述从动轮转动连接于所述车架底部,所述圆弧导轨嵌在所述主动轮和所述从动轮之间;所述摄像头固定于所述车架上端面,并朝向左侧。
一种在线配镜系统,包括:上述的头部图像采集装置,用于采集多视角头部图像信息;
后台处理器,用于接收采集的多视角头部图像信息,根据所述多视角头部图像信息构建头部3D虚拟模型,提取出头部关键部位点参数和瞳距数据,并根据所述头部关键部位点参数与系统库预存3D镜架模型进行匹配,选取出适合镜架;所述头部关键部位点参数包括鼻尖位置、眼角位置、耳根位置和两眼位置;
显示屏,用于同步显示头部3D虚拟模型,头部关键部位点参数、瞳距数据和镜架佩戴效果图像;
厂家终端,用于接收选取的镜架数据、提取的瞳距数据和预先输入的双眼实际度数数据。
一种在线配镜方法,使用上述的在线配镜系统,包括如下步骤:
步骤S10、小车沿着圆弧导轨移动,摄像头多视角采集头部图像信息,并实时传送至后台处理器;
步骤S20、后台处理器根据接收的多视角头部图像信息,构建头部3D虚拟模型,并获取头部关键部位点参数及两眼瞳距数据;
步骤S30、后台处理器根据头部关键部位点参数,调取系统库预存的3D镜架模型与头部3D虚拟模型进行匹配,选取出合适的镜架;
步骤S40、厂家终端接收选取好的镜架的参数、提取的瞳距数据和预先输入的双眼实际度数,进行镜片磨配,完成在线配镜。
进一步地,步骤S10中,小车沿着所述圆弧轨道从一端向另一端移动,所述圆弧轨道的圆心角为A°,所述摄像头每间隔α°采集一幅图像,总共采集m=A/α幅图像,α角小于10°,m为整数,且为奇数。
进一步地,步骤S20中,所述摄像头共有m个位置,当所述摄像头处在第i个位置时,建立对应的相机坐标系、图像坐标系及像素坐标系,1≤i≤m,i为整数;
首先,采用张正友平面方法标定所述摄像头的内参数K;
然后,将世界坐标系与第1个位置的相机坐标系重合,通过第1幅图像和第2幅图像,按以下方法与步骤,构建头部局部点云模型:
1)、采用SIFT算法分别在第1幅图像和第2幅图像中检测特征点,特征点的特征描述向量构成的集合分别写作F(I1)和F(I2);
2)、以欧氏距离为相似性测度进行特征配准,f1i表示F(I1)中的任一元素,遍历F(I2)中找到一个f2j,使得f1i和f2j距离最小,则f1i所对应的特征点(u1i,v1i)和f2j所对应的特征点(u2i,v2i)是一对配准的特征点;重复本步骤,找到n对配准的特征点,n≥8;
3)、利用上述多对配准的特征点,根据x2 TBx1=0求解基础矩阵B,x1表示三维空间中给定点X在第1幅图像中的齐次坐标,x2表示X在第2幅图像中的齐次坐标;
4)、根据B=K-TSt2R2K-1求解R2和T2,R2和T2分别是第2个位置的相机坐标系相对于第1个位置的相机坐标系的旋转矩阵和平移向量,T2=[t1,t2,t3]T,St2是T2的三个元素构成的一个3×3的反对称矩阵,St2的主对角为零,St2(2,1)=t3,St2(1,3)=t2,St2(3,2)=t1
5)、利用上述多对配准的特征点,根据x2×K[R2,T2]·[X,1]T=0求所有H个X的三维点坐标;
6)、由第5)步求解得到的H个三维点坐标构成点云,将点云中的每一个点向两个像素坐标系分别投影,点Xa在第1个位置的像素坐标系下的投影点P1a坐标为(p1xa,q1xa),在第2个位置的像素坐标系下的投影点P2a坐标为(p2xa,q2xa),而点Xa在第1幅图像中的像点u1a坐标为(u1xa,v1xa),在第2幅图像中的像点u2a坐标为(u2xa,v2xa),按照式(1)至(3)约束优化模型优化R2和T2,从而提高点的空间坐标求解精度,获得高精度的点云Pt1
s.t.R-ε≤||x1c-x0||2≤R+ε (2)
R-ε≤||x2c-x0||2≤R+ε (3)
式(2)和(3)中,x1c和x2c分别为所述摄像头处在第1个位置和第2个位置时,其光心在世界坐标系中的空间坐标;x0为所述圆弧轨道中心在世界坐标系中的空间坐标,R为所述摄像头光心到所述圆弧轨道中心的距离,ε是R的测量不确定度;
接着,依次加入第3幅、第4幅、……、第m幅图像,通过相邻的两幅图像,按照第1)至第6)步的方法,获得高精度的点云Pt2、Pt3、……、Ptm-1,利用相邻两个点云的重合部分,将Pt2、Pt3、……、Ptm-1统一到世界坐标系下,得到头部完整的点云模型;
最后,根据头部点云数据,通过曲面拟合,重建头部三维模型;在头部三维模型中,通过模板匹配定位鼻尖位置、眼角位置、耳根位置及两眼位置,提取头部关键点的空间坐标信息;
在采集第[m/2]+1幅像和第[m/2]+2幅图像时,打开所述注视灯,通过两幅图像,按照以下步骤测量瞳距:
i)所述注视灯照射用户双眼,两眼球上各形成一个亮点,两亮点记作a和b;在图像中亮点相应像点的灰度值与其周围有显著差异,在进行上述第1)步前,利用灰度的显著差异性,在第[m/2]+1幅和第[m/2]+2幅图像中检测出亮点,并予以标记;
ii)按照第1)至第6)步的方法,得到局部点云Pti,从而有亮点a的坐标为(xa,ya,za),亮点b的坐标为(xb,yb,zb),计算两个亮点之间的距离D,就是用户的瞳距。
进一步地,步骤S30中,还可手动调整选取好的镜架的颜色、花纹。
进一步地,步骤S40中,所述的镜架的参数包括鼻托参数,镜框参数和镜腿参数。
本发明的有益效果在于:
本发明的头部图像采集装置通过单摄像头沿圆弧导轨采集头部图像,可构建更为准确的头部3D虚拟模型。此外,还可通过升降柱调节高度,满足不同身高及年龄阶段的用户使用。
本发明的配镜系统和方法操作简单快捷,可快速获取准确瞳距数据和适配的镜架,厂家可以最快的速度获取相应的数据并进行磨配,实现在线配镜,大大减少线下镜架选择及配镜的繁琐程度,节省时间和精力。
附图说明
图1为头部图像采集装置的结构示意图;
图2为在线配镜方法的流程图;
图3为配镜方法中,建立的图像坐标系的示意图;
图4为配镜方法中,建立的像素坐标系和相机坐标系的示意图。
附图标记:101-升降柱,102-圆弧导轨,103-车架,104-摄像头,105-电机,106-主动轮,107-从动轮,108-注视灯。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例对本发明进行进一步详细说明,应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
一种头部图像采集装置,如图1所示,包括圆弧导轨102、两升降柱101、嵌在圆弧导轨102上并可沿圆弧导轨102移动的小车、固定在小车上用于采集头部图像的摄像头104、以及固定在圆弧导轨102下方中间位置的注视灯108。两升降柱101相对设置,圆弧导轨102两端分别固定在两升降柱101上端部,圆弧导轨102向左凹,并面向用户,注视灯108朝向左侧。具体地,圆弧导轨102截面为“工”字型,小车包括车架103、主动轮106、从动轮107和电机105。车架103跨设在圆弧导轨102上方,电机105固定在车架103上端面,电机105的转轴穿过车架103并与主动轮106相连,电机105驱转主动轮106。从动轮107转动连接于车架103底部,圆弧导轨102嵌在主动轮106和从动轮107之间。摄像头104固定于车架103上端面,并朝向左侧。
两升降柱101上端部的升降高度区间为0.5~2.5m,可满足不同身高和不同年龄阶段的用户。摄像头104具有一定锥型视域范围,可以增大头部图像信息量的获取,摄像头104的具体型号根据实际使用需求进行选取。
一种在线配镜系统,包括:后台处理器、显示屏、厂家终端和上述的头部图像采集装置。头部图像采集装置用于采集多视角头部图像信息。后台处理器用于接收采集的多视角头部图像信息,根据多视角头部图像信息构建头部3D虚拟模型,提取出头部关键部位点参数和瞳距数据,并根据头部关键部位点参数与系统库预存3D镜架模型进行匹配,选取出适合镜架,头部关键部位点参数包括鼻尖位置、眼角位置、耳根位置和两眼位置。显示屏用于同步显示头部3D虚拟模型,头部关键部位点参数、瞳距数据和镜架佩戴效果图像。厂家终端,用于接收选取的镜架数据、提取的瞳距数据和预先输入的双眼实际度数数据。
两升降柱101的升降,以及电机105均通过后台处理器进行控制。需采集头部图像时,两升降柱101升降,使圆弧导轨102升至头部高度。小车带动摄像头104沿圆弧导轨102实时获取多角度的头部图像信息。本实施例中,后台处理器和显示屏为PC机。
如图2所示的一种在线配镜方法,该方法使用上述的在线配镜系统,包括如下步骤:
步骤S10、小车沿着圆弧导轨102移动,摄像头104多视角采集头部图像信息,并实时传送至后台处理器。
如图1所示,小车沿着圆弧轨道102从一端向另一端移动,圆弧轨道102的圆心角为A°,摄像头104每间隔α°采集一幅图像,总共采集m=A/α幅图像。α角越小,相邻视场共同区域越多,通常有利于提高三维重建精度,但是会导致重建运算量大幅增加,降低效率,所以α角应小于10°。A由圆弧轨道102结构设计给定,通过合理选用α,保证m为整数,且为奇数。
步骤S20、后台处理器根据接收的多视角头部图像信息,构建头部3D虚拟模型,并获取两眼瞳距数据及头部关键部位点参数,头部关键部位点参数包括鼻尖位置、眼角位置、耳根位置和两眼位置。
摄像头104共有m个位置,当摄像头104处在第i个位置时,建立对应的相机坐标系、图像坐标系及像素坐标系,如图3和图4所示,1≤i≤m,i为整数。
首先,采用张正友平面方法标定摄像头104的内参数K。
然后,使世界坐标系与第1个位置的相机坐标系重合,通过第1幅图像和第2幅图像,按以下方法与步骤,构建头部局部点云模型:
1)、采用SIFT算法分别在第1幅图像和第2幅图像中检测特征点,特征点的特征描述向量构成的集合分别写作F(I1)和F(I2)。
2)、以欧氏距离为相似性测度进行特征配准,f1i表示F(I1)中的任一元素,遍历F(I2)中找到一个f2j,使得f1i和f2j距离最小,则f1i所对应的特征点(u1i,v1i)和f2j所对应的特征点(u2i,v2i)是一对配准的特征点。重复本步骤,找到n对配准的特征点,满足n≥8。
3)、利用上述多对配准的特征点,根据x2 TBx1=0求解基础矩阵B,x1表示三维空间中给定点X在第1幅图像中的齐次坐标,x2表示X在第2幅图像中的齐次坐标。
4)、根据B=K-TSt2R2K-1求解R2和T2,R2和T2分别是第2个位置的相机坐标系相对于第1个位置的相机坐标系的旋转矩阵和平移向量,T2=[t1,t2,t3]T,St2是T2的三个元素构成的一个3×3的反对称矩阵,St2的主对角为零,St2(2,1)=t3,St2(1,3)=t2,St2(3,2)=t1
5)、利用上述多对配准的特征点,根据x2×K[R2,T2]·[X,1]T=0求所有H个X的三维点坐标。
6)、由第5)步求解得到的H个三维点坐标构成点云,将点云中的每一个点向两个像素坐标系分别投影,点Xa在第1个位置的像素坐标系下的投影点P1a坐标为(p1xa,q1xa),在第2个位置的像素坐标系下的投影点P2a坐标为(p2xa,q2xa),而点Xa在第1幅图像中的像点u1a坐标为(u1xa,v1xa),在第2幅图像中的像点u2a坐标为(u2xa,v2xa),按照式(1)至(3)约束优化模型优化R2和T2,从而提高点的空间坐标求解精度,获得高精度的点云Pt1
s.t.R-ε≤||x1c-x0||2≤R+ε (2)
R-ε≤||x2c-x0||2≤R+ε (3)
式(2)和(3)中,x1c和x2c分别为摄像头104处在第1个位置和第2个位置时,其光心在世界坐标系中的空间坐标。x0为圆弧轨道102中心在世界坐标系中的空间坐标,R为摄像头104光心到圆弧轨道102中心的距离,ε是R的测量不确定度。圆弧导轨102可看作“工”字型截面绕旋转对称轴旋转而成,圆弧轨道102的纵向和横向截面相交形成交线,交线与旋转对称轴的交点定义为圆弧轨道102的中心。
接着,依次加入第3幅、第4幅、……、第m幅图像,通过相邻的两幅图像,按照第1)至第6)步的方法,获得高精度的点云Pt2、Pt3、……、Ptm-1,利用相邻两个点云的重合部分,将Pt2、Pt3、……、Ptm-1统一到世界坐标系下,得到头部完整的点云模型。
最后,根据头部点云数据,通过曲面拟合,重建头部三维模型。在头部三维模型中通过模板匹配定位鼻尖位置、眼角位置、耳根位置及两眼位置,提取头部关键点的空间坐标信息。
瞳距是配镜中一个非常重要的参数,为了提高瞳距测量的精确性,在采集第[m/2]+1幅像和第[m/2]+2幅图像时,打开注视灯108,通过两幅图像,按照以下步骤测量瞳距:
i)注视灯108照射用户双眼,两眼球上各形成一个亮点,两亮点记作a和b。在图像中亮点相应像点的灰度值与其周围有显著差异,在进行上述第1)步前,利用灰度的显著差异性,在第[m/2]+1幅和第[m/2]+2幅图像中检测出亮点,并予以标记。
ii)按照上述第1)至第6)步的方法,得到局部点云Pti,从而有亮点a的坐标为(xa,ya,za),亮点b的坐标为(xb,yb,zb),计算两个亮点之间的距离D,就是用户的瞳距。
步骤S30、后台处理器根据头部关键部位点参数,调取系统库预存的3D镜架模型与头部3D虚拟模型进行匹配,选取出合适的镜架。用户在机选镜架基础上还可在线进行镜架外形结构细节方面选配试戴并实现手动颜色、花纹添加,增强人机交互性,从而选择满意的镜架产品。
步骤S40、厂家通过厂家终端接收选取好的镜架的参数、提取的瞳距数据和预先输入的双眼实际度数,进行镜片磨配,完成在线配镜。镜架的参数包括鼻托参数,镜框参数和镜腿参数。
以上仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,应视为本发明的保护范围。

Claims (9)

1.一种头部图像采集装置,其特征在于,包括圆弧导轨(102)、两升降柱(101)、嵌在圆弧导轨(102)上并可沿圆弧导轨(102)移动的小车、固定在所述小车上用于采集头部图像的摄像头(104)、以及固定在圆弧导轨(102)下方中间位置的注视灯(108);所述两升降柱(101)相对设置,圆弧导轨(102)两端分别固定在所述两升降柱(101)上端部,圆弧导轨(102)向左凹,注视灯(108)朝向左侧。
2.根据权利要求1所述的头部图像采集装置,其特征在于,所述两升降柱(101)上端部的升降高度区间为0.5~2.5m。
3.根据权利要求1或2所述的头部图像采集装置,其特征在于,圆弧导轨(102)的截面为“工”字型,所述小车包括车架(103)、主动轮(106)、从动轮(107)和电机(105);车架(103)跨设在圆弧导轨(102)上方,电机(105)固定在车架(103)上端面,电机(105)的转轴穿过车架(103)并与主动轮(106)相连;从动轮(107)转动连接于车架(103)底部,圆弧导轨(102)嵌在主动轮(106)和从动轮(107)之间;摄像头(104)固定于车架(103)上端面,并朝向左侧。
4.一种在线配镜系统,其特征在于,包括:权利要求1至3中任一项所述的头部图像采集装置,用于采集多视角头部图像信息;
后台处理器,用于接收采集的多视角头部图像信息,根据所述多视角头部图像信息构建头部3D虚拟模型,提取出头部关键部位点参数和瞳距数据,并根据所述头部关键部位点参数与系统库预存3D镜架模型进行匹配,选取出适合镜架;所述头部关键部位点参数包括鼻尖位置、眼角位置、耳根位置和两眼位置;
显示屏,用于同步显示头部3D虚拟模型,头部关键部位点参数、瞳距数据和镜架佩戴效果图像;
厂家终端,用于接收选取的镜架数据、提取的瞳距数据和预先输入的双眼实际度数数据。
5.一种在线配镜方法,其特征在于,使用权利要求4所述的在线配镜系统,包括如下步骤:步骤S10、小车沿着圆弧导轨(102)移动,摄像头(104)采集多视角头部图像信息,并实时传送至后台处理器;
步骤S20、后台处理器根据接收的多视角头部图像信息,构建头部3D虚拟模型,并获取头部关键部位点参数及两眼瞳距数据;
步骤S30、后台处理器根据头部关键部位点参数,调取系统库预存的3D镜架模型与头部3D虚拟模型进行匹配,选取出合适的镜架;
步骤S40、厂家终端接收选取好的镜架的参数、提取的瞳距数据和预先输入的双眼实际度数,进行镜片磨配,完成在线配镜。
6.根据权利要求5所述的在线配镜方法,其特征在于,步骤S10中,小车沿着圆弧轨道(102)从一端向另一端移动,圆弧轨道(102)的圆心角为A°,摄像头(104)每间隔α°采集一幅图像,总共采集m=A/α幅图像,α角小于10°,m为整数,且为奇数。
7.根据权利要求6所述的在线配镜方法,其特征在于,步骤S20中,摄像头(104)共有m个位置,当摄像头(104)处在第i个位置时,建立对应的相机坐标系、图像坐标系及像素坐标系,1≤i≤m,i为整数;
首先,采用张正友平面方法标定摄像头(104)的内参数K;
然后,将世界坐标系与第1个位置的相机坐标系重合,通过第1幅图像和第2幅图像,按以下方法与步骤,构建头部局部点云模型:
1)、采用SIFT算法分别在第1幅图像和第2幅图像中检测特征点,特征点的特征描述向量构成的集合分别写作F(I1)和F(I2);
2)、以欧氏距离为相似性测度进行特征配准,f1i表示F(I1)中的任一元素,遍历F(I2)中找到一个f2j,使得f1i和f2j距离最小,则f1i所对应的特征点(u1i,v1i)和f2j所对应的特征点(u2i,v2i)是一对配准的特征点;重复本步骤,找到n对配准的特征点,n≥8;
3)、利用上述多对配准的特征点,根据x2 TBx1=0求解基础矩阵B,x1表示三维空间中给定点X在第1幅图像中的齐次坐标,x2表示X在第2幅图像中的齐次坐标;
4)、根据B=K-TSt2R2K-1求解R2和T2,R2和T2分别是第2个位置的相机坐标系相对于第1个位置的相机坐标系的旋转矩阵和平移向量,T2=[t1,t2,t3]T,St2是T2的三个元素构成的一个3×3的反对称矩阵,St2的主对角为零,St2(2,1)=t3,St2(1,3)=t2,St2(3,2)=t1
5)、利用上述多对配准的特征点,根据x2×K[R2,T2]·[X,1]T=0求所有H个X的三维点坐标;
6)、由第5)步求解得到的H个三维点坐标构成点云,将点云中的每一个点向两个像素坐标系分别投影,点Xa在第1个位置的像素坐标系下的投影点P1a坐标为(p1xa,q1xa),在第2个位置的像素坐标系下的投影点P2a坐标为(p2xa,q2xa),而点Xa在第1幅图像中的像点u1a坐标为(u1xa,v1xa),在第2幅图像中的像点u2a坐标为(u2xa,v2xa),按照式(1)至(3)约束优化模型优化R2和T2,从而提高点的空间坐标求解精度,获得高精度的点云Pt1
s.t.R-ε≤||x1c-x0||2≤R+ε (2)
R-ε≤||x2c-x0||2≤R+ε (3)
式(2)和(3)中,x1c和x2c分别为摄像头(104)处在第1个位置和第2个位置时,其光心在世界坐标系中的空间坐标;x0为圆弧轨道(102)中心在世界坐标系中的空间坐标,R为摄像头(104)光心到圆弧轨道(102)中心的距离,ε是R的测量不确定度;
接着,依次加入第3幅、第4幅、……、第m幅图像,通过相邻的两幅图像,按照第1)至第6)步的方法,获得高精度的点云Pt2、Pt3、……、Ptm-1,利用相邻两个点云的重合部分,将Pt2、Pt3、……、Ptm-1统一到世界坐标系下,得到头部完整的点云模型;
最后,根据头部点云数据,通过曲面拟合,重建头部三维模型;在头部三维模型中,通过模板匹配定位鼻尖位置、眼角位置、耳根位置及两眼位置,提取头部关键点的空间坐标信息;
在采集第[m/2]+1幅像和第[m/2]+2幅图像时,打开注视灯(108),通过两幅图像,按照以下步骤测量瞳距:
i)注视灯(108)照射用户双眼,两眼球上各形成一个亮点,两亮点记作a和b;在图像中亮点相应像点的灰度值与其周围有显著差异,在进行上述第1)步前,利用灰度的显著差异性,在第[m/2]+1幅和第[m/2]+2幅图像中检测出亮点,并予以标记;
ii)按照第1)至第6)步的方法,得到局部点云Pti,从而有亮点a的坐标为(xa,ya,za),亮点b的坐标为(xb,yb,zb),计算两个亮点之间的距离D,就是用户的瞳距。
8.根据权利要求5所述的在线配镜方法,其特征在于,步骤S30中,还可手动调整选取好的镜架的颜色、花纹。
9.根据权利要求5所述的在线配镜方法,其特征在于,步骤S40中,所述的镜架的参数包括鼻托参数,镜框参数和镜腿参数。
CN201910885469.0A 2019-09-19 2019-09-19 一种头部图像采集装置、在线配镜系统及配镜方法 Pending CN110543874A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910885469.0A CN110543874A (zh) 2019-09-19 2019-09-19 一种头部图像采集装置、在线配镜系统及配镜方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910885469.0A CN110543874A (zh) 2019-09-19 2019-09-19 一种头部图像采集装置、在线配镜系统及配镜方法

Publications (1)

Publication Number Publication Date
CN110543874A true CN110543874A (zh) 2019-12-06

Family

ID=68713897

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910885469.0A Pending CN110543874A (zh) 2019-09-19 2019-09-19 一种头部图像采集装置、在线配镜系统及配镜方法

Country Status (1)

Country Link
CN (1) CN110543874A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009717A (zh) * 2021-04-23 2021-06-22 中视觉健康科技(广州)有限责任公司 一种眼镜佩戴参数的测量设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512931A (zh) * 2015-12-09 2016-04-20 北京镜联视界科技有限公司 在线智能配镜的方法和装置
KR101922713B1 (ko) * 2018-08-31 2019-02-20 이준호 사용자 단말, 중개서버 및 이를 포함하는 안경업체 중개 시스템 및 방법
CN208653401U (zh) * 2018-09-05 2019-03-26 天目爱视(北京)科技有限公司 自适应图像采集设备、3d信息比对装置、配套物生成装置
CN109978655A (zh) * 2019-01-14 2019-07-05 明灏科技(北京)有限公司 一种虚拟镜框选配方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512931A (zh) * 2015-12-09 2016-04-20 北京镜联视界科技有限公司 在线智能配镜的方法和装置
KR101922713B1 (ko) * 2018-08-31 2019-02-20 이준호 사용자 단말, 중개서버 및 이를 포함하는 안경업체 중개 시스템 및 방법
CN208653401U (zh) * 2018-09-05 2019-03-26 天目爱视(北京)科技有限公司 自适应图像采集设备、3d信息比对装置、配套物生成装置
CN109978655A (zh) * 2019-01-14 2019-07-05 明灏科技(北京)有限公司 一种虚拟镜框选配方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
无: "《NuVision虚拟眼镜3D试戴-操作演》", 《HTTPS://M.V.QQ.COM/Z/MSITE/PLAY-SHORT/INDEX.HTML?CID=&VID=V0805D31O0K&QQVERSION=0&SHARE_FROM=》 *
王毅恒: "《多视角三维重建中高精度标定方法的研究与应用》", 《CNKI优秀硕士学位论文全文库》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113009717A (zh) * 2021-04-23 2021-06-22 中视觉健康科技(广州)有限责任公司 一种眼镜佩戴参数的测量设备

Similar Documents

Publication Publication Date Title
CN111031893B (zh) 用于确定与眼科装置相关联的至少一个参数的方法
US7740355B2 (en) Device and method for determining optical parameters
US9664929B2 (en) Method for determining at least one head posture characteristic of a person wearing spectacles
US9323075B2 (en) System for the measurement of the interpupillary distance using a device equipped with a screen and a camera
CN101901485B (zh) 3d自由头动式视线跟踪系统
US8708490B2 (en) Method and a device for automatically measuring at least one refractive characteristic of both eyes of an individual
US9671617B2 (en) Method for estimating a distance separating a pair of glasses and an eye of the wearer of the pair of glasses
JP5730995B2 (ja) 基本姿勢を推定するための方法
CN103413118B (zh) 在线眼镜试戴方法
US20150049306A1 (en) Method for determining a behavioural, postural or geometric-morphological characteristic of a person wearing spectacles
US10620454B2 (en) System and method of obtaining fit and fabrication measurements for eyeglasses using simultaneous localization and mapping of camera images
CN107330976B (zh) 一种人体头部三维建模装置及使用方法
WO2001088654A2 (en) Spectacles fitting system and fitting methods
WO2018154271A1 (en) Systems and methods for obtaining eyewear information
CN110118646B (zh) 一种基于合成莫尔条纹技术的眼镜参数检测装置和方法
JP2023515517A (ja) ライブフィッティングを含む眼鏡フレームのフィッティング
CN110543874A (zh) 一种头部图像采集装置、在线配镜系统及配镜方法
US20200057316A1 (en) Computer-implemented method for determining centring parameters
US20220395176A1 (en) System and method for digital optician measurements
CN102438503A (zh) 镜片配制参数测量装置
US11324399B2 (en) Method and system for determining a pupillary distance of an individual
CN110049710B (zh) 用于测量屈光的方法和系统、用于眼科镜片的光学设计的方法以及包括这种眼科镜片的眼镜
CN113692551A (zh) 用于确定在自然视觉姿势下人的头部的经定向的3d表示的方法
CN108665445A (zh) 一种检验图像畸变的方法、装置和头戴显示设备
CN118217029A (zh) 一种获取手术放大镜制备参数的装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191206

RJ01 Rejection of invention patent application after publication