CN112328084A - 一种三维虚拟眼镜的定位方法、装置及电子设备 - Google Patents

一种三维虚拟眼镜的定位方法、装置及电子设备 Download PDF

Info

Publication number
CN112328084A
CN112328084A CN202011261451.2A CN202011261451A CN112328084A CN 112328084 A CN112328084 A CN 112328084A CN 202011261451 A CN202011261451 A CN 202011261451A CN 112328084 A CN112328084 A CN 112328084A
Authority
CN
China
Prior art keywords
point
determining
dimensional
virtual glasses
dimensional coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011261451.2A
Other languages
English (en)
Other versions
CN112328084B (zh
Inventor
李宗乘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing State Pu Information Technology Co ltd
Original Assignee
Beijing State Pu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing State Pu Information Technology Co ltd filed Critical Beijing State Pu Information Technology Co ltd
Priority to CN202011261451.2A priority Critical patent/CN112328084B/zh
Publication of CN112328084A publication Critical patent/CN112328084A/zh
Application granted granted Critical
Publication of CN112328084B publication Critical patent/CN112328084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种三维虚拟眼镜的定位方法、装置及电子设备，其中，该方法包括：获取人脸的三维坐标信息，确定左目中心点的三维坐标和右目中心点的三维坐标；将左目中心点与右目中心点之间的中点作为虚拟眼镜的关键点，根据左目中心点与右目中心点之间的方向确定虚拟眼镜的水平方向，根据关键点与人脸的鼻部特征点之间的方向确定虚拟眼镜的垂直方向；根据关键点的三维坐标、水平方向和垂直方向确定虚拟眼镜的位姿。通过本发明实施例提供的三维虚拟眼镜的定位方法、装置及电子设备，可基于人脸的三维坐标信息自动将虚拟眼镜贴合至人脸上，不需要人工干预，能够提高效率；且对于不同的脸型可以自适应调整虚拟眼镜的位姿，可以适配不同的脸型。

Description

一种三维虚拟眼镜的定位方法、装置及电子设备
技术领域
本发明涉及三维模型技术领域，具体而言，涉及一种三维虚拟眼镜的定位方法、装置、电子设备及计算机可读存储介质。
背景技术
目前，在已知人脸特定点位三维坐标的情况下，某些场景中需要确定虚拟眼镜在三维空间中的位置，以实现虚拟眼镜与人脸的结合。目前大多数研究人员采用的方案是，基于人的标准头模型，把虚拟眼镜模型移动到标准人头模型上放到相对应的位置上，最后再将虚拟眼镜的三维数据导出，基于导出的三维数据实现虚拟眼镜与人脸的结合。
现有技术采用人工操作的方式，将虚拟眼睛模型放在人脸的相关位置上，这个过程借助人工，成本较高。此外，不同的人脸模型并不完全相同，如果统一按照标准头模型处理的话，对于部分人群而言，可能眼镜戴的位置并没有很好的解决，这种方法无法根据人的脸型去做适配。
发明内容
为解决现有存在的技术问题，本发明实施例提供一种三维虚拟眼镜的定位方法、装置、电子设备及计算机可读存储介质。
第一方面，本发明实施例提供了一种三维虚拟眼镜的定位方法，包括：
获取人脸的三维坐标信息，根据所述三维坐标信息确定左目中心点的三维坐标和右目中心点的三维坐标；
将所述左目中心点与所述右目中心点之间的中点作为虚拟眼镜的关键点，并确定所述关键点的三维坐标；
根据所述左目中心点与所述右目中心点之间的方向确定所述虚拟眼镜的水平方向，根据所述关键点与所述人脸的鼻部特征点之间的方向确定所述虚拟眼镜的垂直方向；
根据所述关键点的三维坐标、所述水平方向和所述垂直方向确定所述虚拟眼镜的位姿。
第二方面，本发明实施例还提供了一种三维虚拟眼镜的定位装置，包括：
获取模块，用于获取人脸的三维坐标信息，根据所述三维坐标信息确定左目中心点的三维坐标和右目中心点的三维坐标；
关键点确定模块，用于将所述左目中心点与所述右目中心点之间的中点作为虚拟眼镜的关键点，并确定所述关键点的三维坐标；
方向确定模块，用于根据所述左目中心点与所述右目中心点之间的方向确定所述虚拟眼镜的水平方向，根据所述关键点与所述人脸的鼻部特征点之间的方向确定所述虚拟眼镜的垂直方向；
位姿确定模块，用于根据所述关键点的三维坐标、所述水平方向和所述垂直方向确定所述虚拟眼镜的位姿。
第三方面，本发明实施例提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述任意一项所述的三维虚拟眼镜的定位方法中的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的三维虚拟眼镜的定位方法中的步骤。
本发明实施例提供的三维虚拟眼镜的定位方法、装置、电子设备及计算机可读存储介质，利用眼睛中心鼻部位置基本不变的特性，将左目中心点与右目中心点之间的中心作为虚拟眼镜的关键点，并确定水平方向，同时基于关键点与鼻部特征点之间的方向确定垂直方向，从而可以确定虚拟眼镜的位置和姿态。该定位方式可基于人脸的三维坐标信息自动将虚拟眼镜贴合至人脸上，不需要人工干预，能够提高效率；且对于不同的脸型可以自适应调整虚拟眼镜的位姿，可以适配不同的脸型。此外，该方式计算简单，可以快速确定虚拟眼镜的位姿，可适用于需要实时调整虚拟眼镜位姿的场景。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案，下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1示出了本发明实施例所提供的一种三维虚拟眼镜的定位方法的流程图；
图2示出了本发明实施例所提供的三维虚拟眼镜的定位方法中，人脸特征点的一种分布方式示意图；
图3示出了本发明实施例所提供的一种三维虚拟眼镜的定位装置的结构示意图；
图4示出了本发明实施例所提供的一种用于执行三维虚拟眼镜的定位方法的电子设备的结构示意图。
具体实施方式
在本发明实施例的描述中，所属技术领域的技术人员应当知道，本发明实施例可以实现为方法、装置、电子设备及计算机可读存储介质。因此，本发明实施例可以具体实现为以下形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外，在一些实施例中，本发明实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式，该计算机可读存储介质中包含计算机程序代码。
上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括：电、磁、光、电磁、红外或半导体的系统、装置或器件，或者以上任意的组合。计算机可读存储介质更具体的例子包括：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪存(Flash Memory)、光纤、光盘只读存储器(CD-ROM)、光存储器件、磁存储器件或以上任意组合。在本发明实施例中，计算机可读存储介质可以是任意包含或存储程序的有形介质，该程序可以被指令执行系统、装置、器件使用或与其结合使用。
上述计算机可读存储介质包含的计算机程序代码可以用任意适当的介质传输，包括：无线、电线、光缆、射频(Radio Frequency，RF)或者以上任意合适的组合。
可以以汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，例如：Java、Smalltalk、C++，还包括常规的过程式程序设计语言，例如：C语言或类似的程序设计语言。计算机程序代码可以完全的在用户计算机上执行、部分的在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行以及完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括：局域网(LAN)或广域网(WAN)，可以连接到用户计算机，也可以连接到外部计算机。
本发明实施例通过流程图和/或方框图描述所提供的方法、装置、电子设备。
应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合，都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，这些计算机可读程序指令通过计算机或其他可编程数据处理装置执行，产生了实现流程图和/或方框图中的方框规定的功能/操作的装置。
也可以将这些计算机可读程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样，存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和/或方框图中的方框规定的功能/操作的指令装置产品。
也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程图和/或方框图中的方框规定的功能/操作的过程。
下面结合本发明实施例中的附图对本发明实施例进行描述。
图1示出了本发明实施例所提供的一种三维虚拟眼镜的定位方法的流程图。如图1所示，该方法包括：
步骤101：获取人脸的三维坐标信息，根据三维坐标信息确定左目中心点的三维坐标和右目中心点的三维坐标。
本发明实施例中，在需要向人脸增加三维的虚拟眼镜时，可以获取该人脸的三维坐标信息，该三维坐标信息包括人脸上不同位置的多个特征点的坐标信息，如眼部特征点、鼻部特征点等；人脸特征点的一种分布方式可参见图2所示。其中，可以通过现有的方式来获取人脸的三维坐标信息，例如3D的landmarks可以提供人脸上面不同特征点的3D位置信息。在获取到人脸的三维坐标信息，即可确定左目中心点的三维坐标和右目中心点的三维坐标。由于在实际场景中人脸的位置会发生变化，且随着人做各种表情，可能导致嘴巴、眉毛、瞳孔等的位置也会发生变化；而即使发生闭眼等行为时，左眼和有眼的中心位置不会发生变化(或变化很小)，本实施例中将左目中心点和右目中心点作为选取出来的点，可以准确地表示人脸的姿态，可以降低面部表情的干扰。
具体地，本发明实施例中，该三维坐标信息中包括左眼附近的特征点和右眼附近的特征点，为了避免瞳孔的影响，本实施例提取出眼睛周围的特征点，即左目周围点和右目周围点，该左目周围点即为左侧眼睛周围的特征点，其不包含瞳孔所对应的特征点；相应地，该右目周围点即为右侧眼睛周围的特征点。本实施例中，左目周围点的数量为m，右目周围点的数量为n，一般情况下m＝n；若第i个左目周围点的三维坐标为(xli,yli,zli)，第i个右目周围点的三维坐标为(xri,yri,zri)，则根据m个左目周围点可以确定左目中心点的三维坐标(xL,yL,zL)，根据n个右目周围点可以确定左目中心点的三维坐标(xR,yR,zR)，且：
Figure BDA0002774777200000061
步骤102：将左目中心点与右目中心点之间的中点作为虚拟眼镜的关键点，并确定关键点的三维坐标。
本发明实施例中，选取虚拟眼镜的一个点作为关键点，基于该关键点来确定虚拟眼镜的位置。例如，可以将虚拟眼镜两个鼻托之间的中心点作为虚拟眼镜的关键点。本实施例中，同时将左目中心点与右目中心点之间的中点作为虚拟眼镜的关键点，即虚拟眼镜的关键点与左目中心点与右目中心点之间的中点重合，从而可以基于左目中心点与右目中心点之间的中点来确定虚拟眼镜的位置。本实施例中，在确定左目中心点的三维坐标(xL,yL,zL)和右目中心点的三维坐标(xR,yR,zR)之后，通过平均的方式即可确定关键点的三维坐标(x0,y0,z0)，且：
Figure BDA0002774777200000062
步骤103：根据左目中心点与右目中心点之间的方向确定虚拟眼镜的水平方向，根据关键点与人脸的鼻部特征点之间的方向确定虚拟眼镜的垂直方向。
本发明实施例中，当虚拟眼镜贴合到人脸上时，虚拟眼镜的位姿与人脸的位姿之间相对不变。因此，左目中心点与右目中心点之间的方向可以部分表示该虚拟眼镜的姿态，其可以表示虚拟眼镜的水平方向；同样地，人脸鼻部的位置变动也不会很大，此时该关键点(即左目中心点与右目中心点之间的中心点)与鼻部特征点之间的方向也可以部分表示虚拟眼镜的姿态，其可以表示虚拟眼镜的垂直方向。基于虚拟眼镜的水平方向和垂直方向可以准确确定虚拟眼镜的姿态。
步骤104：根据关键点的三维坐标、水平方向和垂直方向确定虚拟眼镜的位姿。
本发明实施例中，左目中心点与右目中心点之间的连线经过该虚拟眼镜的关键点，故该虚拟眼镜的水平方向也可经过该关键点；同样地，该垂直方向由关键点与人脸的鼻部特征点之间的方向确定，该垂直方向也可经过该关键点。在确定水平方向、垂直方向、以及关键点的三维坐标之后，如上所述，基于该水平方向和垂直方向可以准确确定虚拟眼镜的姿态，基于该关键点的三维坐标可以准确确定虚拟眼镜的位置，进而基于上述三者可以完整确定虚拟眼镜的位姿，实现虚拟眼镜的定位，并可以将该虚拟眼镜自动贴合至人脸上。
本发明实施例提供的一种三维虚拟眼镜的定位方法，利用眼睛中心鼻部位置基本不变的特性，将左目中心点与右目中心点之间的中心作为虚拟眼镜的关键点，并确定水平方向，同时基于关键点与鼻部特征点之间的方向确定垂直方向，从而可以确定虚拟眼镜的位置和姿态。该定位方式可基于人脸的三维坐标信息自动将虚拟眼镜贴合至人脸上，不需要人工干预，能够提高效率；且对于不同的脸型可以自适应调整虚拟眼镜的位姿，可以适配不同的脸型。此外，该方式计算简单，可以快速确定虚拟眼镜的位姿，可适用于需要实时调整虚拟眼镜位姿的场景。
在上述实施例的基础上，为简化计算，将归一化后的方向作为虚拟眼镜的水平方向，即该水平方向是单位向量。上述步骤103“根据左目中心点与右目中心点之间的方向确定虚拟眼镜的水平方向”包括：
步骤A1：根据左目中心点的三维坐标(xL,yL,zL)和右目中心点的三维坐标(xR,yR,zR)确定左目中心点与右目中心点之间的方向，并进行归一化处理，生成虚拟眼镜的水平方向Nhor；
Nhor＝±Normalize((xL,yL,zL)-(xR,yR,zR))；Normalize()表示归一化处理。
本发明实施例中，以方向向量来表示虚拟眼镜的水平方向。左目中心点到右目中心点所表示的方向可以为(xL,yL,zL)-(xR,yR,zR)，对该方向进行归一化处理后即可确定虚拟眼镜的水平方向Nhor，且Nhor＝Normalize((xL,yL,zL)-(xR,yR,zR))；其中，Normalize()表示归一化处理，用于将方向向量转换为单位向量。此外，左目中心点与右目中心点之间的方向也可以为(xR,yR,zR)-(xL,yL,zL)，故该虚拟眼镜的水平方向具体可以是Nhor＝±Normalize((xL,yL,zL)-(xR,yR,zR))。
相似地，上述步骤103“根据关键点与人脸的鼻部特征点之间的方向确定虚拟眼镜的垂直方向”包括：
步骤B1：提取出三维坐标信息中的鼻尖点的三维坐标(xN,yN,zN)。
步骤B2：根据关键点的三维坐标(x0,y0,z0)和鼻尖点的三维坐标(xN,yN,zN)确定关键点与鼻尖点之间的方向，并进行归一化处理，生成虚拟眼镜的垂直方向Nver；
Nver＝±Normalize((x0,y0,z0)-(xN,yN,zN))；Normalize()表示归一化处理。
本发明实施例中，鼻部特征点可以包含多个特征点，本实施例中选用鼻尖点对应的特征点，基于关键点与鼻尖点之间的方向来确定虚拟眼镜的垂直方向。与上述步骤A1类似，关键点与鼻尖点之间的方向可以为±((x0,y0,z0)-(xN,yN,zN))，对该方向进行归一化处理，即可确定垂直方向Nver，且Nver＝±Normalize((x0,y0,z0)-(xN,yN,zN))。
本发明实施例中，通过归一化处理，可以生成单位向量的水平方向和垂直方向，进而在后续确定虚拟眼镜姿态时可以简化计算。例如，基于该水平方向和垂直方向可以确定一个平面，由于水平方向和垂直方向不平行，故可以进一步确定该平面的法向量，水平方向、垂直方向和法向量可以分别确定一个角度，例如偏航角、滚动角、俯仰角等，从而可以方便快速地确定虚拟眼镜的姿态。
上文详细描述了本发明实施例提供的三维虚拟眼镜的定位方法，该方法也可以通过相应的装置实现，下面详细描述本发明实施例提供的三维虚拟眼镜的定位装置。
图3示出了本发明实施例所提供的一种三维虚拟眼镜的定位装置的结构示意图。如图3所示，该三维虚拟眼镜的定位装置包括：
获取模块31，用于获取人脸的三维坐标信息，根据所述三维坐标信息确定左目中心点的三维坐标和右目中心点的三维坐标；
关键点确定模块32，用于将所述左目中心点与所述右目中心点之间的中点作为虚拟眼镜的关键点，并确定所述关键点的三维坐标；
方向确定模块33，用于根据所述左目中心点与所述右目中心点之间的方向确定所述虚拟眼镜的水平方向，根据所述关键点与所述人脸的鼻部特征点之间的方向确定所述虚拟眼镜的垂直方向；
位姿确定模块34，用于根据所述关键点的三维坐标、所述水平方向和所述垂直方向确定所述虚拟眼镜的位姿。
在上述实施例的基础上，所述获取模块31根据所述三维坐标信息确定左目中心点的三维坐标和右目中心点的三维坐标，包括：
提取出所述三维坐标信息中的左目周围点和右目周围点；根据所述左目周围点的三维坐标确定左目中心点的三维坐标(xL,yL,zL)，并根据所述右目周围点的三维坐标确定右目中心点的三维坐标(xR,yR,zR)；
Figure BDA0002774777200000101
其中，m表示左目周围点的数量，且第i个左目周围点的三维坐标为(xli,yli,zli)；n表示左目周围点的数量，且第i个右目周围点的三维坐标为(xri,yri,zri)。
在上述实施例的基础上，所述关键点确定模块32确定所述关键点的三维坐标，包括：
根据所述左目中心点的三维坐标(xL,yL,zL)和所述右目中心点的三维坐标(xR,yR,zR)确定所述关键点的三维坐标(x0,y0,z0)，且：
Figure BDA0002774777200000102
在上述实施例的基础上，所述方向确定模块33根据所述左目中心点与所述右目中心点之间的方向确定所述虚拟眼镜的水平方向，包括：
根据所述左目中心点的三维坐标(xL,yL,zL)和所述右目中心点的三维坐标(xR,yR,zR)确定所述左目中心点与所述右目中心点之间的方向，并进行归一化处理，生成所述虚拟眼镜的水平方向Nhor；
Nhor＝±Normalize((xL,yL,zL)-(xR,yR,zR))；Normalize()表示归一化处理。
在上述实施例的基础上，所述方向确定模块33根据所述关键点与所述人脸的鼻部特征点之间的方向确定所述虚拟眼镜的垂直方向，包括：
提取出所述三维坐标信息中的鼻尖点的三维坐标(xN,yN,zN)；
根据所述关键点的三维坐标(x0,y0,z0)和所述鼻尖点的三维坐标(xN,yN,zN)确定所述关键点与所述鼻尖点之间的方向，并进行归一化处理，生成所述虚拟眼镜的垂直方向Nver；
Nver＝±Normalize((x0,y0,z0)-(xN,yN,zN))；Normalize()表示归一化处理。
本发明实施例提供的一种三维虚拟眼镜的定位装置，利用眼睛中心鼻部位置基本不变的特性，将左目中心点与右目中心点之间的中心作为虚拟眼镜的关键点，并确定水平方向，同时基于关键点与鼻部特征点之间的方向确定垂直方向，从而可以确定虚拟眼镜的位置和姿态。该定位方式可基于人脸的三维坐标信息自动将虚拟眼镜贴合至人脸上，不需要人工干预，能够提高效率；且对于不同的脸型可以自适应调整虚拟眼镜的位姿，可以适配不同的脸型。此外，该方式计算简单，可以快速确定虚拟眼镜的位姿，可适用于需要实时调整虚拟眼镜位姿的场景。通过归一化处理，可以生成单位向量的水平方向和垂直方向，进而在后续确定虚拟眼镜姿态时可以简化计算。
此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述三维虚拟眼镜的定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
具体的，参见图4所示，本发明实施例还提供了一种电子设备，该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150和用户接口1160。
在本发明实施例中，该电子设备还包括：存储在存储器1150上并可在处理器1120上运行的计算机程序，计算机程序被处理器1120执行时实现上述三维虚拟眼镜的定位方法实施例的各个过程。
收发器1130，用于在处理器1120的控制下接收和发送数据。
本发明实施例中，总线架构(用总线1110来代表)，总线1110可以包括任意数量互联的总线和桥，总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。
总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个，包括存储器总线以及存储器控制器、外围总线、加速图形端口(Accelerate Graphical Port，AGP)、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制，这样的体系结构包括：工业标准体系结构(Industry Standard Architecture，ISA)总线、微通道体系结构(Micro Channel Architecture，MCA)总线、扩展ISA(Enhanced ISA，EISA)总线、视频电子标准协会(Video Electronics Standards Association，VESA)、外围部件互连(Peripheral Component Interconnect，PCI)总线。
处理器1120可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括：通用处理器、中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)、可编程逻辑阵列(Programmable Logic Array，PLA)、微控制单元(Microcontroller Unit，MCU)或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤及逻辑框图。例如，处理器可以是单核处理器或多核处理器，处理器可以集成于单颗芯片或位于多颗不同的芯片。
处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成，或者由译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(Random Access Memory，RAM)、闪存(FlashMemory)、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
总线1110还可以将，例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起，总线接口1140在总线1110和收发器1130之间提供接口，这些都是本领域所公知的。因此，本发明实施例不再对其进行进一步描述。
收发器1130可以是一个元件，也可以是多个元件，例如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发器1130从其他设备接收外部数据，收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机系统的性质，还可以提供用户接口1160，例如：触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。
应理解，在本发明实施例中，存储器1150可进一步包括相对于处理器1120远程设置的存储器，这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络(ad hoc network)、内联网(intranet)、外联网(extranet)、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、互联网(Internet)、公共交换电话网(PSTN)、普通老式电话业务网(POTS)、蜂窝电话网、无线网络、无线保真(Wi-Fi)网络以及两个或更多个上述网络的组合。例如，蜂窝电话网和无线网络可以是全球移动通信(GSM)系统、码分多址(CDMA)系统、全球微波互联接入(WiMAX)系统、通用分组无线业务(GPRS)系统、宽带码分多址(WCDMA)系统、长期演进(LTE)系统、LTE频分双工(FDD)系统、LTE时分双工(TDD)系统、先进长期演进(LTE-A)系统、通用移动通信(UMTS)系统、增强移动宽带(Enhance Mobile Broadband，eMBB)系统、海量机器类通信(massive Machine Type of Communication，mMTC)系统、超可靠低时延通信(UltraReliable Low Latency Communications，uRLLC)系统等。
应理解，本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器，或可包括易失性存储器和非易失性存储器两者。其中，非易失性存储器包括：只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存(Flash Memory)。
易失性存储器包括：随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如：静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本发明实施例描述的电子设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。
在本发明实施例中，存储器1150存储了操作系统1151和应用程序1152的如下元素：可执行模块、数据结构，或者其子集，或者其扩展集。
具体而言，操作系统1151包含各种系统程序，例如：框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1152包含各种应用程序，例如：媒体播放器(Media Player)、浏览器(Browser)，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152中。应用程序1152包括：小程序、对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象数据类型的计算机系统可执行指令。
此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述三维虚拟眼镜的定位方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体，是可以保留和存储供指令执行设备所使用指令的有形设备。计算机可读存储介质包括：电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可读存储介质包括：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械编码装置(例如在其上记录有指令的凹槽中的穿孔卡或凸起结构)或任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照本发明实施例中的界定，计算机可读存储介质不包括暂时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如穿过光纤电缆的光脉冲)或通过导线传输的电信号。
在本申请所提供的几个实施例中，应该理解到，所披露的装置、电子设备和方法，可以通过其他的方式实现。例如，以上描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的、机械的或其他的形式连接。
所述作为分离部件说明的单元可以是或也可以不是物理上分开的，作为单元显示的部件可以是或也可以不是物理单元，既可以位于一个位置，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或全部单元来解决本发明实施例方案要解决的问题。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术作出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(包括：个人计算机、服务器、数据中心或其他网络设备)执行本发明各个实施例所述方法的全部或部分步骤。而上述存储介质包括如前述所列举的各种可以存储程序代码的介质。
以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例披露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种三维虚拟眼镜的定位方法，其特征在于，包括：
获取人脸的三维坐标信息，根据所述三维坐标信息确定左目中心点的三维坐标和右目中心点的三维坐标；
将所述左目中心点与所述右目中心点之间的中点作为虚拟眼镜的关键点，并确定所述关键点的三维坐标；
根据所述左目中心点与所述右目中心点之间的方向确定所述虚拟眼镜的水平方向，根据所述关键点与所述人脸的鼻部特征点之间的方向确定所述虚拟眼镜的垂直方向；
根据所述关键点的三维坐标、所述水平方向和所述垂直方向确定所述虚拟眼镜的位姿。
2.根据权利要求1所述的定位方法，其特征在于，所述根据所述三维坐标信息确定左目中心点的三维坐标和右目中心点的三维坐标，包括：
提取出所述三维坐标信息中的左目周围点和右目周围点；根据所述左目周围点的三维坐标确定左目中心点的三维坐标(xL,yL,zL)，并根据所述右目周围点的三维坐标确定右目中心点的三维坐标(xR,yR,zR)；
Figure FDA0002774777190000011
其中，m表示左目周围点的数量，且第i个左目周围点的三维坐标为(xli,yli,zli)；n表示左目周围点的数量，且第i个右目周围点的三维坐标为(xri,yri,zri)。
3.根据权利要求1所述的方法，其特征在于，所述确定所述关键点的三维坐标，包括：
根据所述左目中心点的三维坐标(xL,yL,zL)和所述右目中心点的三维坐标(xR,yR,zR)确定所述关键点的三维坐标(x0,y0,z0)，且：
Figure FDA0002774777190000021
4.根据权利要求1-3任意一项所述的方法，其特征在于，所述根据所述左目中心点与所述右目中心点之间的方向确定所述虚拟眼镜的水平方向，包括：
根据所述左目中心点的三维坐标(xL,yL,zL)和所述右目中心点的三维坐标(xR,yR,zR)确定所述左目中心点与所述右目中心点之间的方向，并进行归一化处理，生成所述虚拟眼镜的水平方向Nhor；
Nhor＝±Normalize((xL,yL,zL)-(xR,yR,zR))；Normalize()表示归一化处理。
5.根据权利要求1-3任意一项所述的方法，其特征在于，所述根据所述关键点与所述人脸的鼻部特征点之间的方向确定所述虚拟眼镜的垂直方向，包括：
提取出所述三维坐标信息中的鼻尖点的三维坐标(xN,yN,zN)；
根据所述关键点的三维坐标(x0,y0,z0)和所述鼻尖点的三维坐标(xN,yN,zN)确定所述关键点与所述鼻尖点之间的方向，并进行归一化处理，生成所述虚拟眼镜的垂直方向Nver；
Nver＝±Normalize((x0,y0,z0)-(xN,yN,zN))；Normalize()表示归一化处理。
6.一种三维虚拟眼镜的定位装置，其特征在于，包括：
获取模块，用于获取人脸的三维坐标信息，根据所述三维坐标信息确定左目中心点的三维坐标和右目中心点的三维坐标；
关键点确定模块，用于将所述左目中心点与所述右目中心点之间的中点作为虚拟眼镜的关键点，并确定所述关键点的三维坐标；
方向确定模块，用于根据所述左目中心点与所述右目中心点之间的方向确定所述虚拟眼镜的水平方向，根据所述关键点与所述人脸的鼻部特征点之间的方向确定所述虚拟眼镜的垂直方向；
位姿确定模块，用于根据所述关键点的三维坐标、所述水平方向和所述垂直方向确定所述虚拟眼镜的位姿。
7.根据权利要求6所述的定位装置，其特征在于，所述获取模块根据所述三维坐标信息确定左目中心点的三维坐标和右目中心点的三维坐标，包括：
提取出所述三维坐标信息中的左目周围点和右目周围点；根据所述左目周围点的三维坐标确定左目中心点的三维坐标(xL,yL,zL)，并根据所述右目周围点的三维坐标确定右目中心点的三维坐标(xR,yR,zR)；
Figure FDA0002774777190000031
其中，m表示左目周围点的数量，且第i个左目周围点的三维坐标为(xli,yli,zli)；n表示左目周围点的数量，且第i个右目周围点的三维坐标为(xri,yri,zri)。
8.根据权利要求6所述的装置，其特征在于，所述关键点确定模块确定所述关键点的三维坐标，包括：
根据所述左目中心点的三维坐标(xL,yL,zL)和所述右目中心点的三维坐标(xR,yR,zR)确定所述关键点的三维坐标(x0,y0,z0)，且：
Figure FDA0002774777190000032
9.一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的三维虚拟眼镜的定位方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的三维虚拟眼镜的定位方法中的步骤。
CN202011261451.2A 2020-11-12 2020-11-12 一种三维虚拟眼镜的定位方法、装置及电子设备 Active CN112328084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011261451.2A CN112328084B (zh) 2020-11-12 2020-11-12 一种三维虚拟眼镜的定位方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011261451.2A CN112328084B (zh) 2020-11-12 2020-11-12 一种三维虚拟眼镜的定位方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112328084A true CN112328084A (zh) 2021-02-05
CN112328084B CN112328084B (zh) 2024-06-28

Family

ID=74317709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011261451.2A Active CN112328084B (zh) 2020-11-12 2020-11-12 一种三维虚拟眼镜的定位方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN112328084B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157073A (ja) * 2008-12-26 2010-07-15 Fujitsu Ltd 顔認識装置、顔認識方法及び顔認識プログラム
US20130249942A1 (en) * 2012-03-21 2013-09-26 Gm Global Technology Operations Llc. System and apparatus for augmented reality display and controls
TW201445457A (zh) * 2013-05-29 2014-12-01 Univ Ming Chuan 虛擬眼鏡試戴方法及其裝置
CN104408764A (zh) * 2014-11-07 2015-03-11 成都好视界眼镜有限公司 眼镜虚拟试戴方法、装置及系统
CN104809638A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种基于移动终端的眼镜虚拟试戴方法和系统
CN105809507A (zh) * 2016-02-29 2016-07-27 北京酷配科技有限公司 一种虚拟试戴方法、虚拟试戴装置
CN107103513A (zh) * 2017-04-23 2017-08-29 广州帕克西软件开发有限公司 一种眼镜虚拟试戴方法
CN109063539A (zh) * 2018-06-08 2018-12-21 平安科技（深圳）有限公司 眼镜虚拟佩戴方法、装置、计算机设备及存储介质
CN110892315A (zh) * 2017-06-01 2020-03-17 卡尔蔡司光学国际有限公司 用于眼镜架的虚拟配适的方法、设备和计算机程序
US20200219326A1 (en) * 2019-01-04 2020-07-09 Jand, Inc. Virtual try-on systems and methods for spectacles
CN111815382A (zh) * 2019-04-11 2020-10-23 苏州工其器智能科技有限公司 一种基于人脸识别技术的眼镜虚拟试戴方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157073A (ja) * 2008-12-26 2010-07-15 Fujitsu Ltd 顔認識装置、顔認識方法及び顔認識プログラム
US20130249942A1 (en) * 2012-03-21 2013-09-26 Gm Global Technology Operations Llc. System and apparatus for augmented reality display and controls
TW201445457A (zh) * 2013-05-29 2014-12-01 Univ Ming Chuan 虛擬眼鏡試戴方法及其裝置
CN104408764A (zh) * 2014-11-07 2015-03-11 成都好视界眼镜有限公司 眼镜虚拟试戴方法、装置及系统
CN104809638A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种基于移动终端的眼镜虚拟试戴方法和系统
CN105809507A (zh) * 2016-02-29 2016-07-27 北京酷配科技有限公司 一种虚拟试戴方法、虚拟试戴装置
CN107103513A (zh) * 2017-04-23 2017-08-29 广州帕克西软件开发有限公司 一种眼镜虚拟试戴方法
CN110892315A (zh) * 2017-06-01 2020-03-17 卡尔蔡司光学国际有限公司 用于眼镜架的虚拟配适的方法、设备和计算机程序
CN109063539A (zh) * 2018-06-08 2018-12-21 平安科技（深圳）有限公司 眼镜虚拟佩戴方法、装置、计算机设备及存储介质
WO2019232871A1 (zh) * 2018-06-08 2019-12-12 平安科技（深圳）有限公司 眼镜虚拟佩戴方法、装置、计算机设备及存储介质
US20200219326A1 (en) * 2019-01-04 2020-07-09 Jand, Inc. Virtual try-on systems and methods for spectacles
CN111815382A (zh) * 2019-04-11 2020-10-23 苏州工其器智能科技有限公司 一种基于人脸识别技术的眼镜虚拟试戴方法

Also Published As

Publication number Publication date
CN112328084B (zh) 2024-06-28

Similar Documents

Publication Publication Date Title
CN111985265B (zh) 图像处理方法和装置
US20180091921A1 (en) Head-related transfer function measurement and application
US9466142B2 (en) Facial movement based avatar animation
WO2020173329A1 (zh) 一种图像融合的方法、模型训练的方法以及相关装置
CN108985212A (zh) 人脸识别方法及装置
WO2019127108A1 (en) Key-point guided human attribute recognition using statistic correlation models
KR102491773B1 (ko) 이미지 변형 제어 방법, 장치 및 하드웨어 장치
JP7210602B2 (ja) オーディオ信号の処理用の方法及び装置
US11017253B2 (en) Liveness detection method and apparatus, and storage medium
WO2020124994A1 (zh) 活体检测方法、装置、电子设备及存储介质
CN116508100A (zh) 用文本和言语自动生成面部动作单元的面部动画控制
EP3262610B1 (en) Fast adaptive estimation of motion blur for coherent rendering
CN113344776B (zh) 图像处理方法、模型训练方法、装置、电子设备及介质
CN112991208B (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN114049674A (zh) 一种三维人脸重建方法、装置及存储介质
US10417738B2 (en) System and method for displaying graphical effects based on determined facial positions
CN112328084A (zh) 一种三维虚拟眼镜的定位方法、装置及电子设备
CN109816791B (zh) 用于生成信息的方法和装置
CN112714337A (zh) 视频处理方法、装置、电子设备和存储介质
CN110059739B (zh) 图像合成方法、装置、电子设备和计算机可读存储介质
CN115147524B (zh) 一种3d动画的生成方法及电子设备
CN114187173A (zh) 模型训练方法、图像处理方法及装置、电子设备、介质
CN114445510A (zh) 一种图像优化方法、装置、电子设备和存储介质
WO2024077792A1 (zh) 视频生成方法、装置、设备与计算机可读存储介质
CN113553959B (zh) 动作识别方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant