CN106203364B - 一种3d眼镜互动试戴系统及方法 - Google Patents

一种3d眼镜互动试戴系统及方法 Download PDF

Info

Publication number
CN106203364B
CN106203364B CN201610562611.4A CN201610562611A CN106203364B CN 106203364 B CN106203364 B CN 106203364B CN 201610562611 A CN201610562611 A CN 201610562611A CN 106203364 B CN106203364 B CN 106203364B
Authority
CN
China
Prior art keywords
glasses
facial image
user
image
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610562611.4A
Other languages
English (en)
Other versions
CN106203364A (zh
Inventor
谭军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Paxoi Software Development Co Ltd
Original Assignee
Guangzhou Paxoi Software Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Paxoi Software Development Co Ltd filed Critical Guangzhou Paxoi Software Development Co Ltd
Priority to CN201610562611.4A priority Critical patent/CN106203364B/zh
Publication of CN106203364A publication Critical patent/CN106203364A/zh
Application granted granted Critical
Publication of CN106203364B publication Critical patent/CN106203364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种3D眼镜互动试戴方法，包括：实时获取所拍摄范围内的当前图像；当检测到当前图像中仅存在一个用户的人脸图像时，根据所述人脸图像获得符合所述人脸图像的至少一副3D眼镜，并将其中一副3D眼镜显示在所述人脸图像上以使用户试戴3D眼镜；在检测到用户的人脸摇动第一预定角度时，根据所述第一预定角度时切换3D眼镜以使用户试戴不同的3D眼镜。本发明还提供了对应的系统。本发明可实现用户试戴不同的3D眼镜以及不同用户之间试戴3D眼镜，增加了试戴的互动性，且增强试戴娱乐性。

Description

一种3D眼镜互动试戴系统及方法
技术领域
本发明涉及数字处理技术领域，更具体地说，涉及一种3D眼镜互动试戴系统及方法。
背景技术
目前基于3D眼镜试戴的方式有以下几种方式：第一，通过微软发行的Kinect体感设备和微软发布的Kinect程序二次开发包，以红外检测的方式，达到人体移动的时候红外检测点实时的进行移动，再将虚拟的眼镜模型与已经检测到的红外点进行绑定，达到位置的同步移动；第二，基于平面图片的眼镜虚拟试戴，通过用户上传自己的照片来实现眼镜虚拟试戴，通过对平面图形的面部识别算法来识别用户上传的照片中的人脸部分，从而将眼镜图片与之叠加；第三，基于Total Immersion SDK的眼镜虚拟试戴，通过已经开发并封装好的SDK进行二次技术开发，进而到达较好的眼镜试戴效果和性能。
然而，目前3D眼镜试戴均存在如下缺陷：试戴互动性差，例如，不能实时根据用户的需求而进行试戴，多用户之间互动试戴，缺乏娱乐性。
发明内容
本发明要解决的技术问题在于，针对现有3D眼镜试戴的上述不足，提供一种3D眼镜互动试戴系统及方法。
本发明解决上述问题所采用的的技术方案是提供了一种3D眼镜互动试戴方法，包括以下步骤：
实时获取所拍摄范围内的当前图像；
当检测到当前图像中仅存在一个用户的人脸图像时，根据所述人脸图像获得符合所述人脸图像的至少一副3D眼镜，并将其中一副3D眼镜显示在所述人脸图像上以使用户试戴3D眼镜；
在检测到用户的人脸摇动第一预定角度时，根据所述第一预定角度时切换3D眼镜以使用户试戴不同的3D眼镜。
其中，还包括：
当检测到当前图像中存在至少一个用户的人脸图像时，根据其中一个用户的人脸图像获得符合所述人脸图像的3D眼镜，并将3D眼镜显示在所述人脸图像上以使用户试戴所述3D眼镜；
在检测到已试戴3D眼镜的用户的人脸向一预设方向转动第二预定角度时，将3D眼镜显示在未试戴3D眼镜的其中一个用户的人脸图像上，以使不同用户试戴3D眼镜。
其中，所述根据所述人脸图像获取符合所述人脸图像的一副3D眼镜的步骤包括：
实时获取所述人脸图像；
将所述人脸图像进行处理以获取所述人脸图像的2D特征点组，并根据所述2D特征点组识别所述人脸图像中是否包含人脸；
在识别到所述人脸图像中包含人脸时，根据所述2D特征点组计算人头的三维位置和姿态，以及左右外眼角之间的距离；
根据所述人头的三维位置和姿态以及左右外眼角之间的距离，确认眼镜3D模型的位置、姿态和缩放比例，并对所述眼镜3D模型进行渲染以得到所述眼镜3D模型的2D投影；
将所述2D投影与所述人脸图像进行融合以得到3D眼镜。
其中，所述根据所述2D特征点组计算人头的三维位置和姿态，以及左右外眼角之间的距离的步骤包括：
将所述2D特征点组通过ASM算法进行定位以得到关键特征点组的三维像素坐标；
根据所述关键特征点组的三维像素坐标计算所述人头的三维位置和姿态，以及左右外眼角之间的距离。
其中，所述将3D眼镜显示在所述人脸图像上以使用户试戴所述3D眼镜的步骤包括：
实时检测所述人脸图像相对于预定坐标的位置；
在检测到所述人脸图像相对于预定坐标而移动预设距离时，将3D眼镜相对于预定坐标而移动对应的预设距离以使3D眼镜显示在所述人脸图像上，进而使用户试戴3D眼镜。
为解决上述技术问题，本发明采用的另一技术方案是提供一种3D眼镜互动试戴系统，包括：
摄像头，用于实时获取所拍摄范围内的当前图像；
处理设备，用于当检测到当前图像中仅存在一个用户的人脸图像时，根据所述人脸图像获得符合所述人脸图像的至少一副3D眼镜；
显示设备，用于将其中一副3D眼镜显示在所述人脸图像上以使用户试戴3D眼镜；
所述处理设备进一步用于在检测到用户的人脸摇动到第一预定角度时，根据所述第一预定角度切换3D眼镜以使用户试戴不同的3D眼镜。
其中，所述处理设备还用于当检测到存在当前图像中至少一个用户的人脸图像时，根据其中一个用户的人脸图像获得符合所述人脸图像的3D眼镜；
所述显示设备还用于将3D眼镜显示在所述人脸图像上以使用户试戴所述3D眼镜；
所述处理设备进一步用于在检测到已试戴3D眼镜的用户的人脸向一预设方向转动第二预定角度时，将3D眼镜显示在未试戴3D眼镜的其中一个用户的人脸图像上，以使不同用户试戴3D眼镜。
其中，所述处理设备包括：
识别模块，用于在获取到人脸图像后，将所述人脸图像进行处理以获取所述人脸图像的2D特征点组，并根据所述2D特征点组识别所述人脸图像中是否包含人脸
跟踪模块，用于在识别到所述人脸图像中包含人脸时，根据所述2D特征点组计算人头的三维位置和姿态，以及左右外眼角之间的距离；
渲染模块，用于根据所述人头的三维位置和姿态以及左右外眼角之间的距离，确认眼镜3D模型的位置、姿态和缩放比例，并对所述眼镜3D模型进行渲染以得到所述眼镜3D模型的2D投影；
融合模块，用于将所述2D投影与所述人脸图像进行融合以得到3D眼镜。
其中，所述跟踪模块具体用于执行以下动作：
将所述2D特征点组通过ASM算法进行定位以得到关键特征点组的三维像素坐标；
根据所述关键特征点组的三维像素坐标计算所述人头的三维位置和姿态，以及左右外眼角之间的距离。
其中，所述处理设备还用于实时检测所述人脸图像相对于预定坐标的位置，并在在检测到所述人脸图像相对于预定坐标而移动预设距离时，将3D眼镜相对于预定坐标而移动对应的预设距离；
所述显示设备还用于将相对于预定坐标而移动对应的预设距离的3D眼镜进行显示以使3D眼镜显示在所述人脸图像上，进而使用户试戴3D眼镜。
实施本发明，具有以下有益效果：在仅存在一个用户的人脸图像时，根据人脸图像获取3D眼镜，并通过人脸摇动第一预定角度来进行3D眼镜的切换，以实现用户试戴不同的3D眼镜，进而达到互动试戴不同的3D眼镜的效果。同时，在存在多个用户的人脸图像时，选取其中一个用户的人脸图像来获取3D眼镜以试戴3D眼镜，通过检测该已试戴3D眼镜的用户的人脸是否向预设方向转动第二预定角度来使不同的用户试戴3D眼镜，进而到达不同用户之间互动试戴的效果，增强娱乐性。另外，用户试戴的3D眼镜随着用户的人脸的移动而移动，实时性强。
附图说明
图1是本发明的3D眼镜互动试戴方法第一实施例的流程图。
图2是本发明的根据人脸图像获得符合该人脸图像的一副3D眼镜实施例的流程图。
图3a和3b是本发明的3D眼镜互动试戴的一个应用场景的示意图。
图4是本发明的3D眼镜互动试戴方法第二实施例的流程图。
图5a和5b是本发明的3D眼镜互动试戴的另一个应用场景的示意图。
图6是本发明的3D眼镜互动试戴系统实施例的结构示意图。
图7是本发明的处理设备实施例的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，是本发明的3D眼镜互动试戴方法第一实施例的流程图，包括以下步骤：
S102、当检测到仅存在一个用户的人脸图像时，根据所述人脸图像获得符合所述人脸图像的至少一副3D眼镜，并将其中一副3D眼镜显示在所述人脸图像上以使用户试戴3D眼镜；
在此步骤之前，实时获取所拍摄的范围内的当前图像，进而检测是否存在用户的人脸图像，可通过摄像头实时拍摄当前图像，再通过分析当前图像来实时检测当前是否存在用户的人脸图像。在检测到仅存在一个用户的人脸图像时，根据人脸图像获得符合该人脸图像的至少一副3D眼镜，将其中一副3D眼镜显示在该人脸图像上，即该用户试戴3D眼镜，其中在获得符合该人脸图像的两幅3D眼镜时，两幅3D眼镜的类型或者风格不相同，而3D眼镜的类型或者风格可根据人脸图像中人头的位置和姿态来确定。
具体地，如图2所示，根据人脸图像获得符合该人脸图像的一副3D眼镜的步骤包括：
在步骤S201中，实时获取该人脸图像。在此步骤中，摄像头实时获取所拍摄的范围内的当前图像，进而可从当前图像中获取人脸图像。
随后，在步骤S202中，将该人脸图像进行处理以获取该人脸图像的2D特征点组；在此步骤中，通过AdaBoost算法将该人脸图像进行处理得到2D特征点组。
在步骤S203中，根据2D特征点组识别该人脸图像中是否包含人脸；若识别到该人脸图像中包含人脸，则执行步骤S204，否则，执行步骤S201。在此步骤中，2D特征点组包括眼眉、眼睛、鼻子或嘴巴等的特征点时，则识别该人脸图像中包含人脸。
在步骤S204中，在识别到该人脸图像中包含人脸时，根据2D特征点组计算人头的三维位置和姿态，以及左右外眼角之间的距离；在此步骤中，具体地，首先，将2D特征点组通过ASM算法进行定位以得到关键特征点组的三维像素坐标；然后，再根据关键特征点组的三维像素坐标计算所述人头的三维位置和姿态，以及左右外眼角之间的距离。关键特征点组包括面部的86个特征点。
随后，在步骤S205中，根据步骤S204中计算得到的人头的三维位置和姿态以及左右外眼角之间的距离，确认眼镜3D模型的位置、姿态和缩放比例，并对该眼镜3D模型进行渲染以得到所述眼镜3D模型的2D投影。在此步骤中，通过投射投影法对该眼镜3D模型进行渲染。
最后，在步骤S206中，将上述2D投影与该人脸图像进行融合以得到3D眼镜。在此步骤中，通过融合算法将上述2D投影与该人脸图像进行融合。在本发明中，通过上述步骤，帧率可达到27FPS，可实现实时试戴。
具体地，将3D眼镜显示在人脸图像上以使用户试戴所述3D眼镜的步骤包括：首先，实时检测人脸图像相对于预定坐标的位置；预定坐标可以为当前图像的中心点的坐标，也可以为其他位置点的坐标。其次，在检测到人脸图像相对于预定坐标而移动预设距离时，将3D眼镜相对于预定坐标而移动对应的预设距离以使3D眼镜显示在人脸图像上，进而使用户试戴3D眼镜。用户的移动引起人脸图像的移动，根据人脸图像的移动预设距离，相应地3D眼镜也移动对应的预设距离，进而实现用户与3D眼镜之间的实时试戴。
S104、在检测到用户的人脸摇动第一预定角度时，根据所述第一预定角度切换3D眼镜以使用户试戴不同的3D眼镜。
当人脸摇动第一预定角度时，此时根据该第一预定角度来切换3D眼镜，该第一预定角度为自定义的角度，若人脸摇动的角度大于或等于第一预定角度时，切换3D眼镜，而若人脸摇动的角度小于第一预定角度时，不进行3D眼镜的切换，在本实施例中，根据第一预定角度切换的3D眼镜，可根据人脸摇动该第一预设角度时人脸的位置和姿态来确定切换后的3D眼镜。如图3a所示，为人脸摇动前试戴一3D眼镜的情景，如图3b所示，为人脸摇动第一预定角度后试戴另一3D眼镜的情景。用户通过这种互动试戴可更好选择适合自己的3D眼镜。
在本实施例中，通过实时检测当前是否存在用户的人脸图像，在仅存在一个用户的人脸图像时，根据人脸图像获取3D眼镜，并通过人脸摇动第一预定角度来进行3D眼镜的切换，以实现用户试戴不同的3D眼镜，进而达到互动试戴不同的3D眼镜的效果。
如图4所示，是本发明的3D眼镜互动试戴方法第二实施例的流程图，本实施例的方法与上述实施例中的方法的区别在于，该方法还包括以下步骤：
S106、当检测到存在至少一个用户的人脸图像时，根据其中一个用户的人脸图像获得符合该人脸图像的3D眼镜，并将3D眼镜显示在该人脸图像上以使用户试戴3D眼镜；
在此步骤中，在检测到当前存在多个用户的人脸图像时，可根据预定的顺序选取其中一个用户的人脸图像，根据该用户的人脸图像获得3D眼镜，进而该用户试戴3D眼镜，当然，也可随机选取用户的人脸图像。
S108、在检测到已试戴3D眼镜的用户的人脸向一预设方向转动第二预定角度时，将3D眼镜显示在未试戴3D眼镜的其中一个用户的人脸图像上，以使不同用户试戴3D眼镜。
在此步骤中，第二预定角度为自定义的角度，预设方向可以是向左，也可以是向右，当然，该预设方向可以根据未试戴3D眼镜的用户的人脸图像与已试戴3D眼镜的用户的人脸图像的位置关系来确定，例如，未试戴3D眼镜的用户的人脸图像位于已试戴3D眼镜的用户的人脸图像的右侧，则该预设方向为向右。如5a所示，是一个用户试戴3D眼镜的情景，此时，该用户向左边移动一定角度，如图5b所示，3D眼镜被另一用户试戴，通过这种互动试戴可使不同用户之间进行互动试戴，增强娱乐性。
在本实施例中，通过实时检测当前是否存在用户的人脸图像，在存在多个用户的人脸图像时，选取其中一个用户的人脸图像来获取3D眼镜以试戴3D眼镜，通过检测该已试戴3D眼镜的用户的人脸是否向预设方向转动第二预定角度来使不同的用户试戴3D眼镜，进而到达不同用户之间互动试戴的效果。
如图6所示，是本发明的3D眼镜互动试戴系统实施例的结构示意图，该系统600通过上述的方法来实现3D眼镜互动试戴，包括摄像头610、处理设备620和显示设备630，摄像头610、处理设备620和显示设备630依次连接。在本实施例中，处理设备620可为个人计算机，显示设备630可为LED显示器。
摄像头610用于实时获取所拍摄范围内的当前图像；
处理设备620用于当检测到仅存在一个用户的人脸图像时，根据该人脸图像获得符合该人脸图像的至少一副3D眼镜；显示设备630用于将其中一幅3D眼镜显示在该人脸图像上以使用户试戴3D眼镜。
处理设备620进一步用于在检测到用户的人脸摇动到第一预定角度时，根据该第一预定角度切换3D眼镜以使用户试戴不同的3D眼镜。
在本发明的另一实施例中，处理设备620还用于当检测到存在至少一个用户的人脸图像时，根据其中一个用户的人脸图像获得符合人脸图像的3D眼镜；
显示设备630还用于将3D眼镜显示在人脸图像上以使用户试戴所述3D眼镜；
处理设备620进一步用于在检测到已试戴3D眼镜的用户的人脸向一预设方向转动第二预定角度时，将3D眼镜显示在未试戴3D眼镜的其中一个用户的人脸图像上，以使不同用户试戴3D眼镜。
具体地，如图7所示，处理设备620根据该人脸图像获得符合该人脸图像的一副3D眼镜处理设备，包括识别模块621、跟踪模块622、渲染模块623和融合模块624。其中，识别模块621用于在获取到人脸图像后，将人脸图像进行处理以得到人脸图像的2D特征点组，并根据2D特征点组识别人脸图像中是否包含人脸；跟踪模块622用于在识别到人脸图像中包含人脸时，根据2D特征点组计算人头的三维位置和姿态，以及左右外眼角之间的距离，具体地，该跟踪模块622首先将2D特征点组通过ASM算法进行定位以得到关键特征点组的三维像素坐标，其次根据得到的关键特征点组的三维像素坐标计算人头的三维位置和姿态以及左右外眼角之间的距离。渲染模块623用于根据上述人头的三维位置和姿态以及左右外眼角之间的距离，确认眼镜3D模型的位置、姿态和缩放比例，并对该眼镜3D模型进行渲染以得到所述眼镜3D模型的2D投影，其中可通过投射投影法对该眼镜3D模型进行渲染。融合模块624用于将上述2D投影与该人脸图像进行融合以得到3D眼镜，其中可通过融合算法将上述2D投影与该人脸图像进行融合。
进一步地，处理模块620还用于实时检测人脸图像相对于预定坐标的位置，并在在检测到人脸图像相对于预定坐标而移动预设距离时，将3D眼镜相对于预定坐标而移动对应的预设距离，此时，显示设备630还用于将相对于预定坐标而移动对应的预设距离的3D眼镜进行显示以使3D眼镜显示在人脸图像上，进而使用户试戴3D眼镜。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种3D眼镜互动试戴方法，其特征在于，包括以下步骤：
实时获取所拍摄范围内的当前图像；
当检测到当前图像中仅存在一个用户的人脸图像时，根据所述人脸图像获得符合所述人脸图像的至少一副3D眼镜，并将其中一副3D眼镜显示在所述人脸图像上以使用户试戴3D眼镜；
在检测到用户的人脸摇动第一预定角度时，根据所述第一预定角度时切换3D眼镜以使用户试戴不同的3D眼镜；
当检测到当前图像中存在至少一个用户的人脸图像时，根据其中一个用户的人脸图像获得符合所述人脸图像的3D眼镜，并将3D眼镜显示在所述人脸图像上以使用户试戴所述3D眼镜；
在检测到已试戴3D眼镜的用户的人脸向一预设方向转动第二预定角度时，将3D眼镜显示在未试戴3D眼镜的其中一个用户的人脸图像上，以使不同用户试戴3D眼镜。
2.根据权利要求1中所述的方法，其特征在于，所述根据所述人脸图像获取符合所述人脸图像的一副3D眼镜的步骤包括：
实时获取所述人脸图像；
将所述人脸图像进行处理以获取所述人脸图像的2D特征点组，并根据所述2D特征点组识别所述人脸图像中是否包含人脸；
在识别到所述人脸图像中包含人脸时，根据所述2D特征点组计算人头的三维位置和姿态，以及左右外眼角之间的距离；
根据所述人头的三维位置和姿态以及左右外眼角之间的距离，确认眼镜3D模型的位置、姿态和缩放比例，并对所述眼镜3D模型进行渲染以得到所述眼镜3D模型的2D投影；
将所述2D投影与所述人脸图像进行融合以得到3D眼镜。
3.根据权利要求2中所述的方法，其特征在于，所述根据所述2D特征点组计算人头的三维位置和姿态，以及左右外眼角之间的距离的步骤包括：
将所述2D特征点组通过ASM算法进行定位以得到关键特征点组的三维像素坐标；
根据所述关键特征点组的三维像素坐标计算所述人头的三维位置和姿态，以及左右外眼角之间的距离。
4.根据权利要求1所述的方法，其特征在于，所述将3D眼镜显示在所述人脸图像上以使用户试戴所述3D眼镜的步骤包括：
实时检测所述人脸图像相对于预定坐标的位置；
在检测到所述人脸图像相对于预定坐标而移动预设距离时，将3D眼镜相对于预定坐标而移动对应的预设距离以使3D眼镜显示在所述人脸图像上，进而使用户试戴3D眼镜。
5.一种3D眼镜互动试戴系统，其特征在于，包括：
摄像头，用于实时获取所拍摄范围内的当前图像；
处理设备，用于当检测到当前图像中仅存在一个用户的人脸图像时，根据所述人脸图像获得符合所述人脸图像的至少一副3D眼镜；
显示设备，用于将其中一副3D眼镜显示在所述人脸图像上以使用户试戴3D眼镜；
所述处理设备进一步用于在检测到用户的人脸摇动到第一预定角度时，根据所述第一预定角度切换3D眼镜以使用户试戴不同的3D眼镜；
所述处理设备还用于当检测到当前图像中存在至少一个用户的人脸图像时，根据其中一个用户的人脸图像获得符合所述人脸图像的3D眼镜；
所述显示设备还用于将3D眼镜显示在所述人脸图像上以使用户试戴所述3D眼镜；
所述处理设备进一步用于在检测到已试戴3D眼镜的用户的人脸向一预设方向转动第二预定角度时，将3D眼镜显示在未试戴3D眼镜的其中一个用户的人脸图像上，以使不同用户试戴3D眼镜。
6.根据权利要求5中所述的系统，其特征在于，所述处理设备包括：
识别模块，用于在获取到人脸图像后，将所述人脸图像进行处理以获取所述人脸图像的2D特征点组，并根据所述2D特征点组识别所述人脸图像中是否包含人脸
跟踪模块，用于在识别到所述人脸图像中包含人脸时，根据所述2D特征点组计算人头的三维位置和姿态，以及左右外眼角之间的距离；
渲染模块，用于根据所述人头的三维位置和姿态以及左右外眼角之间的距离，确认眼镜3D模型的位置、姿态和缩放比例，并对所述眼镜3D模型进行渲染以得到所述眼镜3D模型的2D投影；
融合模块，用于将所述2D投影与所述人脸图像进行融合以得到3D眼镜。
7.根据权利要求6所述的系统，其特征在于，所述跟踪模块具体用于执行以下动作：
将所述2D特征点组通过ASM算法进行定位以得到关键特征点组的三维像素坐标；
根据所述关键特征点组的三维像素坐标计算所述人头的三维位置和姿态，以及左右外眼角之间的距离。
8.根据权利要求5中所述的系统，其特征在于，
所述处理设备还用于实时检测所述人脸图像相对于预定坐标的位置，并在在检测到所述人脸图像相对于预定坐标而移动预设距离时，将3D眼镜相对于预定坐标而移动对应的预设距离；
所述显示设备还用于将相对于预定坐标而移动对应的预设距离的3D眼镜进行显示以使3D眼镜显示在所述人脸图像上，进而使用户试戴3D眼镜。
CN201610562611.4A 2016-07-14 2016-07-14 一种3d眼镜互动试戴系统及方法 Active CN106203364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610562611.4A CN106203364B (zh) 2016-07-14 2016-07-14 一种3d眼镜互动试戴系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610562611.4A CN106203364B (zh) 2016-07-14 2016-07-14 一种3d眼镜互动试戴系统及方法

Publications (2)

Publication Number Publication Date
CN106203364A CN106203364A (zh) 2016-12-07
CN106203364B true CN106203364B (zh) 2019-05-24

Family

ID=57474911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610562611.4A Active CN106203364B (zh) 2016-07-14 2016-07-14 一种3d眼镜互动试戴系统及方法

Country Status (1)

Country Link
CN (1) CN106203364B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036624A1 (zh) * 2019-08-28 2021-03-04 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108573192B (zh) * 2017-03-09 2022-09-06 北京京东尚科信息技术有限公司 匹配人脸的眼镜试戴方法和装置
CN107025628B (zh) * 2017-04-26 2021-03-23 广州帕克西软件开发有限公司 一种2.5d眼镜虚拟试戴方法及装置
CN107945102A (zh) * 2017-10-23 2018-04-20 深圳市朗形网络科技有限公司 一种图片合成的方法及装置
CN109615593A (zh) * 2018-11-29 2019-04-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867321A (zh) * 2011-07-05 2013-01-09 艾迪讯科技股份有限公司 眼镜虚拟试戴互动服务系统与方法
CN103413118A (zh) * 2013-07-18 2013-11-27 毕胜 在线眼镜试戴方法
CN103544636A (zh) * 2013-11-08 2014-01-29 梁涛 基于虚拟商场的互动方法及设备
CN104217350A (zh) * 2014-06-17 2014-12-17 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
CN104299143A (zh) * 2014-10-20 2015-01-21 上海电机学院 虚拟试戴方法及装置
CN104750933A (zh) * 2015-04-03 2015-07-01 福建省纳金网信息技术有限公司 一种基于互联网的眼镜试戴方法及系统
CN104809638A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种基于移动终端的眼镜虚拟试戴方法和系统
CN104898832A (zh) * 2015-05-13 2015-09-09 深圳彼爱其视觉科技有限公司 一种基于智能终端的3d实时眼镜试戴方法
CN105354792A (zh) * 2015-10-27 2016-02-24 深圳市朗形网络科技有限公司 一种虚拟眼镜试戴方法及移动终端
CN105404392A (zh) * 2015-11-03 2016-03-16 北京英梅吉科技有限公司 基于单目摄像头的虚拟穿戴方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102867321A (zh) * 2011-07-05 2013-01-09 艾迪讯科技股份有限公司 眼镜虚拟试戴互动服务系统与方法
CN103413118A (zh) * 2013-07-18 2013-11-27 毕胜 在线眼镜试戴方法
CN103544636A (zh) * 2013-11-08 2014-01-29 梁涛 基于虚拟商场的互动方法及设备
CN104217350A (zh) * 2014-06-17 2014-12-17 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
CN104299143A (zh) * 2014-10-20 2015-01-21 上海电机学院 虚拟试戴方法及装置
CN104750933A (zh) * 2015-04-03 2015-07-01 福建省纳金网信息技术有限公司 一种基于互联网的眼镜试戴方法及系统
CN104898832A (zh) * 2015-05-13 2015-09-09 深圳彼爱其视觉科技有限公司 一种基于智能终端的3d实时眼镜试戴方法
CN104809638A (zh) * 2015-05-20 2015-07-29 成都通甲优博科技有限责任公司 一种基于移动终端的眼镜虚拟试戴方法和系统
CN105354792A (zh) * 2015-10-27 2016-02-24 深圳市朗形网络科技有限公司 一种虚拟眼镜试戴方法及移动终端
CN105404392A (zh) * 2015-11-03 2016-03-16 北京英梅吉科技有限公司 基于单目摄像头的虚拟穿戴方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036624A1 (zh) * 2019-08-28 2021-03-04 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN106203364A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106203364B (zh) 一种3d眼镜互动试戴系统及方法
US11307666B2 (en) Systems and methods of direct pointing detection for interaction with a digital device
EP2512141B1 (en) System and method of user interaction in augmented reality
Lv et al. Multimodal hand and foot gesture interaction for handheld devices
US9855496B2 (en) Stereo video for gaming
JP6295645B2 (ja) 物体検出方法及び物体検出装置
EP2521097B1 (en) System and Method of Input Processing for Augmented Reality
AU2014304760B2 (en) Devices, systems and methods of virtualizing a mirror
CN104380338B (zh) 信息处理器以及信息处理方法
Shen et al. Virtual mirror rendering with stationary rgb-d cameras and stored 3-d background
KR20170031733A (ko) 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들
US11164378B1 (en) Virtual reality detection and projection system for use with a head mounted display
KR101822471B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN106062821A (zh) 用于不受限制的slam的基于传感器的相机运动检测
WO2014120554A2 (en) Systems and methods for initializing motion tracking of human hands using template matching within bounded regions
JP2008535116A (ja) ３次元レンダリング用の方法及び装置
US20170206666A1 (en) Information processing apparatus, information processing method, and program
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
WO2014062663A1 (en) System and method for combining data from multiple depth cameras
CN111199583B (zh) 一种虚拟内容显示方法、装置、终端设备及存储介质
KR101256046B1 (ko) 공간 제스처 인식을 위한 신체 트래킹 방법 및 시스템
Igorevich et al. Hand gesture recognition algorithm based on grayscale histogram of the image
JP5555193B2 (ja) データ処理装置、データ処理システム、及びプログラム
CN102348093A (zh) Android手机视频聊天智能底座
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant