CN108986157A - 一种基于双目相机的虚拟发型交互装置及使用方法 - Google Patents

一种基于双目相机的虚拟发型交互装置及使用方法 Download PDF

Info

Publication number
CN108986157A
CN108986157A CN201810762554.3A CN201810762554A CN108986157A CN 108986157 A CN108986157 A CN 108986157A CN 201810762554 A CN201810762554 A CN 201810762554A CN 108986157 A CN108986157 A CN 108986157A
Authority
CN
China
Prior art keywords
camera
hair style
pressure bar
image
binocular camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810762554.3A
Other languages
English (en)
Inventor
李慧勤
王博
颜廷鑫
商建超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810762554.3A priority Critical patent/CN108986157A/zh
Publication of CN108986157A publication Critical patent/CN108986157A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于双目相机的虚拟发型交互装置，包括两组双目相机、头形测量装置、液晶触控显示屏和计算控制装置，计算机控制装置内部安装计算机控制系统；所述头形测量装置包括固定支架，固定支架上安装压力棒，压力棒与固定支架相接处的压力棒上设有固定槽，固定槽与固定支架之间设有弹簧；在压力棒内设有位控灯，在压力棒尾端标有棋盘标定格，压力棒前端安装有压力测头，压力测头上包裹有橡胶。该发明能得到较为准确的颅骨三维模型，在虚拟发型的应用上较为超前，三维模型的获得可以不需要对测试者的已有发型做出更改下得出，不影响顾客发型现状，方便快捷，准确的虚拟发型可以提升测试者或者顾客的体验感，增强交互理解能力，提高自信心。

Description

一种基于双目相机的虚拟发型交互装置及使用方法
技术领域
本发明涉及交互设备技术领域，具体是一种基于双目相机的虚拟发型交互装置及使用方法。
背景技术
目前，人们随着生活水平的提高，更加注重个人形象的外在表现，主要表现在人们的发型设计、服装搭配等外在形象。与服装搭配不同的是，发型设计往往不易达到满意，这与发型设计师的表达、技术以及顾客的思维想象能力都有很大关系；同时一个不满意的发型往往短时间内不能纠正，所以，如何在发型设计前根据顾客自身头形尺寸、个人喜好等因素确定发型并体现发型效果显得格外重要。
根据应用场合主要顾客人群来讲，绝大部分理发师不具备机器视觉的专业知识，理发师具备的专业知识往往不能让顾客完全明白其构思构图。所以需要一款对于专业知识要求较低的三维立体设备，以满足理发师们的操作要求。
针对这种三维立体设备来讲，目前三维立体图像构造主要集中于双目视觉和微软公司开发的kinect；双方相比较下，kinect需要顾客固定于旋转平台上，以匀速转动，kinect采集图像之后再后台处理拟合。其缺陷是，旋转平台的加减速不可避免的带来三维点云误差。
根据现行成果来讲，大部分虚拟发型的测量方法或测量装置仅仅采集并生成了三维面部图像，缺乏对顾客的颅骨测量，而发型主要是参考颅骨设计的，仅仅脸部的三维重建与交互缺乏现实实用性。
发明内容
本发明的目的在于提供一种基于双目相机的虚拟发型交互装置及使用方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于双目相机的虚拟发型交互装置，包括两组双目相机、头形测量装置、液晶触控显示屏和计算控制装置，计算机控制装置内部安装计算机控制系统；所述头形测量装置包括固定支架，固定支架上安装压力棒，压力棒与固定支架相接处的压力棒上设有固定槽，固定槽与固定支架之间设有弹簧；在压力棒内设有位控灯，在压力棒尾端标有棋盘标定格，压力棒前端安装有压力测头，压力测头上包裹有橡胶，头形测量装置前方固定安装一组双目相机为前方相机，头形测量装置后方固定安装另一组双目相机为后方相机，所述后方相机包括一号后方相机和二号后方相机；所述双目相机、压力棒、液晶触控显示屏均与计算控制装置电性连接。
作为本发明进一步的方案：所述计算控制系统为计算机系统，计算机控制系统为windows系统或Linux系统，计算机控制装置为安装计算机控制系统的工控机，计算控制装置上包含MATLAB、OpenCV和visual studio应用软件及开发库。
作为本发明进一步的方案：所述前方向机有两台，两台前方相机的光轴平行且位于同一水平面水平紧靠安装，形成与被测者“对视”效果，两者基线长度可调，确定基线长度后，固定长度作为已知条件。
作为本发明进一步的方案：所述双目相机均为深度相机。
一种基于双目相机的虚拟发型交互装置的使用方法，其特征在于，包括以下步骤：
第一步：通过前方相机测量人体上身生成三维图像，通过后方相机拍摄压力棒尾端的棋盘标定格生成颅骨三维图像，计算机控制装置内的计算机控制系统将两立体图像拟合补齐生成人体头部三维立体头像；控制系统将该图像搭配所选发型生成初步效果图，同时传送至液晶触控显示屏，液晶触摸显示屏为能够通过触摸液晶触控显示屏对该立体图像旋转、修改操作的显示屏；
第二步：前方相机通过USB数据线连接到计算控制系统，通过计算控制系统同时拍摄相同目标不同方向的左右两张照片，左图像与右图像传输到计算控制系统，并运用MATLAB标定工具箱使用张正友标定法对两个相机标定，然后将标定数据读入visualstudio，利用openCV标定算法中的摄像机针孔模型进行图像校正获得相机的内部参数，然后运用canny算法与边缘差分Sobel算子对捕捉到的图像边缘检测提取并计算水平与垂直方向的Gx与Gy；利用双阈值来区分边缘像素；
第三步：预设深度范围及坐标，将人体背后距离之外的背景信息全部去掉；
第四步：将人体着装为除与头发颜色外其他颜色服饰，将像素灰度值存入预设数组，利用边缘检测计算头部发际线，根据被拍摄者发色像素灰度值预设可去像素灰度值，并将头发所代表的区域删掉得到a1与a2两幅坐标图；经过以上多处图像预处理算法优化，形成的两幅图像能得到较为粗大明亮的边缘线条；
第五步：通过两幅图像的视差获得景深从而获得三维坐标值并生成图像。
作为本发明进一步的方案：所述第三步中在人体身后放置一纯色背景作为景深辅助工具，删除纯色背景信息即可减少背景因素噪声影响。
与现有技术相比，本发明的有益效果是：该发明能得到较为准确的颅骨三维模型，在虚拟发型的应用上较为超前，三维模型的获得可以不需要对测试者的已有发型做出更改下得出，不影响顾客发型现状，方便快捷，准确的虚拟发型可以提升测试者或者顾客的体验感，增强交互理解能力，提高自信心；一般情况下，一位成年顾客测试一次即可，以后均可依据此模型做出发型改变；此外，该颅骨三维模型同样可以上传到个人数据中心，在医学上研究遗传问题，在社会安全问题上缩小嫌疑人查询范围等专业均能得到不同程度的应用和拓展。
附图说明
图1为前方双目相机三维模型重建流程图；
图2为后方双目相机三维模型重建流程图；
图3为曲面拟合过程流程图；
图4为头形测量装置设计图；
图5为整体装置设计图；
图6为双目视差测距图；
图7为视差获得景深图；
图中：1-前方相机、2-后方相机、21-一号后方相机、22-二号后方相机、3-压力棒尾端、4-弹簧、5-固定槽、6-固定支架、7-压力棒、8-压力测头。
具体实施方式
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
请参阅图1-7，一种基于双目相机的虚拟发型交互装置，包括两组双目相机、头形测量装置、液晶触控显示屏和计算控制装置，计算机控制装置内部安装计算机控制系统；所述头形测量装置包括固定支架，固定支架上安装压力棒，压力棒与固定支架相接处的压力棒上设有固定槽，固定槽与固定支架之间设有弹簧，
在压力棒内设有位控灯，在压力棒尾端标有棋盘标定格，压力棒前端安装有压力测头，压力测头上包裹有橡胶，头形测量装置前方固定安装一组双目相机为前方相机，头形测量装置后方固定安装另一组双目相机为后方相机，所述后方相机包括一号后方相机和二号后方相机；
所述双目相机、压力棒、液晶触控显示屏均与计算控制装置电性连接；
基于双目相机的虚拟发型交互装置通过前方相机测量人体上身生成三维图像，通过后方相机拍摄压力棒尾端的棋盘标定格生成颅骨三维图像，计算机控制装置内的计算机控制系统将两立体图像拟合补齐生成人体头部三维立体头像；控制系统将该图像搭配所选发型生成初步效果图，同时传送至液晶触控显示屏，液晶触摸显示屏为能够通过触摸液晶触控显示屏对该立体图像旋转、修改操作的显示屏，从而实现头形测量、虚拟发型搭配、人机交互等功能，提高顾客的虚拟现实体验，提高顾客满意度；
所述计算控制系统为计算机系统，所述计算机控制系统为windows系统或Linux系统，计算机控制装置为安装计算机控制系统的工控机。该计算控制装置上包含MATLAB、OpenCV和visual studio应用软件及开发库。
所述双目相机均为深度相机，深度相机与普通相机区别在于除了能够获取平面图像以外还可以获得拍摄对象的深度信息，也就是三维位姿和尺寸信息，于是整个计算控制装置就获得了环境和对象的三维立体数据。
所述头形测量装置前方固定安装有一对双目相机，简称“前方相机”，两台相机的光轴平行、同一水平面水平紧靠安装，形成与被测者“对视”效果，两者基线长度据相机不同而不同，但一经确定便为已知量。前方相机的高度可以依据顾客的坐姿还是站姿而定，前方相机通过USB数据线连接到计算控制系统，通过计算控制系统同时拍摄相同目标不同方向的左右两张照片，左图像与右图像传输到计算控制系统，并运用MATLAB标定工具箱使用张正友标定法对两个相机标定，然后将标定数据读入visual studio，利用openCV标定算法中的摄像机针孔模型进行图像校正获得相机的内部参数，然后运用canny算法与边缘差分Sobel算子对捕捉到的图像边缘检测提取并计算水平与垂直方向的Gx与Gy；利用双阈值来区分边缘像素。
进一步的，预设深度范围及坐标，将人体背后距离之外的背景信息全部去掉；优选的，在顾客身后放置一纯色背景作为景深辅助工具，删除纯色背景信息即可减少背景因素噪声影响；
进一步的，需要被拍摄者着装为除与头发颜色外其他颜色服饰，将像素灰度值存入预设数组，利用边缘检测计算头部发际线，根据被拍摄者发色像素灰度值预设可去像素灰度值，并将头发所代表的区域删掉得到a1与a2两幅坐标图；经过以上多处图像预处理算法优化，形成的两幅图像能得到较为粗大明亮的边缘线条，这对后续减少计算量大有帮助；
进一步的，通过两幅图像的视差获得景深从而获得三维坐标值，下面我们来具体介绍该算法：
请参阅图7，所示是双目相机模型，世界坐标系中的任意一点都满足，该点与它在左右相机的成像点在同一个极平面上。OL和OR是左右相机的的光心，长为L的两条线段表示的是左右相机的像面。则光心到像面的最短距离就是焦距长度f。若P是世界坐标系中的一点，它在左右像面上的成像点是PL和PR。PL和PR距各自像面的左边缘和右边缘的距离是XL和XR。视差就是XR-XL或者是XL-XR。标定和匹配后焦距长度f，基线长度b，右边缘距离XR，左边缘距离XL都能够得到，故可以用相似三角形的方式求得景深Z值；
在三角形OL-OR-P中，三角行PL-PR-P相似于三角形OL-OR-P，则有比例关系：
上式中，PL*PR表示PL点到PR点的距离，同理OL*OR代表OL点到OR点的距离，推导过程如下：
上述两式联立可得：
这样根据PL和PR距各自像面的左边缘和右边缘的距离是XL和XR就可以求得景深Z值，也就知道三维坐标(X,Y,Z)了。
将得到的三维点坐标(X,Y,Z)按照相位相关匹配和误匹配处理等立体匹配算法，立体匹配算法包括匹配代价计算、匹配代价叠加、视差获取、视差细化等步骤；其中视差细化即属于亚像素级匹配，其计算结果已经满足测试要求；
下面简单讲述匹配代价计算、匹配代价叠加、视差获取：
匹配代价计算是整个立体匹配算法的基础，实际是对不同视差下进行灰度相似性测量。常见的方法有灰度差的平方SD(squared intensity differences)，灰度差的绝对值AD(absolute intensity differences)等。另外，在求原始匹配代价时可以设定一个上限值，来减弱叠加过程中的误匹配的影响。以AD法求匹配代价为例，可用下式进行计算，其中T为设定的阈值。
设定阈值T；在左图中随机选取不重复的像素点，计算与右图的绝对误差，当误差超过了阈值T时，结果为阈值；若误差小于阈值，结果为当前值；上式中，IL为左图像，IR为右图像，xt,yt为图像中的任一个像素点；
一般来说，全局算法基于原始匹配代价进行后续算法计算。而区域算法则需要通过窗口叠加来增强匹配代价的可靠性，计算区域内像素差值，可以为单个像素也可以为一定区域内，主要看SAD(sum of absolute differences)的窗口大小的设置，同时SAD设置决定误匹配的多少和运算效率问题；
上式中，L为左图像，R为右图像，i、j代表两个通道，其数值小于最大的像素点个数n，i，j两个数值不同可以遍布整个图像的像素点，而d是景深，通过遍历左图中的每一个像素，然后根据视差范围中的每一个视差值，来找到对应右图的像素，然后根据公式计算代价，然后再针对左图，遍历每个像素进行代价聚合计算；
经过立体匹配后得到的三维坐标实现三维曲面重建必须经过三维重构，而三维重构的方法有多种，在此，我们简要介绍两种，分别是基于Delaunay三角剖分准则的Lawson算法实现三维曲面重构、另一种是MATLAB曲面拟合工具箱；
下面详细介绍基于Delaunay三角剖分准则的Lawson算法实现三维曲面重构：
逐点插入的Lawson算法是Lawson在1977年提出的，该算法思路简单，易于编程实现。基本原理为：首先建立一个大的三角形或多边形，把所有数据点包围起来，向其中插入一点，该点与包含它的三角形三个顶点相连，形成三个新的三角形，然后逐个对它们进行空外接圆检测，同时用Lawson设计的局部优化过程LOP进行优化，即通过交换对角线的方法来保证所形成的三角网为Delaunay三角网。
Lawson算法的基本步骤是：
①、构造一个超级三角形，包含所有散点，放入三角形链表。
②、将点集中的散点依次插入，在三角形链表中找出其外接圆包含插入点的三角形(称为该点的影响三角形)，删除影响三角形的公共边，将插入点同影响三角形的全部顶点连接起来，从而完成一个点在Delaunay三角形链表中的插入。
③、根据优化准则对局部新形成的三角形进行优化。将形成的三角形放入Delaunay三角形链表。
④、循环执行上述第2步，直到所有散点插入完毕。
Lawson设计的局部优化过程LOP优化步骤：
①、将两个具有共同边的三角形合成一个多边形；
②、以最大空圆准则作检查，看其第四个顶点是否在三角形的外接圆内；
③、如果在在三角形的外接圆内，修正对角线即将对角线对调，即完成局部优化过程的处理；
将三维坐标作为输入量经过Lawson和LOP优化后得到的Delaunay三角网即可确保为合法的Delaunay三角网；
视差细化即曲线、曲面拟合，在最后三维模型中，我们应用基于最小二乘法的面积最小化方法对计算出来的Delaunay三角网进行曲面拟合；
由此，得到的三维曲面已去掉背景图像，头发等不需要信息，并将该曲面存入数据库；
头形测量装置为测量人体头颅顶部和后部的半包围结构，该结构形同蜂巢，由若干数量的透孔拼接而成，透孔内有一定数量的压力棒，该压力棒为中空类型，内部含有固定的位控电路和指示灯，压力棒靠近头部一侧(简称“内侧”)的顶端橡胶包裹，压力棒靠近后方双目相机一侧(简称“外侧”)顶端粘贴棋盘标定格，压力棒与透孔通过弹簧连接，在无外力顶起时，压力棒受弹簧拉力沿透孔向内侧径向拉伸。当头颅顶起压力棒时，压力棒沿透孔径向向外侧移动，位控电路检测到位移后点亮指示灯，说明该压力棒受力移动，后方双目相机对压力棒拍照并传回图像到计算控制系统；
需要说明的是该头形测量装置仅包含颅骨顶部与后部，在此与专业术语如顶骨及枕骨表述范围不同，故不能用顶骨等专业术语表述范围。
所述头形测量装置后上方固定安装有另一对双目相机(简称“后方双目相机”)，后方双目相机同样位置固定，与前方双目相机“对视”不同的是，后方双目相机基线与前方双目相机垂直，并与水平面形成一定夹角，夹角度数根据头形测量装置与后方双目相机的距离做出相应改变，同样要求选用两个内部参数完全相同的深度相机，将它们平行放置，使它们的光轴相互平行，并有一对坐标轴共线，两个成像平面共面，两摄像机的光心固定的距离已知，这样求解图像点的世界坐标时只涉及摄像机内参数；
在后方双目相机拍照前，根据压力棒上的棋盘标定格，按照前方双目相机标定步骤，对双目相机标定，照相机通过USB数据线连接到计算控制系统，通过计算控制系统同时拍摄相同目标、不同方向的左右两张照片，左图像与右图像传输到计算控制系统，并运用MATLAB标定工具箱使用张正友标定法对两个相机标定，然后将标定数据读入visualstudio，利用openCV标定算法中的摄像机针孔模型进行图像校正获得相机的内部参数，在头形测量装置未应用之前，标定的棋盘标定格作为基准数据，在头形测量装置应用之后，压力棒随头形压力发生位移变化，随之而变的是压力棒外侧顶端的棋盘标定格在相机拍摄中的图像面积变化，通过测量每个棋盘标定格在图像中的面积计算出位置变化，再绘制出头形三维点云。
下面，我们将详细讲述根据棋盘标定格在图像中面积变化所应用到的双目视差测距法：
在上述相机配置下，参考图6，假设后方双目相机1坐标系为O1X1Y1Z1，后方双目相机2坐标系为O2X2Y2Z2，焦距为f，摄像机间距为d，任何空间点P的坐标在后方双目相机1下为(X1,Y1,Z1)，在后方双目相机2坐标系下为(X2,Y2,Z2)，在后方双目相机1中的图像点左边为(u1,v1)，在后方双目相机2中的图像点坐标为(u2,v2)；
对于双目相机有如下关系：
世界坐标系与摄像机坐标系的关系可表述如下：
联立上式可得：
x1-x2＝d
进而可以得到：
从而可以计算得到三维坐标：
将得到的三维点坐标(X,Y,Z)按照相位相关匹配和误匹配处理，相位相关匹配包括匹配代价计算、匹配代价叠加、视差获取、视差细化等步骤；其中视差细化即属于亚像素级匹配；
需要说明的是，后方双目相机是通过准确位置计算得到的三维坐标，其较前方双目相机通过视差图获得景深再计算三维坐标而言精度更高，故我们不需要使用基于Delaunay三角剖分准则的Lawson算法实现三维曲面重构，只需要将三维坐标输入到MATLAB的曲面拟合工具箱，计算出的三维点云拟合为平滑曲面，并进行上色后得到三维模型并输出；
进一步的，后方双目相机得到的发型三维模型与前方双目相机测量得到的上身三维模型在头骨两侧即双鬓部位都缺乏具体的数据，对此，我们使用面积最小化法进行曲面光滑与拟合，相比较laplacian以及taubin法，面积最小化算法更多地考虑到了原始数据，这使得曲面光滑处理后的曲面更趋近于真实曲面，这是我们追求的价值所在；依据考虑到的数据真实性，laplacian法与平均曲率法在无限迭代之后得到一个平面，虽然，laplacian算法计算时间较快，对硬件要求较低。但是相比较双鬓微鼓的现状，laplacian算法得到的显然不是最真实的结果；而taubin法增强了太多的低频信息，使得多次迭代后会出现不断凸起的曲面，这样的结果会大大影响我们的后期处理；所以综合以上种种考虑，我们采用面积最小化算法光滑曲面，根据两对双目相机得出的三维模型的边缘数据描绘出头骨两侧的模型；
需要说明的是，虚拟发型中，颅骨顶部与颅骨后部的曲面数据在人群中最为差别，其中差别明显的是曲面挠度与曲面面积；而双鬓即颅骨两侧的曲面对发型适配度以及对顾客的满意度影响不大；
进一步的，将预先存入数据库的各种虚拟发型设计；虚拟发型与以往的发型不同的地方在于，发型内侧靠近皮肤的一侧是多个数据点，该数据点在将虚拟发型与三维颅骨模型配套时会根据三维颅骨模型的数据点发生变化，也就是会依附在“头皮”上，从而产生最接近真实情况的发型设计，发型数据点会随着颅骨数据点做出相应变化，例如，依据颅骨面积，形成发型的拉伸与收缩；依据曲面挠度，形成发型曲面挠度的变化等；
进一步的，虚拟发型在拉伸时，拉伸区域自动补齐与原有发型相同的发色、长度等信息；
进一步的，虚拟发型的颜色，长度可以根据理发师的要求做出变化以满足不同顾客的需求；
进一步的，搭配好的三维发型传输到液晶触控显示屏进行360度无死角展示，并实时更换发型、发色、长度等必要信息。
顾客或者测试者进行三维扫描前，首先请顾客或者测试者除去身着发色同样颜色的衣物，并将双鬓头发扎至耳后；
请参阅图5，在顾客测试前运行计算控制系统里的MATLAB软件，采用相机标定工具箱对前方双目相机进行标定；假定顾客或者测试者坐姿拍摄人体三维模型，测试者正前方固定有前方双目相机，相机的高度固定，距离地面高度110cm处，前方双目相机正对测试者面部，打开计算控制系统，打开前方双目相机，若因室内灯光影响，可调整面部灯光作为辅助作用，前方双目相机拍摄照片后，可根据系统预先设置，删掉背景信息或者手动预设景深范围去除背景信息；配置好的图像存储进入visual studio，调用canny算法进行边缘检测，预设灰度值为0的黑色作为删除目标，删除测试者的发型等一系列图像预处理步骤，此时得到a1和a2两幅图像；
调用视差获得景深法即获得三维坐标后，将得到的三维坐标按照相位相关匹配和误匹配处理，相位相关匹配包括匹配代价计算、匹配代价叠加、视差获取、视差细化等步骤；其中视差细化即属于亚像素级匹配，其计算结果已经满足测试要求；利用立体匹配法从不同视点图像中找到匹配的对应点；
进一步的，将立体匹配后得到的匹配对应点作为输入量，运用基于Delaunay三角剖分准则的Lawson算法实现三维网格曲面重构，在调用基于最小二乘法的面积最小化算法实现三维曲面重构；
此时得到的三维模型，是人体上身除去发型的外部轮廓，是不含背景信息的轮廓；使用前方双目相机共同拍摄测试者图片后，可关闭前方双目相机以减少计算控制系统计算量；
请参阅图4，现在，可以测量测试者的三维颅骨模型，首先接通后方双目相机电源，测试压力棒7受力状态下位控电路指示灯的有效状态；检查头形测量装置中的压力棒7，将其恢复至未受力的初始状态，并对后方双目相机1、2进行标定(标定一次，以后不需要再标定)，标定的主要依据是压力棒外侧顶端3的棋盘标定格在相机中的标准面积；测试者可以将头部缓慢移动至图4所示的头形测定装置中，颅骨开始触碰压力棒测头8，颅骨继续对压力棒7施加压力使受力的压力棒7沿着安装在固定支架6上的固定槽5直线移动，位移一段距离时位控电路指示灯发光，指示该压力棒受力正常，保持该姿态至后方双目相机1、2同时拍下压力棒位置图像，后方双目相机拍摄后，测试者可以离开，压力棒受弹簧拉力下回到初始状态；后方双目相机将拍摄的图片运用双目视差测距法等算法计算出三维坐标；
进一步的，将visual studio计算得到的三维坐标输入到MATLAB的曲面拟合工具箱，计算出的三维点云拟合为平滑曲面，并进行上色后得到三维模型并输出；
在两对双目相机均计算完成后，将两个三维模型作为基于最小二乘法的面积最小化算法的输入变量，进行双鬓曲面拟合并上色，最终得到人体颅骨的三维模型；
当选择心仪的虚拟发型后，虚拟发型上贴近颅骨一侧的数据点数值会根据测试者生成的三维颅骨模型发生变化，该数据值主要为其三维坐标，其表现形式是会根据颅骨模型发生形变，使其更具有真实性；在测试者或者理发师更换虚拟发型后，更换掉的虚拟发型数据点数值恢复初始值；
搭配该虚拟发型时会在液晶触控显示屏上实时显示，测试者可以实时旋转三维模型产看立体效果。
下面是图像处理对应模式：
前期可以建立图像数据库，分为正样本和负样本，如，将大量的虚拟发型图像存入正样本数据库，将其周围模糊度、亮度、曝光度等环境因素的照片作为负样本存入负样本数据库。
该发明能得到较为准确的颅骨三维模型，在虚拟发型的应用上较为超前，三维模型的获得可以不需要对测试者的已有发型做出更改下得出，不影响顾客发型现状，方便快捷，准确的虚拟发型可以提升测试者或者顾客的体验感，增强交互理解能力，提高自信心；一般情况下，一位成年顾客测试一次即可，以后均可依据此模型做出发型改变；此外，该颅骨三维模型同样可以上传到个人数据中心，在医学上研究遗传问题，在社会安全问题上缩小嫌疑人查询范围等专业均能得到不同程度的应用和拓展。
上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下做出各种变化。

Claims (6)

1.一种基于双目相机的虚拟发型交互装置，其特征在于，包括两组双目相机、头形测量装置、液晶触控显示屏和计算控制装置，计算机控制装置内部安装计算机控制系统；所述头形测量装置包括固定支架，固定支架上安装压力棒，压力棒与固定支架相接处的压力棒上设有固定槽，固定槽与固定支架之间设有弹簧；在压力棒内设有位控灯，在压力棒尾端标有棋盘标定格，压力棒前端安装有压力测头，压力测头上包裹有橡胶，头形测量装置前方固定安装一组双目相机为前方相机，头形测量装置后方固定安装另一组双目相机为后方相机，所述后方相机包括一号后方相机和二号后方相机；所述双目相机、压力棒、液晶触控显示屏均与计算控制装置电性连接。
2.根据权利要求1所述的基于双目相机的虚拟发型交互装置，其特征在于，所述计算控制系统为计算机系统，计算机控制系统为windows系统或Linux系统，计算机控制装置为安装计算机控制系统的工控机，计算控制装置上包含MATLAB、OpenCV和visual studio应用软件及开发库。
3.根据权利要求1所述的基于双目相机的虚拟发型交互装置，其特征在于，所述前方向机有两台，两台前方相机的光轴平行且位于同一水平面水平紧靠安装，形成与被测者“对视”效果。
4.根据权利要求1所述的基于双目相机的虚拟发型交互装置，其特征在于，所述双目相机均为深度相机。
5.一种如权利要求1-4任一所述的基于双目相机的虚拟发型交互装置的使用方法，其特征在于，包括以下步骤：
第一步：通过前方相机测量人体上身生成三维图像，通过后方相机拍摄压力棒尾端的棋盘标定格生成颅骨三维图像，计算机控制装置内的计算机控制系统将两立体图像拟合补齐生成人体头部三维立体头像；控制系统将该图像搭配所选发型生成初步效果图，同时传送至液晶触控显示屏，液晶触摸显示屏为能够通过触摸液晶触控显示屏对该立体图像旋转、修改操作的显示屏；
第二步：前方相机通过USB数据线连接到计算控制系统，通过计算控制系统同时拍摄相同目标不同方向的左右两张照片，左图像与右图像传输到计算控制系统，并运用MATLAB标定工具箱使用张正友标定法对两个相机标定，然后将标定数据读入 visual studio，利用openCV 标定算法中的摄像机针孔模型进行图像校正获得相机的内部参数，然后运用canny算法与边缘差分Sobel算子对捕捉到的图像边缘检测提取并计算水平与垂直方向的Gx与Gy；利用双阈值来区分边缘像素；
第三步：预设深度范围及坐标，将人体背后距离之外的背景信息全部去掉；
第四步：将人体着装为除与头发颜色外其他颜色服饰，将像素灰度值存入预设数组，利用边缘检测计算头部发际线，根据被拍摄者发色像素灰度值预设可去像素灰度值，并将头发所代表的区域删掉得到a1与a2两幅坐标图；经过以上多处图像预处理算法优化，形成的两幅图像能得到较为粗大明亮的边缘线条；
第五步：通过两幅图像的视差获得景深从而获得三维坐标值并生成图像。
6.根据权利要求5所述的基于双目相机的虚拟发型交互装置的使用方法，其特征在于：所述第三步中在人体身后放置一纯色背景作为景深辅助工具，删除纯色背景信息即可减少背景因素噪声影响。
CN201810762554.3A 2018-07-12 2018-07-12 一种基于双目相机的虚拟发型交互装置及使用方法 Withdrawn CN108986157A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810762554.3A CN108986157A (zh) 2018-07-12 2018-07-12 一种基于双目相机的虚拟发型交互装置及使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810762554.3A CN108986157A (zh) 2018-07-12 2018-07-12 一种基于双目相机的虚拟发型交互装置及使用方法

Publications (1)

Publication Number Publication Date
CN108986157A true CN108986157A (zh) 2018-12-11

Family

ID=64537778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810762554.3A Withdrawn CN108986157A (zh) 2018-07-12 2018-07-12 一种基于双目相机的虚拟发型交互装置及使用方法

Country Status (1)

Country Link
CN (1) CN108986157A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112656369A (zh) * 2020-11-30 2021-04-16 浙江大学医学院附属第一医院 一种基于ar技术的近红外荧光甲状旁腺的识别增强方法
WO2022068430A1 (zh) * 2020-09-30 2022-04-07 京东方科技集团股份有限公司 一种显示处理方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022068430A1 (zh) * 2020-09-30 2022-04-07 京东方科技集团股份有限公司 一种显示处理方法和装置
CN112656369A (zh) * 2020-11-30 2021-04-16 浙江大学医学院附属第一医院 一种基于ar技术的近红外荧光甲状旁腺的识别增强方法

Similar Documents

Publication Publication Date Title
CN109035388B (zh) 三维人脸模型重建方法及装置
CN105427385B (zh) 一种基于多层形变模型的高保真人脸三维重建方法
CN104077804B (zh) 一种基于多帧视频图像构建三维人脸模型的方法
US9317973B2 (en) Augmented reality method applied to the integration of a pair of spectacles into an image of a face
JP4284664B2 (ja) 三次元形状推定システム及び画像生成システム
CN104463899B (zh) 一种目标对象检测、监控方法及其装置
CN107408315A (zh) 用于实时、物理准确且逼真的眼镜试戴的流程和方法
CN110288642A (zh) 基于相机阵列的三维物体快速重建方法
CN107506714A (zh) 一种人脸图像重光照的方法
CN107924579A (zh) 生成个性化3d头部模型或3d身体模型的方法
CN106910102A (zh) 眼镜虚拟试戴方法及装置
CN109242954A (zh) 基于模板变形的多视角三维人体重建方法
CN107230224B (zh) 三维虚拟服装模型制作方法及装置
CN107067299A (zh) 虚拟试衣方法和系统
US20160005221A1 (en) Photometric optimization with t-splines
CN102222357A (zh) 基于图像分割和网格细分的脚型三维表面重建方法
CN107221029A (zh) 一种三维图像重建方法
Choe et al. Refining geometry from depth sensors using IR shading images
CN103530907A (zh) 基于图像的复杂三维模型绘制方法
Shan et al. Refractive height fields from single and multiple images
CN103247074A (zh) 一种结合深度信息与人脸分析技术的3d照相方法
Jin et al. 3-d reconstruction of shaded objects from multiple images under unknown illumination
CN108986157A (zh) 一种基于双目相机的虚拟发型交互装置及使用方法
Tyle_ek et al. Refinement of surface mesh for accurate multi-view reconstruction
Kang et al. View-dependent scene appearance synthesis using inverse rendering from light fields

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20181211

WW01 Invention patent application withdrawn after publication