CN107533365B - 利用取决于心跳的瞳孔尺寸变化来表达虚拟化身的社会临场感的方法及应用该方法的系统 - Google Patents
利用取决于心跳的瞳孔尺寸变化来表达虚拟化身的社会临场感的方法及应用该方法的系统 Download PDFInfo
- Publication number
- CN107533365B CN107533365B CN201680022310.0A CN201680022310A CN107533365B CN 107533365 B CN107533365 B CN 107533365B CN 201680022310 A CN201680022310 A CN 201680022310A CN 107533365 B CN107533365 B CN 107533365B
- Authority
- CN
- China
- Prior art keywords
- pupil size
- user
- virtual avatar
- pupil
- changes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 210000001747 pupil Anatomy 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000008859 change Effects 0.000 title description 21
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 7
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000000611 regression analysis Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 210000001508 eye Anatomy 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 9
- 230000004439 pupillary reactions Effects 0.000 description 9
- 238000011160 research Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 7
- 210000003403 autonomic nervous system Anatomy 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- BHELIUBJHYAEDK-OAIUPTLZSA-N Aspoxicillin Chemical compound C1([C@H](C(=O)N[C@@H]2C(N3[C@H](C(C)(C)S[C@@H]32)C(O)=O)=O)NC(=O)[C@H](N)CC(=O)NC)=CC=C(O)C=C1 BHELIUBJHYAEDK-OAIUPTLZSA-N 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000037007 arousal Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- RYYVLZVUVIJVGH-UHFFFAOYSA-N caffeine Chemical compound CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 210000005037 parasympathetic nerve Anatomy 0.000 description 2
- 230000001179 pupillary effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- LPHGQDQBBGAPDZ-UHFFFAOYSA-N Isocaffeine Natural products CN1C(=O)N(C)C(=O)C2=C1N(C)C=N2 LPHGQDQBBGAPDZ-UHFFFAOYSA-N 0.000 description 1
- 206010024264 Lethargy Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 229960001948 caffeine Drugs 0.000 description 1
- VJEONQKOZGKCAK-UHFFFAOYSA-N caffeine Natural products CN1C(=O)N(C)C(=O)C2=C1C=CN2C VJEONQKOZGKCAK-UHFFFAOYSA-N 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000004300 dark adaptation Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 210000005070 sphincter Anatomy 0.000 description 1
- 230000002889 sympathetic effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Abstract
本发明提出了一种利用取决于心跳的瞳孔尺寸变化来能够制作具有真实感的虚拟化身的方法。本发明实时跟踪并记录取决于实际用户的心跳的瞳孔尺寸变化，并将其应用于虚拟化身的眼球模型，以对眼球模型的尺寸进行同步化。
Description
技术领域
本发明提出了一种能够制作通过取决于心跳的瞳孔尺寸变化来增强社会临场感的人类化身或虚拟化身的方法。
背景技术
到目前为止开发的化身的眼球建模技术仅专注于从真正的解剖学角度真实地表现外观。一部分建模技术根据特定情况在生气、惊讶、说谎等时应用瞳孔尺寸变化或略微颤抖的表达，在该应用是受限的。
如通常将眼睛称为“心灵之窗”一样，人类用眼睛表达意见并表露自己的感情。眼睛用作针对两个人交互的反馈信号，对其他人的行为造成影响(Klopf和Park,1982,Argyle,1969；Argyle,1965；mehrabian,1971；Birdwhistell,1952)。面部表情、声音或行为表达自己的意见并表露感情，可以有意地表达与事实不同的内容或隐瞒事实。然而，眼睛不能随意隐藏意见和感情。当人类想要看到某些东西时，调节焦点且为此持续移动眼睛。这种眼睛的移动频率通常为1秒钟3-4次。眼睛在这样持续移动的同时根据光的强度和感情状态而变化。这种瞳孔反应(pupillary response)是无意的且如紧张时心脏不由得快速跳动一样自然地调节并变化。瞳孔反应有助于了解人的心理状态或感情状态。此外，瞳孔反映自主神经系统的激活的事实是众所周知的，在一部分领域中用于疾病诊断(Wilhelm,1998)。瞳孔的尺寸取决于构成虹膜的括约肌和扩张肌的收缩，各肌肉的调节受自主神经系统的控制。因此，在以往的研究中，评估了虹膜颜色和瞳孔调节的表达因素是否影响用户的视觉临场感，且确认到影响视觉临场感、视觉沉浸感、视觉交互(Won等,2014)。然而，由于上述研究将瞳孔反应定义为任意三种状态(一般、愉快-不愉快、觉醒-放松)的变化并随机地呈现，因此具有未应用实时变化的用户的瞳孔反应的限制。
<现有技术>
[1]Klopf,D.W.和Park,M.S.(1982).Cross-cultural communication(跨文化交际):An introduction to the fundamentals(基础导论),Han shin PupilishingCompany(Han shin出版社)。
[2]Argyle,M.(1969).Social interaction(社交),Transaction books(汇刊书籍),103。
Argyle,M.和Dean,J.(1965).Eye Contact,Distance and Affiliation(目光接触、距离以及亲和性),Sociometry(社会人际学),28,289-304。
[3]Mehrabian,A.(1971).Silent messages(无声的信息),Wadsworth(华兹伍斯出版社)。
Birdwhistell,R.(1952).Introduction to kinesics(体语学导论),Universityof Louisville(路易斯维尔大学)。
[4]Wilhelm,H.(1998).Neuro-ophthalmology of pupillary function-practical guidelines(瞳孔功能神经眼科实用指南).Journal of neurology(神经学杂志),245(9),573-583。
[5]Won,M.J.、Park,S.Lee,E.C.和Whang,M.(2014).Realistic ExpressionFactors According to Visual Presence in Terms of Iris color and PupilAccommodation of Virtual Avatar(取决于虚拟化身在虹膜颜色和瞳孔调节方面的虚拟临场感的真实表达因素),Journal of The Korea Contents Association(韩国内容协会杂志),14(4),1-8。
[6]Won,M.J.、Park,S.、Kim,C.J.、Lee,E.C.和Whang,M.(2012).A Study onEvaluation of Visual Factor for Measuring Subjective Virtual Realization(关于用于测量主观虚拟现实的视觉因素评估的研究),Journal of The Korea Society forEmotion Sensibility(韩国情感协会杂志),15(3),373-382。
[7]Gullstrand,A.和Tigerstedt,R.(1911).Einfuhrung in die Methoden derDioptrik des Auges(眼睛的折光学方法导论),Leipzig(莱比锡):Verlag von S.Hirzel(S.Hirzel出版社)。
[8]R.C.Gonzalez和R.E.Woods,Digital Image Processing(数字图像处理),2nded(第二版).,Prentice-Hall(普伦蒂斯霍尔出版社),Englewood Cliffs,NJ,2002。
[9]Pan J.和Tompkins W.J.,1985.A real-time QRS detection algorithm(实时QRS检测算法).IEEE Trans.Biomed.Eng.(IEEE生物医学工程汇刊),32,230-236。
[10]Cheol Woo Cho、Ji Woo Lee、Eui Chul Lee和Kang Ryoung Park,"A RobustGaze Tracking Method by Using Frontal Viewing and Eye Tracking Cameras(利用主视和眼球跟踪相机的可靠的视线跟踪方法)",Optical Engineering(光学工程),第48卷,第12期,127202,2009年12月。
[11]W.Doyle,Operation useful for similarity-invariant patternrecognition(对相似不变图案识别有用的操作),J.Assoc.Comput.Mach(计算机械协会杂志),1962,9:259～267
<项目信息1>
1.项目唯一编号：2015-0029756
2.政府部门名称：未来创造科学部
3.研究管理专业机构：以人为中心的沉浸式交互中心
4.研究业务名称：源技术开发业务(全球前沿研究开发业务)
5.研究项目名称：开发基于神经-情感智能视觉的用户情感跟踪、人类化身的能动性情感表达和反馈技术
6.管理机构：以人为中心的沉浸式交互中心
7.参与机构：祥明大学产学协力团
8.研究期限：2015.9.01-2016.6.30
<项目信息2>
1.项目唯一编号：1711026696
2.政府部门名称：未来创造科学部
3.研究管理专业机构：信息通信技术促进中心
4.研究业务名称：开发以利用融复合内容社交情感识别和社交智能模型的生命记录为基础的技术
5.研究项目名称：开发以利用融复合内容社交情感识别和社交智能模型的生命记录为基础的技术
6.管理机构：祥明大学首尔产学协力团
7.参与机构：(株)情感科学研究中心
8.研究期限：2015-03-01～2016-02-29
发明内容
技术问题
本发明提出了一种能够制作通过取决于心跳的瞳孔尺寸变化来增强社会临场感的虚拟化身的方法。
技术方案
本发明提出一种逼真地表示虚拟化身的方法，包括根据从自用户获得的生理信息所获得的心跳变化对与所述用户相关联的虚拟化身的瞳孔尺寸变化进行同步化。
根据本发明的一实施例，可以从自所述用户获得的心电图ECG数据检测所述心跳变化。
本发明的另一实施例，可以通过回归分析从所述ECG数据推断所述用户的瞳孔尺寸变化，并使所述虚拟化身的瞳孔尺寸同步于所提取的瞳孔尺寸变化。
根据本发明的具体实施例，可以从所述ECG数据检测R-R间期(RRI)，并通过RRI的回归分析来检测所述用户的瞳孔尺寸变化。
根据本发明的具体实施例，可以使用下式计算所述用户的瞳孔尺寸：
瞳孔尺寸＝76.148+(-42.494)×RRI。
根据本发明的逼真地表示虚拟化身的系统，包括：检测系统，其从用户提取生理信息；分析系统，其从所述生理信息检测所述用户的瞳孔尺寸变化；以及显示系统，其显示与所述用户相关联的虚拟化身且具有与由所述分析系统所检测的所述用户的瞳孔尺寸变化相应地产生变化的眼球模型。
有益效果
根据本发明，通过实时将取决于实际用户的心跳的瞳孔尺寸变化应用于虚拟化身而能够提供较高的临场感和沉浸感。本发明中提出的方法可以用作在三维模型工程师设计角色时可采用的新表达因素。尤其是，在虚拟环境中虚拟化身所表现的表情或视线等因素直接影响用户的临场感。然而，通常仅集中于视觉形状或肌肉运动来对虚拟化身进行建模。因此，通过本发明，除了虚拟化身的脸自身的外形因素以外，由用户的内在反应引起的瞳孔变化因素为有效地表达虚拟化身的重要因素，且作为用于在虚拟环境中设计化身的基本研究，其可利用性很高。
附图说明
图1示出根据本发明的真实感表现的实验过程。
图2至图4示出根据本发明的RRI和瞳孔尺寸变化的分析结果。
图5示出根据本发明测量的瞳孔尺寸和预测瞳孔尺寸的分析结果。
图6示出根据本发明的真实感表现过程。
具体实施方式
以下，参照附图说明根据本发明的实体表示方法的各种实施例。
本发明通过使用自主神经系统测量方法中的心电图(ECG，Electrocardiogram)来确认R-R间期(RRI)和瞳孔反应间的关联性，并且得出能够推断出取决于自主神经系统的活性度的瞳孔反应的回归模型(Regression Model)。基于所得到的回归模型推断取决于用户的情感状态的瞳孔反应，以应用于虚拟化身系统。其中，可以将虚拟化身表现为人，根据其他实施例，可以用动物、虚拟生命体(例如，外星人或拟人化的事物)表现化身。
也就是说，本发明提出一种能够通过实时将取决于实际用户的心跳变化的瞳孔尺寸变化的表达因素应用于以各种形式实现的虚拟化身来反映用户的情感状态且提高交互中的临场感和沉浸感的方法。
1.受试者
参与本研究的受试者是64名视觉功能无异常且裸眼视力为0.8以上的大学生和一般人(32名女性，平均年龄为23.03±2.16)。所选的受试者是在充分了解实验过程后自愿同意参与实验的人员。建议受试者在实验前进行充分的休息以最小化由于嗜睡和疲劳而引起的副交感神经的激活导致瞳孔尺寸减小的影响。此外，要求受试者克制可能影响交感神经和副交感神经的运动、吸烟和咖啡因等。
2.实验环境和方法
为了减小由周围环境中存在的杂音和光刺激而引起的瞳孔尺寸变化，构造保持一定照明的空间以进行实验。为了将瞳孔尺寸的中间值(5mm)设置为基准值以使瞳孔反应标准化，将平均照明保持为125Lux(一般瞳孔的最大尺寸为8mm，最小尺寸为2mm)。将室温保持为平均23-25℃，为了最小化由于暗适应现象(Dark-adaptation phenomenon)引起的测量误差，要求所有受试者在坐姿下进行15分钟的适应时间。此后，使受试者正面凝视70-80cm处的黑色壁正面。使受试者凝视正面以防止眼睛移动并最小化相机和瞳孔轴的误差，此时，当聚焦于某一位置时，眼透镜的折射引起眼球变化，因此要求受试者能够舒适地凝视。由听觉刺激构成实验刺激以最小化由于外部光刺激和视觉疲劳而引起的瞳孔尺寸变化。首先，针对愉快(positive)、不愉快(negative)、觉醒(arousal)、放松(relaxation)中的每一者分别收集100个听觉刺激。基于所收集的400个听觉刺激通过专题小组讨论(FGD,focusgroup discussion)选定频率高的听觉刺激。将所选定的听觉刺激分愉快、不愉快、觉醒、放松、中立并以受试者不能预测的方式随机呈现以消除顺序效应。详细的实验过程如图1所示。
3.分析方法
通过标准肢体导联(Standard Limb Lead,lead I)测量心电图，通过ECG 100C放大器(Biopac system公司，美国)放大信号，利用NI-DAQ-Pad9205(National Instrument公司，美国)以500Hz的速度收集信号。利用Labview 2010软件(National Instrument公司，美国)对所收集的信号进行信号处理。针对所测量的心电图信号，利用QRS检测算法检测ECG信号的R峰(Pan&Tompkins,1985)。通过所检测出的R峰与相邻的R峰之间的差异计算R-R间期(R-peak to R-peak intervals，RRI)。至于瞳孔，在与受试者相隔约90cm的距离处设置灰点-GigE相机(Point Grey Research公司,加拿大)，以获得每秒具有13帧(分辨率为900*600)的脸正面图像。为了最小化由于负责扩大或缩小瞳孔的虹膜肌肉的黑色素而导致瞳孔和虹膜的边界部的可视性降低的现象，使用红外相机获得瞳孔图像。所获得的红外瞳孔图像信息通过使用Visual Studio2010(Microsoft公司,美国)的C++语言和OpenCV库实现瞳孔信息收集程序以提取数据。为了在所获得的图像中找出瞳孔的中心，执行圆形检测算法(circular edge detection)、局部二值化((local binarization)、成分标注(componentlabeling)和区域填充(region filling)方法。
圆形检测算法通过圆形模板匹配来确定初始瞳孔区域(Cheol Woo Cho等)。所检测出的瞳孔根据视线位置和相机拍摄角度可能呈现为椭圆形状而不是圆，因此通过圆形模板匹配方法确定的位置不能认为是准确的。因此，基于所确定的位置执行局部二值化。矩形区域分为瞳孔区域(前景)和非瞳孔区域(背景)两类，二值化的阈值可以使用Gonzalez所提出的方法(R.C.Gonzalez等)和基于Doyle所提出的直方图分析的二值化方法(W.Doyle)。
在局部二值化后可能存在由眉毛或影子引起的噪声区域，在瞳孔区域内部存在反射光的情况下，瞳孔区域可能被呈现为具有孔。为了解决该问题，针对二值化区域执行成分标记方法，对彼此相邻的区域赋予标识(identity)，保留最宽的区域且去除具有与之不同的标识的区域，以去除噪声区域。最后，为了填充具有孔的区域，在执行形态学关闭运算(morphological closing operation)后，获取填充区域的重心并确定为最终的瞳孔中心。
眨眼使用Gonzalez的自适应二值化方法，通过在具有预定尺寸的矩形区域(100像素×100像素)内的相对暗像素的数量变化来判断。此时，眨眼被处理，使得当受试者闭眼时，由于具有高亮度的眼睑皮肤区域而不提取具有相对低的亮度的瞳孔区域。因此，当二值化结果的暗像素的数量显著降低时，判断为闭眼，且在判断为受试者在闭眼后再次睁眼时定义为眨眼一次。
4.实验结果
在本发明的实验中，由于瞳孔为反映自主神经系统的活性度的指标，因此利用简单回归分析而开发了通过心电图反应的RRI变量来推断瞳孔反应的模型。通过从自变量(RRI)和因变量(瞳孔反应)的分布中的实际分布的因变量的值中获取误差最小的直线的最小平方法来获取具有如y＝Bx+A的方程式的形式的最优直线，斜率B为回归系数(Regression coefficient)，A为常数(Constant)。R平方(确定系数R2)指的是因变量的整体变化中由回归模型解释的变化的比例。分析结果确认到R为.552，R2为.304，回归模型的统计显著性验证结果确认到获得p＝.000的回归模型是显著的。利用下式1获得回归系数，结果得到值-42.494。
[式1]
B＝回归系数
X＝X值
Y＝Y值
利用基于上述结果估计出的心电图反应来推断瞳孔反应的模型式如下式(2)所示，详细的图案如图2、图3、图4所示。
[式2]
瞳孔尺寸＝76.148+(-42.494)×RRI
为了验证通过上述简单回归分析来开发的推论模型，基于所得到的回归模型将12名受试者作为对象进行验证。验证结果确认到实际测量的瞳孔尺寸和预测瞳孔尺寸具有平均0.68的差异。其代表性实验结果如图2至图4所示。
图2至图4示出根据本发明的RRI和瞳孔尺寸变化的分析结果，示出彼此不同的用户或受试者(participant A、B、C)的分析结果。
图5示出根据本发明测量的瞳孔尺寸和预测瞳孔尺寸的分析结果。
如实验结果所示，从将取决于实际用户的心跳的瞳孔尺寸变化应用于虚拟化身并评估临场感的结果中确认到瞳孔尺寸变化为能够提高视觉临场感、视觉沉浸感、视觉交互的真实感表达因素。基于上述研究结果提出了通过取决于心跳的瞳孔尺寸变化因素(作为实时反映自自主神经系统的活性度的指标)表达逼真的虚拟化身的数字临场感的方法。
本发明包括输入三维虚拟化身的输入过程、获取心电图数据的过程、从所获取的心电图数据推断瞳孔尺寸变化的数据分析过程、和应用取决于心跳的瞳孔尺寸表达因素的表达过程。该方法能够通过使用基本建模的三维虚拟化身而获得逼真的化身。此外，能够实时使用用户的取决于心跳的瞳孔尺寸变化来生成新的虚拟化身。
参照图6如下执行本发明的实施例。
[步骤1]对象导入：此步骤是输入步骤，导入基本建模的三维虚拟化身。此时，虚拟化身具有特定的眼球、瞳孔和虹膜。
[步骤2]数据获取：此步骤是从用户获取数据的步骤。此时，通过为了实时测量实际用户的心电图数据而连接的ECG 100C放大器(Biopac system公司，美国)来放大信号，利用NI-DAQ-Pad9205(National Instrument公司，美国)以500Hz的速度获取信号。
[步骤3]回归分析：此步骤是通过回归分析来推断瞳孔的尺寸变化的步骤。为此，针对在上述步骤中获取的信号，利用上述QRS检测算法检测R峰。通过所检测出的R峰与相邻的R峰之间的差异计算R-R间期(R-peak to R-peak intervals，RRI)。基于所计算的RRI利用上述回归模型推断瞳孔尺寸变化。
[步骤4]纹理映射：选择步骤1中导入的眼球模型中的瞳孔部分，实时应用步骤3中推断的取决于用户心跳变化的瞳孔尺寸变化。
上文已描述了示例性实施例并在附图中示出示例性实施例以帮助理解本发明。然而，应当理解，这些实施例仅用于例示本发明而不用于限制本发明。而且，应当理解本发明不限于图示并说明的内容。这是因为本领域普通技术人员能够对其进行各种其他变型。
Claims (4)
1.一种表达虚拟化身的社会临场感的方法，包括根据从心电图数据检测到的用户心跳变化对与所述用户相关联的虚拟化身的瞳孔尺寸变化进行同步化，所述心电图数据是从所述用户获得的，其中通过回归分析从所述心电图数据检测R-R间期RRI，根据RRI检测所述用户的瞳孔尺寸变化，并且使用下式计算所述用户的瞳孔尺寸：
瞳孔尺寸＝76.148+(-42.494)×RRI。
2.根据权利要求1所述的表达虚拟化身的社会临场感的方法，其中，使所述虚拟化身的瞳孔尺寸同步于所提取的瞳孔尺寸变化。
3.一种表达虚拟化身的社会临场感的系统，包括：
检测系统，其从用户检测心电图数据；
分析系统，其从所述心电图数据检测所述用户的瞳孔尺寸变化；以及
显示系统，其显示与所述用户相关联的虚拟化身，且具有与由所述分析系统所检测的所述用户的瞳孔尺寸变化相应地产生变化的眼球模型；
其中，根据从心电图数据所获得的心跳变化对与所述用户相关联的虚拟化身的瞳孔尺寸变化进行同步化，通过回归分析从所述心电图数据检测R-R间期RRI，根据RRI检测所述用户的所述瞳孔尺寸变化，并且使用下式计算所述用户的瞳孔尺寸：
瞳孔尺寸＝76.148+(-42.494)×RRI。
4.根据权利要求3所述的表达虚拟化身的社会临场感的系统，其中，使所述虚拟化身的瞳孔尺寸同步于所提取的瞳孔尺寸变化。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2015-0053145 | 2015-04-15 | ||
| KR20150053145 | 2015-04-15 | ||
| PCT/KR2016/001054 WO2016167459A1 (ko) | 2015-04-15 | 2016-02-01 | 심장박동에 따른 동공크기변화를 이용한 가상-아바타의 사회적 실재감 표현 방법 및 이를 적용하는 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107533365A CN107533365A (zh) | 2018-01-02 |
| CN107533365B true CN107533365B (zh) | 2020-08-14 |
Family
ID=57126042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680022310.0A Expired - Fee Related CN107533365B (zh) | 2015-04-15 | 2016-02-01 | 利用取决于心跳的瞳孔尺寸变化来表达虚拟化身的社会临场感的方法及应用该方法的系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10290139B2 (zh) |
| KR (1) | KR101736402B1 (zh) |
| CN (1) | CN107533365B (zh) |
| WO (1) | WO2016167459A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10667714B2 (en) * | 2017-02-17 | 2020-06-02 | Sangmyung University Industry-Academy Cooperation Foundation | Method and system for detecting information of brain-heart connectivity by using pupillary variation |
| KR101996027B1 (ko) * | 2017-10-20 | 2019-07-04 | 상명대학교산학협력단 | 동공 크기 변화를 이용한 심장 주파수 영역의 정보 추출 방법 및 그 장치 |
| CN108269463A (zh) * | 2018-02-11 | 2018-07-10 | 合肥市科技馆 | 一种科普用瞳孔心理展示展品 |
| US20210393181A1 (en) * | 2020-06-19 | 2021-12-23 | Sangmyung University Industry-Academy Cooperation Foundation | Method and apparatus for measuring emotional contagion |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599230A (zh) * | 2008-06-06 | 2009-12-09 | 天津市天堰医教科技开发有限公司 | 一种模拟人体瞳孔变化的装置 |
| CN102934107A (zh) * | 2010-02-18 | 2013-02-13 | 株式会社尼康 | 信息处理装置、便携式装置以及信息处理系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8146005B2 (en) * | 2007-08-07 | 2012-03-27 | International Business Machines Corporation | Creating a customized avatar that reflects a user's distinguishable attributes |
| US8323216B2 (en) * | 2009-09-29 | 2012-12-04 | William Fabian | System and method for applied kinesiology feedback |
| BR112013007260A2 (pt) | 2010-09-30 | 2019-09-24 | Affectiva Inc | "método implantado por computador, produto de progama de computador incorporado a um meio legível or computador e sistema para análise de tráfego de aplicação habilitada para estados de web" |
| EP2842491A4 (en) | 2012-04-27 | 2015-05-27 | Toyota Motor Co Ltd | DEVICE FOR CALCULATING A RETAINED AMOUNT OF PHYSICAL ACTIVITY, METHOD FOR CALCULATING A RETAINED PHYSICAL ACTIVITY QUANTITY, AND SYSTEM FOR CALCULATING A QUANTITY OF RETAINED PHYSICAL ACTIVITY |
| US9198622B2 (en) * | 2012-10-09 | 2015-12-01 | Kc Holdings I | Virtual avatar using biometric feedback |
| US20140267342A1 (en) | 2013-03-13 | 2014-09-18 | Victor Liu | Method of creating realistic and comic avatars from photographs |
| US20150223743A1 (en) * | 2014-02-12 | 2015-08-13 | Wipro Limited | Method for monitoring a health condition of a subject |
| US9737716B2 (en) * | 2014-08-12 | 2017-08-22 | Cyberonics, Inc. | Vagus nerve and carotid baroreceptor stimulation system |
| JP6636792B2 (ja) * | 2015-01-30 | 2020-01-29 | パナソニック株式会社 | 刺激提示システム、刺激提示方法、コンピュータ、および制御方法 |
-
2016
- 2016-02-01 KR KR1020160012466A patent/KR101736402B1/ko active IP Right Grant
- 2016-02-01 US US15/566,261 patent/US10290139B2/en active Active
- 2016-02-01 WO PCT/KR2016/001054 patent/WO2016167459A1/ko active Application Filing
- 2016-02-01 CN CN201680022310.0A patent/CN107533365B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101599230A (zh) * | 2008-06-06 | 2009-12-09 | 天津市天堰医教科技开发有限公司 | 一种模拟人体瞳孔变化的装置 |
| CN102934107A (zh) * | 2010-02-18 | 2013-02-13 | 株式会社尼康 | 信息处理装置、便携式装置以及信息处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160123221A (ko) | 2016-10-25 |
| US20180122123A1 (en) | 2018-05-03 |
| WO2016167459A1 (ko) | 2016-10-20 |
| WO2016167459A8 (ko) | 2019-05-02 |
| US10290139B2 (en) | 2019-05-14 |
| CN107533365A (zh) | 2018-01-02 |
| KR101736402B1 (ko) | 2017-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bota et al. | A review, current challenges, and future possibilities on emotion recognition using machine learning and physiological signals | |
| Giannakakis et al. | Review on psychological stress detection using biosignals | |
| Greco et al. | Advances in Electrodermal activity processing with applications for mental health | |
| JP2019513516A (ja) | 人の視覚パフォーマンスを査定するために視覚データを入手し、集計し、解析する方法およびシステム | |
| Olugbade et al. | How can affect be detected and represented in technological support for physical rehabilitation? | |
| CN107533365B (zh) | 利用取决于心跳的瞳孔尺寸变化来表达虚拟化身的社会临场感的方法及应用该方法的系统 | |
| Hietanen et al. | Your attention makes me smile: Direct gaze elicits affiliative facial expressions | |
| Alhargan et al. | Affect recognition in an interactive gaming environment using eye tracking | |
| Chanel | Emotion assessment for affective computing based on brain and peripheral signals | |
| Zhang et al. | Cognitive state measurement from eye gaze analysis in an intelligent virtual reality driving system for autism intervention | |
| Barresi et al. | Exploring the embodiment of a virtual hand in a spatially augmented respiratory biofeedback setting | |
| CN113974589B (zh) | 多模态行为范式评估优化系统及认知能力评价方法 | |
| Rosa et al. | Adaptive non-immersive VR environment for eliciting fear of cockroaches: A physiology-driven approach combined with 3D-TV exposure | |
| López et al. | Comparison of classification techniques for the control of EOG-based HCIs | |
| Edmonds et al. | On physiological computing with an application in interactive art | |
| Rafique et al. | Towards estimation of emotions from eye pupillometry with low-cost devices | |
| Talukder et al. | EOG based home automation system by cursor movement using a graphical user interface (GUI) | |
| Xing et al. | The development of EEG-based brain computer interfaces: potential and challenges | |
| KR101848478B1 (ko) | 심장박동에 따른 얼굴온도변화를 이용한 가상-아바타의 사회적 실재감 표현 방법 및 이를 적용하는 시스템 | |
| Kaspersen | Objective measurement of the experience of agency during myoelectric pattern recognition based prosthetic limb control using eye-tracking | |
| Carnevale | Machine learning algorithms for facial gesture recognition: a first analysis based on event-driven sEMG acquisition | |
| Waardenburg | Mirror therapy in virtual reality by a brain-computer interface for amputees experiencing phantom limb pain | |
| Monica | Dynamics of positive affective responses identified through behavioral and electrophysiological measures | |
| Hernandez | Dynamics of Positive Affective Responses Identified through Behavioral and Electrophysiological Measures | |
| Kasyanova et al. | Biointerfaces: Types, Application and Perspectives |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200814 |