CN114253398A - 一种高仿真生物眼睛互动图像显示模块及方法 - Google Patents
一种高仿真生物眼睛互动图像显示模块及方法 Download PDFInfo
- Publication number
- CN114253398A CN114253398A CN202111491194.6A CN202111491194A CN114253398A CN 114253398 A CN114253398 A CN 114253398A CN 202111491194 A CN202111491194 A CN 202111491194A CN 114253398 A CN114253398 A CN 114253398A
- Authority
- CN
- China
- Prior art keywords
- video
- display
- action
- eyeball
- display screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000004088 simulation Methods 0.000 title claims abstract description 15
- 210000001508 eye Anatomy 0.000 claims abstract description 61
- 230000000694 effects Effects 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 230000014509 gene expression Effects 0.000 claims description 41
- 230000009471 action Effects 0.000 claims description 40
- 230000033001 locomotion Effects 0.000 claims description 40
- 210000005252 bulbus oculi Anatomy 0.000 claims description 34
- 239000000463 material Substances 0.000 claims description 23
- 230000002452 interceptive effect Effects 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 12
- 210000000744 eyelid Anatomy 0.000 claims description 10
- 210000003786 sclera Anatomy 0.000 claims description 10
- 210000004087 cornea Anatomy 0.000 claims description 8
- 239000004973 liquid crystal related substance Substances 0.000 claims description 8
- 230000004424 eye movement Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 108050006002 RNA polymerase sigma factor FliA Proteins 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000008602 contraction Effects 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 claims description 3
- 230000000630 rising effect Effects 0.000 claims description 3
- 230000005611 electricity Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 13
- 230000008451 emotion Effects 0.000 description 8
- 230000002996 emotional effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 206010047571 Visual impairment Diseases 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 239000011664 nicotinic acid Substances 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000001680 brushing effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000006461 physiological response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 206010048909 Boredom Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000000540 analysis of variance Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004071 biological effect Effects 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/76—Architectures of general purpose stored program computers
- G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
- G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种高仿真生物眼睛互动图像显示模块及方法，所述模块包括有显示屏、驱动板、单片机控制板及凸透镜，所述显示屏设置在驱动板上，所述驱动板与单片机控制板电连接，所述凸透镜覆盖在显示屏外侧，通过凸透镜可以看到显示屏的显示界面。本发明将显示屏上覆盖凸透镜，产生视觉折射，使得眼睛呈现3D立体效果，更加逼真。
Description
技术领域
本发明属于图像仿生显示及控制领域，特别涉及一种智能硬件人机交互界面中的高仿真生物眼睛图像显示模块及显示方法。
背景技术
人工智能，家用机器人，智能家居等新兴行业已经是产业发展趋势，科技创造美好生活，不同以往，机器与人之间的属性棱界分明，随着智能交互技术的不断发展，机器与人之间融合越来越紧密，这其中，人机交互技术趋向拟人化，例如自然语言交互，人脸识别，动作识别，表情表达，触觉等拟人化属性。使得冰冷机器越来越呈现出新生物物种的特性，不但有硬功能，还有类似生物情绪感情表达的软功能，如专利申请201410571977.9公开了一种基于情绪识别和混杂理论的机器人辅助康复人机交互控制方法，以机器人辅助康复过程中患者“挫败”、“兴奋”及“厌烦”三类情绪为目标情绪状态，包括以下步骤：获取训练过程中患者目标情绪反应的生理响应信号；通过方差分析方法从统计意义上分析反应目标情绪变化的生理信号重要特征及其组合；根据前述目标情绪生理响应特征及其组合，采用支持向量机方法识别出患者目标情绪状态；以及根据识别到的患者目标情绪状态，基于混杂理论设计与患者目标情绪变化相一致的闭环自适应人机交互控制器。
其中以往智能机器表达通常是通过人机交互界面获得指令，然后通过智能运算，执行输出操作，最后以实现某种机械动作或电功能或自然语音播报作为反馈互动表达方式，如专利申请201910757570.8公开了一种基于人脸特征点的AR表情资源构建管理方法，包括如下步骤：S11，AR表情项目管理；S12，AR表情特效功能管理；S13，AR表情素材功能管理；S14，AR表情参数设置管理；S15，AR表情布局查看管理；S16，AR表情生成管理。这里缺失通过仿生情绪意识的表达方式，而眼睛是心灵窗口，是意识表达的外在表现形式，眼睛要表达情绪意识表情，眼球眼睑巩膜就必须有动作,使之更贴近自然性互动。
现有技术也有通过机械物理眼球来实现表情动作的方式，如专利申请201820887709.1所公开的一种智能机器人，主要包括头部和身体，所述头部通过滑动机构与所述身体连接；所述头部上安装有摄像头和机械眼；所述机械眼睛包括眼眶和表情拨片。但是这种技术方案表情呆滞，没有灵魂感，效果不好；
而其他通用技术也有采用显示屏显示眼睛图像的方法来表达意识情绪反馈，但是眼睛图像素材多数是简单的卡通动画素材，仿真度低不逼真，更没有逼真的动作联动算法，互动表达效果自然也非常不好，技术含量极低。
总结以上现有技术,一方面缺失利用高仿真生物眼睛表情动作来进行互动表达的方式，达不到好的效果,另一方面因为现有技术理念方向是要把仿真生物眼睛做成一个过于在实体上趋真的器官，导致实现起来成本极其高昂，而得不到广泛采用,因此需要寻找替代方案，即既能高仿真生物眼睛的惊人效果，又成本低廉地实现交互功能效果，因此也就不能把它作为一个精致的实体器官去做。
发明内容
为解决上述问题，本发明的首要目的在于提供一种高仿真生物眼睛互动图像显示模块及方法，该模块及方法采用本高仿真度的3D眼睛运动视频影像素材，并植入系统中加以调用并显示，能够完美模拟出眼睛的视觉效果，眼球动作及眼睑巩膜微动作使表情丰富逼真，效果佳。
本发明的另一目的在于提供一种高仿真生物眼睛互动图像显示模块及方法，该模块及方法采用ARM控制芯片驱动小尺寸液晶显示屏硬件模块外加凸透镜的装置，植入高度逼真的动物或人的眼睛视频图像素材，采用眼球运动组合系统算法，使配备了本技术模块的智能硬件产品在与人互动场景下具有拟人的情绪表现力，使机器不再是冰冷的，具有灵魂感，加强了人机互动融合的参与性，提高了人类生活的科技成份。
申请人研究发现：不把仿真眼做成一个高成本的精致实体器官，另辟蹊径，采用视频图像显示技术，使用全彩3D眼睛视频图像素材，以系统动作算法驱动显示屏模组，外加凸透镜3D呈现的方法，实现低成本的具有互动功能的高仿真生物眼睛的惊人效果。
为实现上述目的，本发明的技术方案如下。
一种高仿真生物眼睛互动图像显示模块，所述模块包括有显示屏、驱动板、单片机控制板及凸透镜，所述显示屏设置在驱动板上，所述驱动板与单片机控制板电连接，所述凸透镜覆盖在显示屏外侧，通过凸透镜可以看到显示屏的显示界面。本发明将显示屏上覆盖凸透镜，产生视觉折射，使得眼睛呈现3D立体效果，更加逼真。
进一步，所述显示屏为TFT液晶显示屏，所述驱动板为SPI驱动板。
进一步，所述单片机控制板为RAM单片机控制板，所述单片机控制板与驱动板通过连接排针进行连接，单片机的通讯时钟为100M以上。
一种高仿真生物眼睛互动图像显示的方法，该方法包括如下步骤：
步骤一，制作全彩3D眼睛视频图像素材，为使眼睛视频素材达到高仿真的视觉效果，素材包括以下几个方面：
1).设置素材格式；
视频图像的素材分辨率采用240x240像素，全彩高精度3D图；
2)设置眼球运动路径，眼球运动时伴有眼睑的牵引，眼睑呈现抬高或降低曲线运动；
3)模拟角膜白色反光点，角膜上有个固定白色反光点，在此位置上设置白色反光点，以模拟角膜；
4)模拟巩膜的动作，眼球运动达到位置后，巩膜会呈现微震荡或瞳孔扩缩动作。
步骤二，在互动场景下，为使眼睛动作达到高仿真的视觉效果，为眼球动作设计了一套算法进行动作拆解并编组定义及调用：
具体地说，包括如下：
201、把眼球动作根据动作方向进行标准化拆解并编组，动作组编号A01～G02，每组由连续视频帧单元组成，视频帧单元编号01～n,每组动作耗时<1秒。
202、眼睛进行互动表达时，由一系列眼球动作组成，根据下列帧集合调用视频帧组进行眼球动作的流畅显示；
1)X＝动作组编号(A01,...E01,...G02)
2)Y＝关键帧编号(01,02,03...n)
3)T＝眼球动作组运动行程(0,1,1/2,1/3,1/4,1/5)
4)F(X,Y)＝帧集合
5)系列动作集合
∑F(X,Y)＝{F1(X1,Y1)$T1+F2(X2,Y2)$T2+F3(X3,Y3)$T3...}
根据眼睛交互表情的表达要求，重新按关键帧进行排列组合成完整一套系列表达动作即∑F(X,Y)代表的动作集合，例如：眼球向左视1/4行程，再回正1/4行程，再左视1行程，眨眼0行程，再回正1行程，再眨眼0行程，再向右上视1行程，转仰视1行程。
步骤三，为了使眼球动作显示自然流畅达到高度逼真的效果，眼睛视频素材显示的刷新率要达到到20+FPS，要将视频播放到20+FPS，方法上做了如下处理：
硬件采用：主频100M+的RAM单片机控制板,及分辨率240*240、满屏刷新率4FPS以上的TFT液晶显示屏及显示屏SPI驱动板。
更进一步，由于单片机主频非常低，并且无硬件解码功能，视频解码的工作无法让单片机来做，因而使用人工手动解码，步骤如下：
1)将一个24fps分辨率240*240视频使用软件工具拆出视频帧图片；
2)由于单片机存储资源有限，因此要对数据去重；
3)然后将这些图像取模，产生(RGB666 MSB)格式的数组，存放于Nandflash中。
更进一步，由于视频播放的刷新率要求在20fps，因此在传输和显示上做了如下处理：
1)提高通讯速率：选用单片机上硬件SPI，通讯时钟最大调整到100M。
2)减少通讯数据交互：分析视频图像细节，发现最常用的刷新范围为：
i.起点(0，70)终点(240，200)
ii.起点(0，90)终点(240，200)
因此将需要刷新的视频帧图片取模后，人工解码，把模中这部分取出来，直接通过SPI送给屏幕显示。
3)屏幕GRAM优化：由于使用了屏幕GRAM，因此前后两帧数据相差较小，播放起来会十分流畅，但是一旦相差较大则在高速刷新中出现第二帧未刷完的残影,因此，在分析到两帧数据相差非常大时，在第二帧数据开始刷新时把背光关掉，刷完后再把背光打开，这样来保证，看不到第二帧刷一半的残像。
4)视频帧流畅度调整：按照上述调整后，视频的刷新率能达到20FPS，因此系统需要在两帧图片交替切换之间加入延时，以让视频播放成正常的速度。
步骤四，依据软件控制流程进行如下操作：
101、输入工作指令；
102、解析指令，将指令解析为眼球动作系列帧组编号集合，编号集合对应于动作组编号A01～G02。
103、读取图片数据，其中，图片数据来源于RAM单片机控制板中的Nandflash存储器中的数组帧图片，这些图片的格式是RGB666 MSB格式；
104、单片机通过SPI口向SPI驱动板的GRAM显存传送数据；
105、显示屏进行刷新，刷新范围为：
i.起点(0，70)终点(240，200)
ii.起点(0，90)终点(240，200)；
并分析到两帧数据的差异，如果差异小，只刷新有差异的数据；当两帧数据相差非常大时，进行视频帧流畅度调整，按照上述调整后，视频的刷新率能达到20FPS，因此系统需要在两帧图片交替切换之间加入延时，以让视频播放成正常的速度。
106、点亮显示屏的屏幕，按照每秒20帧的速率播放眼睛帧视频图像。
本发明的有益效果是：
人工智能，家用机器人，智能家居等新兴行业已经是产业发展趋势，科技创造美好生活，不同以往，机器与人之间的属性棱界分明，随着智能交互技术的不断发展，机器与人之间融合越来越紧密，这其中，人机交互技术趋向拟人化，使得冰冷机器越来越呈现出新生物物种的特性，不但有硬功能，还有类似生物情绪感情表达的软功能，而眼睛是心灵窗口，是意识表达的外在表现形式，更贴近自然性互动。眼睛要表达情绪意识表情，眼球眼睑巩膜就必须有动作。
本发明采用高度逼真的生物眼睛视频图像素材，采用眼球运动组合系统算法，完美模拟出眼睛的视觉效果，眼球动作及眼睑巩膜微动作使表情丰富逼真，效果佳，使配备了本技术模块的智能硬件产品在与人互动场景下具有拟人的情绪表现力，使机器不再是冰冷的，具有灵魂感，加强了人机互动融合的参与性，提高了人类生活的科技成份。
本发明主要应用于智能家用机器人、智能狗、智能家居硬件、可视门铃，科教玩具、艺术品表现，使这些产品具备科技生物属性。
附图说明
图1是本发明所采用的眼睛素材图。
图2是本发明所实现的眼球动作标准化拆解图。
图3是本发明所实现显示模块的结构图。
图4是本发明所实现显示模块的侧视图。
图5是本发明所实现显示模块的示意图。
图6是本发明所实现电路逻辑图。
图7是本发明所实现显示控制流程图。
图8是本发明应用于可视门铃的示意图。
图9是本发明应用于智能机器人的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图3-5所示，本发明所实现的高仿真生物眼睛互动图像显示模块，包括有TFT液晶显示屏2、SPI驱动板1、RAM单片机控制板及凸透镜，所述TFT液晶显示屏2设置在SPI驱动板1上。所述SPI驱动板1与RAM单片机控制板4通过连接排针5进行连接，通讯时钟为100M以上。
一凸透镜3覆盖在TFT液晶显示屏2外侧，通过凸透镜3可以看到TFT液晶显示屏2的显示界面。
应用时显示屏2上覆盖凸透镜3，产生视觉折射，强化了生物眼睛的3D立体效果，更加逼真。
因此，本发明所实现的高仿真生物眼睛互动图像显示的方法，包括如下步骤：
步骤一，首先，对眼睛视频图像进行定义，制作全彩3D眼睛视频图像素材。素材包括如下几个方面：
1).视频素材分辨率采用240x240,或480x480像素，全彩高精度3D图，如图1所示，为眼睛素材图。
2).眼球运动时伴有眼睑的牵引，眼睑呈现抬高或降低曲线运动。
3).角膜上有个固定白色反光点，在显示屏对应的位置上设置白色反光点，以模拟角膜；
4).眼球运动达到位置后，巩膜会呈现微震荡或瞳孔扩缩动作，在眼球运动到达指定位置后，模拟巩膜的动作。
2.眼球动作拆解并编组定义及调用：
步骤二，如图2所示，把眼球动作根据动作方向进行标准化拆解并编组，动作组编号A01～G02，每组由连续视频帧单元组成，视频帧单元编号01～n,每组动作耗时<1秒。
其中，眼睛进行互动表达时,由一系列眼球动作组成，系统根据下列帧集合调用视频帧组进行眼球动作的流畅显示。
1)X＝动作组编号(A01,...E01,...G02)
2)Y＝关键帧编号(01,02,03...n)
3)T＝眼球动作组运动行程(0,1,1/2,1/3,1/4,1/5)
4)F(X,Y)＝帧集合
5)系列动作集合
∑F(X,Y)＝{F1(X1,Y1)$T1+F2(X2,Y2)$T2+F3(X3,Y3)$T3...}
根据眼睛交互表情的表达要求，重新按关键帧进行排列组合成完整一套系列表达动作即∑F(X,Y)代表的动作集合，例如：眼球向左视1/4行程，再回正1/4行程，再左视1行程，眨眼0行程，再回正1行程，再眨眼0行程，再向右上视1行程，转仰视1行程。
步骤三，进行硬件设置。
硬件采用：主频100M+的RAM单片机控制板,及分辨率240*240,满屏刷新率4FPS以上的TFT液晶显示屏及显示屏SPI驱动板。
由于单片机主频非常低，并且无硬件解码功能，视频解码的工作无法让单片机来做，因而使用人工手动解码，步骤如下：
1)将一个24fps分辨率240*240视频使用软件工具拆出视频帧图片.
2)由于单片机存储资源有限，因此要对数据去重。
3)电路连接如图6所示，然后将这些图像取模，产生(RGB666 MSB)格式的数组，存放于Nandflash中。
由于视频播放的刷新率要求在20fps，因此在传输和显示上做了如下处理：
1)提高通讯速率：选用单片机上硬件SPI，通讯时钟最大调整到100M。
2)减少通讯数据交互：分析视频图像细节，最常用的刷新范围为：
i.起点(0，70)终点(240，200)
ii.起点(0，90)终点(240，200)
因此将需要刷新的视频帧图片取模后，人工解码，把模中这部分取出来，直接通过SPI送给屏幕显示。
3)屏幕GRAM优化：由于使用了屏幕GRAM，因此前后两帧数据相差较小，播放起来会十分流畅，但是一旦相差较大则在高速刷新中出现第二帧未刷完的残影,因此，在分析到两帧数据相差非常大时，在第二帧数据开始刷新时把背光关掉，刷完后再把背光打开，这样来保证，看不到第二帧刷一半的残像。
4)视频帧流畅度调整：按照上述调整后，视频的刷新率能达到20FPS，因此系统需要在两帧图片交替切换之间加入延时，以让视频播放成正常的速度。
步骤四，依据软件控制流程如图7所示，具体的流程为：
101、输入工作指令；
102、解析指令，将指令解析为眼球动作系列帧组编号集合，编号集合对应于图2所示的动作组编号A01～G02。
103、读取图片数据，其中，图片数据来源于RAM单片机控制板中的Nandflash存储器中的数组帧图片，这些图片的格式是RGB666 MSB格式；
104、单片机通过SPI口向SPI驱动板的GRAM显存传送数据；
105、显示屏进行刷新，刷新范围为：
i.起点(0，70)终点(240，200)
ii.起点(0，90)终点(240，200)；
并分析到两帧数据的差异，如果差异小，只刷新有差异的数据；当两帧数据相差非常大时，进行视频帧流畅度调整，按照上述调整后，视频的刷新率能达到20FPS，因此系统需要在两帧图片交替切换之间加入延时，以让视频播放成正常的速度。
106、点亮显示屏的屏幕，按照每秒20帧的速率播放眼睛帧视频图像。
总之，本发明使用凸透镜覆盖于显示屏上，强化了眼睛显示的3D效果，使视觉效果趋于更加逼真。
图8所示，为本发明应用于可视门铃的示意图，图9所示为本发明应用于智能机器人的示意图，本发明还可以应用于智能狗，智能家居，科教玩具，电子产品中。
总之，本发明采用高度逼真的生物眼睛视频图像素材，采用眼球运动组合系统算法，使配备了本技术模块的智能硬件产品在与人互动场景下具有拟人的情绪表现力，完美模拟出眼睛的视觉效果，眼球动作及眼睑巩膜微动作使表情丰富逼真，效果佳，使机器不再是冰冷的，具有灵魂感，加强了人机互动融合的参与性，提高了人类生活的科技成份。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，包括但不限把眼球眼睑运动算法直接融入到仿生眼睛视频素材内利用本发明模块进行播放显示的方法，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种高仿真生物眼睛互动图像显示模块，其特征在于所述模块包括有显示屏、驱动板、单片机控制板及凸透镜，所述显示屏设置在驱动板上，所述驱动板与单片机控制板电连接，所述凸透镜覆盖在显示屏外侧，通过凸透镜可以看到显示屏的显示界面。
2.如权利要求1所述的高仿真生物眼睛互动图像显示模块，其特征在于所述显示屏为TFT液晶显示屏，所述驱动板为SPI驱动板。
3.如权利要求1所述的高仿真生物眼睛互动图像显示模块，其特征在于所述单片机控制板为RAM单片机控制板，所述单片机控制板与驱动板通过连接排针进行连接，单片机的通讯时钟为100M以上。
4.一种高仿真生物眼睛互动图像显示的方法，其特征在于该方法包括如下步骤：
步骤一，制作全彩3D眼睛视频图像素材，其中，视频图像的素材分辨率采用240x240像素，全彩高精度3D图；
步骤二，在互动场景下，为使眼睛动作达到高仿真的视觉效果，为眼球动作设计了一套算法进行动作拆解并编组定义及调用：
步骤三，为了使眼球动作显示自然流畅达到高度逼真的效果，眼睛视频素材显示的刷新率要达到到20+FPS，要将视频播放到20+FPS，方法上做了如下处理：
硬件采用：主频100M+的RAM单片机控制板,及分辨率240*240、满屏刷新率4FPS以上的TFT液晶显示屏及显示屏SPI驱动板。
步骤四，依据软件控制流程进行如下操作：
101、输入工作指令；
102、解析指令，将指令解析为眼球动作系列帧组编号集合；
103、读取图片数据，其中，图片数据来源于RAM单片机控制板中的Nandflash存储器中的数组帧图片；
104、单片机通过SPI口向SPI驱动板的GRAM显存传送数据；
105、显示屏进行刷新，以让视频播放成正常的速度；
106、点亮显示屏的屏幕，按照每秒20帧的速率播放眼睛视频帧图像。
5.如权利要求4所述的高仿真生物眼睛互动图像显示的方法，其特征在于所述步骤一中，所述素材进一步包括有：
设置眼球运动路径，同时眼球运动时伴有眼睑的牵引，眼睑呈现抬高或降低曲线运动；
模拟角膜白色反光点，角膜上有个固定白色反光点，在此位置上设置白色反光点，以模拟角膜；
模拟巩膜的动作，眼球运动达到位置后，巩膜会呈现微震荡或瞳孔扩缩动作。
6.如权利要求4所述的高仿真生物眼睛互动图像显示的方法，其特征在于所述步骤二中，具体地说，包括如下：
201、把眼球动作根据动作方向进行标准化拆解并编组，动作组编号A01～G02，每组由连续视频帧单元组成，视频帧单元编号01～n,每组动作耗时<1秒；
202、眼睛进行互动表达时，由一系列眼球动作组成，根据下列帧集合调用视频帧组进行眼球动作的流畅显示；
1)X＝动作组编号(A01,...E01,...G02)
2)Y＝关键帧编号(01,02,03...n)
3)T＝眼球动作组运动行程(0,1,1/2,1/3,1/4,1/5)
4)F(X,Y)＝帧集合
5)系列动作集合
∑F(X,Y)＝{F1(X1,Y1)$T1+F2(X2,Y2)$T2+F3(X3,Y3)$T3...}
根据眼睛交互表情的表达要求，重新按关键帧进行排列组合成完整一套系列表达动作即∑F(X,Y)代表的动作集合。
7.如权利要求4所述的高仿真生物眼睛互动图像显示的方法，其特征在于所述步骤三中，视频解码的步骤如下：
1)将一个24fps分辨率为240*240视频使用软件工具拆出视频帧图片；
2)要对数据去重；
3)然后将这些图像取模，产生(RGB666 MSB)格式的数组，存放于Nandflash中。
8.如权利要求7所述的高仿真生物眼睛互动图像显示的方法，其特征在于所述步骤三中，在传输和显示上做了如下处理：
1)提高通讯速率：选用单片机上硬件SPI，通讯时钟最大调整到100M；
2)减少通讯数据交互：分析视频图像细节，刷新范围为：
i.起点(0，70)终点(240，200)
ii.起点(0，90)终点(240，200)
将需要刷新的视频帧图片取模后，人工解码，把模中这部分取出来，直接通过SPI送给屏幕显示；
3)屏幕GRAM优化：在分析到两帧数据相差非常大时，在第二帧数据开始刷新时把背光关掉，刷完后再把背光打开；
4)视频帧流畅度调整：按照上述调整后，视频的刷新率能达到20FPS，需要在两帧图片交替切换之间加入延时，以让视频播放成正常的速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111491194.6A CN114253398A (zh) | 2021-12-08 | 2021-12-08 | 一种高仿真生物眼睛互动图像显示模块及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111491194.6A CN114253398A (zh) | 2021-12-08 | 2021-12-08 | 一种高仿真生物眼睛互动图像显示模块及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114253398A true CN114253398A (zh) | 2022-03-29 |
Family
ID=80791798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111491194.6A Pending CN114253398A (zh) | 2021-12-08 | 2021-12-08 | 一种高仿真生物眼睛互动图像显示模块及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114253398A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003126039A (ja) * | 2001-10-24 | 2003-05-07 | Japan Science & Technology Corp | 眼球動特性の測定方法およびその装置 |
| US20110177753A1 (en) * | 2010-01-18 | 2011-07-21 | Disney Enterprises, Inc. | System and method for generating realistic eyes |
| CN107465909A (zh) * | 2016-06-03 | 2017-12-12 | 摸辟可有限公司 | 用于裸眼立体图像的显示设备和显示方法 |
| CN108459710A (zh) * | 2018-02-08 | 2018-08-28 | 东南大学 | 一种眼动信号控制的交互装置 |
| CN108491068A (zh) * | 2018-02-08 | 2018-09-04 | 东南大学 | 一种眼动信号控制的交互方法 |
| US20200206940A1 (en) * | 2017-09-11 | 2020-07-02 | Groove X, Inc. | Autonomously acting robot that stares at companion |
-
2021
- 2021-12-08 CN CN202111491194.6A patent/CN114253398A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003126039A (ja) * | 2001-10-24 | 2003-05-07 | Japan Science & Technology Corp | 眼球動特性の測定方法およびその装置 |
| US20110177753A1 (en) * | 2010-01-18 | 2011-07-21 | Disney Enterprises, Inc. | System and method for generating realistic eyes |
| CN107465909A (zh) * | 2016-06-03 | 2017-12-12 | 摸辟可有限公司 | 用于裸眼立体图像的显示设备和显示方法 |
| US20200206940A1 (en) * | 2017-09-11 | 2020-07-02 | Groove X, Inc. | Autonomously acting robot that stares at companion |
| CN108459710A (zh) * | 2018-02-08 | 2018-08-28 | 东南大学 | 一种眼动信号控制的交互装置 |
| CN108491068A (zh) * | 2018-02-08 | 2018-09-04 | 东南大学 | 一种眼动信号控制的交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230105458A1 (en) | System for neurobehaviorual animation | |
| US5923337A (en) | Systems and methods for communicating through computer animated images | |
| CN101149840A (zh) | 一种复杂表情仿真系统及其实现方法 | |
| US20190325632A1 (en) | System and Method for Digital Persona Personality Platform | |
| Matsumoto et al. | Minimal design strategy for embodied communication agents | |
| Zhang et al. | The Application of Folk Art with Virtual Reality Technology in Visual Communication. | |
| Cong et al. | Design and development of virtual medical system interface based on VR-AR hybrid technology | |
| CN114253398A (zh) | 一种高仿真生物眼睛互动图像显示模块及方法 | |
| Gratch et al. | Emotionally resonant media: Advances in sensing, understanding, and influencing human emotion through interactive media | |
| Onuki et al. | Designing robot eyes for communicating gaze | |
| CN208358753U (zh) | 一种仿人表情显示装置及机器人 | |
| CN216565407U (zh) | 一种带高仿真眼睛显示模块的可视门铃装置 | |
| Parke et al. | Facial animation | |
| Wu et al. | Costume design and animation synthesis for personalized avatars | |
| Onchi et al. | Emotional meaning of eyelid positions on a one-eyed 2D avatar | |
| JP2003205489A (ja) | 人工目およびそれを用いたロボット | |
| Adamo-Villani et al. | 3D simulator of ocular motion and expression | |
| CN211264542U (zh) | 一种基于高速通讯技术的教学支持系统 | |
| Adamo-Villani et al. | Emoes: Eye motion and ocular expression simulator | |
| Prasetyahadi et al. | Eye lip and crying expression for virtual human | |
| CN114267459A (zh) | 一种应用于养老院的智能陪伴系统 | |
| CN101739673A (zh) | 人的面部表情的制作系统及制作方法 | |
| CN117422798A (zh) | 虚拟人的交互方法、系统及存储介质 | |
| DONGJIAO | Design And Development Of A Social Robotic Head-Dorothy | |
| Kuo et al. | An emotional robot with facial expressions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |