CN115776560B - 基于裸眼3d技术的图像拼接修复处理系统及其方法 - Google Patents
基于裸眼3d技术的图像拼接修复处理系统及其方法 Download PDFInfo
- Publication number
- CN115776560B CN115776560B CN202211550331.3A CN202211550331A CN115776560B CN 115776560 B CN115776560 B CN 115776560B CN 202211550331 A CN202211550331 A CN 202211550331A CN 115776560 B CN115776560 B CN 115776560B
- Authority
- CN
- China
- Prior art keywords
- image
- rgb
- depth
- module
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005516 engineering process Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 title claims description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 28
- 239000004973 liquid crystal related substance Substances 0.000 claims abstract description 26
- 239000010408 film Substances 0.000 claims abstract description 21
- 230000000694 effects Effects 0.000 claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 13
- 239000012788 optical film Substances 0.000 claims abstract description 11
- 230000007306 turnover Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 37
- 210000001508 eye Anatomy 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 16
- 230000008447 perception Effects 0.000 claims description 8
- 230000006798 recombination Effects 0.000 claims description 8
- 238000005215 recombination Methods 0.000 claims description 8
- 210000005252 bulbus oculi Anatomy 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 6
- 230000004438 eyesight Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000016776 visual perception Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008521 reorganization Effects 0.000 claims description 4
- 239000011248 coating agent Substances 0.000 claims description 3
- 238000000576 coating method Methods 0.000 claims description 3
- 230000004424 eye movement Effects 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 abstract description 3
- 239000003086 colorant Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 208000002173 dizziness Diseases 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了基于裸眼3D技术的图像拼接修复处理系统及其方法,属于裸眼3D技术领域。其包括遮光屏框、OLCD柔性液晶屏、视觉传感模块、3D光学膜、棱体导光板和ESR反射膜,所述棱体导光板与ESR反射膜之间设置有相位补偿棱镜,所述相位补偿棱镜的两端均设置有翻转连轴,相位补偿棱镜通过翻转连轴与遮光屏框转动连接。为解决裸眼3D技术在实际使用过程中无法根据人体的观看角度来展示的画面信息进行调整,且不同角度下的视觉画面会出现畸变的问题,利用动态化的脸部信息捕捉来配合改变角度方向的OLCD柔性液晶屏以及相位补偿棱镜来实现裸眼3D画面的视觉角度调整,这样便可以适应不同角度下的视觉体验效果。
Description
技术领域
本发明涉及裸眼3D技术领域,具体为基于裸眼3D技术的图像拼接修复处理系统及其方法。
背景技术
裸眼3D是对不借助偏振光眼镜等外部工具,实现立体视觉效果的技术的统称;
申请号为201610071250.3公开了防裸眼3D观看眩晕感的图像处理方法及系统和显示设备,可以通过实时根据观察者的眼部瞳距来调节3D显示图像的结果数据,从而使输出的3D显示图像与观察者的瞳距实时配合,使得3D显示效果能够跟随观察者的瞳距而发生改变,避免裸眼观看3D显示时产生眩晕感,延长了裸眼观看3D的时间,有利于大范围的推广应用裸眼3D技术产品。
上述专利中,虽然针对3D眩晕进行了改善,但裸眼3D技术在实际使用过程中无法根据人体的观看角度来展示的画面信息进行调整,且不同角度下的视觉画面会出现畸变的情况;因此,不满足现有的需求,对此提出了基于裸眼3D技术的图像拼接修复处理系统及其方法。
发明内容
本发明的目的在于提供基于裸眼3D技术的图像拼接修复处理系统及其方法,利用动态化的脸部信息捕捉来配合改变角度方向的OLCD柔性液晶屏以及相位补偿棱镜来实现裸眼3D画面的视觉角度调整,这样便可以适应不同角度下的视觉体验效果,可以解决现有技术中的问题。
为实现上述目的,本发明提供如下技术方案:基于裸眼3D技术的图像拼接修复处理系统,包括遮光屏框、OLCD柔性液晶屏、视觉传感模块、3D光学膜、棱体导光板和ESR反射膜,所述棱体导光板与ESR反射膜之间设置有相位补偿棱镜,所述相位补偿棱镜的两端均设置有翻转连轴,相位补偿棱镜通过翻转连轴与遮光屏框转动连接,所述OLCD柔性液晶屏的上下两侧均设置有曲轴滑块,OLCD柔性液晶屏通过曲轴滑块与遮光屏框滑动连接;
所述视觉传感模块设置在遮光屏框的顶部,所述视觉传感模块的一端设置有180°追踪摄像头,180°追踪摄像头与视觉传感模块转动连接。
优选的,所述3D光学膜设置在棱体导光板与OLCD柔性液晶屏之间,所述OLCD柔性液晶屏包括平面镜和三角棱镜,其中,平面镜位于3D光学膜一侧,三角棱镜位于相位补偿棱镜一侧。
优选的,所述ESR反射膜内侧的两端均设置有左旋LED光源组和右旋LED光源组,左旋LED光源组和右旋LED光源组与ESR反射膜电性连接。
优选的,所述左旋LED光源组和右旋LED光源组与RGB-D模块连接;
RGB-D模块=普通RGB三通道彩色图像+DepthMap,是从图像采集器到场景中各点的距离作为像素值的图像。
优选的,所述RGB-D模块与AI训练模块连接,其中,AI训练模块包括AI数值预测模块;
AI训练模块:对重组后的RGB数据进行及模型的分析演算;
AI训练模块包括如下分析演算步骤:
预先配置深度计算模型和深度轮廓模型;
获取不同通道的颜色图像,构建不同通道颜色图像的图像分类模型;
将图像分类模型划分为图像深度计算模型和图像深度特征提取模型,并将颜色图像先输入图像深度特征提取模型,确定图像深度特征,然后通过图像深度计算模型进行图像深度计算,并在计算后进行特征标记和深度标记;
通过特征标记和深度标记,生成不同图像通道的深度离散分布模型;
确定每个颜色图像在相同位置的叠加离散值;
根据离散值,对颜色图像的不同像素点进行加权聚类,通过每个像素点的聚类值,计算相邻像素点之间的马氏距离,并生成距离标签;
根据距离标签,确定同类深度像素点;
将同类深度像素点作为第二训练样本,将第二训练样本分别导入AI训练模块的深度轮廓模型和配置深度计算模型,演算确定RGB数据对应的深度轮廓和每个深度轮廓区域对应的深度值;
AI数值预测模块:RGB数据经AI训练后,可以计算出图像的深度表现。
AI数值预测模块:RGB数据经AI训练后,可以计算出图像的深度表现。
优选的,所述AI训练模块与用于分析片源参数的文件参数识别模块连接,其中,文件参数识别模块包括RGB重组单元;
RGB重组单元:通过对片源的红(R)、绿(G)、蓝(B)三个颜色通道的变化以及叠加数据来进行重组分析,并将其转化为数据信息。
优选的,所述RGB重组单元包括左视像RGB和右视像RGB,左视像RGB和右视像RGB与AI训练模块之间直接输出;
左视像RGB:将重组后的RGB数据源中用于左眼视觉感知的信息筛出;
右视像RGB:将重组后的RGB数据源中用于右眼视觉感知的信息筛出。
优选的,所述180°追踪摄像头包括正角区域扫描单元和侧角区域扫描单元,正角区域扫描单元和侧角区域扫描单元与人体感知模块连接;
正角区域扫描单元:正角区域是以摄像头为中心,覆盖屏幕正前方60°-120°角度范围的人体信息感知;
侧角区域扫描单元:侧角区域是指除正角区域后,摄像头两侧所覆盖的角度范围,分别是0°-60°和120°-180°;
人体感知模块:可以感应屏幕前方的人体信息以及个体数量;其中,
感应屏幕前方的人体信息包括如下步骤:
步骤1:获取扫描图像,构建基于扫描图像的场景模型:
其中,表示场景模型;/>表示正角区域的扫描图像的第/>个像素点的位置坐标;/>表示正角区域的扫描图像的第/>个像素点的颜色深度;/>表示侧角扫描的0°-60°范围内;/>表示侧角扫描的120°-180°范围内;/>表示侧角区域的A范围的扫描图像的第/>个像素点的位置坐标;/>表示侧角区域的A范围的扫描图像的第/>个像素点的颜色深度;/>表示侧角区域的B范围的扫描图像的第/>个像素点的位置坐标;/>表示侧角区域的B范围的扫描图像的第/>个像素点的颜色深度;/>,n表示正角区域的扫描图像的像素点总数量;/>,m表示侧角区域的扫描图像的像素点总数量;
步骤2:根据场景模型,引入人像判定,进行人体信息判定:
其中,表示人体信息判定值;/>表示人体特征识别矩阵;/>表示扫描图像中的动态深度移动的像素点的场景变换特征;/>表示场景模型中人体信息的识别系数;当/>的时候表示存在人体信息;当/>的时候表示不存在人体信息,/>表示任意的人体特征;其中/>和/>表示人体不同特征的深度轮廓的深度值。
优选的,所述人体感知模块还包括人脸识别模块和眼球动态捕捉模块,人体感知模块通过方位数据处理模块与相位补偿棱镜连接;
人脸识别模块:在感应到人体信息后,摄像头会专门捕捉范围内的人脸朝向,用以判断脸部是否朝向屏幕;
眼球动态捕捉模块:在判定脸部朝向屏幕后,摄像头会进一步捕捉当前脸部的眼球活动情况。
基于裸眼3D技术的图像拼接修复处理系统的实施方法,包括如下步骤:
步骤一:将片源传输至播放终端内部,利用文件参数识别模块对片源的RGB信息进行重组分析,并将得到的RGB数值分成左右两组视觉影像信息,之后通过AI建模训练来进行演算反推,分析得到RGB-D信息;
步骤二:得到RGB-D信息后,会直接上传至左旋LED光源组和右旋LED光源组的处理模块,由系统进行分析计算后,来控制左旋LED光源组和右旋LED光源组进行光源的投射;
步骤三:在投射过程中,180°追踪摄像头会检测屏幕前的人体数量,以及每位人体的脸部朝向情况,每个人体信息都对应有独立的观测区域,分别为正视角、左视角以及右视角;
步骤四:当三个观测区域内部都有脸部朝向屏幕的信息时,系统会优先保障正视角下的观测体验,同时会利用曲轴滑块来调整OLCD柔性液晶屏两侧的曲线角度,形成一个曲面屏的效果;
步骤五:当正视角没有检测到脸部朝向屏幕的信息时,系统会通过翻转连轴来控制内部的相位补偿棱镜进行角度的翻转调整,利用相位补偿棱镜可以将投射出的光源集中的向屏幕两侧映射,配合曲轴滑块调整OLCD柔性液晶屏来实现侧位角度的观看效果。
与现有技术相比,本发明的有益效果是:
1、本发明,利用动态化的脸部信息捕捉来配合改变角度方向的OLCD柔性液晶屏以及相位补偿棱镜来实现裸眼3D画面的视觉角度调整,这样便可以适应不同角度下的视觉体验效果;
2、本发明,摄像头包括正角区域扫描单元和侧角区域扫描单元,其中侧角有两个,当三个观测区域内部都有脸部朝向屏幕的信息时,系统会优先保障正视角下的观测体验,同时会利用曲轴滑块来调整OLCD柔性液晶屏两侧的曲线角度,形成一个曲面屏的效果,这样在保障正面视角观看体验的同时,还可以照顾到两侧的观众视角,最大程度上降低畸变带来的视觉差异,而当正视角没有检测到脸部朝向屏幕的信息时,系统会通过翻转连轴来控制内部的相位补偿棱镜进行角度的翻转调整,利用相位补偿棱镜可以将投射出的光源集中的向屏幕两侧映射,配合曲轴滑块调整OLCD柔性液晶屏来实现侧位角度的观看效果,此时位于两侧的观众视角所看到的画面质量是相同的,上述的变化状态会根据人体的移动来进行实时的更新,从而达到一个全方位追踪感知的效果。
附图说明
图1为本发明的遮光屏框结构示意图;
图2为本发明的OLCD柔性液晶屏剖面结构示意图;
图3为本发明的相位补偿棱镜结构示意图;
图4为本发明的图像拼接修复处理系统组成框架图;
图5为本发明的文件参数识别组成框架图;
图6为本发明的方位数据处理组成框架图。
图中:1、遮光屏框;2、OLCD柔性液晶屏;3、视觉传感模块;4、3D光学膜;5、棱体导光板;6、相位补偿棱镜;7、ESR反射膜;201、曲轴滑块;301、180°追踪摄像头;302、方位数据处理模块;3011、正角区域扫描单元;3012、侧角区域扫描单元;3013、人体感知模块;3014、人脸识别模块;3015、眼球动态捕捉模块;501、平面镜;502、三角棱镜;601、翻转连轴;701、左旋LED光源组;702、右旋LED光源组;703、文件参数识别模块;704、AI训练模块;705、AI数值预测模块;706、RGB-D模块;7031、RGB重组单元;7032、左视像RGB;7033、右视像RGB。
实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1-3,本发明提供的一种实施例:基于裸眼3D技术的图像拼接修复处理系统,包括遮光屏框1、OLCD柔性液晶屏2、视觉传感模块3、3D光学膜4、棱体导光板5和ESR反射膜7,棱体导光板5与ESR反射膜7之间设置有相位补偿棱镜6,相位补偿棱镜6的两端均设置有翻转连轴601,相位补偿棱镜6通过翻转连轴601与遮光屏框1转动连接,通过改变相位补偿棱镜6的折射角度,可以实现画面角度的实时调节,OLCD柔性液晶屏2的上下两侧均设置有曲轴滑块201,OLCD柔性液晶屏2通过曲轴滑块201与遮光屏框1滑动连接,视觉传感模块3设置在遮光屏框1的顶部,视觉传感模块3的一端设置有180°追踪摄像头301,180°追踪摄像头301与视觉传感模块3转动连接。
3D光学膜4设置在棱体导光板5与OLCD柔性液晶屏2之间,OLCD柔性液晶屏2包括平面镜501和三角棱镜502,其中,平面镜501位于3D光学膜4一侧,三角棱镜502位于相位补偿棱镜6一侧,ESR反射膜7内侧的两端均设置有左旋LED光源组701和右旋LED光源组702,左旋LED光源组701和右旋LED光源组702与ESR反射膜7电性连接。
请参阅图4-6,左旋LED光源组701和右旋LED光源组702与RGB-D模块706连接,RGB-D模块706=普通RGB三通道彩色图像+DepthMap,是从图像采集器到场景中各点的距离作为像素值的图像;
图像深度确定彩色图像的每个像素可能有的颜色数,或者确定灰度图像的每个像素可能有的灰度级数,它决定了彩色图像中可出现的最多颜色数,或灰度图像中的最大灰度等级,一幅单色图像,若每个像素有8位,则最大灰度数目为2的8次方,即256,一幅彩色图像RGB三通道的像素位数分别为4,4,2,则最大颜色数目为2的4+4+2次方,即1024,就是说像素的深度为10位,每个像素可以是1024种颜色中的一种。
RGB-D模块706与AI训练模块704连接,其中,AI训练模块704包括AI数值预测模块705,AI训练模块704:对重组后的RGB数据进行及模型的分析演算,AI数值预测模块705:RGB数据经AI训练后,可以计算出图像的深度表现。
进一步的:
AI训练模块704包括如下分析演算步骤:
预先配置深度计算模型和深度轮廓模型;
获取不同通道的颜色图像,构建不同通道颜色图像的图像分类模型;
将图像分类模型划分为图像深度计算模型和图像深度特征提取模型,并将颜色图像先输入图像深度特征提取模型,确定图像深度特征,然后通过图像深度计算模型进行图像深度计算,并在计算后进行特征标记和深度标记;
通过特征标记和深度标记,生成不同图像通道的深度离散分布模型;
确定每个颜色图像在相同位置的叠加离散值;
根据离散值,对颜色图像的不同像素点进行加权聚类,通过每个像素点的聚类值,计算相邻像素点之间的马氏距离,并生成距离标签;
根据距离标签,确定同类深度像素点;
将同类深度像素点作为第二训练样本,将第二训练样本分别导入AI训练模块的深度轮廓模型和配置深度计算模型,演算确定RGB数据对应的深度轮廓和每个深度轮廓区域对应的深度值;
AI数值预测模块705:RGB数据经AI训练后,可以计算出图像的深度表现。
本发明中,在分析演算的过程主要是通过进行不同颜色通道的图像深度叠加,从而确定图像具体的深度表现,这个表现包括颜色的表现、距离准确度的表现,3D深度建模的场景建模的表现等等。在这个过程中,本发明虽然也采用了训练深度神经网络的方式,但是本发明对于这种方式进行了适配和优化,现有的深度神经网络,只能是让图像显示的更加准确,但是无法,但是主要是基于对比训练的过程在,但是如果样本出现错误,分析演算的整体步骤都是错误的。
而本发明改进,包括如下几个方面:
配置两个模型,分别是深度计算模型和深度轮廓模型,将深度表现和深度轮廓相对应,实际显示的深度信息;
深度特征进行了深度标记和特征标记,便于在训练的时候,防止训练样本出现错误;
离散分布模型,可以对3D显示的图像进行距离计算,能够判断图像显示的时候,是不是存在像素点错误,进行像素点的单一校验;
第二训练样本的深度计算,能够实现二次轮廓和深度提取,确定每个区域对应的深度值。
AI训练模块704与用于分析片源参数的文件参数识别模块703连接,其中,文件参数识别模块703包括RGB重组单元7031,RGB重组单元7031:通过对片源的红(R)、绿(G)、蓝(B)三个颜色通道的变化以及叠加数据来进行重组分析,并将其转化为数据信息。
RGB重组单元7031包括左视像RGB7032和右视像RGB7033,左视像RGB7032和右视像RGB7033与AI训练模块704之间直接输出,左视像RGB7032:将重组后的RGB数据源中用于左眼视觉感知的信息筛出,右视像RGB7033:将重组后的RGB数据源中用于右眼视觉感知的信息筛出。
180°追踪摄像头301包括正角区域扫描单元3011和侧角区域扫描单元3012,正角区域扫描单元3011和侧角区域扫描单元3012与人体感知模块3013连接,正角区域扫描单元3011:正角区域是以摄像头为中心,覆盖屏幕正前方60°-120°角度范围的人体信息感知,侧角区域扫描单元3012:侧角区域是指除正角区域后,摄像头两侧所覆盖的角度范围,分别是0°-60°和120°-180°,当三个观测区域内部都有脸部朝向屏幕的信息时,系统会优先保障正视角下的观测体验,同时会利用曲轴滑块201来调整OLCD柔性液晶屏2两侧的曲线角度,形成一个曲面屏的效果,这样在保障正面视角观看体验的同时,还可以照顾到两侧的观众视角,最大程度上降低畸变带来的视觉差异,而当正视角没有检测到脸部朝向屏幕的信息时,系统会通过翻转连轴601来控制内部的相位补偿棱镜6进行角度的翻转调整,利用相位补偿棱镜6可以将投射出的光源集中的向屏幕两侧映射,配合曲轴滑块201调整OLCD柔性液晶屏2来实现侧位角度的观看效果,此时位于两侧的观众视角所看到的画面质量是相同的,上述的变化状态会根据人体的移动来进行实时的更新,从而达到一个全方位追踪感知的效果;
人体感知模块3013:可以感应屏幕前方的人体信息以及个体数量,人体感知模块3013还包括人脸识别模块3014和眼球动态捕捉模块3015,人体感知模块3013通过方位数据处理模块302与相位补偿棱镜6连接,人脸识别模块3014:在感应到人体信息后,摄像头会专门捕捉范围内的人脸朝向,用以判断脸部是否朝向屏幕,眼球动态捕捉模块3015:在判定脸部朝向屏幕后,摄像头会进一步捕捉当前脸部的眼球活动情况。
感应屏幕前方的人体信息包括如下步骤:
步骤1:获取扫描图像,构建基于扫描图像的场景模型:
;
其中,表示场景模型;/>表示正角区域的扫描图像的第/>个像素点的位置坐标;/>表示正角区域的扫描图像的第/>个像素点的颜色深度;/>表示侧角扫描的0°-60°范围内;/>表示侧角扫描的120°-180°范围内;/>表示侧角区域的A范围的扫描图像的第/>个像素点的位置坐标;/>表示侧角区域的A范围的扫描图像的第/>个像素点的颜色深度;/>表示侧角区域的B范围的扫描图像的第/>个像素点的位置坐标;/>表示侧角区域的B范围的扫描图像的第/>个像素点的颜色深度;/>,n表示正角区域的扫描图像的像素点总数量;/>,m表示侧角区域的扫描图像的像素点总数量;
步骤2:根据场景模型,引入人像判定,进行人体信息判定:
;
其中,表示人体信息判定值;/>表示人体特征识别矩阵;/>表示扫描图像中的动态深度移动的像素点的场景变换特征;/>表示场景模型中人体信息的识别函数/>的时候表示存在人体信息;当/>的时候表示不存在人体信息。/>表示任意的人体特征;其中/>和/>表示人体不同特征的深度轮廓的深度值。
本发明在进行人体信息识别的过程中,步骤1搭建了整体的场景,这个场景的搭建过程中,本发明分别融合了扫描图像正视和侧视的多个区域的场景信息,构成了整体的场景模型。本发明为了简化人体信息识别,在场景搭建的时候只是采用了像素点的颜色和像素点的位置,进而对动态的人体进行识别。在步骤2中,本发明在进行人体信息的判定过程中,本发明还是融合了正视和侧视的多个识别区域;通过多个识别区域的融合,然后对整个场景模型中的人体特征进行对比识别认证,判断整个场景模型中是不是存在人体信息;场景变换特征,就是人体的不同部位进行移动的具体表现。而人体识别特征矩阵是用于带入场景变换特征,从而便于进行场景信息的具体对比判定。
基于裸眼3D技术的图像拼接修复处理系统的实施方法,包括如下步骤:
步骤一:将片源传输至播放终端内部,利用文件参数识别模块703对片源的RGB信息进行重组分析,并将得到的RGB数值分成左右两组视觉影像信息,之后通过AI建模训练来进行演算反推,分析得到RGB-D信息;
步骤二:得到RGB-D信息后,会直接上传至左旋LED光源组701和右旋LED光源组702的处理模块,由系统进行分析计算后,来控制左旋LED光源组701和右旋LED光源组702进行光源的投射;
步骤三:在投射过程中,180°追踪摄像头301会检测屏幕前的人体数量,以及每位人体的脸部朝向情况,每个人体信息都对应有独立的观测区域,分别为正视角、左视角以及右视角;
步骤四:当三个观测区域内部都有脸部朝向屏幕的信息时,系统会优先保障正视角下的观测体验,同时会利用曲轴滑块201来调整OLCD柔性液晶屏2两侧的曲线角度,形成一个曲面屏的效果;
步骤五:当正视角没有检测到脸部朝向屏幕的信息时,系统会通过翻转连轴601来控制内部的相位补偿棱镜6进行角度的翻转调整,利用相位补偿棱镜6可以将投射出的光源集中的向屏幕两侧映射,配合曲轴滑块201调整OLCD柔性液晶屏2来实现侧位角度的观看效果。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.基于裸眼3D技术的图像拼接修复处理系统,包括遮光屏框(1)、OLCD柔性液晶屏(2)、视觉传感模块(3)、3D光学膜(4)、棱体导光板(5)和ESR反射膜(7),其特征在于:所述棱体导光板(5)与ESR反射膜(7)之间设置有相位补偿棱镜(6),所述相位补偿棱镜(6)的两端均设置有翻转连轴(601),相位补偿棱镜(6)通过翻转连轴(601)与遮光屏框(1)转动连接,所述OLCD柔性液晶屏(2)的上下两侧均设置有曲轴滑块(201),OLCD柔性液晶屏(2)通过曲轴滑块(201)与遮光屏框(1)滑动连接;
所述视觉传感模块(3)设置在遮光屏框(1)的顶部,所述视觉传感模块(3)的一端设置有180°追踪摄像头(301),180°追踪摄像头(301)与视觉传感模块(3)转动连接。
2.根据权利要求1所述的基于裸眼3D技术的图像拼接修复处理系统,其特征在于:所述3D光学膜(4)设置在棱体导光板(5)与OLCD柔性液晶屏(2)之间,所述OLCD柔性液晶屏(2)包括平面镜(501)和三角棱镜(502),其中,平面镜(501)位于3D光学膜(4)一侧,三角棱镜(502)位于相位补偿棱镜(6)一侧。
3.根据权利要求2所述的基于裸眼3D技术的图像拼接修复处理系统,其特征在于:所述ESR反射膜(7)内侧的两端均设置有左旋LED光源组(701)和右旋LED光源组(702),左旋LED光源组(701)和右旋LED光源组(702)与ESR反射膜(7)电性连接。
4.根据权利要求3所述的基于裸眼3D技术的图像拼接修复处理系统,其特征在于:所述左旋LED光源组(701)和右旋LED光源组(702)与RGB-D模块(706)连接;
RGB-D模块(706)是将普通RGB三通道彩色图像与DepthMap进行结合,结合后得到的是从图像采集器到场景中各点的距离作为像素值的图像。
5.根据权利要求4所述的基于裸眼3D技术的图像拼接修复处理系统,其特征在于:所述RGB-D模块(706)与AI训练模块(704)连接,其中,AI训练模块(704)包括AI数值预测模块(705);
AI训练模块(704):对重组后的RGB数据进行模型的分析演算;其中,
AI训练模块(704)包括如下分析演算步骤:
预先配置深度计算模型和深度轮廓模型;
获取不同通道的颜色图像,构建不同通道颜色图像的图像分类模型;
将图像分类模型划分为图像深度计算模型和图像深度特征提取模型,并将颜色图像先输入图像深度特征提取模型,确定图像深度特征,然后通过图像深度计算模型进行图像深度计算,并在计算后进行特征标记和深度标记;
通过特征标记和深度标记,生成不同图像通道的深度离散分布模型;
确定每个颜色图像在相同位置的叠加离散值;
根据离散值,对颜色图像的不同像素点进行加权聚类,通过每个像素点的聚类值,计算相邻像素点之间的马氏距离,并生成距离标签;
根据距离标签,确定同类深度像素点;
将同类深度像素点作为第二训练样本,将第二训练样本分别导入AI训练模块的深度轮廓模型和深度计算模型,演算确定RGB数据对应的深度轮廓和每个深度轮廓区域对应的深度值;
AI数值预测模块(705):RGB数据经AI训练后,可以计算出图像的深度表现。
6.根据权利要求5所述的基于裸眼3D技术的图像拼接修复处理系统,其特征在于:所述AI训练模块(704)与用于分析片源参数的文件参数识别模块(703)连接,其中,文件参数识别模块(703)包括RGB重组单元(7031);
RGB重组单元(7031):通过对片源的红(R)、绿(G)、蓝(B)三个颜色通道的变化以及叠加数据来进行重组分析,并将其转化为数据信息。
7.根据权利要求6所述的基于裸眼3D技术的图像拼接修复处理系统,其特征在于:所述RGB重组单元(7031)包括左视像RGB(7032)和右视像RGB(7033),左视像RGB(7032)和右视像RGB(7033)与AI训练模块(704)之间直接输出;
左视像RGB(7032):将重组后的RGB数据源中用于左眼视觉感知的信息筛出;
右视像RGB(7033):将重组后的RGB数据源中用于右眼视觉感知的信息筛出。
8.根据权利要求7所述的基于裸眼3D技术的图像拼接修复处理系统,其特征在于:所述180°追踪摄像头(301)包括正角区域扫描单元(3011)和侧角区域扫描单元(3012),正角区域扫描单元(3011)和侧角区域扫描单元(3012)与人体感知模块(3013)连接;
正角区域扫描单元(3011):正角区域是以摄像头为中心,覆盖屏幕正前方60°-120°角度范围的人体信息感知;
侧角区域扫描单元(3012):侧角区域是指除正角区域后,摄像头两侧所覆盖的角度范围,分别是0°-60°和120°-180°;
人体感知模块(3013):可以感应屏幕前方的人体信息以及个体数量;其中,
感应屏幕前方的人体信息包括如下步骤:
步骤1:获取扫描图像,构建基于扫描图像的场景模型:
,其中,/>表示场景模型;
表示正角区域的扫描图像的第/>个像素点的位置坐标;/>表示正角区域的扫描图像的第/>个像素点的颜色深度;/>表示侧角扫描的0°-60°范围内;/>表示侧角扫描的120°-180°范围内;/>表示侧角区域的A范围的扫描图像的第/>个像素点的位置坐标;/>表示侧角区域的A范围的扫描图像的第/>个像素点的颜色深度;/>表示侧角区域的B范围的扫描图像的第/>个像素点的位置坐标;/>表示侧角区域的B范围的扫描图像的第/>个像素点的颜色深度;,n表示正角区域的扫描图像的像素点总数量;/>,m表示侧角区域的扫描图像的像素点总数量;
步骤2:根据场景模型,引入人像判定,进行人体信息判定:
,其中,/>表示人体信息判定值;/>表示人体特征识别矩阵;/>表示扫描图像中的动态深度移动的像素点的场景变换特征;/>表示场景模型中人体信息的识别系数;当/>的时候表示存在人体信息;当1的时候表示不存在人体信息。
9.根据权利要求8所述的基于裸眼3D技术的图像拼接修复处理系统,其特征在于:所述人体感知模块(3013)还包括人脸识别模块(3014)和眼球动态捕捉模块(3015),人体感知模块(3013)通过方位数据处理模块(302)与相位补偿棱镜(6)连接;
人脸识别模块(3014):在感应到人体信息后,摄像头会专门捕捉范围内的人脸朝向,用以判断脸部是否朝向屏幕;
眼球动态捕捉模块(3015):在判定脸部朝向屏幕后,摄像头会进一步捕捉当前脸部的眼球活动情况。
10.基于裸眼3D技术的图像拼接修复处理系统的实施方法,包括权利要求9所述的基于裸眼3D技术的图像拼接修复处理系统实现,其中,包括如下步骤:
步骤一:将片源传输至播放终端内部,利用文件参数识别模块(703)对片源的RGB信息进行重组分析,并将得到的RGB数值分成左右两组视觉影像信息,之后通过AI建模训练来进行演算反推,分析得到RGB-D信息;
步骤二:得到RGB-D信息后,会直接上传至左旋LED光源组(701)和右旋LED光源组(702)的处理模块,由系统进行分析计算后,来控制左旋LED光源组(701)和右旋LED光源组(702)进行光源的投射;
步骤三:在投射过程中,180°追踪摄像头(301)会检测屏幕前的人体数量,以及每位人体的脸部朝向情况,每个人体信息都对应有独立的观测区域,分别为正视角、左视角以及右视角;
步骤四:当三个观测区域内部都有脸部朝向屏幕的信息时,系统会优先保障正视角下的观测体验,同时会利用曲轴滑块(201)来调整OLCD柔性液晶屏(2)两侧的曲线角度,形成一个曲面屏的效果;
步骤五:当正视角没有检测到脸部朝向屏幕的信息时,系统会通过翻转连轴(601)来控制内部的相位补偿棱镜(6)进行角度的翻转调整,利用相位补偿棱镜(6)可以将投射出的光源集中的向屏幕两侧映射,配合曲轴滑块(201)调整OLCD柔性液晶屏(2)来实现侧位角度的观看效果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211550331.3A CN115776560B (zh) | 2022-12-05 | 2022-12-05 | 基于裸眼3d技术的图像拼接修复处理系统及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211550331.3A CN115776560B (zh) | 2022-12-05 | 2022-12-05 | 基于裸眼3d技术的图像拼接修复处理系统及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115776560A CN115776560A (zh) | 2023-03-10 |
CN115776560B true CN115776560B (zh) | 2023-08-22 |
Family
ID=85391425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211550331.3A Active CN115776560B (zh) | 2022-12-05 | 2022-12-05 | 基于裸眼3d技术的图像拼接修复处理系统及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115776560B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117092830B (zh) * | 2023-10-18 | 2023-12-22 | 世优(北京)科技有限公司 | 裸眼3d显示装置及其驱动方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102510504A (zh) * | 2011-09-27 | 2012-06-20 | 深圳超多维光电子有限公司 | 裸眼立体显示系统的显示范围确定及显示方法及装置 |
WO2013069387A1 (ja) * | 2011-11-07 | 2013-05-16 | 三菱電機株式会社 | 表示装置およびその駆動方法と製造方法 |
CN103513438A (zh) * | 2013-09-25 | 2014-01-15 | 清华大学深圳研究生院 | 一种多视角裸眼立体显示系统及其显示方法 |
CN105611278A (zh) * | 2016-02-01 | 2016-05-25 | 欧洲电子有限公司 | 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备 |
CN106802489A (zh) * | 2017-03-31 | 2017-06-06 | 惠科股份有限公司 | 一种裸眼立体显示器 |
CN111133754A (zh) * | 2017-04-23 | 2020-05-08 | 深圳光子晶体科技有限公司 | 具有相位调制层和相位补偿层的光学器件 |
WO2022036692A1 (zh) * | 2020-08-21 | 2022-02-24 | 深圳市立体通科技有限公司 | 一种裸眼3d显示方法及智能终端 |
CN114967170A (zh) * | 2021-02-18 | 2022-08-30 | 清华大学 | 基于柔性裸眼三维显示设备的显示处理方法及其装置 |
-
2022
- 2022-12-05 CN CN202211550331.3A patent/CN115776560B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102510504A (zh) * | 2011-09-27 | 2012-06-20 | 深圳超多维光电子有限公司 | 裸眼立体显示系统的显示范围确定及显示方法及装置 |
WO2013069387A1 (ja) * | 2011-11-07 | 2013-05-16 | 三菱電機株式会社 | 表示装置およびその駆動方法と製造方法 |
CN103513438A (zh) * | 2013-09-25 | 2014-01-15 | 清华大学深圳研究生院 | 一种多视角裸眼立体显示系统及其显示方法 |
CN105611278A (zh) * | 2016-02-01 | 2016-05-25 | 欧洲电子有限公司 | 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备 |
CN106802489A (zh) * | 2017-03-31 | 2017-06-06 | 惠科股份有限公司 | 一种裸眼立体显示器 |
CN111133754A (zh) * | 2017-04-23 | 2020-05-08 | 深圳光子晶体科技有限公司 | 具有相位调制层和相位补偿层的光学器件 |
WO2022036692A1 (zh) * | 2020-08-21 | 2022-02-24 | 深圳市立体通科技有限公司 | 一种裸眼3d显示方法及智能终端 |
CN114967170A (zh) * | 2021-02-18 | 2022-08-30 | 清华大学 | 基于柔性裸眼三维显示设备的显示处理方法及其装置 |
Also Published As
Publication number | Publication date |
---|---|
CN115776560A (zh) | 2023-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108427503B (zh) | 人眼追踪方法及人眼追踪装置 | |
CN105279372B (zh) | 一种确定建筑物高度的方法和装置 | |
CN101136192B (zh) | 用于显示几何和色彩的自动校准和校正的系统和方法 | |
CN103384848B (zh) | 用于确定与使用者佩戴的眼镜架内的眼镜片的安装相关联的至少一个几何/相貌参数的方法 | |
CN106529414A (zh) | 一种通过图像比对实现结果认证的方法 | |
CN106548165A (zh) | 一种基于图像分块加权的卷积神经网络的人脸识别方法 | |
US8428313B2 (en) | Object image correction apparatus and method for object identification | |
CN104168478B (zh) | 基于Lab空间及相关性函数的视频图像偏色检测方法 | |
CN115776560B (zh) | 基于裸眼3d技术的图像拼接修复处理系统及其方法 | |
CN101882034A (zh) | 触摸装置的触摸笔颜色识别装置及方法 | |
CN105139404A (zh) | 一种可检测拍摄质量的证照相机及拍摄质量检测方法 | |
CN108470178B (zh) | 一种结合深度可信度评价因子的深度图显著性检测方法 | |
CN109889799B (zh) | 基于rgbir摄像头的单目结构光深度感知方法及装置 | |
CN110099268B (zh) | 色彩自然匹配与显示区自然融合的盲区透视化显示方法 | |
CN103034330A (zh) | 一种用于视频会议的眼神交互方法及系统 | |
CN103384847A (zh) | 用于在自然姿势下确定至少一个与眼镜片在眼镜架内的安装相关联的几何/相貌参数的方法 | |
CN112818722A (zh) | 模块化动态可配置的活体人脸识别系统 | |
CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
CN112634125A (zh) | 一种基于离线人脸数据库的自动面部替换方法 | |
CN110969202A (zh) | 基于颜色分量和感知哈希算法的人像采集环境验证方法及系统 | |
CN111325803A (zh) | 一种评估双目相机内外参与时间同步的标定的方法 | |
CN107202680B (zh) | 一种模组检测设备及检测方法 | |
CN111161399B (zh) | 基于二维影像生成三维模型的数据处理方法及组件 | |
CN112257507A (zh) | 一种基于人脸瞳间距判断距离及人脸有效性的方法和装置 | |
JPH0981732A (ja) | 領域抽出装置及びそれを用いた方向検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |