CN109522866A - 裸眼3d图像处理方法、装置以及设备 - Google Patents
裸眼3d图像处理方法、装置以及设备 Download PDFInfo
- Publication number
- CN109522866A CN109522866A CN201811441298.4A CN201811441298A CN109522866A CN 109522866 A CN109522866 A CN 109522866A CN 201811441298 A CN201811441298 A CN 201811441298A CN 109522866 A CN109522866 A CN 109522866A
- Authority
- CN
- China
- Prior art keywords
- image
- naked eye
- viewer
- rendering
- depth information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 111
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 210000001508 eye Anatomy 0.000 claims abstract description 131
- 230000001815 facial effect Effects 0.000 claims abstract description 47
- 230000015654 memory Effects 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 15
- 210000005252 bulbus oculi Anatomy 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 11
- 230000000694 effects Effects 0.000 description 22
- 208000012886 Vertigo Diseases 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 208000002173 dizziness Diseases 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Abstract
本发明公开了一种裸眼3D图像处理方法、装置以及设备，其中方法包括：根据获取到的双目摄像机采集的观看者的人脸图像，对观看者的眼睛进行眼球定位，得到观看者的视线落在屏幕上的视点位置；在得到视点位置时，获取渲染3D裸眼图像的第一深度信息；根据视点位置，划分出视点位置在3D裸眼图像上对应的场景区域图像，并根据第一深度信息渲染场景区域图像，模糊化其余区域图像。本发明可通过人脸图像进行眼球定位，可根据视点的移动对对应的图像场景进行渲染以将该部分图像清晰呈现给观看者，而将周边的场景模糊呈现。
Description
技术领域
本发明涉及图像处理技术，特别涉及一种裸眼3D图像处理方法、装置以及设备。
背景技术
裸眼3D裸眼技术能够给观众带来真实的3D场景感信息，具有较高的沉浸式体验感受，从而越来越受到广大用户的青睐。
在实现过程中，发明人发现传统技术中至少存在如下问题：
传统技术中的裸眼3D的片源在制作时，整个场景上都是清晰的，由此会容易造成再观看时产生眩晕，并因处理过多信息而视觉疲劳，且需要大量渲染全部场景，其计算量大对硬件成本较高。
发明内容
本发明的目的在于针对传统技术中的不足，提供一种裸眼3D图像处理方法、装置以及设备。
根据本发明的实施方式，本发明提供了一种裸眼3D图像处理方法，包括：
根据获取到的双目摄像机采集的观看者的人脸图像，对观看者的眼睛进行眼球定位，得到观看者的视线落在屏幕上的视点位置；
在得到视点位置时，获取渲染3D裸眼图像的第一深度信息；
根据视点位置，划分出视点位置在3D裸眼图像上对应的场景区域图像，并根据第一深度信息渲染场景区域图像，模糊化其余区域图像。
在其中一个实施例中，根据获取到的双目摄像机采集的观看者的人脸图像，对观看者的眼睛进行眼球定位的步骤，包括：
获取人脸图像的第二深度信息，根据第二深度信息得到观看者与双目摄像机的距离；以及标定出人脸图像的各特征点，并根据各特征点以及人脸位姿估计算法，确定观看者的人脸位姿；
根据人脸位姿确定人脸图像的眼部区域；
根据距离以及确定出的眼部区域，对观看者的眼睛进行眼球定位。
在其中一个实施例中，根据第一深度信息渲染场景区域图像的步骤，包括：
根据第一深度信息，获取场景区域图像中各像素点的深度值；
根据各深度值，确定各像素点对应的渲染参数，并根据渲染参数对场景区域图像进行渲染。
在其中一个实施例中，人脸图像为通过将双目摄像机拍摄到的左视图像和右视图像进行双目匹配得到的图像。
在其中一个实施例中，模糊化其余图像区域的步骤，包括：
将其余图像区域输入至预设的模糊滤波器进行模糊化处理。
另一方面，本发明的一个实施例还提供了一种裸眼3D图像处理装置，包括：
视点定位模块，用于根据获取到的双目摄像机采集的观看者的人脸图像，对观看者的眼睛进行眼球定位，得到观看者的视线落在屏幕上的视点位置；
第一深度信息获取模块，用于在得到视点位置时，获取渲染3D裸眼图像的第一深度信息；
图像渲染模块，用于根据视点位置，划分出视点位置在3D裸眼图像上对应的场景区域图像，并根据第一深度信息,渲染场景区域图像，模糊化其余区域图像。
在其中一个实施例中，视点定位模块包括：
人脸识别单元，用于获取人脸图像的第二深度信息，根据第二深度信息得到观看者与双目摄像机的距离；以及标定出人脸图像的各特征点，并根据各特征点以及人脸位姿估计算法，确定观看者的人脸位姿；
眼部区域确定单元，用于根据人脸位姿确定人脸图像的眼部区域；
眼球定位单元，用于根据距离以及确定出的眼部区域，对观看者的眼睛进行眼球定位。
在其中一个实施例中，图像渲染模块包括：
深度值获取单元，用于根据第一深度信息，获取场景区域图像中各像素点的深度值；
场景区域图像区域渲染单元，用于根据各深度值，得到各像素点对应的渲染参数，并根据渲染参数对场景区域图像进行渲染。
另一方面，本发明一个实施例还提供了一种裸眼3D图像处理设备，包括存储器、处理器以及连接处理器的双目摄像机和屏幕，存储器存储有计算机程序，处理器执行计算机程序时实现裸眼3D图像处理设备方法。
另一方面，本发明的一个实施例还提供了一种计算机可读存储介质，计算机程序被处理器执行时实现裸眼3D图像处理方法。
上述技术方案中的一个技术方案具有如下优点和有益效果：
本发明的裸眼3D图像处理方法、装置以及设备，通过获取人脸图像，对观看者进行眼球定位以得到观看者落在屏幕上的视点位置。进而根据视点位置在屏幕呈现的3D裸眼图像上划分出对应的场景区域图像，根据3D裸眼图像的第一深度信息，对对应的场景区域图像进行渲染，对其他区域图像进行模糊化。本发明各实施例可通过人脸图像进行眼球定位，可根据视点的移动对对应的图像场景进行渲染以将该部分图像清晰呈现给观看者，而将周边的场景模糊呈现。由此，通过模拟人眼聚焦时的自然效果，可使得观看者的眼睛在虚拟环境中看到的物体与在现实场景中看到的物体体验较为一致，能够减轻眩晕感，以及提高裸眼3D图像的呈现效果。
附图说明
图1为本发明实施例的一个实施方式提供的裸眼3D图像处理方法的流程示意图；
图2为本发明实施例的一个实施方式提供的裸眼3D图像处理方法中眼球定位的流程示意图；
图3为本发明实施例的一个实施方式提供的裸眼3D图像处理方法中场景区域图像渲染的流程示意图；
图4为本发明实施例的一个实施方式提供的裸眼3D图像处理装置的结构示意图；
图5为本发明实施例的一个实施方式提供的裸眼3D图像处理装置中视点定位模块的结构示意图；
图6为本发明实施例的一个实施方式提供的裸眼3D图像处理设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图结合实施例，对本发明进一步详细说明。
参见图1，在一个实施例中，本发明提供了一种裸眼3D图像处理方法，包括：
步骤S110：根据获取到的双目摄像机采集的观看者的人脸图像，对观看者的眼睛进行眼球定位，得到观看者的视线落在屏幕上的视点位置。
具体而言，双目摄像机可以包括两个高速定位摄像机镜头。具体地，在获取到观看者的人脸图像时，对该人脸图像进行预处理如二值化处理等，以提取眼部区域图像。对于眼部图像而言，越是靠近眼球中心的位置灰度值越低，而梯度包含了幅值和方向。进一步地，可根据人脸图像中每个像素点的灰度值进行梯度计算，进而确定出眼部区域，进一步地结合眼球追踪算法对眼球进行定位，沿视点射线可确定出观看者的视线落在屏幕上的视点位置。
本发明实施例可实现实时对观看者的眼球进行追踪定位，有助于及时刷新场景图像。
步骤S120：在得到视点位置时，获取渲染3D裸眼图像的第一深度信息。
具体而言，随着观看者眼球的移动，其视点位置实时变换，因此，在得到视点位置时获取屏幕上显示的渲染3D裸眼图像的第一深度信息以进行渲染，实时刷新对应的场景图像。其中，第一深度信息表示图像相对于摄像机的距离，用于在渲染时计算对应渲染的参数，如位置、光照、颜色等渲染参数，并确定渲染的先后次序，确定对象之间遮挡与被遮挡的关系，以在渲染时剔除不可见对象。
本发明实施例可随着眼球的移动定位到落在屏幕上的视点位置，以及及时获取渲染3D裸眼图像的第一深度信息，进而有助于实时渲染对应的场景图。
步骤S130：根据视点位置，划分出视点位置在3D裸眼图像上对应的场景区域图像，并根据第一深度信息渲染场景图像区域，模糊化其余区域图像。
具体而言，对应的场景区域图像可在3D裸眼图像上以视点位置作为圆心，按照预设半径划分出一定的清晰化范围。进而，根据第一深度信息对该清晰化范围进行渲染，将其余周围图像模糊化。
本发明实施例可随着视点位置的移动，实时渲染出视点位置对应的场景区域图像。
本发明实施例的裸眼3D图像处理方法，通过获取人脸图像，对观看者的眼球进行眼球定位以的到观看者的视线落在屏幕上的视点位置。进而根据视点位置在3D裸眼图像上划分出对应的场景区域图像，根据3D裸眼图像的第一深度信息，对对应的场景区域图像进行渲染，对其他区域图像进行模糊化。本发明实施例可通过人脸图像进行眼球定位，可根据视点的移动对应的图像场景进行渲染以将该部分图像清晰呈现给观看者，而将周边的场景模糊呈现。由此，通过模拟人眼聚焦时的自然效果，可使得观看者的眼睛在虚拟环境中看到物体与现实场景中看到的物体体验较为一致，能够减轻眩晕感，以及提高裸眼3D的呈现效果。
参见图2，在一个具体的实施例中，根据获取到的双目摄像机采集的观看者的人脸图像，对观看者的眼睛进行眼球定位的步骤，包括：
步骤S210：获取人脸图像的第二深度信息，根据第二深度信息得到观看者与双目摄像机的距离；以及标定出人脸图像的各特征点，并根据各特征点以及人脸位姿估计算法，确定观看者的人脸位姿。
具体而言，人脸图像是双目摄像机采集到的三维图像，根据双目立体视觉原理可得到第二深度信息，进而根据第二深度信息确定出观看者与双目摄像机的距离。进一步地，通过人脸各特征点的标定，可检测并识别出图像中人脸的形状以及人脸区域。由此，结合三维的人脸图像以及人脸位姿估计算法，可确定出观看者的人脸位姿。
步骤S220：根据人脸位姿确定人脸图像的眼部区域。
具体而言，根据人脸位姿变化，能够预判人脸的方位和倾斜角度，由此可更加确定出眼部区域。
步骤S230：根据距离以及确定出的眼部区域，对观看者的眼睛进行眼球定位。
具体而言，根据观看者与双目摄像机的距离，对焦观看者以对观看者的眼睛进行眼球定位。
本发明实施例的裸眼3D图像处理方法，可模拟人眼的视觉效果获得三维的人脸图像，并根据人脸图像得到观看者距离双目摄像机的距离，进而根据人脸位姿确定出眼部区域。本发明实施例通过第二深度信息以及人脸位姿，可准确定位观看者人脸的五官进而实现对眼球的定位追踪，能够防止观看者因侧脸导致左右眼出现被遮挡现象引起的误定位。本发明实施例有助于准确得到视点位置，随着视点位置的移动及时渲染视点位置对应的场景区域图像，对其他图像区域进行模糊化处理，有效刷新3D场景，同时减轻观看者的眩晕感，提高裸眼3D的成像效果。
参见图3，在一个具体的实施例中，根据第一深度信息渲染场景区域图像的步骤，包括：
步骤S310：根据第一深度信息，获取场景区域图像中各像素点的深度值。
步骤S320：根据各深度值，确定各像素点对应的渲染参数，并根据渲染参数对场景区域图像进行渲染。
具体而言，通过各像素点的深度值可确定场景图像区域中各对象位置的前后关系，以及对象之间遮挡和被遮挡的关系。由此，有助于在渲染时根据各像素点的深度值对渲染的先后顺序进行排序，准确并快速有序地渲染视点位置在屏幕上对应的场景区域图像，以使其达到预定的图像效果。其中，渲染参数可以但不局限于包括位置、光照、颜色等渲染参数。
本发明实施例的裸眼3D图像处理方法，能够根据视点位置落在屏幕上对应的场景区域图像，以及第一深度信息得到该场景区域图像渲染时的参数，优化了渲染效果。同时可减小渲染的计算量，提高渲染效率，为观看者及时刷新出对应场景。本发明实施例可模拟人眼聚焦时的自然效果，能够减轻眩晕感，提高观看者的舒适度以及裸眼3D的呈现效果。
在一个具体的实施例中，人脸图像为通过将双目摄像机拍摄到的左视图像和右视图像进行双目匹配得到的图像。
具体而言，双目摄像机拍摄同一场景的左、右两幅视点图像，运用双目匹配算法可获取深度图，以进行三维重建得到人脸图像。
本发明实施例的裸眼3D图像处理方法，可模拟人眼的视觉效果获得三维的人脸图像，由此，能够随着人脸位姿的变化进行准确的眼球定位追踪。进一步地，有助于提高视点位置确定的精度，进而随着视点位置的移动及时渲染位置对应的场景区域图像，对其他图像区域进行模糊处理。
在一个具体的实施例中，模糊化其余图像区域的步骤，包括：
步骤S2：将所其余区域图像输入至预设的模糊滤波器进行模糊化处理。
具体而言，模糊滤波器可以但不局限于为高斯滤波器、平滑滤波器等，可将其余区域图像中的物体对象内部和边缘变得平滑，使得物体不再具有清晰的边界和层次感，从而达到模糊的效果。
本发明实施例的裸眼3D图像处理方法，可有效将视点位置对应的场景区域图像周围的图像模糊化，将视点位置对应的场景区域图像进行渲染以呈现清晰的画面，可实现随视点移动化渲染，能够模拟出人眼聚焦时的自然效果，减轻眩晕感，提高观看者的舒适度以及裸眼3D的呈现效果。
应该理解的是，虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
参见图4，在一个实施例中，本发明还提供了一种裸眼3D图像处理装置，包括：
视点定位模块410，用于根据获取到的双目摄像机采集的观看者的人脸图像，对观看者的眼睛进行眼球定位，得到观看者的视线落在屏幕上的视点位置。
第一深度信息获取模块420，用于在得到视点位置时，获取渲染3D裸眼图像的第一深度信息。
图像渲染模块430，用于根据视点位置，划分出视点位置在3D裸眼图像上对应的场景图像区域，并根据第一深度信息,渲染场景区域图像，模糊化其余区域图像。
本发明实施例的裸眼3D图像处理装置，通过获取人脸图像，对观看者的眼球进行眼球定位以的到观看者的视线落在屏幕上的视点位置。进而根据视点位置在3D裸眼图像上划分出对应的场景区域图像，根据3D裸眼图像的第一深度信息，对对应的场景图像进行渲染，对其他图像区域进行模糊化。本发明实施例可通过人脸图像进行眼球定位，可根据视点的移动对应的图像场景进行渲染以将该部分图像清晰呈现给观看者，而将周边的场景模糊呈现。由此，通过模拟人眼聚焦时的自然效果，可使得观看者的眼睛在虚拟环境中看到物体与现实场景中看到的物体体验较为一致，能够减轻眩晕感，以及提高裸眼3D的呈现效果。
参见图5，在一个具体的实施例中，视点定位模块410包括：
人脸识别单元412，用于获取人脸图像的第二深度信息，根据第二深度信息得到观看者与双目摄像机的距离；以及标定出人脸图像的各特征点，并根据各特征点以及人脸位姿估计算法，确定观看者的人脸位姿；
眼部区域确定单元414，用于根据人脸位姿确定人脸图像的眼部区域；
眼球定位单元416，用于根据距离以及确定出的眼部区域，对观看者的眼睛进行眼球定位。
本发明实施例的裸眼3D图像处理装置，可模拟人眼的视觉效果获得三维的人脸图像，并根据人脸图像得到观看者距离双目摄像机的距离，进而根据人脸位姿确定出眼部区域。本发明实施例通过第二深度信息以及人脸位姿，可准确定位观看者人脸的五官进而实现对眼球的定位追踪，能够防止观看者因侧脸导致左右眼出现被遮挡现象引起的误定位。本发明实施例有助于准确得到视点位置，随着视点位置的移动及时渲染视点位置对应的场景区域图像，对其他图像区域进行模糊化处理，有效刷新3D场景，同时减轻观看者的眩晕感，提高裸眼3D的成像效果。
在一个具体的实施例中，图像渲染模块包括：
深度值获取单元，用于根据第一深度信息，获取场景区域图像中各像素点的深度值；
场景区域图像区域渲染单元，用于根据各深度值，得到各像素点对应的渲染参数，并根据渲染参数对场景区域图像进行渲染。
本发明实施例的裸眼3D图像处理装置，能够根据视点位置落在屏幕上对应的场景区域图像，以及第一深度信息得到该场景区域图像渲染时的参数，优化了渲染效果。同时可减小渲染的计算量，提高渲染效率，为观看者及时刷新出对应场景。本发明实施例可模拟人眼聚焦时的自然效果，能够减轻眩晕感，提高观看者的舒适度以及裸眼3D的呈现效果。
在一个具体的实施例中，图像渲染模块包括图像模糊单元，用于将其余图像区域输入至预设的模糊滤波器进行模糊化处理。
本发明实施例的裸眼3D图像处理装置，可有效将视点位置对应的场景区域图像周围的图像模糊化，将视点位置对应的场景区域图像进行渲染以呈现清晰的画面，可实现随视点移动化渲染，能够模拟出人眼聚焦时的自然效果，减轻眩晕感，提高观看者的舒适度以及裸眼3D的呈现效果。
关于裸眼3D图像处理装置的具体限定可以参见上文中对于裸眼3D图像处理方法的限定，在此不再赘述。上述裸眼3D图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
参见图6，在一个实施例中，本发明还提供了一种裸眼3D图像处理设备，包括存储器、处理器以及连接处理器的双目摄像机和屏幕，存储器存储有计算机程序，处理器执行计算机程序时实现裸眼3D图像处理方法。
本发明实施例的裸眼3D图像处理设备，双目摄像机包括两个高速定位摄像机镜头，并安装在屏幕上，可实时定位观看者的人脸位姿，与双目摄像机的距离从而计算得到视点位置。本发明实施例通过获取人脸图像，对观看者进行眼球定位以得到观看者落在屏幕上的视点位置。进而根据视点位置在3D裸眼图像上划分出对应的场景区域图像，根据3D裸眼图像的第一深度信息，对对应的场景图像进行渲染，对其他图像区域进行模糊化。本发明实施例可通过人脸图像进行眼球定位，可根据视点的移动对对应的图像场景进行渲染以将该部分图像清晰呈现给观看者，而将周边的场景模糊呈现。由此，通过模拟人眼聚焦时的自然效果，可使得观看者的眼睛在虚拟环境中看到的物体与在现实场景中看到的物体体验较为一致，能够减轻眩晕感，以及提高裸眼3D图像的呈现效果。
进一步地，如图6所示，该裸眼3D图像处理设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏、双目摄像机和输入装置。其中，该裸眼3D图像处理设备的处理器用于提供计算和控制能力。该裸眼3D图像处理设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该裸眼3D图像处理设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种裸眼3D图像处理方法。该裸眼3D图像处理设备的显示屏可以是3D裸眼显示屏，该裸眼3D图像处理设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的裸眼3D图像处理设备的限定，具体的裸眼3D图像处理设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时能实现裸眼3D图像处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (10)
1.一种裸眼3D图像处理方法，其特征在于，包括：
根据获取到的双目摄像机采集的观看者的人脸图像，对所述观看者的眼睛进行眼球定位，得到所述观看者的视线落在屏幕上的视点位置；
在得到所述视点位置时，获取渲染3D裸眼图像的第一深度信息；
根据所述视点位置，划分出所述视点位置在所述3D裸眼图像上对应的场景区域图像，并根据所述第一深度信息渲染所述场景区域图像，以及模糊化其余区域图像。
2.根据权利要求1所述的裸眼3D图像处理方法，其特征在于，根据获取到的双目摄像机采集的观看者的人脸图像，对所述观看者的眼睛进行眼球定位的步骤，包括：
获取所述人脸图像的第二深度信息，根据所述第二深度信息得到所述观看者与所述双目摄像机的距离；以及标定出所述人脸图像的各特征点，并根据各所述特征点以及人脸位姿估计算法，确定所述观看者的人脸位姿；
根据所述人脸位姿确定所述人脸图像的眼部区域；
根据所述距离以及所述确定出的眼部区域，对所述观看者的眼睛进行眼球定位。
3.根据权利要求1所述的裸眼3D图像处理方法，其特征在于，根据所述第一深度信息渲染所述场景区域图像的步骤，包括：
根据所述第一深度信息，获取所述场景区域图像中各像素点的深度值；
根据各所述深度值，确定各所述像素点对应的渲染参数，并根据所述渲染参数对所述场景区域图像进行渲染。
4.根据权利要求1所述的裸眼3D图像处理方法，其特征在于，所述人脸图像为通过将所述双目摄像机拍摄到的左视图像和右视图像进行双目匹配得到的图像。
5.根据权利要求1至4任一项所述的裸眼3D图像处理方法，其特征在于，模糊化其余区域图像的步骤，包括：
将所述其余区域图像输入至预设的模糊滤波器进行模糊化处理。
6.一种裸眼3D图像处理装置，其特征在于，包括：
视点定位模块，用于根据获取到的双目摄像机采集的观看者的人脸图像，对所述观看者的眼睛进行眼球定位，得到所述观看者的视线落屏幕上的视点位置；
第一深度信息获取模块，用于在得到所述视点位置时，获取渲染3D裸眼图像的第一深度信息；
图像渲染模块，用于根据所述视点位置，划分出所述视点位置在所述3D裸眼图像上对应的场景区域图像，并根据所述第一深度信息渲染所述场景区域图像，以及模糊化其余区域图像。
7.根据权利要求6所述的裸眼3D图像处理装置，其特征在于，所述视点定位模块包括：
人脸识别单元，用于获取所述人脸图像的第二深度信息，根据所述第二深度信息得到所述观看者与所述双目摄像机的距离；以及标定出所述人脸图像的各特征点，并根据各所述特征点以及人脸位姿估计算法，确定所述观看者的人脸位姿；
眼部区域确定单元，用于根据所述人脸位姿确定所述人脸图像的眼部区域；
眼球定位单元，用于根据所述距离以及所述确定出的眼部区域，对所述观看者的眼睛进行眼球定位。
8.根据权利要求6所述的裸眼3D图像处理装置，其特征在于，所述图像渲染模块包括：
深度值获取单元，用于根据所述第一深度信息，获取所述场景区域图像中各像素点的深度值；
场景区域图像区域渲染单元，用于根据各所述深度值，确定各所述像素点对应的渲染参数，并根据所述渲染参数对所述场景区域图像进行渲染。
9.一种裸眼3D图像处理设备，其特征在于，包括存储器、处理器以及连接所述处理器的双目摄像机和屏幕，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的裸眼3D图像处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的裸眼3D图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811441298.4A CN109522866A (zh) | 2018-11-29 | 2018-11-29 | 裸眼3d图像处理方法、装置以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811441298.4A CN109522866A (zh) | 2018-11-29 | 2018-11-29 | 裸眼3d图像处理方法、装置以及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109522866A true CN109522866A (zh) | 2019-03-26 |
Family
ID=65793773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811441298.4A Pending CN109522866A (zh) | 2018-11-29 | 2018-11-29 | 裸眼3d图像处理方法、装置以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109522866A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458929A (zh) * | 2019-08-12 | 2019-11-15 | 西安建筑科技大学 | 一种基于Three.js的室内布景渲染方法及系统 |
| CN110674715A (zh) * | 2019-09-16 | 2020-01-10 | 宁波视睿迪光电有限公司 | 基于rgb图像的人眼跟踪方法及装置 |
| CN111179396A (zh) * | 2019-12-12 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、存储介质及电子装置 |
| CN111325984A (zh) * | 2020-03-18 | 2020-06-23 | 北京百度网讯科技有限公司 | 样本数据的获取方法、装置和电子设备 |
| CN111462278A (zh) * | 2020-03-17 | 2020-07-28 | 稿定（厦门）科技有限公司 | 基于深度的素材排序渲染方法、介质、设备及装置 |
| CN111899591A (zh) * | 2020-08-27 | 2020-11-06 | 华东交通大学 | 一种基于vr技术的接触网检修教学平台 |
| CN112686865A (zh) * | 2020-12-31 | 2021-04-20 | 重庆西山科技股份有限公司 | 一种3d视图辅助检测方法、系统、装置及存储介质 |
| CN112929638A (zh) * | 2019-12-05 | 2021-06-08 | 北京芯海视界三维科技有限公司 | 眼部定位方法、装置及多视点裸眼3d显示方法、设备 |
| CN113329220A (zh) * | 2020-02-28 | 2021-08-31 | 北京小米移动软件有限公司 | 图像展示的处理方法、装置以及存储介质 |
| CN114079765A (zh) * | 2021-11-17 | 2022-02-22 | 京东方科技集团股份有限公司 | 图像显示方法、装置及系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102332095A (zh) * | 2011-10-28 | 2012-01-25 | 中国科学院计算技术研究所 | 一种人脸运动跟踪方法和系统以及一种增强现实方法 |
| CN103024419A (zh) * | 2012-12-31 | 2013-04-03 | 青岛海信信芯科技有限公司 | 一种视频图像处理方法及系统 |
| CN103065289A (zh) * | 2013-01-22 | 2013-04-24 | 清华大学 | 基于双目立体视觉的四目摄像机正面人脸重建方法 |
| CN104301706A (zh) * | 2014-10-11 | 2015-01-21 | 成都斯斐德科技有限公司 | 一种增强裸眼立体显示效果的合成方法 |
| CN104717487A (zh) * | 2015-03-31 | 2015-06-17 | 王子强 | 一种裸眼3d界面显示方法 |
| CN104915656A (zh) * | 2015-06-12 | 2015-09-16 | 东北大学 | 一种基于双目视觉测量技术的快速人脸识别方法 |
| CN105657401A (zh) * | 2016-01-13 | 2016-06-08 | 深圳创维－Rgb电子有限公司 | 一种裸眼3d显示方法、系统及裸眼3d显示装置 |
| CN106681512A (zh) * | 2016-12-30 | 2017-05-17 | 宇龙计算机通信科技(深圳)有限公司 | 一种虚拟现实设备及对应显示方法 |
| CN106709954A (zh) * | 2016-12-27 | 2017-05-24 | 上海唱风信息科技有限公司 | 在投影区域遮罩人脸的方法 |
| CN106851249A (zh) * | 2017-03-30 | 2017-06-13 | 联想(北京)有限公司 | 图像处理方法及显示设备 |
| CN107483913A (zh) * | 2017-09-27 | 2017-12-15 | 万维云视（上海）数码科技有限公司 | 一种多维度画中画显示方法 |
| CN108038816A (zh) * | 2017-12-20 | 2018-05-15 | 浙江煮艺文化科技有限公司 | 一种虚拟现实图像处理装置及方法 |
| CN108227925A (zh) * | 2018-01-08 | 2018-06-29 | 广州视源电子科技股份有限公司 | 一种坐姿调整的方法、装置、设备及存储介质 |
| CN108600733A (zh) * | 2018-05-04 | 2018-09-28 | 成都泰和万钟科技有限公司 | 一种基于人眼跟踪的裸眼3d显示方法 |
-
2018
- 2018-11-29 CN CN201811441298.4A patent/CN109522866A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102332095A (zh) * | 2011-10-28 | 2012-01-25 | 中国科学院计算技术研究所 | 一种人脸运动跟踪方法和系统以及一种增强现实方法 |
| CN103024419A (zh) * | 2012-12-31 | 2013-04-03 | 青岛海信信芯科技有限公司 | 一种视频图像处理方法及系统 |
| CN103065289A (zh) * | 2013-01-22 | 2013-04-24 | 清华大学 | 基于双目立体视觉的四目摄像机正面人脸重建方法 |
| CN104301706A (zh) * | 2014-10-11 | 2015-01-21 | 成都斯斐德科技有限公司 | 一种增强裸眼立体显示效果的合成方法 |
| CN104717487A (zh) * | 2015-03-31 | 2015-06-17 | 王子强 | 一种裸眼3d界面显示方法 |
| CN104915656A (zh) * | 2015-06-12 | 2015-09-16 | 东北大学 | 一种基于双目视觉测量技术的快速人脸识别方法 |
| CN105657401A (zh) * | 2016-01-13 | 2016-06-08 | 深圳创维－Rgb电子有限公司 | 一种裸眼3d显示方法、系统及裸眼3d显示装置 |
| CN106709954A (zh) * | 2016-12-27 | 2017-05-24 | 上海唱风信息科技有限公司 | 在投影区域遮罩人脸的方法 |
| CN106681512A (zh) * | 2016-12-30 | 2017-05-17 | 宇龙计算机通信科技(深圳)有限公司 | 一种虚拟现实设备及对应显示方法 |
| CN106851249A (zh) * | 2017-03-30 | 2017-06-13 | 联想(北京)有限公司 | 图像处理方法及显示设备 |
| CN107483913A (zh) * | 2017-09-27 | 2017-12-15 | 万维云视（上海）数码科技有限公司 | 一种多维度画中画显示方法 |
| CN108038816A (zh) * | 2017-12-20 | 2018-05-15 | 浙江煮艺文化科技有限公司 | 一种虚拟现实图像处理装置及方法 |
| CN108227925A (zh) * | 2018-01-08 | 2018-06-29 | 广州视源电子科技股份有限公司 | 一种坐姿调整的方法、装置、设备及存储介质 |
| CN108600733A (zh) * | 2018-05-04 | 2018-09-28 | 成都泰和万钟科技有限公司 | 一种基于人眼跟踪的裸眼3d显示方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王志喜等主编: "《计算机图形图像技术》", 31 January 2018, 中国矿业大学出版社 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458929B (zh) * | 2019-08-12 | 2022-10-11 | 西安建筑科技大学 | 一种基于Three.js的室内布景渲染方法及系统 |
| CN110458929A (zh) * | 2019-08-12 | 2019-11-15 | 西安建筑科技大学 | 一种基于Three.js的室内布景渲染方法及系统 |
| CN110674715A (zh) * | 2019-09-16 | 2020-01-10 | 宁波视睿迪光电有限公司 | 基于rgb图像的人眼跟踪方法及装置 |
| CN110674715B (zh) * | 2019-09-16 | 2022-02-18 | 宁波视睿迪光电有限公司 | 基于rgb图像的人眼跟踪方法及装置 |
| CN112929638B (zh) * | 2019-12-05 | 2023-12-15 | 北京芯海视界三维科技有限公司 | 眼部定位方法、装置及多视点裸眼3d显示方法、设备 |
| CN112929638A (zh) * | 2019-12-05 | 2021-06-08 | 北京芯海视界三维科技有限公司 | 眼部定位方法、装置及多视点裸眼3d显示方法、设备 |
| CN111179396A (zh) * | 2019-12-12 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 图像生成方法、装置、存储介质及电子装置 |
| CN113329220B (zh) * | 2020-02-28 | 2023-07-18 | 北京小米移动软件有限公司 | 图像展示的处理方法、装置以及存储介质 |
| CN113329220A (zh) * | 2020-02-28 | 2021-08-31 | 北京小米移动软件有限公司 | 图像展示的处理方法、装置以及存储介质 |
| CN111462278A (zh) * | 2020-03-17 | 2020-07-28 | 稿定（厦门）科技有限公司 | 基于深度的素材排序渲染方法、介质、设备及装置 |
| CN111325984A (zh) * | 2020-03-18 | 2020-06-23 | 北京百度网讯科技有限公司 | 样本数据的获取方法、装置和电子设备 |
| CN111899591A (zh) * | 2020-08-27 | 2020-11-06 | 华东交通大学 | 一种基于vr技术的接触网检修教学平台 |
| CN112686865A (zh) * | 2020-12-31 | 2021-04-20 | 重庆西山科技股份有限公司 | 一种3d视图辅助检测方法、系统、装置及存储介质 |
| CN114079765A (zh) * | 2021-11-17 | 2022-02-22 | 京东方科技集团股份有限公司 | 图像显示方法、装置及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109522866A (zh) | 裸眼3d图像处理方法、装置以及设备 | |
| CN109615703B (zh) | 增强现实的图像展示方法、装置及设备 | |
| US9684946B2 (en) | Image making | |
| US9014414B2 (en) | Information processing apparatus and information processing method for processing image information at an arbitrary viewpoint in a physical space or virtual space | |
| CN109901710B (zh) | 媒体文件的处理方法和装置、存储介质及终端 | |
| CN111066026B (zh) | 用于向图像数据提供虚拟光调节的技术 | |
| Blum et al. | The effect of out-of-focus blur on visual discomfort when using stereo displays | |
| JP2010154422A (ja) | 画像処理装置 | |
| JP2008257127A (ja) | 画像表示装置及び画像表示方法 | |
| US10553014B2 (en) | Image generating method, device and computer executable non-volatile storage medium | |
| EP2230988A1 (en) | Method of simulating blur in digitally processed images | |
| US10885651B2 (en) | Information processing method, wearable electronic device, and processing apparatus and system | |
| EP3262606A1 (en) | An image processing method and apparatus for determining depth within an image | |
| Schöps et al. | Real-time view correction for mobile devices | |
| CN106851249A (zh) | 图像处理方法及显示设备 | |
| US11212502B2 (en) | Method of modifying an image on a computational device | |
| WO2015130309A1 (en) | Customizable profile to modify an identified feature in video feed | |
| Liu et al. | Bokeh effects based on stereo vision | |
| Liu et al. | Stereo-based bokeh effects for photography | |
| JP2016532147A (ja) | 眼科レンズの視覚的効果を特定する方法 | |
| Hansen et al. | Light field rendering for head mounted displays using pixel reprojection | |
| Yan et al. | Stereoscopic image generation from light field with disparity scaling and super-resolution | |
| Gurrieri | Improvements in the visualization of stereoscopic 3D imagery | |
| WO2021260368A1 (en) | Visual assistance | |
| Hansen et al. | Calibrating, Rendering and Evaluating the Head Mounted Light Field Display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190326 |
|
| RJ01 | Rejection of invention patent application after publication |