CN104581119B - 一种3d图像的显示方法和一种头戴设备 - Google Patents

一种3d图像的显示方法和一种头戴设备 Download PDF

Info

Publication number
CN104581119B
CN104581119B CN201410854774.0A CN201410854774A CN104581119B CN 104581119 B CN104581119 B CN 104581119B CN 201410854774 A CN201410854774 A CN 201410854774A CN 104581119 B CN104581119 B CN 104581119B
Authority
CN
China
Prior art keywords
video
video images
marginal portion
helmet
background models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410854774.0A
Other languages
English (en)
Other versions
CN104581119A (zh
Inventor
尹琪
周宏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Qingdao Goertek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Goertek Co Ltd filed Critical Qingdao Goertek Co Ltd
Priority to CN201410854774.0A priority Critical patent/CN104581119B/zh
Publication of CN104581119A publication Critical patent/CN104581119A/zh
Priority to JP2017530067A priority patent/JP6384940B2/ja
Priority to PCT/CN2015/099194 priority patent/WO2016107519A1/zh
Priority to US15/324,247 priority patent/US10104358B2/en
Application granted granted Critical
Publication of CN104581119B publication Critical patent/CN104581119B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种3D图像的显示方法和一种头戴设备。本发明提供的方法包括：建立3D背景模型，在所述3D背景模型中设置视频图像显示区域；获取视频图像数据，将所视频述图像数据投射在所述3D背景模型的视频图像显示区域中；获取头戴设备的显示参数，根据所述显示参数，对所述投射有视频图像数据的3D背景模型进行图像变形处理，生成分别对应左眼的第一3D视频图像和对应右眼的第二3D视频图像；将所述第一3D视频图像和所述第二3D视频图像分别经过两个透镜折射后进行显示。本发明提供的技术方案能够解决现有的头戴设备中3D图像显示角度狭小的问题。

Description

一种3D图像的显示方法和一种头戴设备
技术领域
本发明涉及3D图像的显示技术领域，特别是涉及一种3D图像的显示方法和一种头戴设备。
背景技术
近年来，头戴显示设备愈加流行，成为更多人体验家庭影院的工具。然而传统头戴显示设备注重于电影内容本身显示，用户没有坐在影院观影效果。
传统的头戴设备中，对于3D视频的处理都是基于对每一帧图像中的边缘部分进行模糊处理，因此会导致3D视频图像边缘部分存在模糊不清晰的问题，同时还会造成3D图像显示角度狭小的问题。
由上述可知，现有的头戴设备中存在3D图像显示角度狭小的问题。
发明内容
本发明提供了一种3D图像的显示方法和一种头戴设备。本发明提供的技术方案能够解决现有的头戴设备中3D图像显示角度狭小的问题。
本发明公开了一种3D图像的显示方法，该方法包括：
建立3D背景模型，在所述3D背景模型中设置视频图像显示区域；
获取视频图像数据，将所视频述图像数据投射在所述3D背景模型的视频图像显示区域中；
获取头戴设备的显示参数，根据所述显示参数，对所述投射有视频图像数据的3D背景模型进行图像变形处理，生成分别对应左眼的第一3D视频图像和对应右眼的第二3D视频图像；
将所述第一3D视频图像和所述第二3D视频图像分别经过两个透镜折射后进行显示。
可选的，在所述生成分别对应左眼的第一视频显示区域和对应右眼的第二视频显示区域之后，该方法还包括：
分别对所述对应左眼的第一3D视频图像的边缘部分和所述对应右眼的第二3D视频图像的边缘部分进行图像平滑处理；
将所述经过图像平滑处理后的所述第一3D视频图像和所述第二3D视频图像分别进行显示。
可选的，所述对所述投射有视频图像数据的3D背景模型进行图像变形处理，生成分别对应左眼的第一3D视频图像和对应右眼的第二3D视频图像包括：
根据所述头戴设备的显示区域的长度值和宽度值，生成第一框体和第二框体；
将所述显示有视频图像的3D背景模型进行图像变形处理，生成分别对应左眼的第一视频数据和对应右眼的第二视频数据；
将所述第一视频数据放置到所述第一框体内，生成对应左眼的第一3D视频图像；将所述第二视频数据放置到所述第二框体内，生成对应右眼的第二3D视频图像。
可选的，所述分别对所述对应左眼的第一3D视频图像的边缘部分和所述对应右眼的第二3D视频图像的边缘部分进行图像平滑处理包括：
对所述第一3D视频图像的边缘部分以及第二3D视频图像的边缘部分通过卷积平滑算法进行图像平滑处理；
其中，所述第一3D视频图像的边缘部分是指距离所述第一3D视频显示图像中心的大于预设值的区域；第二3D视频图像的边缘部分是指距离所述第二3D视频图像中心的大于预设值的区域。
可选的，所述对所述第一3D视频图像的边缘部分以及第二3D视频图像的边缘部分通过卷积平滑算法进行图像平滑处理包括：
对所述第一3D视频图像的边缘部分以及第二3D视频图像的边缘部分中的每个像素点，采集所述像素点周围的像素点构成像素邻域矩阵，
将所述像素邻域矩阵与预设的卷积权值矩阵进行加权计算后得到的新值，使用该新值替换该像素点的原值。
可选的，该方法还包括：设置眼部观察位置矩阵，
获取视角偏移角度，根据所述视角偏移角度修改眼部观察位置矩阵；
根据所述眼部观察位置矩阵，对3D背景模型的顶点进行矩阵运算，得到新的顶点；对所述新的顶点进行着色处理，生成对应视角的3D背景模型。
可选的，该方法还包括：获取视角平移参数，根据所述视角平移参数，对所述3D背景模型进行平移运算，得到新的3D背景模型。
可选的，所述3D背景模型为3D影院模型；
其中，所述3D影院模型中的银幕模型为对应的视频图像显示区域。
本发明还公开了一种头戴设备，该头戴设备包括:背景处理模块、采集处理模块、显示模块、图像处理模块；
所述背景处理模块，用于建立3D背景模型，在所述3D背景模型中设置视频图像显示区域；
所述采集处理模块，用于获取视频图像数据，将所述视频图像数据投射在所述3D背景模型的视频图像显示区域中；用于采集头戴设备的显示参数，将所述头戴设备的显示参数发送给图像处理模块；
所述图像处理模块，用于根据所述显示参数，对所述投射有视频图像数据的3D背景模型进行图像变形处理；生成分别对应左眼的第一3D视频图像和对应右眼的第二3D视频图像；
所述显示模块，用于将所述第一3D视频图像和所述第二3D视频图像分别经过两个透镜折射后进行显示。
可选的，所述图像处理模块，根据所述头戴设备的显示区域的长度值和宽度值，生成第一框体和第二框体；将所述显示有视频图像的3D背景模型进行图像变形处理，生成分别对应左眼的第一视频数据和对应右眼的第二视频数据；将所述第一视频数据放置到所述第一框体内，生成对应左眼的第一3D视频图像；将所述第二视频数据放置到所述第二框体内，生成对应右眼的第二3D视频图像；分别对所述第一3D视频图像的边缘部分和所述第二3D视频图像的边缘部分进行图像平滑处理。
综上所述，本发明提供的技术方案中，通过设置3D背景模型，并且对投射有视频图像数据的3D背景模型进行图像变形处理，分别产生第一3D视频图像和第二3D视频图像；使得用户通过头戴设备中的透镜进行观看时，能够看到较大的视觉角度，提高用户体验，从而解决了现有的头戴设备在观看3D视频时存在视觉角度狭小，边缘模糊的问题。
附图说明
图1是本发明中一种3D图像的显示方法的流程图；
图2是本发明中一种3D图像的显示方法的详细流程图；
图3是本发明中一种3D视频图像的平滑处理的流程图；
图4是本发明中一种3D图像显示的视角变换流程图；
图5是本发明中另一种3D图像显示的视角变换流程图；
图6是本发明中一种头戴设备的结构示意图；
图7是本发明中一种头戴设备的详细结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作还地详细描述。
为达到上述目的本发明的技术方案是这样实现的：
图1是本发明中一种3D图像的显示方法的流程图，参见图1所示，该方法包括如下步骤。
步骤101，建立3D背景模型，在所述3D背景模型中设置视频图像显示区域。
步骤102，获取视频图像数据，将所视频述图像数据投射在所述3D背景模型的视频图像显示区域中；
步骤103，获取头戴设备的显示参数，根据所述显示参数，对所述投射有视频图像数据的3D背景模型进行图像变形处理，生成分别对应左眼的第一3D视频图像和对应右眼的第二3D视频图像。
步骤104，将所述第一3D视频图像和所述第二3D视频图像分别经过两个透镜折射后进行显示。
由上述可知，本发明所公开的一种3D图像的显示方法，适用于头戴设备，根据人眼的观察点的不同，对所述投射有视频图像3D背景模型进行图像变形处理，分别产生第一3D视频图像和第二3D视频图像；使得用户通过头戴设备中的透镜进行观看时，能够看到较大的视觉角度。并且通过设置3D背景模型使得用户在观看视频的同时能够有身临其境的感觉，提高用户体验。
图2是本发明中一种3D图像的显示方法的详细流程图，参见图2所示，该方法包括如下步骤。
步骤201，建立3D背景模型，在所述3D背景模型中设置视频图像显示区域。
在本发明的一种实施例中，3D背景模型可以为影院3D模型，即包括银幕、座位等3D模型。其中，3D背景模型中设有的视频图像显示区域对应于影院3D模型中的银幕模型。
步骤202，获取视频图像数据，将所视频述图像数据投射在所述3D背景模型的视频图像显示区域中。
在步骤202中，获取用于播放的视频图像数据，将该视频图像数据投射到影院3D模型的银幕模型中；即用户通过头戴设备观看视频时，可以看见影院3D模型中的银幕中播放对应的视频，从而实现身临其境观看视频的效果。
步骤203，获取头戴设备的显示参数，根据所述显示参数，对所述投射有视频图像数据的3D背景模型进行图像变形处理，生成分别对应左眼的第一3D视频图像和对应右眼的第二3D视频图像。
在本发明的一种实施例中，头戴设备的显示参数为头戴设备的显示区域的长度值和宽度值。
在步骤203中，根据头戴设备的显示区域的长度值和宽度值，生成第一框体和第二框体；将所述显示有视频图像数据的3D背景模型进行图像变形处理，生成分别对应左眼的第一视频数据和对应右眼的第二视频数据；将所述第一视频数据放置到所述第一框体内，生成对应左眼的第一3D视频图像；将所述第二视频数据放置到所述第二框体内，生成对应右眼的第二3D视频图像。
在本发明的上述实施例中，通过在头戴设备的显示屏幕上生成第一框体和第二框体内分别显示第一3D视频图像和第二3D视频图像，使得人眼通过光学透镜观看第一3D视频图像和第二3D视频图像中分别显示的影院3D模型时，可以得到较大的视角，即能够实现IMAX的观影效果。
步骤204，对所述第一3D视频图像的边缘部分以及和第二3D视频图像的边缘部分进行图像平滑处理。
在步骤204中，为了防止银幕中显示有视频图像数据的影院3D模型进行图像变形处理后，所生成第一3D视频图像的边缘部分以及和第二3D视频图像的边缘部分存在锯齿，导致人眼通过光学透镜看到的3D影像存在失真的问题。因此还需要分别对第一3D视频图像的边缘部分以及和第二3D视频图像的边缘部分进行图像平滑处理。
在本发明的一种实施例中，可以采用卷积平滑算法对所述第一视频显示区域的边缘部分以及第二视频显示区域的边缘部分进行图像平滑处理。
步骤205，显示所述经过图像平滑处理后的所述第一视频显示区域和所述第二视频显示区域。
在步骤205中，将经过图像平滑处理的第一3D视频图像和第二3D视频图像显示在头戴设备的显示屏中。
在本发明的一种具体实施例中，在步骤203中，根据头戴设备显示屏幕的大小，对银幕中显示有视频图像数据的影院3D模型进行图像变形处理。并且在头戴设备的显示屏幕上生成第一框体(Mesh)用于放置第一3D视频图像，和生成第二框体(Mesh)用于放置第二3D视频图像，分别对应左眼和右眼。由于人体左右眼睛观察点的不同，因此生成的第一视频显示区域和第二视频显示区域中的显示的影院3D模型会有所不同。使得人眼通过光学透镜观看第一3D视频图像和第二3D视频图像中分别显示的影院3D模型时，人的大脑可以对第一3D视频图像和第二3D视频图像中分别显示的内容进行识别，从而产生真实的影院3D模型的效果。
本发明中提供方法能够使得用户带上头戴设备后犹如置身电影院的感觉，除了可以看到电影以外，还可以通过选择不同的观察视角，使得看到的电影大小和角度不同，同时将3D视频内容显示在3D背景模型中，增强现实感。
图3是本发明中一种3D视频图像的平滑处理的流程图，在本发明的一种具体实施例中，参见图3所示，为了更好的实现对第一3D视频图像的边缘部分和第二3D视频图像的边缘部分进行图像平滑处理，该方法包括如下步骤。
步骤301，获取第一3D视频图像的边缘部分的像素点。
在步骤301中，第一3D视频图像的边缘部分是指距离所述第一3D视频图像中心的大于预设值的区域。
步骤302，获取第二3D视频图像的边缘部分的像素点。
在步骤302中，第二3D视频图像的边缘部分是指距离所述第二3D视频图像中心的大于预设值的区域。在本发明的一种较佳实施例中，
在步骤301和步骤302中，在本发明的一种较佳实施例中，所述预设值可以为二分之一的最远像素点与中心点的距离。
步骤303，对所述第一3D视频图像的边缘部分以及第二3D视频图像的边缘部分中的每个像素点，采集所述像素点周围的像素点构成像素邻域矩阵。
在步骤303中，可以采集目标像素点周围的8个像素点构成3X3的像素邻域矩阵。在本发明的其他实施例中，可以采集更多的像素点构成更大的像素邻域矩阵，以便产生更好的图像平滑效果。
步骤304，将所述像素邻域矩阵与预设的卷积权值矩阵进行加权计算后得到的新值。
在步骤304中，预设的卷积权值矩阵与采集的像素邻域矩阵相对应，所述卷积权值矩阵对采集的像素邻域矩阵中的每个像素点设置不同的权值值，其中，目标像素点的权值最大。
步骤305，使用该新值替换该像素点的原值。
在本发明的一种实施例中，步骤301和步骤302不分先后顺序，可以同时进行。并且，只将距离中心的一半范围之外的像素点做卷积平滑运算，距离中心的一半范围之内的像素点不做处理可以提高GPU处理的效率，使得观看3D视频时更加流畅。
在本发明的一种实施例中，为实现在不同角度观看3D影像的效果，可以通过构建眼部观察位置矩阵的方式实现视角的变更。图4是本发明中一种3D图像显示的视角变换流程图。参见图4所示，该方法包括如下步骤。
步骤401，设置眼部观察位置矩阵。
步骤402，获取视角偏移角度，根据所述视角偏移角度修改眼部观察位置矩阵。
步骤403，根据所述眼部观察位置矩阵，对3D背景模型的顶点进行矩阵运算，得到新的顶点；
步骤404，对所述新的顶点进行着色处理，生成对应视角的3D背景模型。
在本发明的一种实施例中，在获取到视角偏移角度之后，可以通过调用Matrix.setLookAem来修改眼部观察位置矩阵，从而改变用户对3D背景模型的观察角度。具体为，通过眼部观察位置矩阵M对3D背景模型的顶点V(三维向量)进行矩阵运算，得到新的顶点V’(V’＝M*V)，顶点着色器处理新的顶点V’，举例为：gl_Position＝M*(V,1.0)。
在本发明的一种实施例中，为实现在不同角度观看3D影像的效果，可以通过设置3D背景模型移动矩阵的方式实现视角的变更。图5是本发明中另一种3D图像显示的视角变换流程图。参见图5所示，该方法包括如下步骤。
步骤501，获取视角平移参数。
步骤502，根据所述视角平移参数，对所述3D背景模型进行平移运算，生成对应视角的3D背景模型。
在本发明的一种实施例中，3D背景模型的原有顶点V＝[x,y,z]，视角平移参数为[x’,y’,z’]，表示为分别为沿着世界坐标系移动x’,y’,z’。则根据所述视角平移参数，对所述3D背景模型进行平移运算后为V’＝[x+x’,y+y’,z+z’]。
在本发明的其他实施例中，3D影像观看视角的转换从实现角度不限于以上技术，由于变换的对偶性同样可以采用其它方式来实现3D影像观看视角的变换。如把银屏位置往世界坐标系z轴正向移动和把眼部观察位置往z轴负向移动是一样的。
本发明还公开了一种头戴设备，图6是本发明中一种头戴设备的结构示意图，参见图6所示，该头戴设备包括:背景处理模块601、采集处理模块602、显示模块603、图像处理模块604；
背景处理模块601，用于建立3D背景模型，在所述3D背景模型中设置视频图像显示区域；
采集处理模块602，用于获取视频图像数据，将所述视频图像数据投射在所述3D背景模型的视频图像显示区域中；用于采集头戴设备的显示参数，将所述头戴设备的显示参数发送给图像处理模块；
图像处理模块603，用于根据所述显示参数，对所述投射有视频图像数据的3D背景模型进行图像变形处理；生成分别对应左眼的第一3D视频图像和对应右眼的第二3D视频图像；
显示模块604，用于将所述第一3D视频图像和所述第二3D视频图像分别经过两个透镜折射后进行显示。
图7是本发明中一种头戴设备的详细结构示意图，参见图7所示，
在本发明的一种实施例中，图像处理模块603，根据头戴设备的显示区域的长度值和宽度值，生成第一框体和第二框体；将所述显示有视频图像数据的3D背景模型进行图像变形处理，生成分别对应左眼的第一视频数据和对应右眼的第二视频数据；将所述第一视频数据放置到所述第一框体内，生成对应左眼的第一3D视频图像；将所述第二视频数据放置到所述第二框体内，生成对应右眼的第二3D视频图像。
为了使得人眼通过光学透镜观看第一3D视频图像和第二3D视频图像时，能够更好的达到观看的效果。
在本发明的一种实施例中，图像处理模块603，分别对所述第一3D视频图像的边缘部分和所述第二3D视频图像的边缘部分进行图像平滑处理。
在本发明的一种实施例中，图像处理模块603，对所述第一3D视频图像的边缘部分以及第二3D视频图像的边缘部分通过卷积平滑算法进行图像平滑处理；
其中，所述第一3D视频图像的边缘部分是指距离所述第一3D视频显示图像中心的大于预设值的区域；第二3D视频图像的边缘部分是指距离所述第二3D视频图像中心的大于预设值的区域。
在本发明的一种实施例中，图像处理模块603对所述第一3D视频图像的边缘部分以及第二3D视频图像的边缘部分中的每个像素点，采集所述像素点周围的像素点构成像素邻域矩阵，
将所述像素邻域矩阵与预设的卷积权值矩阵进行加权计算后得到的新值，使用该新值替换该像素点的原值
为了实现从不同角度观看3D视频的效果，在本发明的一种实施例中，该装置还包括：视角调节模块；
视角调节模块605，用于设置眼部观察位置矩阵；以及在获取到视角偏移角度之后，根据所述视角偏移角度修改眼部观察位置矩阵；
图像处理模块603，根据所述眼部观察位置矩阵，对3D背景模型的顶点进行矩阵运算，得到新的顶点；对所述新的顶点进行着色处理，生成对应视角的3D背景模型
在本发明的一种实施例中，视角调节模块605，用于获取视角平移参数，将获取的视角平移参数发送给图像处理模块603。
图像处理模块603，根据视角平移参数，对所述3D背景模型进行平移运算，得到新的3D背景模型。
由上述可知，本发明提供的技术方案中，通过设置3D背景模型，并且对投射有视频图像3D背景模型进行图像变形处理，分别产生第一3D视频图像和第二3D视频图像；使得用户通过头戴设备中的透镜进行观看时，能够看到较大的视觉角度，提高用户体验，从而解决了现有的头戴设备在观看3D视频时存在视觉角度狭小的问题。此外，通过对第一3D视频图像和第二3D视频图像的边缘部分进行平滑处理，使得用户在观看3D视频图像的边缘不会出现锯齿的问题，并且还能使得3D视频图像的边缘部分的图像清晰。此外，在本发明中进一步通过设置眼部观察位置矩阵，实现对3D视频图像的观察角度的转换，从而让用户可以选择不同的角度观看3D视频图像，增加用户的体验。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种3D图像的显示方法，其特征在于，该方法包括：
建立3D背景模型，在所述3D背景模型中设置视频图像显示区域；
获取视频图像数据，将所述视频图像数据投射在所述3D背景模型的视频图像显示区域中；
获取头戴设备的显示参数，根据所述显示参数，对所述投射有视频图像数据的3D背景模型进行图像变形处理，生成分别对应左眼的第一3D视频图像和对应右眼的第二3D视频图像；
将所述第一3D视频图像和所述第二3D视频图像分别经过两个透镜折射后进行显示；
在所述生成分别对应左眼的第一3D视频显示区域和对应右眼的第二3D视频显示区域之后，该方法还包括：
分别对所述对应左眼的第一3D视频图像的边缘部分和所述对应右眼的第二3D视频图像的边缘部分进行图像平滑处理；
将所述经过图像平滑处理后的所述第一3D视频图像和所述第二3D视频图像分别进行显示；
所述对所述投射有视频图像数据的3D背景模型进行图像变形处理，生成分别对应左眼的第一3D视频图像和对应右眼的第二3D视频图像包括：
根据所述头戴设备的显示区域的长度值和宽度值，生成第一框体和第二框体；
将所述显示有视频图像数据的3D背景模型进行图像变形处理，生成分别对应左眼的第一视频数据和对应右眼的第二视频数据；
将所述第一视频数据放置到所述第一框体内，生成对应左眼的第一3D视频图像；将所述第二视频数据放置到所述第二框体内，生成对应右眼的第二3D视频图像。
2.根据权利要求1所述的方法，其特征在于，所述分别对所述对应左眼的第一3D视频图像的边缘部分和所述对应右眼的第二3D视频图像的边缘部分进行图像平滑处理包括：
对所述第一3D视频图像的边缘部分以及第二3D视频图像的边缘部分通过卷积平滑算法进行图像平滑处理；
其中，所述第一3D视频图像的边缘部分是指距离所述第一3D视频显示图像中心的大于预设值的区域；第二3D视频图像的边缘部分是指距离所述第二3D视频图像中心的大于预设值的区域。
3.根据权利要求2所述的方法，其特征在于，所述对所述第一3D视频图像的边缘部分以及第二3D视频图像的边缘部分通过卷积平滑算法进行图像平滑处理包括：
对所述第一3D视频图像的边缘部分以及第二3D视频图像的边缘部分中的每个像素点，采集所述像素点周围的像素点构成像素邻域矩阵，
将所述像素邻域矩阵与预设的卷积权值矩阵进行加权计算后得到的新值，使用该新值替换该像素点的原值。
4.根据权利要求1～3中任意一项所述的方法，其特征在于，该方法还包括：
设置眼部观察位置矩阵，
获取视角偏移角度，根据所述视角偏移角度修改眼部观察位置矩阵；
根据所述眼部观察位置矩阵，对3D背景模型的顶点进行矩阵运算，得到新的顶点；
对所述新的顶点进行着色处理，生成对应视角的3D背景模型。
5.根据权利要求1～3中任意一项所述的方法，其特征在于，该方法还包括：
获取视角平移参数，根据所述视角平移参数，对所述3D背景模型进行平移运算，得到新的3D背景模型。
6.根据权利要求1～3中任意一项所述的方法，其特征在于，所述3D背景模型为3D影院模型；
其中，所述3D影院模型中的银幕模型为对应的视频图像显示区域。
7.一种头戴设备，其特征在于，该头戴设备包括:背景处理模块、采集处理模块、显示模块、图像处理模块；
所述背景处理模块，用于建立3D背景模型，在所述3D背景模型中设置视频图像显示区域；
所述采集处理模块，用于获取视频图像数据，将所述视频图像数据投射在所述3D背景模型的视频图像显示区域中；用于采集头戴设备的显示参数，将所述头戴设备的显示参数发送给图像处理模块；
所述图像处理模块，用于根据所述显示参数，对所述投射有视频图像数据的3D背景模型进行图像变形处理；生成分别对应左眼的第一3D视频图像和对应右眼的第二3D视频图像；
所述显示模块，用于将所述第一3D视频图像和所述第二3D视频图像分别经过两个透镜折射后进行显示；
其中，在所述生成分别对应左眼的第一3D视频显示区域和对应右眼的第二3D视频显示区域之后，还包括：
分别对所述对应左眼的第一3D视频图像的边缘部分和所述对应右眼的第二3D视频图像的边缘部分进行图像平滑处理；
将所述经过图像平滑处理后的所述第一3D视频图像和所述第二3D视频图像分别进行显示；
所述图像处理模块，根据所述头戴设备的显示区域的长度值和宽度值，生成第一框体和第二框体；将所述显示有视频图像的3D背景模型进行图像变形处理，生成分别对应左眼的第一视频数据和对应右眼的第二视频数据；将所述第一视频数据放置到所述第一框体内，生成对应左眼的第一3D视频图像；将所述第二视频数据放置到所述第二框体内，生成对应右眼的第二3D视频图像；分别对所述第一3D视频图像的边缘部分和所述第二3D视频图像的边缘部分进行图像平滑处理。
CN201410854774.0A 2014-12-31 2014-12-31 一种3d图像的显示方法和一种头戴设备 Active CN104581119B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201410854774.0A CN104581119B (zh) 2014-12-31 2014-12-31 一种3d图像的显示方法和一种头戴设备
JP2017530067A JP6384940B2 (ja) 2014-12-31 2015-12-28 ３ｄ画像の表示方法及びヘッドマウント機器
PCT/CN2015/099194 WO2016107519A1 (zh) 2014-12-31 2015-12-28 一种3d图像的显示方法和一种头戴设备
US15/324,247 US10104358B2 (en) 2014-12-31 2015-12-28 3D image display method and head-mounted device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410854774.0A CN104581119B (zh) 2014-12-31 2014-12-31 一种3d图像的显示方法和一种头戴设备

Publications (2)

Publication Number Publication Date
CN104581119A CN104581119A (zh) 2015-04-29
CN104581119B true CN104581119B (zh) 2017-06-13

Family

ID=53096193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410854774.0A Active CN104581119B (zh) 2014-12-31 2014-12-31 一种3d图像的显示方法和一种头戴设备

Country Status (4)

Country Link
US (1) US10104358B2 (zh)
JP (1) JP6384940B2 (zh)
CN (1) CN104581119B (zh)
WO (1) WO2016107519A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104581119B (zh) 2014-12-31 2017-06-13 青岛歌尔声学科技有限公司 一种3d图像的显示方法和一种头戴设备
CN104898280B (zh) * 2015-05-04 2017-09-29 青岛歌尔声学科技有限公司 一种头戴式显示器的显示方法和头戴式显示器
CN106680995A (zh) * 2015-11-05 2017-05-17 丰唐物联技术（深圳）有限公司 显示控制方法及装置
CN105915877A (zh) * 2015-12-27 2016-08-31 乐视致新电子科技（天津）有限公司 一种三维视频的自由观影方法及设备
CN105657407B (zh) * 2015-12-31 2018-11-23 深圳纳德光学有限公司 头戴显示器及其双目3d视频显示方法和装置
CN105915885A (zh) * 2016-03-02 2016-08-31 优势拓展（北京）科技有限公司 鱼眼图像的3d交互显示方法和系统
CN109996060B (zh) * 2017-12-30 2021-09-03 深圳多哚新技术有限责任公司 一种虚拟现实影院系统及信息处理方法
CN113330509A (zh) * 2019-01-07 2021-08-31 芋头科技（杭州）有限公司 移动设备集成视觉增强系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2916076B2 (ja) * 1993-08-26 1999-07-05 シャープ株式会社 画像表示装置
US7907794B2 (en) * 2007-01-24 2011-03-15 Bluebeam Software, Inc. Method for aligning a modified document and an original document for comparison and difference highlighting
CN101309389A (zh) * 2008-06-19 2008-11-19 深圳华为通信技术有限公司 一种合成可视图像的方法、装置和终端
CN101533156A (zh) * 2009-04-23 2009-09-16 天津三维成像技术有限公司 利用单片显示器件制作的头盔式立体显示器
CN101605271B (zh) 2009-07-08 2010-10-13 无锡景象数字技术有限公司 一种基于单幅图像的2d转3d方法
CN101661163A (zh) * 2009-09-27 2010-03-03 合肥工业大学 增强现实系统的立体头盔显示器
CN102238396B (zh) * 2010-04-28 2014-05-07 周修平 立体视觉的影像转换方法、成像方法及系统
US8446461B2 (en) * 2010-07-23 2013-05-21 Superd Co. Ltd. Three-dimensional (3D) display method and system
JP2012044407A (ja) 2010-08-18 2012-03-01 Sony Corp 画像処理装置および方法、並びにプログラム
JP5874176B2 (ja) * 2011-03-06 2016-03-02 ソニー株式会社 表示装置、並びに中継装置
WO2012147702A1 (ja) 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
JP2013050558A (ja) * 2011-08-30 2013-03-14 Sony Corp ヘッド・マウント・ディスプレイ及び表示制御方法
CN103327352B (zh) * 2013-05-03 2015-08-12 四川虹视显示技术有限公司 采用串行处理方式实现双显示屏3d显示的装置及方法
GB201310376D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
CN104581119B (zh) 2014-12-31 2017-06-13 青岛歌尔声学科技有限公司 一种3d图像的显示方法和一种头戴设备

Also Published As

Publication number Publication date
CN104581119A (zh) 2015-04-29
US20170201734A1 (en) 2017-07-13
WO2016107519A1 (zh) 2016-07-07
JP2018505580A (ja) 2018-02-22
JP6384940B2 (ja) 2018-09-05
US10104358B2 (en) 2018-10-16

Similar Documents

Publication Publication Date Title
CN104581119B (zh) 一种3d图像的显示方法和一种头戴设备
CN106354251B (zh) 一种虚拟场景与真实场景融合的模型系统与方法
JP6023801B2 (ja) シミュレーション装置
WO2019041351A1 (zh) 一种3d vr视频与虚拟三维场景实时混叠渲染的方法
CN103269423B (zh) 可拓展式三维显示远程视频通信方法
CN106919248A (zh) 应用于虚拟现实的内容传输方法以及设备
JP6821646B2 (ja) 動的領域分解能を有する仮想／拡張現実システム
JP2004145448A (ja) 端末装置、サーバ装置および画像加工方法
CN107862718B (zh) 4d全息视频捕捉方法
JP2012079291A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2004506276A (ja) ３次元顔モデリングシステム及びモデリング方法
WO2018176927A1 (zh) 虚拟主动视差计算补偿的双目渲染方法及系统
CN107203263A (zh) 一种虚拟现实眼镜系统及图像处理方法
CN108064447A (zh) 图像显示方法、智能眼镜及存储介质
CN107545537A (zh) 一种从稠密点云生成3d全景图片的方法
KR101670328B1 (ko) 다중 실시간 영상 획득 카메라를 통한 실감영상표출장치 및 이를 통한 영상 제어 인식방법
CN105472358A (zh) 一种关于视频图像处理的智能终端
CN108989784A (zh) 虚拟现实设备的图像显示方法、装置、设备及存储介质
JP2022028091A (ja) 画像処理装置、画像処理方法、及び、プログラム
CN106408666B (zh) 混合现实实境演示方法
CN110060349B (zh) 一种扩展增强现实头戴式显示设备视场角的方法
CN108287609A (zh) 用于ar眼镜的图像绘制方法
CN108012139B (zh) 应用于真实感近眼显示的图像生成方法和装置
CN110244837A (zh) 增强现实且具有虚拟影像叠加的体验眼镜及其成像方法
WO2022116194A1 (zh) 一种全景呈现方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20201015

Address after: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Patentee after: GoerTek Optical Technology Co.,Ltd.

Address before: International Exhibition Center of wealth 18 No. 266061 Shandong province Qingdao city Laoshan District No. 3 Qinling Mountains Road, building 5 floor

Patentee before: Qingdao GoerTek Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221212

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261031 north of Yuqing street, east of Dongming Road, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.

TR01 Transfer of patent right