CN104349155B - 模拟立体图像显示方法及显示设备 - Google Patents

模拟立体图像显示方法及显示设备 Download PDF

Info

Publication number
CN104349155B
CN104349155B CN201410690154.8A CN201410690154A CN104349155B CN 104349155 B CN104349155 B CN 104349155B CN 201410690154 A CN201410690154 A CN 201410690154A CN 104349155 B CN104349155 B CN 104349155B
Authority
CN
China
Prior art keywords
user
display device
relative position
views
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410690154.8A
Other languages
English (en)
Other versions
CN104349155A (zh
Inventor
罗艳青
简培云
刘宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Super Technology Co Ltd
Original Assignee
Shenzhen Super Perfect Optics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Super Perfect Optics Ltd filed Critical Shenzhen Super Perfect Optics Ltd
Priority to CN201410690154.8A priority Critical patent/CN104349155B/zh
Publication of CN104349155A publication Critical patent/CN104349155A/zh
Priority to TW104130473A priority patent/TWI547901B/zh
Priority to US14/918,162 priority patent/US9961334B2/en
Application granted granted Critical
Publication of CN104349155B publication Critical patent/CN104349155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种模拟立体图像显示的方法，通过获取用于三维重建的至少两幅视图，确定构建的三维场景的深度信息和颜色信息；并且通过跟踪确定用户相对于所述显示设备的相对位置；根据所述相对位置，确定三维场景中需要在所述显示设备上显示的图像，供处于当前位置的用户观看。通过该种三维重建和恢复的方案，实现用户在二维显示设备或者未开启三维显示模式的显示设备上都能够体验观看立体场景的效果。

Description

模拟立体图像显示方法及显示设备
技术领域
本发明涉及立体显示领域，具体涉及一种立体图像显示的方法及显示设备。
背景技术
现有的立体显示方案，大部分是通过光学透镜与显示面板进行结合，使得用户能够通过这种3D显示设备观看3D影像。但是，3D显示设备成本较高，因此，为了实现在普通的2D显示设备上能够使用户能够体验3D显示效果。公开号为CN101931823A的中国专利公开了一种夏普公司申请的在2D显示设备上显示3D图像的方法和设备，该方法通过捕获观看者的视频、分析所述视频获得观看者的视点，之后确定3D图像在该视点下的2D投影图像，并且随着观看者的视点的变化显示与相应视点相关的2D投影图像。该方案需要计算机、摄像机以及计算机三种独立的设备，摄像机捕捉的视频确定的观看者的视点，在该方案中3D图像预先存储在计算机中，计算机根据得到的视点来计算3D图像在当前视点上的2D投影图像数据，计算机再将2D投影图像投影到显示设备130上，随着观看者视点的变化，计算机计算3D图像中与捕 捉视点对应的投影图像，以实现3D图像的显示。
公开号为US8,704,879B1的美国专利公开了一种任天堂公司申请的在裸眼状态下在传统2D显示设备上提供3D视图的方法，该方法包括跟踪用户相对于2D显示设备的位置，并且通过计算机处理器估算用户相对于2D显示设备的视点，计算机处理器使用估算出的视点来确定至少一个3D虚拟物体的部分投影，以达到使用户感受到3D观看效果的目的，该文件并未公开怎样根据已有的图像生成向用户显示的图像，更多阐述了不同的追踪方案可能对用户带来的影像。
公开号为US2013/0016102A1的美国专利申请公开了亚马逊公司申请的一份名称为“模拟三维特征”的申请文件，并且以该申请文件为优先权文件基础申请了国际公开号为WO 2013/010011A1的PCT申请，两份申请文件中，均公开了可以通过追踪用户视点，结合用户位置(视点)来渲染图像，通过显示设备向用户投放的方案，两份申请文件中公开了在具有三维建模的场景中，可以根据用户位置向用户投放对应的三维场景。
以上专利申请，都是结合运动视差通过向用户提供针对不同视点的图像的方式，模拟3D视觉效果的目的，但是都未公开如何通过插图方式，生成向用户投放对应用户位置的图像的方案。
发明内容
本发明的目的是提供一种模拟立体图像显示方法，以实现能够实现用户 在2D显示设备或者2D/3D共融显示设备在2D显示模式下实现立体影像观看。
为实现上述目的，本发明第一方面提供了一种模拟立体图像显示的方法，所述方法包括：
获取用于三维重建的至少两幅视图；
根据所述至少两幅视图，获取需要构建的三维场景的深度信息和颜色信息；
对相对于所述显示设备移动的用户进行持续跟踪，确定用户相对于所述显示设备的相对位置；
根据所述相对位置，确定三维场景中需要在所述显示设备上显示的图像，供处于当前位置的用户观看。
第二方面，本发明实施例提供了一种显示设备，所述显示设备包括：
视图获取单元、用于获取用于三维重建的至少两幅视图；
场景信息获取单元，用于根据所述至少两幅视图，获取需要构建的三维场景的深度信息和颜色信息；
相对位置跟踪单元，用于对相对于所述显示设备移动的用户进行持续跟踪，确定用户相对于所述显示设备的相对位置；
显示图像确定单元，用于根据所述相对位置，确定三维场景中需要在所述显示设备上显示的图像，供处于当前位置的用户观看。
第三方面，本发明实施例提供了一种显示设备，该显示设备包括显示屏、 处理器、存储器以及跟踪设备，所述跟踪设备、所述显示屏以及所述存储器通过总线与所述处理器连接，所述存储器中存储有程序代码，所述处理器调用所述存储器中存储的代码，执行如下操作：
获取用于三维重建的至少两幅视图；
根据所述至少两幅视图，获取需要构建的三维场景的深度信息和颜色信息；
对相对于所述显示设备移动的用户进行持续跟踪，确定用户相对于所述显示设备的相对位置；
根据所述相对位置，确定三维场景中需要在所述显示设备上显示的图像，供处于当前位置的用户观看。
本发明提供的模拟立体图像显示方法，通过获取用于三维重建的至少两幅视图，确定构建的三维场景的深度信息和颜色信息；并且通过跟踪确定用户相对于所述显示设备的相对位置；根据所述相对位置，确定三维场景中需要在所述显示设备上显示的图像，供处于当前位置的用户观看。通过该种三维重建和恢复的方案，实现用户在二维显示设备或者未开启三维显示模式的显示设备上都能够体验观看立体场景的效果。
附图说明
图1为本发明实施例提供的模拟立体图像显示方法的应用状态图；
图2为本发明提供的模拟立体图像显示方法的流程图；
图3为本发明提供的模拟立体图像显示方法中一种获取三维构建所需的场景图像方法的示意图；
图4为图3所示的实施例到的三维构建所需的场景图像的示意图；
图5为本发明提供的模拟立体图像显示方法中另一种获取三维构建所需的场景图像方法的示意图；
图6为图5所示的实施例到的三维构建所需的场景图像的示意图；
图7为本发明实施例提供的显示设备的一种实施例的结构图；
图8为本发明实施例提供的显示设备的另一种实施例的结构图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
图1是本发明提供的模拟立体图像显示方法的应用场景图，图1中作为观看者的用户102位于显示设备104的可观测范围内。可能绕着显示设备104移动。显示设备104可以是手机、平板电脑、笔记本电脑、一体机或者平板电视等电子设备，该些设备通常是不具备3D显示功能的设备，也可以是支持3D显示，但是并未开启3D显示功能，在用户观看时通过本申请提供的模拟立体图像显示的方法，可以在显示设备根据用户位置移动显示不同图像，使用户感受到3D图像的观看效果。
显示设备104必然包含显示屏和处理器，还需要连接追踪设备，追踪设备可以是独立的图像采集设备，也可以是与显示设备本身一体的辅助设备， 例如红外发射器、红外接收机等可以用于探测用户位置的设备，结合处理器的运算功能，可以计算得到用户102相对显示设备104的位置关系，包括但不限定于方向、角度、距离等信息。
根据显示设备104本身具有不同的尺寸和性能，显示设备可能自身产生移动从而造成与用户之间的相对位置变化，也有可能是在用户设备主动操作下与用户设备产生相对位置变化，或者显示设备保持不动，而用户自身移动造成的相对位置变化，以及两者分别移动造成的两者之间的位置变化，不多赘述。但是无论何种原因导致的两者相对位置变化，均能通过追踪装置结合处理器的计算，确定两者之间的相对位置。
为了使用户能够在不支持3D显示或未开启3D显示模式的屏幕上，体验3D效果，本申请通过移动视差的方法实现该目的。如果用户在显示设备的不同位置能够看到同一场景在相应视角的图像，则用户与显示设备相对位置发生变化时，就能看到一系列视角不同的图像，由于这些图像是同一场景在不同视角下获得的视图，所以用户能够感觉到场景是3D场景。因此，本申请包括场景重建、相对位置追踪和恢复三个步骤，其中，场景重建能够获取场景的三维信息，相对位置追踪是计算用户与显示设备之间的位置关系，作为确定为用户提供的具体视图的依据；场景恢复则是根据用户与显示设备之间的位置关系恢复用户视角下的场景，以达到在不支持3D显示或未开启3D显示模式的屏幕上，体验到了3D效果的目的。
基于上述的应用场景，本发明提供了一种模拟立体图像显示的方法，图2是该实施例的流程图，该实施例可以被应用于图1中的显示设备，本实施例中的模拟立体图像显示的方法可以包括：
S201，获取用于三维重建的至少两幅视图；
在该步骤中，所述三维重建的至少两幅视图可以由相机对目标物体的从不同角度拍摄获得，也可以通过视频文件中的至少两个关键帧获得。
S202，根据所述至少两幅视图，获取需要构建的三维场景的深度信息和颜色信息；
在该步骤中，显示设备可以通过已有的局部算法或者全局算法，通过对不同视图之间的运算，获得需要构建的三维场景的深度信息和颜色信息，例如，可以通过光束平差算法，计算三维场景的中每个像素的深度信息(depth)。之后，可以通过RGBD的格式对三维场景的每个像素的颜色信息和深度信息进行表示，并记录。
S203，对相对于所述显示设备移动的用户进行持续跟踪，确定用户相对于所述显示设备的相对位置；
在该步骤中，显示设备可以通过红外线IR灯探测，或者图像采集等方式实现对用户的定位，该步骤中显示设备计算确定的相对位置信息可以包括所述用户处于静止状态且所述显示设备处于运动状态时所述用户相对于所述显示设备的相对位置、所述用户处于运动状态且所述显示设备处于静止状态时 所述用户相对于所述显示设备的相对位置以及所述用户处于运动状态且所述显示设备处于运动状态时所述用户相对于所述显示设备的相对位置。
S204，根据所述相对位置，确定三维场景中需要在所述显示设备上显示的图像，供处于当前位置的用户观看。
在该步骤中，显示设备结合三维场景的构建信息和相对位置，生成与每个相对位置对应的场景视图，显示在显示设备的显示屏上，由于用户相对于显示设备是运动的，因此在相对运动过程中，用户能够看到三维场景对应每个视角的视图，用户在大脑中会合成三维场景的立体影像，达到观看三维视图的效果。
在步骤S201和步骤S202的目的是为了实现三维场景重建，其中，为了让用户在不同的视角能够看到不同的视图，因此获得多个视角下的视图。为了使信息化后的某一个场景能够在不同视角下获得不同视图，本申请需要根据同一个场景下的不同视角下的不同视图进行场景重建。以将真实场景的三维信息进行表示、存储。场景重建的结果可以通过增加深度信息的方式表示，得知深度信息后可以将场景映射到其他视角，所以增加深度信息可以表示场景重建结果。
其中，一种包含深度信息的图像表示方法是：RGBD格式的图像，对一个像素而言，RGB值表示一个像点的颜色信息，D的值表示该像点的深度信息，像素位置关系表示不同像点之间的位置关系。由于在不同视角能获得不 同视图时，大脑能够自动形成立体感觉，所以同一场景的一系列图像也可以表示场景重建结果。一种通过同一场景一系列图像表示场景重建结果的方法是：获取同一场景的一系列图像并将这些图像进行水平视差约束和景深约束。
在步骤21中三维场景构建所需的图像可以通过多个摄像头从不同角度对现实场景进行拍摄，也可以使用单个摄像头移动不同的位置进行拍摄获得。基于拍摄的方法，用户可以利用拍摄的多张图像或视频关键帧进行场景重建。
如图2所示，单目相机在拍摄的过程中，相机的移动可以认为是视角的移动，拍摄时如果相机进行水平移动，则能够拍摄到更大的场景，如果相机围绕物体旋转进行拍摄，则能够拍摄到同一物体不同的视角。图2是用户水平移动相机进行拍摄的示意图。图像中被拍摄的对象是一个圆形物体，同一个相机通过水平移动进行拍摄，图2中相机的拍摄位置通过左侧拍照、中间拍照、右侧拍照来指示。虚线表示相机视角的边界位置。根据图2所示的状态可以获得图3所示的图像。其图4中的三幅图像是相机从左到右，沿着相机所在位置水平移动时拍摄得到a中圆形物体在图像的右侧，b中圆形物体在图像中间，c中圆形物体在图像左侧。图5是用户围绕物体旋转拍摄获取场景构建所需视图的示意图。图5中被拍摄的对象是一个长方形物体，同一个相机通过以长方形物体为中心进行旋转拍摄，拍摄位置如图中左侧拍摄、中间拍摄、右侧拍摄指示。虚线表示相机视角的边界位置。图6是用户围绕物体旋转拍摄到的图像。相机围绕物体逆时针旋转拍摄得到图像分别如a、b、 c所示，同一场景不同的视角能够得到不同的视图。
在得到场景所需的视图之后，显示装置可以所述以RGBD形式表示所述三维场景的深度信息和颜色信息，同时，还包括：对所述至少两幅图像进行视差约束和深度约束。
在步骤204中，需要根据所述相对位置，确定三维场景中需要在所述显示设备上显示的图像，供处于当前位置的用户观看。在用户观看视角发生变化的时候，需要为用户提供当前视角的视图。例如，可以根据步骤203得到的获取用户与显示设备之间的相对位置关系，以用户观看角度来表示两者的相对位置关系，之后，选择相应视角下的视图。不同场景重建方法选择视图时方法不相同。
在一种可选的实施方式中，显示设备中的处理器可以将所述显示设备的可视范围划分为N个区间，N为所述三维场景中包含的图像数目或者关键帧数目，每个图像或者关键帧对应所述N个区间中的一个区间。之后，显示设备将所述用户与所述显示设备的相对位置对应至所述N个区间中的一个。
同时，根据所述三维场景的深度信息和颜色信息，生成与所述N个区间分别对应的N个三维场景视图；通过显示设备显示所述N个三维场景视图中，所述用户与所述显示设备的相对位置对应的一个区间的三维场景视图。
具体的说，通过拍摄多张图像或视频关键帧进行场景重建时，显示设备首先将显示设备的可视范围划分为n个区间，n表示图像或关键帧的数目，n 越大表示重建后的场景能够在更多的视角进行观看，然后将可视范围中的区间与相应视角的图像依次对应，最后根据用户所在观看区间，选择对应的图像。
例如，显示设备中存储有5幅关键帧图像，按照相机移动顺序，5幅图像分别编号1到5；将显示设备的可视范围按0度到180度计算，则将显示设备的可视范围划分为5个区间，每个区间36度，分别是[0,36](36,72](72,108]，(108,144]，(144,180]；当用户观看角度为[0,36]时，显示图像1，当用户观看角度为[36,72]时，显示图像2，当用户观看角度为[72,108]时，显示图像3，当用户观看角度为[108,144]时，显示图像4，当用户观看角度为[144,180]时，显示图像5。
在另一种实施方式中，显示设备也可以根据所述相对位置和所述至少两幅图像，生成与所述相对位置对应的视图，两幅图可以根据拍摄角度不同，分为左图和右图。例如，通过插值的方法进行场景重建时，该方法中，只需要根据用户与显示设备之间位置关系，生成相应视角下的视图即可，例如，获取用户观看角度为θ，将立体图中的左图对应θ＝60度的视图，将立体图像中的右图对应θ＝120度的视图，然后按照如下方法生成不同视角下的视图进行显示。
当通过跟踪到的用户相对位置确定的当前的观看角度为0°＜θ＜60°时，生成相应显示视图的方法如公式(1)所示
Q+kD'＝Q' (1)
其中，Q为左图中的一个像素点的位置，Q'为生成视图中同一个像素点的位置，D'为左右图生成的视差图中对应Q位置处的视差值，k的计算方法如公式(2)所示
k＝1-θ/60 (2)
通过上述的方式可以生成该位置对应的三维场景视图，给用户观看。
当通过跟踪到的用户相对位置确定的当前的观看角度60°＜＝θ＜120°时，生成相应视图方法如公式(3)所示，
-kD'L·p1+(1-k)D'R·p2＝p' (3)
其中，所述p1是左图中的一个像素点列坐标，p2是右图中与p1位置对应的像素点的列坐标，p'是在生成的视图中新像素点的列坐标，p1、p2、p'一直保持在同一行，行坐标不变，D'L为以左图为参考生成的视差图，D'R为以右图为参考生成的视差图，k的计算方法如公式(4)所示，
k＝(θ-90)/60 (4)
当通过跟踪到的用户相对位置确定的当前的观看角度为120°＜＝θ＜180°时，生成相应视图的方法与0°＜θ＜60°时相似，如公式(5)所示，
F+kD'＝F' (5)
其中，F为右图中的一个像素点的位置，F'为右图右侧插入的第一幅图的同一个像素点的位置，D'为左右图生成的视差图中对应F位置处的视差值，k的计算方法如公式(6)所示，
k＝(θ-120)/60 (6)
通过以上的几种方式，可以通过插图算法生成与用户当前位置对应的三 维场景视图，显示于显示设备上，供用户观看。
通过上述的实施例可以通过获取用于三维重建的至少两幅视图，确定构建的三维场景的深度信息和颜色信息；并且通过跟踪确定用户相对于所述显示设备的相对位置；根据所述相对位置，确定三维场景中需要在所述显示设备上显示的图像，供处于当前位置的用户观看。通过该种三维重建和恢复的方案，实现用户在二维显示设备或者未开启三维显示模式的显示设备上都能够体验观看立体场景的效果。
相应的，如图7所示，本发明实施例提供了一种显示设备，该实施例可以是图1所示的显示设备，例如平板电脑、手机或者电视机等电子设备，通常本实施例中的显示设备是不具备3D显示功能的2D显示设备，也可以是具有3D显示功能，但并未开启该功能的显示设备，所述显示设备包括：
视图获取单元701、用于获取用于三维重建的至少两幅视图；
场景信息获取单元702，用于根据所述至少两幅视图，获取需要构建的三维场景的深度信息和颜色信息；
相对位置跟踪单元703，用于对相对于所述显示设备移动的用户进行持续跟踪，确定用户相对于所述显示设备的相对位置；
显示图像确定单元704，用于根据所述相对位置，确定三维场景中需要在所述显示设备上显示的图像，供处于当前位置的用户观看。
在实施例中，用户相对于所述显示设备的相对位置，进一步包括所述用 户处于静止状态且所述显示设备处于运动状态时所述用户相对于所述显示设备的相对位置、所述用户处于运动状态且所述显示设备处于静止状态时所述用户相对于所述显示设备的相对位置以及所述用户处于运动状态且所述显示设备处于运动状态时所述用户相对于所述显示设备的相对位置。无论是何种原因导致的相对位置变动，都可以被相对位置跟踪单元703获取到两者的相对位置。
在不同的实施例中，所述视图获取单元701可以通过相机对目标物体的从不同角度拍摄获得三维重建的至少两幅视图，也可以通过视频文件中的至少关键帧获得所述三维重建的至少两幅视图。根据不同的原始视图获取方式，三维重建可以选择不同的方法。
在一种实施方式中，所述显示设备还包括场景信息表示单元：用于以RGBD形式表示所述三维场景的深度信息和颜色信息，该场景信息表示单元通常在场景信息获取单元702获取需要构建的三维场景的深度信息和颜色信息之后运行。
为了获得较好的三维重建效果，显示设备还可以包括约束单元，用于在三维信息表示时，对所述至少两幅图像进行视差约束和深度约束。
进一步的，显示装置的还可以还包括区间划分单元和匹配单元，前者将所述显示设备的可视范围划分为N个区间，N为所述三维场景中包含的图像数目或者关键帧数目，每个图像或者关键帧对应所述N个区间中的一个区间。 匹配单元将所述用户与所述显示设备的相对位置对应至所述N个区间中的一个。
进一步的，所述显示图像确定单元704进一步包括：
图像生成子单元，用于根据所述三维场景的深度信息和颜色信息，生成与所述N个区间分别对应的N个三维场景视图；
图像显示子单元，用于通过显示设备显示所述N个三维场景视图中，所述用户与所述显示设备的相对位置对应的一个区间的三维场景视图。
在一种可选的实施例中，显示设备还可以包括：插图单元，用于根据所述相对位置和所述至少两幅图像，生成与所述相对位置对应的视图，例如通过插图算法，结合视差和像素坐标，生成相应的视图。
更具体的叙述，可以参考图2所示的方法实施例，不多赘述。
本实施例提供的显示设备可以实现用户在二维显示设备或者未开启三维显示模式的显示设备上都能够体验观看立体场景的效果。
如图8所示，本发明实施例提供了一种显示设备，该实施例可以是图1所示的显示设备，例如平板电脑、手机或者电视机等电子设备，通常本实施例中的显示设备是不具备3D显示功能的2D显示设备，也可以是具有3D显示功能，但并未开启该功能的显示设备。如图8所示，该实施例中的显示装置可以包括追踪设备，处理器、存储器、显示器以及将所述追踪设备、所述存储器、所述显示器连接到所述处理器(例如，通过系统总线)；
图7中的系统存储器和大容量存储设备构成本实施例中的存储器。其中系统存储器进一步包括只读存储器ROM和随机存储器RAM，基本输入/输出系统可以存储在只读存储器ROM中；大容量存储设备用于存储操作系统、软件、数据，以及各种程序模块，例如与应用程序关联的那些程序模块。
大容量存储设备可以通过连接到系统总线的大容量存储控制器(未示出)连接到处理器。大容量存储设备以及其关联的计算机可读介质可以为计算机提供非易失性存储。
虽然对这里包含的计算机可读介质的描述涉及诸如硬盘或CD-ROM驱动器之类的大容量存储设备，但是本领域的技术人员应该明白，计算机可读介质可以是可由计算机访问的任何可用计算机存储介质。
作为示例而非限制，计算机可读介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块之类的信息或其他数据的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。例如，计算机可读介质包括但不限于，RAM、ROM、EPROM、EEPROM、闪存或其他固态存储器技术，CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光、或其他光学存储，磁带盒、磁带、磁盘存储或其他磁存储设备，或可以用来存储所需信息并可由计算机5访问的任何其他介质。
计算机可以通过连接至总线的网络接口来连接到网络。
计算机还可以包括用于接收和处理来自包括键盘、鼠标或电子笔(未示出) 的许多其他设备输入的输入/输出控制器。类似地，输入/输出控制器可以向显示器、打印机、或其他类型的输出设备(也未示出)提供输出。显示器或者可以由图形适配器或图形处理单元(也未示出)连接到总线。
特别地，在本实施例中，必须包括追踪设备，例如摄像头，用来实时捕获图像，进而由处理器分析得到用户面部的位置信息。
如上文简要地提及的，多个程序模块和数据文件可以存储在计算机的大容量存储设备和RAM中，包括适于控制显示装置正常操作的操作系统。大容量存储设备、ROM，以及RAM还可以存储一个或多个程序模块。具体地，大容量存储设备、ROM，以及RAM可以存储由处理器执行的应用程序。
其中，所述存储器中存储一组程序代码，且所述处理器用于调用所述存储器中存储的程序代码，用于执行以下操作：
获取用于三维重建的至少两幅视图；
根据所述至少两幅视图，获取需要构建的三维场景的深度信息和颜色信息；
对相对于所述显示设备移动的用户进行持续跟踪，确定用户相对于所述显示设备的相对位置；
根据所述相对位置，确定三维场景中需要在所述显示设备上显示的图像，供处于当前位置的用户观看。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的 各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种模拟立体图像显示的方法，其特征在于，所述方法包括：
获取用于三维重建的至少两幅视图；
根据所述至少两幅视图，获取需要构建的三维场景的深度信息和颜色信息，得知深度信息后可以将场景映射到其他视角；
对相对于所述显示设备移动的用户进行持续跟踪，确定用户相对于所述显示设备的相对位置；
根据所述相对位置和所述至少两幅视图，通过插图算法，结合视差和像素坐标，生成与所述相对位置对应的视图，供处于当前位置的用户观看；或者，
将所述显示设备的可视范围划分为N个区间，N为用于三维重建的图像数目，每个图像对应所述N个区间中的一个区间；
将所述用户与所述显示设备的相对位置对应至所述N个区间中的一个；
根据所述三维场景的深度信息和颜色信息，生成与所述N个区间分别对应的N个三维场景视图；
通过显示设备显示所述N个三维场景视图中，所述用户与所述显示设备的相对位置对应的一个区间的三维场景视图，供处于当前位置的用户观看。
2.如权利要求1所述的方法，其特征在于，所述三维重建的至少两幅视图由相机对目标物体的从不同角度拍摄获得。
3.如权利要求1所述的方法，其特征在于，所述三维重建的至少两幅视图为视频文件中的至少两个关键帧。
4.如权利要求1所述的方法，其特征在于，根据所述至少两幅视图，获取需要构建的三维场景的深度信息和颜色信息；之后，还包括：
以RGBD形式表示所述三维场景的深度信息和颜色信息；
其中，RGB值表示一个像点的颜色信息，D的值表示该像点的深度信息。
5.如权利要求4所述的方法，其特征在于，所述以RGBD形式表示所述三维场景的深度信息和颜色信息，同时，还包括：
对所述至少两幅图像进行视差约束和深度约束。
6.如权利要求1所述的方法，其特征在于，所述用户相对于所述显示设备的相对位置，进一步包括所述用户处于静止状态且所述显示设备处于运动状态时所述用户相对于所述显示设备的相对位置、所述用户处于运动状态且所述显示设备处于静止状态时所述用户相对于所述显示设备的相对位置以及所述用户处于运动状态且所述显示设备处于运动状态时所述用户相对于所述显示设备的相对位置。
7.一种显示设备，其特征在于，所述显示设备包括：
视图获取单元、用于获取用于三维重建的至少两幅视图；
场景信息获取单元，用于根据所述至少两幅视图，获取需要构建的三维场景的深度信息和颜色信息，得知深度信息后可以将场景映射到其他视角；
相对位置跟踪单元，用于对相对于所述显示设备移动的用户进行持续跟踪，确定用户相对于所述显示设备的相对位置；
所述显示设备还包括插图单元，所述插图单元用于根据所述相对位置和所述至少两幅视图，通过插图算法，结合视差和像素坐标，生成与所述相对位置对应的视图，供处于当前位置的用户观看；或者，
所述显示设备还包括区间划分单元、匹配单元和显示图像确定单元，所述显示图像确定单元包括图像生成子单元和图像显示子单元，其中：
所述区间划分单元用于将所述显示设备的可视范围划分为N个区间，N为用于三维重建的图像数目，每个图像对应所述N个区间中的一个区间；
所述匹配单元用于将所述用户与所述显示设备的相对位置对应至所述N个区间中的一个；
所述图像生成子单元用于根据所述三维场景的深度信息和颜色信息，生成与所述N个区间分别对应的N个三维场景视图；
所述图像显示子单元用于通过显示设备显示所述N个三维场景视图中，所述用户与所述显示设备的相对位置对应的一个区间的三维场景视图，供处于当前位置的用户观看。
8.如权利要求7所述的显示设备，其特征在于，所述视图获取单元通过相机对目标物体的从不同角度拍摄获得三维重建的至少两幅视图。
9.如权利要求7所述的显示设备，其特征在于，所述视图获取单元通过视频文件中的关键帧获得所述三维重建的至少两幅视图。
10.如权利要求7所述的显示设备，其特征在于，还包括场景信息表示单元：用于以RGBD形式表示所述三维场景的深度信息和颜色信息；
其中，RGB值表示一个像点的颜色信息，D的值表示该像点的深度信息。
11.如权利要求10所述的显示设备，其特征在于，还包括约束单元，用于对所述至少两幅图像进行视差约束和深度约束。
12.如权利要求7所述的显示设备，其特征在于，所述用户相对于所述显示设备的相对位置，进一步包括所述用户处于静止状态且所述显示设备处于运动状态时所述用户相对于所述显示设备的相对位置、所述用户处于运动状态且所述显示设备处于静止状态时所述用户相对于所述显示设备的相对位置以及所述用户处于运动状态且所述显示设备处于运动状态时所述用户相对于所述显示设备的相对位置。
13.一种显示设备，其特征在于，包括显示屏、处理器、存储器以及跟踪设备，所述跟踪设备、所述显示屏以及所述存储器通过总线与所述处理器连接，所述存储器中存储有程序代码，所述处理器调用所述存储器中存储的代码，执行如下操作：
获取用于三维重建的至少两幅视图；
根据所述至少两幅视图，获取需要构建的三维场景的深度信息和颜色信息，得知深度信息后可以将场景映射到其他视角；
对相对于所述显示设备移动的用户进行持续跟踪，确定用户相对于所述显示设备的相对位置；
根据所述相对位置和所述至少两幅视图，通过插图算法，结合视差和像素坐标，生成与所述相对位置对应的视图，供处于当前位置的用户观看；或者，
将所述显示设备的可视范围划分为N个区间，N为用于三维重建的图像数目，每个图像对应所述N个区间中的一个区间；
将所述用户与所述显示设备的相对位置对应至所述N个区间中的一个；
根据所述三维场景的深度信息和颜色信息，生成与所述N个区间分别对应的N个三维场景视图；
通过显示设备显示所述N个三维场景视图中，所述用户与所述显示设备的相对位置对应的一个区间的三维场景视图，供处于当前位置的用户观看。
CN201410690154.8A 2014-11-25 2014-11-25 模拟立体图像显示方法及显示设备 Active CN104349155B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410690154.8A CN104349155B (zh) 2014-11-25 2014-11-25 模拟立体图像显示方法及显示设备
TW104130473A TWI547901B (zh) 2014-11-25 2015-09-15 模擬立體圖像顯示方法及顯示設備
US14/918,162 US9961334B2 (en) 2014-11-25 2015-10-20 Simulated 3D image display method and display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410690154.8A CN104349155B (zh) 2014-11-25 2014-11-25 模拟立体图像显示方法及显示设备

Publications (2)

Publication Number Publication Date
CN104349155A CN104349155A (zh) 2015-02-11
CN104349155B true CN104349155B (zh) 2017-02-01

Family

ID=52503841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410690154.8A Active CN104349155B (zh) 2014-11-25 2014-11-25 模拟立体图像显示方法及显示设备

Country Status (3)

Country Link
US (1) US9961334B2 (zh)
CN (1) CN104349155B (zh)
TW (1) TWI547901B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9460513B1 (en) * 2015-06-17 2016-10-04 Mitsubishi Electric Research Laboratories, Inc. Method for reconstructing a 3D scene as a 3D model using images acquired by 3D sensors and omnidirectional cameras
CN105120251A (zh) * 2015-08-19 2015-12-02 京东方科技集团股份有限公司 一种3d场景展示方法及装置
CN105427369A (zh) * 2015-11-25 2016-03-23 努比亚技术有限公司 移动终端及其三维形象的生成方法
CN105704475B (zh) * 2016-01-14 2017-11-10 深圳前海达闼云端智能科技有限公司 一种曲面二维屏幕的三维立体显示处理方法和装置
CN106303247A (zh) * 2016-08-23 2017-01-04 刘永锋 基于vr的实时视频拍摄方法
CN106454204A (zh) * 2016-10-18 2017-02-22 四川大学 一种基于网络深度相机的裸眼立体视频会议系统
US10848741B2 (en) * 2017-06-12 2020-11-24 Adobe Inc. Re-cinematography for spherical video
CN109842793A (zh) * 2017-09-22 2019-06-04 深圳超多维科技有限公司 一种裸眼3d显示方法、装置及终端
TR201819689A2 (tr) * 2018-12-18 2020-07-21 Arcelik As Bi̇r görüntülüme yöntemi̇
CN113411561A (zh) * 2021-06-17 2021-09-17 纵深视觉科技(南京)有限责任公司 一种现场演出的立体显示方法、装置、介质及系统
CN114422819A (zh) * 2022-01-25 2022-04-29 纵深视觉科技(南京)有限责任公司 一种视频显示方法、装置、设备、系统及介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003117144A (ja) * 2001-10-18 2003-04-22 Sophia Co Ltd 遊技機
TWI348120B (en) * 2008-01-21 2011-09-01 Ind Tech Res Inst Method of synthesizing an image with multi-view images
JP4725595B2 (ja) * 2008-04-24 2011-07-13 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体
JP2010122879A (ja) * 2008-11-19 2010-06-03 Sony Ericsson Mobile Communications Ab 端末装置、表示制御方法および表示制御プログラム
CN101931823A (zh) * 2009-06-24 2010-12-29 夏普株式会社 显示3d图像的方法和设备
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
US9786253B2 (en) * 2012-01-25 2017-10-10 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3D viewing without glasses
TWI547904B (zh) * 2012-05-31 2016-09-01 財團法人工業技術研究院 多視角視差圖的補洞方法
CN103337095B (zh) * 2013-06-25 2016-05-18 桂林理工大学 一种真实空间三维地理实体的立体虚拟显示方法
US20150195502A1 (en) 2014-01-06 2015-07-09 Innolux Corporation Display device and controlling method thereof
US10122992B2 (en) * 2014-05-22 2018-11-06 Disney Enterprises, Inc. Parallax based monoscopic rendering

Also Published As

Publication number Publication date
TW201619913A (zh) 2016-06-01
US20160150222A1 (en) 2016-05-26
TWI547901B (zh) 2016-09-01
US9961334B2 (en) 2018-05-01
CN104349155A (zh) 2015-02-11

Similar Documents

Publication Publication Date Title
CN104349155B (zh) 模拟立体图像显示方法及显示设备
US10650574B2 (en) Generating stereoscopic pairs of images from a single lens camera
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
US20180192033A1 (en) Multi-view scene flow stitching
EP3712840A1 (en) Method and system for generating an image of a subject in a scene
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
US20180309982A1 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US20110243388A1 (en) Image display apparatus, image display method, and program
US20150002636A1 (en) Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras
JP6126820B2 (ja) 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
US10586378B2 (en) Stabilizing image sequences based on camera rotation and focal length parameters
CN105191287A (zh) 替换视频流中的对象的方法及计算机程序
CN113891060B (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
Thatte et al. Depth augmented stereo panorama for cinematic virtual reality with head-motion parallax
JP7184748B2 (ja) 場面の積層深度データを生成するための方法
WO2019085022A1 (zh) 光场3d显示单元图像的生成方法及生成装置
WO2022199260A1 (zh) 静态对象的立体显示方法、装置、介质及电子设备
US10269181B2 (en) Methods and systems for generating a virtualized projection of a customized view of a real-world scene for inclusion within virtual reality media content
JP6512575B2 (ja) 三次元形状情報の配信または放送の方法
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
KR20130039522A (ko) 입체 파노라마 영상을 생성하는 장치 및 방법
US20150326847A1 (en) Method and system for capturing a 3d image using single camera
JP2018500690A (ja) 拡大３ｄ画像を生成するための方法およびシステム
WO2016019014A1 (en) 3d-mapped video projection based on on-set camera positioning
CN104463958A (zh) 基于视差图融合的三维超分辨率方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180720

Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee after: Shenzhen super Technology Co., Ltd.

Address before: 518053 East Guangdong H-1 East 101, overseas Chinese town, Nanshan District, Shenzhen.

Patentee before: Shenzhen SuperD Photoelectronic Co., Ltd.