CN111034190A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN111034190A
CN111034190A CN201880054560.1A CN201880054560A CN111034190A CN 111034190 A CN111034190 A CN 111034190A CN 201880054560 A CN201880054560 A CN 201880054560A CN 111034190 A CN111034190 A CN 111034190A
Authority
CN
China
Prior art keywords
display
virtual
display control
display surface
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880054560.1A
Other languages
English (en)
Other versions
CN111034190B (zh
Inventor
横山一树
青山幸治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111034190A publication Critical patent/CN111034190A/zh
Application granted granted Critical
Publication of CN111034190B publication Critical patent/CN111034190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/38Image reproducers using viewer tracking for tracking vertical translational head movements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

为了提供信息处理设备、信息处理方法和程序。配备有显示控制单元的信息处理设备,该显示控制单元用于控制显示单元的显示,使得三维图片被显示在空间中布置的虚拟显示面上,其中,显示控制单元基于用户的视点位置来控制虚拟显示面在空间中的布置。

Description

信息处理设备、信息处理方法和程序
技术领域
本发明涉及信息处理设备、信息处理方法和程序。
背景技术
近年来,能够以立体方式显示内容的立体图像显示技术正在普及。例如,通过在显示时将显示装置上的右眼图像和左眼图像在水平方向上进行偏移,可以向用户提供双眼视差,并且可以在深度方向上的任意距离处显示内容。
在立体图像显示技术中,除了佩戴专用眼镜并观看显示装置的方法以及佩戴在左眼和右眼前单独地设置不同显示装置的专用设备的方法之外,还提出了如在下面的专利文献1中所公开的不需要用户佩戴眼镜或设备的方法。
引用列表
专利文献
专利文献1:日本专利申请特许公开第2015-012560号
发明内容
本发明要解决的技术问题
然而,由于用户使用诸如显示装置边框的真实存在的对象作为线索来识别深度,因此当在显示装置的显示面的边缘附近显示了突出到比屏幕更近侧的部分或缩入到比屏幕更远侧的部分时,存在导致失去立体感和恶心的可能性。
因此,本公开提出了能够对失去立体感或发生恶心进行抑制的新的且改进的信息处理设备、信息处理方法和程序。
问题的解决方案
根据本公开,提供了一种信息处理设备,该信息处理设备包括:显示控制单元,其控制显示单元的显示,使得立体图像被显示在空间中布置的虚拟显示面上,其中,显示控制单元基于用户的视点的位置来控制虚拟显示面在空间中的布置。
此外,根据本公开,提供了一种信息处理方法,该信息处理方法包括:由处理器控制显示单元的显示,使得立体图像被显示在空间中布置的虚拟显示面上,其中,基于用户的视点的位置来控制虚拟显示面在空间中的布置。
另外,根据本公开,提供了一种程序,该程序使计算机实现显示控制功能,该显示控制功能控制显示单元的显示,使得立体图像被显示在空间中布置的虚拟显示面上,其中,该显示控制功能基于用户的视点的位置来控制虚拟显示面在空间中的布置。
本发明的有益效果
如上所述,根据本公开,可以对失去立体感或发生恶心进行抑制。
注意,上述效果不一定是限制性的,并且本说明书中指示的任何效果或能够从本说明书中获知的其他效果可以与上述效果一起呈现,或者取代上述效果呈现。
附图说明
图1是示出根据本公开的实施例的信息处理设备1的配置示例的框图。
图2是示出根据实施例的显示单元20的示例的说明图。
图3是示出根据实施例的显示单元20的示例的说明图。
图4是示出根据实施例的显示单元20的另一示例的说明图。
图5是示出根据实施例的显示单元20的另一示例的说明图。
图6是示出根据实施例的显示单元20的另一示例的说明图。
图7是示出由显示控制单元10显示的虚拟显示面VD的示例的说明图。
图8是用于说明第一显示控制示例的说明图。
图9是用于说明第一显示控制示例的说明图。
图10是用于说明第二显示控制示例的说明图。
图11是示出立体内容中包括的视差范围的示例的说明图。
图12是用于说明第三显示控制示例的说明图。
图13是用于说明第三显示控制示例的说明图。
图14是用于说明第四显示控制示例的说明图。
图15是用于说明第五显示控制示例的说明图。
图16是用于说明第六显示控制示例的说明图。
图17是用于说明第六显示控制示例的说明图。
图18是用于说明第六显示控制示例的说明图。
图19是示出根据实施例的显示控制单元10的配置的示例的框图。
图20是示出根据实施例的信息处理设备1的动作示例的流程图。
图21是示出根据第一修改的显示控制单元10-2的配置示例的框图。
图22是用于说明第二修改的说明图。
图23是示出硬件配置示例的说明图。
具体实施方式
在下文中,将参照附图详细描述本公开的优选实施例。注意,在本说明书和附图中,具有基本相同的功能配置的组成元件将由相同的附图标记表示,并且将省略冗余描述。
另外,将按以下顺序给出描述。
<<1.概述>>
<1-1.背景>
<1-2.示意性配置>>
<<2显示单元和基本显示控制的具体示例>>
<<3.显示控制单元的细节>>
<3-1.与虚拟显示面相关的显示控制>
<3-2.显示控制单元的配置示例>
<<4.动作示例>>
<<5.修改>>
<5-1.第一修改>
<5-2.第二修改>
<5-3.第三修改>
<<6.硬件配置示例>>
<<7.结论>>
<<1.概述>>
<1-1.背景>
在描述本公开的实施例时,将首先描述导致创建本公开的实施例的背景。
包括在水平方向上偏移的左眼图像和右眼图像的所谓立体内容(立体图像的示例)被显示,以分别被用户的左眼和右眼观察。由于双眼视差(有时简称为视差),用户可以感知到深度,其中,双眼视差是左眼图像与右眼图像之间的偏移。
已经开发了各种技术来分别为用户的左眼和右眼显示不同图像(左眼图像和右眼图像)。例如,存在佩戴专用眼镜并观看显示装置的方法、佩戴在左眼和右眼前单独地设置不同显示装置的专用设备的方法、以及可以针对未佩戴眼镜或设备的用户的左眼和右眼显示不同图像的方法。
在以这样的方式在显示装置上显示立体内容的情况下,已知当在屏幕的边缘附近存在突出到比屏幕(显示装置的显示面)更近侧的部分或缩入到比显示装置更远侧的部分、并且该部分与屏幕的边缘交叠时,会导致失去立体感和恶心。由于抑制立体内容中固有的双眼视差而导致出现这样的现象,这是因为用户使用真实存在的显示装置边框(下文中也称为屏幕边框)作为线索来识别深度。此外,由于立体内容可以被看作好像立体内容粘至屏幕边框,所以这样的现象被称为粘连效应(或边框效应)。
为了抑制这样的粘连效应的影响,还使用透明显示装置。然而,由于用户在立体内容的边缘部分处识别出显示平面的原始双目视差,所以用户感觉好像包括在立体内容中的双目视差突然消失,并且在一些情况下导致类似的粘连效应。因此,同样有可能失去立体感或发生恶心。
因此,考虑到上述情况而创建了本实施例。根据本实施例,通过控制显示使得在空间中布置的虚拟准备的显示面(虚拟显示面)上显示立体图像,可以抑制粘连效应的影响,并且可以对失去立体感或发生恶心进行抑制。在下文中,将描述根据本实施例的信息处理设备的配置。
<1-2.示意性配置>
图1是示出根据本公开的实施例的信息处理设备1的配置示例的框图。如图1所示,信息处理设备1包括显示控制单元10、显示单元20、传感器单元30和存储单元40。
显示控制单元10具有控制显示单元20的显示的显示控制功能。更具体地,显示控制单元10控制显示单元20的显示,使得在虚拟空间或真实空间中布置的虚拟显示面上显示立体内容。例如,可以从存储单元40获取立体内容。稍后将参照图7和其他附图描述虚拟显示面。
显示单元20根据显示控制单元10的控制进行显示。根据本实施例的显示单元20是下述显示设备:该显示设备至少可以进行立体显示,以使得向用户的左眼和右眼呈现不同图像。稍后将参照图2至图6描述可以应用本实施例的显示单元20的示例。
传感器单元30具有获取(感测)关于用户或周围环境的各种类型的信息的功能,并且至少包括用于检测用户的视点的位置的传感器。传感器单元30可以自己检测用户的视点的位置,并且将关于用户的视点的位置的信息输出到显示控制单元10,或者可以将用于检测用户的视点的位置的信息输出到显示控制单元10。
例如,在信息处理设备1被固定在真实空间中的情况下,用于检测用户的视点的位置的传感器可以是对用户的方向进行成像的成像单元。此外,如稍后将描述的,在信息处理设备1是用户佩戴的设备并且该设备移动的情况下,用于检测用户的视点的位置的传感器可以是下述各项中的任何一个:加速度传感器、陀螺仪传感器、方向传感器和成像单元,或者是上述传感器的组合。
另外,传感器单元30还可以包括成像单元,该成像单元被布置成对与真实空间中的用户的视野对应的区域进行成像。
存储单元40存储供上述显示控制单元10执行每个功能的程序和参数。此外,存储单元40可以存储要由显示控制单元10显示的立体内容以及关于虚拟空间的信息。
上面已经描述了信息处理设备1的示意性配置。注意,图1中所示的配置是示例,并且本技术不限于这样的示例。例如,显示控制单元10可以控制设置在信息处理设备1外部的显示单元的显示。另外,显示控制单元10可以控制显示,使得在虚拟显示面上显示经由通信单元(未示出)从另一设备获取的立体内容。同时,信息处理设备1可以不包括传感器单元,并且上述信息可以从安装在信息处理设备1外部的传感器发送到信息处理设备1。
<<2.显示单元和基本显示控制的具体示例>>
随后,将参照图2至图7描述参照图1描述的显示单元20的具体示例和显示控制单元10的基本显示控制。
图2和图3是示出根据本实施例的显示单元20的示例的说明图。如图2所示,显示单元20可以被固定地布置,使得显示单元20的显示面垂直于真实空间中的水平面。在这种情况下,例如,显示控制单元10可以将虚拟空间VW布置在从用户的视点E观看的相对侧(即,在显示单元20的远侧),并且在显示单元20上显示虚拟空间VW。图3示出了从图2所示的用户的视点E观看的用户的视野F的示例。如图3所示,在显示单元20上显示虚拟空间VW。虚拟空间VW可以被显示为好像虚拟空间VW超出窗口而存在,或者可以好像由显示单元20的边框形成盒子的侧面那样被显示为盒子的内容。
图4和图5是示出根据本实施例的显示单元20的另一示例的说明图。如图4所示,显示单元20可以被固定地布置,使得显示单元20的显示面相对于真实空间中的水平面倾斜(非垂直)。在这种情况下,显示控制单元10可以将虚拟空间VW布置成使得虚拟空间VW如图4所示与显示单元20的显示面相交、即虚拟空间VW在显示单元20的近侧和远侧两处都具有区域,并且可以在显示单元20上显示虚拟空间VW。图5示出了从图4所示的用户的视点E观看的用户的视野F的示例。如图5所示,在显示单元20上显示虚拟空间VW。
注意,在图5中,虚拟空间VW仅被显示在显示单元20的远侧;然而,显示控制单元10可以在虚拟空间中将虚拟对象布置在显示单元20的近侧,并且显示虚拟空间VW以使得在显示单元20的近侧观察到虚拟对象。此外,如稍后将描述的,显示控制单元10可以将虚拟对象布置成使得虚拟对象与显示单元20的显示面相交。
图6是示出根据本实施例的显示单元20的另一示例的说明图。在图6所示的示例中,信息处理设备1是用户佩戴的可穿戴式设备,并且当用户佩戴信息处理设备1时,显示单元20位于用户的眼前。在图6所示的示例中,信息处理设备1可以是例如要安装在头上的眼镜型头戴式显示装置(HMD),并且在这种情况下,显示单元20对应于眼镜镜片部分。注意,信息处理设备1可以是头带型的HMD(利用围绕头的整个周围的带子来佩戴的类型;在一些情况下,设置了经过头的顶部和颞部的带子),或者可以是头盔型的HMD(头盔面罩部分对应于显示单元20)。
在图6所示的示例中,例如,显示控制单元10可以将虚拟空间VW布置在从用户的视点E观看的相对侧、即显示单元20的远侧,并且可以在显示单元20上显示虚拟空间VW。此外,如图6所示,显示单元20可以覆盖用户的视野F,并且在这种情况下,用户可以获得好像用户存在于虚拟空间VW中的沉浸感。
另外,显示控制单元10可以基于真实空间来布置虚拟空间VW,或者可以独立于真实空间来布置虚拟空间VW。例如,如图6所示,将真实空间的墙壁和地板(或地面)与虚拟空间VW的墙壁和地板(或地面)匹配。
另外,如图6所示的示例中,信息处理设备1是用户佩戴的可穿戴式设备的情况下,显示控制单元10可以基于由传感器单元30获取的信息来指定用户的视点的位置,并且控制显示以使得虚拟空间VW被定位。由于用于确保虚拟空间VW被定位的显示控制方法可以通过公知技术来实现,因此在此省略其详细描述。
显示控制单元10可以在相对于如图2至图6所示的显示单元20布置的虚拟空间VW中布置作为虚拟准备的显示面的虚拟显示面,并且在虚拟显示面上显示立体内容。图7是示出由显示控制单元10显示的虚拟显示面VD的示例的说明图。注意,作为示例,图7示出了如下情况:如参照图4和图5所述,显示单元20被布置成使得显示单元20的显示面相对于真实空间中的水平面倾斜。
在如图7所示布置显示单元20的情况下,显示控制单元10可以将虚拟显示面VD布置成使得虚拟显示面VD与显示单元20的显示面相交。由于这样的配置,用户可以获得虚拟显示面VD上的突出方向(近方向)上的立体感和缩入方向(远方向)上的立体感两者。因此,存在可以用较小的视差量容易地获得足够的立体感的效果。
虚拟显示面VD可以作为例如具有平面形状的虚拟对象被布置在虚拟空间VW中。然后,显示控制单元10在虚拟显示面VD上显示立体内容。虚拟显示面VD被用户观察,就好像布置了没有边框的平面立体图像显示设备一样。如上所述,虚拟显示面VD不像真实存在的显示装置那样具有边框,使得抑制了上述粘连效应的影响,并且可以对失去立体感或发生恶心进行抑制。
注意,在上文中,作为示例已经描述了显示单元20被布置成使得显示单元20的显示面相对于真实空间中的水平面倾斜的情况;然而,在如参照图2、图3和图6描述的显示单元20的示例中,显示控制单元10类似地可以将虚拟显示面布置在虚拟空间VW中并且在虚拟显示面上显示立体内容。此外,在下文中,作为示例,将描述显示单元20被布置成使得显示单元20的显示面相对于真实空间中的水平面倾斜的情况,但是其他情况可以类似地适用。
另外,图2至图7示出了显示控制单元10将虚拟空间VW显示在显示单元20上的示例;然而,本技术不限于这样的示例。在显示单元20具有透光性的情况下,显示控制单元10可以不显示虚拟空间VW。在这种情况下,显示控制单元10将虚拟显示面VD布置在真实空间中而非上述虚拟空间VW中,并且显示控制单元10控制显示单元20的显示,就好像虚拟显示面VD存在于真实空间中一样。另外,在稍后描述的传感器单元30具有对用户的视线方向进行成像的成像单元的情况下,显示控制单元10可以基于通过由这样的成像单元进行成像而获取的图像,将虚拟显示面VD布置在显示单元20上所显示的真实空间中。
注意,在显示控制单元10以这种方式将虚拟显示面VD布置在真实空间中的情况下,显示单元20可以如图2和图3所示布置,或者如图4和图5所示布置,或者如图6所示布置。在显示控制单元10将虚拟显示面VD布置在真实空间中并且信息处理设备1是HMD(如图6所示)的情况下,只要不改变虚拟显示面VD的布置,虚拟显示面VD就可以被显示为被定位在虚拟空间中。例如,使用基于由传感器单元30获取的信息而指定的用户的视点的位置来实现用于确保虚拟显示面VD被定位在真实空间中的显示控制。
<<3.显示控制单元的细节>>
以上已经描述了显示单元20的具体示例以及显示控制单元10的基本显示控制。如上所述,显示控制单元10将虚拟显示面布置在虚拟空间或真实空间中,并且控制显示单元20的显示以使得立体内容被显示在所布置的虚拟显示面上。
根据本实施例的显示控制单元10进行与虚拟显示面VD相关的进一步显示控制(包括基于显示在虚拟显示面VD上的立体内容的显示控制),从而能够获得增强立体感或者对发生恶心进行抑制的效果。在下文中,将描述由显示控制单元10进行的与虚拟显示面相关的显示控制的一些示例、以及用于实现这样的显示控制的显示控制单元10的配置的示例。
注意,在下面,如在图3、图4和图7所示的示例中那样,将主要描述以下情况作为示例:将显示单元20布置成使得显示单元20的显示面相对于真实空间中的水平面倾斜。然而,除非另有说明,否则以下描述的显示控制也可以类似地应用于参照图2、图3和图6描述的显示单元20的示例。此外,在下文中,将主要描述显示控制单元10显示虚拟空间VW并且虚拟显示面VD被布置在虚拟空间VW中的示例,并且将在后面描述虚拟显示面被布置在真实空间中的示例作为修改。
另外,可以不同时实现下面描述的与虚拟显示面相关的所有显示控制示例,并且显示控制单元10可以不具有用于进行下面描述的显示控制示例中的一些类型的显示控制的功能。
<3-1.与虚拟显示面相关的显示控制示例>
(第一显示控制示例)
首先,将描述与虚拟显示面相关的第一显示控制示例(在下文中也简称为第一显示控制示例)。在将立体内容显示在固定在真实空间中的固定显示装置上的情况下,用户能够舒适地观察所显示的立体内容的范围是有限的。例如,当从固定显示装置的正前方观察立体内容时,用户可以准确地感受到立体内容中包括的立体感,并且可以舒适地进行观察;然而,当从自正前方偏移的位置观察立体内容时,用户有时以变形的双眼视差或反向观看来进行观察,在这种情况下,存在导致疲劳和恶心的可能性。
当虚拟显示面VD被固定地布置在真实空间中时,可能导致与上述困难类似的困难。例如,在虚拟显示面VD相对于如图2至图5所示固定地布置在真实空间中的显示单元20固定布置的情况下,或者在图6的示例中虚拟显示面VD被显示为被定位的情况下,虚拟显示面VD被固定地布置在真实空间中。
因此,显示控制单元10可以基于用户的视点的位置来控制虚拟显示面VD在虚拟空间VW中的布置。注意,在本说明书中,“控制虚拟显示面的布置”包括控制下述中的至少一个:虚拟显示面在布置虚拟显示面的空间中的位置、取向(角度)或尺寸。
下面,作为第一显示控制示例,将描述以下示例:显示控制单元10控制虚拟显示面VD的布置,使得连接用户的视点与虚拟显示面VD的中心点的直线(在下文中称为用户的视线)满足关于与虚拟显示面的关系的预定条件。图8和图9是用于说明第一显示控制示例的说明图。注意,在图8和随后的图中,为了优先考虑可见性,省略了指示虚拟空间VW的阴影。
关于用户的视线与虚拟显示面VD之间的关系的预定条件可以是与由用户的视线和虚拟显示面VD限定的角度相关的条件。例如,在图8所示的示例中,显示控制单元10控制虚拟显示面VD的取向,以满足虚拟显示面VD与连接用户的视点E和虚拟显示面VD的中心点VDC的直线形成垂直角度的条件。
图8是与图4所示的示例类似地从横向方向观看的显示单元20的图。如图8所示,在特定时间T11处,用户的视线G11与虚拟显示面VD是垂直的。在用户的视点E的位置改变的情况下,虚拟显示面VD根据用户的视点E的位置而旋转,并且在图8所示的时间T12处,虚拟显示面VD被布置成垂直于用户的视线G12。即,显示控制单元10根据真实空间中的水平方向上的用户的视点移动来控制(旋转)虚拟显示面VD的取向(角度),使得虚拟显示面VD垂直于用户的视线。
图9是从正上方观察、即与图8中所示的Y轴方向相反地观察的显示单元20的平面图。如图9所示,在特定时间T13处,用户的视线G13与虚拟显示面VD是垂直的。在用户的视点E的位置改变的情况下,虚拟显示面VD根据用户的视点E的位置而旋转,并且在图9所示的时间T14处,虚拟显示面VD被布置成垂直于该时间的用户的视线G12。即,显示控制单元10根据真实空间中的竖直方向上的用户的视点移动来控制(旋转)虚拟显示面VD的取向,使得虚拟显示面VD垂直于用户的视线。
根据上述第一显示控制示例,用户总是感觉好像下述立体显示设备存在于虚拟空间中:该立体显示设备进行运动以直面用户。即,如上所述,通过控制虚拟显示面VD的取向,使用户进入总是从虚拟显示面VD的正前方观察立体内容的状态,并且用户总是可以舒适地观察立体内容。
注意,在上文中,已经描述了控制虚拟显示面VD的取向以使得用户的视线与虚拟显示面VD形成垂直角度的示例;然而,本实施例不限于这样的示例。例如,虚拟显示面VD可以不总是垂直于用户的视线,并且由虚拟显示面VD和用户的视线限定的角度可以在包括垂直的预定范围内。在这种情况下,例如,预定条件可以是:由用户的视线和虚拟显示面VD限定的角度落入包括垂直的预定范围内。此外,在这种情况下,当由用户的视线和虚拟显示面VD限定的角度被包含在预定范围内时,显示控制单元10可以不改变虚拟显示面VD的取向。由于这样的配置,例如,可以减少由于虚拟显示面VD的取向的频繁改变而导致的不协调感。
此外,为了满足预定条件,显示控制单元10可以控制虚拟显示面VD的位置或尺寸,取代控制虚拟显示面VD的取向。例如,显示控制单元10可以通过移动虚拟显示面VD的位置来使由用户的视线和虚拟显示面VD限定的角度保持垂直。另外,显示控制单元10可以通过将对虚拟显示面VD的位置的控制、取向的控制和尺寸的控制中的多种类型的控制进行组合来满足预定条件。
(第二显示控制示例)
随后,将描述与虚拟显示面相关的第二显示控制示例(在下文中也简称为第二显示控制示例)。如上所述,通过在虚拟空间VW中布置的虚拟显示面VD上显示立体内容,能够抑制屏幕边框的存在所涉及的粘连效应。然而,存在下述可能性:在立体内容的边缘部分处发生双眼视差的突然消失所涉及的粘连效应。
因此,显示控制单元10可以控制立体内容的透明度,使得立体内容的外围部分的透明度高于立体内容的中心部分的透明度。此外,显示控制单元10可以控制立体内容的透明度,使得透明度随着越靠近立体内容的边缘部分而变得越高。将参照图10描述这样的示例作为第二显示控制示例。图10是用于说明第二显示控制示例的说明图。
例如,显示控制单元10对如图10所示的立体内容C21进行透明度控制以确保外围部分的透明度高于中心部分的透明度,并且在透明虚拟显示面VD上显示立体内容C22。图10所示的立体内容C22的外围部分C221具有比立体内容C22的中心部分的透明度高的透明度,另外,透明度随着越靠近立体内容C22的边缘部分而变得越高。透明度的这样的变化可以是线性的或非线性的。
在虚拟显示面VD被布置在虚拟空间VW中的情况下,显示控制单元10可以通过下述方式在显示中反映透明度:将作为前景的立体内容与作为背景的虚拟空间VW以根据透明度的α值进行混合(α混合),以进行与虚拟空间VW的合并。
上述第二显示控制使得用户难以感觉到双眼视差在立体内容的边缘部分处突然消失,并且可以进一步对失去立体感或发生恶心进行抑制。
(第三显示控制示例)
随后,将描述与虚拟显示面相关的第三显示控制示例(在下文中也简称为第三显示控制示例)。在要显示不同类型的立体内容的情况下,这些不同类型的立体内容中包括的视差范围也是不同的。图11是示出立体内容中包括的视差范围的示例的说明图。
在图11所示的模式P31的示例中,具有视差范围R31的立体内容C31被显示在虚拟显示面VD上。由于视差范围R31包括相对于虚拟显示面VD的位置在突出方向上的大视差,因此在图11所示的模式P31的示例中,立体内容C31的部分区域C311在突出方向上从虚拟空间VW伸出。
此外,在图11所示的模式P32的示例中,具有视差范围R32的立体内容C32被显示在虚拟显示面VD上。由于视差范围R32包括相对于虚拟显示面VD的位置在缩入方向上的大视差,因此在图11所示的模式P32的示例中,立体内容C32的部分区域C321在缩入方向上从虚拟空间VW伸出。
此外,在图11所示的模式P33的示例中,具有视差范围R33的立体内容C33被显示在虚拟显示面VD上。由于视差范围R33包括相对于虚拟显示面VD的位置在突出方向和缩入方向两者上的大视差,因此在图11所示的模式P33的示例中,立体内容C32的部分区域C331和部分区域C332分别在突出方向和缩入方向两者上从虚拟空间VW伸出。
在如上所述突出方向或缩入方向或者突出方向和缩入方向两者上的视差过大的情况下,立体内容有可能不能被正常地显示在虚拟空间VW中布置的虚拟显示面VD上。特别地,在从显示单元20的突出量或缩入量或者突出量和缩入量的总和过大的情况下,存在可见度、立体感、或者定位到虚拟空间VW的感觉降低的可能性。
因此,显示控制单元10可以基于立体内容中包括的视差范围(视差信息的示例)来控制虚拟显示面VD的布置。将参照图12和图13描述这样的示例作为第三显示控制示例。图12和图13是用于说明第三显示控制示例的说明图。
图12示出了图11所示的模式P31,其中,显示了立体内容C31。在图12所示的模式P34中,显示控制单元10通过进行控制以在显示单元20的远侧方向上移动虚拟显示面VD的位置来实现适当的布置。显示控制单元10可以控制虚拟显示面VD的位置,使得例如如模式P34中那样,立体内容C31的视差范围R31被包含在虚拟空间VW内。此外,显示控制单元10可以控制虚拟显示面VD的位置,使得根据视差范围指定的从显示单元20的突出量、缩入量以及突出量和缩入量的总和中的任何一个被包含在预定范围内。
注意,尽管未示出,但是在图11所示的模式P32的情况下,显示控制单元10可以例如通过进行控制以在显示单元20的近侧方向上移动虚拟显示面VD的位置来实现适当的布置。
图13示出了图11所示的模式P33,其中,显示了立体内容C33。由于立体内容C33中包括的视差范围R33包括相对于虚拟显示面VD的位置在缩入方向上的大视差,因此难以仅通过移动虚拟显示面VD来适当地布置虚拟显示面VD。因此,显示控制单元10通过进行控制以如图13所示的模式P35中那样减小虚拟显示面VD的尺寸来实现适当的布置。
显示控制单元10可以控制虚拟显示面VD的尺寸,使得例如如模式P35中那样使显示在虚拟显示面VD上的立体内容C33的视差范围R35被包含在虚拟空间VW中。此外,显示控制单元10可以控制虚拟显示面VD的尺寸,使得根据视差范围指定的从显示单元20的突出量、缩入量以及突出量和缩入量的总和中的任何一个被包含在预定范围内。注意,如图13所示,显示在虚拟显示面VD上的立体内容C33的视差范围也可以随着虚拟显示面VD的尺寸的改变而改变。
根据上述第三显示控制,可以以适当的布置显示立体内容。
(第四显示控制示例)
随后,将描述与虚拟显示面相关的第四显示控制示例(在下文中也简称为第四显示控制示例)。在虚拟显示面VD被布置在虚拟空间VW中的情况下,根据虚拟空间VW与显示在虚拟显示面VD上的立体内容之间的亮度差而清楚地识别边界,并且存在下述可能性:好像存在于同一空间中的真实存在感被降低。
因此,显示控制单元10可以基于关于立体内容的颜色信息来控制虚拟显示面VD周围的颜色。将参照图14描述这样的示例作为第四显示控制示例。图14是用于说明第四显示控制示例的说明图。
显示控制单元10例如如图14所示那样基于关于立体内容C41的颜色信息在虚拟显示面VD周围显示如光斑的效果VE41。效果VE41的颜色可以基于关于立体内容C41的颜色信息来指定,并且可以是接近立体内容C41的颜色的颜色或者可以被看作好像结合到立体内容C41的颜色。举例而言,例如,立体内容C41的主背景颜色、根据立体内容C41估计的照明光颜色、立体内容C41的边缘部分的颜色等可以用作效果VE41的颜色。此外,通过将效果VE41显示成如图14所示的效果VE41的外围部分VE411中那样随着更靠近外边缘部分而增加透明度,与空间的接合表现得更自然。
注意,在虚拟显示面VD被布置在虚拟空间VW中的情况下,显示控制单元10可以使用计算机图形(CG)技术来控制虚拟显示面VD周围的颜色,取代显示如光斑的效果。例如,显示控制单元10可以通过下述方式控制虚拟显示面VD周围的颜色:基于关于立体内容的颜色信息,控制用于绘制虚拟空间VW的照明光的颜色。
根据上述第四显示控制,自然地表现空间和立体内容之间的接合,并且获得好像存在于同一空间中的真实存在感。
(第五显示控制示例)
随后,将描述与虚拟显示面相关的第五显示控制示例(在下文中也简称为第五显示控制示例)。在虚拟显示面VD上显示的立体内容的背景是平坦的情况下,几乎没有双眼视差的线索,并且用户难以感觉到这样的区域中的视差变化;因此,感受到平面存在于空间中,并且存在立体内容的深度感受损的可能性。
因此,显示控制单元10可以从立体内容中检测平坦背景区域,并且控制立体内容的透明度以使得所检测的平坦背景区域的透明度高于立体内容中的其他区域的透明度。将参照图15描述这样的示例作为第五显示控制示例。图15是用于说明第五显示控制示例的说明图。
将考虑下述示例:如图15中的模式P51所示,立体内容C51被显示在虚拟空间VW中布置的虚拟显示面VD上。在这种情况下,如模式P52所示,显示控制单元10在虚拟显示面VD上显示已被控制成确保平坦背景区域C521的透明度高于前景区域C552(其他区域)的透明度的立体内容C52。例如,可以基于从立体内容C51检测到的视差来指定平坦背景区域C521。
根据上述第五显示控制,增加了平坦背景区域的透明度,使得更多地识别到较远侧的用作背景的虚拟空间VW,并且背景区域变得难以被识别为平面。因此,获得了好像立体内容的前景区域存在于同一空间中的真实存在感。
(第六显示控制示例)
随后,将描述与虚拟显示面相关的第六显示控制示例(在下文中也简称为第六显示控制示例)。显示控制单元10可以基于立体内容来显示虚拟准备的阴影(虚拟阴影),以进一步增强立体内容的真实存在感。例如,显示控制单元10可以基于从立体内容中指定的前景区域以及空间来显示与所指定的前景区域对应的虚拟阴影。将参照图16至图18描述这样的示例作为第六显示控制示例。图16至图18是用于说明第六显示控制示例的说明图。
在显示图16所示的立体内容C61的情况下,显示控制单元10例如通过检测立体内容C61的视差,生成图16所示的深度图DM61。此外,如图16所示,显示控制单元10根据深度图DM61指定前景区域FR,并生成阴影生成图像FP61。在阴影生成图像FP61中,除了前景区域FR以外的区域可以是透明的。
显示控制单元10也可以显示下述虚拟阴影:该虚拟阴影是通过阴影生成图像FP61的投影变换使前景区域FR变形而生成(绘制)的。此外,如图17所示,显示控制单元10可以在虚拟空间VW中布置阴影生成图像FP61和虚拟准备的光源L,以使用CG技术的阴影映射来生成(绘制)虚拟阴影VS。注意,例如,阴影生成图像FP61的布置优选地是与虚拟显示面VD的布置相同的布置或者根据虚拟显示面VD的布置的布置。然后,如图18所示,显示控制单元10在虚拟空间VW中布置的虚拟显示面VD上显示立体内容C61,并且还显示所生成的(绘制的)虚拟阴影VS。由于这样的配置,与立体内容C61的前景区域对应的虚拟阴影VS被显示在虚拟空间VW的地板平面上。
根据上述第六显示控制,可以增强好像立体内容中包括的前景对象存在于同一空间中的真实存在感。
注意,在以上描述中,已经指示了基于虚拟空间VW来显示虚拟阴影VS就好像虚拟阴影VS存在于虚拟空间VW的地板上的示例;然而,本技术不限于这样的示例。可以在空中显示阴影而取代在虚拟空间VW的面显示阴影。
(第七显示控制示例)
随后,将描述与虚拟显示面相关的第七显示控制示例(在下文中也简称为第七显示控制示例)。如果虚拟显示面VD从显示单元20的显示区域伸出,则会导致粘连效应;因此,为了不损害立体感,期望虚拟显示面VD被完全包括在显示单元20的显示区域中。然而,虚拟显示面VD具有虚拟显示面VD从显示区域伸出的情况。因此,显示控制单元10可以控制虚拟显示面VD的位置或者虚拟显示面VD的尺寸,使得显示单元20的显示范围包括整个虚拟显示面VD。
例如,如参照图6所述,显示单元20是用户佩戴的设备的显示单元的情况下,显示控制单元10显示虚拟显示面VD,以使得除非虚拟显示面VD的布置被改变,否则就根据用户的视点移动来定位虚拟显示面VD。因此,在虚拟显示面VD的布置不被改变的情况下,如果用户的视点太靠近虚拟显示面VD,则存在显示单元20的显示区域不再包括整个虚拟显示面VD的可能性。因此,显示控制单元10可以基于用户的视点的位置来控制虚拟显示面VD的位置或者虚拟显示面VD的尺寸,使得显示单元20的显示范围包括整个虚拟显示面VD。
此外,甚至在显示单元20被固定地布置到真实空间的情况下,第七显示控制示例也是有效的。例如,在显示控制单元10试图如在上述其他显示控制示例中所描述的那样控制虚拟显示面VD的布置的情况下,存在显示单元20的显示范围不包括整个虚拟显示面VD的可能性。在这种情况下,显示控制单元10可以优先采用根据第七显示控制示例的显示控制,以控制虚拟显示面VD的位置或者虚拟显示面VD的尺寸,使得显示单元20的显示范围包括整个虚拟显示面VD。
根据上述第七显示控制,控制虚拟显示面VD的位置或者虚拟显示面VD的尺寸以使得显示单元20的显示范围包括整个虚拟显示面VD,并且可以抑制粘连效应的发生。
<3-2.显示控制单元的配置示例>
以上已经描述了与虚拟显示面相关的显示控制示例。随后,将参照图19描述能够实现上述与虚拟显示面相关的显示控制示例的显示控制单元10的配置的示例。图19是示出显示单元10的配置的示例的框图。
如图19所示,显示控制单元10包括视差检测单元11、布置控制单元12、平坦度检测单元13、透明度控制单元14、颜色提取单元15、前景区域指定单元16和绘制单元18的功能。
视差检测单元11进行例如立体内容中包括的左眼图像与右眼图像之间的立体匹配,并且检测立体内容的视差。此外,视差检测单元11将关于检测到的视差的信息输出到布置控制单元12、平坦度检测单元13和前景区域指定单元16。
布置控制单元12控制由绘制单元18绘制的虚拟显示面的布置。布置控制单元12控制虚拟显示面的布置,使得例如实现上述第一显示控制示例、第三显示控制示例和第七显示控制示例。例如,布置控制单元12基于从传感器单元30提供的关于用户的视点的位置的信息,实现如第一控制示例和第七控制示例中的布置控制。另外,布置控制单元12基于由视差检测单元11检测到的视差范围(视差信息的示例)来实现如第三显示控制示例中的布置控制。
平坦度检测单元13从立体内容中检测平坦背景区域,并将检测到的平坦背景区域输出到透明度控制单元14。平坦度检测单元13可以基于视差检测单元11检测到的视差,将例如视差变化小的区域检测为平坦背景区域。
透明度控制单元14控制显示在虚拟显示面上的立体内容的透明度。如图19所示,透明度控制单元14可以用作外围透明度控制单元142和背景透明度控制单元144。
外围透明度控制单元142控制立体内容的外围部分的透明度,使得实现上述第二显示控制示例。例如,外围透明度控制单元142控制立体内容的透明度,使得透明度随着越靠近立体内容的边缘部分而变得越高。
背景透明度控制单元144控制立体内容的透明度,以确保由平坦度检测单元13检测到的平坦背景区域的透明度高于立体内容的其他区域的透明度,使得实现上述第五显示控制示例。
颜色提取单元15从立体内容中提取关于立体内容的颜色信息,并且将所提取的颜色信息输出到绘制单元18。例如,关于立体内容的颜色信息可以是关于下述方面的信息:立体内容的主背景颜色的亮度、饱和度等;根据立体内容估计的照明光颜色;或者立体内容的边缘部分的颜色。
前景区域指定单元16从立体内容中指定前景区域。例如,前景区域指定单元16可以如参照图16所述,根据基于从视差检测单元11提供的视差信息的深度图来指定前景区域。注意,由前景区域指定单元16指定前景区域的方法不限于上述示例,并且例如,可以将通过公知的对象检测方案检测到的对象的区域指定为前景区域。
如图19所示,绘制单元18充当虚拟空间绘制单元182、虚拟阴影绘制单元184和虚拟显示面绘制单元186,并且分别绘制要显示在显示单元20上的虚拟空间、虚拟阴影和虚拟显示面。
虚拟空间绘制单元182可以基于从颜色提取单元15提供的颜色信息来绘制虚拟空间,使得实现上述第四显示控制示例。
虚拟阴影绘制单元184基于由前景区域指定单元16指定的前景区域来绘制虚拟阴影,使得实现上述第六显示控制示例。此外,前景区域指定单元16可以进一步基于由虚拟空间绘制单元182绘制的虚拟空间来绘制虚拟阴影。
虚拟显示面绘制单元186根据布置控制单元12的控制来在虚拟空间中布置虚拟显示面,并且在虚拟显示面上绘制立体内容。由于这样的配置,实现了上述第一显示控制示例、第二显示控制示例和第七显示控制示例。另外,由透明度控制单元14控制由虚拟显示面绘制单元186绘制的立体内容的透明度。由于这样的配置,实现了上述第三显示控制示例和第五显示控制示例。
至此,已经描述了可以实现上述显示控制示例的显示控制单元10的配置的示例。注意,图19所示的配置是示例,并且显示控制单元10可以不具有图19所示的所有功能。例如,在不实现一些上述显示控制示例的情况下,显示控制单元10可以不具有用于实现这些显示控制示例的功能。
<<4.动作示例>>
接下来,将参照图20描述根据本实施例的信息处理设备1的动作示例。图20是示出根据本实施例的信息处理设备1的动作示例的流程图。
首先,如图20所示,传感器单元30检测用户的视点的位置(S102)。随后,显示控制单元10的视差检测单元11从立体内容中检测视差,并且获取视差信息(S104)。随后,显示控制单元10的布置控制单元12基于用户的视点的位置和视差信息来控制虚拟显示面的布置(S106)。
随后,显示控制单元10的平坦度检测单元13基于视差信息从立体内容中检测平坦背景区域(S108)。随后,显示控制单元10的透明度控制单元14控制立体内容的透明度(S110)。随后,显示控制单元10的颜色提取单元15从立体内容中提取颜色信息(S111)。随后,显示控制单元10的前景区域指定单元16基于视差信息,从立体内容中指定前景区域(S112)。
随后,由显示控制单元10的绘制单元18绘制虚拟空间、虚拟阴影和虚拟显示面(S114至S118)。首先,在步骤S114中,绘制单元18的虚拟空间绘制单元182基于在步骤S111中提取的颜色信息来绘制虚拟空间。
随后,在步骤S116中,绘制单元18的虚拟阴影绘制单元184基于在步骤S112中检测到的前景区域以及在步骤S114中绘制的虚拟空间来绘制虚拟阴影。
随后,在步骤S118中,绘制单元18的虚拟显示面绘制单元186根据步骤106中的布置控制来布置虚拟显示面,并且根据步骤S110中的立体内容的透明度的控制在虚拟显示面上绘制立体内容。
然后,在显示单元20上显示由绘制单元18绘制的虚拟空间、虚拟阴影和立体内容(S120)。
<<5.修改>>
至此,已经描述了本公开的实施例。在下文中,将描述本公开的实施例的一些修改。注意,以下描述的每个修改可以单独应用于本公开的实施例,或者可以组合应用于本公开的实施例。此外,可以取代本公开的实施例中描述的配置而应用每个修改,或者可以另外将每个修改应用于本公开的实施例中描述的配置。
<5-1.第一修改>
在上文中,已经主要描述了显示控制单元10在虚拟空间中布置虚拟显示面的情况;然而,如上所述,显示控制单元可以在真实空间中布置虚拟显示面。将描述这样的示例作为第一修改。另外,将根据第一修改的显示控制单元称为显示控制单元10-2,并且将参照图21描述显示控制单元10-2的配置示例。图21是示出根据第一修改的显示控制单元10-2的配置示例的框图。
注意,在图21所示的显示控制单元10-2的配置中,由相同的附图标记表示与图19所示的显示控制单元10的部件类似的部件,并且将省略其描述。显示控制单元10-2与图19所示的显示控制单元10的不同之处在于,绘制单元19的功能与绘制单元18的功能不同。如图21所示,绘制单元19充当虚拟阴影绘制单元194和虚拟显示面绘制单元196。
这里,与图19所示的显示控制单元10类似,图21所示的显示控制单元10-2具有用于实现上述第一显示控制示例至第七显示控制示例的配置示例。然而,在本修改中,虚拟显示面被布置在真实空间而非虚拟空间中。
因此,第六显示控制示例中的虚拟阴影绘制方法、第二显示控制示例和第五显示控制示例中的用于在空间中反映立体内容的透明度的绘制方法是不同的。另一方面,上述第一显示控制示例、第二显示控制示例和第七显示控制示例是不依赖于空间的类型的控制。
与上述虚拟阴影绘制单元184类似,虚拟阴影绘制单元194基于由前景区域指定单元16指定的前景区域来绘制虚拟阴影,使得实现上述第六显示控制示例。然而,虚拟阴影绘制单元194可以进一步基于真实空间来绘制虚拟阴影。例如,虚拟阴影绘制单元194可以基于由传感器单元30获取的关于真实空间的信息(例如,通过成像而获得的图像)来绘制虚拟阴影,就好像在真实空间中的地板、地面、墙壁等上存在虚拟阴影一样。
与上述虚拟显示面绘制单元186类似,虚拟显示面绘制单元196根据布置控制单元12的控制来在虚拟空间中布置虚拟显示面,并且在虚拟显示面上绘制立体内容。由于这样的配置,实现了上述第一显示控制示例、第二显示控制示例和第七显示控制示例。另外,由透明度控制单元14控制由虚拟显示面绘制单元196绘制的立体内容的透明度。
在本修改中,第二显示控制示例和第五显示控制示例中的透明度控制可以是对亮度和饱和度的水平的控制,并且虚拟显示面绘制单元196可以以根据透明度控制单元14的透明度控制的亮度和饱和度在虚拟显示面上绘制立体内容。
此外,尽管未示出,但是绘制单元19可以具有基于由颜色提取单元15提取的颜色信息来绘制图14所示的如光斑的效果的功能,以实现上述第四显示控制示例。
如上所述,在虚拟显示面被布置在真实空间中的情况下,也实现了第一显示控制示例至第七显示控制示例。
<5-2.第二修改>
在显示单元20被固定地布置在真实空间中的情况下,期望基于用户的视点的位置来绘制能够由用户看到的精确视点图像。通过进行这样的绘制,可以使得用户能够观看到好像虚拟空间被定位一样。将参照图22描述这样的示例作为第二修改。图22是用于说明第二修改的说明图。
如图22所示,根据本修改的显示控制单元将用户的视点的位置作为虚拟视点来虚拟地安装虚拟摄像装置VC,并且例如进行上述虚拟空间VW和虚拟显示面VD相关的绘制,以获取该虚拟视点处的视点图像。根据本修改的显示控制单元可以基于用户的取向(面部姿势或视线方向)来设置虚拟摄像装置VC的方向,或者可以设置虚拟摄像装置VC的方向以使虚拟摄像装置面向虚拟显示面VD。
随后,根据本修改的显示控制单元将虚拟投影仪VP虚拟地布置在与虚拟摄像装置VC相同的位置和方向,并且将来自虚拟投影仪VP的视点图像投影在虚拟安装的显示单元20的虚拟正面VF上。这里,虚拟投影仪VP可以用与虚拟摄像装置VC的参数相同的参数(例如,焦距参数和变形参数)来投影视点图像。
另外,根据本修改的显示控制单元将通过投影而生成的图像正交投影在虚拟正面VF上,并且获取显示图片DP。当从当前用户的视点之外的位置观看时,显示图片DP被给出为变形图像,但是当从当前用户的视点的位置观看时,其被感知为正常图像。
尽管在图22中仅示出了针对一个视点的处理,但是根据本修改的显示控制单元在左眼视点和右眼视点这两个视点处进行上述处理,并且获取用于左眼的显示图片和用于右眼的显示图片。
根据上述第二修改,可以使得用户能够观看到好像虚拟空间被定位一样。注意,第二修改可以被类似地应用于虚拟显示面被布置在真实空间中的情况。
<5-3.第三修改>
在上述实施例中,已经描述了使用包括左眼图像和右眼图像的立体内容作为立体图像的示例;然而,本技术不限于这样的示例。例如,立体图像可以是包括二维图像和视差图像的图像,或者可以是包括二维图像和距离图像的图像。注意,在立体图像包括视差图像或距离图像的情况下,可以从视差图像或距离图像中获取视差信息。
<<6.硬件配置示例>>
至此,已经描述了本公开的实施例。最后,将参照图23描述根据本公开的实施例的信息处理设备的硬件配置。图23是示出根据本公开的实施例的信息处理设备1的硬件配置示例的框图。通过下面描述的软件与硬件之间的协作来实现根据本公开的实施例的信息处理设备1的信息处理。
如图23所示,信息处理设备1包括中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903和主机总线904a。此外,信息处理设备1包括桥接器904、外部总线904b、接口905、输入设备906、输出设备907、存储设备908、驱动器909、连接端口911、通信设备913和传感器915。取代CPU 901或者除了CPU 901之外,信息处理设备1可以包括诸如数字信号处理器(DSP)或专用集成电路(ASIC)的处理电路。
CPU 901用作算术处理设备和控制设备,并且根据各种程序控制信息处理设备1中的整体动作。此外,CPU 901可以是微处理器。ROM 902存储由CPU 901使用的程序、计算参数等。RAM 903临时存储在CPU 901的执行中使用的程序、在执行期间适当地改变的参数等。CPU 901可以形成例如显示控制单元10。
CPU 901、ROM 902和RAM 903通过包括CPU总线等的主机总线904a相互连接。主机总线904a经由桥接器904连接至外部总线904b例如外围部件互连/接口(PCI)总线。注意,主机总线904a、桥接器904和外部总线904b不一定需要单独配置,并且这些构件的功能可以配备在一条总线中。
输入设备906例如由诸如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆的由用户输入信息的设备来实现。此外,例如,输入设备906可以是利用红外线或其他电波的遥控设备,或者可以是与信息处理设备1的操作兼容的、外部连接的设备,诸如移动电话或个人数字助理(PDA)。此外,输入设备906可以包括例如输入控制电路,该输入控制电路基于由用户使用上述输入设备输入的信息来生成输入信号并且将生成的输入信号输出至CPU901。信息处理设备1的用户可以通过操作该输入设备906向信息处理设备1输入各种类型的数据或者指示信息处理设备1处理动作。
输出设备907由能够以视觉或听觉方式向用户通知所获取的信息的设备形成。这样的设备的示例包括:显示设备,例如阴极射线管(CRT)显示设备、液晶显示设备、等离子显示设备、电致发光(EL)显示设备和灯;声音输出设备,例如扬声器和耳机;以及打印机设备。输出设备907例如输出由信息处理设备1进行的各种类型的处理所获得的结果。具体地,显示设备以诸如文本、图像、表格和图形的各种形式以视觉方式显示由信息处理系统1进行的各种类型的处理所获得的结果。同时,声音输出设备将由再现的声音数据、声学数据等构成的音频信号转换为模拟信号,并且以听觉方式输出经转换的模拟信号。输出设备907可以形成例如显示单元20。
存储设备908是形成为信息处理设备1的存储单元的示例的、用于保存数据的设备。存储设备908由例如磁存储单元装置(例如硬盘驱动器(HDD)、半导体存储装置、光存储装置或磁光存储装置)实现。存储设备908可以包括存储介质、用于将数据记录在存储介质中的记录设备、用于从存储介质读取数据的读取设备、用于删除记录在存储介质中的数据的删除设备等。该存储设备908保存由CPU 901执行的程序和各种类型的数据、从外部获取的各种类型的数据等。上述存储设备908可以形成例如存储单元40。
驱动器909是用于存储介质的读取器/写入器,并且被并入信息处理设备1中或者从外部附接至信息处理设备900。驱动器909读取所安装的可移动存储介质(诸如磁盘、光盘、磁光盘或半导体存储器)中记录的信息,并且将所读取的信息输出至RAM 903。此外,驱动器909还可以向可移动存储介质写入信息。
连接端口911是连接到外部设备的接口,并且是与能够通过例如通用串行总线(USB)进行数据传输的外部设备的连接门。
通信设备913是例如由用于连接到网络920的通信装置等形成的通信接口。通信设备913是例如用于有线或无线局域网(LAN)、长期演进(LTE)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。此外,通信设备913可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种通信的调制解调器等。该通信设备913可以根据诸如传输控制协议/互联网协议(TCP/IP)的预定协议,向因特网或其他通信设备发送信号等以及从因特网或其他通信设备接收信号等。
传感器915例如用作诸如加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、声音传感器、距离测量传感器和力传感器的各种传感器。传感器915获取关于信息处理设备1周围的环境的信息,该信息包括关于信息处理设备1的自身状态的信息,诸如信息处理设备1的取向和移动速度、信息处理设备1周围的亮度和噪声等。此外,传感器915可以包括全球定位系统(GPS)传感器,该全球定位系统(GPS)传感器接收GPS信号并测量设备的纬度、经度和高度。传感器915可以形成例如传感器单元30。
注意,网络920是用于从连接至网络920的设备传送的信息的无线或有线传输路径。例如,网络920可以包括:公共线路网络,例如因特网、电话线路网络和卫星通信网络;包括以太网(注册商标)的各种局域网(LAN);以及广域网(WAN)。另外,网络920可以包括租用线路网络,例如因特网协议-虚拟专用网(IP-VPN)。
至此,已经说明了能够实现根据本公开的实施例的信息处理设备1的功能的硬件配置示例。上述每个构成元件可以使用通用构件来实现,或者可以通过专用于每个构成元件的功能的硬件来实现。因此,可以根据在实现本公开的实施例时的技术水平来适当地改变要使用的硬件配置。
注意,可以在个人计算机(PC)等中产生和配备计算机程序,该计算机程序用于实现如上所述的根据本公开的实施例的信息处理设备1的每个功能。此外,可以提供保存有这样的计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘和闪速存储器。另外,可以经由例如网络来分发上述计算机程序而不使用记录介质。
<<7.结论>>
如上所述,根据本公开的实施例,通过在虚拟显示面上显示立体图像,可以抑制粘连效应的发生,并且可以对失去立体感或发生恶心进行抑制。此外,通过基于用户的视点的位置来控制虚拟显示面的布置,使得即使用户的视点移动,用户也能够舒适地进行观察。
至此已经参照附图详细描述了本公开的优选实施例。然而,本公开的技术范围不限于这些示例。显然,具有本公开的技术领域的一般知识的人员可以在权利要求中所公开的技术精神的范围内得到各种改变或变型,并且这些改变或变型当然被理解为本公开的技术范围的一部分。
例如,根据上述实施例的每个动作中的每个步骤不一定必须按照图20的流程图中描述的顺序按时间序列进行处理。每个动作中的每个步骤可以按照与流程图中描述的顺序不同的顺序进行处理,或者可以并行处理。
此外,本说明书中描述的效果仅是说明性或示例性的,而非限制性的。也就是说,连同上述效果或者取代上述效果,根据本公开的技术可以展现根据本说明书的描述对于本领域技术人员而言明显的其他效果。
注意,如下所述的配置也在本公开的技术范围内。
(1)
一种信息处理设备,包括:
显示控制单元,其控制显示单元的显示,使得立体图像被显示在空间中布置的虚拟显示面上,其中,
所述显示控制单元基于用户的视点的位置来控制所述虚拟显示面在所述空间中的布置。
(2)
根据上述(1)所述的信息处理设备,其中,所述显示控制单元控制所述虚拟显示面的布置,使得连接所述用户的视点与所述虚拟显示面的中心点的直线满足关于与所述虚拟显示面的关系的预定条件。
(3)
根据上述(2)所述的信息处理设备,其中,所述预定条件包括与由所述直线和所述虚拟显示面限定的角度相关的条件。
(4)
根据上述(3)所述的信息处理设备,其中,所述显示控制单元控制所述虚拟显示面的位置或者所述虚拟显示面的尺寸,使得所述显示单元的显示范围包括整个所述虚拟显示面。
(5)
根据上述(4)所述的信息处理设备,其中,所述显示单元包括所述用户佩戴的设备的显示单元。
(6)
根据上述(1)至(5)中任一项所述的信息处理设备,其中,所述显示控制单元还基于关于所述立体图像的视差信息来控制所述虚拟显示面的布置。
(7)
根据上述(6)所述的信息处理设备,其中,所述显示控制单元基于根据所述视差信息指定的从所述显示单元的突出量或缩入量来控制所述虚拟显示面的位置或者所述虚拟显示面的尺寸。
(8)
根据上述(7)所述的信息处理设备,其中,所述显示控制单元控制所述虚拟显示面的位置或者所述虚拟显示面的尺寸,使得所述突出量、所述缩入量以及所述突出量和所述缩入量的总和中的任一个被包含在预定范围内。
(9)
根据上述(1)至(8)中任一项所述的信息处理设备,其中,所述显示控制单元控制显示在所述虚拟显示面上的所述立体图像的透明度。
(10)
根据上述(9)所述的信息处理设备,其中,所述显示控制单元控制所述立体图像的透明度,使得所述透明度随着越靠近所述立体图像的边缘部分而变得越高。
(11)
根据上述(9)或(10)所述的信息处理设备,其中,所述显示控制单元基于所述立体图像来控制所述立体图像的透明度。
(12)
根据上述(11)所述的信息处理设备,其中,所述显示控制单元控制所述立体图像的透明度,使得从所述立体图像中检测到的平坦背景区域的透明度高于所述立体图像中的其他区域的透明度。
(13)
根据上述(1)至(12)中任一项所述的信息处理设备,其中,所述显示控制单元基于关于所述立体图像的颜色信息来控制所述虚拟显示面周围的颜色。
(14)
根据上述(1)至(13)中任一项所述的信息处理设备,其中,所述显示控制单元基于所述立体图像来显示阴影。
(15)
根据上述(14)所述的信息处理设备,其中,所述显示控制单元基于从所述立体图像中指定的前景区域来显示所述阴影。
(16)
根据上述(14)或(15)所述的信息处理设备,其中,所述显示控制单元还基于所述空间来显示所述阴影。
(17)
根据上述(1)至(16)中任一项所述的信息处理设备,其中,所述空间是虚拟空间或真实空间。
(18)
根据上述(17)所述的信息处理设备,其中,所述显示单元具有透光性,并且所述空间是真实空间。
(19)
一种信息处理方法,包括:
由处理器控制显示单元的显示,使得立体图像被显示在空间中布置的虚拟显示面上,其中,
基于用户的视点的位置来控制所述虚拟显示面在所述空间中的布置。
(20)
一种程序,所述程序使计算机:
实现显示控制功能,所述显示控制功能控制显示单元的显示,使得立体图像被显示在空间中布置的虚拟显示面上,其中,
所述显示控制功能基于用户的视点的位置来控制所述虚拟显示面在所述空间中的布置。
附图标记列表
1 信息处理设备
10 显示控制单元
20 显示单元
30 传感器单元
40 存储单元

Claims (20)

1.一种信息处理设备,包括:
显示控制单元,其控制显示单元的显示,使得立体图像被显示在空间中布置的虚拟显示面上,其中,
所述显示控制单元基于用户的视点的位置来控制所述虚拟显示面在所述空间中的布置。
2.根据权利要求1所述的信息处理设备,其中,所述显示控制单元控制所述虚拟显示面的布置,使得连接所述用户的视点与所述虚拟显示面的中心点的直线满足关于与所述虚拟显示面的关系的预定条件。
3.根据权利要求2所述的信息处理设备,其中,所述预定条件包括与由所述直线和所述虚拟显示面限定的角度相关的条件。
4.根据权利要求3所述的信息处理设备,其中,所述显示控制单元控制所述虚拟显示面的位置或者所述虚拟显示面的尺寸,使得所述显示单元的显示范围包括整个所述虚拟显示面。
5.根据权利要求4所述的信息处理设备,其中,所述显示单元包括所述用户佩戴的设备的显示单元。
6.根据权利要求1所述的信息处理设备,其中,所述显示控制单元还基于关于所述立体图像的视差信息来控制所述虚拟显示面的布置。
7.根据权利要求6所述的信息处理设备,其中,所述显示控制单元基于根据所述视差信息指定的从所述显示单元的突出量或缩入量来控制所述虚拟显示面的位置或者所述虚拟显示面的尺寸。
8.根据权利要求7所述的信息处理设备,其中,所述显示控制单元控制所述虚拟显示面的位置或者所述虚拟显示面的尺寸,使得所述突出量、所述缩入量以及所述突出量和所述缩入量的总和中的任一个被包含在预定范围内。
9.根据权利要求1所述的信息处理设备,其中,所述显示控制单元控制显示在所述虚拟显示面上的所述立体图像的透明度。
10.根据权利要求9所述的信息处理设备,其中,所述显示控制单元控制所述立体图像的透明度,使得所述透明度随着越靠近所述立体图像的边缘部分而变得越高。
11.根据权利要求9所述的信息处理设备,其中,所述显示控制单元基于所述立体图像来控制所述立体图像的透明度。
12.根据权利要求11所述的信息处理设备,其中,所述显示控制单元控制所述立体图像的透明度,使得从所述立体图像中检测到的平坦背景区域的透明度高于所述立体图像中的其他区域的透明度。
13.根据权利要求1所述的信息处理设备,其中,所述显示控制单元基于关于所述立体图像的颜色信息来控制所述虚拟显示面周围的颜色。
14.根据权利要求1所述的信息处理设备,其中,所述显示控制单元基于所述立体图像来显示阴影。
15.根据权利要求14所述的信息处理设备,其中,所述显示控制单元基于从所述立体图像中指定的前景区域来显示所述阴影。
16.根据权利要求14所述的信息处理设备,其中,所述显示控制单元还基于所述空间来显示所述阴影。
17.根据权利要求1所述的信息处理设备,其中,所述空间是虚拟空间或真实空间。
18.根据权利要求17所述的信息处理设备,其中,所述显示单元具有透光性,并且所述空间是真实空间。
19.一种信息处理方法,包括:
由处理器控制显示单元的显示,使得立体图像被显示在空间中布置的虚拟显示面上,其中,
基于用户的视点的位置来控制所述虚拟显示面在所述空间中的布置。
20.一种程序,所述程序使计算机:
实现显示控制功能,所述显示控制功能控制显示单元的显示,使得立体图像被显示在空间中布置的虚拟显示面上,其中,
所述显示控制功能基于用户的视点的位置来控制所述虚拟显示面在所述空间中的布置。
CN201880054560.1A 2017-08-29 2018-07-11 信息处理设备、信息处理方法和程序 Active CN111034190B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-164193 2017-08-29
JP2017164193 2017-08-29
PCT/JP2018/026126 WO2019044188A1 (ja) 2017-08-29 2018-07-11 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
CN111034190A true CN111034190A (zh) 2020-04-17
CN111034190B CN111034190B (zh) 2022-04-15

Family

ID=65527391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880054560.1A Active CN111034190B (zh) 2017-08-29 2018-07-11 信息处理设备、信息处理方法和程序

Country Status (6)

Country Link
US (1) US11064176B2 (zh)
EP (1) EP3678370A4 (zh)
JP (1) JP7259753B2 (zh)
KR (1) KR20200043371A (zh)
CN (1) CN111034190B (zh)
WO (1) WO2019044188A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110506419B (zh) * 2017-02-03 2021-12-28 华纳兄弟娱乐公司 在虚拟现实中渲染扩展视频
CN114450939A (zh) * 2019-09-19 2022-05-06 交互数字Ce专利控股公司 用于产生和渲染沉浸式视频的设备和方法
EP4083685A4 (en) 2019-12-27 2023-06-14 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM AND PART
WO2023162799A1 (ja) * 2022-02-28 2023-08-31 ソニーグループ株式会社 画像処理装置および方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101491108A (zh) * 2006-09-26 2009-07-22 株式会社东芝 用于三维图像处理的装置、方法和计算机程序产品
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
JP2013237320A (ja) * 2012-05-14 2013-11-28 Toshiba Alpine Automotive Technology Corp 違和感軽減表示装置およびその表示制御方法
CN103595997A (zh) * 2012-08-13 2014-02-19 辉达公司 3d显示系统和3d显示方法
US20150103003A1 (en) * 2013-10-11 2015-04-16 Bernard James Kerr User interface programmatic scaling
US20150235355A1 (en) * 2014-02-19 2015-08-20 Daqri, Llc Active parallax correction
CN107037873A (zh) * 2016-10-09 2017-08-11 深圳市金立通信设备有限公司 一种虚拟现实主界面的显示方法及终端
CN110275297A (zh) * 2018-03-13 2019-09-24 精工爱普生株式会社 头部佩戴型显示装置、显示控制方法以及记录介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2848291B2 (ja) 1995-08-24 1999-01-20 松下電器産業株式会社 立体tv装置
JP2003051029A (ja) * 2001-04-12 2003-02-21 Matsushita Electric Ind Co Ltd アニメーションデータ生成装置、アニメーションデータ生成方法、アニメーション映像生成装置、及びアニメーション映像生成方法
US6828971B2 (en) * 2001-04-12 2004-12-07 Matsushita Electric Industrial Co., Ltd. Animation data generation apparatus, animation data generation method, animated video generation apparatus, and animated video generation method
JP4212987B2 (ja) * 2003-08-26 2009-01-21 シャープ株式会社 立体画像表示装置、立体画像表示方法、その方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
JP4468341B2 (ja) * 2006-09-28 2010-05-26 株式会社東芝 三次元画像表示方法および三次元画像表示装置
JP2011090400A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像表示装置および方法、並びにプログラム
JP6318470B2 (ja) * 2013-05-15 2018-05-09 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
JP6168597B2 (ja) * 2013-06-25 2017-07-26 Kddi株式会社 情報端末装置
JP2015012560A (ja) 2013-07-02 2015-01-19 ソニー株式会社 表示処理装置、表示装置および画像処理方法
US10593113B2 (en) * 2014-07-08 2020-03-17 Samsung Electronics Co., Ltd. Device and method to display object with visual effect

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101491108A (zh) * 2006-09-26 2009-07-22 株式会社东芝 用于三维图像处理的装置、方法和计算机程序产品
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
JP2013237320A (ja) * 2012-05-14 2013-11-28 Toshiba Alpine Automotive Technology Corp 違和感軽減表示装置およびその表示制御方法
CN103595997A (zh) * 2012-08-13 2014-02-19 辉达公司 3d显示系统和3d显示方法
US20150103003A1 (en) * 2013-10-11 2015-04-16 Bernard James Kerr User interface programmatic scaling
US20150235355A1 (en) * 2014-02-19 2015-08-20 Daqri, Llc Active parallax correction
CN107037873A (zh) * 2016-10-09 2017-08-11 深圳市金立通信设备有限公司 一种虚拟现实主界面的显示方法及终端
CN110275297A (zh) * 2018-03-13 2019-09-24 精工爱普生株式会社 头部佩戴型显示装置、显示控制方法以及记录介质

Also Published As

Publication number Publication date
US20200177861A1 (en) 2020-06-04
KR20200043371A (ko) 2020-04-27
US11064176B2 (en) 2021-07-13
WO2019044188A1 (ja) 2019-03-07
CN111034190B (zh) 2022-04-15
EP3678370A1 (en) 2020-07-08
EP3678370A4 (en) 2020-08-19
JPWO2019044188A1 (ja) 2020-08-13
JP7259753B2 (ja) 2023-04-18

Similar Documents

Publication Publication Date Title
CN107683497B (zh) 信息处理设备、信息处理方法及程序
CN110413105B (zh) 虚拟环境内的虚拟对象的有形可视化
CN111034190B (zh) 信息处理设备、信息处理方法和程序
US10692300B2 (en) Information processing apparatus, information processing method, and image display system
CN110073660B (zh) 信息处理设备、信息处理方法和程序
CN110998666B (zh) 信息处理装置、信息处理方法以及程序
JP6474278B2 (ja) 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
WO2019130708A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN111095348A (zh) 基于摄像头的透明显示器
US20180270463A1 (en) Recording medium, image generation apparatus, and image generation method
JP2010259017A (ja) 表示装置、表示方法、および表示プログラム
CN113170090A (zh) 头戴式显示装置
JP7452434B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN109313823B (zh) 信息处理装置、信息处理方法和计算机可读介质
WO2017056597A1 (ja) 情報処理装置
WO2022219877A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2003141573A (ja) 没入型表示装置および方法
JP2012244433A (ja) 映像提示装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant