CN107533833B - 头戴式显示器、信息处理装置、信息处理系统和内容数据输出方法 - Google Patents

头戴式显示器、信息处理装置、信息处理系统和内容数据输出方法 Download PDF

Info

Publication number
CN107533833B
CN107533833B CN201680026229.XA CN201680026229A CN107533833B CN 107533833 B CN107533833 B CN 107533833B CN 201680026229 A CN201680026229 A CN 201680026229A CN 107533833 B CN107533833 B CN 107533833B
Authority
CN
China
Prior art keywords
output
information processing
data
head
content data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680026229.XA
Other languages
English (en)
Other versions
CN107533833A (zh
Inventor
岛津贵志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of CN107533833A publication Critical patent/CN107533833A/zh
Application granted granted Critical
Publication of CN107533833B publication Critical patent/CN107533833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在从信息处理设备发送到HMD的内容数据中，配置图像190，使得通过将图像并排形成左右视差图像，对每个图像校正以补偿提供给HMD的由透镜引起的图像失真。此外，在图像190的区域中显示当通过透镜观看时是不可见的图形192a至192h，并且来自信息处理设备的通知使用所述图形的颜色、图案和形状嵌入到图形192a至192h中。HMD识别与所述图形相对应的通知，并改变随后输出的外观。

Description

头戴式显示器、信息处理装置、信息处理系统和内容数据输出 方法
技术领域
本发明涉及包含图像显示的电子内容的输出技术。
背景技术
实际上使用头戴式显示器(头戴式显示器，以下称为“HMD”)是在头上戴有HMD的用户的眼睛前方显示视频。近年来，提出了在用户的左眼和右眼上显示视差图像以呈现立体图像的HMD，以及跟踪用户头部的移动，并将跟踪的结果反映在视频上，从而给出虚拟空间中的沉浸感或者在现场的感觉的另一种HMD(例如，参考PTL 1)。
引用列表
专利文献
PTL 1
JP 2014-93704A
发明内容
技术问题
虽然与普通显示单元相比，HMD可以提供处于所表现的世界现场的感觉，但是如果用户通过HMD太多地沉浸在所表现的世界中，那么用户很可能会失去对于视频或音频的输出状态的客观观点。例如，在HMD中，与一般显示单元相比，可能出现这种情况，即使视差图像之间的视差不适当或者屏幕的亮度过高或过低，用户也不能客观地决定事实并继续观看，引起用户的身体状况的异常。此外，由于除了HMD的穿戴人以外的人难以检查HMD 的输出状态，所以在用户注意到之前，对诸如孩子的判断不成熟的用户有负面影响。
本发明是鉴于上述主题而完成的，并且本发明的目的在于提供一种能够在使用HMD的内容输出中提供通常适当的观看环境的技术。
解决方案
本发明的一个方面涉及一种头戴式显示器。该头戴式显示器是包括在显示面板的正面上提供的透镜显示器的头戴式显示器，该头戴式显示器包括输入单元，配置为获取从信息处理装置输出的内容数据；不可见区域确认单元，配置为从包括在所述内容数据中的运动图像的帧内，确认在当用户通过所述透镜观看时不可见的区域中表示的图像，以指定来自所述信息处理装置的通知事项；以及输出单元，配置为基于所述通知事项，执行包含输出停止的所述内容数据的输出模式中的变化之一。
本发明的另一方面涉及一种信息处理装置。该信息处理装置包括输出数据生成单元，配置为生成要输出到包括显示面板的正面的透镜的头戴式显示器的数据，并且在包括在所述数据中的运动图像的帧内，在当用户通过所述头戴式显示器的所述透镜观看时不可见的区域中表示指示所述数据适当的图像，以生成最终内容数据；以及输出单元，配置为将由所述输出数据生成单元生成的所述内容数据输出到所述头戴式显示器。
本发明的又一方面涉及一种信息处理系统。该头戴式显示器以及信息处理装置，所述头戴式显示器包括在显示面板的正面的透镜，所述信息处理装置生成要输出到所述头戴式显示器的内容数据。所述信息处理装置包括输出数据生成单元，配置为生成输出到所述头戴式显示器的数据，并且在包括在所述数据中的运动图像的帧内，在当用户通过所述头戴式显示器的所述透镜观看时不可见的区域中表示指示所述数据适当的图像，以生成最终内容数据，以及输出单元，配置为将由所述输出数据生成单元生成的所述内容数据输出到所述头戴式显示器。头戴式显示器包含：输入单元，配置为获取从所述信息处理装置输出的内容数据，不可见区域确认单元，配置为从包括在所述内容数据中的运动图像的帧内，确认在不可见的区域中表示的图像，以指定来自所述信息处理装置的通知事项，以及输出单元，配置为基于所述通知事项，执行包括输出停止的所述内容数据的输出模式中的变化之一。
本发明的再一方面涉及一种内容数据输出方法。该内容数据输出方法是通过包含显示面板的正面的透镜的头戴显示器的内容数据输出方法。该内容数据输出方法包括获取从信息处理装置输出的内容数据的步骤；从包括在所述内容数据中的运动图像的帧内，确认在当用户通过所述透镜观看时不可见的区域中表示的图像，以指定来自所述信息处理装置的通知事项的步骤；以及基于所述通知事项，执行包括输出停止的所述内容数据的输出模式中的变化之一的步骤。
本发明的再一方面涉及一种内容数据输出方法。该内容数据输出方法包括生成要输出到包括显示面板的正面的透镜的头戴式显示器的数据，并且在包括在所述数据中的运动图像的帧内，在当用户通过所述头戴式显示器的所述透镜观看时不可见的区域中表示指示所述数据适当的图像，以生成最终内容数据的步骤；以及将生成的所述内容数据输出到所述头戴式显示器的步骤。
应当注意，上述组件的任意组合以及在方法、装置、系统、计算机程序和记录计算机程序的记录介质等之间的本发明表示的转换作为本发明的模式是有效的。
本发明的有益效果
利用本发明，通常可以在适当的状态下观看使用HMD的内容。
附图说明
图1是描绘可以应用本实施例的信息处理系统的配置的示例的视图。
图2是描绘本实施例中HMD的外观形状的示例的视图。
图3是描绘本实施例中的信息处理装置的内部电路配置的视图。
图4是示出本实施例中在HMD和平面显示器上显示的图像的视图。
图5是描绘本实施例中信息处理装置和HMD的功能块的配置的视图。
图6是描绘本实施例中将信息嵌入到不可见区域的HMD的图像的示例的视图。
图7是描绘本实施例中表示在不可见区域中的图案与由图案指示的信息之间的表示对应的数据结构的示例的视图。
图8是示出当本实施例的信息处理装置和HMD执行数据输出时的处理步骤的流程图。
具体实施方式
图1描绘可以应用本实施例的信息处理系统的配置的示例。在该示例中，信息处理系统8包括拾取目标图像的图像拾取装置12、基于拾取图像执行信息处理的信息处理装置10、显示作为信息处理结果获得的图像的平面显示器 16、由用户穿戴的HMD 18、以及由用户操作的输入装置14。
信息处理装置10可以通过电缆或者通过诸如蓝牙(注册商标)的已知无线通信技术连接到图像拾取装置12、输入装置14、平面显示器16以及HMD 18。此外，根据由信息处理装置10执行的信息处理，可以不提供图像拾取装置12、平面显示器16以及输入装置14。此外，这些装置的外观形状不限于附图中的描绘。
图像拾取装置12包括以预定帧速率拾取诸如用户的目标图像的照相机，以及执行诸如用于照相机的输出信号的去马赛克处理的通常处理用以生成拾取图像的输出数据，并且将输出数据发送到信息处理装置10的机制。照相机包含用于通用数字照相机或数字摄像机的可见光传感器，诸如电荷耦合器件 (CCD)传感器、互补金属氧化物半导体(CMOS)传感器等。图像拾取装置12可以仅包含一个照相机，或者可以是两个照相机以如图1所示的已知的间隔关系并排布置的立体照相机。
或者，图像拾取装置12可以通过在目标上照射诸如红外线等参考光并测量照射光的反射光的装置和单目相机的组合来配置。在引入立体照相机或反射光的测量机制的情况下，可以确定图像拾取对象在三维实际空间中的位置，并且可以实现信息处理或显示图像的进一步多样化。一种通过三角测量原理使用立体照相机从左右视点拾取的立体图像来指定图像拾取对象到照相机的距离的方法，以及另一种通过测量反射光来得到飞行时间(TOF)或图案照射的方式来指定该图像拾取对象到照相机的方法，都已广为人知。
信息处理装置10输出要在HMD 18或平面显示器16上显示的图像的数据。图像的数据可以是作为原始完成形式存储的数据，诸如电影或者拾取的移动图像，或者可以在信息处理装置10内部以实时基准绘制。在后一种情况下，信息处理装置10对以预定帧速率从图像拾取装置12获取的拾取图像执行一般的面部检测或追踪处理，以执行其中出现作为图像拾取对象的用户的行为反映在角色的游戏，或者将用户的运动转换为命令输入以执行信息处理。
此时，信息处理装置10可以使用在HMD 18或输入装置14上提供的标记或加速传感器来获取每个用户的运动，或者可以获取用于输入装置14的用户的操作信息，使得获取的运动或信息反映在信息处理或显示图像上。例如，通过在拾取图像中追踪HMD 18的标记的图像，指定用户的头部的位置或运动。然后，通过响应于指定运动改变要在HMD 18上显示的虚拟世界的视点，用户可以观看与自己的视点相对应的虚拟世界，并且可以具有在现场的感觉或沉浸式感觉。除了这样的图像数据之外，信息处理装置10可以输出诸如环境声音或对话的声音数据。
HMD 18是在诸如将HMD 18穿戴在其头部上的用户眼睛正前方的有机电致发光(EL)面板的显示面板上显示图像的显示设备。本实施例中的HMD 18在显示画面被分割成的左右区域中，以从左右视点观看视差图像的状态显示视差图像，使得立体地观看图像。此外，HMD 18可以包含以预定颜色发光的元件或由一组这样的元件配置的发光标记、在与用户耳朵对应的位置处输出声音的扬声器或耳机、用于检测在其上穿戴HMD 18的用户头部的倾斜度的加速传感器等。
平面显示器16可以是包含输出一般二维图像的显示器和输出声音的扬声器的电视机，特别可以是液晶电视机、有机EL电视机、等离子体电视机、个人计算机(PC)显示单元等。或者，平面显示器16可以是平板电脑终端或便携式终端的显示器和扬声器。输入装置14通过用户的操作接收处理的开始或结束的请求、功能的选择、各种命令输入等，并将接收的请求作为电信号提供给信息处理装置10。
输入装置14可以由诸如游戏控制器、键盘、鼠标、操纵杆、设置在平面显示器16的显示屏幕上的触摸板等的一般输入装置之一或它们的组合来实现。此外，输入装置14可以包含由预定颜色发光的元件或一组这样的元件配置的发光标记。在这种情况下，如果信息处理装置10使用拾取图像来追踪标记的移动，则可以使输入装置14本身的移动成为用户操作。应当注意，输入装置14可以仅由具有握持部的发光标记配置。
图2描绘了HMD 18的外观形状的示例。在该示例中，HMD 18由输出机制单元102和穿戴机制单元104配置。穿戴机制单元104包含穿戴带106，当HMD 18穿戴在用户上时穿戴带围绕头部并且实施装置的固定。穿戴带106 具有可以根据用户的头围来调节长度的材料或结构。穿戴带106可以由弹性体配置，例如橡胶或利用带扣、齿轮等。
输出机制单元102包含壳体108，其具有用户在其上穿戴HMD 18的状态下覆盖用户的左眼和右眼的形状，并且在其内部包含显示面板，以便面对眼睛。显示面板由液晶面板、有机EL面板等实施。此外，在壳体108的内部提供有当穿戴HMD 18时位于显示面板和用户眼睛之间并且扩大用户的视野的一对透镜。此外，HMD 18可以包含扬声器或在穿戴时对应于用户的耳朵的位置的耳机。
发光标记110a、110b、110c和110d设置在外壳108的外表面上。虽然发光标记的数量或布置没有特别的限制，图2示例中的发光标记提供在输出机制单元102的壳体的正面的四个角处。此外，发光标记也可以设置在穿戴带106的后部的相对的侧面上。应当注意，由于发光标记110c和110d设置在输出机制单元102的下侧，并且从图2的视点来看并不是最初看到的，所以其外围由虚线表示。
图3描绘了信息处理装置10的内部电路的配置。信息处理装置10包含中央处理单元(CPU)22、图形处理单元(GPU)24和主存储器26。这些组件通过总线30相互耦合。此外，输入/输出接口28连接到总线30。从诸如通用串行总线(USB)和电气与电子工程师学会(IEEE)1394接口的外围设备接口以及有线或无线局域网(LAN)的网络接口配置的通信单元32、诸如硬盘驱动器或非易失性存储器的存储单元34、用于将数据输出到外部设备的输出单元36、用于从外部设备输入数据的输入单元38、以及驱动诸如磁盘、光盘、半导体存储器等的可移除记录介质的记录介质驱动单元40耦合到输入/ 输出接口28。
CPU 22执行存储在存储单元34中的操作系统，以控制整个信息处理装置10。CPU22进一步执行从可移除记录介质读出并被加载到主存储器26中或通过通信单元32下载的各种程序。GPU 24具有几何引擎的功能和渲染处理器的功能，并且根据来自CPU 22的绘图指令执行绘图处理，并将数据从输出单元36输出到HMD 18等。主存储器26由随机存取存储器(RAM)配置并存储处理所需的程序或数据。
图4是示出在HMD 18和平面显示器16上显示的图像的视图。图4左侧的图像(a)是在HMD 18上显示的图像，图4右侧的图像(b)是在平面显示器16上显示的一般图像。虽然为了可理解的目的，光栅图像是图4中的显示目标，但是根据信息处理或虚拟世界、游戏图像等的实质来实际显示各种图像。为了实现图像的立体视觉，HMD 18的图像(a)被配置为使得包含左眼图像和右眼图像的一对视差图像被布置在对应于显示面板的图像平面被平分的左和右区域中。
如上所述，本实施例的HMD 18被构造成使得用于加宽用户的虚拟视野的透镜设置在显示面板的前面。在这种情况下，在显示面板上显示的图像中，产生由透镜导致的距离中心更大距离的像素的“筒管型”的失真由于更大位移而增大。由于位移量在不同颜色之间不同，所以也出现色差。因此，考虑到失真和色差而在相反方向使图像失真的失真校正被预先执行，使得像图像(a) 那样的“桶形”图像被显示。因此，当通过透镜观看图像时，诸如图像(b)的原始图像看起来是立体的。
通常的方法可用于透镜的失真校正。信息处理装置10生成并输出诸如作为用于HMD的显示图像的图像(a)的数据到HMD 18。这里，来自图像(a) 中在筒形的失真图像的区域的外围区域是用户通过透镜观看时不能观看到的不可见区域。在本实施例中，通过在不可见区域中以图形等的形式表示预定信息，该信息被反映在HMD 18中的显示处理中。应当注意，在类似的图像显示在平面显示器16上的模式中，信息处理装置10可以将图像(b)等的图像数据输出到平面显示器16。
图5描绘了信息处理装置10和HMD 18的功能块的配置。图5中描述的功能块可以以硬件由CPU、GPU、各种存储器、微处理器等来实现，或者可以以软件由从记录介质等加载到存储器中并且具有诸如数据输入功能、数据存储功能、图像处理功能、通信功能等的各种功能的程序来实现。因此，本领域技术人员可以理解，功能块可以通过各种形式实现，例如仅来自硬件、仅来自软件、或者来自硬件和软件的组合，并且它们的实现不限于它们的任何一种。
信息处理装置10包含从图像拾取装置12和输入装置14获取输入数据的输入数据获取单元72、用于根据诸如游戏的要执行的应用执行信息处理的信息处理单元74、用于生成作为诸如游戏图像或游戏声音的信息处理结果输出的数据的输出数据生成单元78、用于与HMD 18建立通信的通信单元76、以及用于存储生成输出数据所需的基本数据的数据存储单元80。
输入数据获取单元72以预定帧速率连续地获取由图像拾取装置12拾取的图像。此外，获取指示通过输入装置14的用户操作的实质的信息。这里，用户操作可以是在诸如要执行的应用的选择、处理的开始/结束、命令输入等的一般信息处理中执行的操作。然后，输入数据获取单元72将所获取的信息提供给信息处理单元74。
此外，输入数据获取单元72可以从通信单元76获取由HMD 18内部的加速传感器测量的结果，并将测量结果提供给信息处理单元74。此外，输入数据获取单元72可以根据从输入装置14获取的来自用户的处理开始/结束请求，通过图像拾取装置12控制图像拾取的开始/结束，或者可以响应于由信息处理单元74处理的结果来控制从图像拾取装置12获取的数据的类型。然而，由输入数据获取单元72获取的数据可以根据由信息处理单元74执行的信息处理的实质而不同。
信息处理单元74执行用户指定的游戏的信息处理等。信息处理可以包含用于从拾取图像等检测和追踪对象的图像的处理。用户的身体的一部分，诸如例如头部或手部可以利用轮廓线进行追踪，或者可以通过图案匹配来追踪具有特定图案或形状的对象。一般的图像处理技术可以应用于刚刚描述的追踪处理。此外，可以通过将由HMD 18发送的加速传感器等的测量值的信息进行整合来详细指定用户的头部的位置或姿势。信息处理单元74使用以上述方式获得的用户的移动或位置作为输入值或者使用通过输入装置14的用户操作作为输入值进行游戏或执行相应的处理。但是，信息处理的实质并不限于此。
输出数据生成单元78生成要作为信息处理的结果输出的图像或声音的数据。例如，如上所述，输出数据生成单元78生成图像数据，其中如从与用户的头部的位置或姿势对应的视点来观看的虚拟世界的左右视差图像在被绘制并且经历考虑透镜的失真校正后并排布置。如果在HMD 18上以预定的帧速率将图像显示在左眼和右眼前方，并且进一步输出虚拟世界中的声音，则用户可以具有如用户已经进入虚拟世界那样的感觉。
这里，输出数据生成单元78通过将预定颜色放置在上述图像的不可见区域或一些不可见区域中或通过在该区域中表示预定图案来嵌入信息。例如，显示或用颜色表示指示生成的图像数据适当的图形。由此，HMD 18可以通过简单且容易的确认处理来决定图像数据是否是由信息处理装置10为HMD 18生成的适当的图像数据。或者，用于指定显示面板或HMD 18内部的扬声器的输出调整的信息可以被嵌入以响应实质的场景变化。
信息处理单元74或输出数据生成单元78的处理所需的基本数据提前被存储在数据存储单元80中。该数据还包含要被嵌入到图像数据的信息，以及用于在不可见区域表示信息的颜色和图形之间的对应信息。通信单元76通过诸如高清晰度多媒体接口(HMDI)(注册商标)或USB的预定协议建立与 HMD 18的通信，并且发送由输出数据生成单元78生成的图像或声音的输出数据。
HMD 18包含用于获取从信息处理装置10发送的输出数据的通信单元 82、用于从输出数据中包含的图像内确认在不可见区域中表示的颜色和图形的不可见区域确认单元84 、以及用于输出从显示面板或扬声器输出的输出数据的图像或声音的输出单元86。通信单元82通过预定协议建立与信息处理装置10的通信，并且以预定速率获取从信息处理装置10发送的输出数据。此外，通信单元82可以将HMD 18内部的加速传感器等的测量值适当地发送到信息处理装置10。
不可见区域确认单元84从由通信单元82获取的输出数据内确认在图像的不可见区域中表示的颜色或图形，并解释嵌入的信息。为此，不可见区域确认单元84将其中颜色或图形以及由颜色或图形表示的信息彼此相关联的数据保存在其内部存储器中。然后，当基于在不可见区域中表示的图形等参考数据时，只有在输出适当的情况下，输出数据被提供给输出单元86。此外，如果指定了显示面板或扬声器的输出调整，则向输出单元86发出调整请求。
输出单元86由显示面板和扬声器、用于控制它们的输出状态的机制等来实现，并且使用从不可见区域确认单元84提供的输出数据来显示图像或输出声音。如果从不可见区域确认单元84接收输出调整请求，那么输出单元86 根据请求执行调整。由于通常的技术可以用于图像显示、声音输出和输出状态的控制的特定处理过程，因此在此省略相同的描述。
图6描绘将信息嵌入到不可见区域的HMD的图像的示例。在图像190 中，用“L”和“R”表示的椭圆表示如图4(a)所示考虑透镜以筒形失真的左右视差图像的区域。因此，用于左右视差图像的区域周围的区域成为不可见区域。在图6的示例中，信息由包含用于左眼的图像的左半区域和包含用于右眼的图像的右半区域的四个角处的矩形图形192a至192h表示。
例如，由图形192a至192h的颜色表示信息，通过将红色、绿色和蓝色的三个因子表示为0或最大灰度，即使所有图形由相同的颜色表示，也可以表示八个图案的信息。通过以这种方式对像素值提供很大的差异，即使在通过信息处理装置 10的输出数据生成单元78生成图像之后执行的各种处理，使颜色空间精确地变化，直到不可见区域由不可见区域确认单元84确认，可以防止嵌入的信息被错误识别。如果图形192a至192h的颜色彼此不相同，并且信息由位置和颜色的组合表示，那么可以进一步增加信息量。
不仅可以通过在图形192a至192h中用填充颜色表示信息，而且还可以通过对图形192a到192h本身的内部图案或形状提供变化来增加更多信息量。然而，即使在这种情况下，优选的是在图案或形状上提供很大的差异，使得即使从涉及的处理的影响的图案出现一些失真，误识别也不会发生，直到不可见区域被确认。例如，可能的想法是通过垂直线和水平线或垂直条纹和水平条纹来提供差异。或者，可以根据图像的位置来嵌入不同类型的信息。
应当注意，除了仅使用图6中描绘的一些不可见区域之外，信息可以由整个不可见区域的颜色表示。此外，信息不仅可以在所描绘的区域中嵌入，而且可以在用户不容易看到或不可见的任何区域中嵌入。例如，由于在显示面板的中心附近的区域194位于用户的相对眼睛之间的位置之前，所以其可能变得不可见。即使该区域用于以彩色或图形表示信息，也可以在没有允许用户意识到这一点的情况下通过类似的处理来控制HMD 18的显示模式。应当注意，尽管图6中的区域194具有圆形形状，但是并不意在限制区域194 的形状。
图7描绘表示在不可见区域中要表示的图形和由它们表示的信息之间的对应的数据结构的示例。嵌入信息设置表200包含位置列202a、图形列202b 和信息列204c。在位置列202a中，设置从信息处理装置10输出的图像的不可见区域中表示信息的图形的显示位置。在图7的示例中，提前设置由图6 的图像190的图形192a至192h表示的八个位置，并且其中一些由坐标(水平方向的数字、垂直方向的数字)表示。
在图形列202b中，设置诸如颜色、图案或形状的图形的属性，并且在信息列204c中，设置当图形由在位置列202a中设置的位置表示时，由在图形列202b中设置的图形指示的信息。例如，如在图7描述的嵌入信息设置表 200的第二行中设置的，在(0，0)和(3，0)的位置处表示“红色矩形”，则这指示图像适当。另一方面，如果在如第三行中设置的位置表示任何其他图形，或者没有表示图形，则由于图像不适当，所以不显示。
在信息处理装置10在输出之前将上述图形添加到由信息处理装置10本身绘制的图形的情况下，接收图像数据的HMD 18可以容易地决定图像是否适当。如果一次生成的图像稍后进行一些处理，或者图像由身份不清楚的装置生成，则由于左右图像之间的视差不适当的原因或类似的原因，存在如果用户继续观看图像，那么用户可能遭受差的身体状况或视觉障碍的可能性。
如果在输出到HMD 18之前立即确保安全性，并且HMD 18仅在上述确保安全性的情况下显示图像，则可以排除上述的这种可能性。即使视频数据被存储一次，如果视频数据是真的，则通过向视频数据添加预定的图形，可以类似地排除上述可能性。此外，在左半部和右半部的不可见区域中表示彼此不同的预定颜色的情况下，如果左眼图像和右眼图像由于某种原因相反地布置，则可以检测到这种情况以防止显示图像。
此外，在嵌入信息设置表200的第四行中设置的位置(1，0)和(2，0) 处表示“绿色垂直条纹”的情况下，这指示降低显示面板的亮度的指令。另一方面，如果在第五行中设置的位置处表示“绿色水平条纹”，则这指示增加显示面板的亮度的指示。例如，在要绘制的虚拟世界的亮度变化很大的情况下，有时期望调整亮度。因此，信息处理装置10根据要绘制的场景等来确定适当的亮度，并根据需要使HMD 18调节亮度而在相关位置处表示图形。可以调整诸如对比度、颜色等的图像质量。除了显示面板的调节之外，可以调节扬声器的音量或声音的平衡。
通过这样做，可以正常地显示最佳状态的图像或输出声音，而不需要用户的劳动，并且在场景开始之前，在定时的情况下立即以诸如在缓和方向上的强光照射的强烈刺激来调整场景的表示，并且不太可能发生由视觉效果等导致的意外的不良身体状况。用户可以预先设定是否执行上述的这样的缓和处理。要注意，图中所示的设置格式和设置的实质是一个示例，并且可变修改可以是可用的。例如，指示图像适当的图形可能变得更加复杂，使得图像不容易被模仿。或者，通过提供对条纹图案的颜色或厚度的变化，可以特别指定亮度改变的比率。
嵌入信息设置表200存储在信息处理装置10的数据存储单元80中，输出数据生成单元78根据来自信息处理单元74的请求，参照嵌入信息设置表 200将特定图形添加到输出图像。此外，嵌入信息设置表200存储在HMD 18 的不可见区域确认单元84的内部存储器中，并且基于图形指定由图形指示的信息。信息处理装置10可以将信息嵌入到所有帧的图像中，或者可以以预定间隔周期性地嵌入信息。在任何情况下，通过连续地表示必要的图形，即使信息处理装置10临时检测或错误识别失败，也可以立即执行修改。
另外，通过这样，甚至可以处理对于与上述各场景相对于时间的调整的情况的变化的情况。应当注意，可以在确认在相同位置的预定时间段内连续检测到相同图形之后，执行最终判定，使得信息的指定精度被提高。此外，时间轴上的图形的这种连续性可以做得最大，使得信息由相同位置处的图形的颜色的变化、每种颜色的持续时间等的图案表示。
现在，描述通过上述结构实现的信息处理系统8的动作。图8是示出了信息处理装置10和HMD 18执行数据输出的处理步骤的流程图。响应于由用户通过输入装置14指定的游戏等发出的处理的开始请求开始该流程图。首先，信息处理装置10进行指定游戏等的处理，开始输出图像的生成(S10)。然后，信息处理装置10根据图7所示的嵌入信息设置表200的设置实质在不可见区域中设置的位置绘制必要的图形(S12)。应当注意，如上所述，可以根据设置实质来应用不可见区域等的填充。
以这种方式生成的图像的数据与声音等的数据结合作为输出数据适当地发送到HMD 18(S14)。虽然不需要结束处理，但是信息处理装置10类似地以预定帧速率继续生成和发送用于输出的图像的处理(S16、和S10至S14 中的N)。另一方面，HMD 18接收从信息处理装置10发送的输出数据(S18)。因此，不可见区域确认单元84确认在不可见区域中的图形的存在或不存在或图形的属性(S20)。
将输出数据与包含在内部存储器中的嵌入信息设置表200进行校对，并且如果证明数据是适当的数据(在S22处的Y)，并且需要调整诸如亮度等的输出(S24处的Y)，则HMD18在执行输出调整之后输出数据(S26和S28)。如果证明数据是适当的数据(在S22处的Y)，并且不需要调整诸如亮度等的输出(S24处的N)，则HMD 18原样输出数据(S28)。如果数据不是适当的数据，则HMD 18不执行输出数据的输出(S22处的N)。
应当注意，在这种情况下，可以通过显示或声音向用户发出警告，或者可以向信息处理装置10发出通知。或者，可以通过一般地稀薄显示的颜色等暂时输出数据。虽然不需要结束处理，但是HMD 18对从信息处理装置 10发送的每帧的输出数据重复从S18到S28的处理(S30中的N)。因此，在每个 HMD18上，以适当的状态正常地显示游戏画面的运动图像或声音。如果用户输入结束请求或游戏结束，则需要结束处理，则信息处理装置10结束所有处理(S16处的Y)。此外，如果需要响应于来自信息处理装置10等的通知而结束处理，则HMD 18结束所有处理(S30处的Y)。
根据上述实施例，将颜色、图形、图案等表示在不可见区域中，该区域对于HMD来自图像中的用户是不可见的，通过考虑透镜的失真以信息嵌入到不可见区域来校正该颜色、图形、图案等。例如，通过HMD侧确认后，通过表示指示图像适当的图形，判断输出是否适当。因此，可以防止由连续观看由非法处理或左右图像位置反转生成的视差不适当的不适当图像引起的不良身体状况或视觉障碍。此外，通过嵌入与亮度、对比度等的物理调整有关的信息，响应于场景的变化自动执行调整，并且可以提供通常令人满意的输出环境，并且还可以防止过度的视听刺激生成的不良的身体状况等。
通过将信息嵌入不可见区域，对HMD上的显示图像没有明显的影响，并且要发送的数据大小也不会改变。此外，由于传送了可以从简单图形或颜色差异中辨别的简单信息，因此不需要用于检测嵌入信息的高级信息处理模块或为此准备的处理。因此，可以确定地进行必要的处理，而不增加HMD 的重量或尺寸，并且从而使用户感觉到麻烦。
已经基于本实施例描述了本发明。上述实施例是示例性的，并且本领域技术人员认识到，在实施例的组件和处理的组合中，可以进行各种修改，并且这些修改也在本发明的范围内。
参考符号列表
8信息处理系统，10信息处理装置，12图像拾取装置，14输入装置，16 平面显示单元，18HMD，72输入数据获取单元，74信息处理单元，76通信单元，78输出数据生成单元，80数据存储单元，82通信单元，84不可见区域确认单元，86输出单元。
工业应用
如上所述，本发明可以用于处理包含所述装置的各种电子内容和系统等的计算机、显示装置、游戏装置、信息处理装置和图像处理装置中。

Claims (12)

1.一种头戴式显示器，包括在显示面板的正面上提供的透镜，所述头戴式显示器包括：
输入单元，配置为获取从信息处理装置输出的内容数据；
不可见区域确认单元，配置为从包括在所述内容数据中的运动图像的帧内，确认在当用户通过所述透镜观看时不可见的区域中表示的图像，以指定来自所述信息处理装置的通知事项；以及
输出单元，配置为基于所述通知事项，执行所述内容数据的输出模式中的变化之一，所述内容数据的输出模式包括输出停止。
2.根据权利要求1所述的头戴式显示器，其中
当没有表示指示所述内容数据适当的图像时，所述输出单元停止输出所述内容数据。
3.根据权利要求1所述的头戴式显示器，其中，
当有表示指示对所述显示面板的输出值的调整请求的图像时，所述输出单元根据所述调整请求调整所述显示面板的所述输出值。
4.根据权利要求1至3任一个所述的头戴式显示器，其中，所述不可见区域确认单元基于在所述不可见的区域中表示的图像的属性和所述图像的显示位置，指定来自所述信息处理装置的所述通知事项。
5.根据权利要求1至3任一个所述的头戴式显示器，其中，所述不可见区域确认单元基于在所述不可见区域中表示的图像的属性、所述图像的显示位置和所述图像的时间变化，指定来自所述信息处理装置的所述通知事项。
6.根据权利要求1至3任一个所述的头戴式显示器，其中，所述不可见区域确认单元基于在所述不可见区域中表示的颜色、图案和图形形状中的至少一个，指定来自所述信息处理装置的所述通知事项。
7.一种信息处理装置，包括：
输出数据生成单元，配置为生成要输出到包括显示面板的正面的透镜的头戴式显示器的数据，并且在包括在所述数据中的运动图像的帧内，在当用户通过所述头戴式显示器的所述透镜观看时不可见的区域中表示指示所述数据适当的图像，以生成最终内容数据；以及
输出单元，配置为将由所述输出数据生成单元生成的所述内容数据输出到所述头戴式显示器。
8.根据权利要求7所述的信息处理装置，其中，所述输出数据生成单元还在所述不可见的区域中，在所述运动图像的中间的时刻，表示指示对于所述显示面板的输出值的调整请求的图像。
9.一种信息处理系统，包括头戴式显示器以及信息处理装置，所述头戴式显示器包括在显示面板的正面的透镜，所述信息处理装置生成要输出到所述头戴式显示器的内容数据，其中
所述信息处理装置包括
输出数据生成单元，配置为生成输出到所述头戴式显示器的数据，并且在包括在所述数据中的运动图像的帧内，在当用户通过所述头戴式显示器的所述透镜观看时不可见的区域中表示指示所述数据适当的图像，以生成最终内容数据，以及
输出单元，配置为将由所述输出数据生成单元生成的所述内容数据输出到所述头戴式显示器，以及
所述头戴式显示器包括
输入单元，配置为获取从所述信息处理装置输出的内容数据，
不可见区域确认单元，配置为从包括在所述内容数据中的运动图像的帧内，确认在不可见的区域中表示的图像，以指定来自所述信息处理装置的通知事项，以及
输出单元，配置为基于所述通知事项，执行所述内容数据的输出模式中的变化之一，所述内容数据的输出模式包括输出停止。
10.一种通过包括在显示面板的正面的透镜的头戴式显示器的内容数据输出方法，所述内容数据输出方法包括：
获取从信息处理装置输出的内容数据的步骤；
从包括在所述内容数据中的运动图像的帧内，确认在当用户通过所述透镜观看时不可见的区域中表示的图像，以指定来自所述信息处理装置的通知事项的步骤；以及
基于所述通知事项，执行所述内容数据的输出模式中的变化之一的步骤，所述内容数据的输出模式包括输出停止。
11.一种通过信息处理装置的内容数据输出方法，包括：
生成要输出到包括显示面板的正面的透镜的头戴式显示器的数据，并且在包括在所述数据中的运动图像的帧内，在当用户通过所述头戴式显示器的所述透镜观看时不可见的区域中表示指示所述数据适当的图像，以生成最终内容数据的步骤；以及
将生成的所述内容数据输出到所述头戴式显示器的步骤。
12.一种记录有计算机程序的计算机可读记录介质，所述计算机程序使得计算机实现以下功能：
生成要输出到包括显示面板的正面的透镜的头戴式显示器的数据，并且在包括在所述数据中的运动图像的帧内，在当用户通过所述头戴式显示器的所述透镜观看时不可见的区域中表示指示所述数据适当的图像，以生成最终内容数据的功能；以及
将生成的所述内容数据输出到所述头戴式显示器的功能。
CN201680026229.XA 2015-05-13 2016-05-06 头戴式显示器、信息处理装置、信息处理系统和内容数据输出方法 Active CN107533833B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-098394 2015-05-13
JP2015098394A JP6433850B2 (ja) 2015-05-13 2015-05-13 ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法
PCT/JP2016/063678 WO2016181909A1 (ja) 2015-05-13 2016-05-06 ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法

Publications (2)

Publication Number Publication Date
CN107533833A CN107533833A (zh) 2018-01-02
CN107533833B true CN107533833B (zh) 2020-12-01

Family

ID=57248070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680026229.XA Active CN107533833B (zh) 2015-05-13 2016-05-06 头戴式显示器、信息处理装置、信息处理系统和内容数据输出方法

Country Status (5)

Country Link
US (1) US10156724B2 (zh)
EP (1) EP3296986A4 (zh)
JP (1) JP6433850B2 (zh)
CN (1) CN107533833B (zh)
WO (1) WO2016181909A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6786797B2 (ja) * 2015-12-22 2020-11-18 ソニー株式会社 情報処理装置、撮像装置、情報処理システム、および情報処理方法、並びにプログラム
US9965899B2 (en) * 2016-04-28 2018-05-08 Verizon Patent And Licensing Inc. Methods and systems for minimizing pixel data transmission in a network-based virtual reality media delivery configuration
KR102629149B1 (ko) * 2019-01-03 2024-01-26 삼성전자주식회사 외부 광에 따라 디스플레이의 특성을 변경하는 전자 장치 및 방법
WO2020170455A1 (ja) * 2019-02-22 2020-08-27 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび画像表示方法
JP7358448B2 (ja) 2019-02-22 2023-10-10 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法
TWI691738B (zh) * 2019-03-20 2020-04-21 宏碁股份有限公司 近眼顯示裝置
JPWO2022070270A1 (zh) * 2020-09-29 2022-04-07
JP2022113550A (ja) * 2021-01-25 2022-08-04 株式会社ソニー・インタラクティブエンタテインメント 画像表示システムおよび画像表示方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004061519A1 (ja) * 2002-12-24 2004-07-22 Nikon Corporation ヘッドマウントディスプレイ
JP2004236191A (ja) * 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
JP2008508621A (ja) * 2004-08-03 2008-03-21 シルバーブルック リサーチ ピーティワイ リミテッド ウォークアップ印刷
JP4701863B2 (ja) * 2005-06-24 2011-06-15 株式会社日立製作所 信号変換方法および信号変換装置
JP4717728B2 (ja) 2005-08-29 2011-07-06 キヤノン株式会社 ステレオ表示装置及びその制御方法
US9480919B2 (en) * 2008-10-24 2016-11-01 Excalibur Ip, Llc Reconfiguring reality using a reality overlay device
JP2011069902A (ja) * 2009-09-24 2011-04-07 Brother Industries Ltd 画像表示装置
JP2011128460A (ja) 2009-12-18 2011-06-30 Funai Electric Co Ltd 映像表示システム
US9832441B2 (en) 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
JP2012118291A (ja) * 2010-11-30 2012-06-21 Brother Ind Ltd 画像表示装置
WO2013001590A1 (ja) 2011-06-27 2013-01-03 パイオニア株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイで行われる制御方法及びプログラム
US9224322B2 (en) 2012-08-03 2015-12-29 Apx Labs Inc. Visually passing data through video
JP5732446B2 (ja) 2012-11-06 2015-06-10 株式会社ソニー・コンピュータエンタテインメント ヘッドマウントディスプレイ、および動き検出方法
US9829997B2 (en) * 2013-02-22 2017-11-28 Sony Corporation Head-mounted display system, head-mounted display, and head-mounted display control program
US9836122B2 (en) * 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9753288B2 (en) * 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
JP6332061B2 (ja) * 2015-01-30 2018-05-30 株式会社Ｊｖｃケンウッド 画像描画装置、画像描画方法及びプログラム

Also Published As

Publication number Publication date
US20180074321A1 (en) 2018-03-15
WO2016181909A1 (ja) 2016-11-17
EP3296986A1 (en) 2018-03-21
EP3296986A4 (en) 2018-11-07
JP2016212351A (ja) 2016-12-15
JP6433850B2 (ja) 2018-12-05
US10156724B2 (en) 2018-12-18
CN107533833A (zh) 2018-01-02

Similar Documents

Publication Publication Date Title
CN107533833B (zh) 头戴式显示器、信息处理装置、信息处理系统和内容数据输出方法
JP6465672B2 (ja) 情報処理装置および情報処理方法
US8902298B2 (en) Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
US11697062B2 (en) Information processing apparatus and warning presentation method
US10427033B2 (en) Display control apparatus and display control method
US20180246331A1 (en) Helmet-mounted display, visual field calibration method thereof, and mixed reality display system
US20180373349A1 (en) Display control apparatus and display control method
CN111819521A (zh) 信息处理装置、信息处理方法和程序
WO2017126433A1 (ja) 情報処理装置およびユーザガイド提示方法
JP2024050696A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
JP6494305B2 (ja) 情報処理装置、表示装置、および情報処理方法
JP6591667B2 (ja) 画像処理システム、画像処理装置、及びプログラム
US20190028690A1 (en) Detection system
JP2017046065A (ja) 情報処理装置
JP6634654B2 (ja) 情報処理装置および警告提示方法
JP7080373B2 (ja) 情報処理装置および警告提示方法
US20190089899A1 (en) Image processing device
JP6705929B2 (ja) 表示制御装置及び表示制御方法
WO2022255058A1 (ja) 情報処理装置および画像生成方法
WO2021130986A1 (ja) 映像表示装置及び映像表示方法
JP2023027077A (ja) 表示制御装置及び表示制御方法
CN117170602A (zh) 显示虚拟对象的电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant