CN111279410A - 显示设备和显示设备控制方法 - Google Patents

显示设备和显示设备控制方法 Download PDF

Info

Publication number
CN111279410A
CN111279410A CN201880069813.2A CN201880069813A CN111279410A CN 111279410 A CN111279410 A CN 111279410A CN 201880069813 A CN201880069813 A CN 201880069813A CN 111279410 A CN111279410 A CN 111279410A
Authority
CN
China
Prior art keywords
movement
disease
display device
unit
induced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880069813.2A
Other languages
English (en)
Other versions
CN111279410B (zh
Inventor
山口弘市
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111279410A publication Critical patent/CN111279410A/zh
Application granted granted Critical
Publication of CN111279410B publication Critical patent/CN111279410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons

Abstract

在本发明中，获取指示显示设备的移动的移动信息，并且在移动信息是指示被预设为容易引起疾病的移动的疾病移动的信息的情况下，发出警告。

Description

显示设备和显示设备控制方法
技术领域
本发明涉及用于呈现混合现实空间的技术，该混合现实空间是真实空间和虚拟空间的合成空间。
背景技术
近年来，被称为混合现实(MR)的技术作为实时地将真实世界和虚拟世界无缝地结合的技术而受到关注。以下技术被称为一种这样的MR技术。使用视频透视型HMD(头戴式显示器)，使用视频相机等捕获与从HMD用户的瞳孔位置观察到的物体基本一致的物体的图像。CG(计算机图形)然后被叠加在已捕获的图像上，并且结果图像被呈现给HMD用户。
利用视频透视型HMD，使用诸如CCD之类的电荷耦合设备来捕获物体的图像，以获得物体的数字图像数据，并且CG图像被叠加在数字图像数据上的MR图像(混合现实空间图像)然后通过诸如液晶或有机EL设备之类的显示设备被显示给穿戴者。除了HMD以外，还存在外部设备，并且由HMD捕获的捕获的图像被从HMD发送到外部设备。外部设备根据从HMD接收到的捕获的图像来计算HMD的位置和朝向、基于计算结果生成CG图像被叠加在捕获的图像上的叠加的图像，然后将叠加的图像发送到HMD。HMD然后显示从外部设备接收到的叠加的图像。通过穿戴HMD，HMD用户可以体验MR空间。
取决于HMD用户，当用户穿戴并沉浸在HMD中时可能出现视觉诱发的晕动症。专利文献1提出了用于通过抑制由HMD穿戴者视觉识别出的信息量来减小视觉诱发的晕动症的技术。
引文列表
专利文献
专利文献1：日本专利公开No.2017-059196
发明内容
技术问题
专利文献1公开了用于当虚拟相机的移动量大于或等于预定量时抑制视觉识别的信息量的处理。但是，利用专利文献1中公开的技术，存在HMD用户不能识别可能引起视觉诱发的晕动症的操作并且因此经历这种视觉诱发的晕动症的情况。
鉴于这样的问题已经实现，本发明提供了用于减小在观看显示设备的用户中的视觉诱发的晕动症的技术。
问题的解决方案
本发明的一个方面是一种显示设备，其特征在于包括：获得部件，用于获得指示显示设备的移动的移动信息；以及通知部件，用于当移动信息是指示被预先设定为可能诱发晕动症的移动的疾病诱发移动的信息时通知警告。
发明的有益效果
根据本发明的配置，对于观看显示设备的用户，可以减小视觉诱发的晕动症。
通过以下结合附图的描述，本发明的其它特征和优点将变得清楚。注意的是，在整个附图中，相同的附图标记表示相同或相似的组件。
附图说明
包括在说明书中并且是说明书的构成部分的附图示出了本发明的实施例，并且与这些描述一起用于说明本发明的原理。
图1是示出系统的配置的示例的图。
图2是示出HMD 1101和图像处理设备1104的功能配置的示例的框图。
图3是示出移动确定单元1205的功能配置的示例的框图。
图4A是示出疾病诱发移动的示例的图。
图4B是示出疾病诱发移动的示例的图。
图4C是示出疾病诱发移动的示例的图。
图4D是示出疾病诱发移动的示例的图。
图5A是示出移动确定的示例的图。
图5B是示出移动确定的示例的图。
图5C是示出移动确定的示例的图。
图5D是示出移动确定的示例的图。
图5E是示出移动确定的示例的图。
图6A是示出混合现实空间图像的示例的图。
图6B是示出警告消息被叠加在其上的混合现实空间图像的示例的图。
图6C是示出警告消息被叠加在其上的混合现实空间图像的示例的图。
图7是示出由HMD 1101执行的处理的流程图。
图8是示出步骤S1705的处理的细节的流程图。
图9是示出移动定义单元1301中存储的信息的配置的示例的图。
图10是示出HMD 1101和图像处理设备1104的功能配置的示例的框图。
图11是示出移动确定单元1205的功能配置的示例的框图。
图12是示出移动确定的示例的图。
图13是示出移动定义单元1301中保持的表的配置的示例的图。
图14是示出步骤S1705的处理的细节的流程图。
图15是示出移动确定单元1205的功能配置的示例的框图。
图16是示出得分单元2501中保持的表的配置的示例的图。
图17是示出第三实施例的图。
图18是示出步骤S1705的处理的细节的流程图。
图19是示出HMD 1101和图像处理设备1104的功能配置的示例的框图。
图20是示出移动确定单元1205的功能配置的示例的框图。
图21A是示出得分单元3001中保持的信息的配置的示例的图。
图21B是示出得分单元3001中保持的信息的配置的示例的图。
具体实施方式
以下将参考附图描述本发明的实施例。注意的是，以下描述的实施例仅是执行本发明的方式的具体示例，并且是在专利权利要求的范围内公开的配置的具体实施例。
第一实施例
本实施例将描述一种系统的示例，该系统在头戴式显示设备中呈现通过合成真实空间的图像和虚拟空间的图像而获得的合成图像(即，混合现实空间的图像)，并在头戴式显示设备的移动与可能诱发晕动症的移动相对应时发出警告。
首先，将参考图1描述根据本实施例的系统的配置示例。如图1中所示，根据本实施例的系统包括HMD 1101、显示设备1103、图像处理设备1104和操作设备1105。HMD 1101和图像处理设备1104被配置成使得能够通过无线或有线网络彼此进行数据通信。例如，WLAN(无线局域网)、WPAN(无线个人局域网)等可以被用作HMD 1101和图像处理设备1104之间的无线网络。注意的是，HMD 1101和图像处理设备1104可以经由一个或多个通信设备彼此执行数据通信。此外，显示设备1103和操作设备1105连接到图像处理设备1104。
虽然本实施例将描述HMD 1101被用作头戴式显示设备的示例的情况，但是可以使用除HMD 1101之外的头戴式显示设备。此外，设备不限于头戴式显示设备，并且可以替代地使用诸如手持式显示设备之类的其它类型的显示设备。
接下来将参考图2中的框图描述HMD 1101和图像处理设备1104的功能配置的示例。
首先将描述HMD 1101。图像捕获单元1202捕获真实空间的移动图像，并且经由通信单元1204将捕获的移动图像的每帧的图像(真实空间的捕获的图像)依次发送到图像处理设备1104。例如，图像捕获单元1202被附接到HMD 1101，以便位于在他或她的头上戴着HMD 1101的用户(该用户在下文中可以被称为“HMD用户”)的眼睛附近。
姿态传感器单元1203是诸如加速度计、陀螺仪传感器等的传感器。姿态传感器单元1203测量表示其自身姿态(例如，四元数)、其自身加速度以及其自身绕构成用作其自身位置和姿态的基准的局部坐标系的每个轴(X轴、Y轴和Z轴)的角速度的姿态信息。在下文中，由姿态传感器单元1203测量的姿态信息、角速度和加速度可以被称为HMD 1101的姿态信息、角速度和加速度。在测量的信息当中，姿态传感器单元1203经由通信单元1204将姿态信息发送到图像处理设备1104。
注意的是，由姿态传感器单元1203测量的项不限于所有的其自身的姿态信息、角速度和加速度；可以仅测量这些中的一个或多个，或者代替所述项或除所述项之外，可以测量诸如其自身的位置之类的与单元本身相关的其它信息。
显示单元1206被附接到HMD 1101以便位于HMD用户的眼前，并显示从移动确定单元1205输出的图像、文本等。
音频输出单元1208被附接在可以将音频输出到HMD用户的耳朵(两只耳朵或一只耳朵)的位置处，并且输出基于从移动确定单元1205输出的音频信号的音频。
移动确定单元1205确定基于来自姿态传感器单元1203的测量结果的HMD 1101(HMD用户的头部)的移动是否与被预先设定为可能诱发晕动症的规定移动相对应。如果HMD1101的移动与规定移动相对应，那么移动确定单元1205将表示警告的信息叠加在从图像处理设备1104接收到的图像上并将该信息输出到显示单元1206，以便向用户通知警告。此外，如果HMD 1101的移动与规定的移动相对应，那么移动确定单元1205将表示警告的音频的音频信号输出到音频输出单元1208。稍后将参考图3中的框图详细描述移动确定单元1205。
控制单元1207包括诸如CPU之类的处理器以及存储由处理器执行的计算机程序、数据等的存储器。通过使用存储在存储器中的计算机程序、数据等执行处理，处理器整体上控制HMD 1101的操作，并执行或控制由HMD 1101执行的各种处理，这将稍后描述。通信单元1204用作用于与图像处理设备1104执行数据通信的接口。
接下来将描述图像处理设备1104。图像处理设备1104是诸如PC(个人计算机)、WS(工作站)、平板终端设备、智能电话等的计算机设备。通信单元1211用作用于与HMD 1101执行数据通信的接口。
计算单元1212经由通信单元1211获得从HMD 1101发送的捕获的图像和姿态信息。然后，根据获得的捕获的图像，计算单元1212计算图像捕获单元1202捕获捕获的图像的位置。用于根据捕获的图像来计算图像捕获设备捕获捕获的图像的位置的技术是已知的，并且在本实施例中可以采用任何这样的技术。例如，可以采用如下的技术，在该技术中基于其位置在真实空间中已知的特征(真实物体的边缘、角等)在真实空间中的三维位置以及捕获的图像中的特征的图像坐标(二维坐标)来计算捕获图像的图像捕获设备的位置。此外，可以基于由附接到图像捕获设备或包括该图像捕获设备的头戴式显示设备的位置传感器测量的值来获得图像捕获设备的位置，或者可以使用GPS获得图像捕获设备的位置。换句话说，可以采用任何技术，只要计算单元1212可以从当捕获从HMD 1101发送的捕获的图像的时起获得图像捕获单元1202的位置即可。此外，计算单元1212使用图像捕获单元1202和姿态传感器单元1203之间的相对姿态关系(这是被预先登记在内容DB 1214中的已知信息)来转换由获得的姿态信息表示的姿态传感器单元1203的姿态。通过这种转换可以找到图像捕获单元1202的姿态。注意的是，用于获得图像捕获单元1202的姿态的配置不限于任何特定的配置，并且例如，可以通过上述已知方法从捕获的图像中找到从当图像被捕获时起图像捕获单元1202的姿态。
CG描绘单元1213使用在内容DB 1214中登记的虚拟物体数据来构造虚拟物体，并且根据由虚拟物体数据定义的位置和姿态将所构造的虚拟物体布置在虚拟空间中。虚拟物体数据包括定义诸如虚拟物体的几何形状、颜色、质感和纹理之类的虚拟物体的外观的模型数据、指示虚拟物体将被布置的位置和姿态的数据以及与照亮虚拟空间的光源相关的数据等。
CG描绘单元1213然后生成从视点(视点的位置是图像捕获单元1202的位置，并且视点的姿态是图像捕获单元1202的姿态)看到的虚拟物体的图像作为虚拟空间图像。CG描绘单元1213然后生成通过合成由计算单元1212经由通信单元1211从HMD 1101获得的捕获的图像和生成的虚拟空间图像而获得的合成图像作为混合现实空间图像。CG描绘单元1213然后经由通信单元1211将生成的混合现实空间图像发送到HMD 1101。
控制单元1219包括诸如CPU之类的处理器以及存储由处理器执行的计算机程序、数据等的存储器。通过使用存储在存储器中的计算机程序、数据等执行处理，处理器整体上控制图像处理设备1104的操作，并执行或控制由图像处理设备1104执行的各种处理，这将稍后描述。通信单元1215用作用于将操作设备1105和显示设备1103连接到图像处理设备1104的接口。
接下来将描述操作设备1105。操作设备1105由诸如键盘等的用户接口构成，并且可以通过由用户操作来输入各种类型的指令。用户接口不限于键盘，并且可以是诸如鼠标或触摸面板之类的其它类型的接口。通过用户操作输入的指令经由通信单元1221被输入到图像处理设备1104，并且控制单元1219然后根据指令执行处理。
接下来将描述显示设备1103。显示设备1103由CRT屏幕、液晶屏幕等构成，并且能够将由图像处理设备1104执行的处理的结果显示为图像、文本等。例如，图像处理设备1104可以在显示设备1103中显示输出到HMD 1101的图像。此外，显示设备1103还可以显示用于编辑上面提到的警告的内容(文本、音频等)、表的内容(稍后描述)等的GUI。注意的是，显示设备1103可以是触摸面板屏幕。
虽然图像处理设备1104的所有上面提到的功能单元都可以被实现为硬件，但是计算单元1212和CG描绘单元1213可以被实现为软件(计算机程序)。在后一种情况下，计算机程序被存储在内容DB 1214中，并且计算单元1212和CG描绘单元1213的功能可以通过控制单元1219使用这些计算机程序执行处理来实现。
接下来，将参考图3中的框图描述移动确定单元1205的功能配置的示例。
移动定义单元1301针对使在将HMD 101戴在他或她的头上的同时观看显示单元1206的用户感到不适的多个类型的用户的头部(HMD 1101)的移动(即，疾病诱发移动)中的每个存储诱发晕动症的可能性和检测次序。图9示出了存储在移动定义单元1301中的信息的配置的示例。在图9的表中，与“诱发晕动症的可能性”和“检测次序”相关联地登记了四个疾病诱发移动中的每个，即，“面朝下”、“侧倾移动”、“突然加速”和“双轴旋转”。
图4A示出了疾病诱发移动“面朝下”的示例。图4A示出了在他或她的头上戴着HMD1101的用户1401的头部的朝向从图4A的左侧所示的状态(头部面朝前)改变为右侧所示的状态(头部面朝前倾斜)的情况。
图4B示出了疾病诱发移动“侧倾移动”的示例。在图4B中，在他或她的头上戴着HMD1101的用户1401的头部如箭头所指示的那样在侧倾方向上旋转。
图4C示出了疾病诱发移动“突然加速”的示例。在图4C中，在他或她的头上戴着HMD1101的用户1401如箭头所指示的那样迅速地将他或她的头部转向左。
图4D示出了疾病诱发移动“双轴旋转”的示例。在图4D中，在他或她的头上戴着HMD1101的用户1401的头部如两个箭头所指示的那样绕两个轴旋转(例如，同时在平移方向和倾斜方向上旋转)。
在图9的表中，“逐渐生病”被登记为与疾病诱发移动“面朝下”相对应的“诱发晕动症的可能性”，并且“迅速生病”被登记为与疾病诱发移动“侧倾移动”相对应的“诱发晕动症的可能性”。此外，在图9的表中，“逐渐生病”被登记为与疾病诱发移动“突然加速”相对应的“诱发晕动症的可能性”，并且“迅速生病”被登记为与疾病诱发移动“双轴旋转”相对应的“诱发晕动症的可能性”。“迅速生病”意味着当执行所述移动时可能会立即发生视觉诱发的晕动症。另一方面，“逐渐生病”意味着当持续所述移动时可能发生视觉诱发的晕动症。以这种方式，针对图9中的表中的每个疾病诱发移动，管理指示诱发晕动症的可能性的信息。
此外，在图9的表中，“4”被登记为与“面朝下”相对应的检测次序，“2”被登记为与“侧倾移动”相对应的检测次序，“3”被登记为与“突然加速”相对应的检测次序，并且“1”被登记为与“双轴旋转”相对应的检测次序。稍后将描述检测次序。虽然下面将移动定义单元1301描述为保持图9中所示的表，但是表中登记的疾病诱发移动并不限于图9中所示的疾病诱发移动，并且其它疾病诱发移动可以代替图9中的四个疾病诱发移动或作为其补充被登记。此外，与每个疾病诱发移动相对应的诱发晕动症的可能性、检测次序等不限于图9所示的这些。
确定单元1302确定基于来自姿态传感器单元1203的测量结果的HMD 1101的移动是否与疾病诱发移动相对应。如果移动定义单元1301保持图9中所示的表，那么确定单元1302首先确定基于来自姿态传感器单元1203的测量结果的HMD 1101的移动是否与作为与检测次序“1”相对应的疾病诱发移动的“双轴旋转”相对应。如果这个确定的结果指示HMD1101的移动不与“双轴旋转”相对应，那么确定单元1302确定基于来自姿态传感器单元1203的测量结果的HMD 1101的移动是否与作为与检测次序“2”相对应的疾病诱发移动的“侧倾移动”相对应。如果这个确定的结果指示HMD 1101的移动不与“侧倾移动”相对应，那么确定单元1302确定基于来自姿态传感器单元1203的测量结果的HMD 1101的移动是否与作为与检测次序“3”相对应的疾病诱发移动的“突然加速”相对应。如果这个确定的结果指示HMD1101的移动不与“突然加速”相对应，那么确定单元1302确定基于来自姿态传感器单元1203的测量结果的HMD 1101的移动是否与作为与检测次序“4”相对应的疾病诱发移动的“面朝下”相对应。如果这个确定的结果指示HMD 1101的移动不与“面朝下”相对应，那么确定单元1302确定基于来自姿态传感器单元1203的测量结果的HMD 1101的移动为“正常移动”，而不是疾病诱发移动。
移动的检测次序是基于移动立即诱发疾病的可能性的次序，并且在图9的情况下，“双轴旋转”最有可能立即诱发疾病，其后依次是“侧倾移动”、“突然加速”和“面朝下”。
这里将使用图4A至图4D中所示的疾病诱发移动(“面朝下”、“侧倾移动”、“突然加速”和“双轴旋转”)作为示例来描述确定单元1302确定HMD 1101(头部)的移动是否与疾病诱发移动相对应的示例。如图5A中所示，使用其自身位置作为原点，姿态传感器单元1203在以图像捕获单元1202的视线方向作为X轴上的正方向、从图像捕获单元1202垂直向上的方向作为Y轴上的正方向并且与X轴和Y轴正交的轴作为Z轴的坐标系中测量姿态信息、角速度和加速度。
在这种情况下首先将参考图5B描述确定单元1302通过其确定HMD 1101(头部)的移动是否为“面朝下”的处理。如图5B的左侧所示，当HMD用户1590在水平方向上看时，姿态传感器单元1203的重力轴如箭头1502所指示的那样朝向Y轴上的负方向。但是，当HMD用户1590面向水平方向时，从姿态传感器单元1203输出“在Y轴上的负方向的指示1G的向量”作为加速度。这里，当HMD用户1590向下看时，姿态传感器单元1203的轴如图5B的右侧所指示的那样倾斜，并且因此从姿态传感器单元1203输出的加速度被输出作为Y轴方向向量1503和X轴方向向量1504。HMD用户1590越向下看，X轴方向向量1504的大小变得越大。因而，例如，当X轴方向向量的尺寸大于或等于规定尺寸时，确定单元1302确定HMD 1101(头部)的移动为“面朝下”。
接下来将参考图5C描述确定单元1302通过其确定HMD 1101(头部)的移动是否为“侧倾移动”的处理。当HMD用户1590如箭头所指示的那样通过倾斜他或她的脖子等而在侧倾方向上旋转他或她的头部时，大于或等于规定值的角速度从姿态传感器单元1203被输出作为如箭头1505所指示的绕X轴的角速度。因而，例如，如果绕X轴的角速度大于或等于规定值，那么确定单元1302确定HMD 1101(头部)的移动为“侧倾移动”。
接下来，将参考图5D描述确定单元1302通过其确定HMD 1101(头部)的移动是否为“突然加速”的处理。如图5D的左侧所示，如果HMD用户1590如箭头所指示的那样迅速地转动他或她的头部，那么如图5D的右侧所示，大于或等于规定值的角速度从姿态传感器单元1203被输出作为由箭头Y1506指示的绕Y轴的角速度。因而，例如，如果绕Y轴的角速度的改变量大于或等于规定值，那么确定单元1302确定HMD 1101(头部)的移动为“突然加速”。注意的是，可以使用加速度代替角速度，并且如果已获得了大于或等于设定值的加速度，那么HMD 1101(头部)的移动可以被确定为“突然加速”。
接下来，将参考图5E描述确定单元1302通过其确定HMD 1101(头部)的移动是否为“双轴旋转”的处理。如图5E中所示，假设HMD用户1590如两个箭头所指示的那样在平移方向和倾斜方向上旋转他或她的头部。此时，从姿态传感器单元1203输出大于或等于规定值的角速度作为由箭头1508指示的绕Y轴的角速度，并且大于或等于规定值的角速度被输出作为如箭头1507所指示的绕Z轴的角速度。因而，例如，如果从姿态传感器单元1203输出大于或等于规定值的角速度作为绕Y轴的角速度，并且输出大于或等于规定值的角速度作为绕Z轴的角速度，那么确定单元1302确定HMD 1101(头部)的移动为“双轴旋转”。
以这种方式，确定单元1302可以基于从姿态传感器单元1203输出的测量结果来确定HMD 1101(头部)的移动是哪个疾病诱发移动。注意的是，用于确定来自姿态传感器单元1203的测量结果指示什么类型的移动的处理不限于任何特定类型的处理。
然后，当确定单元1302已确定HMD 1101(头部)的移动与疾病诱发移动相对应时，从存储在保持单元1303中的文本信息获得与和这个疾病诱发移动相对应的诱发晕动症的可能性相对应的文本信息。文本信息是表示警告(警告消息)的字符/字符串。本实施例假设与每个诱发晕动症的可能性相对应的文本信息被保持在保持单元1303中。例如，如果存在两个类型的诱发晕动症的可能性，即，“逐渐生病”和“迅速生病”，那么与“逐渐生病”相对应的文本信息和与“迅速生病”相对应的文本信息被存储在保持单元1303中。但是，例如，当确定单元1302已确定HMD 1101(头部)的移动是“面朝下”时，在图9的表中的对应的诱发晕动症的可能性是“逐渐生病”，并且因此从保持单元1303获得与“逐渐生病”的诱发晕动症的可能性相关联的文本信息。此外，例如，当确定单元1302已确定HMD 1101(头部)的移动是“侧倾移动”时，在图9的表中的对应的诱发晕动症的可能性是“迅速生病”，并且因此从保持单元1303获得与“迅速生病”的诱发晕动症的可能性相关联的文本信息。注意的是，除了保持与每个诱发晕动症的可能性相对应的文本信息之外或代替保持与每个诱发晕动症的可能性相对应的音频数据，保持单元1303还可以保持与每个疾病诱发移动相对应的文本信息。在这种情况下，确定单元1302从保持单元1303获得与HMD 1101(头部)的移动相对应的文本信息和/或与和HMD 1101(头部)的移动相对应的诱发晕动症的可能性相对应的文本信息。在从保持单元1303获得文本信息之后，确定单元1302将获得的文本信息发送到叠加单元1304。
此外，当确定单元1302已确定HMD 1101(头部)的移动与疾病诱发移动相对应时，从存储在保持单元1305中的音频数据获得与和这种疾病诱发移动相对应的诱发晕动症的可能性相对应的音频数据。本实施例假设与每个诱发晕动症的可能性相对应的音频数据被保持在保持单元1305中。例如，如果存在两个类型的诱发晕动症的可能性，即，“逐渐生病”和“迅速生病”，那么与“逐渐生病”相对应的音频数据和与“迅速生病”相对应的音频数据被存储在保持单元1305中。但是，例如，当确定单元1302已确定HMD 1101(头部)的移动是“面朝下”时，在图9的表中的对应的诱发晕动症的可能性是“逐渐生病”，并且因此从保持单元1305获得与“逐渐生病”的诱发晕动症的可能性相关联的音频数据。此外，例如，当确定单元1302已确定HMD 1101(头部)的移动是“侧倾移动”时，在图9的表中的对应的诱发晕动症的可能性是“迅速生病”，并且因此从保持单元1305获得与“迅速生病”的诱发晕动症的可能性相关联的音频数据。注意的是，除了保持与每个诱发晕动症的可能性相对应的音频数据之外或代替保持与每个诱发晕动症的可能性相对应的音频数据，保持单元1305还可以保持与每个疾病诱发移动相对应的音频数据。在这种情况下，确定单元1302从保持单元1305获得与HMD 1101(头部)的移动相对应的音频数据和/或与和HMD 1101(头部)的移动相对应的诱发晕动症的可能性相对应的音频数据。在从保持单元1305获得音频数据之后，确定单元1302将获得的音频数据发送到音频生成单元1306。
当从确定单元1302获得了文本信息时，叠加单元1304将表示该文本信息的消息叠加在经由通信单元1204从图像处理设备1104接收到的混合现实空间图像上，并将与该消息叠加的混合现实空间图像发送到显示单元1206。另一方面，当没有从确定单元1302获得文本信息时，叠加单元1304将经由通信单元1204从图像处理设备1104接收到的混合现实空间图像发送到显示单元1206。
例如，假设叠加单元1304从图像处理设备1104接收到了图6A中所示的混合现实空间图像。此时，当HMD 1101的当前的移动是正常移动而不是疾病诱发移动时，叠加单元1304将从图像处理设备1104接收到的图6A中所示的混合现实空间图像发送到显示单元1206，而不叠加警告消息。现在假设HMD 1101的当前的移动是疾病诱发移动并且该疾病诱发移动的诱发晕动症的可能性是“逐渐生病”。此时，如图6B中所示，叠加单元1304将警告消息601叠加在从图像处理设备1104接收到的图6A中所示的混合现实空间图像上，用于向HMD用户通知如果他或她继续当前的移动(头部移动)，那么他或她可能经历视觉诱发的晕动症。然后，叠加单元1304将叠加了警告消息601的混合现实空间图像发送到显示单元1206。现在假设HMD 1101的当前的移动是疾病诱发移动并且疾病诱发移动的诱发晕动症的可能性是“迅速生病”。此时，如图6C中所示，叠加单元1304将警告消息602叠加在从图像处理设备1104接收到的图6A中所示的混合现实空间图像上，用于向HMD用户通知他或她可能由于当前的移动(头部移动)而经历视觉诱发的晕动症。然后，叠加单元1304将叠加了警告消息602的混合现实空间图像发送到显示单元1206。注意的是，警告消息的内容、显示方法等不限于任何特定的内容、显示方法等。
当从确定单元1302获得了音频数据时，音频生成单元1306生成基于这个音频数据的音频信号，并将该音频信号发送到音频输出单元1208。通过这种方式，当HMD 1101的当前的移动是疾病诱发移动时，从音频输出单元1208输出表示基于诱发晕动症的可能性的警告的音频。换句话说，如果诱发晕动症的可能性是“逐渐生病”，那么从音频输出单元1208输出用于向HMD用户通知如果他或她继续当前的移动(头部移动)那么他或她可能经历视觉诱发的晕动症的音频。另一方面，如果诱发晕动症的可能性是“迅速生病”，那么从音频输出单元1208输出用于向HMD用户通知他或她可能由于当前的移动(头部移动)而经历视觉诱发的晕动症的音频。但是，当HMD 1101的当前的移动是正常移动而不是疾病诱发移动时，确定单元1302不将音频数据发送到音频生成单元1306，并且因此没有音频从音频输出单元1208输出。
警告可以仅作为由显示单元1206进行的上述显示、仅作为音频输出单元1208的上述音频输出或者作为上述显示和音频输出两者被通知给HMD用户。
接下来将参考作为指示该处理的流程图的图7描述HMD 1101通过其在显示单元1206中显示一个帧的混合现实空间图像的处理。通过重复根据图7中的流程图的处理，HMD1101可以在显示单元1206中显示多个帧的混合现实空间图像。
在步骤S1701中，图像捕获单元1202通过捕获真实空间的图像来获得真实空间的捕获的图像，并且经由通信单元1204将获得的捕获的图像发送到图像处理设备1104。在步骤S1702中，姿态传感器单元1203测量并获得其自身的姿态信息、加速度和角速度，并且经由通信单元1204将获得的姿态信息发送到图像处理设备1104。
在步骤S1703中，叠加单元1304经由通信单元1204接收从图像处理设备1104发送的混合现实空间图像。在步骤S1705中，确定单元1302确定基于在步骤S1702中由姿态传感器单元1203获得的测量结果(姿态信息、角速度和加速度)的HMD 1101(HMD用户的头部)的移动是正常移动还是疾病诱发移动中的一个。将参考图8中的流程图详细描述在步骤S1705中执行的处理。
在步骤S1801中，确定单元1302确定由姿态传感器单元1203获得的测量结果中的一些或全部是否满足与在由移动定义单元1301保持并在图9中示出的表中具有检测次序“1”的“双轴旋转”的疾病诱发移动相对应的条件。已经参考图5E描述了这个确定处理的示例。
假设已确定由姿态传感器单元1203获得的测量结果中的一些或全部满足与“双轴旋转”的疾病诱发移动相对应的条件(即，由来自姿态传感器单元1203的测量结果指示的移动与“双轴旋转”相对应)。此时，确定单元1302确定基于来自姿态传感器单元1203的测量结果的HMD 1101(头部)的移动是“双轴旋转”，并且处理移至步骤S1805。但是，如果已确定由姿态传感器单元1203获得的测量结果中的一些或全部不满足与“双轴旋转”的疾病诱发移动相对应的条件(即，由来自姿态传感器单元1203的测量结果指示的移动不与“双轴旋转”相对应)，那么处理移至步骤S1802。
在步骤S1802中，确定单元1302确定由姿态传感器单元1203获得的测量结果中的一些或全部是否满足与在由移动定义单元1301保持并在图9中示出的表中具有检测次序“2”的“侧倾移动”的疾病诱发移动相对应的条件。已经参考图5C描述了这个确定处理的示例。
假设已确定由姿态传感器单元1203获得的测量结果中的一些或全部满足与“侧倾移动”的疾病诱发移动相对应的条件(即，由来自姿态传感器单元1203的测量结果指示的移动与“侧倾移动”相对应)。此时，确定单元1302确定基于来自姿态传感器单元1203的测量结果的HMD 1101(头部)的移动是“侧倾移动”，并且处理移至步骤S1805。但是，如果已确定由姿态传感器单元1203获得的测量结果中的一些或全部不满足与“侧倾移动”的疾病诱发移动相对应的条件(即，由来自姿态传感器单元1203的测量结果指示的移动不与“侧倾移动”相对应)，那么处理移至步骤S1803。
在步骤S1803中，确定单元1302确定由姿态传感器单元1203获得的测量结果中的一些或全部是否满足与在由移动定义单元1301保持并在图9中示出的表中具有检测次序“3”的“突然加速”的疾病诱发移动相对应的条件。已经参考图5D描述了这个确定处理的示例。
假设已确定由姿态传感器单元1203获得的测量结果中的一些或全部满足与“突然加速”的疾病诱发移动相对应的条件(即，由来自姿态传感器单元1203的测量结果指示的移动与“突然加速”相对应)。此时，确定单元1302确定基于来自姿态传感器单元1203的测量结果的HMD 1101(头部)的移动是“突然加速”，并且处理移至步骤S1805。但是，如果已确定由姿态传感器单元1203获得的测量结果中的一些或全部不满足与“突然加速”的疾病诱发移动相对应的条件(即，由来自姿态传感器单元1203的测量结果指示的移动不与“突然加速”相对应)，那么处理移至步骤S1804。
在步骤S1804中，确定单元1302确定由姿态传感器单元1203获得的测量结果中的一些或全部是否满足与在由移动定义单元1301保持并在图9中示出的表中具有检测次序“4”的“面朝下”的疾病诱发移动相对应的条件。已经参考图5B描述了这个确定处理的示例。
假设已确定由姿态传感器单元1203获得的测量结果中的一些或全部满足与“面朝下”的疾病诱发移动相对应的条件(即，由来自姿态传感器单元1203的测量结果指示的移动与“面朝下”相对应)。此时，确定单元1302确定基于来自姿态传感器单元1203的测量结果的HMD 1101(头部)的移动是“面朝下”，并且处理移至步骤S1805。现在假设已确定由姿态传感器单元1203获得的测量结果中的一些或全部不满足与“面朝下”的疾病诱发移动相对应的条件(即，由来自姿态传感器单元1203的测量结果指示的移动不与“面朝下”相对应)。此时，确定单元1302确定基于来自姿态传感器单元1203的测量结果的HMD 1101(头部)的移动是正常移动，并且处理移至步骤S1706。
在步骤S1805中，确定单元1302从移动定义单元1301中保持并在图9中示出的表中获得与和基于来自姿态传感器单元1203的测量结果的HMD 1101(头部)的移动相对应的疾病诱发移动相对应的诱发晕动症的可能性。然后，处理移至步骤S1706。
返回图7，接下来，在步骤S1706中，作为在步骤S1705中执行的处理的结果，确定单元1302确定HMD 1101(头部)的移动是否是正常移动。如果确定HMD 1101(头部)的移动是正常移动，那么处理移至步骤S1707。但是，如果HMD 1101(头部)的移动不是正常移动(即，是疾病诱发移动之一)，那么处理移至步骤S1708。
在步骤S1707中，叠加单元1304将在上述步骤S1703中从图像处理设备1104接收到的混合现实空间图像发送到显示单元1206，并使混合现实空间图像显示在显示单元1206中。
在步骤S1708中，确定单元1302确定在上述步骤S1805中获得的诱发晕动症的可能性是否为“迅速生病”。如果确定在上述步骤S1805中获得的诱发晕动症的可能性是“迅速生病”，那么处理移至步骤S1709。但是，如果确定在上述步骤S1805中获得的诱发晕动症的可能性是“逐渐生病”，那么处理移至步骤S1710。
在步骤S1709中，确定单元1302从保持单元1303获得与“迅速生病”相对应的文本信息，并然后将获得的文本信息发送到叠加单元1304。然后，叠加单元1304将由从确定单元1302接收到的文本信息指示的警告消息叠加在上述步骤S1703中从图像处理设备1104接收到的混合现实空间图像上，并将叠加有警告消息的混合现实空间图像发送到显示单元1206。
在步骤S1710中，确定单元1302从保持单元1303获得与“逐渐生病”相对应的文本信息，并然后将获得的文本信息发送到叠加单元1304。然后，叠加单元1304将由从确定单元1302接收到的文本信息指示的警告消息叠加在上述步骤S1703中从图像处理设备1104接收到的混合现实空间图像上，并将叠加有警告消息的混合现实空间图像发送到显示单元1206。
注意的是，图7中的流程图仅指示当基于来自姿态传感器单元1203的测量结果的HMD 1101(头部)的移动是疾病诱发移动时，进行显示通知作为通知的警告。但是，还可以在步骤S1709和S1710中执行对应的音频通知。换句话说，除了步骤S1709中的显示通知之外或代替步骤S1709中的显示通知，可以执行基于与“迅速生病”相对应的音频数据的音频通知，并且除了步骤S1710中的显示通知之外或代替步骤S1710中的显示通知，可以执行基于与“逐渐生病”相对应的音频数据的音频通知。
因此，根据本实施例，通过在HMD用户以可能诱发疾病的方式移动他或她的头部时向HMD用户提供警告，可以提示HMD用户注意并了解情况。
第一实施例的变形例
第一实施例将HMD 1101的功能单元描述为全部由硬件实现。但是，移动确定单元1205的一些功能(例如，图3中所示的确定单元1302、叠加单元1304和音频生成单元1306)可以由软件(计算机程序)来实现。在这种情况下，计算机程序被存储在控制单元1207中包括的存储器中。然后可以通过控制单元1207的处理器执行计算机程序来实现确定单元1302、叠加单元1304和音频生成单元1306的功能。
在第一实施例中，使用诸如加速度计、陀螺传感器等的传感器来测量姿态信息、加速度和角速度，但是可以代替地使用其它方法获得HMD 1101(头部)的移动。例如，可以使用磁性传感器、光学传感器或超声传感器来测量HMD 1101的位置、姿态等，然后HMD 1101或图像处理设备1104可以从测量的位置、姿态等的改变中找到加速度、角速度等。可替代地，可以将捕获HMD用户的图像的图像捕获设备安装在真实空间中，并且HMD 1101或图像处理设备1104可以从由图像捕获设备获得的捕获的图像中找到HMD用户的头部的姿态信息、加速度和角速度。
此外，在第一实施例中，通过显示器和/或音频来通知警告，但是可以通过不同的通知方法来通知警告。例如，振动器可以被安装在HMD 1101中，并且可以使用基于与HMD1101(头部)的当前的移动相对应的诱发晕动症的可能性的振动模式来向HMD用户通知警告、诱发晕动症的可能性等。可替代地，可以通过灯的点亮/闪烁模式来通知警告、诱发晕动症的可能性等。在这种情况下，例如，可以通过图像处理设备1104根据与HMD 1101(头部)的当前的移动相对应的诱发晕动症的可能性来控制灯的点亮/闪烁模式来通知警告、诱发晕动症的可能性等。
此外，虽然第一实施例将HMD 1101描述为视频透视型HMD，但是代替地可以采用光学透视型HMD。在这种情况下，有必要使用各种上述已知技术中的一个(诸如通过使用传感器)来找到视点的位置。此外，图像处理设备1104将生成的虚拟空间图像发送到HMD 1101。然后，当从确定单元1302获得了文本信息时，叠加单元1304将基于该文本信息的警告消息叠加在从图像处理设备1104接收到的虚拟空间图像上，然后叠加有警告消息的虚拟空间图像被显示在显示单元1206中。另一方面，当未从确定单元1302获得文本信息时，叠加单元1304在显示单元1206中显示从图像处理设备1104接收到的虚拟空间图像。
此外，在第一实施例中，代替警告消息或除警告消息之外，警告图像可以被叠加在混合现实空间图像上。例如，警告图像是诸如表示警告的标记、字符图像等的与警告相关的图像。警告图像可以是预先创建的二维图像，或者可以是由叠加单元1304基于视点的位置和姿态生成的三维虚拟物体的CG图像。
此外，虽然在第一实施例中由姿态传感器单元1203测量加速度，但是用于获得加速度的方法不限于特定的获得方法。例如，如果获得了图像捕获单元1202的位置，那么HMD1101或图像处理设备1104可以基于所述位置的改变来找到加速度。
此外，在第一实施例中，警告的内容旨在通知如果HMD用户继续当前的移动(头部移动)那么他或她可能经历视觉诱发的晕动症、HMD用户可能由于当前的移动(头部移动)而经历视觉诱发的晕动症等。但是，警告的内容可以是任何内容，只要它与警告相关即可。此外，通知的内容不限于警告，并且例如可以简单地是用于向HMD用户通知他或她的当前的头部移动的消息。
此外，计算单元1212可以被移动到HMD 1101。在这种情况下，计算单元1212找到图像捕获单元1202的位置和姿态，并将该位置和姿态发送到图像处理设备1104。CG描绘单元1213然后基于该位置和姿态生成虚拟空间图像，并将虚拟空间图像发送到HMD 1101。叠加单元1304生成通过合成来自图像捕获单元1202的捕获的图像和从图像处理设备1104接收到的虚拟空间图像而获得的合成图像作为混合现实空间图像。以这种方式，用于生成混合现实空间图像的处理在图像处理设备1104和HMD 1101之间被划分的方式不限于任何特定的配置。
第二实施例
包括本实施例的以下实施例和变形例将集中于与第一实施例的不同之处，并且以下未明确提到的项目被假设为与第一实施例相同。首先，接下来将参考图10中的框图描述HMD 1101和图像处理设备1104的功能配置的示例。
通过将在图2所示的配置中的图像处理设备1104中包括的计算单元1212移动到HMD 1101来获得图10中所示的配置。然后，根据由图像捕获单元1202捕获的图像，计算单元1212计算图像捕获单元1202捕获捕获的图像的位置。此外，计算单元1212使用图像捕获单元1202与姿态传感器单元1203之间的相对姿态关系(这是被预先登记在包括在HMD 1101中的存储器(未示出)中的已知信息)来转换由姿态传感器单元1203测量的姿态。通过这种转换可以找到图像捕获单元1202的姿态。然后，计算单元1212经由通信单元1204将图像捕获单元1202的位置和姿态发送到图像处理设备1104。
然后，CG描绘单元1213生成从视点(视点的位置和姿态分别是经由通信单元1211从HMD 1101接收到的图像捕获单元1202的位置和姿态)看到的虚拟物体的图像作为虚拟空间图像。CG描绘单元1213然后生成通过合成经由通信单元1211从HMD 1101接收到的捕获的图像和生成的虚拟空间图像而获得的合成图像作为混合现实空间图像，并经由通信单元1211将生成的混合现实空间图像发送到HMD 1101。
移动确定单元1205确定基于由计算单元1212计算出的图像捕获单元1202的位置和姿态、由姿态传感器单元1203测量的加速度和角速度等的HMD用户的头部的移动是否与被预先设定为可能诱发晕动症的移动的规定移动相对应。将参考图11中的框图描述根据本实施例的移动确定单元1205的功能配置的示例。
计算单元1212将如上所述找到的图像捕获单元1202的位置和姿态以及由姿态传感器单元1203测量的加速度和角速度发送到确定单元1302。确定单元1302还获得了图像捕获单元1202的位置，因此，除了确定如第一实施例中描述的移动之外，还可以确定基于图像捕获单元1202的位置的移动；例如，如图12中所示，还可以检测步行移动。
在图12中，HMD用户1590在面朝下的同时在由箭头指示的方向上步行。例如，可以如下确定HMD用户是否以这种方式移动。已经参考图5B描述了用于确定HMD用户1590面朝下的方法。为了确定HMD用户1590是否步行，例如如果HMD用户1590每单位时间的位置的改变大于或等于规定量，那么可以确定他或她在步行。
图13是示出移动定义单元1301中保持的表的配置的示例的图。图13中所示的表将作为新的疾病诱发移动的“在面朝下的同时步行”以及作为对应的诱发晕动症的可能性的“逐渐生病”添加到图9所示的表中。此外，针对每个疾病诱发移动的检测次序已从图9中所示的检测次序改变。虽然由移动定义单元1301保持的表从图9中所示的表改变为图13中所示的表，但是由确定单元1302执行的操作是相同的。换句话说，根据检测次序确定基于从计算单元1212接收到的位置和姿态、角速度和加速度的HMD用户的头部的移动与图13中指示的哪个疾病诱发移动相对应。
本实施例与第一实施例的不同之处在于，HMD 1101在图7中的流程图的步骤S1702和步骤S1705中执行以下处理。
在步骤S1702中，姿态传感器单元1203测量并获得其自身的姿态信息、加速度和角速度。计算单元1212从由图像捕获单元1202捕获的图像中找到图像捕获单元1202的位置，从来自姿态传感器单元1203的姿态信息中找到图像捕获单元1202的姿态，并经由通信单元1204将图像捕获单元1202的位置和姿态发送到图像处理设备1104。
在步骤S1705中，根据图14中的流程图执行处理。步骤S1801至S1804与第一实施例的不同之处在于，使用图13中的表代替图9中的表。
在步骤S1803中，如果确定单元1302已确定来自姿态传感器单元1203的测量结果中的一些或全部不满足与“突然加速”的疾病诱发移动相对应的条件，那么处理移至步骤S2401。
在步骤S2401中，确定单元1302确定从计算单元1212获得的位置和姿态、加速度和角速度中的一些或全部是否满足与在由移动定义单元1301保持并在图13中示出的表中具有检测次序“4”的“在面朝下的同时步行”的疾病诱发移动相对应的条件。
假设已确定从计算单元1212获得的位置和姿态、加速度和角速度中的一些或全部满足与“在面朝下的同时步行”的疾病诱发移动相对应的条件。此时，确定单元1302确定HMD1101(头部)的移动是“在面朝下的同时步行”，并且处理移至步骤S1805。但是，如果从计算单元1212获得的位置和姿态、加速度和角速度中的一些或全部不满足与“在面朝下的同时步行”的疾病诱发移动相对应的条件，那么处理移至步骤S1804。在步骤S1804中，确定单元1302确定由姿态传感器单元1203获得的测量结果中的一些或全部是否满足与在由移动定义单元1301保持并在图13中示出的表中具有检测次序“5”的“面朝下”的疾病诱发移动相对应的条件。
第三实施例
将参考图15中的框图描述根据本实施例的移动确定单元1205的功能配置的示例。得分单元2501保持表，该表除了诱发晕动症的可能性和检测次序之外，还保持针对每个疾病诱发移动的得分。图16示出了得分单元2501中保持的表的配置的示例。
图16中所示的表将“得分”项添加到在图13的表中，并且与每个疾病诱发移动相对应的得分被登记。在图16的表中、“0.5”、“5”、“1”、“10”和“1”的得分分别被登记为针对疾病诱发移动“面朝下”、“侧倾移动”、“突然加速”、“双轴旋转”和“在面朝下的同时步行”的得分。
在本实施例中，每当确定HMD 1101的移动与疾病诱发移动相对应时，确定单元1302获得与该疾病诱发移动相对应的得分，并累积获得的得分。当累积的得分的总和(累积得分)变得大于或等于规定值时，确定单元1302输出文本信息、音频数据等以通知警告。在通知了警告之后，确定单元1302将累积得分重置为0。注意的是，当启动HMD 1101时，累积得分也会被重置为0。
例如，如图17中所示，当HMD 1101的移动被确定为直到时刻t为止都是正常移动，并且HMD 1101的移动在时刻t处被确定为是疾病诱发移动“侧倾移动”时，从图16中的表获得对应的得分“5”。此时累积得分的总和(累积得分)为“5”。然后，当HMD 1101的移动在时刻(t+1)处被确定为是疾病诱发移动“突然加速”时，从图16中的表获得对应的得分“1”，并且因此此时累积得分为“6”。然后，当HMD 1101的移动在时刻(t+2)处被确定为是疾病诱发移动“突然加速”时，从图16中的表获得对应的得分“1”，并且因此此时累积得分为“7”。然后，当HMD 1101的移动在时刻(t+3)处被确定为是疾病诱发移动“突然加速”时，从图16中的表获得对应的得分“1”，并且因此此时累积得分为“8”。然后，当HMD 1101的移动在时刻(t+4)处被确定为是疾病诱发移动“突然加速”时，从图16中的表获得对应的得分“1”，并且因此累积得分为“9”。然后，当HMD 1101的移动在时刻(t+5)处被确定为是疾病诱发移动“在面朝下的同时步行”时，从图16的表获得对应的得分“1”，因此累积得分为“10”。这里，如果规定值被设定为“10”，那么在时刻(t+5)处累积得分变得大于或等于规定值，并且因此确定单元1302输出文本信息、音频数据等，以便通知警告。
注意的是，时刻t、(t+1)、(t+2)等不表示顺序的离散时刻，而是表示HMD 1101的移动已被确定为与疾病诱发移动之一相对应的时刻。
在本实施例中，图7中的流程图与第一实施例中描述的流程图不同之处如下。根据本实施例的步骤S1702与根据第二实施例的步骤S1702相同。在步骤S1705中，根据图18中的流程图执行处理。在步骤S2805中，确定单元1302获得并累积与和HMD 1101(头部)的移动相对应的疾病诱发移动相对应的得分。如果累积得分大于或等于规定值，那么确定单元1302确定HMD 1101(头部)的移动不是正常移动，而如果累积得分小于规定值，那么确定单元1302确定HMD 1101(头部)的移动为正常移动。然后，处理移至步骤S1706。
此外，在本实施例中，从图7中的流程图中删除了步骤S1708和S1709，并且当HMD1101(头部)的移动不是正常移动时，处理通过步骤S1706移至步骤S1710。在本实施例中，保持单元1303存储一种类型的警告消息，并且因此，在根据本实施例的步骤S1710中，确定单元1302从保持单元1303获得该消息并将该消息发送到叠加单元1304。
第四实施例
在第一实施例至第三实施例中，根据HMD用户的头部的移动来通知警告，而不管HMD用户是谁。但是，关于视觉诱发的晕动症，存在明显的个体差异；例如，有些人在戴着HMD并且在面朝下的同时步行时会更可能感到不适，而有些人在面朝下的同时步行时不太可能感到不适。鉴于此，在本实施例中，针对每个用户或针对每个用户属性来管理第三实施例中描述的得分。然后，与HMD用户相对应的得分被用于计算累积得分。在下文中将描述与第三实施例的不同之处。
接下来将参考图19中的框图描述HMD 1101和图像处理设备1104的功能配置的示例。图19的配置将认证单元2901添加到图10的HMD 1101的配置。认证单元2901是用于识别戴着HMD 1101的用户的单元，并且可以采用任何配置，只要它是能够进行这种识别的配置即可。例如，认证单元2901可以通过认证用户的虹膜、指纹等来唯一地识别用户。可替代地，可以在HMD 1101中设置使用户能够输入他或她自己的用户ID和密码的操作单元，并且认证单元2901可以通过认证由用户操作操作单元而输入的用户ID和密码来唯一地识别用户。认证单元2901在用户使用HMD 1101之前识别在他或她的头上戴着HMD 1101的用户。然后，认证单元2901将对识别出的用户唯一的信息(用户信息)发送到移动确定单元1205。
将参考图20中的框图描述移动确定单元1205的功能配置的示例。图20的配置与图15的配置相对应，但是来自认证单元2901的输出(用户信息)被输入到确定单元1302，并且设置了得分单元3001来代替得分单元2501。
得分单元3001以逐个用户为基础保持诸如图16中所示的表之类的表，该表管理针对每个疾病诱发移动的诱发晕动症的可能性、检测次序以及得分。图21A示出了得分单元3001中保持的信息的配置的示例。
图21A中所示的表是管理针对每个用户的疾病诱发移动、诱发晕动症的可能性、检测次序以及得分的表的示例。在图21A中，该表管理针对用户A的疾病诱发移动、诱发晕动症的可能性、检测次序和得分，以及针对用户B的疾病诱发移动、诱发晕动症的可能性、检测次序和得分。在图21A的表中，针对用户A，“突然移动”和“双轴旋转”被指派比针对用户B指派的得分高的得分，并且针对用户A，“在面朝下的同时步行”被指派比针对用户B指派的得分低的得分。换句话说，这指示用户A比用户B不太可能由于“在面朝下的同时步行”而感到不适，而用户B比用户A更可能由于“在面朝下的同时步行”而感到不适。
注意的是，得分单元3001可以保持图21B中所示的表以代替图21A中所示的表。在图21B中，该表将用户A和用户C管理为“初学者”，并且将用户B和用户D管理为“有经验的用户”。这个表管理针对“初学者”的疾病诱发移动、诱发晕动症的可能性、检测次序和得分以及针对“有经验的用户”的疾病诱发移动、诱发晕动症的可能性、检测次序和得分。一般而言，有经验的用户不太可能感到不适，因此在图21B中所示的示例中，给予有经验的用户较低得分。以这种方式，可以根据诸如用户是初学者还是有经验的用户之类的用户属性将疾病诱发移动、诱发晕动症的可能性、检测次序和得分作为集合进行管理。
注意的是，得分单元3001可以保持图21A中所示的表和图21B中所示的表这两者，并且确定单元1302可以使用由用户操作操作设备1105而选择的表之一。
在本实施例中，在开始根据图7的流程图的处理之前，认证单元2901获得HMD用户的用户信息，并将该信息发送到移动确定单元1205。在本实施例中，在图7的流程图中的步骤S1702中，执行与根据第二实施例的步骤S1702中执行的处理相同的处理，并且在步骤S1705中，确定单元1302根据图18的流程图执行处理。但是，在步骤S2805中，确定单元1302获得并累积与包括由用户信息指示的用户以及与HMD 1101(头部)的移动相对应的疾病诱发移动的集合相对应的得分。如果累积得分大于或等于规定值，那么确定单元1302确定HMD1101(头部)的移动不是正常移动，而如果累积得分小于规定值，那么确定单元1302确定HMD1101(头部)的移动为正常移动。然后，处理移至步骤S1706。
注意的是，上述实施例和变形例中的一些或全部可以适当地彼此组合。此外，可以选择性地使用上述实施例和变形例中的一些或全部。
其它实施例
本发明还可以被实现为通过以下方式而执行的处理：通过网络或通过存储介质将实现上述实施例的一个或多个功能的程序供应给系统或装置，然后使系统或装置的计算机的一个或多个处理器读出并执行程序。本发明还可以通过实现一个或多个功能的电路(例如，ASIC)来实现。
本发明不限于以上实施例，并且可以在本发明的精神和范围内进行各种改变和修改。因此，为了告知公众本发明的范围，提出所附权利要求。
本申请要求于2017年11月2日提交的日本专利申请No.2017-213224的优先权，并且其全部内容通过引用并入本文。
附图标记列表
1202：图像捕获单元
1203：姿态传感器单元
1205：移动确定单元
1207：控制单元
1208：显示单元
1208：音频输出单元

Claims (20)

1.一种显示设备，其特征在于包括：
获得部件，用于获得指示显示设备的移动的移动信息；以及
通知部件，用于当移动信息是指示被预先设定为可能诱发晕动症的移动的疾病诱发移动的信息时通知警告。
2.根据权利要求1所述的显示设备，其特征在于
通知部件从多个疾病诱发移动中更可能诱发疾病的疾病诱发移动起依次确定移动信息是否是指示疾病诱发移动的信息。
3.根据权利要求1或2所述的显示设备，其特征在于
通知部件通知与疾病诱发移动相对应的警告。
4.根据权利要求1至3中的任一项所述的显示设备，其特征在于
通知部件通知与疾病诱发移动将诱发疾病的可能性相对应的警告。
5.根据权利要求1所述的显示设备，其特征在于
每当移动信息被确定为是指示疾病诱发移动的信息时，通知部件获得并累积与该疾病诱发移动相对应的得分，并且当累积得分的总和大于或等于规定值时通知警告。
6.根据权利要求1所述的显示设备，其特征在于
每当移动信息被确定为是指示疾病诱发移动的信息时，通知部件累积与包括该疾病诱发移动和显示设备的用户的集合相对应的得分，并且当累积得分的总和大于或等于规定值时通知警告。
7.根据权利要求1至6中的任一项所述的显示设备，其特征在于还包括：
图像捕获部件；以及
用于获得合成图像的部件，所述合成图像是基于显示设备的位置和姿态的虚拟空间的图像和由图像捕获部件捕获的图像的合成，
其中，当移动信息是指示疾病诱发移动的信息时，通知部件将指示警告的信息叠加在合成图像上并显示叠加有信息的合成图像。
8.根据权利要求1至7中的任一项所述的显示设备，其特征在于
当移动信息是指示疾病诱发移动的信息时，通知部件输出指示警告的音频。
9.根据权利要求1至8中的任一项所述的显示设备，其特征在于
移动信息是显示设备的姿态、加速度、角速度和位置中的至少一个。
10.根据权利要求1至9中的任一项所述的显示设备，其特征在于
显示设备是头戴式显示设备。
11.一种用于显示设备的控制方法，所述方法的特征在于包括：
获得步骤，显示设备的获得部件获得指示显示设备的移动的移动信息；以及
通知步骤，当移动信息是指示被预先设定为可能诱发晕动症的移动的疾病诱发移动的信息时显示设备的通知部件通知警告。
12.根据权利要求11所述的用于显示设备的控制方法，其特征在于
在通知步骤中，从多个疾病诱发移动中更可能诱发疾病的疾病诱发移动起依次确定移动信息是否是指示疾病诱发移动的信息。
13.根据权利要求11或12所述的用于显示设备的控制方法，其特征在于
在通知步骤中，通知与疾病诱发移动相对应的警告。
14.根据权利要求11至13中的任一项所述的用于显示设备的控制方法，其特征在于
在通知步骤中，通知与疾病诱发移动将诱发疾病的可能性相对应的警告。
15.根据权利要求11所述的用于显示设备的控制方法，其特征在于
在通知步骤中，每当移动信息被确定为是指示疾病诱发移动的信息时，获得并累积与该疾病诱发移动相对应的得分，并且当累积得分的总和大于或等于规定值时通知警告。
16.根据权利要求11所述的用于显示设备的控制方法，其特征在于
在通知步骤中，每当移动信息被确定为是指示疾病诱发移动的信息时，累积与包括该疾病诱发移动和显示设备的用户的集合相对应的得分，并且当累积得分的总和大于或等于规定值时通知警告。
17.根据权利要求11至16中的任一项所述的用于显示设备的控制方法，其特征在于还包括：
获得合成图像的步骤，所述合成图像是基于显示设备的位置和姿态的虚拟空间的图像和由图像捕获部件捕获的图像的合成，
其中，在通知步骤中，当移动信息是指示疾病诱发移动的信息时，指示警告的信息被叠加在合成图像上并显示叠加有信息的合成图像。
18.根据权利要求11至17中的任一项所述的用于显示设备的控制方法，其特征在于
在通知步骤中，当移动信息是指示疾病诱发移动的信息时，输出指示警告的音频。
19.根据权利要求11至18中的任一项所述的用于显示设备的控制方法，其特征在于
移动信息是显示设备的姿态、加速度、角速度和位置中的至少一个。
20.根据权利要求11至19中的任一项所述的用于显示设备的控制方法，其特征在于
显示设备是头戴式显示设备。
CN201880069813.2A 2017-11-02 2018-09-26 显示设备和显示设备控制方法 Active CN111279410B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017213224A JP6934806B2 (ja) 2017-11-02 2017-11-02 表示装置、表示装置の制御方法
JP2017-213224 2017-11-02
PCT/JP2018/035692 WO2019087623A1 (ja) 2017-11-02 2018-09-26 表示装置、表示装置の制御方法

Publications (2)

Publication Number Publication Date
CN111279410A true CN111279410A (zh) 2020-06-12
CN111279410B CN111279410B (zh) 2022-10-11

Family

ID=66331669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880069813.2A Active CN111279410B (zh) 2017-11-02 2018-09-26 显示设备和显示设备控制方法

Country Status (6)

Country Link
US (1) US11474595B2 (zh)
JP (2) JP6934806B2 (zh)
CN (1) CN111279410B (zh)
DE (1) DE112018005224T5 (zh)
GB (1) GB2582106B (zh)
WO (1) WO2019087623A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6934806B2 (ja) 2017-11-02 2021-09-15 キヤノン株式会社 表示装置、表示装置の制御方法
JP7467094B2 (ja) 2019-12-09 2024-04-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040239685A1 (en) * 2001-12-20 2004-12-02 Olympus Corporation Image display device
CN101034309A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于多加速度传感器的虚拟现实头盔防眩晕系统及方法
CN103202010A (zh) * 2010-11-09 2013-07-10 富士胶片株式会社 增强现实感提供设备
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
US20140176296A1 (en) * 2012-12-19 2014-06-26 HeadsUp Technologies, Inc. Methods and systems for managing motion sickness
CN105204642A (zh) * 2015-09-24 2015-12-30 小米科技有限责任公司 虚拟现实交互画面的调节方法和装置
CN106339084A (zh) * 2016-08-21 2017-01-18 乐视控股（北京）有限公司 虚拟现实设备的控制方法及系统
US20170075417A1 (en) * 2015-09-11 2017-03-16 Koei Tecmo Games Co., Ltd. Data processing apparatus and method of controlling display
US20170111636A1 (en) * 2014-07-28 2017-04-20 Sony Corporation Information processing apparatus, information processing method, computer program, and image display system
JP2017079389A (ja) * 2015-10-20 2017-04-27 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
CN107066077A (zh) * 2015-11-02 2017-08-18 Lg电子株式会社 束缚型头戴式显示器及其控制方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH674800A5 (zh) 1986-03-12 1990-07-31 Warner Lambert Co
JP2000339490A (ja) * 1999-05-28 2000-12-08 Mitsubishi Electric Corp Ｖｒ酔い低減方法
US8831278B2 (en) * 2010-11-30 2014-09-09 Eastman Kodak Company Method of identifying motion sickness
JP6397243B2 (ja) 2014-07-22 2018-09-26 キヤノン株式会社 表示装置、制御方法、及びプログラム
WO2016017245A1 (ja) * 2014-07-31 2016-02-04 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム
US9999835B2 (en) * 2015-02-05 2018-06-19 Sony Interactive Entertainment Inc. Motion sickness monitoring and application of supplemental sound to counteract sickness
KR101700767B1 (ko) * 2015-06-02 2017-01-31 엘지전자 주식회사 헤드 마운티드 디스플레이
KR102380432B1 (ko) * 2015-06-03 2022-04-01 클리어모션, 아이엔씨. 차체 모션 및 승객 경험을 제어하기 위한 방법 및 시스템
JP2017059196A (ja) 2015-12-22 2017-03-23 株式会社コロプラ 仮想現実空間映像表示方法、及び、プログラム
US10388071B2 (en) * 2016-03-25 2019-08-20 Sony Interactive Entertainment Inc. Virtual reality (VR) cadence profile adjustments for navigating VR users in VR environments
JP6214105B1 (ja) 2016-05-31 2017-10-18 株式会社大一商会 遊技機
US10565777B2 (en) * 2016-09-30 2020-02-18 Sony Interactive Entertainment Inc. Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
JP6934806B2 (ja) 2017-11-02 2021-09-15 キヤノン株式会社 表示装置、表示装置の制御方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040239685A1 (en) * 2001-12-20 2004-12-02 Olympus Corporation Image display device
CN101034309A (zh) * 2007-04-10 2007-09-12 南京航空航天大学 基于多加速度传感器的虚拟现实头盔防眩晕系统及方法
CN103202010A (zh) * 2010-11-09 2013-07-10 富士胶片株式会社 增强现实感提供设备
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
US20140176296A1 (en) * 2012-12-19 2014-06-26 HeadsUp Technologies, Inc. Methods and systems for managing motion sickness
US20170111636A1 (en) * 2014-07-28 2017-04-20 Sony Corporation Information processing apparatus, information processing method, computer program, and image display system
US20170075417A1 (en) * 2015-09-11 2017-03-16 Koei Tecmo Games Co., Ltd. Data processing apparatus and method of controlling display
CN105204642A (zh) * 2015-09-24 2015-12-30 小米科技有限责任公司 虚拟现实交互画面的调节方法和装置
JP2017079389A (ja) * 2015-10-20 2017-04-27 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
CN107066077A (zh) * 2015-11-02 2017-08-18 Lg电子株式会社 束缚型头戴式显示器及其控制方法
CN106339084A (zh) * 2016-08-21 2017-01-18 乐视控股（北京）有限公司 虚拟现实设备的控制方法及系统

Also Published As

Publication number Publication date
US11474595B2 (en) 2022-10-18
JP2019086592A (ja) 2019-06-06
CN111279410B (zh) 2022-10-11
GB202008184D0 (en) 2020-07-15
JP2022000697A (ja) 2022-01-04
GB2582106B (en) 2022-12-14
DE112018005224T5 (de) 2020-07-16
WO2019087623A1 (ja) 2019-05-09
US20200241633A1 (en) 2020-07-30
JP6934806B2 (ja) 2021-09-15
GB2582106A (en) 2020-09-09

Similar Documents

Publication Publication Date Title
US10474411B2 (en) System and method for alerting VR headset user to real-world objects
JP5869712B1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
JP6097377B1 (ja) 画像表示方法及びプログラム
JP6177872B2 (ja) 入出力装置、入出力プログラム、および入出力方法
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
WO2014128752A1 (ja) 表示制御装置、表示制御プログラム、および表示制御方法
CN108463839B (zh) 信息处理装置和用户指南呈现方法
JP2017138832A (ja) 仮想空間の提供方法、およびプログラム
US11156830B2 (en) Co-located pose estimation in a shared artificial reality environment
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
JP2022000697A (ja) 表示装置、表示装置の制御方法
JP6250025B2 (ja) 入出力装置、入出力プログラム、および入出力方法
JP2024050696A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
JP6212666B1 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
US11195320B2 (en) Feed-forward collision avoidance for artificial reality environments
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
CN113574591A (zh) 边界设置设备、边界设置方法和程序
JP6738308B2 (ja) 情報処理方法、プログラム、仮想空間配信システム及び装置
JP2019113881A (ja) 頭部装着装置
WO2021130986A1 (ja) 映像表示装置及び映像表示方法
JP2019091510A (ja) 情報処理方法、情報処理プログラム及び情報処理装置
TW201818193A (zh) 在虛擬實境中快速移動的方法、虛擬實境裝置及記錄媒體
JP2018190078A (ja) コンテンツ表示プログラム、コンピュータ装置、コンテンツ表示方法、及びコンテンツ表示システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant