CN110869880A - 头戴式显示装置 - Google Patents

头戴式显示装置 Download PDF

Info

Publication number
CN110869880A
CN110869880A CN201780093045.XA CN201780093045A CN110869880A CN 110869880 A CN110869880 A CN 110869880A CN 201780093045 A CN201780093045 A CN 201780093045A CN 110869880 A CN110869880 A CN 110869880A
Authority
CN
China
Prior art keywords
hmd
operation space
user
image
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780093045.XA
Other languages
English (en)
Inventor
野野村洋
神田直之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN110869880A publication Critical patent/CN110869880A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明的通过使用者(3)的手势动作进行操作的头戴式显示装置(HMD)(1)包括：用于检测手势操作的距离图像获取单元(106)；获取HMD(1)的位置信息的位置信息获取单元(103)；和与其它HMD(1’)进行通信的通信单元(2)。控制部(205)设定使用者(3)的手势操作有效的操作空间(600)以进行显示，利用通信单元(2)在与其它的HMD(1)之间进行各自的位置信息和操作空间的信息交换，调整本机HMD的操作空间，使得操作空间(600、600’)彼此不重叠。或者，在由距离图像获取单元(106)检测到附近的人(4)时，调整操作空间，使得检测到的人的存在位置与操作空间(600)不重叠。

Description

头戴式显示装置
技术领域
本发明涉及显示混合现实的图像，能够通过使用者的手势动作来操作的头戴式显示装置。
背景技术
近年来，头戴式显示装置(以后称为HMD)得到开发，其采用眼镜、护目镜的形状，通过在相当于透明度高的透镜的部分投射混合现实的图像，在现实的空间中重叠显示混合现实的对象，能够使得看起来好像混合现实对象实际存在一样。在专利文献1，记载了在混合现实环境中显示共有假想对象和人个虚拟对象的系统。
此外，为了进行利用HMD的内容视听开始、内容选择等的操作，有由使用者的手的动作进行操作的手势使用者界面(手势UI)。手势UI能够不用手握持操作用的设备地进行HMD的操作，便利性高。但是，手势UI中由于伴随着身体的运动，在别的操作HMD的使用者很靠近的状况下，担心为了进行手势操作而使用者彼此的身体碰撞。为了避免这样的碰撞，在专利文献2中记载了，在HMD具有用于确定本设备的位置的设备信息通知部(标志)，用摄像机对其摄影以检测标志的距离、方向，调整HMD的操作空间，使得HMD彼此的手势操作空间不重复。
现有技术文献
专利文献
专利文献1：日本特表2016-525741号公报
专利文献2：日本特开2012-108577号公报
发明内容
发明要解决的技术课题
在专利文献1中，没有考虑到避免由于手势操作而发生的与他人的碰撞。在专利文献2中，没有考虑到避免与没有使用HMD的人的碰撞。在采用专利文献2记载的方法时，如果其他的使用者的HMD朝向相反方向、或途中存在遮挡物，则存在不能够用摄像机检测出设置于HMD的标志的情况。此时，不能够得知其他使用者的HMD的距离、方向，存在发生碰撞的可能性。此外，手势操作空间的调整仅在本设备进行，因此有时会为了使彼此的操作空间远离，而调整成对于使用者的操作空间变得过窄，导致使用性变差。
本发明的目的在于，提供一种HMD，其不仅在使用HMD的使用者彼此之间、在与不使用HMD的人之间也能够避免手势操作引起的身体碰撞，具有使用者方便使用的操作空间。
用于解决课题的技术方案
本发明的头戴式显示装置包括：投射图像的图像投射部；将从图像投射部投射的图像与周围的空间重叠来作为混合现实对象显示的透视透镜；获取距离图像来检测使用者的手势操作的距离图像获取单元；获取头戴式显示装置(本机HMD)的位置信息的位置信息获取单元；与外部终端进行通信的通信单元；和基于由距离图像获取单元检测出的使用者的手势操作来控制图像投射部进行的图像的投射动作的控制部。控制部设定使用者进行的手势操作有效的操作空间并将其作为混合现实对象显示，并且用通信单元与其它的头戴式显示装置(他机HMD)进行通信，交换本机HMD与他机HMD各自的位置信息和操作空间的信息，调整本机HMD的操作空间，使得本机HMD的操作空间与他机HMD的操作空间不重叠。
此外，本发明的头戴式显示装置包括：投射图像的图像投射部；将从图像投射部投射的图像与周围的空间重叠来作为混合现实对象显示的透视透镜；获取距离图像来检测使用者的手势操作、附近的人、物体的距离图像获取单元；和基于由距离图像获取单元检测到的使用者的手势操作，控制图像投射部进行的图像的投射动作的控制部。所述控制部设定使用者进行的手势操作有效的操作空间并将其作为混合现实对象显示，并且在由距离图像获取单元检测到的人、物体存在于所述操作空间内时，调整操作空间，使得检测到的人、物体的存在位置与操作空间不重叠。
发明效果
根据本发明，不仅能够避免使用HMD的使用者彼此碰撞，还能够避免使用HMD的使用者与不使用HMD的人之间由于手势操作而发生身体碰撞，能够提供具有对于使用者来说使用方便的操作空间的HMD。
附图说明
图1是表示HMD的外观结构的图(实施例1)。
图2是表示HMD的系统结构的图。
图3是说明HMD的位置信息获取功能的图。
图4是表示由HMD显示混合现实对象的状态的图。
图5是说明使用者对HMD的各种操作方法的图。
图6是表示对HMD使用者显示的操作用对象的例子的图。
图7是表示使用者进行手势操作以视听内容的状态的图。
图8是表示2位HMD使用者并排使用HMD的状态的图。
图9是表示为了避免碰撞而使手势操作空间移动的情况的图。
图10是表示为了避免碰撞而缩小手势操作空间的情况的图。
图11是表示从手势操作切换为智能手机的操作的情况的图。
图12是表示2位HMD使用者靠近时的操作空间的调整方法的流程图。
图13是表示1位HMD使用者使用HMD的状态的图(实施例2)。
图14是表示为了避免碰撞而缩小手势操作空间的情况的图。
图15是表示为了避免碰撞而使对象的一部分不显示的情况的图。
图16是通过操作空间的缩小来变更对象的显示位置的情况的流程图。
具体实施方式
以下，使用附图说明本发明的实施方式。
实施例1
实施例1中，说明在多个HMD使用者彼此靠近时，避免由于手势操作而使用者彼此的身体碰撞的情况。
图1是表示本实施例的HMD(头戴式显示装置)的外观结构的图。HMD1包括：收纳有控制部、内存、存储器等的系统收纳部101a、101b；摄像机102a、102b；位置信息电波接收部(位置信息获取单元)103a、103b；投射混合现实对象的图像的图像投射部104a、104b；将投射的混合现实对象与周围的空间重叠显示的透视透镜105a、105b；和获取距离图像的距离图像获取单元106。
此处，表示了由2个图像投射部104a、104b在左右的透视透镜105a显示左右的图像的两眼式HMD，但也可以是显示1个图像的单眼式HMD。
位置信息电波接收部103a、103b接受来自后述的信标的电波信号，获取HMD1的位置。距离图像获取单元106检测使用者的手的动作(手势操作)。此外，检测存在于HMD1的前方的人、物体，并计测它们的距离、方向。作为距离图像获取单元106的具体例子，能够利用根据光的飞行时间测量距离的TOF(Time Of Flight，飞行时间)摄像机。
此外，HMD1与具有由第5代移动通信标准所定义的终端间通信功能的智能手机2由通信线缆20连接。另外，也可以代替通信线缆20而采用WiFi、BlueTooth等无线通信。进而，如果系统收纳部101a、101b内置有由第5代移动通信标准所定义的通信功能，则不需要与外部的智能手机2的通信。
图2是表示图1所示的HMD的系统结构的图。在HMD1的系统收纳部101a、101b具有：构成执行中的各种程序功能部的内存201；存储各种数据、程序、内容等的存储器202；进行程序的执行的控制部205；进行与智能手机2的通信的智能手机通信部206，它们由总线203连接。进而，作为输入单元204，具有基于指尖对输入按钮、HMD框架的触摸的触摸传感器、HMD框架的振动等的输入部。
控制部205经由距离图像获取单元106、输入单元204、智能手机2接受使用者的操作，控制图像投射部104a、104b进行的图像(内容图像)的显示动作。此外，控制部205利用距离图像获取单元106、智能手机2检测出他人(其它HMD)靠近的情况，为了避免使用者彼此的身体碰撞，调整用于手势操作的操作空间。
图3是说明HMD的位置信息获取功能的图。HMD1能够利用设置于室内的位置信息获取用的信标5a、5b获取HMD1的位置信息。位置信息获取用的信标5a、5b例如像iBeacon(注册商标)那样，使用Bluetooth(蓝牙，注册商标)Low Energy无线技术发送各信标的识别码。另外，对于使用Bluetooth(注册商标)的信标装置，在日本特开2010-130661号公报等中有记载。
HMD1的位置信息电波接收部(位置信息获取单元)103a、103b接收来自信标5a、5b的电波并计测电波的强度，由此能够得知距2个信标5a、5b的距离。此时HMD1由2个位置信息电波接收部103a、103b接收电波，根据其差值强度，能够得知从信标5a、5b看，HMD1向哪个方向倾斜。即，能够获取以2个信标5a、5b为基准的HMD1的位置信息和使用HMD1的使用者3的方向的信息。
进而，在同一室内，其他使用者3’在使用其他HMD1’的情况下，能够获取以信标5a、5b为基准的其他HMD1’的位置信息和使用HMD1’的使用者3’的方向的信息。使用者3和使用者3’能够分别将获取的HMD的位置信息和方向的信息使用第5代移动通信的近距离终端间通信(智能手机2、2’)进行信息交换。
图4是表示由HMD显示混合现实对象的状态的图，是从左侧看HMD1的状态。从图像投射部104b投射的混合现实对象300显示于透视透镜105b。当从HMD使用者的眼31看它时，看起来就像混合现实对象300在实际的周围的背景中浮在MHD使用者前方的空间中那样。该混合现实对象300能够是代表性的图像内容，以及手势操作用对象、操作空间对象等各种内容。以下，简称为“对象”。
图5是说明使用者对HMD的各种操作方法的图。
(1)在HMD使用者的眼31的前方，显示球状的对象301。使用者以触摸对象301、或横向挥手等的方式进行使手32移动的手势。距离图像获取单元106检测使用者的手32位于对象301的位置进行了对于对象301的手势的情况。由此，使用者能够进行显示的在HMD1显示的内容的选择、视听开始/视听停止等操作。
(2)在HMD使用者的眼31的前方，显示为智能手机的形状的对象302。使用者对于对象302以操作实际的智能手机的方式进行使手32移动的手势。距离图像获取单元106检测使用者的手32位于对象302的位置进行了操作智能手机的手势的情况。由此使用者能够与对实际的智能手机的操作同样地，进行应用的起动、停止、应用的安装、通信的开始、结束等操作。
(3)作为手势以外的操作，有对与HMD1连接的智能手机2的触摸面板实际进行操作的情况。在HMD使用者的眼31的前方，与形成为智能手机的形状的对象302一起，显示为手的形状的对象303。此时对象303以与使用者对智能手机2的实际操作连动的运动方式被显示，因此使用者能够不需要将视线朝向智能手机2地进行对HMD的操作。
此外，也能够经由图2的输入单元204，用输入按钮、触摸传感器操作HMD。此外，不使用HMD的其他人4在HMD使用者的附近靠近的情况下，利用距离图像获取单元106获取其他人4的外形轮廓和距其他人4的距离的信息。由此，能够识别其他人在附近靠近的情况，而且能够识别靠近的人的例如右手42向HMD使用者伸出的情况。
接着，说明HMD的混合现实内容的视听方法的基本情况。
图6是表示对HMD使用者显示的操作用对象的例子的图。在穿戴HMD1并坐着的使用者3的周围，显示表示形成为球状的手势操作空间的对象(操作空间对象)600。该操作空间对象600表示使用者3进行的手势操作有效的空间的范围，因此超过该范围意味着操作无效，而且意味着可能与其他人的身体碰撞。在该操作空间的内部，显示用于进行希望视听的混合现实内容(以下简称为内容)的选择、视听开始、视听结束的手势操作的对象(操作用对象)601、602、603。
图7是表示使用者进行手势操作而视听内容的状态的图。例如，通过使用者3的手32以触摸操作用对象601的方式进行手势，而选择所需的内容。这样，能够在使用者3面前显示对应的混合现实内容701，开始视听。
接着，说明在多个HMD使用者靠近的情况下，避免由于手势操作而使用者彼此的身体碰撞的情况。
图8是表示2位HMD使用者并排使用HMD的状态的图。在HMD使用者3、3’的周围，显示表示各自的手势操作空间的操作空间对象600、600’。另外，为了避免图面复杂，操作空间对象600、600’仅表示最外周的圆(点划线)。此时，各个HMD1、1’可以对于使用者仅显示本机的手势操作空间，也能够将其他使用者的手势操作空间一并显示。这能够利用第5代移动通信的终端间通信功能(智能手机2、2’)而在与其它HMD之间交换手势操作空间的位置、大小的信息。由此，使用者3不仅能够看到自身的对象600，也能够看到对于使用者3’的对象600’。
在操作空间中，显示了用于进行内容的选择/视听开始/视听结束的手势操作的操作用对象601～603、601’～603’。另外，为了避免图面变得复杂，省略视听中的内容的显示。
存在下述情况：使用者3、3’例如为了中断视听中的内容的视听，对对应的对象(此处是601、603’)用手32、32’进行横向挥开的动作。在2人的距离靠近时，担心各自的手32、32’发生碰撞。
图9是表示为了避免碰撞而移动手势操作空间的情况的图。通过使对于2位HMD使用者3、3’的手势操作空间(对象600、600’)向彼此远离的方向移动，能够避免操作空间彼此重叠。此外，使手势操作用的对象(601～603、601’～603’)的显示位置移动，促使使用者能够使用离其他使用者远的一侧的手33、33’进行手势操作。由此，能够避免靠近的使用者3、3’的手彼此碰撞。
图10是表示为了避免碰撞而缩小手势操作空间的情况的图。通过使对于2位HMD使用者3、3’的手势操作空间(对象600、600’)的大小缩小，能够避免手势操作空间彼此重叠。此外，手势操作的对象(601～603、601’～603’)的大小也以使得能够处于缩小后的手势操作空间内的方式缩小，使显示位置靠近。另外，在缩小手势操作空间的大小时，不限于使球状空间整体缩小，也可以将操作空间仅限定于球状空间的下半部分，或使操作空间的形状变形为旋转椭圆体状。由此，能够避免靠近的使用者3、3’手彼此碰撞。
在像上述图9、图10那样进行操作空间的移动、缩小时，通过经由终端间通信功能(智能手机2、2’)在HMD1、1’间交换彼此的操作空间的信息，判断操作空间是否重叠，决定新的操作空间，使得能够避免重叠。即，HMD1和HMD1’能够利用终端间通信功能来检测处于彼此靠近的距离的情况，因此无论对方的HMD朝向哪个方向、即使在途中存在遮挡物，也不会遗漏。此外，两个HMD1、1’彼此连动地决定操作空间，因此能够不使调整后的操作空间变得过窄地设定最佳的尺寸。
图11是表示从手势操作切换为智能手机的操作的情况的图。在即使进行手势操作空间的调整，也无法避免使用者3、3’的手碰撞的情况下，HMD1、1’对使用者3、3’结束操作空间对象600、600’的显示，通知无法接受手势的操作。于是，使用者3、3’切换为现实的智能手机2、2’进行的操作。此时，在使用者3、3’面前，显示基于混合现实的智能手机状的对象611、611’和操作智能手机的手状的对象612、612’。当用手32、32’操作现实的智能手机2、2’时，与操作的手32、32’的运动连动地，手状的对象612、612’的显示位置移动。由此，使用者3、3’能够不将视线朝向现实的智能手机2、2’地操作智能手机。据此，例如，能够将智能手机2、2’保持放在口袋中地进行操作，以进行内容的选择、视听开始、视听结束的操作。
图12是表示2位HMD使用者靠近时的操作空间的调整方法的流程图。此处，表示通过图9中说明的手势操作空间的移动来变更对象的显示位置的情况。另外，该流程在使用者3使用HMD1的期间，由控制部205反复执行。
S801：HMD1利用位置信息电波接收部103a、103b获取本机HMD1的位置信息(包含HMD1的朝向)。
S802：HMD1通过经由智能手机2的第5代移动通信的近距离终端间通信，在与附近的HMD1’之间交换HMD的位置信息(包括朝向)和手势操作空间信息(位置和尺寸)。由此，获取附近的HMD1’的位置信息和操作空间信息。
S803：基于从附近的HMD1’获取的操作空间的位置和尺寸的信息，判断附近的HMD1’与本机HMD1的操作空间是否重叠。在操作空间不重叠时结束。在操作空间重叠时，进入S804。
S804：通过使本机HMD1的操作空间向从附近的HMD1’的操作空间离开的方向移动，计算出操作空间彼此不重叠的位置。
S805：将计算出的操作空间的位置信息通过近距离终端间通信与附近的HMD1’交换。此时，从附近的HMD1’获取附近的HMD1’所计算出的操作空间的位置信息。
S806：基于从附近的HMD1’获取的计算后的操作空间的位置信息，判断是否与本机HMD1的计算后的操作空间重叠。在操作空间不重叠的情况下进入S807。在操作空间重叠的情况下回到S804，再次计算操作空间彼此不重叠的位置。反复进行S806的判断，直至操作空间不重叠。
S807：在计算后的操作空间内，决定用于对内容进行手势操作的操作用对象的位置并显示。
S808：依据操作空间的位置变更，显示表示新的手势操作空间的对象。
S809：依据操作空间的位置变更，设定由距离图像获取单元106检测手势操作时的新的检测区域。
S810：因为在与附近的HMD1’之间操作空间不重叠，因此使操作空间和操作用对象的显示位置、手势操作的检测区域回到初始值。
上述流程图中，表示了为了避免碰撞而使手势操作空间移动的情况，使手势操作空间缩小时也同样。或者，也能够组合两者地进行调整。
此外，上述实施例中，设想了2位HMD使用者靠近的情况，但在2人以上的多个HMD使用者靠近时也是同样的。
根据实施例1，在多个HMD使用者靠近时，能够避免因手势操作而使用者彼此的身体碰撞。此时，能够可靠地检测存在于附近的HMD，并且提供具有对于使用者来说使用便易的操作空间的HMD。
实施例2
实施例2中，说明避免使用HMD的使用者与不使用HMD的人的身体碰撞的情况。
图13是表示1位HMD使用者使用HMD的状态的图。使用者3为了进行内容视听而进行手势操作。在操作空间对象600内，显示与第1组内容对应的操作用对象601～603，并且以与其并排的方式显示对第2组内容的操作用对象604～606。例如是使用者3对于对象601以手32进行手势操作，显示选择的内容701而视听的状态。设想在该状态下不使用HMD的人靠近的情况。
图14是表示为了避免碰撞而缩小手势操作空间的情况的图。有不使用HMD的他人4靠近HMD使用者3的跟前，进入手势操作空间(对象600)内，接近对象604～606的显示位置的情况。此时，使用者3对于对象604～606进行手势操作时，使用者3和他人4的身体发生碰撞。
为了避免该情况，HMD1根据距离图像获取单元106的信息识别他人4接近的情况。然后，使手势操作空间(对象600)的大小缩小至不碰撞的范围。此外，由于缩小而不再处于操作空间内的操作用对象604～606移动到操作空间内的其它位置。在该例中，向视听的内容701的右侧的位置移动。由此，能够避免使用者3与他人的身体碰撞。
在上述例子中，说明了为了避免碰撞而缩小手势操作空间、使操作用对象移动的情况，但通过手势操作空间的移动、操作用对象的缩小也能够应对该情况。
如上所述进行操作空间的缩小、移动时，用距离图像获取单元106计测距他人4的距离、方向，决定新的操作空间，以使得他人4的位置与操作空间不重叠。此外，避免碰撞的不仅是人物，物体也是对象。
图15是表示为了避免碰撞而将对象的一部不显示的情况的图。如图14所示缩小手势操作空间(对象600)的结果是，产生不再处于手势操作空间内的对象。此时，将一部分对象(此处是604～606)不显示。然后，与不显示的对象对应的操作切换为智能手机2等其它的操作。此时对于使用者3，通知手势操作的对象受到限制。由此，能够避免使用者3与他人的身体碰撞。
图16是表示不使用HMD的他人靠近HMD使用者时的操作空间的调整方法的流程图。此处，表示图14中说明的通过缩小手势操作空间来变更对象的显示位置的情况。另外，该流程在使用者3使用HMD1的期间，由控制部205反复执行。
S901：由HMD1的距离图像获取单元106获取前方的距离图像。
S902：根据获取的距离图像，判断在手势操作空间内是否存在人、物体。在操作空间内不存在人、物体时进入S907。在操作空间内存在人、物体时进入S903。
S903：计算操作空间的尺寸，使得人、物体的存在位置与操作空间不重叠。在计算方法中，例如通过使球状的操作空间的半径较小并检查是否发生与人、物体的重叠而进行计算。
S904：在计算出的操作空间内，显示用于进行手势操作的操作用对象。此时的显示位置决定的是从映射于距离图像的人、物体尽可能离开的位置。例如，预先将视听中的内容的周围的上下左右的空间记作显示位置的候选项，从候选项中选择从映射于距离图像的人、物体尽量离开的位置。
S905：依据操作空间的尺寸变更，显示表示新的手势操作空间的对象。
S906：依据操作空间的尺寸变更，设定由距离图像获取单元106检测手势操作时的新的检测区域。由此结束操作空间的调整。
S907：在操作空间内不存在人、物体，因此使操作空间的尺寸、操作用对象的显示位置、手势操作的检测区域回到初始值。
在上述流程图中，表示了为了避免碰撞而缩小手势操作空间的情况，但使手势操作空间移动时也同样。或者，也能够组合两者而进行调整。
另外，上述实施例中说明了HMD使用者坐着的情况，但在站着时或走路时也能够使用。特别是，在一边走路一边使用时，即使他人不进入手势操作空间内，由于持续行走，也预想到他人会进入操作空间内。此时，可以通过显示警告对象或者发出警告音等方法，对使用者发出警告。此外，也可以在发出警告时，根据距离图像获取单元的距离图像识别靠近的是大人还是孩子，在为孩子的情况下更早地发出警告等设置发出警告时的优先度。
根据实施例2，使用HMD的使用者能够避免由于手势操作而与靠近的不使用HMD的人的身体碰撞，提供具有对于使用者来说使用方便的操作空间的HMD。
附图标记说明
1、1’：头戴式显示装置(HMD)，
2、2’：智能手机，
3、3’：使用者，
4：他人，
5a、5b：位置信息获取用信标，
20：通信线缆，
32、32’、33、33’：使用者的手，
101a、101b：系统收纳部，
102a、102b：摄像机，
103a、103b：位置信息电波接收部(位置信息获取单元)，
104a、104b：图像投射部，
105a、105b：透视透镜，
106：距离图像获取单元，
201：内存，
202：存储器，
203：总线，
204：输入单元，
205：控制部，
206：智能手机通信部，
300～303：混合现实对象，
600、600’：操作空间对象，
601～606：操作用对象，
611：智能手机的对象，
612：使用者的手的对象，
701：混合现实内容。

Claims (6)

1.一种能够显示混合现实的图像并能够通过使用者的手势动作进行操作的头戴式显示装置，其特征在于，包括：
投射图像的图像投射部；
将从所述图像投射部投射的图像与周围的空间重叠来作为混合现实对象显示的透视透镜；
获取距离图像来检测使用者的手势操作的距离图像获取单元；
获取所述头戴式显示装置(以下称为本机HMD)的位置信息的位置信息获取单元；
经由智能手机或内置的无线通信单元与外部终端进行通信的通信单元；和
基于由所述距离图像获取单元检测出的使用者的手势操作来控制所述图像投射部进行的图像的投射动作的控制部，
所述控制部设定使用者进行的手势操作有效的操作空间并将其作为混合现实对象显示，并且用所述通信单元与其它的头戴式显示装置(以下称为他机HMD)进行通信，交换本机HMD与他机HMD各自的位置信息和操作空间的信息，调整本机HMD的操作空间，使得本机HMD的操作空间与他机HMD的操作空间不重叠。
2.如权利要求1所述的头戴式显示装置，其特征在于：
所述控制部在本机HMD的操作空间与他机HMD的操作空间重叠时，通过移动本机HMD的操作空间的位置、缩小尺寸和改变形状中的任意动作或者组合这些动作来进行调整。
3.如权利要求2所述的头戴式显示装置，其特征在于：
所述控制部为了使得使用者能够进行所述图像投射部显示的图像的选择、显示开始、显示结束的操作，而设定操作用对象并将其作为混合现实对象显示，并且在调整了本机HMD的操作空间时，移动所述操作用对象的位置或缩小尺寸来显示所述操作用对象，使得所述操作用对象位于调整后的所述操作空间内。
4.一种能够显示混合现实的图像并能够通过使用者的手势动作进行操作的头戴式显示装置，其特征在于，包括：
投射图像的图像投射部；
将从所述图像投射部投射的图像与周围的空间重叠来作为混合现实对象显示的透视透镜；
获取距离图像来检测使用者的手势操作、附近的人、物体的距离图像获取单元；和
基于由所述距离图像获取单元检测到的使用者的手势操作来控制所述图像投射部进行的图像的投射动作的控制部，
所述控制部设定使用者进行的手势操作有效的操作空间并将其作为混合现实对象显示，并且在由所述距离图像获取单元检测到的人、物体存在于所述操作空间内时，调整所述操作空间，使得检测到的人、物体的存在位置与所述操作空间不重叠。
5.如权利要求4所述的头戴式显示装置，其特征在于：
所述控制部在检测到的人、物体存在于所述操作空间内时，通过移动所述操作空间的位置、缩小尺寸和改变形状中的任意动作或者组合这些动作来进行调整。
6.如权利要求5所述的头戴式显示装置，其特征在于：
所述控制部为了使得使用者能够进行所述图像投射部显示的图像的选择、显示开始、显示结束的操作，而设定操作用对象并将其作为混合现实对象显示，并且在调整了所述操作空间时，移动所述操作用对象的位置或缩小尺寸来显示所述操作用对象，使得所述操作用对象位于调整后的所述操作空间内。
CN201780093045.XA 2017-08-24 2017-08-24 头戴式显示装置 Pending CN110869880A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/030273 WO2019038875A1 (ja) 2017-08-24 2017-08-24 ヘッドマウントディスプレイ

Publications (1)

Publication Number Publication Date
CN110869880A true CN110869880A (zh) 2020-03-06

Family

ID=65438476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780093045.XA Pending CN110869880A (zh) 2017-08-24 2017-08-24 头戴式显示装置

Country Status (4)

Country Link
US (3) US11455042B2 (zh)
JP (3) JP6886024B2 (zh)
CN (1) CN110869880A (zh)
WO (1) WO2019038875A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10581940B1 (en) * 2018-08-20 2020-03-03 Dell Products, L.P. Head-mounted devices (HMDs) discovery in co-located virtual, augmented, and mixed reality (xR) applications
JP7348121B2 (ja) * 2020-03-24 2023-09-20 マクセル株式会社 コンテンツ提供システム及びコンテンツ提供方法
JP7445620B2 (ja) * 2021-03-31 2024-03-07 本田技研工業株式会社 情報提供方法、プログラム及び情報提供装置
JPWO2023276216A1 (zh) * 2021-06-29 2023-01-05
US20230259194A1 (en) * 2022-02-16 2023-08-17 Meta Platforms Technologies, Llc Spatial Anchor Sharing for Multiple Virtual Reality Systems in Shared Real-World Environments

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281666A (ja) * 1994-04-05 1995-10-27 Casio Comput Co Ltd 画像制御装置
JP2012108577A (ja) * 2010-11-15 2012-06-07 Panasonic Corp ３ｄ−ｕｉ操作空間協調装置
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络
CN103998970A (zh) * 2011-12-16 2014-08-20 索尼公司 头戴式显示器和信息显示设备
CN104484523A (zh) * 2014-12-12 2015-04-01 西安交通大学 一种增强现实诱导维修系统的实现设备与方法
US20150378159A1 (en) * 2013-02-19 2015-12-31 Brilliantservice Co., Ltd. Display control device, display control program, and display control method
CN105917268A (zh) * 2014-02-20 2016-08-31 Lg电子株式会社 头戴式显示器及其控制方法
JP2016188123A (ja) * 2015-03-30 2016-11-04 オークラ輸送機株式会社 ピッキングシステム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140368537A1 (en) 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
JP2017037212A (ja) 2015-08-11 2017-02-16 セイコーエプソン株式会社 音声認識装置、制御方法、及び、コンピュータープログラム
JP6597235B2 (ja) 2015-11-30 2019-10-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281666A (ja) * 1994-04-05 1995-10-27 Casio Comput Co Ltd 画像制御装置
JP2012108577A (ja) * 2010-11-15 2012-06-07 Panasonic Corp ３ｄ−ｕｉ操作空間協調装置
CN103091844A (zh) * 2011-12-12 2013-05-08 微软公司 将头戴式显示连接到外部显示和其他通信网络
CN103998970A (zh) * 2011-12-16 2014-08-20 索尼公司 头戴式显示器和信息显示设备
US20150378159A1 (en) * 2013-02-19 2015-12-31 Brilliantservice Co., Ltd. Display control device, display control program, and display control method
CN105917268A (zh) * 2014-02-20 2016-08-31 Lg电子株式会社 头戴式显示器及其控制方法
CN104484523A (zh) * 2014-12-12 2015-04-01 西安交通大学 一种增强现实诱导维修系统的实现设备与方法
JP2016188123A (ja) * 2015-03-30 2016-11-04 オークラ輸送機株式会社 ピッキングシステム

Also Published As

Publication number Publication date
JPWO2019038875A1 (ja) 2020-03-26
US20240201791A1 (en) 2024-06-20
US20200167003A1 (en) 2020-05-28
JP2023076451A (ja) 2023-06-01
JP2021144718A (ja) 2021-09-24
JP6886024B2 (ja) 2021-06-16
WO2019038875A1 (ja) 2019-02-28
US20220397963A1 (en) 2022-12-15
US11455042B2 (en) 2022-09-27

Similar Documents

Publication Publication Date Title
CN110869880A (zh) 头戴式显示装置
US10198870B2 (en) Information processing apparatus, information processing system, and information processing method
US11589022B2 (en) Scope of coverage indication in immersive displays
KR102627636B1 (ko) 헤드 마운트 디스플레이의 사용자에게 알림을 제공하기 위한 방법 및 장치
US11900795B2 (en) Pedestrian device and traffic safety assistance method
US11140251B2 (en) Divided display of multiple cameras
US20140198017A1 (en) Wearable Behavior-Based Vision System
EP3163407B1 (en) Method and apparatus for alerting to head mounted display user
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
WO2015093130A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN105116544A (zh) 头操作的电子眼镜
JP2019128722A (ja) 情報処理装置、情報処理システム及びプログラム
WO2022005715A1 (en) Augmented reality eyewear with 3d costumes
US11475606B2 (en) Operation guiding system for operation of a movable device
CN204695230U (zh) 头操作的电子眼镜
US12001646B2 (en) Computer-implemented method, computer, and program for rendering a three-dimensional object in a virtual reality space
CN118295520A (zh) 信息处理装置、信息处理方法和存储介质
WO2016051483A1 (ja) 情報表示端末および情報表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Kyoto Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL HOLDINGS, Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20220214

Address after: Kyoto Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Applicant before: MAXELL, Ltd.

TA01 Transfer of patent application right