CN113853569A - 头戴式显示器 - Google Patents

头戴式显示器 Download PDF

Info

Publication number
CN113853569A
CN113853569A CN201980096673.2A CN201980096673A CN113853569A CN 113853569 A CN113853569 A CN 113853569A CN 201980096673 A CN201980096673 A CN 201980096673A CN 113853569 A CN113853569 A CN 113853569A
Authority
CN
China
Prior art keywords
space
image
operation screen
display
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980096673.2A
Other languages
English (en)
Inventor
中出真弓
桥本康宣
奥万寿男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN113853569A publication Critical patent/CN113853569A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0185—Displaying image at variable distance
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明的目的在于提高在叠加显示现实空间和虚拟物体的MR系统中使用的头戴式显示器的直观的操作性。为了实现该目的，头戴式显示器在现实空间中显示AR对象而形成MR空间，其包括：拍摄现实空间而得到拍摄影像的摄像机；测量现实空间内的现实物体的距离的测距摄像机；和控制装置，控制装置包括：从拍摄影像中识别现实物体的拍摄对象处理；得到AR对象而对该AR对象赋予包含现实空间内的距离的位置的AR对象处理；反映现实物体与AR对象的远近而生成MR空间的显示影像的显示影像生成处理，以及从拍摄影像中检测操作画面显示物体的处理；和在该操作画面显示物体的前方显示MR空间的操作画面的处理，其中该操作画面的影像包含MR空间内的AR对象。

Description

头戴式显示器
技术领域
本发明涉及在叠加显示现实空间和虚拟空间(也记为虚拟物体)的混合现实(MR：Mixed Reality)系统中使用的头戴式显示器(HMD：Head Mount Display)。
背景技术
使影像、字符等虚拟物体(AR对象：Argument Reality对象)的影像与现实空间叠加地显示来使用户可见，这被用于游戏、维护作业等内容。作为游戏的一个例子，有捕捉配置在公园、车站等公共场所的角色(AR对象)，并对捕捉到的角色的种类、得分进行竞赛的游戏，作为维护的一个例子，有在电梯的狭窄的井道中按照作业指示影像(AR对象)进行作业的情况。
在此，为了显示AR对象，用摄像机与背景同时拍摄被称为AR触发或标记的影像，将通过AR触发关联起来的AR对象配置在现实空间中。或者，有将用户所在的现实空间与空间坐标系建立对应，通过向任意的空间坐标位置配置AR对象来进行叠加等方法。
在MR系统中，用户佩戴摄像机、显示光学系统和传感器一体化而成的HMD，利用摄像机拍摄现实空间，使用传感器以空间坐标系表示现实空间。在显示光学系统中，将AR对象配置在空间坐标系的任意位置，在现实空间中叠加显示AR对象的影像。此外，在MR系统中，通过摄像机拍摄放置在现实空间中的用户的手等，并且通过手的动作即手势来操作AR对象。然而，基于手势的操作在公共场所会给周围的人带来困扰，在狭窄的场所难以进行如手势那样的大的动作。
作为本技术领域中的现有技术，有专利文献1。在专利文献1中，公开了一种信息输入装置，其特征在于，在手掌和附近投影操作输入用的影像，通过手掌的动作来确定操作输入。
现有技术文献
专利文献
专利文献1：日本特开2018-73170号公报
发明内容
发明要解决的课题
在MR系统中，需要选择MR空间(在现实空间中叠加了AR对象的空间)的任意的AR对象，响应于MR空间的变化而操作AR对象这样的直观的操作。然而，在专利文献1中公开的选择投射到手掌的操作输入用的按钮的方法中，在MR空间中难以实现直观的操作。
本发明是鉴于上述的点而完成的，其目的在于提供一种即使在公共场所、狭窄场所等也能够使用的MR系统的HMD，该HMD选择MR空间的任意的AR对象，响应于MR空间的变化，能够直观地进行AR对象的操作。
用于解决课题的技术方案
为了解决上述课题，列举其一例，本发明是在现实空间中显示AR对象而形成MR空间的头戴式显示器，其包括：拍摄现实空间而得到拍摄影像的摄像机；测量现实空间内的现实物体的距离的测距摄像机；和控制装置，控制装置包括：从拍摄影像中识别现实物体的拍摄对象处理；得到AR对象而对该AR对象赋予包含现实空间内的距离的位置的AR对象处理；和反映现实物体与AR对象的远近而生成MR空间的显示影像的显示影像生成处理，以及从拍摄影像中检测操作画面显示物体的处理；和在该操作画面显示物体的前方显示MR空间的操作画面的处理，该操作画面的影像包含MR空间内的AR对象。
发明效果
根据本发明，用户能够直接操作显示在操作画面上的AR对象，并且能够在MR空间中直观地执行操作。
附图说明
图1是实施例1中的HMD的概略外观结构图。
图2是实施例1中的HMD的结构框图。
图3是实施例1中的MR空间的显示影像的例子。
图4是说明实施例1中的MR空间的操作方法的图。
图5是实施例1中的MR处理的整体控制进程的流程图。
图6是实施例1中的拍摄对象进程的流程图。
图7是实施例1中的AR对象进程的流程图。
图8是实施例1中的显示影像生成进程的流程图。
图9是实施例1中的操作识别进程的流程图。
图10是通过单手操作来选择实施例2中的操作画面上的AR对象的说明图。
图11是通过单手操作进行实施例2中的操作画面的放大、缩小的说明图。
图12是简化并容易观察实施例3中的操作画面的影像的说明图。
图13是实施例3中的操作画面生成和显示的流程图。
图14是在实施例4中的操作画面的影像中仅映出AR对象的说明图。
图15是实施例5中的操作画面的轻松的操作方法的说明图。
图16是实施例6中的用户可以不抬起手将手掌放在面前的操作方法的说明图。
图17是表示实施例7中的广角摄像机的拍摄范围、MR空间的显示影像和操作画面的关系的说明图。
具体实施方式
以下，参照附图对本发明的实施例进行说明。
(实施例1)
图1是本实施例中的HMD的概略外观结构图。在图1中，1是HMD，10是摄像机，11是测距摄像机，12a、12b是显示光学系统(影像投影部)，13是透镜或屏幕等透射型光学系统，14是鼻托，15是控制器(控制装置)，16是扬声器，17是麦克风，18a、18b、18c是框架壳体。
用户通过框架壳体18a、18b和鼻托14将HMD1佩戴在其面部。
摄像机10以拍摄用户的视线前方的方式安装，测距摄像机11测量与摄像机10的拍摄影像所捕捉的现实空间的现实物体(包含墙壁等背景)的距离。
测距摄像机11可以通过立体摄像机那样的方式对现实物体的轮廓等特征点计算距离，也可以如TOF(Timeof Flight：飞行时间)方式那样二维地照射光线来测量距离，只要能够与摄像机拍摄影像对应地测量与现实物体的距离即可。
显示光学系统12a、12b将用左眼确认的影像(12a)和用右眼确认的影像(12b)投射到透射型光学系统13来显示虚拟物体(AR对象)。用户能够通过透射型光学系统13观看前方的风景或现实物体，通过透射型光学系统13可见从显示光学系统12a、12b投射的虚拟物体，使其位于现实空间的规定的位置。
控制器15导入由摄像机10拍摄到的现实空间的影像、由测距摄像机11取得的现实物体等现实空间的位置数据，并提供给内部的存储器和/或CPU。另外，内置陀螺仪、方位、位置、接触传感器等传感器组。进而，生成由显示光学系统12a、12b投射的影像、向扬声器16输出的声音。控制器15、摄像机10、测距摄像机11、扬声器16、麦克风17配置于框架壳体18a、18b、18c。另外，配置场所也可以不像图1那样。
此外，控制器15包括主要由CPU处理的与用户的用户接口(UI)。作为用户接口，包括后述的操作输入处理。
图2是本实施例中的HMD1的结构框图。在图2中，对与图1相同的部分标注相同的编号。51是特征提取处理部，52是距离计算处理部，53是传感器组，54是通信部，55是CPU，56是RAM，57是影像RAM，58是程序Flash ROM(FROM)，59是数据FROM。
显示光学系统12对应于图1中的显示光学系统12a和12b。显示光学系统12如12a、12b那样使左眼的影像和右眼的影像独立地投射到透射型光学系统13。另外，也可以用一个投影仪投射交织后的左眼的影像和右眼的影像，用快门光学系统使左眼的影像和右眼的影像透过各个眼睛。此外，也可以是使用全息透镜的光学系统。
通信部54能够将网络2连接到HMD1。网络2上的外部服务器(未图示)可以执行HMD1的处理的一部分。
程序FROM58包括构成处理程序的整体控制进程81、拍摄对象进程82、AR对象进程83、显示影像生成进程84、操作识别进程85等。这些处理程序在RAM56中展开，由CPU55执行。并且，在数据FROM59中，能够保存在执行这些处理程序的过程和结果中产生的数据。
另外，程序FROM58和数据FROM59可以如图所示由不同的存储介质构成，也可以由一个存储介质构成。进而，可以是2个以上的存储介质，也可以是FROM以外的非易失性的存储介质。另外，数据FROM59也可以将该数据的一部分放置在位于网络2上的外部服务器中。在显示影像生成进程84中生成的影像数据保存在影像RAM57中，从影像RAM57读出并由显示光学系统12投射。
图3是本实施例中的MR空间的显示影像的例子。在图3中，100是MR空间，101至106是AR对象，AR对象以外的影像是作为现实空间而用户通过透射型光学系统13可见的背景。
在图3中，用户可见的背景是街角，用户例如使用路径引导应用，要前往□□车站。AR对象103引导用户在前方30m右转，AR对象104引导在右转的方向上有□□车站。此外，AR对象表示了背景的说明。AR对象101识别位于背景的正面稍左侧的人物，与用户的交流关系进行对照，表示是朋友A，另外，识别正面右侧的店铺的招牌“向日葵”，用AR对象102显示店铺的代表性的菜单的例子。
另外，用户享受捕获小动物(角色)的游戏。AR对象105和106是游戏角色。角色有时也会移动，为了抓获角色，需要与角色的显示位置一致的操作。
图4是说明本实施例中的MR空间的操作方法的图。在图4的(a)中，附图标记1表示HMD，附图标记3表示用户，并且附图标记3a表示用户的手掌。当在MR空间中开始操作时，用户3将用户的手掌3a放在HMD1的摄像机拍摄范围内。
图4的(b)表示了检测用户的手掌3a并且在用户的手掌3a上或其前方显示操作画面107的、MR空间的显示影像。操作画面107是从HMD1的MR空间的显示影像中去除用户的手掌3a后的影像。用户的手掌3a的去除例如通过预先存储将用户的手掌3a举起前的影像，并将用户的手掌3a的区域置换为所存储的影像而得到。此外，用户3通过例如左右移动用户的手掌3a的位置来调整用户的手掌3a的位置，以防止用户的手掌3a遮挡要操作的AR对象。
3b是与用户举起的手掌3a不同的手的手指，是指向操作画面107内的AR对象来操作AR对象的指示物体。能够操作的内容根据AR对象而不同，例如，在图4的(b)中，通过选择AR对象106来捕获AR对象106的角色。此外，也可以通过选择AR对象来显示能够操作的菜单显示，进而通过滑动手指来选择菜单内的操作。
这样，用户能够在用户的手掌上或前方显示作为操作用的子画面的操作画面，直接操作在操作画面中映出的AR对象。因此，能够在手掌上进行操作，不需要在空间内进行大的动作，能够在MR空间中进行直观的操作。
图5是本实施例中的MR处理的整体控制进程81的流程。在图5中，在S100中开始处理。在S101中，根据需要登入以使用HMD1。登入服务器可以是内部网络的个人计算机，也可以是经由外部网络2连接的服务器。或者，也可以在HMD1内进行处理。通过登入，从数据FROM59调出预先注册的用户固有的设定(用户信息)。用户固有的设定例如可以举出该用户容易看到的亮度、对比度、配色、菜单显示位置等关于显示的设定。此外，也可以是用户的名字、化身(avatar)等图标。
在步骤S102中，使用摄像机10和测距摄像机11拍摄现实空间。摄像机拍摄可以在执行MR处理整体的时刻进行，也可以例如继续30fps(frame per second：帧每秒)的动态图像拍摄，在执行MR处理整体的时刻捕获拍摄影像。
在S103中，执行拍摄对象进程82，进行所捕获的摄像机拍摄影像的特征提取，选择特征点，对特征点的集合确定现实物体的形状等并登记为拍摄对象。例如，人物、店铺的招牌、对现实空间赋予特征的拍摄对象被列举为拍摄对象。在HMD1中，现实物体被处理为拍摄对象数据。在现实空间中，房间的墙壁、远方的风景等作为提供背景的摄影对象来处理。
在S104中，执行AR对象进程83，通过从HMD1内的数据FROM59等存储器、或者从经由外部网络2连接的服务器下载等，得到配置在现实空间中的AR对象的数据。或者，也可以导入主要由控制器15的CPU55生成的、或者由其他应用程序生成的AR对象。
S105是显示影像生成进程84，生成AR对象的显示影像。另外，生成操作画面的影像。
S106是操作识别进程85，从摄像机拍摄影像追踪操作画面上的指示物体等的动作来取得操作信息，决定选择哪个AR对象、对所选择的AR对象赋予什么变更。
此外，在S104至S106中虚线所示的循环中，在执行操作识别进程85，进行了AR对象的参数等的变更时，或者检测到用户的手掌时，将这些参数、状态的操作信息提供给AR对象进程83、显示影像生成进程84，在显示影像生成进程84中反映到显示影像中。
图6是MR处理中的拍摄对象进程82的流程。在图6中，在S150中开始处理。在S151中，读入摄像机拍摄影像。在S152中，进行影像的特征分析，例如提取边缘，提取边缘的顶点、拐点作为特征点。在S153中，将由测距摄像机11或传感器组53得到的距离等位置数据提供给特征点。
在S154中，评价特征点与上次之差，在S155中，根据评价结果，从差有意义的特征点的集合中检索并确定对象的类别等。在步骤S156中，将该结果登记为拍摄对象。在S157中结束流程。
图7是MR处理中的AR对象进程83的流程。在图7中，在S180开始。在S181中选择一个摄影对象，在S182中选择AR对象。AR对象的选择候选例如也可以经由CPU55、通信部54参照存储在外部的服务器中的数据。在S183中，为了进行AR对象相对于摄影对象的关联，选择相对于摄影对象的相对位置等从属的参数，赋予AR对象在显示影像上的位置、大小、方向。例如，通过赋予相对于所选择的摄影对象的某个特征点的位置的偏移，能够进行定位。
另外，在S183的步骤中，从操作识别进程85提供操作信息，指示参数等的变更。
在S184中，判断是否剩余有与AR对象关联的摄影对象，在剩余的情况下(“是”)返回到S181，在“否”的情况下在S185中结束。
另外，在将与摄影对象无关的AR对象、例如钟表的AR对象放置在画面内等的情况下，不需要S181的摄影对象的选择，也不需要S183中的AR对象与摄影对象的关联。
另外，AR对象进程83不限于上述的流程。例如，也存在主要由HMD1内的CPU55通过描绘等处理来生成的情况，也可以是执行其他应用并导入应用所生成的AR对象的方式。
图8是MR处理中的显示影像生成进程84的流程。在图8中，在S200开始。在S201中选择要显示的AR对象。要显示的AR对象是与HMD1的显示范围内的现实物体(在HMD1中作为拍摄对象)相关联的所有AR对象，按每个AR对象执行处理。在S202中AR对象未成为显示设定的情况下(“否”)，跳过S203到S205。
在显示设定为“是”的情况下，在S203中进行考虑了HMD1的方向的旋转处理、考虑了AR对象的距离的放大缩小处理。在S204中，对AR对象与在显示上叠加的现实物体之间的距离关系进行评价，在S205中进行AR对象的显示，但在现实物体位于AR对象之前且存在隐藏的部分的情况下，以不显示AR对象的该部分的方式进行处理。由此，能够进行考虑了现实物体与AR对象的进深关系的立体显示。
在S206中，在存在未处理的AR对象的情况下(是)，返回S201。当结束了对所有AR对象的处理时，完成显示影像，但是在操作识别进程85的操作信息包括手掌检测信息的情况下，在步骤S207中进行检测，在步骤S208中生成操作画面，并且将该操作画面添加到显示影像中。在S209中结束流程。
图9是MR处理中的操作识别进程85的流程。在图9中，在S220开始。在S221中，在摄像机拍摄影像中，识别在靠近HMD1的区域是否有手掌，在有的情况下作为操作信息输出。在S222中，在摄像机拍摄影像中，检测在操作画面上是否有手指等指示物体，并且在有的情况下，检测指示物体的位置和动作。该结果在S223中被判断，确定对哪个AR对象指示了什么操作，并作为操作信息输出。在S224中结束流程。
如以上说明的那样，根据本实施例，用户能够在用户的手掌上或前方显示操作画面，直接操作在操作画面中映出的AR对象，所以能够不进行大的动作地在MR空间中进行直观的操作。
此外，在本实施例中，说明了在用户的手掌显示操作画面，但不限于此，例如，只要是包括手背、手臂等身体的一部分、预先确定的书等手拿着的范围的物体等在内的、指示操作画面的指示物体(手指等)能够物理接触的物体、即操作画面显示物体即可。
(实施例2)
本实施例说明能够在操作画面上用单手操作AR对象的例子。
图10是通过单手操作来选择本实施例中的操作画面上的AR对象的说明图。在图10中，对与图4的(b)相同的结构标注相同的附图标记，并省略其说明。如图10的(a)所示，从打开手的状态起，将任意手指折弯，选择与折弯的手指尖最近的AR对象。
图10的(b)表示了仅通过将手指弯折而无法到达位于操作画面的下侧的AR对象的情况。如图所示，通过使手掌倾斜，压缩操作画面的纵向，能够使手指尖接近位于操作画面的下侧的AR对象，从而能够选择AR对象。手掌的倾斜例如由距离传感器检测，或者从手掌的图像检测纵横比的变化，由此在纵向上压缩操作画面的显示。横向也与纵向同样地，通过使手掌向左右倾斜来压缩横向，能够用容易弯折的手指选择AR对象。
图11是通过单手操作进行本实施例中的操作画面的放大、缩小的说明图。在图11中，对与图10相同的结构标注相同的附图标记，并省略其说明。在图11的(a)中，在图示的箭头的方向上扩大手指间，放大操作画面。在从扩大了手指间的状态返回到原来的动作中，不进行操作画面的放大缩小，在再次扩大了手指间时，使操作画面进一步放大。由此，能够将操作画面放大到几乎没有制约的大小。手指间的动作例如能够根据手掌的图像检测手指的前端，并通过检测出的各手指间的距离的变化来检测。
图11的(b)是进行操作画面的缩小的操作。在图示的箭头的方向上缩窄手指间，缩小操作画面。与放大的情况同样地，通过连续的操作，能够得到几乎没有制约的缩小的操作画面。
如以上说明的那样，根据本实施例，能够用单手且以较小的动作进行AR对象等的操作。
(实施例3)
本实施例说明简化操作画面的影像而容易观察的例子。
图12表示本实施例中的MR空间的显示影像。在图12中，对与图4的(b)相同的结构标注相同的附图标记，并省略其说明。图12的(a)是与图4的(b)所示的相同的MR空间，但操作画面107的影像不同。图12的(b)是为了说明而将图12的(a)中的操作画面107放大的图。如图12的(b)所示，操作画面107的影像显示图4的(b)的操作画面107的简化后的影像。
图13是本实施例中的、与图8的显示影像生成进程84的操作画面生成和显示的步骤S208相当的处理的流程。在图13中，在S250中开始，在S251中，接收摄像机拍摄影像和拍摄对象的数据。
在S252中对摄影对象分配图案影像，在S253中决定描绘图案影像的颜色。颜色可以不是1种颜色，可以在图案影像的上部和下部改变颜色，也可以在图案影像的框和内侧设为不同的颜色。同样地，在S254中，对AR对象分配图案影像，决定在S255中描绘的颜色。此外，在S256中，将背景形状图案影像化，并且确定要在S257中绘制的颜色。在S258中，将拍摄对象、AR对象和背景的图案影像合成，得到图12的107所示的操作画面并输出。在S259中结束。
如以上说明的那样，根据本实施例，能够实现操作画面的简化，容易在操作画面中选择AR对象。
(实施例4)
在本实施例中，对在操作画面的影像中仅映出AR对象的例子进行说明。
图14是在本实施例中的操作画面的影像中仅映出AR对象的说明图。在图14中，对与图4的(b)相同的结构标注相同的附图标记，并省略其说明。
图14的(a)是选择AR对象的图，用户通过用手指替换AR对象来进行选择。在选择之后，用户在图中的虚线箭头的方向上移动(拖动)指向AR对象的手指。
在图14的(b)中，将在图14的(a)中选择的AR对象显示为操作画面107。为了进行显示，如果在将手指充分向下方移动之后打开手掌3a，则在手掌3a的前方显示操作画面107。操作画面107的影像是所选择的AR对象。然后，用户能够对操作画面107上的AR对象进行操作。
此外，AR对象的选择也可以是手指指示以外的选择。例如，HMD1可以被配置为包括用于检测用户3的视线的装置，并且可以被配置为选择由视线捕捉的AR对象。
如以上说明的那样，根据本实施例，仅将操作对象的AR对象映出在操作画面上，能够在手边看到操作对象的AR对象的细节部分。另外，由于能够将操作对象的AR对象移动到容易操作的场所来进行操作，所以具有操作性提高的效果。
(实施例5)
在本实施例中，对在用户抬起手并且将手掌放在面前之后通过放下手或头部来轻松地操作操作画面的操作方法的例子进行说明。
图15是本实施例中的操作画面的轻松的操作方法的说明图。在图15中，对与图4相同的结构标注相同的附图标记，并省略其说明。
在图15的(a)的左图(a1)中，与实施例1同样地，用户3在抬起手的状态下使视线朝向前方。HMD1在摄像机的拍摄范围内捕捉用户的手，并在手掌上显示操作画面。用户3例如通过从打开手的状态变为握住的状态，确定在操作画面中能够控制的AR对象。用户3再次伸手，从左图(a1)的手势起，如右图(a2)那样，以手和脸向下的舒适的手势，在之前确定的操作画面中操作AR对象。
图15的(b)与图15的(a)对应地表示MR空间的影像的变化。(a1)的手势时，MR空间的影像为100，映出前方的现实空间和AR对象。HMD1将该影像循环地保存在大约几秒的内部存储器中，以覆盖过去的影像。
如图15的(a2)所示，当用户的手势移动时，MR空间的影像向100a变化，映出100的下部。在用户3的手掌3a上显示先前确定的操作画面107。显示在操作画面107上的影像是手势(a1)时的图像，并且用户3在手势(a1)时选择和操作AR对象。为了解除所确定的操作画面107，成为当前能够看到的MR空间的影像100a，与确定时同样地，将握住打开的手掌、或者使手指3a从没有AR对象的地方向外滑动等的手势作为解除指令进行登记，执行相应的手势，由此能够容易地进行操作。
如以上说明的那样，在本实施例中，用户能够以轻松的手势进行MR空间的操作。
另外，在本实施例中，在操作画面107内实际图像的背景是固定的，但不需要停止有动作的AR对象的动作。通过将AR对象的处理范围设为MR空间的影像100和100a，能够使操作画面内107的AR对象保持与显示于MR空间的影像100的图像同样地移动的状态。
另外，操作画面的确定、解除不限于上述手势，例如，也可以通过识别其他手势、声音、手掌数秒等来进行操作画面的确定。
(实施例6)
在本实施例中，对用户可以不抬起手将手掌放在面前的操作方法的例子进行说明。
图16是本实施例中的用户可以不抬起手将手掌放在面前的操作方法的说明图。在图16中，对与图15相同的结构标注相同的附图标记，并省略其说明。
在图16的(a)中，用户3在放下手的状态下将视线朝向前方。在该手势下，HMD1在摄像机的拍摄范围内没有捕捉到用户的手。从该手势起，用户3为了在MR空间中进行操作，如图16的(b)所示，使面部朝下，HMD1使手掌3a处于摄像机的拍摄范围内。此时，用户不需要移动手。
MR空间的影像的变化与图15的(b)相同。在图16的(a)的手势时，MR空间的影像为100，映出前方的现实空间和AR对象。此时，HMD1将该影像循环地保存在大约几秒的内部存储器中，以覆盖过去的影像。
当用户的手势在图16的(b)中移动时，MR空间的影像向100a变化，映出100的下部，并且捕捉用户的手掌3a。该动作由HMD1的传感器组53检测，HMD1停止将影像保存在内部存储器中，读出之前的图16的(a)中保存的影像，作为操作画面的影像。显示在操作画面107上的图像是图16的(a)的手势时的影像，并且用户3选择和操作图16的(a)的手势时的AR对象。
如以上说明的那样，在本实施例中，用户仅通过稍微使头部朝下这样的动作就能够进行MR空间的操作。
(实施例7)
在本实施例中，说明即使在影像显示部的视野角比较窄的情况下，也使用广角的摄像机，得到与实施例5或者实施例6同等的效果，并且将成为操作画面的背景的现实空间图像作为实时动态图像的例子。
图17是表示本实施例中的广角摄像机的拍摄范围、MR空间的显示影像和操作画面的关系的说明图。在图17中，对与图4的(b)相同的结构标注相同的附图标记，并省略其说明。
在图17中，108是在图15的(a1)的手势下广角的摄像机10光学拍摄的范围，广角的摄像机10从108的范围中，通过与将100和100b合起来的范围相应的摄像元件进行广角拍摄。
在图15的(a1)的手势下，MR空间为100(实线)的范围。100是透过透射型光学系统13可见的现实空间的背景，由显示光学系统12投影AR对象而得到的影像是MR空间。广角的摄像机10在上部100b的范围内具有比通过透射型光学系统13可见的现实空间更广角的拍摄范围。
当用户从该状态转变到图15的(a2)的手势时，广角摄像机的光学范围移动到108a。此时，MR空间的影像为100a，捕捉用户的手掌3a。在手掌3a的前方映出操作画面，但通过使该影像为广角的拍摄范围的上部的区域100的影像，作为MR空间的操作范围的用户操作的MR空间在手势的转移的前后不会变化。此时，HMD1在MR空间100和MR空间100a的范围内执行AR对象的生成和叠加处理。
此外，由于使用广角摄像机连续拍摄操作范围的影像，所以能获得实时的现实空间图像，并且拍摄的AR对象也能够实时地跟随。
如以上说明的那样，在本实施例中，用户也能够仅通过轻松的手势的操作、使头部稍微朝下这样的动作来进行MR空间的操作，并且能够显示、操作沿着变化的实际空间的影像的AR对象。
(实施例8)
在实施例1中，构成为使用透射型光学系统将AR对象投射到透射型光学系统进行显示，并且用户通过透射型光学系统观看前方的风景、现实物体。与此相对，在本实施例中，对使用视频直通方式的HMD的例子进行说明。
所谓视频直通方式，是将用摄像机拍摄前方的风景或现实物体而得到的影像影像与AR对象合成并显示于显示装置的结构。另外，省略本实施例中的HMD的结构框图。另外，摄像机由一对摄像机构成，不仅可以是得到具有左右视差的摄像机拍摄影像，还可以是根据视差信息得到摄像机拍摄影像内的现实物体或背景的距离等位置信息的3D摄像机。
在使用透射型光学系统的情况下，在AR对象向现实空间的粘贴中，有可能由于视差的影响等而产生偏移，但通过如本实施例那样设为视频直通方式，能够在影像影像与AR对象的合成时调整视差的影响等，能够生成没有偏移的合成影像。
以上，对本发明的实施例进行了说明，但本发明并不限定于上述的实施例，包含各种变形例。例如，上述的实施例是为了容易理解地说明本发明而详细地说明了结构的例子，并不限定于必须包括所说明的全部结构。另外，能够将某实施例的结构的一部分置换为其他实施例的结构，另外，也能够在某实施例的结构中添加其他实施例的结构。另外，对于各实施例的结构的一部分，能够进行其他结构的追加、删除、置换。另外，上述的各结构、功能、处理部的一部分或者全部例如也可以通过由集成电路设计等而由硬件实现。另外，也可以并用硬件和软件。
附图标记说明
1：头戴式显示器(HMD)；3：用户；3a：用户的手掌；3b：用户的手指；10：摄像机；11：测距摄像机；12、12a、12b：显示光学系统(影像投影部)；13：透射型光学系统；15：控制器；51：特征提取处理部；52：距离计算处理部；53：传感器组；54：通信部；55：CPU；56：RAM；57：影像RAM；58：程序FROM；59：数据FROM；81：整体控制进程；82：拍摄对象进程；83：AR对象进程；84：显示影像生成进程；85：操作识别进程；100、100a：MR空间；101、102、103、104、105、106：AR对象；107：操作画面。

Claims (11)

1.一种头戴式显示器，在现实空间中显示AR对象而形成MR空间，其特征在于，包括：
拍摄现实空间而得到拍摄影像的摄像机；
测量现实空间内的现实物体的距离的测距摄像机；和
控制装置，
所述控制装置包括：
从所述拍摄影像中识别现实物体的拍摄对象处理；
得到AR对象并对该AR对象赋予包含现实空间内的距离的位置的AR对象处理；
反映现实物体与AR对象的远近而生成MR空间的显示影像的显示影像生成处理，以及
从所述拍摄影像中检测操作画面显示物体的处理；和
在该操作画面显示物体的前方显示所述MR空间的操作画面的处理，
其中，该操作画面的影像包含所述MR空间内的AR对象。
2.如权利要求1所述的头戴式显示器，其特征在于：
所述操作画面的影像是由所述拍摄影像和AR对象构成的MR空间的影像。
3.如权利要求1所述的头戴式显示器，其特征在于：
所述控制装置包括识别所述操作画面上的指示物体的动作的处理，通过该指示物体的动作能够操作所述MR空间的AR对象。
4.如权利要求3所述的头戴式显示器，其特征在于：
所述指示物体是手指，通过手指的动作能够操作AR对象和操作画面。
5.如权利要求4所述的头戴式显示器，其特征在于：
所述操作画面显示物体是手掌。
6.如权利要求5所述的头戴式显示器，其特征在于：
所述识别指示物体的动作的处理是显示操作画面的所述手掌的手指，所述控制装置包括识别手指的弯折、手指的开合的处理。
7.如权利要求1所述的头戴式显示器，其特征在于：
所述控制装置包括将现实空间的现实物体、背景和AR对象变换为图案化的影像的处理，将该图案化的影像合成来作为所述操作画面的影像。
8.如权利要求1所述的头戴式显示器，其特征在于：
所述控制装置将通过拖动所述MR空间的AR对象的操作而选择的AR对象作为所述操作画面的影像。
9.如权利要求1所述的头戴式显示器，其特征在于：
包括检测头戴式显示器的动作的传感器，
所述控制装置检测头戴式显示器向下旋转移动的情况，并在检测到所述操作画面显示物体时，将头戴式显示器向下旋转移动之前的MR空间的影像作为所述操作画面的影像。
10.如权利要求1所述的头戴式显示器，其特征在于：
拍摄所述现实空间而得到拍摄影像的摄像机是能够得到比所述MR空间的显示范围更广角的拍摄影像的摄像机，
所述头戴式显示器还包括检测头戴式显示器的动作的传感器，
所述控制装置检测头戴式显示器向下旋转移动的情况，并在检测到所述操作画面显示物体时，将包含使所述广角的拍摄影像的截取位置向上方偏移了的影像的MR空间的影像作为所述操作画面的影像。
11.如权利要求1所述的头戴式显示器，其特征在于：
包括透射型光学系统和对AR对象进行投影的显示光学系统，
所述控制装置使由所述显示光学系统投影的AR对象与通过透射型光学系统可见的现实空间叠加来得到所述MR空间。
CN201980096673.2A 2019-05-22 2019-05-22 头戴式显示器 Pending CN113853569A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/020230 WO2020235035A1 (ja) 2019-05-22 2019-05-22 ヘッドマウントディスプレイ

Publications (1)

Publication Number Publication Date
CN113853569A true CN113853569A (zh) 2021-12-28

Family

ID=73459316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980096673.2A Pending CN113853569A (zh) 2019-05-22 2019-05-22 头戴式显示器

Country Status (5)

Country Link
US (1) US20220244788A1 (zh)
EP (1) EP3974949A4 (zh)
JP (2) JP7157244B2 (zh)
CN (1) CN113853569A (zh)
WO (1) WO2020235035A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911266A (zh) * 2021-01-29 2021-06-04 深圳技术大学 基于增强现实技术的物联网实训系统的实现方法及系统
US11893166B1 (en) * 2022-11-08 2024-02-06 Snap Inc. User avatar movement control using an augmented reality eyewear device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09152954A (ja) * 1995-11-30 1997-06-10 Toshiba Corp 情報提示方法及び情報提示装置
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US20040095311A1 (en) * 2002-11-19 2004-05-20 Motorola, Inc. Body-centric virtual interactive apparatus and method
JP2008040037A (ja) * 2006-08-04 2008-02-21 Hitachi Ltd ヘッドマウントディスプレイ装置および情報端末
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
JP2011203824A (ja) * 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2013174642A (ja) * 2012-02-23 2013-09-05 Toshiba Corp 映像表示装置
JP6116934B2 (ja) 2012-09-06 2017-04-19 東芝アルパイン・オートモティブテクノロジー株式会社 アイコン操作装置
TWI649675B (zh) 2013-03-28 2019-02-01 新力股份有限公司 Display device
US10175483B2 (en) * 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
JP5763730B2 (ja) * 2013-11-01 2015-08-12 日立マクセル株式会社 テレビジョン受像機の操作を行うための手元端末、制御装置、及びシステム
EP4239456A1 (en) * 2014-03-21 2023-09-06 Samsung Electronics Co., Ltd. Method and glasses type wearable device for providing a virtual input interface
JP2016115329A (ja) * 2015-05-22 2016-06-23 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
JP6611501B2 (ja) * 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
JP2017142294A (ja) * 2016-02-08 2017-08-17 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP6256497B2 (ja) * 2016-03-04 2018-01-10 日本電気株式会社 情報処理システム、情報処理装置、制御方法、及びプログラム
JP6210466B1 (ja) 2016-10-31 2017-10-11 パナソニックＩｐマネジメント株式会社 情報入力装置

Also Published As

Publication number Publication date
JP2022183213A (ja) 2022-12-08
JPWO2020235035A1 (zh) 2020-11-26
WO2020235035A1 (ja) 2020-11-26
EP3974949A1 (en) 2022-03-30
JP7157244B2 (ja) 2022-10-19
US20220244788A1 (en) 2022-08-04
EP3974949A4 (en) 2022-12-28
JP7499819B2 (ja) 2024-06-14

Similar Documents

Publication Publication Date Title
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
JP5966510B2 (ja) 情報処理システム
KR102098277B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP4725595B2 (ja) 映像処理装置、映像処理方法、プログラム及び記録媒体
EP2189835A1 (en) Terminal apparatus, display control method, and display control program
JP7499819B2 (ja) ヘッドマウントディスプレイ
JP2008129775A (ja) 表示制御装置、表示装置、表示制御方法
JPWO2014128787A1 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US11625858B2 (en) Video synthesis device, video synthesis method and recording medium
US20210233325A1 (en) Video synthesis device, video synthesis method and recording medium
JP2012238293A (ja) 入力装置
WO2020080107A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR102159767B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
JP2020087429A (ja) 動画合成装置、動画合成方法及び動画合成プログラム
KR102312601B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
CN115698923A (zh) 信息处理装置、信息处理方法和程序
JP7241628B2 (ja) 動画合成装置、動画合成方法、および動画合成プログラム
JP7427739B2 (ja) 表示装置
KR20210125465A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
KR20090112591A (ko) 영상 처리 장치, 영상 처리 방법, 프로그램 및 기록 매체
KR20200029120A (ko) 듀얼 카메라를 이용한 배경 제거 사진 촬영 방법 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination