CN113168820A - 显示终端、显示控制系统以及显示控制方法 - Google Patents

显示终端、显示控制系统以及显示控制方法 Download PDF

Info

Publication number
CN113168820A
CN113168820A CN201880100103.1A CN201880100103A CN113168820A CN 113168820 A CN113168820 A CN 113168820A CN 201880100103 A CN201880100103 A CN 201880100103A CN 113168820 A CN113168820 A CN 113168820A
Authority
CN
China
Prior art keywords
display
virtual object
data
color image
correction unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880100103.1A
Other languages
English (en)
Inventor
盐川淳司
桥本康宣
渡边光信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN113168820A publication Critical patent/CN113168820A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

一种具备显示器(215)的显示终端，具备：彩色图像照相机(214a)及距离图像照相机(215b)，分别取得预先决定的摄影范围的彩色图像及距离图像；以及显示控制部(220)，使虚拟对象(100)显示于显示器(215)，显示控制部(220)具备：空间辨识部(221)，使用彩色图像和距离图像，生成构造物(300)的三维图；显示数据生成部(223)，根据三维图和虚拟对象(100)在实际空间上的配置位置数据，生成确定在视线方向上成为构造物(300)的背后的虚拟对象(100)的背面区域(101)的显示数据；以及显示校正部(224)，校正显示数据而显示于显示器(215)，显示校正部(224)以使背面区域(101)的受理针对虚拟对象(100)的操作指示的操作点(110)显示的方式，校正显示数据。

Description

显示终端、显示控制系统以及显示控制方法
技术领域
本发明涉及显示终端中的虚拟对象的显示技术。
背景技术
有提高增强现实(AR、Augmented Reality)图像的视觉辨认性的技术，该增强现实图像显示于HMD(头戴式显示器；Head Mount Display)等显示终端，针对现实空间的物体附加计算机产生的信息而得到。例如，在专利文献1中，公开一种具备能够透射地视觉辨认外界的显示部的头部佩戴型显示装置，“在显示部中具备：重叠图像显示控制部，以与被透射地视觉辨认的外界重叠的方式显示预定的图像；摄像部，对至少所述被透射地视觉辨认的外界中的预定范围进行摄像；部分图像确定部，从由摄像部得到的摄像图像，确定位置与所述预定的图像对应的预定范围的部分图像；以及视觉辨认性校正部，根据关于确定出的所述部分图像的颜色信息，校正由重叠图像显示控制部显示的预定的图像的观察样式(摘要摘录)”。
现有技术文献
专利文献
专利文献1：日本特开2016-142887号公报
发明内容
关于通过AR图像显示的虚拟对象等，通过针对在该虚拟对象的周围预先设定的操作点进行指示，从而进行移动、旋转、变形等操作。然而，根据虚拟对象的显示位置，该虚拟对象的一部分处于周围的构造物的背后，隐藏面被删除，与其相伴地，有时不显示必要的操作点。因此，未必能得到高的操作性。另一方面，在不取决于虚拟对象的操作后的配置位置而直接地显示虚拟对象时，得不到现实感。
本发明是鉴于上述事情而完成的，其目的在于提供一种不取决于虚拟对象的显示位置而确保现实感、并且实现高的操作性的虚拟对象显示技术。
本发明的显示终端，具备显示器，其特征在于，具备：彩色图像照相机，取得预先决定的摄影范围的彩色图像；距离图像照相机，取得所述摄影范围的距离图像；以及显示控制部，使虚拟对象显示于所述显示器，所述显示控制部具备：空间辨识部，使用所述彩色图像和所述距离图像，生成所述摄影范围内的构造物的三维图；显示数据生成部，根据所述三维图和显示的所述虚拟对象在实际空间上的配置位置数据，生成将关于视线方向成为所述构造物的背后的该虚拟对象的区域确定为背面区域的显示数据；以及显示校正部，校正所述显示数据而显示于所述显示器，所述显示校正部以使所述背面区域的操作点显示的方式，校正所述显示数据，所述操作点是用于经由该操作点受理针对所述虚拟对象的操作指示的点。
根据本发明，能够提供不取决于虚拟对象的显示位置而确保现实感、并且实现高的操作性的虚拟对象显示技术。上述以外的课题、结构以及效果通过以下的实施方式的说明将更加明确。
附图说明
图1(a)～(c)是用于说明本发明的实施方式的虚拟对象显示处理的概要的说明图。
图2(a)是本发明的实施方式的HMD的硬件结构图，(b)是本发明的实施方式的HMD的外观图。
图3是本发明的实施方式的HMD的控制器的功能框图。
图4(a)以及(b)是用于说明本发明的实施方式的虚拟对象显示处理的概要的说明图。
图5是本发明的实施方式的虚拟对象显示处理的流程图。
图6(a)以及(b)是用于说明本发明的实施方式的显示器显示的说明图。
图7(a)～(c)是用于说明本发明的实施方式的虚拟对象显示的样式的一个例子的说明图。
图8(a)～(c)是用于说明本发明的实施方式的虚拟对象显示的样式的其他例子的说明图。
图9(a)以及(b)是用于说明本发明的实施方式的虚拟对象显示的样式的变形例1的说明图。
图10是用于说明本发明的实施方式的虚拟对象显示的样式的变形例2的说明图。
图11是用于说明本发明的实施方式的虚拟对象显示的样式的变形例3的说明图。
图12是用于说明本发明的实施方式的虚拟对象显示的样式的变形例4的说明图。
图13是用于说明本发明的实施方式的虚拟对象显示的样式的变形例5的说明图。
图14是用于说明本发明的实施方式的虚拟对象显示的样式的变形例6的说明图。
(符号说明)
100：虚拟对象；101：背面区域；102：前面区域；110：操作点；121：界线；122：表面样式；200：HMD；201：用户；202：手指；203：箭头；210：控制器；211：CPU；212：RAM；213：ROM；214：照相机；214a：彩色图像照相机；214b：距离图像照相机；214c：视线检测装置；215：显示器；215a：框内；216：声音I/F；217：通信I/F；218：传感器；218a：GPS接收机；218b：陀螺仪传感器；218c：加速度传感器；218d：地磁传感器；218e：触摸传感器；219：总线；220：显示控制部；221：空间辨识部；222：指示受理部；223：显示数据生成部；224：显示校正部；228：图像取得部；229：声音输出控制部；230：存储装置；231：彩色图像数据；232：距离图像数据；233：空间辨识数据；234：虚拟对象数据；235：附加对象数据；236：声音数据；237：拟声语数据；241：框架；300：构造物；301：构造物；400：附加对象；401：缩微虚拟对象；402：附加对象；500：取景图像。
具体实施方式
以下，使用附图，说明本发明的实施方式。以下，在本说明书中，具有同一功能的部分只要没有特别说明则附加同一符号，省略反复的说明。此外，本发明不限定于在此说明的实施方式。
在本实施方式中，作为显示终端，以透射型(透视型)的HMD为例子进行说明，该HMD由用户(佩戴者)在头部佩戴(头戴式显示器；Head Mount Display)，并且具备透射型显示器，能够对外界和显示图像这两方进行视觉辨认。
首先，使用图1(a)至图1(c)，说明本实施方式的概要。在本实施方式中，如图1(a)所示，用户201在室内佩戴HMD200，使虚拟对象100显示于HMD200的显示器而操作。
HMD200具有实际空间以及虚拟对象100的距离信息(进深信息)。以往，在HMD200的显示器中，如图1(b)所示不显示比实际空间的墙壁等构造物300更深地配置的虚拟对象100的部分。因此，在这样的情况下，用户201无法掌握虚拟对象100的全貌。
另外，一般，虚拟对象100通过操作设定在虚拟对象100上或者周围附近的操作点(变换控制器)110，进行移动、旋转、变形等操作。因此，在如图1(b)显示的情况下，构造物300的背后的部分的操作点110不被显示，所以无法操作。
在本实施方式中，为了解决该问题，如图1(c)所示，即使有构造物300，虚拟对象100也使所有操作点110显示。另外，也可以使虚拟对象100自身的整体显示。另外，此时也可以以知晓连本来不显示的部分也显示的方式，显示附加对象400。
以下，说明实现这样的显示控制的本实施方式的HMD200。
[硬件结构图]
图2(a)是HMD200的硬件结构图。另外，图2(b)是本实施方式的HMD200的外观图。
本实施方式的HMD200具有基本上与通用的计算机(信息处理装置)同样的结构。即，HMD200如本图所示，具备控制器210、照相机214、显示器215、声音接口(I/F)216、通信I/F217、传感器218、对各部分进行电连接的总线219以及视线检测装置214c。进而，本实施方式的HMD200具备支撑各部并供用户201佩戴的框架241。
控制器210依照预先决定的程序，进行各种处理。在本实施方式中，控制器210例如使虚拟对象100显示于显示器215的预定的位置。
本实施方式的控制器210具备CPU211、RAM212以及ROM213。CPU211通过将预先储存于ROM213的程序载入到RAM212并执行，实现各种功能。此外，RAM212以及ROM213在无需特别区分的情况下，将两者合起来称为存储装置230(参照图3)。此外，控制器210例如配置于框架241上。
照相机214具备彩色图像照相机214a、和距离图像照相机214b。彩色图像照相机214a对包括用户201的视场范围的摄影范围进行摄影，取得彩色图像。另外，距离图像照相机214b取得范围与彩色图像照相机214a大致相同的摄影范围的距离图像。照相机214(彩色图像照相机214a以及距离图像照相机214b)例如配置于框架241的最前部(最靠显示器215侧)的、能够对上述摄影范围进行摄影的位置。
显示器215是显示由照相机214取得的图像、在HMD200内生成的显示数据的设备。显示器215例如由透射型的液晶设备、有机EL设备、或者使用MEMS(micro electromechanical systems，微电子机械系统)的光扫描型的设备等构成。然而，设备不限于此，只要是能够实现在显示器215上显示影像的同时，透视地看得到显示器215对面侧的透射型显示器构造的设备即可。
在本实施方式的HMD200中，透射型的显示器215被支撑在用户201的单眼或者两眼前。此外，显示器215能够拍摄任意的形状。显示器215也可以具备右以及左显示面板，另外也可以在显示器215中显示图形用户I/F的一个或者多个UI对象。
声音I/F216例如是麦克风、扬声器、蜂鸣器等声音输出装置。声音I/F216进行外界的声音的输入、和在HMD200内制作出的声音、经由通信I/F217送来的声音、音乐等声音的输出。在本实施方式中，也可以不配备声音I/F216。
通信I/F217具备编码电路、解码电路、天线等，经由网络，与其他装置进行数据的发送接收(数据通信)。在本实施方式中，通信I/F217是经由省略图示的接入点等、或者经由省略图示的移动电话通信网的基站等而与网络连接的I/F。HMD200经由通信I/F217而与连接到网络的各服务器进行数据发送接收。
HMD200和所述接入点的连接例如通过Wi-Fi(注册商标)等无线通信方式、其他通信方式进行。HMD200和所述移动体电话通信网的基站的连接例如通过W-CDMA(注册商标)(Wideband Code Division Multiple Access：宽带码分多址)方式、GSM(注册商标)(Global System for Mobile communications，全球移动通信系统)方式、LTE(Long TermEvolution，长期演进)方式、或者其他通信方式进行。此外，本实施方式的HMD200也可以不具备通信I/F217。
传感器218检测HMD200的当前位置、倾斜、速度、由用户201实施的操作等。在HMD200中，作为传感器218，例如具备GPS接收机218a等位置信息取得传感器、陀螺仪传感器218b、加速度传感器218c、地磁传感器218d、触摸传感器218e等。此外，关于传感器218，也可以不具备全部。
视线检测装置214c检测用户201的视线方向。视线检测装置214c例如用检测用户201的视线方向的视线检测照相机等实现。视线检测照相机以在摄影范围包含用户201的眼的虹膜、瞳孔等的方式安装。
框架241支撑显示器215、照相机214、控制器210等HMD200的零件。
[功能块]
接下来，说明本实施方式的控制器210实现的、与虚拟对象显示关联的功能。图3是本实施方式的HMD200的、与虚拟对象显示处理关联的功能的功能框图。如本图所示，本实施方式的控制器210实现图像取得部228、显示控制部220、以及声音输出控制部229的功能。另外，显示控制部220具备空间辨识部221、指示受理部222、显示数据生成部223以及显示校正部224。
各功能通过CPU211将储存于ROM213的程序载入到RAM212并执行而实现。
另外，在存储装置230中存储有彩色图像数据231、距离图像数据232、空间辨识数据233、虚拟对象数据(虚拟OJT数据)234、附加对象数据(附加OJT数据)235以及声音数据236。
彩色图像数据231是由彩色图像照相机214a取得的图像。距离图像数据232是由距离图像照相机214b取得的图像。
图像取得部228将由彩色图像照相机214a以及距离图像照相机214b分别取得的彩色图像以及距离图像作为彩色图像数据231以及距离图像数据232而存储到存储装置230。在本实施方式中，彩色图像以及距离图像大致同步地取得。
空间辨识部221辨识周围的实际空间，将其结果作为空间辨识数据233存储到存储装置230。使用大致同时取得的彩色图像数据231以及距离图像数据232进行辨识。
空间辨识部221依照用户201的扫描动作，以预定的时间间隔根据各图像数据生成作为处于摄影范围的构造物300的三维数据(三维图)的空间辨识数据233，并存储到存储装置230。例如，在刚刚起动之后，作为初始设定，用户201进行周围的扫描。
空间辨识数据233例如通过定义三维空间整体的世界坐标系制作。作为一个例子，使用受理了空间辨识开始的指示时的、用HMD200主体的位置以及朝向(初始姿势)确定的、HMD200的本地坐标系的原点以及各轴方向作为该世界坐标系的原点以及各轴方向。在该坐标系中，例如，在HMD200主体的初始姿势下，将HMD200的显示器215上的预定位置作为原点，将显示器215内作为xy平面，z轴方向设为与xy平面(显示器215面)垂直的方向。
此外，使用由各种传感器218得到的数据，计算由于用户201的扫描动作引起的HMD200的本地坐标系相对世界坐标系的位移量以及旋转量。
此外，例如使用既存的Spatial Mapping(空间映射)等技术，进行空间辨识。即，本实施方式的HMD200通过彩色图像照相机214a以及距离图像照相机214b对周围进行扫描。然后，空间辨识部221使用其结果，利用Spatial Mapping等应用生成三维数据。将空间辨识数据233例如作为网格数据保持。
另外，此时也可以构成为不仅是三维数据，而且同时还进行辨识构造物300的种类的Spatial Understanding(空间理解)。空间辨识部221能够通过Spatial Understanding，辨识摄影范围内的结构物的材质、种类。即，能够辨识构造物300是否为例如“墙壁”、“地板”、“顶棚”中的任意一个。本实施方式的空间辨识部221将这些辨识结果作为空间辨识数据233的属性数据储存到存储装置230。
指示受理部222从用户201受理针对显示于显示器215的虚拟对象100的显示指示以及操作指示。在显示指示以及操作指示中，例如有利用视线(凝视)的例子、利用手指的活动(手势)的例子等。
例如，使用视线检测装置214c，检测凝视所采用的视线方向的信息。
在手势中，例如有针对虚拟对象100的操作点110的点击事件(Air tap:空中点击)、点击并按住、手掌张开(Bloom)等。指示受理部222检测在彩色图像照相机214a以及距离图像照相机214b的摄影范围内设置的手势框架内的手指的活动，检测显示指示、操作指示等。
例如，在受理了显示指示的情况下，指示受理部222从虚拟对象数据234抽出被指示的虚拟对象100的数据，使后述显示数据生成部223生成显示数据。
另外，在受理了操作指示的情况下，指示受理部222检测该操作，通知给后述显示数据生成部223。
显示数据生成部223依照经由指示受理部222的用户201的指示，根据虚拟对象数据234，生成使被指示的虚拟对象100在显示器215的预定位置以预定的形状显示的显示数据。通过将依照指示受理部222的指示生成的显示数据显示于显示器215，虚拟对象100依照用户201的指示显示为移动、旋转、变形。
此时，显示数据生成部223在用户201的视线方向(根据用户201佩戴的HMD200的空间上的坐标位置、上下左右的朝向的信息计算出)上，生成将成为构造物300的背后的虚拟对象100的区域确定为背面区域101的显示数据。根据空间辨识部221生成的三维图(空间辨识数据233)和显示的虚拟对象100在实际空间上的配置位置数据，确定背面区域101(图4)。此外，用与上述空间辨识部221在空间辨识中使用的坐标系相同的坐标系，登记实际空间上的配置位置数据。
此外，虚拟对象100在实际空间上的配置位置数据根据显示的虚拟对象100的虚拟对象数据234得到。虚拟对象数据234包括各虚拟对象100的尺寸、形状、初始的配置位置信息。例如，关于对各虚拟对象100预先设定的配置位置点、操作点110等，登记初始的配置位置信息。配置位置点例如是虚拟对象100的三维重心位置等。另外，操作点110是如上所述受理虚拟对象100的显示形状变形的指示的点。
显示数据生成部223通过将指示受理部222的指示反映到当前的配置位置信息，得到与显示的虚拟对象100对应的虚拟对象数据234的最新的配置位置信息。然后，显示数据生成部223使用配置位置点的最新的配置位置信息和尺寸、形状等信息，得到虚拟对象100在实际空间上的配置位置数据。
显示数据生成部223进而使用该最新的在实际空间上的配置位置数据，确定显示的虚拟对象100的背面区域101。例如，显示数据生成部223根据虚拟对象100在实际空间上的配置位置数据，利用虚拟对象100在用户201佩戴的HMD200的空间上的坐标位置、根据上下左右的朝向的信息计算的直至虚拟对象的距离、虚拟对象100的形状数据、构造物300的坐标位置，确定出进深信息。
然后，将进深信息中的、比构造物300的进深信息相对位于里侧的虚拟对象100的区域(部分)以及操作点110，作为背面区域101。
此外，背面区域101是在通常的处理中进行隐藏面处理的区域。例如，如图4(a)所示，在虚拟对象100的一部分配置于墙壁、家具等构造物300的后面的情况下，以往，显示数据生成部223针对虚拟对象100的该背面区域101，实施隐藏面处理，以使其不显示的方式生成显示数据。
然而，在本实施方式中，为了以对用户更友好地显示为目标，显示校正部224即使在这样的情况下，也如图4(b)所示，以使虚拟对象100的整体以及附带的操作点110显示的方式，校正显示。显示校正部224进行这样的处理。
显示校正部224在显示的虚拟对象数据234中有背面区域101的情况下，校正该虚拟对象数据234的显示数据。
具体而言，显示校正部224取消针对背面区域101的隐藏面处理。而且，背面区域101也以犹如不存在构造物300地显示的方式，校正显示数据。即，显示校正部224以即使在虚拟对象数据234的一部分的区域处于比构造物300靠里的情况下也显示该区域的方式校正显示数据。
进而，显示校正部224为了表示此时虚拟对象100并非本来的显示样式而使附加对象400显示。附加对象400例如是用于使表示虚拟对象100突破构造物300的样子、在构造物300上开孔的样子等虚拟对象100的显示看起来更自然地存在现实感的对象。
预先准备显示的附加对象400的数据，作为存储装置230的附加对象数据235。附加对象数据235对应登记有附加对象400的显示样式、初始尺寸、相对虚拟对象100的显示位置的初始显示位置等信息。
此外，显示校正部224在由于用户201的操作而虚拟对象100的相对用户201的视线方向的显示方向变化的情况下，也可以追随这个变化，而使附加对象400的显示形状变形。进而，在由于用户201的视线方向的移动而虚拟对象100的显示方向变化的情况下，也可以同样地使附加对象400的显示形状变形。例如，依照与在使与视线方向的变化相伴的虚拟对象100的显示变形的处理中使用的程序相同的程序，进行附加对象400的变形。
接下来，说明由本实施方式的控制器210控制的、虚拟对象100的显示处理的流程。图5是本实施方式的虚拟对象显示处理的处理流程。此外，设为作为初始处理，已经进行空间辨识处理。另外，虚拟对象100整体显示于要被显示的位置。
直至从用户201经由指示受理部222受理结束指示为止，显示数据生成部223以及显示校正部224反复以下的处理(步骤S1101)。
在从用户201经由指示受理部222受理了针对虚拟对象100的移动操作时(步骤S1102)，显示数据生成部223生成显示数据(步骤S1103)。
在步骤S1103中，显示数据生成部223首先计算该虚拟对象100在显示器215上的显示位置。然后，显示数据生成部223确定视线方向，依照虚拟对象100的对应的虚拟对象数据234，计算进深信息。另外，还计算构造物300的进深信息。然后，显示数据生成部223确定显示数据上的背面区域101。
接下来，显示数据生成部223判别在要显示的虚拟对象100中是否有背面区域101(步骤S1104)。
在无背面区域101的情况下(S1104；“否”)，显示数据生成部223将其意思通知给显示校正部224。然后，显示校正部224直接地在显示器215的通过步骤S1103计算出的位置，显示该虚拟对象100的显示数据(步骤S1112)。然后，控制器210等待接下来的操作指示。
在有背面区域101的情况下(S1104；“是”)，显示数据生成部223判别虚拟对象100的整体是否为背面区域101(步骤S1105)。
如果整体是背面区域101(S1105；“是”)，则显示数据生成部223将其意思通知给显示校正部224。然后，显示校正部224直接地删除该虚拟对象100的显示(步骤S1111)，结束处理。
另一方面，在整体并非背面区域101的情况(S1105；“否”)、即在虚拟对象100的一部分中有背面区域101的情况下，显示数据生成部223将其意思通知给显示校正部224。然后，显示校正部224用上述手法校正虚拟对象100的显示数据(步骤S1106)。在此，显示校正部224以使虚拟对象100的所有操作点110以及通过该操作点110操作的虚拟对象100的部分显示的方式，校正显示数据。然后，显示校正部224将校正后的显示数据显示于显示器215的利用步骤S1103计算出的位置(步骤S1107)。
之后，显示校正部224从存储装置230取得附加对象数据235，并重叠显示于虚拟对象100的背面区域101(步骤S1108)。然后，控制器210等待接下来的操作指示。
用具体例子，说明以上的处理。此外，如图6(a)所示，在显示器215中在由显示器215规定的框内215a，显示虚拟对象100以及附加对象400。在此，构造物300是实际空间的实际对象。在以下的显示样式的说明中，省略显示器215的框，如图6(b)所示，仅记载通过显示器215能看到的实际对象、和虚拟对象100等的显示数据而进行说明。
例如，设为在图7(a)所示的位置显示虚拟对象100。相对于此，用户201在实际空间，通过其手指202以向箭头203的方向按压的方式进行操作指示(手势)。通过伴随该操作，虚拟对象100的相对作为实际空间的实际对象的构造物300的显示位置发生移动。
根据本实施方式，如图7(b)所示，即使虚拟对象100的一部分的区域的显示位置成为比构造物300更靠里侧，虚拟对象100也与其操作点110一起被整体显示。另外，此时犹如在作为构造物300的墙壁上开孔那样显示附加对象400。
进而，此时，也可以如图7(c)所示，构成为声音输出控制部229进行声音输出。显示校正部224在使附加对象400显示的情况下，对声音输出控制部229通知其意思。声音输出控制部229在从显示校正部224接受到通知时，从声音数据236抽出声音，并从声音I/F216输出。
此外，声音数据236也可以与构造物300的材质对应起来登记不同的数据。例如，由上述空间辨识部221通过Spatial Understanding辨识构造物300的材质。
进而，此时也可以显示用字符串表示被输出的声音数据236的拟声语。例如，是图7(c)所示的“咔嚓”等。在该情况下，将用字符串表示声音数据236的拟声语数据237，与该声音数据236对应起来预先登记到存储装置230。然后，显示校正部224以使与输出的声音数据236对应起来登记的拟声语数据237显示于附加对象400附近的方式，生成显示数据。
此外，也可以进一步显示对白框，使拟声语数据237显示于该对白框中。另外，也可以不输出声音数据236而仅显示拟声语数据237。
另外，显示校正部224按照虚拟对象100嵌入到构造物300的程度，使附加对象400的形状追随地变化。例如，如图8(a)所示，以虚拟对象100具有组合水平方向的宽度的大小不同的2个长方体的形状的情况为例子进行说明。在此，虚拟对象100在箭头203的方向上从水平方向的宽度小的长方体的一方按入到构造物300。
在该情况下，显示校正部224如图8(b)所示，根据虚拟对象100的水平方向的宽度加工附加对象400的大小而显示。具体而言，如图8(a)所示，在水平方向的宽度小的长方体的区域虚拟地嵌入到构造物300的情况下，使附加对象400以较小的尺寸显示。另一方面，在水平方向的宽度比图8(a)的情况大的区域虚拟地嵌入到构造物300的情况下，如图8(b)所示，显示比图8(a)大的尺寸的附加对象400。
另外，由于用户201的站立位置的变化，视线方向发生变化。例如，如图8(c)所示，在用户201面对作为构造物300的墙壁的情况下，即使虚拟对象100的世界坐标系中的显示位置相同，虚拟对象100的显示样式也与图8(a)、图8(b)的情况发生变化。与其相伴地，虚拟对象100的显示形状也变化。
在该情况下，显示校正部224也可以如图8(c)所示，追随虚拟对象100的显示形状的变化而使附加对象400的显示形状变化来显示。
如以上说明，本实施方式的HMD200具备：彩色图像照相机214a，取得预先决定的摄影范围的彩色图像；距离图像照相机214b，取得大致相同摄影范围的距离图像；显示器215；以及显示控制部220，使虚拟对象100显示于显示器215。而且，显示控制部220具备：空间辨识部221，使用彩色图像和距离图像，生成摄影范围内的构造物300的三维图；显示数据生成部223，根据三维图和显示的虚拟对象100在实际空间上的配置位置数据，生成将关于视线方向成为构造物300的背后的虚拟对象100的区域确定为背面区域101的显示数据；以及显示校正部224，校正显示数据并显示于显示器215。另外，显示校正部224以使背面区域101的操作点110显示的方式，校正显示数据。然后，操作点110是经由该操作点110受理针对虚拟对象100的操作指示的点。
这样，根据本实施方式，本来不显示的、成为构造物300的背后的、虚拟对象100的背面区域101的操作点110也显示。因此，即使由于用户201的操作而虚拟对象100发生移动，也能够针对移动后的虚拟对象100进行操作。
另外，显示校正部224在使背面区域101的操作点110显示时，还显示该背面区域101，并且在虚拟对象100的周围显示附加对象400。因此，根据本实施方式，不取决于虚拟对象100在显示器215上的显示位置，无需牺牲自然的观察样式，而能够在保持现实感的同时，实现高的操作性。
[变形例1]
此外，一部分有背面区域101的虚拟对象100的显示不限定于上述。例如，显示校正部224也可以以能够区分背面区域101、和其以外的区域(以下称为前面区域)102的方式，显示虚拟对象100。
例如，如图9(a)所示，显示校正部224以在背面区域101与前面区域102之间显示界线121的方式，校正显示数据。另外，如图9(b)所示，显示校正部224以按照与本来的虚拟对象100的表面不同的表面样式122显示背面区域101的方式，校正显示数据。也可以组合图9(a)以及图9(b)的校正样式。
[变形例2]
另外，附加对象400也可以强调显示。图10示出强调显示的附加对象400的一个例子。附加对象400的强调显示样式也可以预先登记于附加对象数据235。另外，也可以显示校正部224使用各种图像加工软件，将登记的附加对象400加工成强调显示样式而显示。
通过对附加对象400进行强调显示，用户201易于掌握虚拟对象100与本来的显示样式不同的这一情况。即，用户201能够更直观地掌握连按理说用户201看不到的区域也显示。
[变形例3]
另外，也可以作为附加对象数据235，根据被按入虚拟对象100的构造物300的材质和/或种类而准备不同的纹理的例子。在该情况下，显示校正部224参照由空间辨识部221辨识的空间辨识数据233，确定构造物300的材质和/或种类。然后，显示校正部224抽出与确定的材质和/或种类对应的纹理的附加对象数据235，显示为附加对象400。
例如，在构造物300是墙壁等硬的材质的情况下，准备如图10所示的、表示如墙壁裂开那样的状态的附加对象400，作为附加对象数据235。另一方面，在构造物300是靠垫等柔软的原材料的情况下，如图11所示，准备并显示表示如虚拟对象100陷入到构造物300那样的状态的附加对象402。
进而，此时也可以构成为强调显示的样式也根据构造物300的材质和/或种类、或者、附加对象400的纹理而变更。
[变形例4]
另外，显示校正部224也可以将彩色图像数据231的一部分切下而用作附加对象400。特别如图12所示，也可以使用与被按入虚拟对象100的构造物300的更背后的构造物301相同的纹理的图像。在该情况下，显示校正部224根据附加对象400的配置位置，使用空间辨识数据233加工附加对象数据235。然后，显示校正部224配置加工后的附加对象数据235。
这样，通过将与背景图像相同的纹理的数据用作附加对象400，用户201能够更自然地接受本实施方式的虚拟对象100的显示样式。
[变形例5]
此外，在上述实施方式中，构成为在虚拟对象100被移动操作到如全部成为背面区域101那样的位置的情况下，删除虚拟对象100的显示，但不限定于此。也可以即使在整体成为背面区域101的情况下，也显示虚拟对象100和/或操作点110。
例如，如图13所示，显示校正部224以在计算的位置显示虚拟对象100的方式，校正显示数据。进而，显示校正部224也可以在跟前作为附加对象显示操作用的缩微虚拟对象401。在该情况下，显示校正部224根据虚拟对象100生成并显示缩微虚拟对象401。
由此，即使在虚拟对象100的整体配置于比构造物300更向进深方向里侧的情况下，用户201也能够在确保现实感的同时，进行操作。
[变形例6]
另外，显示器215也可以是非透射型。在该情况下，如图14所示，显示校正部224在由彩色图像照相机214a取得的彩色图像(取景图像500)上重叠显示虚拟对象100以及附加对象400。
在该情况下，例如显示终端不限定于具备透射型显示器的HMD200。例如，也可以是具备非透射型显示器的HMD、便携终端等可移动型或者便携型信息处理装置。
[变形例7]
另外，操作指示的输入不仅限定于视线、手势。也可以使用声音、运动控制器等。
[变形例8]
此外，在上述实施方式中，显示校正部224校正虚拟对象100的显示，以显示虚拟对象100的所有操作点110，但不限定于此。显示的操作点110也可以是背面区域101的一部分的操作点110。即，可以显示背面区域101的至少1个操作点110。
另外，关于虚拟对象100的形状也同样地，未必需要显示整体。也可以显示背面区域101的一部分的区域。
此外，本发明不限定于上述实施方式以及变形例，包括各种变形例。例如，上述实施方式以及变形例是为了易于理解地说明本发明而详细说明的例子，未必限定成具备说明的所有结构。另外，能够将某个实施方式或者变形例的结构的一部分置换为其他实施方式、变形例的结构。另外，还能够对某个实施方式或者变形例的结构加上其他实施方式或者变形例的结构。进而，能够关于各实施方式或者变形例的结构的一部分，进行其他结构的追加、删除、置换。
另外，上述各结构、功能、处理部、处理单元等也可以通过用例如集成电路设计它们的一部分或者全部等而用硬件实现。另外，上述各结构、功能等也可以通过处理器解释并执行实现各个功能的程序而用软件实现。实现各功能的程序、表格、文件等信息能够设置于存储器部、硬盘、SSD(Solid State Drive，固态硬盘)等记录装置、或者、IC卡、SD卡、DVD等记录介质。
另外，关于控制线、信息线，示出在说明上被认为是必要的部分，在产品上未必示出所有的控制线、信息线。也可以认为实际上几乎所有结构相互连接。

Claims (15)

1.一种显示终端，具备显示器，其特征在于，具备：
彩色图像照相机，取得预先决定的摄影范围的彩色图像；
距离图像照相机，取得所述摄影范围的距离图像；以及
显示控制部，使虚拟对象显示于所述显示器，
所述显示控制部具备：
空间辨识部，使用所述彩色图像和所述距离图像，生成所述摄影范围内的构造物的三维图；
显示数据生成部，根据所述三维图和显示的所述虚拟对象在实际空间上的配置位置数据，生成将关于视线方向成为所述构造物的背后的该虚拟对象的区域确定为背面区域的显示数据；以及
显示校正部，校正所述显示数据而显示于所述显示器，
所述显示校正部以使所述背面区域的操作点显示的方式，校正所述显示数据，
所述操作点是用于经由该操作点受理针对所述虚拟对象的操作指示的点。
2.根据权利要求1所述的显示终端，其特征在于，
所述显示校正部在使所述背面区域的所述操作点显示时，还使该背面区域显示，并且使附加对象显示在所述虚拟对象的周围。
3.根据权利要求1所述的显示终端，其特征在于，
所述显示校正部使所述背面区域的所有所述操作点显示。
4.根据权利要求1所述的显示终端，其特征在于，
所述显示校正部使所述虚拟对象的所述背面区域的全部形状显示。
5.根据权利要求2所述的显示终端，其特征在于，
所述显示校正部使所述彩色图像的一部分作为所述附加对象显示。
6.根据权利要求2所述的显示终端，其特征在于，
所述显示校正部使所述视线方向的所述构造物的背后的构造物的所述彩色图像作为所述附加对象显示。
7.根据权利要求2所述的显示终端，其特征在于，
所述显示校正部使所述附加对象追随所述虚拟对象的显示方向的变化变形而显示。
8.根据权利要求2所述的显示终端，其特征在于，
所述显示校正部将与所述构造物不同的预先准备的图像作为所述附加对象进行强调显示。
9.根据权利要求2所述的显示终端，其特征在于，还具备：
声音输出装置、和使声音从该声音输出装置输出的声音输出控制部，
在所述显示控制部使所述附加对象显示时，所述声音输出控制部使预先决定的声音从所述声音输出装置输出。
10.根据权利要求9所述的显示终端，其特征在于，
所述显示校正部还使表示所述声音的字符串显示。
11.根据权利要求1所述的显示终端，其特征在于，
所述显示控制部使所述虚拟对象重叠于由所述彩色图像照相机取得的所述摄影范围的所述彩色图像而显示。
12.根据权利要求1至11中的任意一项所述的显示终端，其特征在于，
该显示终端是头戴式显示器。
13.根据权利要求11所述的显示终端，其特征在于，
该显示终端是便携型信息处理装置。
14.一种显示控制系统，使虚拟对象显示于显示终端的显示器，该显示终端具备：
所述显示器；
彩色图像照相机，取得预先决定的摄影范围的彩色图像；以及
距离图像照相机，取得所述摄影范围的距离图像，
所述显示控制系统的特征在于，具备：
空间辨识部，使用所述彩色图像和所述距离图像，生成所述摄影范围内的构造物的三维图；
显示数据生成部，根据所述三维图和显示的所述虚拟对象在实际空间上的配置位置数据，生成将关于视线方向成为所述构造物的背后的该虚拟对象的区域确定为背面区域的显示数据；以及
显示校正部，校正所述显示数据而显示于所述显示器，
所述显示校正部以使所述背面区域的操作点显示的方式，校正所述显示数据，
所述操作点是用于经由该操作点受理针对所述虚拟对象的操作指示的点。
15.一种显示控制方法，使虚拟对象显示于显示终端的显示器，该显示终端具备：
所述显示器；
彩色图像照相机，取得预先决定的摄影范围的彩色图像；以及
距离图像照相机，取得所述摄影范围的距离图像，
所述显示控制方法的特征在于，
根据使用所述彩色图像和所述距离图像预先制作的所述摄影范围内的构造物的三维图、和显示的所述虚拟对象在实际空间上的配置位置数据，生成将关于视线方向成为所述构造物的背后的该虚拟对象的区域确定为背面区域的显示数据，
以显示所述背面区域的操作点的方式，校正所述显示数据并显示于所述显示器，
所述操作点是用于经由该操作点受理针对所述虚拟对象的操作指示的点。
CN201880100103.1A 2018-12-13 2018-12-13 显示终端、显示控制系统以及显示控制方法 Pending CN113168820A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/045883 WO2020121483A1 (ja) 2018-12-13 2018-12-13 表示端末、表示制御システムおよび表示制御方法

Publications (1)

Publication Number Publication Date
CN113168820A true CN113168820A (zh) 2021-07-23

Family

ID=71077159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880100103.1A Pending CN113168820A (zh) 2018-12-13 2018-12-13 显示终端、显示控制系统以及显示控制方法

Country Status (4)

Country Link
US (2) US11651567B2 (zh)
JP (2) JP7194752B2 (zh)
CN (1) CN113168820A (zh)
WO (1) WO2020121483A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230230333A1 (en) * 2020-08-25 2023-07-20 Maxell, Ltd. 3d virtual-reality display device, head-mounted display, and 3d virtual-reality display method
CN117616463A (zh) * 2021-07-12 2024-02-27 索尼半导体解决方案公司 信息处理装置、信息处理方法及程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196492A (ja) * 2012-03-21 2013-09-30 Toyota Central R&D Labs Inc 画像重畳処理装置、方法およびプログラム
WO2014141504A1 (ja) * 2013-03-11 2014-09-18 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作処理方法
US9514574B2 (en) 2013-08-30 2016-12-06 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
JP2016142887A (ja) 2015-02-02 2016-08-08 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US10559130B2 (en) * 2015-08-31 2020-02-11 Microsoft Technology Licensing, Llc Displaying image data behind surfaces
EP3496045A4 (en) 2016-08-05 2019-07-31 Sony Corporation INFORMATION PROCESSING DEVICE, METHOD AND COMPUTER PROGRAM
US10234935B2 (en) 2016-08-11 2019-03-19 Microsoft Technology Licensing, Llc Mediation of interaction methodologies in immersive environments
JP2018132847A (ja) * 2017-02-14 2018-08-23 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
DE112018006930T5 (de) * 2018-02-26 2020-10-08 Mitsubishi Electric Corporation Virtuelles-Objekt-Anzeige-Steuerungseinrichtung, Virtuelles-Objekt-Anzeigesystem, Virtuelles-Objekt-Anzeige-Steuerungsverfahren und Virtuelles-Objekt-Anzeige-Steuerungsprogramm
CN111819603B (zh) * 2018-02-26 2024-03-08 三菱电机株式会社 虚拟物体显示控制装置、方法、记录介质及虚拟物体显示系统
US11120632B2 (en) * 2018-10-16 2021-09-14 Sony Interactive Entertainment Inc. Image generating apparatus, image generating system, image generating method, and program

Also Published As

Publication number Publication date
US20220044483A1 (en) 2022-02-10
WO2020121483A1 (ja) 2020-06-18
US20230245407A1 (en) 2023-08-03
JP7194752B2 (ja) 2022-12-22
JPWO2020121483A1 (ja) 2021-10-28
JP2023024540A (ja) 2023-02-16
US11651567B2 (en) 2023-05-16
US11972532B2 (en) 2024-04-30

Similar Documents

Publication Publication Date Title
US11386626B2 (en) Information processing apparatus, information processing method, and program
CN110058759B (zh) 显示装置及图像显示方法
US11972532B2 (en) Display terminal, display control system and display control method
EP2418858A2 (en) Method for editing three-dimensional image and mobile terminal using the same
EP3262505B1 (en) Interactive system control apparatus and method
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
US10810801B2 (en) Method of displaying at least one virtual object in mixed reality, and an associated terminal and system
JP7078234B2 (ja) 拡張現実空間に配置される３ｄオブジェクトを生成する方法
KR20180010845A (ko) Hmd 및 그 hmd의 제어 방법
US20220172439A1 (en) Head-mounted information processing apparatus and head-mounted display system
JP7210131B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN115543138A (zh) 显示控制方法和装置、增强现实头戴设备及介质
JP6999822B2 (ja) 端末装置および端末装置の制御方法
US11972037B2 (en) Head mounted information processing apparatus and head mounted display system
KR20180004077A (ko) 시선 추적을 이용한 적응형 증강현실 제공 방법
US20230065077A1 (en) Displaying a Rendered Volumetric Representation According to Different Display Modes
US20240028112A1 (en) Image display device and image display method
US20230376110A1 (en) Mapping a Computer-Generated Trackpad to a Content Manipulation Region
CN112136096B (zh) 将物理输入设备显示为虚拟对象
CN117707332A (zh) 信息处理设备、控制方法和非暂态计算机存储介质
CN117940963A (zh) 显示装置、显示装置的控制方法以及程序
JP2023021808A (ja) 支援システム、支援側装置、支援方法、およびプログラム
CN116670627A (zh) 对环境中的用户界面进行分组的方法
CN115698923A (zh) 信息处理装置、信息处理方法和程序
CN112578983A (zh) 手指取向触摸检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Kyoto, Japan

Applicant after: MAXELL, Ltd.

Address before: Kyoto, Japan

Applicant before: MAXELL HOLDINGS, Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20211111

Address after: Kyoto, Japan

Applicant after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto, Japan

Applicant before: MAXELL, Ltd.

TA01 Transfer of patent application right