CN111758121A - 虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序 - Google Patents

虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序 Download PDF

Info

Publication number
CN111758121A
CN111758121A CN201880090034.0A CN201880090034A CN111758121A CN 111758121 A CN111758121 A CN 111758121A CN 201880090034 A CN201880090034 A CN 201880090034A CN 111758121 A CN111758121 A CN 111758121A
Authority
CN
China
Prior art keywords
virtual object
image information
display
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880090034.0A
Other languages
English (en)
Inventor
仁平雅也
樱井智史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN111758121A publication Critical patent/CN111758121A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

虚拟物体显示控制装置(10)具有：识别部(110)，其接收表示真实空间的真实空间信息(A1、A2)；视点位置判定部(121)，其根据真实空间信息(A1、A2)而判定观察者的视点位置；真实物体判定部(122)，其根据真实空间信息(A1、A2)而判定真实物体的位置及形状；图像控制部(123)，其通过对虚拟物体的图像信息进行加工而生成对虚拟物体进行动画显示的图像信息；显示设定部(124)，其基于视点位置、真实物体的位置及形状、所述虚拟物体的图像信息而进行是否对虚拟物体进行动画显示的判定，基于判定的结果而将包含虚拟物体的图像信息或对虚拟物体进行动画显示的图像信息中的任一者的图像信息设定为显示图像信息(B2)；以及绘图部(125)，其输出显示图像信息(B2)。

Description

虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控 制方法以及虚拟物体显示控制程序
技术领域
本发明涉及执行用于对虚拟物体的图像进行显示的控制的虚拟物体显示控制装置、虚拟物体显示控制方法、及虚拟物体显示控制程序，以及包含所述虚拟物体显示控制装置的虚拟物体显示系统。
背景技术
提出了在显示装置的画面显示真实物体的图像和与之叠加的虚拟物体的图像的装置(例如，参照专利文献1)。虚拟物体的图像例如是增强现实(Augmented reality：AR)图像。
专利文献1：日本特开2015-49039号公报
发明内容
就上述以往的装置而言，考虑到真实空间中的遮挡(occlusion)(即，使得虚拟物体的图像不被真实物体的图像遮挡)，将虚拟物体的图像显示于从原本应显示的位置移动后的位置。但是，在这种情况下，观察者无法知道虚拟物体的图像原本应被显示的位置。因此，在虚拟物体的图像是包含真实物体的注释的图像的情况下，难以知晓注释与哪个真实物体相关。
本发明的目的在于提供即使在虚拟物体的图像被显示于观察者看不到的位置的情况下，也能够通过动画显示而使观察者识别出虚拟物体的图像的位置的虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序。
本发明的一个方式涉及的虚拟物体显示控制装置的特征在于，具有：识别部，其接收表示真实空间的真实空间信息；视点位置判定部，其根据所述真实空间信息而判定观察者的视点位置；真实物体判定部，其根据所述真实空间信息而判定真实物体的位置及形状；图像控制部，其接收虚拟物体的图像信息，通过加工所述虚拟物体的图像信息而生成对所述虚拟物体进行动画显示的图像信息；显示设定部，其基于所述视点位置、所述真实物体的位置及形状、所述虚拟物体的图像信息，进行是否对所述虚拟物体进行动画显示的判定，基于所述判定的结果而将包含所述虚拟物体的图像信息或对所述虚拟物体进行动画显示的图像信息中的任一者的图像信息设定为显示图像信息；以及绘图部，其输出所述显示图像信息。
本发明的另一方式涉及的虚拟物体显示系统的特征在于，具有：空间信息取得部，其取得表示真实空间的真实空间信息；识别部，其接收所述真实空间信息；视点位置判定部，其根据所述真实空间信息而判定观察者的视点位置；真实物体判定部，其根据所述真实空间信息而判定真实物体的位置及形状；图像控制部，其接收虚拟物体的图像信息，通过加工所述虚拟物体的图像信息而生成对所述虚拟物体进行动画显示的图像信息；显示设定部，其基于所述视点位置、所述真实物体的位置及形状、所述虚拟物体的图像信息，进行是否对所述虚拟物体进行动画显示的判定，基于所述判定的结果而将包含所述虚拟物体的图像信息或对所述虚拟物体进行动画显示的图像信息中的任一者的图像信息设定为显示图像信息；绘图部，其输出所述显示图像信息，以及显示装置，其基于所述显示图像信息而显示图像。
发明的效果
根据本发明，即使在虚拟物体的图像被显示于观察者观察不到的位置的情况下，也能够通过动画显示而使观察者识别出虚拟物体的图像的位置。
附图说明
图1是表示本发明的实施方式1涉及的虚拟物体显示系统的硬件结构的图。
图2是概略地表示视点位置与真实物体(遮蔽物)之间的位置关系的图。
图3是表示实施方式1涉及的虚拟物体显示控制装置的功能框图。
图4是表示实施方式1涉及的虚拟物体显示系统的说明图。
图5是表示实施方式1涉及的虚拟物体显示系统的显示装置处的被进行动画显示(通常尺寸时)的虚拟物体的显示图像的例子的图。
图6是表示实施方式1涉及的虚拟物体显示系统的显示装置处的被进行动画显示(放大尺寸时)的虚拟物体的显示图像的例子的图。
图7是表示实施方式1涉及的虚拟物体显示系统的显示装置处的被进行动画显示(即，移动显示)的虚拟物体的显示图像的例子的图。
图8是表示实施方式1涉及的虚拟物体显示控制装置的动作的流程图。
图9是表示本发明的实施方式2涉及的虚拟物体显示系统的硬件结构的图。
图10是表示实施方式2涉及的虚拟物体显示系统的说明图。
图11是表示本发明的实施方式3涉及的虚拟物体显示系统的硬件结构的图。
图12是表示实施方式3涉及的虚拟物体显示系统的说明图。
具体实施方式
以下，一边参照附图，一边对本发明的实施方式涉及的虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序进行说明。以下的实施方式只是例子，能够在本发明的范围内进行各种变更。
此外，在图中示出xyz正交坐标系。在xyz正交坐标系中，x轴示出实际空间的横向(即，水平横向)，y轴示出实际空间的进深方向(即，水平进深方向)，z轴示出实际空间的高度方向(即，纵向)。
实施方式1.
首先，对虚拟物体显示系统1及虚拟物体显示控制装置10的结构进行说明。图1是表示实施方式1涉及的虚拟物体显示系统1的硬件结构的图。如图1所示，虚拟物体显示系统1具有：空间检测部即空间信息取得部20，其取得表示真实空间(即，真实世界)的真实空间信息；显示装置30，其显示图像；以及虚拟物体显示控制装置10，其使图像显示于显示装置30。显示装置30例如显示真实物体的图像及虚拟物体的图像。虚拟物体的图像例如是AR图像。图像虚拟物体显示控制装置10是能够实施实施方式1涉及的虚拟物体显示控制方法的装置。
空间信息取得部20例如具有：大于或等于1台摄像部21，其取得真实空间的图像信息A1；以及大于或等于1台进深检测部22，其取得在真实空间内存在的真实物体(即，对象物)的进深信息A2。空间信息取得部20也可以具有摄像部21及进深检测部22中的一者。摄像部21例如是取得彩色图像的彩色照相机(也称为“RGB照相机”)以及从多个不同方向同时对真实物体进行摄像的立体照相机等。进深检测部22例如是具有对真实物体的进深(深度)进行检测的功能的深度照相机(也称为“附带深度传感器的照相机”)等。在实施方式1中，真实空间信息包含真实空间的图像信息A1和真实物体的进深信息A2。
虚拟物体显示控制装置10具有：作为信息处理部的CPU(Central processingunit)11；作为图像处理部的GPU(Graphics processing unit)12；以及作为存储信息的存储部的存储器13。GPU 12是图形绘图部，基于从CPU 11接收到的绘图命令而向存储器13写入作为绘图结果的图像数据(即，进行绘图)。写入至存储器13的图像数据被传输至显示装置30。GPU 12的功能也可以由CPU 11执行。虚拟物体显示控制装置10例如是个人计算机(PC)、智能手机、或者平板终端等。存储器13也可以存储实施方式1涉及的虚拟物体显示控制程序。CPU 11能够通过执行虚拟物体显示控制程序而控制显示装置30的显示动作。
显示装置30例如是PC的监视器、智能手机、或者平板终端等具有显示画面(即，显示器)的装置。
图2是概略地表示观察者90的视点位置91与真实物体311之间的位置关系的图。真实物体311能够成为遮挡虚拟物体的遮蔽物。在真实物体311存在于真实空间内的情况下，观察者90无法从视点位置91目视在被真实物体311遮挡的区域(斜线区域)314显示的虚拟物体的图像。另外，在使虚拟物体的图像移动到不同位置的情况下，无法知晓虚拟物体的图像与哪个真实物体关联。因此，虚拟物体显示控制装置10根据真实空间信息而判定观察者90的视点位置91、真实物体311的位置及形状，基于视点位置91、真实物体311的位置及形状、虚拟物体的图像信息而判定是否需要动态显示即动画显示。动画显示例如是虚拟物体的图像的放大缩小显示、或者虚拟物体的图像的往复移动等。虚拟物体显示控制装置10在需要动画显示的情况下，设定动画显示的图像信息，输出对虚拟物体进行动画显示的图像信息(即，动画图像信息)。虚拟物体显示控制装置10在不需要动画显示的情况下，输出对虚拟物体以通常尺寸作为静止图像而显示的图像信息(即，通常图像信息)。
图3是表示实施方式1涉及的虚拟物体显示控制装置10的功能框图。如图3所示，虚拟物体显示控制装置10具有：识别部110，其接收真实空间信息即真实空间的图像信息A1和真实物体的进深信息A2；以及显示控制部120。
识别部110具有：空间识别部111，其接收真实空间(即，对象空间)的图像信息A1，进行用于识别真实物体存在于真实空间的哪个位置的识别处理，将处理的结果提供至显示控制部120；以及真实物体识别部112，其接收真实物体的进深信息A2，进行用于识别真实物体为什么物体的识别处理，将处理的结果提供至显示控制部120。真实物体识别部112也可以输出将真实物体置换为真实物体的模型(即，预先保存的图像信息)后的数据。真实物体的模型是预先保存的图像信息，也可以是诸如桌子或椅子等的图像信息，诸如圆柱、长方体、三棱锥、球体等这样的典型的三维形状。但是，识别部110的结构以及功能不限定于以上的例子。
显示控制部120具有：视点位置判定部121，其根据从识别部110提供的真实空间信息而判定观察者90的视点位置91；以及真实物体判定部122，其根据从识别部110提供的真实空间信息而判定真实物体311的位置及形状。视点位置判定部121基于从空间识别部111接收到的位置信息而计算对在真实空间内显示的虚拟物体进行观察的观察者90的视点位置91，生成表示视点位置的视点位置信息。真实物体判定部122是遮蔽物判定部，该遮蔽物判定部基于从真实物体识别部112接收到的真实物体信息而计算将在真实空间内显示的虚拟物体遮挡的遮蔽物的位置，生成表示遮蔽物的遮蔽物判定信息。
另外，显示控制部120具有图像控制部123，该图像控制部123接收虚拟物体的图像信息，通过对虚拟物体的图像信息进行加工而生成对虚拟物体进行动画显示的图像信息。虚拟物体的图像信息例如是真实物体311的解说信息。图像控制部123可以预先存储虚拟物体的图像信息，也可以从外部存储装置(未图示)或存储器13(图1)取得虚拟物体的图像信息。图像控制部123将虚拟物体的图像信息以及对虚拟物体进行动画显示的图像信息提供至显示设定部124。动画显示例如是将虚拟物体的图像在放大尺寸及通常尺寸之间反复进行切换的显示方法(即，缩放显示)。另外，动画显示例如也可以是使虚拟物体的图像在原本的虚拟物体的图像位置和未被真实物体遮挡的位置之间反复移动(往复移动)的显示方法(即，移动显示)。将从图像控制部123提供至显示设定部124的图像信息设为图像信息B1。
图像控制部123也可以根据条件而选择缩放显示或移动显示中的任一者而作为对虚拟物体进行动画显示的方法。例如，图像控制部123在虚拟物体存在于比预先确定的基准距离更远离观察者90的位置的情况下，采用缩放显示作为动画显示，在虚拟物体与观察者90的距离落入基准距离以内的情况下，采用移动显示作为动画显示。此外，图像控制部123也可以在虚拟物体是包括文字的解说文时，选择移动显示作为动画显示，在虚拟物体不是解说文时，选择缩放显示作为动画显示。另外，图像控制部123也可以在遮蔽虚拟物体的真实物体比预先确定的基准尺寸大时，选择移动显示作为动画显示，在真实物体小于或等于基准尺寸时，选择缩放显示作为动画显示。动画显示的选择方法不限定于这些例子。
显示控制部120具有：显示设定部124，其基于视点位置91、真实物体311的位置及形状、图像信息B1而进行是否对虚拟物体的图像进行动画显示的判定，基于该判定的结果而将包含虚拟物体的图像信息或对虚拟物体进行动画显示的图像信息中的任一者的图像信息设定为显示图像信息B2；以及绘图部125，其通过将显示图像信息B2写入至存储器13而将显示图像信息B2输出至显示装置30。
显示设定部124能够在从视点位置91观察时，虚拟物体的整体或一部分被真实物体遮挡的情况下，将对虚拟物体进行动画显示的图像信息设定为显示图像信息B2。显示设定部124也可以在从视点位置91观察时，虚拟物体的大于或等于预先确定的一定比例(例如，大于或等于50％)被真实物体遮挡的情况下，判定为需要对虚拟物体进行动画显示。
显示设定部124也可以将通过向真实空间的图像信息A1合成虚拟物体的图像信息或对虚拟物体进行动画显示的图像信息而得到的合成图像信息设定为显示图像信息B2。
接下来，对虚拟物体显示控制装置10的动作进行说明。图4是表示虚拟物体显示系统1的说明图。在图4中，作为图1的摄像部21而示出有2台摄像部21a、21b。在图4的例子中，空间信息取得部20的摄像部21a、21b将真实空间的图像信息A1提供至虚拟物体显示控制装置10，进深检测部22将真实物体的进深信息A2提供至虚拟物体显示控制装置10。
图5及图6是表示实施方式1涉及的虚拟物体显示系统1的显示装置30处的虚拟物体的动画显示图像322的例子的图。图5及图6示出动画显示是缩放显示的情况。图5示出动画显示图像322为通常尺寸时，图6示出动画显示图像322为放大尺寸时。放大时的放大倍率是虚拟物体的图像具有不被真实物体的图像遮蔽的部分的值。另外，在放大时，也可以伴随有提高亮度或改变颜色等的强调显示。
图7是表示实施方式1涉及的虚拟物体显示系统1的显示装置30处的动画显示图像的例子的图。图7示出虚拟物体的动画显示是移动显示的情况。在图7中，在位于原本位置的虚拟物体的图像322之上，显示有移动时的虚拟物体的图像322a。但是，移动时的虚拟物体的图像322a的位置也可以是向原本位置的侧旁移动后的位置、在倾斜方向上移动后的位置。另外，移动时的虚拟物体的图像322a的位置也可以是虚拟物体的图像不被真实物体的图像遮蔽且移动距离最短的位置。另外，在移动时，也可以伴随有提高亮度或改变颜色等的强调显示。
图8是表示虚拟物体显示控制装置10的动作的流程图。虚拟物体显示控制装置10在步骤S1中接收真实空间信息，在步骤S2中根据真实空间信息(例如，真实空间的图像信息A1)而判定观察者90的视点位置91，在步骤S3中根据真实空间信息(例如，真实物体的进深信息A2)而判定真实物体311的位置及形状，在步骤S4中基于视点位置91和真实物体311的位置及形状(或者模型化的真实物体的位置及形状)而设定虚拟物体312的图像信息。
接下来，虚拟物体显示控制装置10在步骤S5中基于视点位置91、真实物体311的位置及形状、虚拟物体的图像信息而判定是否对虚拟物体进行动画显示。即，虚拟物体显示控制装置10判定从视点位置91观察时虚拟物体312的图像322是否被真实物体311的图像321遮挡。
在虚拟物体312的图像322未被遮挡的情况下(在步骤S5中为NO的情况下)，虚拟物体显示控制装置10在步骤S6中对基于真实空间的图像信息的真实物体的图像321和虚拟物体的图像322进行绘图。然后，虚拟物体显示控制装置10在步骤S7中，在显示装置30显示真实物体的图像321和虚拟物体的图像322。
在虚拟物体312的图像322被遮挡的情况下(在步骤S5中为YES的情况下)，虚拟物体显示控制装置10在步骤S8中决定动画显示的方法，在步骤S9中，对基于真实空间的图像信息的真实物体的图像321、虚拟物体的图像321和虚拟物体的动画显示图像322进行绘图。然后，如图5及图6所示，虚拟物体显示控制装置10在显示装置30显示真实物体的图像321和虚拟物体的动画显示图像322。
如以上所说明的那样，根据实施方式1涉及的虚拟物体显示系统1及虚拟物体显示控制装置10，即使在虚拟物体的图像被显示于观察者90观察不到的真实物体的后方等的情况下，也通过虚拟物体的动画显示图像322以观察者90能观察到的方式进行显示，因而能够识别虚拟物体的图像322的位置。
另外，根据实施方式1涉及的虚拟物体显示系统1及虚拟物体显示控制装置10，在虚拟物体的原本位置显示有动画显示图像322，因而观察者90能够正确地识别出虚拟物体的动画显示图像322是与哪个真实物体相关的信息。
实施方式2.
图9是表示实施方式2涉及的虚拟物体显示系统2的硬件结构的图。在图9中，对与图1所示的结构要素相同或相应的结构要素标注与图1所示的标号相同的标号。图10是表示图9的虚拟物体显示系统2的说明图。在图10中，对与图4所示的结构要素相同或相应的结构要素标注与图4所示的标号相同的标号。
图9及图10所示的虚拟物体显示系统2与图1所示的虚拟物体显示系统1的不同点在于，显示装置40具有：摄像部42，其取得从视点位置91观察到的摄像信息C1；显示画面41；以及合成部43，其使向摄像信息C1叠加了虚拟物体的图像信息B1和引导显示的图像信息B2的图像显示于显示画面41。
在虚拟物体显示系统2中，虚拟物体显示控制装置10也可以从显示装置40接收观察者90的视点位置91。
另外，在虚拟物体显示系统2中，也可以将显示装置40的摄像部42用作空间信息取得部20的摄像部。
如以上所说明的那样，根据实施方式2涉及的虚拟物体显示系统2及虚拟物体显示控制装置10，即使在虚拟物体的显示图像被显示于观察者90观察不到的位置的情况下，也能够通过虚拟物体的动画显示图像而由观察者90进行识别。
除了以上的点之外，图9及图10所示的虚拟物体显示系统2与图1及图4所示的虚拟物体显示系统1相同。
实施方式3.
图11是表示实施方式3涉及的虚拟物体显示系统3的硬件结构的图。在图11中，对与图1所示的结构要素相同或相应的结构要素标注与图1所示的标号相同的标号。图12是表示图11的虚拟物体显示系统3的说明图。在图12中，对与图4所示的结构要素相同或相应的结构要素标注与图4所示的标号相同的标号。
图11及图12所示的虚拟物体显示系统3与图1及图4所示的虚拟物体显示系统1的不同点在于：显示装置50是将图像投影到真实空间(即，真实世界)的投影仪；以及虚拟物体的动画显示图像332、332a是在真实空间的地板、墙壁、天花板、真实物体等显示的投影图像。在图12的例子中，虚拟物体的动画显示图像332、332a是在虚拟物体原本应被显示的位置及其正上方的位置之间反复进行切换的动画图像。
如以上所说明的那样，根据实施方式3涉及的虚拟物体显示系统3及虚拟物体显示控制装置10a，即使在虚拟物体的显示图像332被显示于观察者90观察不到的位置的情况下，也能够通过虚拟物体的动画显示图像332、332a而由观察者90进行识别。
另外，根据实施方式3涉及的虚拟物体显示系统3及虚拟物体显示控制装置10a，使虚拟物体的动画显示图像332、332a的位置反复移动，因而观察者90能够正确地识别出虚拟物体的动画显示图像332、332a是与哪个真实物体相关的信息。
并且，引导显示333直接投影到真实世界，能够直接使用真实世界的空间信息，因此，引导的意图变得更加容易理解。
除了以上的点之外，图11及图12所示的虚拟物体显示系统3与图1及图4所示的虚拟物体显示系统1或图9及图10所示的虚拟物体显示系统2相同。
标号的说明
1、2、3虚拟物体显示系统，10、10a虚拟物体显示控制装置，20空间信息取得部，21、21a、21b摄像部，22进深检测部，30、40显示装置，31、41显示画面，42摄像部，43合成部，50显示装置(投影仪)，90观察者，91视点位置，110识别部，120显示控制部，121视点位置判定部，122真实物体判定部，123图像控制部，124显示设定部，125绘图部，311真实物体，312虚拟物体，321真实物体的图像，322动画显示图像(通常尺寸时)，322a动画显示图像(放大尺寸时)，322b动画显示图像(移动时)、332动画显示图像、332A动画显示图像(移动时)，A1真实空间的图像信息，A2真实物体的进深信息，B2显示图像信息。

Claims (13)

1.一种虚拟物体显示控制装置，其特征在于，具有：
识别部，其接收表示真实空间的真实空间信息；
视点位置判定部，其根据所述真实空间信息而判定观察者的视点位置；
真实物体判定部，其根据所述真实空间信息而判定真实物体的位置及形状；
图像控制部，其接收虚拟物体的图像信息，通过加工所述虚拟物体的图像信息而生成对所述虚拟物体进行动画显示的图像信息；
显示设定部，其基于所述视点位置、所述真实物体的位置及形状、所述虚拟物体的图像信息，进行是否对所述虚拟物体进行动画显示的判定，基于所述判定的结果而将包含所述虚拟物体的图像信息或对所述虚拟物体进行动画显示的图像信息中的任一者的图像信息设定为显示图像信息；以及
绘图部，其输出所述显示图像信息。
2.根据权利要求1所述的虚拟物体显示控制装置，其特征在于，
在从所述视点位置观察时，在所述虚拟物体的整体或一部分被所述真实物体遮挡的情况下，所述显示设定部将对所述虚拟物体进行动画显示的图像信息设定为显示图像信息。
3.根据权利要求1或2所述的虚拟物体显示控制装置，其特征在于，
对所述虚拟物体进行动画显示的图像信息是以使所述虚拟物体的尺寸变化的方式进行显示的缩放显示的图像信息或以使所述虚拟物体移动的方式进行显示的移动显示的图像信息。
4.根据权利要求1或2所述的虚拟物体显示控制装置，其特征在于，
对所述虚拟物体进行动画显示的图像信息是以使所述虚拟物体的尺寸变化的方式进行显示的缩放显示的图像信息以及以使所述虚拟物体移动的方式进行显示的移动显示的图像信息，根据预先确定的条件而选择缩放显示的图像信息或移动显示的图像信息中的任一者。
5.根据权利要求1至4中任一项所述的虚拟物体显示控制装置，其特征在于，
所述真实空间信息包含所述真实空间的图像信息以及所述真实物体的进深信息。
6.根据权利要求1至5中任一项所述的虚拟物体显示控制装置，其特征在于，
所述显示设定部将通过向所述真实空间的图像信息合成所述虚拟物体的图像信息或对所述虚拟物体进行动画显示的图像信息而得到的合成图像信息作为所述显示图像信息而输出。
7.一种虚拟物体显示系统，其特征在于，具有：
空间信息取得部，其取得表示真实空间的真实空间信息；
识别部，其接收所述真实空间信息；
视点位置判定部，其根据所述真实空间信息而判定观察者的视点位置；
真实物体判定部，其根据所述真实空间信息而判定真实物体的位置及形状；
图像控制部，其接收虚拟物体的图像信息，通过加工所述虚拟物体的图像信息而生成对所述虚拟物体进行动画显示的图像信息；
显示设定部，其基于所述视点位置、所述真实物体的位置及形状、所述虚拟物体的图像信息，进行是否对所述虚拟物体进行动画显示的判定，基于所述判定的结果而将包含所述虚拟物体的图像信息或对所述虚拟物体进行动画显示的图像信息中的任一者的图像信息设定为显示图像信息；
绘图部，其输出所述显示图像信息，以及
显示装置，其基于所述显示图像信息而显示图像。
8.根据权利要求7所述的虚拟物体显示系统，其特征在于，
所述空间信息取得部具有取得所述真实空间的图像信息的摄像部以及取得所述真实物体的进深信息的进深检测部。
9.根据权利要求7或8所述的虚拟物体显示系统，其特征在于，
显示设定部将通过向所述真实空间的图像信息合成从所述图像控制部输出的图像信息而得到的合成图像信息作为所述显示图像信息而输出。
10.根据权利要求7或8所述的虚拟物体显示系统，其特征在于，
所述显示装置具有：
其它摄像部，其取得从所述视点位置观察到的摄像信息；
显示画面；以及
合成部，其使向所述摄像信息叠加了从所述图像控制部输出的图像信息的图像显示于所述显示画面。
11.根据权利要求7或8所述的虚拟物体显示系统，其特征在于，
所述显示装置具有将所述显示图像信息投影到所述真实空间上的投影仪。
12.一种虚拟物体显示控制方法，其特征在于，具有以下步骤：
接收表示真实空间的真实空间信息；
根据所述真实空间信息而判定观察者的视点位置；
根据所述真实空间信息而判定真实物体的位置及形状；
接收虚拟物体的图像信息，通过加工所述虚拟物体的图像信息而生成对所述虚拟物体进行动画显示的图像信息；
基于所述视点位置、所述真实物体的位置及形状、所述虚拟物体的图像信息而进行是否对所述虚拟物体进行动画显示的判定，基于所述判定的结果而将包含所述虚拟物体的图像信息或对所述虚拟物体进行动画显示的图像信息中的任一者的图像信息设定为显示图像信息；以及
输出所述显示图像信息。
13.一种虚拟物体显示控制程序，其特征在于，具有以下处理：
接收表示真实空间的真实空间信息；
根据所述真实空间信息而判定观察者的视点位置；
根据所述真实空间信息而判定真实物体的位置及形状；
接收虚拟物体的图像信息，通过加工所述虚拟物体的图像信息而生成对所述虚拟物体进行动画显示的图像信息；
基于所述视点位置、所述真实物体的位置及形状、所述虚拟物体的图像信息而进行是否对所述虚拟物体进行动画显示的判定，基于所述判定的结果而将包含所述虚拟物体的图像信息或对所述虚拟物体进行动画显示的图像信息中的任一者的图像信息设定为显示图像信息；以及
输出所述显示图像信息。
CN201880090034.0A 2018-02-26 2018-02-26 虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序 Withdrawn CN111758121A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/006957 WO2019163129A1 (ja) 2018-02-26 2018-02-26 仮想物体表示制御装置、仮想物体表示システム、仮想物体表示制御方法、及び仮想物体表示制御プログラム

Publications (1)

Publication Number Publication Date
CN111758121A true CN111758121A (zh) 2020-10-09

Family

ID=67688251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090034.0A Withdrawn CN111758121A (zh) 2018-02-26 2018-02-26 虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序

Country Status (6)

Country Link
US (1) US20200402310A1 (zh)
JP (1) JP6698972B2 (zh)
KR (1) KR102279300B1 (zh)
CN (1) CN111758121A (zh)
DE (1) DE112018006930T5 (zh)
WO (1) WO2019163129A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860061A (zh) * 2021-01-15 2021-05-28 深圳市慧鲤科技有限公司 场景图像展示方法及装置、电子设备和存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7194752B2 (ja) 2018-12-13 2022-12-22 マクセル株式会社 表示端末、表示制御システムおよび表示制御方法
US11195291B1 (en) * 2020-02-19 2021-12-07 Facebook Technologies, Llc Dynamic illumination control for depth determination
CN112135160A (zh) * 2020-09-24 2020-12-25 广州博冠信息科技有限公司 直播中虚拟对象控制方法及装置、存储介质和电子设备
KR20220045799A (ko) 2020-10-06 2022-04-13 삼성전자주식회사 전자 장치 및 그 동작 방법
WO2022220459A1 (en) * 2021-04-14 2022-10-20 Samsung Electronics Co., Ltd. Method and electronic device for selective magnification in three dimensional rendering systems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10281794A (ja) * 1997-04-03 1998-10-23 Toyota Motor Corp 車両用案内表示装置
JP2003317116A (ja) * 2002-04-25 2003-11-07 Sony Corp ３次元仮想空間における情報提示装置及び情報提示方法、並びにコンピュータ・プログラム
JP2004145448A (ja) * 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
WO2014162852A1 (ja) * 2013-04-04 2014-10-09 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US10175483B2 (en) * 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
JP2015049039A (ja) 2013-08-29 2015-03-16 キャンバスマップル株式会社 ナビゲーション装置、及びナビゲーションプログラム
US20160307374A1 (en) * 2013-12-19 2016-10-20 Metaio Gmbh Method and system for providing information associated with a view of a real environment superimposed with a virtual object

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860061A (zh) * 2021-01-15 2021-05-28 深圳市慧鲤科技有限公司 场景图像展示方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
KR20200103115A (ko) 2020-09-01
DE112018006930T5 (de) 2020-10-08
US20200402310A1 (en) 2020-12-24
KR102279300B1 (ko) 2021-07-19
WO2019163129A1 (ja) 2019-08-29
JPWO2019163129A1 (ja) 2020-05-28
JP6698972B2 (ja) 2020-05-27

Similar Documents

Publication Publication Date Title
CN111758121A (zh) 虚拟物体显示控制装置、虚拟物体显示系统、虚拟物体显示控制方法以及虚拟物体显示控制程序
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
KR102230416B1 (ko) 화상 처리 장치, 화상 생성 방법 및 컴퓨터 프로그램
CA2888943C (en) Augmented reality system and method for positioning and mapping
US20060050070A1 (en) Information processing apparatus and method for presenting image combined with virtual image
KR20180033138A (ko) 시선 검출 방법 및 장치
CN111164971B (zh) 用于3d内容的视差观察器系统
KR102539427B1 (ko) 화상 처리장치, 화상 처리방법, 및 기억매체
CN110460835B (zh) 图像处理装置及其控制方法和计算机可读存储介质
KR20210032549A (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램
US10957106B2 (en) Image display system, image display device, control method therefor, and program
CN111819603B (zh) 虚拟物体显示控制装置、方法、记录介质及虚拟物体显示系统
JP2013171522A (ja) Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法
JP2019146155A (ja) 画像処理装置、画像処理方法およびプログラム
CN111052218B (zh) 光学设备控制装置、光学设备控制方法和存储介质
JP2019146010A (ja) 画像処理装置、画像処理方法およびプログラム
EP4207090A1 (en) A method of learning a target object using a virtual viewpoint camera and a method of augmenting a virtual model on a real object that implements the target object using the same
CN117170556A (zh) 图像处理设备、图像处理方法和存储介质
JP6514386B1 (ja) プログラム、記録媒体及び画像生成方法
CN117940963A (zh) 显示装置、显示装置的控制方法以及程序
KR20220129201A (ko) 다중 카메라 기반 입체영상 콘텐츠 제작을 위한 유효 촬영 공간 가시화 방법 및 장치
JP5683402B2 (ja) 画像合成装置及び画像合成方法
JP2012043345A (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201009