CN113228117A - 创作装置、创作方法和创作程序 - Google Patents

创作装置、创作方法和创作程序 Download PDF

Info

Publication number
CN113228117A
CN113228117A CN201980086529.0A CN201980086529A CN113228117A CN 113228117 A CN113228117 A CN 113228117A CN 201980086529 A CN201980086529 A CN 201980086529A CN 113228117 A CN113228117 A CN 113228117A
Authority
CN
China
Prior art keywords
plane
arrangement
authoring
virtual object
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980086529.0A
Other languages
English (en)
Inventor
白神健瑠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN113228117A publication Critical patent/CN113228117A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Abstract

创作装置(1)具有：用户接口部(11)，其受理指定存在于真实空间的对象物的操作；指定目标确定部(12)，其确定与由用户接口部指定的对象物即指定目标对象物相关联的基准平面(Sp)上的基准点(p)；配置位置计算部(13)，其根据基准平面和基准点，决定配置于包含基准点的位置且能够配置虚拟对象的第1配置平面(Sq)；以及多视点计算部(14)，其决定通过使第1配置平面旋转而得到的、能够配置虚拟对象的1个以上的第2配置平面(Sr1、…)，创作装置(1)输出将第1配置平面和虚拟对象关联起来的信息以及将第2配置平面和虚拟对象关联起来的信息作为创作数据。

Description

创作装置、创作方法和创作程序
技术领域
本发明涉及创作装置、创作方法和创作程序。
背景技术
近年来，向用户提示通过在现实世界的图像上重叠虚拟信息而得到的增强现实(AR：Augmented Reality)图像的技术受到关注。例如，公知有如下技术：在用户进行了指定现实世界的物体即对象物的操作时，在被指定的对象物周边显示与被指定的对象物相关联的虚拟信息部分即虚拟对象。
专利文献1提出有如下装置：对由摄像机取得的真实空间的信息进行分析，由此求出存在于真实空间的物体(例如手)的面即基准面(例如手掌)，根据基准面对显示于图像显示部的虚拟对象进行变更。
现有技术文献
专利文献
专利文献1：日本特开2018-84886号公报(例如第0087～0102段、图8～图11)
发明内容
发明要解决的课题
但是，在上述现有装置中，配置虚拟对象的平面的形状和倾斜根据存在于真实空间的物体的形状和倾斜而变化，因此，存在有时虚拟对象的视觉辨认性降低这样的问题。
本发明正是为了解决上述课题而完成的，其目的在于，提供能够显示增强现实图像而不使虚拟对象的视觉辨认性降低的创作装置、创作方法和创作程序。
用于解决课题的手段
本发明的一个方式的创作装置的特征在于，所述创作装置具有：用户接口部，其受理指定存在于真实空间的对象物的操作；指定目标确定部，其确定与由所述用户接口部指定的所述对象物即指定目标对象物相关联的基准平面上的基准点；配置位置计算部，其根据所述基准平面和所述基准点，决定配置于包含所述基准点的位置且能够配置虚拟对象的第1配置平面；以及多视点计算部，其决定通过使所述第1配置平面旋转而得到的、能够配置所述虚拟对象的1个以上的第2配置平面，输出将所述第1配置平面和所述虚拟对象关联起来的信息以及将所述第2配置平面和所述虚拟对象关联起来的信息作为创作数据。
本发明的另一个方式的创作方法的特征在于，所述创作方法具有以下步骤：受理指定存在于真实空间的对象物的操作；确定与被指定的所述对象物即指定目标对象物相关联的基准平面上的基准点；根据所述基准平面和所述基准点，决定配置于包含所述基准点的位置且能够配置虚拟对象的第1配置平面；决定通过使所述第1配置平面旋转而得到的、能够配置所述虚拟对象的1个以上的第2配置平面；以及输出将所述第1配置平面和所述虚拟对象关联起来的信息以及将所述第2配置平面和所述虚拟对象关联起来的信息作为创作数据。
发明效果
根据本发明，能够显示增强现实图像而不使虚拟对象的视觉辨认性降低。
附图说明
图1是示出本发明的实施方式1的创作装置的硬件结构的例子的图。
图2是概略地示出实施方式1的创作装置的结构的功能框图。
图3的(A)～(D)是示出由实施方式1的创作装置的数据取得部处理的数据以及表示拍摄真实空间的摄像机的位置和姿态的参数的图。
图4是示出存在于真实空间的对象物和对这些对象物赋予的物体ID的例子的图。
图5是示出平面状的虚拟对象的例子的图。
图6是示出立体状的虚拟对象的例子的图。
图7是示出通过利用直线包围指定目标对象物上的区域的用户操作来指定指定目标的第1指定方法的图。
图8是示出通过指定指定目标对象物上的点的用户操作来指定指定目标的第2指定方法的图。
图9的(A)是示出通过用户操作而指定的指定目标的区域和基准点的例子的图，(B)是示出基准点和基准平面的例子的图，(C)是示出水平面的例子的图。
图10的(A)、(B)和(C)是示出根据基准平面和水平面导出配置平面的处理的图。
图11的(A)和(B)是示出用于根据基准点和基准平面导出配置虚拟对象的配置平面的第1导出方法和第2导出方法的图。
图12的(A)是示出在从近前侧观察指定目标的区域的情况下能够视觉辨认显示于配置平面上的虚拟对象的图，(B)是示出在从上方观察指定目标的区域的情况下无法视觉辨认显示于配置平面上的虚拟对象的图。
图13是示出在图12的(B)的状态时使用广告牌渲染来显示虚拟对象的例子的图。
图14是示出由多视点计算部导出的配置平面的图。
图15是示出由多视点计算部导出的配置平面的图。
图16是示出由多视点计算部导出的配置平面的图。
图17是示出实施方式1的创作装置的动作的流程图。
图18是示出本发明的实施方式2的创作装置的硬件结构的例子的图。
图19是概略地示出实施方式2的创作装置的结构的功能框图。
图20是示出实施方式2的创作装置的动作的流程图。
具体实施方式
下面，参照附图对本发明的实施方式的创作装置、创作方法和创作程序进行说明。以下的实施方式只不过是例子，能够在本发明的范围内进行各种变更。
《1》实施方式1
《1-1》结构
《1-1-1》硬件结构
图1是示出实施方式1的创作装置1的硬件结构的例子的图。图1没有示出用于执行根据包含虚拟对象的创作数据显示AR图像的处理即渲染的结构。但是，创作装置1也可以具有摄像机或传感器等这种取得真实空间的信息的结构。
如图1所示，创作装置1例如具有存储作为软件的程序即实施方式1的创作程序的作为存储装置的内存102、以及执行内存102中存储的程序的作为运算处理部的处理器101。处理器101是CPU(Central Processing Unit：中央处理单元)等信息处理电路。内存102例如是RAM(Random Access Memory：随机存取存储器)等易失性存储装置。创作装置1例如是计算机。实施方式1的创作程序从记录信息的记录介质经由介质信息读取装置(未图示)或经由能够与互联网等连接的通信接口(未图示)存储于内存102。
此外，创作装置1具有鼠标、键盘、触摸面板等用户操作部即输入装置103。输入装置103是受理用户操作的用户操作装置。输入装置103包含受理基于手势操作的输入的HMD(Head Mounted Display：头戴式显示器)、受理基于视线操作的输入的装置等。受理基于手势操作的输入的HMD具有小型摄像机，对用户的身体的一部分进行摄像，识别该身体的运动即手势操作作为针对HMD的输入操作。
此外，创作装置1具有显示图像的显示装置104。显示装置104是在进行创作时向用户提示信息的显示器。显示装置104显示应用。显示装置104也可以是HMD的透视型的显示器。
此外，创作装置1也可以具有存储各种信息的存储装置即存储器105。存储器105是HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid State Drive：固态驱动器)等存储装置。存储器105存储程序、在执行创作时使用的数据、通过创作而生成的数据等。存储器105也可以是创作装置1外部的存储装置。存储器105例如也可以是存在于能够经由通信接口(未图示)连接的云上的存储装置。
创作装置1能够通过执行内存102中存储的程序的处理器101来实现。此外，创作装置1的一部分也可以通过执行内存102中存储的程序的处理器101来实现。
《1-1-2》创作装置1
图2是概略地示出实施方式1的创作装置1的结构的功能框图。创作装置1是能够实施实施方式1的创作方法的装置。创作装置1考虑虚拟对象的进深来进行创作。
创作装置1
(1)受理指定存在于真实空间的对象物的用户操作，
(2)确定与被指定的对象物即指定目标对象物相关联的基准平面上的基准点(该处理在后述的图9的(A)～(C)示出)，
(3)根据基准平面和基准点决定配置于包含基准点的位置且能够配置虚拟对象的第1配置平面(该处理在后述的图10的(A)～(C)示出)，
(4)决定通过使第1配置平面旋转而得到的、能够配置虚拟对象的1个以上的第2配置平面(该处理在后述的图14～图16示出)，
(5)把将第1配置平面和虚拟对象关联起来的信息以及将第2配置平面和虚拟对象关联起来的信息作为创作数据例如输出到存储器105。
如图2所示，创作装置1具有创作部10、数据取得部20和识别部30。创作部10根据由用户进行的输入操作即用户操作执行创作。数据取得部20从存储器105(其在图1示出)取得在执行创作时使用的数据。识别部30进行由创作部10执行的创作过程中所需要的图像识别等处理。实施方式1中的存储器105在图1示出，但是，存储器105的整体或一部分也可以是创作装置1外部的存储装置。
《1-1-3》数据取得部20
图3的(A)～(D)是示出由实施方式1的创作装置1的数据取得部20处理的数据以及表示拍摄真实空间的摄像机的位置和姿态的参数的图。摄像机在实施方式2中进行说明。数据取得部20取得创作部10执行创作时使用的数据。执行创作时使用的数据能够包含表示三维模型的三维模型数据、表示虚拟对象的虚拟对象数据和从传感器输出的传感器数据。这些数据可以预先存储于存储器105。
<三维模型数据>
三维模型数据是以三维方式表示显示AR图像的真实空间的信息的数据。三维模型数据能够包含图3的(A)～(C)所示的数据。三维模型数据例如能够使用SLAM(SimultaneousLocalization and Mapping：同时定位与地图构建)技术来取得。在SLAM技术中，使用能够取得真实空间的彩色图像(即RGB图像)和进深图像(即Depth图像)的摄像机(以下也称作“RGBD摄像机”)拍摄真实空间，由此取得三维模型数据。
图3的(A)示出三维点群的例子。三维点群表示存在于真实空间的物体即对象物。存在于真实空间的对象物例如包含地面、墙壁、门、天花板、放置于地面的物品、从天花板悬吊的物品、安装于墙壁的物品等。
图3的(B)示出在三维模型数据的生成过程中取得的平面的例子。根据图3的(A)所示的三维点群取得该平面。
图3的(C)示出通过从多个视点的拍摄和多个角度的拍摄而得到的图像的例子。在SLAM技术中，使用RGBD摄像机等从多个视点和多个角度拍摄真实空间，由此生成三维模型数据。此时的拍摄时得到的图3的(C)所示的图像(即图像数据)与图3的(A)所示的三维点群、图3的(B)所示的平面或它们双方一起存储于存储器105。
图3的(D)所示的信息是表示与各个图像有关的摄像机的位置和姿态的信息。在设k＝1、2、…、N(N为正整数)的情况下，pk表示第k个摄像机的位置，rk表示第k个摄像机的姿态即摄像机的拍摄方向。
图4是示出存在于真实空间的对象物和对该对象物赋予的物体ID(Identification：标识符)的例子的图。在图4中，作为物体ID的例子，记载有“A1”、“A2”、“A3”和“A4”。在决定虚拟对象的三维配置位置的处理和导出图像上的对象物的位置、姿态或它们双方的处理等中使用三维模型数据。三维模型数据是创作部10的输入数据之一。
三维模型数据除了包含图3的(A)～(D)所示的信息以外，还可以包含其他信息。三维模型数据也可以包含存在于真实空间的对象物各自的数据。例如，如图4所示，三维模型数据也可以包含对各对象物赋予的物体ID、被赋予物体ID的每个对象物的部分的三维模型数据。
在图4所示的情况下，例如能够使用语义分割技术取得每个对象物的部分的三维模型数据。例如，按照各对象物具有的每个区域对图3的(A)所示的三维点群的数据、图3的(B)所示的平面的数据或它们双方的数据进行分割，由此能够取得每个对象物的部分的三维模型数据。此外，非专利文献1说明了根据点群数据检测点群数据中包含的对象物区域的技术。
非专利文献1：Florian Walch,“Deep Learning for Image-BasedLocalization”,Department of Informatics,Technical University of Munich(TUM),2016年10月15日
<虚拟对象数据>
图5是示出平面状的虚拟对象的例子的图。图6是示出立体状的虚拟对象的例子的图。虚拟对象数据是存储表示作为AR图像显示的虚拟对象的信息的数据。这里处理的虚拟对象具有2种属性。
图5所示的虚拟对象V1以平面的方式表示。虚拟对象V1相当于图像和动画等。虚拟对象V1的重心坐标由Zv1表示。重心坐标Zv1作为本地坐标系的坐标存储于存储器105。
图6所示的虚拟对象V2以立体方式表示。虚拟对象V2相当于由三维建模工具等生成的数据。虚拟对象V2的重心坐标由Zv2表示。重心坐标Zv2作为本地坐标系的坐标存储于存储器105。
<传感器数据>
传感器数据是用于辅助拍摄图像数据时的摄像机的位置和姿态的估计处理的数据。传感器数据例如能够包含从测定拍摄真实空间的摄像机的倾斜的陀螺仪传感器输出的倾斜数据、从测定该摄像机的加速度的加速度传感器输出的加速度数据等。传感器数据不限于附带于摄像机的信息，例如也可以包含由位置信息计测系统即GPS(GlobalPositioning System：全球定位系统)计测出的位置数据。
《1-1-4》识别部30
识别部30使用由数据取得部20取得的三维模型数据，识别存在于图像上的特定部位的平面或对象物。识别部30按照针孔相机模型，将图像上的二维位置转换成真实空间上的三维位置，将该三维位置与三维模型数据进行核对，由此识别存在于图像的特定部位的平面或对象物。另外，图像上的二维位置由像素坐标表示。
此外，识别部30接受图像作为输入，根据接受的图像识别拍摄到该图像的摄像机的位置和姿态。关于根据图像估计拍摄到该图像的摄像机的位置和姿态的对的方法，例如公知有被称作PoseNet的利用神经网络的方法。该方法例如在非专利文献2中进行了说明。
非专利文献2：Charles R.Qi及其他3人、“PointNet:Deep Learning on PointSets for 3D Classification and Segmentation”,Stanford University
此外，作为根据图像估计拍摄到该图像的摄像机的位置和姿态的对的其他方法，公知有使用SLAM技术的方法。
《1-1-5》创作部10
创作部10使用由数据取得部20取得的三维模型数据、虚拟对象数据或它们双方的数据执行虚拟对象的创作。创作部10输出创作的结果作为创作数据。创作部10执行创作，以使与用户指定的部位即用户指定的指定目标的区域相关联的虚拟对象具有与指定目标的区域的进深方向的位置一致的进深方向的位置。如图2所示，创作部10包含用户接口部11、指定目标确定部12、配置位置计算部13和多视点计算部14。
《1-1-6》用户接口部11
用户接口部11提供创作用的用户接口。用户接口部11例如是图1所示的输入装置103和显示装置104等。用户接口部11能够包含GUI(Graphical User Interface：图形用户界面)应用。具体而言，用户接口部11使显示装置104显示创作中利用的图像或三维数据(例如三维点群数据、平面数据等)，受理创作所需要的来自输入装置103的用户操作。这里，三维数据例如是三维点群数据、平面数据等。
说明使用输入装置103进行的用户的输入操作。在“操作U1”中，用户指定创作中使用的图像。例如，在“操作U1”中，用户从图3的(A)、(B)和(C)所示的图像中选择1个图像。在“操作U2”中，用户指定作为AR图像的基准的指定目标。在“操作U3”中，用户进行用于配置虚拟对象的操作。在“操作U4”中，用户指定平面图案的数量。平面图案的数量是后述的多视点计算部14通过计算而取得的平面的数量。
用户通过“操作U2”在通过“操作U1”指定的图像中指定指定目标，由此，指定目标确定部12和配置位置计算部13求出指定目标的三维位置和配置与指定目标相关联的虚拟对象的平面即配置平面。
用户通过“操作U3”针对求出的平面指定配置虚拟对象的位置，由此，配置位置计算部13计算虚拟对象的三维位置和姿态。此外，用户通过“操作U4”指定平面图案的数量G(G为正整数)，由此，多视点计算部14能够求出从G个视点(即沿G图案的视线方向)观察指定目标时的虚拟对象的配置位置。
《1-1-7》指定目标确定部12
指定目标确定部12根据用户通过用户接口部11指定的指定目标求出基准点p和基准平面Sp。作为指定指定目标的方法，存在第1指定方法和第2指定方法。指定目标确定部12按照指定目标的每个指定方法，使用不同的方法作为基准点p和基准平面Sp的导出方法。
<第1指定方法>
在第1指定方法中，用户针对显示GUI的图像，进行利用矩形或多边形等直线包围作为指定目标的区域的操作。利用直线包围的部位成为指定目标的区域。在利用第1指定方法指定了指定目标的情况下，如下求出基准点p和基准平面Sp。
将被指定为指定目标的n边形的区域的各顶点设为H1、…、Hn。这里，n为3以上的整数。顶点H1、…、Hn由GUI图像上的像素坐标(u、v)表示。这些坐标按照针孔相机模型被转换成三维坐标ai＝(x，y，z)。这里，i＝1、2、…、n。
在将从三维坐标a1、…、an中任意选择出的3个点设为b1、b2、b3时，唯一地求出包含点b1、b2、b3的平面Sm。此外，如下表记n边形的区域的顶点H1、…、Hn中的未被选择为3个点b1、b2、b3的点的集合C。
C＝{c1、c2、…、cn-3}
从三维坐标a1、…、an中选择3个点的选择方法存在以下的式(1)所示的J个。这里，J为正整数。
【数学式1】
J＝nC3 (1)
因此，根据n边形的顶点中的任意3个点求出的平面存在J个。将J个平面表记成Sm1、…、SmJ。
此外，如下所示，从n边形的区域的顶点H1、…、Hn中除去任意3个点以外的点的集合C1、…、CJ存在J个。
【数学式2】
C1＝{c1，1，c1，2，...，c1，n-3}，…，CJ＝{cJ，1，cJ，2，...，cJ，n-3}
另外，例如，要素c1，n-3表示集合C1中的第n-3个要素即点。
在将平面S与点X的距离表记成D(S，X)时，利用以下的式(2)求出基准平面Sp。将根据n边形的顶点中的3个点求出的多个平面中的与其他点之间的距离的平均最小的平面设为基准平面Sp。这里，“其他点”是不构成平面的点。
【数学式3】
Figure BDA0003133213460000091
这里，要素Ci，j是集合Ci中的第j个要素。
此外，在将n边形的重心的坐标设为AG时，将从坐标AG向利用式(2)求出的基准平面Sp引垂线时的基准平面Sp与垂线的交点设为基准点p。
<第2指定方法>
用户针对显示GUI的图像，进行指定作为指定目标的1个点的操作。在第2指定方法中，在由用户指定了指定目标的区域即点的情况下，如下求出基准点p和基准平面Sp。
在将指定了基准点p的图像上的点设为M＝(u，v)时，M能够按照针孔相机模型转换成三维坐标ai＝(x，y，z)。在第2指定方法中，将三维坐标ai直接设为基准点p的坐标。
识别部30根据三维模型数据的平面数据检测包含基准点p的平面，决定基准平面Sp。识别部30在不存在对应的平面的情况下，例如也可以利用RANSAC(RANdom SampleConsensus：随机样本一致性)，使用基准点p周边的点群数据检测伪平面。
图7是示出通过利用直线包围指定目标对象物上的区域的用户操作来指定指定目标的第1指定方法的图。图8是示出通过指定指定目标对象物上的点的用户操作来指定指定目标的第2指定方法的图。在图8所示的第2指定方法中，仅根据1个点来检测平面，因此，在指定目标对象物不是平面的情况下，有时无法适当地检测基准平面Sp。但是，通过使用图7所示的第1指定方法，在指定目标对象物的形状不是平面的情况下，也能够导出基准平面Sp。
《1-1-8》配置位置计算部13
配置位置计算部13进行以下所示的第1处理13a和第2处理13b。
在第1处理13a中，配置位置计算部13计算配置虚拟对象的配置平面Sq。配置位置计算部13根据由指定目标确定部12求出的基准点p和基准平面Sp，导出配置虚拟对象的平面即配置平面Sq。作为配置平面Sq的导出方法，存在第1导出方法和第2导出方法。
<第1导出方法>
在第1导出方法中，配置位置计算部13将基准平面Sp直接设为配置平面Sq来进行处理。
<第2导出方法>
在第2导出方法中，首先，配置位置计算部13根据三维模型数据检测真实空间中的水平面Sh。也可以通过用户使用用户接口部11的用户操作来选择水平面Sh。此外，也可以使用图像识别和空间识别技术自动地决定水平面Sh。图9的(A)是示出通过用户操作而指定的指定目标的区域和基准点p的例子的图。图9的(B)是示出基准点p和基准平面Sp的例子的图。图9的(C)是示出水平面Sh的例子的图。
图10的(A)、(B)和(C)是示出根据基准平面Sp和水平面Sh导出配置平面Sq的处理的图。此时，在第2导出方法中，配置位置计算部13通过图10的(A)、(B)和(C)所示的处理导出配置平面Sq。
首先，如图10的(A)所示，将基准平面Sp与水平面Sh的交线设为L。接着，如图10的(B)所示，使基准平面Sp以交线L为中心轴旋转成与水平面Sh垂直，设为与水平面Sh垂直的平面Sv。接着，如图10的(C)所示，使与水平面Sh垂直的平面Sv平行移动以穿过基准点p。接着，将穿过基准点p的与水平面Sh垂直的平面Sv设为配置平面Sq。
在第1导出方法中，根据指定目标的区域的倾斜，有时成为视觉辨认性差的配置平面。但是，如第2导出方法所示，通过将穿过基准点p的与水平面Sh垂直的平面Sv设为配置平面Sq，能够不依赖于指定目标的区域的倾斜，使虚拟对象的进深方向的位置与指定目标的区域的进深方向的基准位置即基准点p一致。
图11的(A)和(B)是示出用于根据基准点p和基准平面Sp导出配置虚拟对象的配置平面Sq的第1导出方法和第2导出方法的图。
在第2处理13b中，配置位置计算部13计算虚拟对象的三维配置位置q。在配置位置计算部13通过第1处理13a导出配置虚拟对象的配置平面Sq后，用户通过GUI指定虚拟对象的配置位置。例如，用户利用鼠标等输入装置103点击图像上的希望配置虚拟对象的场所，由此指定虚拟对象的配置位置。此时，也可以将配置平面Sq投影到GUI的图像上，辅助用户进行配置位置的指定操作。
在将通过用户的指定而取得的图像上的坐标设为D＝(u，v)时，根据坐标D，按照针孔相机模型得到三维坐标E＝(x，y，z)。在将根据三维模型数据得到的摄像机的三维坐标设为F＝(xc，yc，zc)时，将由坐标E和坐标F这2点形成的向量与配置平面Sq的交点设为配置位置q。此外，还能够针对1个指定目标配置多个虚拟对象。在配置t个(t为正整数)虚拟对象的情况下，按照同样的顺序导出配置位置q1、q2、…、qt。
此外，在决定配置位置后，用户也可以通过拖放等用户操作来变更虚拟对象的尺寸。该情况下，在用户操作时，优选在显示装置104显示作为渲染的结果而得到的虚拟对象。
此外，此时，用户也可以通过拖放等用户操作来变更配置虚拟对象的朝向(即姿态)。该情况下，与虚拟对象的旋转有关的信息也作为创作数据存储于存储器105。通过进行以上的处理，求出虚拟对象的三维配置位置、范围、姿态。
《1-1-9》多视点计算部14
直到配置位置计算部13为止的处理结果是，在从某1个方向观察时，指定目标的区域的进深方向的位置和虚拟对象的进深方向的位置一致。图12的(A)是示出在从近前侧观察指定目标的区域的情况下能够视觉辨认显示于配置平面Sq上的虚拟对象#1和#2的图。图12的(B)是示出在从上方观察指定目标的区域的情况下无法视觉辨认显示于配置平面Sq上的虚拟对象#1和#2的图。
图13是示出使用广告牌渲染来显示虚拟对象#1和#2的例子的图。在使用广告牌渲染来执行渲染以使虚拟对象始终为与摄像机的视线向量垂直的姿态的情况下，如图13所示，能够视觉辨认虚拟对象。但是，虚拟对象#1和#2的进深方向的位置L1和L2与指定目标的区域的进深方向的位置Lp偏移。
如上所述在视点大幅变化时，为了使虚拟对象的进深方向的位置与指定目标的区域的进深方向的位置一致，多视点计算部14也针对1个指定目标准备多个配置平面，计算虚拟对象在各个配置平面中的配置位置。多视点计算部14以与追加的配置平面的数量相等的次数反复进行以下的第1视点计算处理14a和第2视点计算处理14b。
在第1视点计算处理14a中，多视点计算部14求出使由配置位置计算部13求出的配置平面Sq以穿过基准点p的轴为中心旋转而得到的平面Sr。
在第2视点计算处理14b中，多视点计算部14求出由配置位置计算部13求出的要配置的虚拟对象v1、v2、…、vt在平面Sr上的配置位置qr1、qr2、…、qrt。
关于第1视点计算处理14a，也可以通过拖放等用户操作使用户自身设定平面Sr。此外，多视点计算部14也可以具有自动求出平面Sr的功能。自动求出平面Sr的方法的例子在后面叙述。
关于第2视点计算处理14b，多视点计算部14利用由配置位置计算部13求出的虚拟对象v1、v2、…、vt的配置位置q1、q2、…、qt和基准点p在配置平面Sq上的相对位置关系，由此能够求出平面Sr上的配置位置qr1、qr2、…、qrt。
此外，也可以在利用上述方法求出暂时的配置位置后，提供由用户调整配置位置的用户界面。此外，多视点计算部14也可以在求出暂时的配置位置后，利用三维模型数据的点群的数据、三维模型数据的平面的数据或它们双方的数据进行虚拟对象和真实空间中的对象物的冲突判定，调整虚拟对象的配置位置。
对在第1视点计算处理14a中自动地求出平面Sr的方法的例子进行说明。这里，对平面Sr的数量为3个的例子进行说明。在平面的数量为3个的情况下，在多视点计算部14中，导出配置平面Sr1、Sr2、Sr3作为平面Sr。图14是示出由多视点计算部14导出的配置平面Sr1的图。图15是示出由多视点计算部14导出的配置平面Sr2的例子的图。图16是示出由多视点计算部14导出的配置平面Sr3的例子的图。图14～图16的例子示出考虑到从前后、上下、左右观察指定目标的配置平面Sr1、Sr2、Sr3。在该例子的情况下，不进行用户操作，就能够如下求出配置平面Sr1、Sr2、Sr3。
图14所示的例子是将由配置位置计算部13导出的配置平面Sq直接作为配置平面Sr1来处理的例子。
图15所示的配置平面Sr2是使配置平面Sq以穿过基准点p的水平轴为中心旋转成与由配置位置计算部13检测到的水平面Sh平行而得到的平面。
图16所示的配置平面Sr3是将配置平面Sq变更成与配置平面Sr1和配置平面Sr2双方垂直的方向且穿过基准点p的平面。
如上所述，配置位置计算部13计算多个配置平面和配置位置，输出计算结果作为创作数据。在执行渲染时，根据摄像机的角度切换要渲染的平面，由此，在从多个视点观察时，也能够使与指定目标有关的多个虚拟对象的进深方向的位置与指定目标的进深方向的位置一致。
《1-1-10》创作数据
创作数据是由创作部10进行的创作结果存储于存储器105的数据。创作数据例如包含以下的第1信息I1～第6信息I6。
第1信息I1是与指定目标有关的信息，包含基准点p和基准平面Sp的信息。第2信息I2是与配置平面有关的信息，包含配置平面Sq和平面Sr的信息。第3信息I3是虚拟对象的信息，包含虚拟对象v1、v2、…的信息。第4信息I4是表示虚拟对象的配置位置的信息。第5信息I5是表示虚拟对象的配置范围的信息。第6信息I6是表示虚拟对象的姿态的信息。表示姿态的信息也称作表示虚拟对象的朝向的信息。
由创作部10求出的虚拟对象的三维配置位置与配置平面、指定目标或它们双方关联起来进行管理。
《1-2》动作
图17是示出实施方式1的创作装置1的动作的流程图。首先，在步骤S11中，创作装置1按照用户指示，启动搭载有创作部10的功能的创作应用。
在步骤S12中，创作装置1取得用户通过创作部10的用户接口部11指定的在创作中使用的图像或三维数据即三维点群或平面，使显示装置104显示取得的图像或三维数据。用户通过用户接口部11即鼠标或触摸板等进行指定。
在步骤S13中，创作装置1确定用户通过用户接口部11指定的图像或三维数据的指定目标。创作装置1根据由用户指定的指定目标求出基准点p和基准平面Sp。
在步骤S14中，创作装置1决定配置虚拟对象的配置平面Sq。
在步骤S15中，创作装置1接受通过用户操作而输入的虚拟对象的配置位置、尺寸、旋转等信息。创作装置1根据接受的信息计算虚拟对象的三维配置位置和姿态等信息。
在步骤S16中，创作装置1以与追加的平面的数量相等的次数求出配置平面和放置于该配置平面的虚拟对象的配置位置等，以应对来自多个视点的渲染。此时，关于追加的配置平面，存在通过用户操作在GUI上指定的情况和与用户操作无关地自动决定的情况。
在步骤S17中，创作装置1在求出虚拟对象在多个平面上的创作信息后，输出通过此前的处理得到的与创作有关的信息作为创作数据，将其保存于存储器105。
《1-3》效果
如以上说明的那样，在实施方式1中，在根据真实空间中的指定目标对象物和与该指定目标对象物相关联的虚拟对象执行创作时，通过指定目标确定部12，根据用户的指定目标求出基准点p和基准平面Sp。因此，能够使虚拟对象的进深方向的位置与指定目标的进深方向的位置一致，而不依赖于指定目标的形状和倾斜。
此外，通过多视点计算部14求出多个虚拟对象的配置平面。因此，在改变了摄像机的朝向或姿态时，也能够使虚拟对象的进深方向的位置与指定目标的进深方向的位置一致。
此外，在关于1个指定目标登记有多个内容的情况下，在改变了摄像机的朝向或姿态时，也能够使虚拟对象的进深方向的位置与指定目标的进深方向的位置一致。
《2》实施方式2
《2-1》结构
《2-1-1》硬件结构
实施方式1的创作装置1是生成并输出创作数据的装置，但是，创作装置也可以具有用于执行渲染的结构。
图18是示出本发明的实施方式2的创作装置2的硬件结构的例子的图。在图18中，对与图1所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。实施方式2的创作装置2与实施方式1的创作装置1的不同之处在于具有传感器106和摄像机107。
传感器106是IMU(Inertial Measurement Unit：惯性测量单元)、红外线传感器或LiDAR(Light Detection and Ranging：激光雷达)等。IMU是统合加速度传感器、地磁传感器、陀螺仪传感器等各种传感器而成的检测装置。摄像机107是摄像装置，例如是单镜头摄像机、立体摄像机或RGBD摄像机等。
创作装置2根据从拍摄真实空间的摄像机107输出的图像数据估计摄像机107的位置和姿态，根据估计出的摄像机107的位置和姿态以及创作数据，从第1配置平面和1个以上的第2配置平面中选择配置虚拟对象的显示平面，输出基于图像数据和配置于显示平面上的虚拟对象的显示图像数据。
创作装置2选择第1配置平面和1个以上的第2配置平面中的、由摄像机107的位置和基准点p决定的向量与第1配置平面所成的角度和所述向量与1个以上的第2配置平面所成的角度最接近90°的配置平面，作为显示虚拟对象的显示平面。
《2-1-2》创作装置2
图19是概略地示出实施方式2的创作装置2的结构的功能框图。在图19中，对与图2所示的结构要素相同或对应的结构要素标注与图2所示的标号相同的标号。实施方式2的创作装置2与实施方式1的创作装置1的不同之处在于，具有图像取得部40和向显示装置104输出图像数据的AR显示部50。
图像取得部40取得从摄像机107输出的图像数据。由图像取得部40取得的图像数据被输入到创作部10、识别部30和AR显示部50。在使用从摄像机107输出的图像数据执行创作的情况下，从摄像机107输出的图像数据被输入到创作部10。在除此以外的情况下，从摄像机107输出的图像数据被输入到AR显示部50。
《2-1-3》AR显示部50
AR显示部50执行用于利用从创作部10输出或存储器105中存储的创作数据生成使显示装置104显示虚拟对象的图像数据的渲染。如图19所示，AR显示部50具有位置姿态估计部51、显示平面确定部52和渲染部53。
<位置姿态估计部51>
位置姿态估计部51估计与创作装置2连接的摄像机107的位置和姿态。图像取得部40从摄像机107取得的摄像图像的图像数据被提供给识别部30。识别部30接受图像数据作为输入，根据接受的图像数据识别拍摄到该图像的摄像机的位置和姿态。位置姿态估计部51根据识别部30的识别结果，估计与创作装置2连接的摄像机107的位置和姿态。
<显示平面确定部52>
在实施方式2的创作数据中，通过多视点计算部14，有时针对用户指定的1个指定目标存在多个配置平面。多个配置平面例如是图14～图16所示的配置平面Sr1、Sr2、Sr3。显示平面确定部52利用当前的摄像机107的位置和姿态信息，从多个配置平面中决定作为渲染对象的平面。将与某个指定目标对应的基准点设为p，将t个(t为正整数)显示平面设为S1、S2、…、St。此外，在将由摄像机107的三维位置和基准点p决定的向量与显示平面S1、S2、…、St所成的角度[°]分别设为θ1、θ2、…、θt，将i设为1以上且t以下的整数时，在0°<θi≤90°时，例如如以下的式(3)所示求出作为渲染对象的平面SR。由摄像机107的三维位置和基准点p决定的向量例如是连结摄像机107的光轴的位置和基准点p的方向的向量。
【数学式4】
Figure BDA0003133213460000161
但是，在90°<θi≤180°时，例如如以下的式(4)所示求出作为渲染对象的平面SR。
【数学式5】
Figure BDA0003133213460000162
在求出平面SR后，从创作数据取得平面SR中包含的虚拟对象的配置位置等，将其输出到渲染部53。即，选择由摄像机107的三维位置和基准点p决定的向量与显示平面所成的角度最接近90°的显示平面作为平面SR。
<渲染部53>
渲染部53根据由位置姿态估计部51取得的摄像机107的位置和姿态以及由显示平面确定部52取得的虚拟对象的配置平面、配置位置的信息，将虚拟对象的三维坐标转换成显示装置104的显示器上的二维坐标，在显示装置104的显示器中，在通过转换而得到的二维坐标上重叠显示虚拟对象。
《2-1-4》显示装置104
显示装置104是用于渲染AR图像的装置。显示装置104例如是PC(PersonalComputer：个人电脑)的显示器、智能手机的显示器、平板终端的显示器或头戴式显示器等。
《2-2》动作
图20是示出实施方式2的创作装置2的动作的流程图。由实施方式2的创作装置2执行的创作与实施方式1的创作相同。
在步骤S21中，创作装置2启动AR应用。
在步骤S22中，在启动了创作数据后，在步骤S23中，创作装置2取得创作数据作为显示数据。
在步骤S24中，创作装置2取得从与创作装置2连接的摄像机107输出的摄像图像的图像数据。
在步骤S25中，创作装置2估计摄像机107的位置和姿态。
在步骤S26中，创作装置2从创作数据取得与求出的指定目标有关的信息，针对1个指定目标执行步骤S27的处理，或者针对多个指定目标分别执行步骤S27的处理。
在步骤S26中，创作装置2从与指定目标对应的多个配置平面中，确定1个显示虚拟对象的配置平面。接着，创作装置2从创作数据取得配置于已决定的配置平面上的虚拟对象的配置位置、尺寸、位置和姿态等信息。接着，创作装置2执行虚拟对象的渲染。
在步骤S27中，创作装置2判定是继续进行AR显示处理还是关于已登记的全部指定目标已结束处理。在继续进行的情况下，反复进行步骤S24～S27的处理。
《2-3》效果
如以上说明的那样，在实施方式2中，在渲染作为虚拟对象的对象的指定目标和与其相关联的虚拟对象时，根据由创作部10输出的创作数据进行渲染。因此，能够进行使虚拟对象的进深方向的位置与指定目标的进深方向的位置一致的渲染，而不依赖于指定目标的形状或倾斜。
此外，通过显示平面确定部52，根据由多视点计算部14求出的多个内容配置平面，按照摄像机107的位置、姿态或它们双方决定进行渲染的平面。因此，在摄像机107的位置、姿态或它们双方变化的情况下，也能够使虚拟对象的进深方向的位置与指定目标的进深方向的位置一致。
标号说明
1、2：创作装置；10：创作部；11：用户接口部；12：指定目标确定部；13：配置位置计算部；14：多视点计算部；20：数据取得部；30：识别部；40：图像取得部；50：AR显示部；51：位置姿态估计部；52：显示平面确定部；53：渲染部；101：处理器；102：内存；103：输入装置；104：显示装置；105：存储器；106：传感器；107：摄像机；p：基准点；Sp：基准平面；Sh：水平面；Sq：配置平面；Sr1、Sr2、Sr3：配置平面。

Claims (8)

1.一种创作装置，其特征在于，所述创作装置具有：
用户接口部，其受理指定存在于真实空间的对象物的操作；
指定目标确定部，其确定与由所述用户接口部指定的所述对象物即指定目标对象物相关联的基准平面上的基准点；
配置位置计算部，其根据所述基准平面和所述基准点，决定配置于包含所述基准点的位置且能够配置虚拟对象的第1配置平面；以及
多视点计算部，其决定通过使所述第1配置平面旋转而得到的、能够配置所述虚拟对象的1个以上的第2配置平面，
所述创作装置输出将所述第1配置平面和所述虚拟对象关联起来的信息以及将所述第2配置平面和所述虚拟对象关联起来的信息作为创作数据。
2.根据权利要求1所述的创作装置，其特征在于，
基于所述用户接口部的所述操作是在将n设为3以上的整数的情况下利用n边形包围表示所述指定目标对象物的区域的操作。
3.根据权利要求2所述的创作装置，其特征在于，
所述指定目标确定部将包含所述n边形的顶点中的3个顶点的平面中的1个平面设为所述基准平面，根据所述n边形的重心位置和所述基准平面决定所述基准点。
4.根据权利要求1～3中的任意一项所述的创作装置，其特征在于，
所述多视点计算部使所述第1配置平面以包含所述基准点的轴线为中心旋转，由此决定所述1个以上的第2配置平面。
5.根据权利要求1～4中的任意一项所述的创作装置，其特征在于，
所述创作装置还具有：
位置姿态估计部，其根据从拍摄真实空间的摄像机输出的图像数据估计所述摄像机的位置和姿态；
显示平面确定部，其根据估计出的所述摄像机的所述位置和所述姿态以及所述创作数据，从所述第1配置平面和所述1个以上的第2配置平面中选择配置所述虚拟对象的显示平面；以及
渲染部，其输出基于所述图像数据和配置于所述显示平面上的所述虚拟对象的显示图像数据。
6.根据权利要求5所述的创作装置，其特征在于，
所述显示平面确定部选择所述第1配置平面和所述1个以上的第2配置平面中的、由所述摄像机的位置和所述基准点决定的向量与所述第1配置平面所成的角度和所述向量与所述1个以上的第2配置平面所成的角度最接近90°的配置平面，作为显示所述虚拟对象的显示平面。
7.一种创作方法，其特征在于，所述创作方法具有以下步骤：
受理指定存在于真实空间的对象物的操作；
确定与被指定的所述对象物即指定目标对象物相关联的基准平面上的基准点；
根据所述基准平面和所述基准点，决定配置于包含所述基准点的位置且能够配置虚拟对象的第1配置平面；
决定通过使所述第1配置平面旋转而得到的、能够配置所述虚拟对象的1个以上的第2配置平面；以及
输出将所述第1配置平面和所述虚拟对象关联起来的信息以及将所述第2配置平面和所述虚拟对象关联起来的信息作为创作数据。
8.一种创作程序，其特征在于，所述创作程序使计算机执行以下处理：
受理指定存在于真实空间的对象物的操作；
确定与被指定的所述对象物即指定目标对象物相关联的基准平面上的基准点；
根据所述基准平面和所述基准点，决定配置于包含所述基准点的位置且能够配置虚拟对象的第1配置平面；
决定通过使所述第1配置平面旋转而得到的、能够配置所述虚拟对象的1个以上的第2配置平面；以及
输出将所述第1配置平面和所述虚拟对象关联起来的信息以及将所述第2配置平面和所述虚拟对象关联起来的信息作为创作数据。
CN201980086529.0A 2019-01-11 2019-01-11 创作装置、创作方法和创作程序 Pending CN113228117A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/000687 WO2020144848A1 (ja) 2019-01-11 2019-01-11 オーサリング装置、オーサリング方法、及びオーサリングプログラム

Publications (1)

Publication Number Publication Date
CN113228117A true CN113228117A (zh) 2021-08-06

Family

ID=71521116

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980086529.0A Pending CN113228117A (zh) 2019-01-11 2019-01-11 创作装置、创作方法和创作程序

Country Status (6)

Country Link
US (1) US20210327160A1 (zh)
JP (1) JP6818968B2 (zh)
CN (1) CN113228117A (zh)
DE (1) DE112019006107T5 (zh)
TW (1) TW202026861A (zh)
WO (1) WO2020144848A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022219780A1 (ja) * 2021-04-15 2022-10-20 三菱電機株式会社 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム
US20240005579A1 (en) * 2022-06-30 2024-01-04 Microsoft Technology Licensing, Llc Representing two dimensional representations as three-dimensional avatars

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120210255A1 (en) * 2011-02-15 2012-08-16 Kenichirou Ooi Information processing device, authoring method, and program
WO2012145210A1 (en) * 2011-04-20 2012-10-26 Qualcomm Incorporated Online reference patch generation and pose estimation for augmented reality
JP2013008257A (ja) * 2011-06-27 2013-01-10 Celsys:Kk 画像合成プログラム
US20150339859A1 (en) * 2014-05-20 2015-11-26 Samsung Electronics Co., Ltd. Apparatus and method for navigating through volume image
US20150356788A1 (en) * 2013-02-01 2015-12-10 Sony Corporation Information processing device, client device, information processing method, and program
CN105391938A (zh) * 2014-08-27 2016-03-09 株式会社理光 图像处理装置、图像处理方法和计算机程序产品
US20170154471A1 (en) * 2014-06-26 2017-06-01 Korea Advanced Institute Of Science And Technology Apparatus and method for providing augmented reality interaction service
WO2017139509A1 (en) * 2016-02-12 2017-08-17 Purdue Research Foundation Manipulating 3d virtual objects using hand-held controllers
JP2018084886A (ja) * 2016-11-22 2018-05-31 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5674441B2 (ja) * 2010-12-02 2015-02-25 新日鉄住金ソリューションズ株式会社 情報処理システム、その制御方法及びプログラム
GB2522855A (en) * 2014-02-05 2015-08-12 Royal College Of Art Three dimensional image generation
US9830700B2 (en) * 2014-02-18 2017-11-28 Judy Yee Enhanced computed-tomography colonography
US10740971B2 (en) * 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
JP6491574B2 (ja) * 2015-08-31 2019-03-27 Kddi株式会社 Ａｒ情報表示装置
US10925598B2 (en) * 2018-07-16 2021-02-23 Ethicon Llc Robotically-assisted surgical suturing systems

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120210255A1 (en) * 2011-02-15 2012-08-16 Kenichirou Ooi Information processing device, authoring method, and program
WO2012145210A1 (en) * 2011-04-20 2012-10-26 Qualcomm Incorporated Online reference patch generation and pose estimation for augmented reality
JP2013008257A (ja) * 2011-06-27 2013-01-10 Celsys:Kk 画像合成プログラム
US20150356788A1 (en) * 2013-02-01 2015-12-10 Sony Corporation Information processing device, client device, information processing method, and program
US20150339859A1 (en) * 2014-05-20 2015-11-26 Samsung Electronics Co., Ltd. Apparatus and method for navigating through volume image
US20170154471A1 (en) * 2014-06-26 2017-06-01 Korea Advanced Institute Of Science And Technology Apparatus and method for providing augmented reality interaction service
CN105391938A (zh) * 2014-08-27 2016-03-09 株式会社理光 图像处理装置、图像处理方法和计算机程序产品
WO2017139509A1 (en) * 2016-02-12 2017-08-17 Purdue Research Foundation Manipulating 3d virtual objects using hand-held controllers
JP2018084886A (ja) * 2016-11-22 2018-05-31 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム

Also Published As

Publication number Publication date
JP6818968B2 (ja) 2021-01-27
WO2020144848A1 (ja) 2020-07-16
US20210327160A1 (en) 2021-10-21
DE112019006107T5 (de) 2021-11-18
TW202026861A (zh) 2020-07-16
JPWO2020144848A1 (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
US10977818B2 (en) Machine learning based model localization system
JP6934887B2 (ja) 単眼カメラを用いたリアルタイム３ｄ捕捉およびライブフィードバックのための方法およびシステム
US10762386B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
TWI544447B (zh) 擴增實境的方法及系統
KR102222974B1 (ko) 홀로그램 스냅 그리드
EP3008694B1 (en) Interactive and automatic 3-d object scanning method for the purpose of database creation
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
US10037614B2 (en) Minimizing variations in camera height to estimate distance to objects
US20120120113A1 (en) Method and apparatus for visualizing 2D product images integrated in a real-world environment
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
JP2011095797A (ja) 画像処理装置、画像処理方法及びプログラム
US11842514B1 (en) Determining a pose of an object from rgb-d images
Jia et al. 3D image reconstruction and human body tracking using stereo vision and Kinect technology
KR20150130483A (ko) 평면의 자연스러운 특성 타겟들의 인시츄 생성
JP7107166B2 (ja) 床面検出プログラム、床面検出方法及び端末装置
CN110956695B (zh) 信息处理装置、信息处理方法和存储介质
US20160210761A1 (en) 3d reconstruction
JP7372708B2 (ja) 広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
US20210327160A1 (en) Authoring device, authoring method, and storage medium storing authoring program
JP2015118442A (ja) 情報処理装置、情報処理方法およびプログラム
WO2020195875A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200211275A1 (en) Information processing device, information processing method, and recording medium
TWI821220B (zh) 影像擷取之設備及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination