CN112292656A - 影像显示系统、影像显示方法及计算机程序 - Google Patents
影像显示系统、影像显示方法及计算机程序 Download PDFInfo
- Publication number
- CN112292656A CN112292656A CN201980040648.2A CN201980040648A CN112292656A CN 112292656 A CN112292656 A CN 112292656A CN 201980040648 A CN201980040648 A CN 201980040648A CN 112292656 A CN112292656 A CN 112292656A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- display screen
- real object
- dimensional space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 14
- 238000004590 computer program Methods 0.000 title claims description 8
- 230000009466 transformation Effects 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 238000007654 immersion Methods 0.000 abstract description 7
- 238000012545 processing Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
Abstract
本发明的课题是提供一种沉浸感和临场感较高的显示系统，其是因应显示屏上的真实物体的位置来使影像变化。本发明的解决方案是一种影像显示系统100，具备：绘图装置10，其生成来自特定摄相机位置的二维影像；显示装置20，其将所述影像显示于显示屏上；以及传感器装置30，其检测所述显示屏上的真实物体的位置。绘图装置10使摄相机位置移动，并且根据显示屏上的真实物体的位置使预定的对象出现在影像内。
Description
技术领域
本发明关于一种影像显示系统、影像显示方法及计算机程序。若进行具体说明，本发明关于一种用以在虚拟空间内描绘轨迹(“空书”)的系统等。
背景技术
以往，作为用于娱乐的系统，例如，已知一种系统是由拍摄投影至屏幕的红外线阴影而得到的红外线摄像数据，生成用户的可视投影数据，并将此可视投影数据显示于屏幕(专利文献1)。根据此系统，可将用户的影子放映在投影至地面上的屏幕的影像，并且将所述影子的加工图像实时显示于屏幕。
现有技术文献
专利文献
专利文献1：日本特开2009-265853号公报
发明内容
发明所欲解决的课题
可是，专利文献1的系统只是将用户的影子投影至地面的显示屏，此系统无法带来一种如用户本身进入所述影像空间内般的沉浸感。另外，专利文献1的系统只是将用户影子的影像进行加工，用户的形迹并未残留于所述影像空间内，因此有缺乏临场感的课题。
于是，本发明的主要目的在于，在因应显示屏上的真实物体的位置来使影像变化的显示系统中，提高沉浸感及临场感。
解决课题的技术方案
本发明的发明人对于解决上述课题的技术方案进行深入研究的结果，提出将在虚拟空间内移动的摄相机视点的影像显示于显示屏，并且检测此显示屏上的真实物体(例如人物)的位置，根据所述真实物体的位置，使伴随虚拟摄相机移动的对象出现在影像内。据此，可以提供一种宛如真实物体存在于虚拟摄相机所拍摄的空间内的沉浸感和临场感。然后，本案发明人根据上述见解，想到可以解决以往技术的课题，从而完成本发明。若进行具体说明，本发明具有以下构成、工序。
本发明的第一态样是关于一种影像显示系统。本发明的系统基本上具备绘图装置、显示装置及传感器装置。绘图装置生成来自特定摄相机位置的二维影像。显示装置将绘图装置所生成的影像显示于显示屏上。显示装置例如可以是液晶显示器或有机EL显示器，也可以是将影像光投影至屏幕的投影仪。另外，显示屏可形成于地面或壁面。传感器装置检测显示装置的显示屏上的真实物体的位置。真实物体可以是人物整体、人物的手腕或手指等的一部分、或人以外的物品。然后，绘图装置使摄相机位置移动，并且根据显示屏上的真实物体的位置使对象出现在影像内。摄相机位置(亦即摄相机视点)可以是被控制为在平面的二维虚拟空间内进行二维移动的位置，也可以是被控制为在立体的三维虚拟空间内进行三维或二维移动的位置。另外，对象的例子可以是下述轨迹对象，此外，也可以是出现在虚拟空间内的各种二维或三维的对象。例如，可以从位于显示屏上的人物脚下产生对象(光彩、花纹、生物等各种对象)。
如上述所构成，在二维或三维的影像空间中使虚拟摄相机移动，随着所述虚拟摄相机的移动，根据真实物体的位置在影像空间内显示对象，由此可以提供一种如显示屏上的真实物体在影像空间内移动般的沉浸感。另外，由于是根据真实物体的位置而出现对象，因此可以提供一种宛如所述真实物体在影像空间内产生影响般的临场感。
在本发明中，优选的是，绘图装置在摄相机位置移动时，以显示屏上的真实物体的位置为起点，使在摄相机位置的移动方向上延伸的轨迹对象出现在影像内。由此，变成以真实物体的位置为起点而在影像空间内描绘轨迹对象。轨迹对象成为数码艺术作品，变成例如用户可以参加所述作品的制作。
在本发明的优选实施方式中，绘图装置将世界坐标系(X，Y，Z)所表示的三维空间变换成来自特定摄相机位置(Xc，Yc，Zc)的屏幕坐标系(U，V)，以生成二维影像。显示装置将绘图装置所生成的影像显示于显示屏上。传感器装置检测显示屏上的真实物体的位置。此处，绘图装置使摄相机位置在三维空间内移动，并且将真实物体在显示屏上的位置坐标(UO，VO)变换成三维空间的空间坐标(XO，YO，ZO)。然后，绘图装置根据所述空间坐标在三维空间内生成对象。
如上述所构成，一边移动摄相机位置一边将三维空间内的影像描绘至显示屏上，由此可以提供一种如所述显示屏上的真实物体漂浮在三维空间内般的更高沉浸感。另外，真实物体位于显示屏上时，使所述真实物体的位置坐标反映于三维空间内，以使对象产生在所述空间内，由此可以提供一种宛如该真实物体在三维空间内产生影响般的临场感。由此，可实时生成扣人心弦的影像。
在本发明中，优选的是，绘图装置包含摄相机控制部及对象生成部。摄相机控制部控制摄相机位置的移动。对象生成部在真实物体于三维空间的空间坐标(XO，YO，ZO)变化时，在三维空间内生成将其变化前后的空间坐标连接的轨迹对象。在本发明中，真实物体在三维空间中的空间坐标会因摄相机位置的移动或真实物体的移动而变化，此时，以将变化前后的空间坐标连接的方式生成轨迹对象。由此，成为以真实物体的位置为起点而在三维空间内描绘立体的轨迹对象。三维空间内的轨迹对象成为被称为所谓“空书”的数码艺术作品，变成例如用户可以参加所述作品的制作。
在本发明中，绘图装置的摄相机控制部也可以控制虚拟摄相机以摄相机位置为旋转支点而在三维空间内移动。通过以摄相机位置为旋转支点来使虚拟摄相机移动，屏幕坐标系(U，V)在虚拟空间内大幅移动，因此可以制作动态的“空书”。
在本发明中，绘图装置的摄相机控制部也能以使真实物体在三维空间的空间坐标(XO，YO，ZO)沿着预先设定的轨迹变化的方式，来使摄相机位置移动。预先设定的轨迹是指例如用以描绘文字、图形、符号等的轨迹。由此，可以进行在三维空间内描绘预定文字等的演出。
在本发明中，例如在三维空间内描绘文字时，绘图装置的摄相机控制部只要控制虚拟摄相机以真实物体在三维空间的空间坐标(XO，YO，ZO)为旋转支点而在三维空间内移动即可。如上所述，也能够以摄相机位置为旋转支点来控制虚拟摄相机的移动，但在三维空间内描绘文字等的时候，若将旋转支点设为摄相机位置，就会难以描绘文字等。于是，根据自由描绘轨迹的情况和描绘文字等的情况预先划分模式，后者的模式下，优选以真实物体在三维空间的空间坐标为旋转支点来使虚拟摄相机移动。
在本发明中，例如多个真实物体位于显示屏上时，优选的是，摄相机控制部以使位于最靠近显示屏上特定点的真实物体在三维空间的空间坐标(XO，YO，ZO)沿着预先设定的轨迹变化的方式，来使摄相机位置移动。作为显示屏上的特定点，可以设定屏幕的中心点，也可以设定其他点。显示屏上的真实物体例如为人物时，还要假设所述人物在三维空间内描绘文字等过程的中途从显示屏上消失的情况。于是，在三维空间内描绘文字等时，不以特定人物的位置为起点进行描绘，而以在最靠近显示屏上特定点的人物为起点进行描绘，由此，即使在特定人物从显示屏上离开时，也能描绘预定文字等直到最后。
在本发明中，优选的是，显示装置是在地面显示影像的装置，传感器装置是检测地面上人物的站立位置。如此一来，通过在地面上显示三维空间的影像，并使拍摄影像的摄相机位置移动，能够感受到站立在所述屏幕上的人物如漂浮于三维空间般的感觉。另外，由于是以人物的站立位置为起点而在三维空间内描绘轨迹对象，因此能够使所述人物参加艺术作品的制作。
本发明的第二态样是关于一种影像显示方法。本发明的影像显示方法中，首先，绘图装置从特定摄相机位置生成二维影像。另外，显示装置将影像显示于显示屏上。另外，传感器装置检测显示屏上的真实物体的位置。再者，绘图装置使摄相机位置移动，并且根据显示屏上的真实物体的位置使对象出现所述影像内。
本发明的影像显示方法的优选实施方式中，首先，绘图装置将以世界坐标系(X，Y，Z)所表示的三维空间变换成来自特定摄相机位置的屏幕坐标系(U，V)，以生成二维影像。另外，显示装置将绘图装置所生成的影像显示于显示屏上。另外，传感器装置检测显示屏上的真实物体的位置。再者，绘图装置使摄相机位置在三维空间内移动，并且将真实物体在显示屏上的位置坐标(UO，VO)变换成三维空间的空间坐标(XO，YO，ZO)，以根据该空间坐标在三维空间内生成对象。
本发明的第三态样是关于一种计算机程序。本发明的计算机程序是用以使计算机发挥作为前述第一态样所述的影像显示系统中的绘图装置的功能。
发明效果
根据本发明，在依据显示屏上的真实物体的位置来使影像变化的显示系统中，可以提高沉浸感和临场感。
附图说明
图1为表示影像显示系统的构成的整体图。
图2为表示影像显示系统的功能构成例的方框图。
图3为表示绘图装置中的绘图处理的概要的示意图。
图4表示在三维空间内生成的轨迹对象的例子。
图5表示虚拟摄相机的旋转支点的例子。图6表示主要参与者和次要参与者的概念。
具体实施方式
以下使用附图说明本发明的实施方式。本发明并不限定于以下说明的方式，也包含本领域技术人员在可理解的范围内从以下方式适当变更者。
图1表示本发明的影像显示系统100的整体图。如图1所示，影像显示系统100具备绘图装置10、显示装置20及传感器装置30。绘图装置10是计算机，其用以进行本系统整体的管理控制，并且制作显示于显示装置20的影像。显示装置20是用以依照绘图装置10的控制来显示影像的显示器。在本实施方式中，显示装置20配置于地面，而成为人可登载于其上。传感器装置30是用以检测显示装置20的显示屏上的真实物体(特别是人物)的位置的传感器。在本实施方式中，传感器装置30为光学传感器，在显示屏周围的壁面安装有一台或多台。传感器装置30将红外线等照射至显示屏上，检测显示屏上的真实物体的位置。如图1所示，根据本系统，例如能够以人物的位置为起点，将在预定方向上延伸的轨迹对象显示于显示屏上。以下详细说明本系统的构成。
图1表示影像显示系统100的功能构成例。绘图装置10是以有线或无线连接于显示装置20及传感器装置30，其具有因应传感器装置30所检测出的信息来制作显示于显示装置20的影像的功能。绘图装置10可由一台计算机来实现，也可由多台计算机所构建。绘图装置10为多台计算机时，各计算机只要以有线或无线连接即可，例如可以经由互联网等的网络连接。绘图装置10基本上具有绘图处理部11和存储部12。
绘图处理部11是用以描绘显示于显示装置20的影像的装置，例如是由CPU(Central Processing Unit，中央处理器)或GPU(Graphics Processing Unit，图形处理器)等的处理器所构成。绘图处理部11读取存储于存储部12的应用程序(计算机程序)，依照此应用程序进行预定的绘图处理。另外，绘图处理部11可以将绘图处理的结果及其进展适当写入存储部12或从其中读取。针对构成绘图处理部11的各功能块，其详细内容于以下叙述。
存储部12是用以存储绘图处理部11中的绘图处理等所使用的各种信息的要素。若进行具体说明，存储部12存储有应用程序，该应用程序是使通用的计算机发挥作为本发明的影像显示控制系统100中的绘图装置10的功能。存储部12的存储功能可由例如HDD及SDD等的非挥发性存储器来实现。另外，存储部12也可以具有作为存储器的功能，用以写入或读取绘图处理部11所进行的运算处理的进展等。存储部12的存储器功能可由RAM或DRAM等的挥发性存储器来实现。
显示装置20是用以显示绘图装置10所制作的影像的显示器。作为显示器，可以采用液晶显示器或有机EL显示器等众所周知的装置。如图1所示，构成人可登载程度的大型显示器时，可以将多个显示面板配置成阵列状，也可以应用一片大型的面板。另外，在本发明中，显示装置20并不限定于这种地面显示器，也可以是挂在壁面上的显示器。另外，显示装置20并不限定于显示器型的装置，例如也可以是将影像光投影至设于地面或壁面的屏幕上的投影仪。但是，投影仪的情况下，人物的影子很可能会映入影像的显示屏上，而可能不容易看见绘图装置10所制作的轨迹对象等。因此，本发明中，优选使用显示器型的装置作为显示装置20。
传感器装置30是用以检测已经由显示装置20显示出影像的显示屏上(真实空间)的真实物体(特别是人物)位置的传感器。显示装置20为显示器时，“显示屏”意为所述显示器上的表面。另外，显示装置20为投影仪时，“显示屏”意为影像的投影面(屏幕表面)。传感器装置30可以使用能够检测真实空间中的真实物体位置的众所周知的传感器，例如除了光学式传感器以外，还可以使用感压式传感器、感热式传感器、超音波传感器、静电电容式传感器等。图1所示的例子中，使用光学式传感器作为传感器装置30。将多个光学式传感器预先安装于壁面或顶棚，通过从所述光学式传感器将红外线照射至显示屏上并接收所述反射光，可以确定显示屏上的人物等的位置。另外，预先在显示器上设置透明的感压式传感器，在人登上显示器时确定其感压点，由此也可以确定显示屏上的人物位置。另外，将显示器设置于壁面时，也可以在所述显示器的前表面设置静电电容式触控传感器。如此一来，检测显示屏上的真实物体位置的方法并无特别制限，可适当采用众所周知的方法。
接着，参照图2及图3说明绘图处理部11所进行的影像绘图处理的详细内容。如图2所示，绘图处理部11基本上具有摄相机控制部11a和影像绘图部11b。摄相机控制部11a如图3所示进行控制，使虚拟摄相机的摄相机视点在世界坐标系(X，Y，Z)所表示的三维虚拟空间内移动。影像绘图部11b描绘从此虚拟摄相机的视点捕捉到的三维虚拟空间内的影像。亦即，从虚拟摄相机的视点捕捉到的三维虚拟空间的影像被显示于显示装置20，因此通过使虚拟摄相机的视点移动，显示于显示装置20的影像也会变化。
若进行具体说明，世界坐标系具有正交的X轴、Y轴及Z轴。世界坐标系(X，Y，Z)是确定三维虚拟空间内的坐标点的坐标系。在三维虚拟空间内描绘各种三维对象(例如轨迹对象)，此三维对象的坐标是以世界坐标系来确定。另外，世界坐标系内的虚拟摄相机具有固有的摄相机坐标系(U，V，W)。此外，虚拟摄相机的位置坐标是以世界坐标系来确定。摄相机坐标系(U，V，W)中，从所述虚拟摄相机观看的左右方向为U轴，上下方向为V轴，深度方向为W轴。这些U轴、V轴及W轴呈正交。虚拟摄相机的位置相当于世界坐标系内的摄相机坐标的原点(Xc，Yc，Zc)。另外，虚拟摄相机的朝向相当于世界坐标系内的摄相机坐标的各坐标轴(U轴、V轴、W轴)的方向。摄相机坐标系的坐标可以通过将世界坐标系的坐标进行视野变换(几何学上的转换)而求得。亦即，视野变换中，影像绘图部11b进行坐标变换，该坐标变换是用以获得从世界坐标系内的摄相机位置观看的影像。
另外，由虚拟摄相机所拍摄的屏幕的二维范围为屏幕坐标系(U，V)。屏幕坐标系是定义显示于显示器或投影仪等显示装置20的二维平面的坐标系。屏幕坐标系(U，V)相当于摄相机坐标系的U轴及V轴的坐标。屏幕坐标系(U，V)的坐标可以通过将由虚拟摄相机所拍摄的摄相机坐标系的坐标进行投影变换(透视变换)而求得。亦即，投影变换中，影像绘图部11b进行坐标变换，该坐标变换是用以将世界坐标系所表示的三维对象投影至二维的屏幕坐标系。另外，影像绘图部11b进行视口变换，该视口变换是用以将投影至屏幕坐标系的二维影像显示于显示装置20的显示屏(视口)内。由此，影像绘图部11b能够生成显示于显示装置20的影像。
如此一来，影像绘图部11b能够因应由摄相机控制部11a进行移动控制的虚拟摄相机的位置及朝向，来对三维空间内的坐标点进行视野变换、投影变换及视口变换，由此可描绘显示于显示装置20的显示屏上的二维影像。
另外，如图2所示，绘图装置10的绘图处理部11除了上述摄相机控制部11a及影像绘图部11b以外，还具有位置坐标特定部11b、坐标变换部11d及对象生成部11e。这些各要素11b、11d、11e具有因应显示屏上的真实物体的位置而在三维虚拟空间内生成轨迹对象的功能。
图3(a)中示意性地表示真实物体(用户)位于显示装置20的显示屏上的样态。首先，位置坐标特定部11b根据前述传感器装置30所产生的感应信息，确定显示屏上的真实物体的位置坐标。亦即，传感器装置30会检测出配置有显示装置20的真实空间中的真实物体的位置，因此位置坐标特定部11b能够通过使用此传感器装置30的感应信息来确定显示装置20在显示屏上的位置坐标。真实物体的位置坐标是以屏幕坐标系的坐标点(UO，VO)来表示。例如，图3所示的例子中，2个用户位于显示屏上，各自的位置坐标是以(UO1，VO1)及(UO2，VO2)来表示。
接着，坐标变换部11d进行坐标变换处理，将位置坐标特定部11b所确定的屏幕坐标系中的真实物体的位置坐标(UO，VO)变换成世界坐标系中的空间坐标(XO，YO，ZO)。亦即，如上所述，由于世界坐标系的三维坐标可以通过进行视野变换及投影变换而变换成屏幕坐标系的二维坐标，因此坐标变换部11d只要以与其相反的顺序及运算将屏幕坐标系的二维坐标(真实物体的位置坐标UO，VO)变换成世界坐标系的三维坐标(真实物体空间坐标XO，YO，ZO)即可。本申请案的说明书中将这种坐标逆变换称为“投影逆变换”。图3所示的例子中，2个用户位于显示屏上，各自的屏幕坐标系的位置坐标是以(UO1，VO1)及(UO2，VO2)来表示。因此，坐标变换部11d进行运算处理，对这些位置坐标进行投影逆变换，从各用户的位置坐标求出世界坐标系的空间坐标(XO1，YO1，ZO1)及(XO2，YO2，ZO2)。
如上所述，坐标变换部11d反复进行将真实物体的位置坐标(UO，VO)变换成空间坐标(XO，YO，ZO)的处理，而真实物体的位置坐标(UO，VO)发生变化时，或者三维虚拟空间内的虚拟摄相机的位置坐标(Xc，Yc，Zc)发生变化时，真实物体的空间坐标(XO，YO，ZO)会随之变化。亦即，例如真实空间中用户在显示屏上走动时，三维虚拟空间内的用户的空间坐标(XO，YO，ZO)也会随着该用户的位置坐标(UO，VO)而变化。另外，即使真实空间中用户在显示屏上静止的情况下，三维虚拟空间内虚拟摄相机的位置坐标(Xc，Yc，Zc)发生变化时，三维虚拟空间内的用户的空间坐标(XO，YO，ZO)也会随着该虚拟摄相机的位置坐标而变化。如此一来，坐标变换部11d实时计算随时变化的用户空间坐标，并且随时间经过将所述变化的各空间坐标存储于存储部12。
接着，对象生成部11e根据坐标变换部11d所求出的真实物体(用户)的空间坐标(XO，YO，ZO)，在三维虚拟空间内生成预定的对象。若进行具体说明，如图3(b)所示，优选的是，在真实物体的空间坐标(XO，YO，ZO)随着时间经过而变化时，对象生成部11e是以将其变化前后的空间坐标连接的方式，在三维空间内生成轨迹对象。图3(b)所示的例子中，随着三维虚拟空间内的虚拟摄相机位置的变化，真实物体的空间坐标发生变化，以追踪所述变化轨迹的方式来生成轨迹对象。
此外，对象生成部11e所生成的对象并不限于上述轨迹对象，可以根据真实物体的空间坐标来生成各种用于演出的对象。例如，可以随着虚拟摄相机的移动而在用户脚下显示花纹、草木、动物、光彩、阴影、波纹等，也可以使用户脚下的色彩变化。这种以对象进行的演出，可以视状况而适当设计。
图4表示对象生成部11e所生成的对象的例子。图4(a)表示依据显示屏上的真实物体的位置而在三维虚拟空间内自由地形成轨迹对象时的例子。此情况下，摄相机控制部11a可以控制虚拟摄相机在三维虚拟空间内随机移动。另外，摄相机控制部11a也可以控制虚拟摄相机沿着预先设定的移动路线在次元虚拟空间内移动。即使是已规定虚拟摄相机的移动路线的情况下，由于显示屏上的用户(真实物体)位置为随机，因此会在三维虚拟空间内产生随机形状的轨迹对象。
图4(b)表示通过三维虚拟空间内的轨迹对象来描绘预定文字时的例子。亦即，图4(b)所示的例子中，生成了与“Happy Birthday”的文字对应的轨迹对象。此情况下，摄相机控制部11a控制虚拟摄相机的位置或朝向，使真实物体在三维虚拟空间中的空间坐标追踪预定文字而变化。此外，不仅是通过轨迹对象来描绘文字的情况，也可以描绘预定的数字、符号、角色的轮郭等。完成形成文字等的轨迹对象后，通过以虚拟摄相机从正面侧对其拍摄，而在显示装置20的显示屏上清晰地映现该文字。
图5表示三维虚拟空间中的虚拟摄相机的控制例。如图5(a)所示，摄相机控制部11a可以控制所述虚拟摄相机以虚拟摄相机的视点(Xc，Yc，Zc)为旋转支点而移动。此情况下，只要稍微移动虚拟摄相机，虚拟空间内的显示屏就会大幅变动，因此可以生成动态的轨迹对象。因此，这种虚拟摄相机的控制态样适合于生成如图4(a)所示的自由轨迹对象。
另外，如图5(b)所示，摄相机控制部11a也可以控制所述虚拟摄相机以真实物体在三维空间的空间坐标(XO，YO，ZO)为旋转支点而移动。由于真实物体的空间坐标成为轨迹对象的起点，因此可以更准确地控制轨迹对象的形状。因此，这种虚拟摄相机的控制态样适合于生成如图4(b)所示的文字等预先规定的轨迹对象。
图6表示显示屏上存在多个真实物体时的绘图处理的一例。例如，如图4(b)所示，假设要在三维虚拟空间内生成用以描绘预定文字的轨迹对象，显示屏上存在多个真实物体时，必须决定作为所述文字轨迹起点的显示屏上的真实物体。此情况下，例如只要将显示屏上最靠近中心的一个真实物体(人物)设为主要参与者(MP)，将其以外的真实物体设定为次要参与者(SP)，以使主要参与者在三维空间的空间坐标追踪预定文字的轨迹的方式来控制虚拟摄相机即可。图6(a)中，人物A被设定为主要参与者，其以外的人物B及人物C被设定为次要参与者。另一方面，如图6(b)所示，最初设定为主要参与者的人物A从显示屏上离开，所述显示屏上最靠近中心的人物变成人物B时，只要将主要参与者从人物A切换成人物B即可。另外，如图6(b))所示，显示屏上不存在真实物体时，只要以显示屏上的中心的空间坐标作为基点来生成轨迹对象即可。如此一来，即使是显示屏上存在多个真实物体的情况、真实物体已移动的情况或真实物体从显示屏上离开的情况中任一种，都能生成用以描绘预定文字的轨迹对象直到最后。因此，能够避免轨迹对象未完成即结束的事态。
以上，本申请案的说明书中，为了表达本发明的内容，一边参照附图一边说明本发明的实施方式。但是，本发明并不限定于上述实施方式，也包含本领域技术人员根据本申请案的说明书所记载的事项而可理解的变更方式或改良方式。
此外，本申请案的说明书中，主要是以使虚拟摄相机在三维虚拟空间内三维移动而在所述三维虚拟空间内生成立体轨迹对象的实施方式为中心进行说明。但是，本发明并不限定于该实施方式，例如，也能够使虚拟摄相机在三维虚拟空间中二维移动而生成平面的轨迹对象，或以所述轨迹对象描绘文字。另外，也能够使虚拟摄相机在三维虚拟空间内二维移动而生成平面的轨迹对象。
工业实用性
本发明是关于一种用以制作被称为“空书”的数码艺术作品的影像显示系统及其方法。因此，本发明适合应用于数码艺术产业及演艺产业。
附图标记说明
100 影像显示系统
10 绘图装置
11 绘图处理部
11a 摄相机控制部
11b 影像绘图部
11c 位置坐标特定部
11d 坐标变换部
11e 对象生成部
12 存储部
20 显示装置
30 传感器装置
Claims (11)
1.一种影像显示系统，其特征在于，具备：
绘图装置，其生成来自特定摄相机位置的二维影像；
显示装置，其将所述影像显示于显示屏上；以及
传感器装置，其检测出所述显示屏上的真实物体的位置，
其中，所述绘图装置使所述摄相机位置移动，并且根据所述显示屏上的真实物体的位置使对象出现在所述影像内。
2.根据权利要求1所述的影像显示系统，其特征在于，所述绘图装置是在所述摄相机位置移动时，以所述显示屏上的真实物体的位置为起点，使在所述摄相机位置的移动方向上延伸的轨迹对象出现在所述影像内。
3.根据权利要求1所述的影像显示系统，其特征在于，
所述绘图装置是将世界坐标系(X，Y，Z)所表示的三维空间变换成来自特定摄相机位置的屏幕坐标系(U，V)以生成二维的所述影像的装置；
所述绘图装置进一步使所述摄相机位置在三维空间内移动，并且将所述真实物体在显示屏上的位置坐标(UO，VO)变换成三维空间的空间坐标(XO，YO，ZO)，根据该空间坐标，在三维空间内生成所述对象。
4.根据权利要求3所述的影像显示系统，其特征在于，
所述绘图装置包括：
摄相机控制部，其控制所述摄相机位置的移动；以及
对象生成部，其在所述真实物体在三维空间的空间坐标(XO，YO，ZO)变化时，在三维空间内生成将其变化前后的空间坐标连接的轨迹对象。
5.根据权利要求4所述的影像显示系统，其特征在于，所述摄相机控制部是控制虚拟摄相机以所述摄相机位置为旋转支点而在三维空间内移动。
6.根据权利要求4所述的影像显示系统，其特征在于，所述摄相机控制部是以使所述真实物体在三维空间的空间坐标(XO，YO，ZO)沿着预先设定的轨迹变化的方式，来使所述摄相机位置移动。
7.根据权利要求6所述的影像显示系统，其特征在于，所述摄相机控制部是控制虚拟摄相机以所述真实物体在三维空间的空间坐标(XO，YO，ZO)为旋转支点而在三维空间内移动。
8.根据权利要求6所述的影像显示系统，其特征在于，多个真实物体位于所述显示屏上时，所述摄相机控制部是以使位于最靠近所述显示屏上特定点的真实物体在三维空间的空间坐标(XO，YO，ZO)沿着预先设定的轨迹变化的方式，来使所述摄相机位置移动。
9.根据权利要求1至8中任一项所述的影像显示系统，其特征在于，
所述显示装置是在地面显示影像的装置，
所述传感器装置检测出所述地面上的人物的站立位置。
10.一种影像显示方法，其特征在于，包括：
绘图装置从特定摄相机位置生成二维影像的工序；
显示装置将所述影像显示于显示屏上的工序；
传感器装置检测出所述显示屏上的真实物体的位置的工序；以及
所述绘图装置使所述摄相机位置移动，并且根据所述显示屏上的真实物体的位置使对象出现在所述影像内的工序。
11.一种计算机程序，其特征在于，用以使计算机发挥作为根据权利要求1所述的影像显示系统中的所述绘图装置的功能。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018115602A JP7174397B2 (ja) | 2018-06-18 | 2018-06-18 | 映像表示システム，映像表示方法，及びコンピュータプログラム |
| JP2018-115602 | 2018-06-18 | ||
| PCT/JP2019/007477 WO2019244409A1 (ja) | 2018-06-18 | 2019-02-27 | 映像表示システム，映像表示方法，及びコンピュータプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112292656A true CN112292656A (zh) | 2021-01-29 |
| CN112292656B CN112292656B (zh) | 2024-02-20 |
Family
ID=68983649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980040648.2A Active CN112292656B (zh) | 2018-06-18 | 2019-02-27 | 影像显示系统、影像显示方法及记录计算机程序的计算机能读取的记录介质 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11720166B2 (zh) |
| EP (1) | EP3809242A4 (zh) |
| JP (1) | JP7174397B2 (zh) |
| CN (1) | CN112292656B (zh) |
| SG (1) | SG11202012676UA (zh) |
| WO (1) | WO2019244409A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7414707B2 (ja) | 2020-12-18 | 2024-01-16 | トヨタ自動車株式会社 | 画像表示システム |
| JP7452917B2 (ja) | 2021-03-10 | 2024-03-19 | 株式会社ネクステッジテクノロジー | 操作入力装置、操作入力方法及びプログラム |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0583060A2 (en) * | 1992-07-24 | 1994-02-16 | The Walt Disney Company | Method and system for creating an illusion of three-dimensionality |
| JP2000232660A (ja) * | 1999-02-10 | 2000-08-22 | Nippon Telegr & Teleph Corp <Ntt> | ３次元協調仮想空間における映像表示方法及びそのプログラムを記録した記録媒体 |
| JP2009265853A (ja) * | 2008-04-23 | 2009-11-12 | Sony Corp | アミューズメントシステム、データ処理方法及びプログラム |
| JP2011130966A (ja) * | 2009-12-25 | 2011-07-07 | Copcom Co Ltd | ゲーム装置、ゲームプログラム、およびゲームプログラムを記録した記録媒体 |
| CN103049233A (zh) * | 2011-10-13 | 2013-04-17 | 精工爱普生株式会社 | 显示装置、显示装置的控制方法以及程序 |
| CN103282859A (zh) * | 2010-12-27 | 2013-09-04 | 索尼电脑娱乐公司 | 手势操作输入处理装置及手势操作输入处理方法 |
| CN103946668A (zh) * | 2012-08-30 | 2014-07-23 | 松下电器产业株式会社 | 指示棒检测装置以及指示棒检测方法 |
| JP2016038621A (ja) * | 2014-08-05 | 2016-03-22 | アルパイン株式会社 | 空間入力システム |
| CN106664399A (zh) * | 2014-05-15 | 2017-05-10 | 提姆拉博株式会社 | 3维显示器及数据产生方法 |
| JP2017187882A (ja) * | 2016-04-04 | 2017-10-12 | セイコーエプソン株式会社 | 画像処理に用いられるコンピュータープログラム |
| CN107850968A (zh) * | 2015-07-29 | 2018-03-27 | 麦克赛尔株式会社 | 影像显示系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4764305B2 (ja) * | 2006-10-02 | 2011-08-31 | 株式会社東芝 | 立体画像生成装置、方法およびプログラム |
| JP6276882B1 (ja) * | 2017-05-19 | 2018-02-07 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
| JP6419278B1 (ja) * | 2017-09-19 | 2018-11-07 | キヤノン株式会社 | 制御装置、制御方法、及びプログラム |
-
2018
- 2018-06-18 JP JP2018115602A patent/JP7174397B2/ja active Active
-
2019
- 2019-02-27 WO PCT/JP2019/007477 patent/WO2019244409A1/ja unknown
- 2019-02-27 US US17/253,615 patent/US11720166B2/en active Active
- 2019-02-27 CN CN201980040648.2A patent/CN112292656B/zh active Active
- 2019-02-27 SG SG11202012676UA patent/SG11202012676UA/en unknown
- 2019-02-27 EP EP19822530.2A patent/EP3809242A4/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0583060A2 (en) * | 1992-07-24 | 1994-02-16 | The Walt Disney Company | Method and system for creating an illusion of three-dimensionality |
| JP2000232660A (ja) * | 1999-02-10 | 2000-08-22 | Nippon Telegr & Teleph Corp <Ntt> | ３次元協調仮想空間における映像表示方法及びそのプログラムを記録した記録媒体 |
| JP2009265853A (ja) * | 2008-04-23 | 2009-11-12 | Sony Corp | アミューズメントシステム、データ処理方法及びプログラム |
| JP2011130966A (ja) * | 2009-12-25 | 2011-07-07 | Copcom Co Ltd | ゲーム装置、ゲームプログラム、およびゲームプログラムを記録した記録媒体 |
| CN103282859A (zh) * | 2010-12-27 | 2013-09-04 | 索尼电脑娱乐公司 | 手势操作输入处理装置及手势操作输入处理方法 |
| CN103049233A (zh) * | 2011-10-13 | 2013-04-17 | 精工爱普生株式会社 | 显示装置、显示装置的控制方法以及程序 |
| CN103946668A (zh) * | 2012-08-30 | 2014-07-23 | 松下电器产业株式会社 | 指示棒检测装置以及指示棒检测方法 |
| CN106664399A (zh) * | 2014-05-15 | 2017-05-10 | 提姆拉博株式会社 | 3维显示器及数据产生方法 |
| JP2016038621A (ja) * | 2014-08-05 | 2016-03-22 | アルパイン株式会社 | 空間入力システム |
| CN107850968A (zh) * | 2015-07-29 | 2018-03-27 | 麦克赛尔株式会社 | 影像显示系统 |
| JP2017187882A (ja) * | 2016-04-04 | 2017-10-12 | セイコーエプソン株式会社 | 画像処理に用いられるコンピュータープログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US11720166B2 (en) | 2023-08-08 |
| EP3809242A1 (en) | 2021-04-21 |
| SG11202012676UA (en) | 2021-02-25 |
| US20210263583A1 (en) | 2021-08-26 |
| CN112292656B (zh) | 2024-02-20 |
| JP7174397B2 (ja) | 2022-11-17 |
| EP3809242A4 (en) | 2022-03-09 |
| JP2019219820A (ja) | 2019-12-26 |
| WO2019244409A1 (ja) | 2019-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2019149202A5 (zh) | ||
| JP2022540315A (ja) | 人工現実環境において周辺デバイスを使用する仮想ユーザインターフェース | |
| CN106663334B (zh) | 通过计算装置执行的方法、移动通信装置和存储介质 | |
| JP4851504B2 (ja) | デジタル・イメージ・キャプチャを用いて対話型エンタテインメントのためにアセットを生成する方法 | |
| US10204404B2 (en) | Image processing device and image processing method | |
| JP5496032B2 (ja) | 触感呈示装置及び触感呈示装置の制御方法 | |
| WO2009127701A1 (en) | Interactive virtual reality image generating system | |
| CN105074617A (zh) | 三维用户界面装置和三维操作处理方法 | |
| CN110956695B (zh) | 信息处理装置、信息处理方法和存储介质 | |
| JP2017191576A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
| TWI758869B (zh) | 互動對象的驅動方法、裝置、設備以及電腦可讀儲存介質 | |
| JP2007047294A (ja) | 立体画像表示装置 | |
| JP2020173529A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP2020068513A5 (ja) | 画像処理装置およびその制御方法、プログラム | |
| CN111373347A (zh) | 虚拟现实内容的提供 | |
| CN112292656B (zh) | 影像显示系统、影像显示方法及记录计算机程序的计算机能读取的记录介质 | |
| JP7378232B2 (ja) | 画像処理装置およびその制御方法 | |
| CN109407824A (zh) | 人体模型的同步运动方法与装置 | |
| JP2017059041A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2018132319A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
| CN113228117A (zh) | 创作装置、创作方法和创作程序 | |
| JP6632298B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP7473012B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP7445348B1 (ja) | 情報処理装置、方法、プログラム、およびシステム | |
| CN117940963A (zh) | 显示装置、显示装置的控制方法以及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40037493 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |