CN109196406A - 利用混合现实的虚拟现实系统及其实施方法 - Google Patents

利用混合现实的虚拟现实系统及其实施方法 Download PDF

Info

Publication number
CN109196406A
CN109196406A CN201780032462.3A CN201780032462A CN109196406A CN 109196406 A CN109196406 A CN 109196406A CN 201780032462 A CN201780032462 A CN 201780032462A CN 109196406 A CN109196406 A CN 109196406A
Authority
CN
China
Prior art keywords
user
virtual reality
mixed reality
head
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780032462.3A
Other languages
English (en)
Other versions
CN109196406B (zh
Inventor
尹炳珠
李相勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Cooperation Foundation of KNU
Original Assignee
Industry Academic Cooperation Foundation of KNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Cooperation Foundation of KNU filed Critical Industry Academic Cooperation Foundation of KNU
Publication of CN109196406A publication Critical patent/CN109196406A/zh
Application granted granted Critical
Publication of CN109196406B publication Critical patent/CN109196406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Abstract

根据本发明的利用混合现实的虚拟现实系统，其特征在于，包括：色度键环境展台，在对应于用户视野范围的空间形成色度键屏；深度摄像机部，设置在所述色度键环境展台的上面，并且拍摄用户生成深度图像信息；HMD装置，佩戴在所述用户头部，在对应于用户双眼的位置设置有进行拍摄的立体摄像机，在所述立体摄像机的上端设置有头部追踪标记，并且输出影像的HMD输出构成在对应于用户双眼的面；混合现实处理装置，接收所述深度图像信息，检测位于所述HMD装置的头部追踪标记，从而检测实际环境中的用户头部的位置以及旋转值，之后适用于用于虚拟现实的虚拟现实渲染摄像机，所述渲染摄像机对应于所述位置以及旋转值生成向所述HMD装置输出的输出影像信息，在所述输出影像信息重叠由所述立体摄像机拍摄的对用户身体的影像信息。

Description

利用混合现实的虚拟现实系统及其实施方法
技术领域
本发明涉及虚拟现实实施技术，更详细地说涉及一种利用混合现实的虚拟现实系统及其实施方法，识别用户的身体代入到虚拟现实，并且提供对应于用户头部动作的三维环境，此时跟踪用户的头部，使虚拟现实内摄像机的位置与用户的视野角相一致，进而可将现实感最大化。
背景技术
虚拟现实(Virtual reality)统称用户-电脑之间的人机界面等，是指通过计算机将某一特定环境或情境创建为具有立体感的3D内容，就像使用该3D内容的用户与实际周边情境、环境相互作用一样。
通常，人所感知的立体感是通过观察物体位置导致晶状体厚度发生变化的程度、双眼和物体之间的角度差异、通过左右眼看到的物体的位置和形状的差异、通过物体运动产生的视差、此外还有各种心理和记忆效应等综合作用产生的。
其中，人感受立体感的最重要因素是双目视差(binocular disparity)，因为一个人的两只眼睛在水平方向上相距约6.5cm，从而出现该双目视差。即，双目视差导致对物体具有角度差异来看物体，因该差异进入每只眼睛的图像具有不同的相位，当这两个影像通过视网膜传输到大脑时，大脑将这两个信息准确地相互融合在一起，从而能够感受到原本的3D立体影像。
这些具有立体感的3D内容已经广泛用于各种媒体领域并且已广消费者好评。代表性地有3D电影、3D游戏和体验显示。
如上所述，随着虚拟现实技术3D内容的普及，正在多方面要求能够提供更加身临其境的虚拟现实服务的技术。
发明内容
(要解决的问题)
本发明的目的在于提供如下的利用混合现实的虚拟现实系统及其实施方法：识别用户的身体代入到虚拟现实，并且提供对应于用户头部动作的三维环境，此时跟踪用户的头部，使虚拟现实内摄像机的位置与用户的视野角一致，进而可将现实感最大化。
另外，本发明的另一目的在于提供如下的利用混合现实的虚拟现实系统及其实施方法：在使用户输入的相互作用物体位于虚拟现实内时，灵活利用在混合现实与虚拟现实内显示相同的位置的基准点，进而可将现实感最大化。
(解决问题的手段)
用于达成上述目的的本发明的利用混合现实的虚拟显示系统包括；色度键环境展台，在对应于用户视野范围的空间形成色度键屏；深度摄像机部，设置在所述色度键环境展台的上面，并且拍摄用户生成深度图像信息；HMD装置，佩戴在所述用户头部，在对应于用户双眼的位置设置有进行拍摄的立体摄像机，在所述立体摄像机的上端设置有头部追踪标记，并且输出影像的HMD输出部构成在对应于用户双眼的面；混合现实处理装置，接收所述深度图像信息，检测位于所述HMD装置的头部追踪标记，从而检测实际环境中的用户头部的位置以及旋转值，之后适用于用于虚拟现实的虚拟现实渲染摄像机，所述渲染摄像机对应于所述位置以及旋转值生成向所述HMD装置输出的输出影像信息，在所述输出影像信息重叠由所述立体摄像机拍摄的对用户身体的影像信息。
(发明的效果)
上述的本发明具有如下的效果：识别用户的身体来代入于虚拟现实，并且提供对应于用户头部动作的三维环境，此时跟踪用户的头部，使虚拟现实内摄像机的位置与用户的视野角一致，进而可将现实感最大化。
另外，本发明具有如下的效果：在使用户输入的相互作用物体位于虚拟现实内时，灵活利用在混合现实与虚拟现实内显示相同的位置的基准点，进而可将现实感最大化。
附图说明
图1是本发明实施例的利用混合现实的虚拟现实系统的物理性结构图；
图2是图1的虚拟现实系统的抽象结构图；
图3以及图4是概略性示出图1的混合现实展台的结构的图面；
图5是概略性示出本发明的混合现实实施过程的图面；
图6是示出本发明的摄像机位置以及旋转值检测过程的图面；
图7是示例摄像机的旋转值校正过程的图面；
图8是概略性示出本发明的混合现实实施过程的图面；
图9是示出本发明的虚拟现实中的相互作用对象的输入以及显示过程的图面；
图10以及图11是示例根据本发明的相互作用对象的实施过程的图面。(附图标记说明)
100：色度键环境展台 102：深度摄像机部
104：混合现实处理装置 106：HMD装置
具体实施方法
通过与附图一同详细后述的实施例说明本发明的优点、特征以及达成方法。但是，本发明不限于在此说明的实施例，而是也可具体化成其他形态。但是，本实施例只是为了使在本发明所属技术领域具有通常知识的技术人员能够容易实施本发明的技术思想而提供的。
在附图中，本发明的实施例不限于示出的形态，而是为了明确性而夸张示出的。另外，在说明书全文中由相同的附图标记表示的部分显示相同的构成元素。
另外，在单数型句子中只要未特别说明则也包括复数型。另外，在说明书中使用的“包括”或者“包括的”涉及的构成要素、步骤、动作以及元件意味着一个以上的其他构成要素、步骤、动作以及元件以及装置的存在或者增加。
本发明是识别用户身体代入到虚拟现实并提供对应于用户头部动作的三维环境，进而提供投入度高的利用混合现实的虚拟现实服务。
尤其是，本发明追踪用户的头部，使虚拟现实内摄像机的位置与用户的视野角一致，进而提供将现实感最大化的虚拟现实服务。
另外，本发明在使用户输入的相互作用物体位于虚拟现实内时，灵活利用在混合现实与虚拟现实内显示相同的位置的基准点，进而能够满足各种用户的要求。例如，可执行用户在混合现实中触摸输入的相互作用物体等的动作。
以下参照附图详细说明这种本发明的优选实施例。
图1是本发明优选实施例的利用混合现实的虚拟现实系统的块构成图；图2是所述虚拟现实系统的抽象结构图；图3以及图4是示出色度键环境展台的侧面图及上面图的图面。
参照所述图1至图4，所述虚拟现实系统包括：色度键环境展台100、深度摄像机部102、混合现实处理装置104、立体摄像机以及头部追踪标记粘附型HMD(Head MountedDisplay，头盔显示器)装置106。
所述色度键环境展台100由一侧开放的直角六面体的盒子形状构成，并且开放其一侧面。用户通过所述色度键环境展台100的开放的一侧面进入到所述色度键环境展台100的中央。尤其是，在所述色度键环境展台100的内部面形成色度键屏，如图4所示在通过用户左右旋转头部而形成视野的情况下，为处理色度键，可对能够具有180度以上，即180+的摄像机视野角的空间形成色度键屏。然后，在所述色度键环境展台100的上面设置深度摄像机部102，而对于所述色度键环境展台100的高度，具有在用户伸手时所述用户的手能够被深度摄像机部102拍摄到的程度的高度。在此，在本发明的优选实施例中，只举例说明由直角六面体构成色度键环境展台100，但是色度键环境展台100也可通过本发明由圆筒形等各种形状制造而成，并且这对技术人员是显而易见的。另外，色度键屏是形成蓝屏区域(BlueScreen Zone)的屏幕，而色度键(chroma-key)是指将人或者物体放在浅蓝色屏幕前，用彩色摄像机拍摄图像，将该被拍摄对象来插入于完全不同的画面中的方法。对于插入一致的被拍摄体使用蓝色系的颜色并不是很理想，但是相反地若故意使用蓝色系的颜色，则可制造出特殊效果。该技术过程全部由电子电路执行，因此只通过开关操作可瞬间合成，在这一点上适合混合现实的实施。
据此，在本发明的实施例中适用的色度键屏是用蓝色均匀地涂刷于所有的壁面以及天花板、地面形成的，并且确保人或者物体可在该空间内采取动作程度的空间。另外，在所述色度键屏周边也可设置照明系统，形成照明光，以使颜色能够均匀地进入摄像机。
然后，深度摄像机部102作为动作识别摄像机，设置在所述色度键环境展台100的上面，进而设置在能够拍摄所述用户身体与设置在与所述HMD装置106的头部追踪标记的位置。这种深度摄像机102可采用体感装置，相当于无需另外的控制器而是感应人的身体与语音直接反映于画面的新概念动作识别摄像机。在本发明的实施例中，通过所述深度摄像机部102三维识别佩戴所述HMD装置106的用户的身体以及头部追踪标记来进行图像化，从而提供可与虚拟现实内的世界坐标系匹配的坐标数据。
所述HMD装置106作为佩戴在用户头部的显示装置，佩戴在用户头部，在接近用户双眼的位置显示混合实际环境以及虚拟现实的混合现实。这种HMD装置106由立体(STEREOSCOPIC)摄像机与分别位于该立体摄像机上侧的两个头部追踪标记、方向传感器、HMD输出装置构成。如图3所示，所述头部追踪标记是位于用户双眼之间的条状，指示用户头部的动作，该头部追踪标记被深度摄像机部102拍摄并向所述混合现实处理装置104提供。所述立体摄像机对应于用户的双眼，可将用户双眼分别获取的前面影像信息，例如拍摄如用户的手等的用户的肉体向所述混合现实处理装置104提供。所述方向传感器位于用户双眼之间，感应用户头部的方向，向所述混合现实处理装置104提供该感应信息。所述HMD输出装置显示由所述混合现实处理装置104提供的输出影像数据来提供于用户双眼。
所述混合现实处理装置104作为诸如电脑等的数据处理装置，利用由深度摄像机部102提供的深度图像信息、由HMD装置106的立体摄像机提供的立体拍摄信息与方向感应信息、用于虚拟现实的内容信息，生成可实施混合现实的输出影像数据，并通过所述HMD装置106的HMD输出装置输出。尤其是，所述混合现实处理装置104根据本发明从深度摄像机部102提供的深度图像信息检测头部追踪标记，从而检测指示用户视线的立体摄像机的位置以及旋转值，根据所述方向感应信息校正所述旋转值，之后将所述立体摄像机的位置以及旋转值信息适用于用于虚拟现实的内容信息中的虚拟现实渲染摄像机，同时重叠由立体摄像机提供的立体拍摄信息，生成用于混合现实的输出影像数据。在此，将所述立体摄像机的位置以及旋转值信息适用于渲染摄像机的意思如下：在实际环境中立体摄像机起到在实际环境下的用户的眼睛的作用，而渲染摄像机起到在虚拟现实中的用户眼睛的作用，因此调整渲染摄像机，以使两个摄像机位于相同的位置看向同一处。
在上述的混合现实处理装置104包括：在内容信息中改变摄像机位置以及旋转值的虚拟现实程序；通过虚拟现实以及混合现实API的混合现实支持API部；利用深度图像信息以用于混合现实的混合现实处理部。
根据这种本发明的优选实施例的利用混合现实的虚拟现实系统的动作分为摄像机位置以及旋转值检测过程与虚拟现实中的相互作用对象的输入以及显示过程进行说明。
(摄像机位置以及旋转值检测过程)
参照图5至图8，说明根据本发明的利用混合现实的虚拟现实系统的动作中的摄像机以及旋转值检测过程。
本发明通过附着于HMD装置106的立体摄像机拍摄用户的身体，利用色度键技术分离背景与用户身体，将所述分离的用户身体重叠在虚拟现实环境显示，从而实施混合现实。据此，带来就像用户存在于虚拟现实中的效果，在与虚拟现实中的对象相互作用时能够直接看到用户的身体位置，因此能够更加自然地投入于虚拟现实。
图5是示出根据本发明的混合现实实施过程的概念图，本发明是掌握用户的头部位置以及旋转值、方向来适用于虚拟现实的虚拟现实渲染(RENDERING)摄像机来实施混合现实。如此适用时，以与提前设定的基准点(A,B)的相对位置以及方向为基准进行设定。尤其是，所述基准点A固定在实际环境，而所述基准点B可通过在虚拟现实中虚拟用户的移动而移动，两个基准点指示在虚拟现实与现实中相同的位置。
参照图6，说明上述的根据本发明的通过追踪头部的摄像机位置以及旋转值检测过程。
深度摄像机102设置在色度键环境展台100的上面，以向下看用户的方向拍摄图像来生成深度图像信息，之后向混合现实处理装置104提供该深度图像信息(步骤200)。
所述HMD装置106通过方向传感器感应用户头部的方向，向所述混合现实处理装置104提供所述感应到的方向感应信息(步骤202)。
所述混合现实处理装置104从所述深度图像信息检测头部追踪标记，从该检测到的头部追踪标记检测立体摄像机的位置以及旋转值(步骤204、206)。
然后，所述混合现实处理装置104根据来自所述HMD装置106的方向感应信息校正所述立体摄像机的旋转值(步骤208)。图7示出该旋转值的校正过程。
若校正所述旋转值，则所述混合现实处理装置104转换为对固定在虚拟现实的基准点的摄像机位置以及旋转值，之后向虚拟现实程序提供转换的摄像机位置以及旋转值信息(步骤212)。所述虚拟现实程序根据所述摄像机位置以及旋转值信息改变内容中的输出影像信息，并将对应于用户动作的虚拟现实提供给用户。
图7是示出从深度图像信息提取摄像机位置以及旋转值的过程。图7的(a)示出深度图像信息；从该深度图像信息分离对象的是图7的(b)；在分离的对象中检测属于与提前设定的大小以及模样类似的范围内的对象从而检测头部追踪标记的示例的是图7的(c)。然后，图7的(d)是由方向传感器的方向感应值指示的方向矢量；图7的(e)是利用两个标记的位置生成方向矢量与中心点的过程；图7的(f)示出变成对基准点的相对坐标系的过程。
图8示例混合现实输出过程，在根据本发明的混合现实输出时，使用在实际环境与虚拟现实中相同的基准点，以该基准点为基准调整摄像机位置、方向、FOV(field ofview)，以使摄像机位置、方向、视野FOV(field of view)相同，并提取利用立体摄像机接收的色度键拍摄影像中的用户的身体部分，在虚拟现实的影像信息进行重叠，生成并输出最终的输出影像信息。
(虚拟现实中的相互作用对象的输入以及显示过程)
参照图9至图11，说明根据本发明的在虚拟现实中的相互作用对象的输入以及显示过程。
本发明在虚拟现实中在用户范围内出现待相互作用的物体的情况下，将对待相互作用的物体的三维位置、大小信息作为对基准点的相对坐标传达于混合现实系统，且混合现实系统对照物体的信息以及从深度摄像机接收的深度图像信息，执行确认是否产生相互作用。之后，若产生相互作用，则传达于虚拟现实程序。
图9是示出本发明的优选实施例的用户输入处理过程。
若请求输入相互作用对象(步骤300)，则所述混合现实处理装置104接收对待相互作用的物体的三维位置以及大小信息来保存于储存装置等(步骤302)，所述位置是作为在虚拟现实与实际环境中一致的基准点的相对坐标被输入。
若请求删除提前保存的相互作用对象(步骤304)，则所述混合现实处理装置104在储存装置等删除所述请求删除的相互作用对象(步骤306)。
另外，若接收深度图像信息，则所述混合现实处理装置104以深度图像信息为基础检测用户身体的同时从储存装置等分别读取相互作用对象，将对象插入于输出影像信息以在相应的位置标记相互作用对象(步骤402)。
然后，所述混合现实处理装置104检查在相互作用对象的显示位置中是否存在重叠于记录于深度图像信息的身体部位的位置(步骤404)。检查在所述相互作用对象的标记位置中是否存在与通过深度图像信息检测到的用户的身体部位的位置(步骤404)。将重叠于所述身体部位的相互作用对象的信息发送于虚拟现实程序，从而可提供通过该相互作用对象与身体接触带来的变形等的反应(步骤406)。
图10是根据本发明示例了通过虚拟现实显示的相互作用对象与实际环境中的用户相互结合从而在混合现实中用户触摸相互作用对象的图面，在实际环境与虚拟现实中使用相同的基准点，能够对用户提供更加逼真的虚拟现实。
图11是根据本发明示例了检测对象与用户的身体相互重叠的过程，通过深度图像信息检测对存在对象的区域的用户身体的位置以及高度信息，若在对应于该位置以及高度的区域存在对象，则判断对象与用户的身体重叠。
在以上的说明中本发明示出并说明特定的实施例，但是在未超出由权利要求范围表达的发明的思想以及领域的限度内可进行各种改造以及改变，并且这对于该技术领域的任何技术人员都可以容易知道。

Claims (10)

1.一种利用混合现实的虚拟现实系统，其特征在于，包括：
色度键环境展台，在对应于用户视野范围的空间形成色度键屏；
深度摄像机部，设置在所述色度键环境展台的上面，并且拍摄用户生成深度图像信息；
HMD装置，佩戴在所述用户头部，在对应于用户双眼的位置设置有进行拍摄的立体摄像机，在所述立体摄像机的上端设置有头部追踪标记，并且输出影像的HMD输出部构成在对应于用户双眼的面；
混合现实处理装置，接收所述深度图像信息，检测位于所述HMD装置的头部追踪标记，从而检测实际环境中的用户头部的位置以及旋转值，之后适用于用于虚拟现实的虚拟现实渲染摄像机，所述渲染摄像机对应于所述位置以及旋转值生成向所述HMD装置输出的输出影像信息，在所述输出影像信息重叠由所述立体摄像机拍摄的对用户身体的影像信息。
2.根据权利要求1所述的利用混合现实的虚拟现实系统，其特征在于，
对应于所述视野范围的空间是在提前设定的角度加上所述立体摄像机的拍摄角度。
3.根据权利要求1所述的利用混合现实的虚拟现实系统，其特征在于，
在所述HMD装置还具有用于检测对应于用户视野方向的方向传感器；
所述混合现实处理装置根据所述方向传感器检测到的方向感应值校正所述旋转值。
4.根据权利要求1所述的利用混合现实的虚拟现实系统，其特征在于，
所述混合现实处理装置使在所述色度键环境展台标记的实际环境中的基准点与用于所述虚拟现实的输出影像信息中的基准点一致。
5.根据权利要求1所述的利用混合现实的虚拟现实系统，其特征在于，
所述混合现实处理装置，
接收并注册对相互作用对象的位置以及大小信息；
检测由所述深度摄像机检测的用户身体是否与对应于所述相互作用对象的位置以及大小的区域重叠；
若所述身体与所述相互作用对象重叠，则将该指示信息添加于所述输出影像信息。
6.一种利用混合现实的虚拟现实实施方法，其特征在于，包括如下的步骤：
在对应于用户视野范围的空间由深度摄像机拍摄用户来生成深度图像信息，所述深度摄像机设置在形成有色度键屏的色度键环境展台的上面；
佩戴于所述用户头部的HMD装置接近用户的双眼，输出来自外部的输出影像信息；
在所述HMD装置中设置在对应于用户双眼的位置的立体摄像机拍摄用户的前面；以及
混合现实处理装置接收所述深度图像信息，检测位于所述HMD装置的头部追踪标记，从而检测实际环境中的用户头部的位置以及旋转值，之后适用于用于虚拟现实的虚拟现实渲染摄像机，所述渲染摄像机对应于所述位置以及旋转值生成向所述HMD装置输出的输出影像信息，在所述输出影像信息重叠由所述立体摄像机拍摄的对用户身体的影像信息；
其中，在所述立体摄像机的上端形成头部追踪标记。
7.根据权利要求6所述的利用混合现实的虚拟现实实施方法，其特征在于，
对应于所述视野范围的空间是在提前设定的角度加上所述立体摄像机的拍摄角度。
8.根据权利要求6所述的利用混合现实的虚拟现实实施方法，其特征在于，
在所述HMD装置还具有用于检测对应于用户视野方向的方向传感器；
所述混合现实处理装置根据所述方向传感器检测到的方向感应值校正所述旋转值。
9.根据权利要求6所述的利用混合现实的虚拟现实实施方法，其特征在于，
所述混合现实处理装置使在所述色度键环境展台标记的实际环境中的基准点与用于所述虚拟现实的输出影像信息中的基准点一致。
10.根据权利要求6所述的利用混合现实的虚拟现实实施方法，其特征在于，
所述混合现实处理装置，
接收并注册对相互作用对象的位置以及大小信息；
检测由所述深度摄像机检测的用户身体是否与对应于所述相互作用对象的位置以及大小的区域重叠；
若所述身体与所述相互作用对象重叠，则将该指示信息添加于所述输出影像信息。
CN201780032462.3A 2016-05-26 2017-05-25 利用混合现实的虚拟现实系统及其实施方法 Active CN109196406B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160064970A KR101822471B1 (ko) 2016-05-26 2016-05-26 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
KR10-2016-0064970 2016-05-26
PCT/KR2017/005477 WO2017204581A1 (ko) 2016-05-26 2017-05-25 혼합현실을 이용한 가상현실 시스템 및 그 구현방법

Publications (2)

Publication Number Publication Date
CN109196406A true CN109196406A (zh) 2019-01-11
CN109196406B CN109196406B (zh) 2021-06-04

Family

ID=60411346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780032462.3A Active CN109196406B (zh) 2016-05-26 2017-05-25 利用混合现实的虚拟现实系统及其实施方法

Country Status (4)

Country Link
US (1) US10587868B2 (zh)
KR (1) KR101822471B1 (zh)
CN (1) CN109196406B (zh)
WO (1) WO2017204581A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111611575A (zh) * 2016-10-13 2020-09-01 创新先进技术有限公司 基于虚拟现实场景的业务实现方法及装置
US10474006B2 (en) * 2017-04-20 2019-11-12 Lifetouch Inc. Outdoor photography system
US10803674B2 (en) 2017-11-03 2020-10-13 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
US11182973B2 (en) 2018-01-24 2021-11-23 Hewlett-Packard Development Company, L.P. Augmented reality display
US10748440B1 (en) 2018-10-03 2020-08-18 Lockheed Martin Corporation Projectorless simulator with adjustable size canopy
CN113196139B (zh) 2018-12-20 2023-08-11 美国斯耐普公司 用于生成立体图像的具有双摄像头的柔性眼戴设备
US10965931B1 (en) * 2019-12-06 2021-03-30 Snap Inc. Sensor misalignment compensation
KR102489290B1 (ko) * 2020-11-20 2023-01-17 부산대학교 산학협력단 영상처리와 위치추적 기술을 활용한 작업장 내 위험지역 접근 감지 및 알림 시스템 및 방법
KR102442715B1 (ko) * 2020-12-02 2022-09-14 한국전자기술연구원 분할 렌더링 영상 기반의 증강현실 영상을 재생하는 장치 및 방법
KR102344817B1 (ko) * 2021-04-28 2021-12-30 주식회사 차후 두개 이상의 마커를 이용하는 증강현실 방위 보정 방법 및 이를 구현하기 위한 프로그램이 저장된 기록매체, 이를 실행하는 전자 디바이스

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060127251A (ko) * 2004-03-26 2006-12-11 아츠시 타카하시 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템 및 삼차원 실체 디지털 확대경 시스템을 위한 삼차원 시각 지시 방법
KR20130099317A (ko) * 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
JP2013218535A (ja) * 2012-04-09 2013-10-24 Crescent Inc 三次元モデリングされたｃｇ画像内にｃｇ画像化された手指を表示する方法及び装置、並びに三次元モデリングされたｃｇ画像を表示する広視野角ヘッドマウントディスプレイ装置
KR20140001167A (ko) * 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
CN104484523A (zh) * 2014-12-12 2015-04-01 西安交通大学 一种增强现实诱导维修系统的实现设备与方法
WO2015136250A1 (en) * 2014-03-10 2015-09-17 Bae Systems Plc Interactive information display
CN105144030A (zh) * 2013-02-27 2015-12-09 微软技术许可有限责任公司 混合现实增强
KR20160000986A (ko) * 2014-06-25 2016-01-06 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN105611267A (zh) * 2014-11-21 2016-05-25 罗克韦尔柯林斯公司 现实世界和虚拟世界图像基于深度和色度信息的合并

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8040361B2 (en) * 2005-04-11 2011-10-18 Systems Technology, Inc. Systems and methods for combining virtual and real-time physical environments
US9390698B2 (en) * 2006-04-05 2016-07-12 Lawrence G. Ryckman Audio remastering system
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
EP3138082A1 (en) * 2014-04-30 2017-03-08 Cubic Corporation Adaptive gate walkway floor display
US9754552B2 (en) * 2014-06-17 2017-09-05 Amazon Technologies, Inc. Architectures for processing of head tracking on a mobile device
US20180151000A1 (en) * 2016-11-27 2018-05-31 Cix Liv Deployable mixed and virtual reality environment system and method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060127251A (ko) * 2004-03-26 2006-12-11 아츠시 타카하시 삼차원 시각 지시 기능을 갖춘 삼차원 실체 디지털 확대경 시스템 및 삼차원 실체 디지털 확대경 시스템을 위한 삼차원 시각 지시 방법
KR20130099317A (ko) * 2012-02-29 2013-09-06 한국전자통신연구원 인터랙티브 증강현실 구현 시스템 및 증강현실 구현 방법
JP2013218535A (ja) * 2012-04-09 2013-10-24 Crescent Inc 三次元モデリングされたｃｇ画像内にｃｇ画像化された手指を表示する方法及び装置、並びに三次元モデリングされたｃｇ画像を表示する広視野角ヘッドマウントディスプレイ装置
KR20140001167A (ko) * 2012-06-26 2014-01-06 한국과학기술원 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치
CN105144030A (zh) * 2013-02-27 2015-12-09 微软技术许可有限责任公司 混合现实增强
WO2015136250A1 (en) * 2014-03-10 2015-09-17 Bae Systems Plc Interactive information display
KR20160000986A (ko) * 2014-06-25 2016-01-06 경북대학교 산학협력단 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
CN105611267A (zh) * 2014-11-21 2016-05-25 罗克韦尔柯林斯公司 现实世界和虚拟世界图像基于深度和色度信息的合并
CN104484523A (zh) * 2014-12-12 2015-04-01 西安交通大学 一种增强现实诱导维修系统的实现设备与方法

Also Published As

Publication number Publication date
WO2017204581A1 (ko) 2017-11-30
US10587868B2 (en) 2020-03-10
KR20170134829A (ko) 2017-12-07
US20190156586A1 (en) 2019-05-23
KR101822471B1 (ko) 2018-01-29
CN109196406B (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN109196406A (zh) 利用混合现实的虚拟现实系统及其实施方法
US10739936B2 (en) Zero parallax drawing within a three dimensional display
US9595127B2 (en) Three-dimensional collaboration
US10019831B2 (en) Integrating real world conditions into virtual imagery
US9778464B2 (en) Shape recognition device, shape recognition program, and shape recognition method
US10019849B2 (en) Personal electronic device with a display system
CN104471511B (zh) 识别指点手势的装置、用户接口和方法
US9467685B2 (en) Enhancing the coupled zone of a stereoscopic display
US20120162384A1 (en) Three-Dimensional Collaboration
US9979946B2 (en) I/O device, I/O program, and I/O method
US9906778B2 (en) Calibration device, calibration program, and calibration method
US11284061B2 (en) User input device camera
US9681122B2 (en) Modifying displayed images in the coupled zone of a stereoscopic display based on user comfort
CN109598796A (zh) 将真实场景与虚拟物体进行3d融合显示的方法和装置
US20180203706A1 (en) Transitioning Between 2D and Stereoscopic 3D Webpage Presentation
US20180205939A1 (en) Stereoscopic 3D Webpage Overlay
US10171800B2 (en) Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
KR20230022239A (ko) 증강 현실 환경 향상
CN106971426A (zh) 一种虚拟现实与真实场景融合的方法
US20230412779A1 (en) Artistic effects for images and videos
WO2021145244A1 (ja) 表示装置、画像生成方法及びプログラム
US20190114838A1 (en) Augmented reality system and method for providing augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant