CN111489448A - 检测真实世界光源的方法、混合实境系统及记录介质 - Google Patents

检测真实世界光源的方法、混合实境系统及记录介质 Download PDF

Info

Publication number
CN111489448A
CN111489448A CN202010059174.0A CN202010059174A CN111489448A CN 111489448 A CN111489448 A CN 111489448A CN 202010059174 A CN202010059174 A CN 202010059174A CN 111489448 A CN111489448 A CN 111489448A
Authority
CN
China
Prior art keywords
dimensional vectors
light
current image
mounted display
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010059174.0A
Other languages
English (en)
Inventor
林奕瑱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN111489448A publication Critical patent/CN111489448A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/33—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving directional light or back-light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Probability & Statistics with Applications (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种检测真实世界光源的方法、混合实境系统及记录介质。此方法适用于具有计算装置及头戴式显示器的混合实境系统。此方法分析多个连续图像的多个光线区域，并根据对应连续图像的头戴式显示器的坐标位置投影每一光线区域产生三维向量。之后，将三维向量进行分群，以预测当前图像中的方向光。最后，计算三维向量之间的多个交集点，并根据交集点预测当前图像中的点光源。

Description

检测真实世界光源的方法、混合实境系统及记录介质
技术领域
本发明涉及一种混合实境的技术，且特别涉及一种混合实境中检测真实世界光源的方法、混合实境系统及记录介质。
背景技术
混合实境(Mixed Reality，MR)是一种利用计算机模拟技术将虚拟世界迭加或融合于真实世界产生三维空间中混合世界的技术。藉由将虚拟画面显示在使用者配戴的头戴式显示器(head-mounted display，HMD)上，使用者可同时观看到真实世界的物理实体和数字虚拟物体共存，而可提供一个以视觉为主且结合听觉、触觉等感知的混合环境。体验混合实境的使用者如同身处在真实世界，并可以与混合环境中的物理实体或虚拟物体互动。
真实世界的物理实体和虚拟物体会共存在混合环境，为了渲染出符合真实世界的虚拟物体，在建立混合环境时需要建立真实世界的光线数据。一般来说，真实世界的光线数据可以通过当前图框的图像强度(intensity)的平均值及当前图框的色温(colortemperature)的平均值来产生。然而，利用当前图框强度的平均值及色温的平均值来决定光线数据，虚拟物体所受的照光在混合环境中的任何位置都会相同。因此，会造成在虚拟物体接近光源而单侧所受的照光较强时，虚拟物体所受的照光无法符合物体在真实世界中实际所受的照光的情形，并且也无法产生符合实际照光的阴影，而使得虚拟物体没有真实感。
发明内容
有鉴于此，本发明提供一种混合实境中检测真实世界光源的方法、混合实境系统及记录介质，其可利用图像检测方向光(directional light)与点光源(point light)在混合实境空间中的位置以产生光线数据。
本发明提供一种混合实境中检测真实世界光源的方法，适用于具有计算装置及头戴式显示器的混合实境系统，其中所述头戴式显示器包括图像提取装置，所述方法包括下列步骤：分析多个连续图像的多个光线区域，并根据对应所述连续图像的所述头戴式显示器的坐标位置投影每一所述光线区域产生三维向量，其中所述连续图像包括当前图像；将所述三维向量进行分群，以预测所述当前图像中的方向光；以及计算所述三维向量之间的多个交集点，并根据所述交集点预测所述当前图像中的点光源。
在本发明的一实施例中，上述的分析所述连续图像的所述光线区域的步骤包括：根据所述连续图像的亮度分割所述连续图像，以产生多个候选区域；以及选择像素的平均亮度大于亮度阈值的所述候选区域作为所述光线区域。
在本发明的一实施例中，上述的根据对应所述连续图像的所述头戴式显示器的所述坐标位置投影每一所述光线区域产生所述三维向量的步骤包括：根据对应所述连续图像的所述头戴式显示器的所述坐标位置，利用对应所述连续图像的所述图像提取装置的内部参数与姿态投影每一所述光线区域至三维空间，以获取所述光线区域对应于所述头戴式显示器的所述三维向量。
在本发明的一实施例中，上述的将所述三维向量进行分群，以预测所述当前图像中的所述方向光的步骤包括：利用分群法将所述三维向量进行分群，以产生多个光线分群；以及根据每一光线分群的信赖度与一信赖度阈值，从所述光线分群中决定所述方向光。
在本发明的一实施例中，上述的利用所述分群法分群所述三维向量的步骤包括：针对包括一方向向量的所述三维向量进行分群。
在本发明的一实施例中，上述的分群法包括K-means分群法或Mean-shift分群法。
在本发明的一实施例中，上述的连续图像包括先前图像，并且计算所述三维向量之间的所述交集点，并根据所述交集点预测所述当前图像中的所述点光源的步骤包括：计算所述三维向量中所述当前图像对应的多个第一三维向量与所述先前图像对应的多个第二三维向量之间的所述交集点，以获取第一交集点样本；以及将所述第一交集点样本与所述先前图像对应的第二交集点样本进行分群，以预测所述当前图像中的所述点光源。
在本发明的一实施例中，上述的计算所述三维向量中所述当前图像对应的所述第一三维向量与所述先前图像对应的所述第二三维向量之间的所述交集点，以获取所述第一交集点样本的步骤包括：根据所述第一三维向量与所述第一三维向量对应的光线分群决定所述第一三维向量的信赖度；以及根据所述信赖度与信赖度阈值选择所述第一三维向量，并计算所述选择的第一三维向量与所述第二三维向量之间的所述交集点，以获取所述第一交集点样本。
在本发明的一实施例中，上述的将所述第一交集点样本与所述先前图像对应的所述第二交集点样本进行分群，以预测所述当前图像中的所述点光源的步骤还包括：根据所述第一交集点样本与所述第二交集点样本中包括的所述交集点存在所述连续图像的持续时间决定每一所述交集点对应的持续度；将对应的所述持续度大于持续度阈值的所述交集点进行分群，以产生多个交集点分群；以及根据所述交集点分群决定所述点光源。
本发明的混合实境系统包括头戴式显示器、存储装置以及计算装置。存储装置存储一或多个指令。计算装置，连接所述头戴式显示器及所述存储装置，经配置以执行所述指令以：分析多个连续图像的多个光线区域，并根据对应所述连续图像的所述头戴式显示器的坐标位置投影每一所述光线区域产生多个三维向量，其中所述连续图像包括当前图像；将所述三维向量进行分群，以预测所述当前图像中的方向光；以及计算所述三维向量之间的多个交集点，并根据所述交集点预测所述当前图像中的点光源。
本发明还提供一种非暂态计算机可读记录介质，经配置以记录程序，其中所述程序通过计算装置中的处理器载入以执行以下步骤：分析多个连续图像的多个光线区域，并根据对应所述连续图像的所述头戴式显示器的坐标位置投影每一所述光线区域产生三维向量，其中所述连续图像包括当前图像；将所述三维向量进行分群，以预测所述当前图像中的方向光；以及计算所述三维向量之间的多个交集点，并根据所述交集点预测所述当前图像中的点光源。
为让本申请的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是依照本发明一实施例所绘示的混合实境系统的方块图。
图2是依照本发明一实施例所绘示的混合实境中检测真实世界光源的方法的流程图。
图3是依照本发明一实施例所绘示的混合实境中检测真实世界光源的方法的流程图。
图4是依照本发明一实施例所绘示的分析图像中二维光线的范例。
图5是依照本发明一实施例所绘示的转换二维光线为三维向量的范例。
图6是依照本发明一实施例所绘示的多个三维向量的范例。
图7是依照本发明一实施例所绘示的预测方向光的范例。
【符号说明】
10：混合实境系统
12：头戴式显示器
121：图像提取装置
122：运动传感器
14：存储装置
16：计算装置
18：定位器
401、501：当前图像
510、601、701：空间
A1～A4：光线区域
Figure BDA0002373853300000041
三维向量
L1～L12：分割线
OBJ1、OBJ2、OBJ3：物体
OA：中心
OA(x1，y1，z1)、OHMD(x0，y0，z0)：坐标位置
S202～S206、S3021、S3022、S304～S308：步骤
具体实施方式
本发明分析多个连续图像中的多个光线区域，并根据对应连续图像的头戴式显示器的坐标位置投影光线区域产生三维向量。在分析光源时，利用分群法分群三维向量来预测方向光，并计算三维向量之间的多个交集点来预测点光源。藉此，可建立符合真实世界的光线数据，以利在渲染虚拟物体时获得具有真实感的虚拟物体。
图1是依照本发明一实施例所绘示的混合实境系统的方块图。请参照图1，本实施例的混合实境系统10包括头戴式显示器12、存储装置14以及计算装置16，以上装置的功能分述如下。
头戴式显示器12例如是液晶显示器(Liquid-Crystal Display，LCD)、发光二极管(Light-Emitting Diode，LED)显示器或其他合适类型的显示器，其以头盔或眼镜的型式制造，而可供使用者穿戴在头部。头戴式显示器12中还额外配置图像提取装置121以及重力传感器、陀螺仪等运动传感器122。图像提取装置121可以是任何有感光耦合元件(chargecoupled device，CCD)镜头、互补性氧化金属半导体(complementary metal oxidesemiconductor transistors，CMOS)镜头或红外线镜头(infrared lens)的单镜头相机(mono camera)或立体相机(stereo camera)，但本发明不限于此。图像提取装置121可以是一或多个，并且配置在头戴式显示器12上，其例如是配置在使用者配戴头戴式显示器12时视线的前方，而可拍摄使用者视线前方的图像。运动传感器122则能够检测使用者头部的转动或倾斜角度，并且可将感测数据反馈至计算装置16，计算装置16可据以计算图像提取装置121的姿态。
存储装置14可以是任何类型的固定式或可移动式随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)或类似元件或上述元件的组合。在本实施例中，存储装置14用以存储数据、不同的预设阈值及可由计算装置16执行的程序，这些程序包括一或多个指令。
计算装置16例如是文件服务器、数据库服务器、应用程序服务器、工作站或个人计算机等具有运算能力的装置，其中包括处理器。处理器例如是中央处理单元(CentralProcessing Unit，CPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可编程逻辑装置(Programmable Logic Device，PLD)或其他类似装置或这些装置的组合。计算装置16连接头戴式显示器12及存储装置14，其会从存储装置14载入程序，据以执行本发明混合实境中检测真实世界光源的方法。
混合实境系统10更可额外配置定位器18，用以定位配戴头戴式显示器的使用者。定位器18连接计算装置16，其例如包括激光或红外线的发射器及接收器，并可用以检测三维空间中物体的距离。定位器18搭配配置在物体(例如头戴式显示器12)上的多个标定器，即可定位出该物体在三维空间中的位置。定位器18可放置在使用者活动空间的角落，其不仅可定位出使用者在三维空间中的位置，也可界定出此活动空间的边界。此边界的位置可在使用者接近边界时在头戴式显示器12中显示，藉此提示使用者避免走出活动空间或碰撞位于活动空间之外的物体。计算装置16可通过有线或无线的方式与定位器18连接以供数据传输。
需说明的是，在一实施例中，存储装置14与计算装置16独立于在头戴式显示器12之外而分开设置，并以有线或无线的方式与头戴式显示器12连接以传输数据。在此实施例中，存储装置14可配置在计算装置16中。而在另一实施例中，存储装置14与计算装置16可集成在头戴式显示器12中，并与头戴式显示器12通过传输线连接以相互传输数据，本发明不在此限制。本发明的混合实境中检测真实世界光源的方法的详细步骤在下文描述。
图2是依照本发明一实施例所绘示的混合实境中检测真实世界光源的方法的流程图。参考图2，本发明实施例的方法适用于图1的混合实境系统10，以下即搭配混合实境系统10中的各项元件说明本实施例混合实境中检测真实世界光源的方法的详细步骤。
首先，计算装置16分析多个连续图像的多个光线区域，并根据对应所述连续图像的头戴式显示器12的坐标位置投影每一光线区域产生三维向量，其中所述连续图像包括当前图像(步骤S202)。具体而言，计算装置16控制图像提取装置121拍摄多个连续图像并存储至存储装置14，存储的连续图像包括当前图像及先前图像。
在分析光线区域的步骤中，计算装置16根据各连续图像的亮度分割各连续图像，以产生多个候选区域，并且选择像素的平均亮度大于亮度阈值的候选区域作为光线区域。以下以分割当前图像为范例说明分析光线区域的步骤。举例而言，计算装置16可以利用中位切割算法(median cut)针对亮度对当前图像进行图像分割，本发明不在此限制根据亮度分割图像的方法。
图4是依照本发明一实施例所绘示的分析图像中二维光线的范例。以中位切割算法分析当前图像401的多个光线区域为例，计算装置16根据当前图像401包括的像素的亮度来分割当前图像401。请参照图4，当前图像401中包括物体OBJ1。计算装置16会取得当前图像401中像素的亮度，并根据当前图像401的长边与对边的垂直线决定可以将当前图像401分割为亮度相同的两个分割区域的分割线L1。例如图4中分割线L1将当前图像401分割为左右两个分割区域。接着，计算装置16根据两个分割区域各自的长边与对边的垂直线决定可以分别将对应的分割区域再分割为亮度相同的两个分割区域的分割线L2、L7。例如图4中分割线L2将分割线L1左边的分割区域分割为上下两个分割区域，并且分割线L7将分割线L1右边的分割区域分割为上下两个分割区域。如果迭代次数小于预设次数n，则计算装置16对分割出的分割区域再次分割为亮度相同的两个分割区域。在本实施例中，计算装置16分割当前图像401后，可以根据分割线L1～L12分割产生多个候选区域，并选择像素的平均亮度大于亮度阈值的候选区域作为光线区域。像素的平均亮度是指单一候选区域中所有像素的亮度的平均值。在本实施例中，选择出的候选区域例如是图4中光线区域的A1～A4。
接着，在投影光线区域产生三维向量的步骤中，计算装置16根据对应连续图像的头戴式显示器12的坐标位置，利用对应连续图像的图像提取装置121的内部参数(intrinsic parameters)与姿态(pose)投影每一光线区域至三维空间，以获取各光线区域对应于头戴式显示器12的三维向量。
接续图4的范例，从当前图像401分析出光线区域A1～A4后，计算装置16会根据头戴式显示器12的坐标位置投影每一光线区域产生三维向量。图5是依照本发明一实施例所绘示的转换二维光线为三维向量的范例。请参照图5，当前图像501表示图4中的当前图像401在空间510中对应的位置。本实施例以产生光线区域A1对应至头戴式显示器12的向量为例。首先，计算装置16计算当前图像401中光线区域A1的中心(或质心)OA，并以中心的坐标位置OA(x1，y1)来代表光线区域A1。接着，计算装置16根据头戴式显示器12的坐标位置OHMD(x0，y0，z0)，利用图像提取装置121的内部参数和姿态(如，转动或倾斜角度)投影光线区域A1至三维空间，以获取光线区域A1对应于头戴式显示器的三维向量
Figure BDA0002373853300000071
其中，针对如何利用图像提取装置的内部参数和姿态投影光线区域至三维空间，本领域技术人员应可根据其对于坐标投影的知识而获致足够的教示，故在此不再赘述。
在一实施例中，头戴式显示器12的坐标位置OHMD(x0，y0，z0)可以是利用定位器18检测使用者在三维空间中的位置而得。其中，定位器18例如是配置在房间中相对的两个角落，而可定位出配戴头戴式显示器12的使用者在此房间中的坐标位置，并将坐标位置提供给计算装置16。
在另一实施例中，头戴式显示器12的坐标位置可以是利用图像提取装置121提取到多个的图像计算得出。计算装置16可以先取得头戴式显示器12的原始坐标。使用图像辨识分析提取图像中特征点的位移及变形量来决定头戴式显示器12的旋转或倾斜角度及前后移动的变化，并根据变化量及原始坐标计算头戴式显示器12在房间中的坐标位置。
在又一实施例中，计算装置16可融合以上多种定位技术来获取头戴式显示器12在房间中的坐标位置，并据以计算光线区域A1对应于头戴式显示器的三维向量
Figure BDA0002373853300000081
本发明不在此限制。
在产生三维向量后，计算装置16将三维向量存储至包括从先前图像分析出的多个三维向量的光线数据库中。图6是依照本发明一实施例所绘示的多个三维向量的范例。在本实施例中，若将当前图像401对应的多个三维向量及先前图像对应的所有三维向量显示在空间601中，则可例如为图6所示出的范例。图6包括物体OBJ1、物体OBJ2以及目前光线数据库中的所有三维向量。
接着，计算装置16将所述三维向量进行分群，以预测当前图像中的方向光(步骤S204)。其中，分群法例如是K-means分群法、Mean-shift分群法或其他分群法，本发明不在此限制。其中，针对如何利用K-means分群法、Mean-shift分群法或其他分群法进行分群的方法，本领域技术人员应可根据其对于分群法的知识而获致足够的教示，故在此不再赘述。
在一般的图形内容中，方向光的数量通常控制在四个以下。因此在本发明一实施例中，可以利用缩减器(reducer)在进行分群时减少方向光的分群数量。举例而言，可先按照严格的标准将多个三维向量进行分群，然后滤除低信赖度的光线分群或将多个光线分群合并为一个，以保持数量较少的方向光。缩减器的限制原则例如是只允许保留一个从顶部发出的方向光，以及保留三个从侧面发出的方向光。
具体而言，计算装置16利用分群法将各三维向量进行分群，以产生多个光线分群，并且根据每一光线分群的信赖度与信赖度阈值，从上述光线分群中决定方向光。详细而言，计算装置16在利用分群法将多个三维向量进行分群时，可以计算每一光线分群对应的分群向量。接着计算装置16计算每一三维向量与其所属光线分群的分群向量的内积(dot)，并设定1-dot为每一三维向量的信赖度。换句话说，三维向量与其所属光线分群对应的分群方向的夹角越小，则对应的信赖度越高。基此，计算装置16选择平均信赖度大于信赖度阈值的光线分群为方向光，以减少方向光的数量。
在另一实施例中，计算装置16还可以在利用分群法将三维向量进行分群时，针对一方向向量的三维向量进行分群。举例而言，图7是依照本发明一实施例所绘示的预测方向光的范例。请参照图7，空间701中包括物体OBJ3，物体OBJ3例如是可提供方向光的窗户。一般而言，窗户可提供侧面光线。然而在计算装置16投影光线区域为三维向量时，由于某些光线区域的高度低于头戴式显示器12的坐标位置OHMD，投影这些高度低于头戴式显示器12的光线区域会产生具有向上分量的三维向量。因此计算装置16可以在利用分群法将各三维向量进行时，针对平行方向向量的三维向量进行分群，以排除这些具有向上分量的三维向量。
最后，计算装置16计算所述三维向量之间的多个交集点，并根据所述交集点预测当前图像中的点光源(步骤S206)。其中，连续图像包括多个先前图像。其中，计算装置16计算多个三维向量中当前图像对应的多个第一三维向量与先前图像对应的多个第二三维向量之间的多个交集点，以获取第一交集点样本。并且，计算装置16利用分群法将第一交集点样本与先前图像对应的第二交集点样本进行分群，以预测当前图像中的点光源。具体而言，计算装置16利用分群法将第一交集点样本与第二交集点样本中包括的各交集点进行分群，以产生多个交集点分群。并且计算装置16根据上述交集点分群决定点光源。其中，分群法例如是K-means分群法、Mean-shift分群法或其他分群法，本发明不在此限制。
详细而言，计算装置16会计算从当前图像分析出的多个第一三维向量与光线数据库中存储的从先前图像分析出的多个第二三维向量之间的多个交集点，以获取第一交集点样本。其中，第一交集点样本包括上述从当前图像分析出的多个第一三维向量与光线数据库中存储的从先前图像分析出的多个第二三维向量之间的多个交集点。并且，计算装置16将从当前图像分析出的第一交集点样本存储至包括从先前图像分析出的第二交集点样本的交集点数据库中。从先前图像分析出第二交集样本的方法与从当前图像401分析出的第一交集点样本的方法相同，故在此不再赘述。在本实施例中，第二交集样本可以是多个，第二交集样本的数量取决于计算装置16分析多少张先前图像。接着，计算装置16根据第一交集点样本与第二交集点样本预测当前图像401中的点光源。
此外，本发明实施例在分群各交集点样本中包括的各交集点时，将根据筛选条件选择超过所述筛选条件对应的预设阈值的样本进行分群，以滤除一些异常值。在本实施例中，筛选条件例如是三维向量的信赖度(confidence)和/或交集点的持续度(persistence)。计算装置16根据信赖度决定是否在计算交集点时保留此三维向量，或根据持续度决定是否在进行分群时保留此交集点。
在一实施例中，计算装置16根据当前图像对应的每一第一三维向量与每一第一三维向量对应的光线分群决定每一第一三维向量的信赖度。并且计算装置16根据信赖度与信赖度阈值选择第一三维向量，并计算选择的第一三维向量与先前图像对应的多个第二三维向量之间的交集点，以获取第一交集点样本。详细而言，计算装置16在利用分群法将多个三维向量进行分群时(请参步骤S204的内容)，可以判断从当前图像中分析出的每一第一三维向量分别属于哪个光线分群。据此，计算装置16计算每一第一三维向量所属光线分群对应的分群向量，并计算每一第一三维向量与其所属光线分群的分群向量的内积(dot)，并设定1-dot为当前图像对应的每一第一三维向量的信赖度。计算装置16可以将计算出的信赖度存储在存储装置14中，以供后续计算使用。换句话说，当前图像对应的第一三维向量与其所属光线分群对应的分群向量的夹角越小，则对应的信赖度越高。基此，计算装置16在计算当前图像对应的第一三维向量与光线数据库中存储的从先前图像分析出的多个第二三维向量之间的多个交集点时，先根据信赖度与信赖度阈值选择第一三维向量，再计算选择出的第一三维向量与第二三维向量之间的交集点。在一实施例中，计算装置16选择信赖度大于信赖度阈值的第一三维向量与第二三维向量进行交集点计算。
此外，计算装置16可以计算每个交集点对应的持续度。计算装置16根据第一交集点样本与第二交集点样本中包括的交集点存在连续图像(包括先前图像与当前图像)的持续时间决定每一交集点对应的持续度，并根据持续度决定是否在分群时保留此交集点。接着，计算装置16利用分群法将对应的持续度大于持续度阈值的交集点进行分群，以产生多个交集点分群。并且根据产生的交集点分群决定点光源。
详细而言，从先前图像分析出的点光源会具有对应的交集点分群，并且对应的交集点分群会包括多个交集点。当这些交集点被决定为对应至点光源的交集点时，计算装置16会分别设定一个大于持续度阈值的设定值(即，持续度)给这些交集点，并将计算出的持续度存储在存储装置14中，以供后续计算使用。若交集点不存在于先前图像的下一图像中预测的点光源中，则计算装置16根据一预设值减少此交集点对应的持续度。在分析当前图像时，计算装置16可以取得每个交集点当前的持续度，并在交集点当前的持续度大于持续度阈值时，在分群时保留此交集点。换句话说，计算装置16利用K-means分群法将对应的持续度大于持续度阈值的多个交集点进行分群，以产生多个交集点分群。
在另一实施例中，计算装置16也可以同时根据信赖度决定是否在计算交集点时保留此三维向量，并根据持续度决定是否在分群时保留此交集点，本发明不在此限制。计算装置16经过信赖度及持续度的筛选，可以决定产生的多个交集点分群为点光源。
图3是依照本发明一实施例所绘示的混合实境中检测真实世界光源的方法的流程图。请同时参照图1及图3，本实施例的方法适用于上述的混合实境系统10。
需先说明的是，头戴式显示器12包括的图像提取装置121可以有多个。本实施例以其中一个图像提取装置121所提取的连续图像作为范例说明本发明实施例，其中作为范例说明的图像提取装置121例如设置在左眼位置。在其他实施例中，图像提取装置121也可以设置在头戴式显示器12的不同位置，本发明不在此限制。
首先，计算装置16控制图像提取装置121提取左眼提取图像(即，当前图像)。计算装置16对左眼提取图像进行当前图像分析(步骤S3021)，以产生左眼提取图像对应的三维光线(即，三维向量)。接着，计算装置16将光线合并(步骤S304)。在光线合并的步骤中，计算装置16将从左眼提取图像分析出的多个三维向量存储至包括从先前图像分析出的多个三维向量的光线数据库中。
之后，计算装置16进行方向光预测(步骤S306)。计算装置16根据光线数据库中包括的所有三维向量预测方向光。预测方向光的方法可参照上述步骤S204所述的内容，在此不再赘述。在计算装置16分群光线数据库中包括的三维向量后，可产生例如图7中的一个光线分群。
最后，计算装置16进行点光源预测(S308)。计算装置16根据左眼提取图像对应的三维向量与光线数据库中包括的所有三维向量预测点光源。预测点光源的方法可参照上述步骤S206所述的内容，在此不再赘述。在另一实施例中，计算装置16控制图像提取装置121提取右眼提取图像，并且对右眼提取图像进行当前图像分析(步骤S3022)，以产生右眼提取图像对应的三维光线(即，三维向量)。于此，计算装置16可以根据右眼提取图像对应的三维光线、左眼提取图像对应的三维向量与光线数据库中包括的所有三维向量预测点光源。
基于上述，在预测出方向光与点光源后，计算装置16可以利用方向光与点光源渲染虚拟物体。
本发明进一步提供一种非暂时性计算机可读记录介质，其经配置以记录通过计算装置中的处理器载入以执行混合实境中检测真实世界光源的方法的每一步骤的程序。计算机程序由多个程序部分(例如，构造组织图式程序部分，批准清单程序部分，设置程序部分以及部署程序部分等)构成。在程序部分载入到处理器中且被执行之后，可完成混合实境中检测真实世界光源的方法的步骤。
综上所述，本发明混合实境中检测真实世界光源的方法、混合实境系统及记录介质可根据头戴式显示器的坐标位置投影光线区域产生三维向量来预测方向光与点光源，以提供渲染虚拟物体所需的方向光与点光源。藉此，可建立符合真实世界的光线数据，以利在渲染虚拟物体时获得具有真实感的虚拟物体。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书界定范围为准。

Claims (20)

1.一种混合实境中检测真实世界光源的方法，适用于具有计算装置及头戴式显示器的混合实境系统，其中该头戴式显示器包括图像提取装置，该方法包括下列步骤：
分析多个连续图像的多个光线区域，并根据对应这些连续图像的该头戴式显示器的坐标位置投影每一这些光线区域产生多个三维向量，其中这些连续图像包括当前图像；
将这些三维向量进行分群，以预测该当前图像中的方向光；以及
计算这些三维向量之间的多个交集点，并根据这些交集点预测该当前图像中的点光源。
2.如权利要求1所述的混合实境中检测真实世界光源的方法，其中分析这些连续图像的这些光线区域的步骤包括：
根据这些连续图像的亮度分割这些连续图像，以产生多个候选区域；以及
选择像素的平均亮度大于一亮度阈值的这些候选区域作为这些光线区域。
3.如权利要求1所述的混合实境中检测真实世界光源的方法，其中根据对应这些连续图像的该头戴式显示器的该坐标位置投影每一这些光线区域产生这些三维向量的步骤包括：
根据对应这些连续图像的该头戴式显示器的该坐标位置，利用对应这些连续图像的该图像提取装置的内部参数与姿态投影每一这些光线区域至三维空间，以获取这些光线区域对应于该头戴式显示器的这些三维向量。
4.如权利要求1所述的混合实境中检测真实世界光源的方法，其中将这些三维向量进行分群，以预测该当前图像中的该方向光的步骤包括：
利用分群法将这些三维向量进行分群，以产生多个光线分群；以及
根据每一光线分群的信赖度与一信赖度阈值，从这些光线分群中决定该方向光。
5.如权利要求4所述的混合实境中检测真实世界光源的方法，其中利用该分群法分群这些三维向量的步骤包括：
针对一方向向量的这些三维向量进行分群。
6.如权利要求4所述的混合实境中检测真实世界光源的方法，其中该分群法包括K-means分群法或Mean-shift分群法。
7.如权利要求1所述的混合实境中检测真实世界光源的方法，其中这些连续图像包括先前图像，并且计算这些三维向量之间的这些交集点，并根据这些交集点预测该当前图像中的该点光源的步骤包括：
计算这些三维向量中该当前图像对应的多个第一三维向量与该先前图像对应的多个第二三维向量之间的这些交集点，以获取第一交集点样本；以及
将该第一交集点样本与该先前图像对应的第二交集点样本进行分群，以预测该当前图像中的该点光源。
8.如权利要求7所述的混合实境中检测真实世界光源的方法，其中计算这些三维向量中该当前图像对应的这些第一三维向量与该先前图像对应的这些第二三维向量之间的这些交集点，以获取该第一交集点样本的步骤包括：
根据这些第一三维向量与这些第一三维向量对应的光线分群决定这些第一三维向量的信赖度；以及
根据该信赖度与一信赖度阈值选择这些第一三维向量，并计算这些选择的第一三维向量与这些第二三维向量之间的这些交集点，以获取该第一交集点样本。
9.如权利要求7所述的混合实境中检测真实世界光源的方法，其中将该第一交集点样本与该先前图像对应的该第二交集点样本进行分群，以预测该当前图像中的该点光源的步骤还包括：
根据该第一交集点样本与该第二交集点样本中包括的这些交集点存在这些连续图像的持续时间决定每一这些交集点对应的持续度；
将对应的该持续度大于一持续度阈值的这些交集点进行分群，以产生多个交集点分群；以及
根据这些交集点分群决定该点光源。
10.一种混合实境系统，包括：
头戴式显示器；
存储装置，存储一或多个指令；以及
计算装置，连接该头戴式显示器及该存储装置，经配置以执行这些指令以：
分析多个连续图像的多个光线区域，并根据对应这些连续图像的该头戴式显示器的坐标位置投影每一这些光线区域产生多个三维向量，其中这些连续图像包括当前图像；
将这些三维向量进行分群，以预测该当前图像中的方向光；以及
计算这些三维向量之间的多个交集点，并根据这些交集点预测该当前图像中的点光源。
11.如权利要求10所述的混合实境系统，其中该计算装置经配置以根据这些连续图像的亮度分割这些连续图像，以产生多个候选区域，并且选择像素的平均亮度大于一亮度阈值的这些候选区域作为这些光线区域。
12.如权利要求10所述的混合实境系统，其中该头戴式显示器还包括：
图像提取装置，连接该计算装置，
其中该计算装置经配置以根据对应这些连续图像的该头戴式显示器的该坐标位置，利用对应这些连续图像的该图像提取装置的内部参数与姿态投影每一这些光线区域至三维空间，以获取这些光线区域对应于该头戴式显示器的这些三维向量。
13.如权利要求10所述的混合实境系统，其中该头戴式显示器还包括：
定位器，连接该计算装置以及经配置以定位该头戴式显示器的该坐标位置。
14.如权利要求10所述的混合实境系统，其中该计算装置经配置以利用分群法将这些三维向量进行分群，以产生多个光线分群，并且根据每一光线分群的信赖度与一信赖度阈值，从这些光线分群中决定该方向光。
15.如权利要求10所述的混合实境系统，其中该计算装置经配置以针对一方向向量的这些三维向量进行分群。
16.如权利要求14所述的混合实境系统，其中该分群法包括K-means分群法或Mean-shift分群法。
17.如权利要求10所述的混合实境系统，其中这些连续图像包括先前图像，该计算装置经配置以计算这些三维向量中该当前图像对应的多个第一三维向量与该先前图像对应的多个第二三维向量之间的这些交集点，以获取第一交集点样本，并且将该第一交集点样本与该先前图像对应的第二交集点样本进行分群，以预测该当前图像中的该点光源。
18.如权利要求17所述的混合实境系统，其中该计算装置经配置以根据这些第一三维向量与这些第一三维向量对应的光线分群决定这些第一三维向量的信赖度，并且根据该信赖度与一信赖度阈值选择这些第一三维向量，并计算这些选择的第一三维向量与这些第二三维向量之间的这些交集点，以获取该第一交集点样本。
19.如权利要求17所述的混合实境系统，其中该计算装置经配置以根据该第一交集点样本与该第二交集点样本中包括的这些交集点存在这些连续图像的持续时间决定每一这些交集点对应的持续度，将对应的该持续度大于一持续度阈值的这些交集点进行分群，以产生多个交集点分群，并且根据这些交集点分群决定该点光源。
20.一种非暂态计算机可读记录介质，经配置以记录程序，其中这些程序通过计算装置中的处理器载入以执行以下步骤：
分析多个连续图像的多个光线区域，并根据对应这些连续图像的该头戴式显示器的坐标位置投影每一这些光线区域产生三维向量，其中这些连续图像包括当前图像；
将这些三维向量进行分群，以预测该当前图像中的方向光；以及
计算这些三维向量之间的多个交集点，并根据这些交集点预测该当前图像中的点光源。
CN202010059174.0A 2019-01-24 2020-01-16 检测真实世界光源的方法、混合实境系统及记录介质 Pending CN111489448A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962796558P 2019-01-24 2019-01-24
US62/796,558 2019-01-24

Publications (1)

Publication Number Publication Date
CN111489448A true CN111489448A (zh) 2020-08-04

Family

ID=71732747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010059174.0A Pending CN111489448A (zh) 2019-01-24 2020-01-16 检测真实世界光源的方法、混合实境系统及记录介质

Country Status (3)

Country Link
US (1) US11361511B2 (zh)
CN (1) CN111489448A (zh)
TW (1) TWI767179B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134495A1 (en) * 2008-11-28 2010-06-03 Canon Kabushiki Kaisha Mixed reality presentation system and brightness adjustment method of virtual light source
US20150301599A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Eye tracking systems and method for augmented or virtual reality
US20160148419A1 (en) * 2014-11-21 2016-05-26 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN107134005A (zh) * 2017-05-04 2017-09-05 网易（杭州）网络有限公司 光照适配方法、装置、存储介质、处理器及终端
CN207008717U (zh) * 2017-08-14 2018-02-13 杭州晴光科技有限公司 一种裸眼混合实境设备
US20180211440A1 (en) * 2015-07-21 2018-07-26 Dolby Laboratories Licensing Corporation Surround ambient light sensing, processing and adjustment
CN108345108A (zh) * 2017-01-25 2018-07-31 北京三星通信技术研究有限公司 头戴式显示设备、三维图像信息的生成方法及装置
CN108510545A (zh) * 2018-03-30 2018-09-07 京东方科技集团股份有限公司 空间定位方法、空间定位设备、空间定位系统及计算机可读存储介质
CN108525298A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2018200337A1 (en) * 2017-04-28 2018-11-01 Pcms Holdings, Inc. System and method for simulating light transport between virtual and real objects in mixed reality

Family Cites Families (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5546139A (en) * 1993-06-28 1996-08-13 Bacs, Jr.; Aron Moving imagery projection system
JP3512992B2 (ja) * 1997-01-07 2004-03-31 株式会社東芝 画像処理装置および画像処理方法
US6226006B1 (en) * 1997-06-27 2001-05-01 C-Light Partners, Inc. Method and apparatus for providing shading in a graphic display system
GB9717656D0 (en) * 1997-08-20 1997-10-22 Videologic Ltd Shading three dimensional images
US6753875B2 (en) * 2001-08-03 2004-06-22 Hewlett-Packard Development Company, L.P. System and method for rendering a texture map utilizing an illumination modulation value
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
US7505604B2 (en) * 2002-05-20 2009-03-17 Simmonds Precision Prodcuts, Inc. Method for detection and recognition of fog presence within an aircraft compartment using video images
JP4248822B2 (ja) * 2002-08-29 2009-04-02 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 線維描出方法および線維描出装置
JP3748545B2 (ja) * 2002-09-19 2006-02-22 株式会社ナムコ プログラム、情報記憶媒体及び画像生成装置
JP3972784B2 (ja) * 2002-09-30 2007-09-05 ソニー株式会社 画像処理装置およびその方法
US6819421B1 (en) * 2003-04-11 2004-11-16 Point Source Technologies, Llc Detection of new species of particles
JP2005115645A (ja) * 2003-10-07 2005-04-28 Digital Fashion Ltd シェーディング情報取得装置及び画像処理装置
US7696995B2 (en) * 2004-05-07 2010-04-13 Valve Corporation System and method for displaying the effects of light illumination on a surface
KR100609145B1 (ko) * 2004-12-20 2006-08-08 한국전자통신연구원 실시간 전역조명 효과를 위한 렌더링 장치 및 그 방법
US7324688B2 (en) * 2005-02-14 2008-01-29 Mitsubishi Electric Research Laboratories, Inc. Face relighting for normalization of directional lighting
JP3938184B2 (ja) * 2005-03-22 2007-06-27 キヤノン株式会社 情報処理方法及びその装置
ATE428154T1 (de) * 2005-05-03 2009-04-15 Seac02 S R L Augmented-reality-system mit identifizierung der realen markierung des objekts
US8164594B2 (en) * 2006-05-23 2012-04-24 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
JP4784555B2 (ja) * 2007-05-25 2011-10-05 トヨタ自動車株式会社 形状評価方法、形状評価装置および三次元検査装置
JP4902456B2 (ja) * 2007-07-31 2012-03-21 シャープ株式会社 スジムラ評価装置、スジムラ評価方法、スジムラ評価プログラム、記録媒体及びカラーフィルタの製造方法
JP2009080580A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 映像表示装置及び方法
US8184194B2 (en) * 2008-06-26 2012-05-22 Panasonic Corporation Image processing apparatus, image division program and image synthesising method
US8310525B2 (en) * 2008-10-07 2012-11-13 Seiko Epson Corporation One-touch projector alignment for 3D stereo display
GB2465792A (en) * 2008-11-28 2010-06-02 Sony Corp Illumination Direction Estimation using Reference Object
JP5466876B2 (ja) * 2009-05-14 2014-04-09 オリンパス株式会社 画像取得装置、画像取得装置の制御方法、及び顕微鏡システム
JP5602392B2 (ja) * 2009-06-25 2014-10-08 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP5582778B2 (ja) * 2009-12-21 2014-09-03 キヤノン株式会社 投射装置、プログラム、及び投射装置の制御方法
US20110234631A1 (en) * 2010-03-25 2011-09-29 Bizmodeline Co., Ltd. Augmented reality systems
US8694553B2 (en) * 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
US8600538B2 (en) * 2011-04-11 2013-12-03 Disney Enterprises, Inc. System and method for producing three-dimensional multi-layer objects from digital models
TW201248340A (en) * 2011-05-23 2012-12-01 Era Optoelectronics Inc Floating virtual hologram display apparatus
US8432435B2 (en) * 2011-08-10 2013-04-30 Seiko Epson Corporation Ray image modeling for fast catadioptric light field rendering
WO2013090922A1 (en) * 2011-12-16 2013-06-20 Tenebraex Corporation Systems and methods for creating full-color image in low light
CN102760308B (zh) * 2012-05-25 2014-12-03 任伟峰 一种点选三维虚拟现实场景中物体的方法和装置
US9058690B2 (en) * 2012-10-05 2015-06-16 Disney Enterprises, Inc. Ray cone hierarchy renderer
US9857470B2 (en) * 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
WO2014113455A1 (en) * 2013-01-15 2014-07-24 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
WO2014129360A1 (ja) * 2013-02-19 2014-08-28 旭硝子株式会社 透明基体の光学特性を評価する方法
US11719990B2 (en) * 2013-02-21 2023-08-08 View, Inc. Control method for tintable windows
US20150374210A1 (en) * 2013-03-13 2015-12-31 Massachusetts Institute Of Technology Photometric stereo endoscopy
RU2523929C1 (ru) * 2013-03-18 2014-07-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ для автоматического планирования видов в объемных изображениях мозга
JP5851461B2 (ja) * 2013-08-30 2016-02-03 本田技研工業株式会社 意匠層データ作成装置及び方法並びに意匠シュミレーション装置
JP6337433B2 (ja) * 2013-09-13 2018-06-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
KR102116981B1 (ko) * 2013-10-02 2020-05-29 삼성전자 주식회사 광선 추적 가속 방법 및 장치
US9396544B2 (en) * 2014-01-08 2016-07-19 Adobe Systems Corporation Single image photometric stereo for colored objects
US9952424B2 (en) * 2014-02-27 2018-04-24 Konica Minolta, Inc. Image projection apparatus
EP3123449B1 (en) * 2014-03-25 2020-01-01 Apple Inc. Method and system for representing a virtual object in a view of a real environment
US9607411B2 (en) * 2014-04-23 2017-03-28 Ebay Inc. Specular highlights on photos of objects
EP3139589B1 (en) * 2014-04-30 2022-04-06 Sony Group Corporation Image processing apparatus and image processing method
JP2015228186A (ja) * 2014-06-02 2015-12-17 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US10593113B2 (en) * 2014-07-08 2020-03-17 Samsung Electronics Co., Ltd. Device and method to display object with visual effect
WO2016031434A1 (ja) * 2014-08-29 2016-03-03 コニカミノルタ株式会社 表面検査装置、表面検査方法およびプログラム
US10242485B2 (en) * 2014-09-04 2019-03-26 Nvidia Corporation Beam tracing
KR102292923B1 (ko) * 2014-12-15 2021-08-24 삼성전자주식회사 3d 렌더링 방법 및 장치
GB2533553B (en) * 2014-12-15 2020-09-09 Sony Interactive Entertainment Inc Image processing method and apparatus
US9958682B1 (en) * 2015-02-17 2018-05-01 Thalmic Labs Inc. Systems, devices, and methods for splitter optics in wearable heads-up displays
EP3101383A1 (en) * 2015-06-01 2016-12-07 Canon Kabushiki Kaisha Shape measurement apparatus, shape calculation method, system, and method of manufacturing an article
US9754405B1 (en) * 2015-08-10 2017-09-05 Ngrain (Canada) Corporation System, method and computer-readable medium for organizing and rendering 3D voxel models in a tree structure
EP3131063A1 (en) * 2015-08-11 2017-02-15 Thomson Licensing Method and apparatus for real-time rendering of images of specular surfaces
US10217189B2 (en) * 2015-09-16 2019-02-26 Google Llc General spherical capture methods
US9922452B2 (en) * 2015-09-17 2018-03-20 Samsung Electronics Co., Ltd. Apparatus and method for adjusting brightness of image
CN113489967A (zh) * 2015-11-04 2021-10-08 奇跃公司 可穿戴显示系统和用于校准可穿戴显示器的方法
EP3196633B1 (en) * 2016-01-20 2021-11-17 Canon Kabushiki Kaisha Apparatus and method for measuring a reflection characteristic of an object
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
US9818221B2 (en) * 2016-02-25 2017-11-14 Qualcomm Incorporated Start node determination for tree traversal for shadow rays in graphics processing
US10976809B2 (en) * 2016-03-14 2021-04-13 Htc Corporation Interaction method for virtual reality
US20180308281A1 (en) * 2016-04-01 2018-10-25 draw, Inc. 3-d graphic generation, artificial intelligence verification and learning system, program, and method
TW201805894A (zh) * 2016-05-06 2018-02-16 國立臺灣大學 三維渲染方法以及三維繪圖處理裝置
US11527142B2 (en) * 2016-06-06 2022-12-13 Makusafe Corp. Device, system and method for health and safety monitoring
WO2018004863A1 (en) * 2016-06-30 2018-01-04 Magic Leap, Inc. Estimating pose in 3d space
KR20230166155A (ko) * 2016-07-15 2023-12-06 라이트 필드 랩 인코포레이티드 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파
WO2018014932A1 (en) * 2016-07-18 2018-01-25 Universität Basel Computer system and method for improved gloss representation in digital images
JP2018031607A (ja) * 2016-08-23 2018-03-01 ソニーセミコンダクタソリューションズ株式会社 測距装置、電子装置、および、測距装置の制御方法
CN107808398B (zh) * 2016-09-08 2023-04-07 松下知识产权经营株式会社 摄像头参数算出装置以及算出方法、程序、记录介质
US10678397B2 (en) * 2016-09-26 2020-06-09 Htc Corporation Method for providing demonstration information in simulation environment, and associated simulation system
US10896544B2 (en) * 2016-10-07 2021-01-19 Htc Corporation System and method for providing simulated environment
EP3340180A1 (en) * 2016-12-20 2018-06-27 Thomson Licensing Device and method for scene rendering by path tracing with complex lighting
US10430978B2 (en) * 2017-03-02 2019-10-01 Adobe Inc. Editing digital images utilizing a neural network with an in-network rendering layer
JP6774603B2 (ja) * 2017-03-06 2020-10-28 株式会社Ｊｖｃケンウッド レーザ光照射検出装置、レーザ光照射検出方法、レーザ光照射検出システム
US10659773B2 (en) * 2017-04-13 2020-05-19 Facebook, Inc. Panoramic camera systems
US10242458B2 (en) * 2017-04-21 2019-03-26 Qualcomm Incorporated Registration of range images using virtual gimbal information
JP7038346B2 (ja) * 2017-05-01 2022-03-18 パナソニックＩｐマネジメント株式会社 カメラパラメータ算出方法、カメラパラメータ算出プログラム、及びカメラパラメータ算出装置
US10771773B2 (en) * 2017-05-11 2020-09-08 Htc Corporation Head-mounted display devices and adaptive masking methods thereof
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
US10515466B2 (en) * 2017-06-09 2019-12-24 Sony Interactive Entertainment Inc. Optimized deferred lighting in a foveated rendering system
WO2018227305A1 (en) * 2017-06-15 2018-12-20 Suntracker Technologies Ltd. Spectral lighting modeling and control
US10602046B2 (en) * 2017-07-11 2020-03-24 Htc Corporation Mobile device and control method
US20190033989A1 (en) * 2017-07-31 2019-01-31 Google Inc. Virtual reality environment boundaries using depth sensors
CN109389951B (zh) * 2017-08-14 2021-01-26 京东方科技集团股份有限公司 背光源的驱动方法及驱动电路、背光源和显示装置
JP6425847B1 (ja) * 2017-08-14 2018-11-21 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2020531965A (ja) * 2017-08-30 2020-11-05 コンペディア ソフトウェア アンド ハードウェア デベロップメント リミテッドＣｏｍｐｅｄｉａ Ｓｏｆｔｗａｒｅ Ａｎｄ Ｈａｒｄｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｌｔｄ． 支援型の拡張現実
CN107563438B (zh) * 2017-08-31 2019-08-30 西南交通大学 一种快速鲁棒的多模态遥感影像匹配方法和系统
US20190073820A1 (en) * 2017-09-01 2019-03-07 Mira Labs, Inc. Ray Tracing System for Optical Headsets
JP2019067323A (ja) * 2017-10-05 2019-04-25 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
AU2018346758B2 (en) * 2017-10-06 2022-11-03 Visie Inc. Generation of one or more edges of luminosity to form three-dimensional models of objects
JP6962165B2 (ja) * 2017-12-11 2021-11-05 株式会社島津製作所 Ｘ線透視撮影装置
US10600205B2 (en) * 2018-01-08 2020-03-24 Htc Corporation Anchor recognition in reality system
US11650354B2 (en) * 2018-01-14 2023-05-16 Light Field Lab, Inc. Systems and methods for rendering data from a 3D environment
JP7167947B2 (ja) * 2018-01-16 2022-11-09 ソニーグループ株式会社 照明制御装置及び照明制御方法、照明装置、並びに照明システム
US10636200B2 (en) * 2018-01-19 2020-04-28 Htc Corporation Electronic device, method for displaying an augmented reality scene and non-transitory computer-readable medium
AU2018201472A1 (en) * 2018-02-28 2019-09-12 Canon Kabushiki Kaisha System and method of rendering a surface
WO2019182906A1 (en) * 2018-03-17 2019-09-26 Nvidia Corporation Shadow denoising in ray-tracing applications
JP7059076B2 (ja) * 2018-03-30 2022-04-25 キヤノン株式会社 画像処理装置、その制御方法、プログラム、記録媒体
CN108510956B (zh) * 2018-05-02 2020-01-07 京东方科技集团股份有限公司 显示面板的图像显示亮度调节方法、装置及显示装置
US11595637B2 (en) * 2018-05-14 2023-02-28 Dell Products, L.P. Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
WO2019220464A1 (en) * 2018-05-16 2019-11-21 Cartosense Pvt. Ltd. A system and method for alignment between real and virtual objects in a head-mounted optical see-through display
CN108566504B (zh) * 2018-05-22 2021-01-26 京东方科技集团股份有限公司 一种双摄像头模组、电子设备及其图像获取方法
CN110536125A (zh) * 2018-05-25 2019-12-03 光宝电子(广州)有限公司 影像处理系统及影像处理方法
JP7319303B2 (ja) * 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
US10606364B2 (en) * 2018-06-14 2020-03-31 Dell Products, L.P. Two-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US10579153B2 (en) * 2018-06-14 2020-03-03 Dell Products, L.P. One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
WO2020013416A1 (ko) * 2018-07-12 2020-01-16 에스케이텔레콤 주식회사 영상 투사 장치
EP3827415A1 (en) * 2018-07-26 2021-06-02 NVIDIA Corporation Global illumination using shared lighting contributions for interactions in path tracing
US10725536B2 (en) * 2018-08-21 2020-07-28 Disney Enterprises, Inc. Virtual indicium display system for gaze direction in an image capture environment
US10573067B1 (en) * 2018-08-22 2020-02-25 Sony Corporation Digital 3D model rendering based on actual lighting conditions in a real environment
US10937243B2 (en) * 2018-08-29 2021-03-02 Dell Products, L.P. Real-world object interface for virtual, augmented, and mixed reality (xR) applications
JP7247501B2 (ja) * 2018-09-21 2023-03-29 富士フイルムビジネスイノベーション株式会社 画像処理装置およびプログラム
US10805585B2 (en) * 2018-12-17 2020-10-13 Lightform, Inc. System and methods or augmenting surfaces within spaces with projected light
US10931972B2 (en) * 2019-01-24 2021-02-23 Dell Products, L.P. Forward channel contextual error concealment and sync for virtual, augmented, or mixed reality (XR) content in connectivity-constrained environments
US10762697B1 (en) * 2019-02-27 2020-09-01 Verizon Patent And Licensing Inc. Directional occlusion methods and systems for shading a virtual object rendered in a three-dimensional scene
US11145110B2 (en) * 2019-03-18 2021-10-12 Nvidia Corporation Adaptive ray tracing suitable for shadow rendering
US11620800B2 (en) * 2019-03-27 2023-04-04 Electronic Arts Inc. Three dimensional reconstruction of objects based on geolocation and image data
US11029408B2 (en) * 2019-04-03 2021-06-08 Varjo Technologies Oy Distance-imaging system and method of distance imaging
US11413094B2 (en) * 2019-05-24 2022-08-16 University Health Network System and method for multi-client deployment of augmented reality instrument tracking
US11436743B2 (en) * 2019-07-06 2022-09-06 Toyota Research Institute, Inc. Systems and methods for semi-supervised depth estimation according to an arbitrary camera
US11049315B2 (en) * 2019-07-31 2021-06-29 Verizon Patent And Licensing Inc. Methods and devices for bifurcating graphics rendering between a media player device and a multi-access edge compute server
CN114245907A (zh) * 2019-08-18 2022-03-25 辉达公司 自动曝光的光线追踪
WO2021034837A1 (en) * 2019-08-18 2021-02-25 Nvidia Corporation Ray-tracing with irradiance caches
US11538216B2 (en) * 2019-09-03 2022-12-27 Adobe Inc. Dynamically estimating light-source-specific parameters for digital images using a neural network
US10984242B1 (en) * 2019-09-05 2021-04-20 Facebook Technologies, Llc Virtual proximity compass for navigating artificial reality environments
US11303875B2 (en) * 2019-12-17 2022-04-12 Valve Corporation Split rendering between a head-mounted display (HMD) and a host computer

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100134495A1 (en) * 2008-11-28 2010-06-03 Canon Kabushiki Kaisha Mixed reality presentation system and brightness adjustment method of virtual light source
US20150301599A1 (en) * 2014-04-18 2015-10-22 Magic Leap, Inc. Eye tracking systems and method for augmented or virtual reality
US20160148419A1 (en) * 2014-11-21 2016-05-26 Samsung Electronics Co., Ltd. Image processing apparatus and method
US20180211440A1 (en) * 2015-07-21 2018-07-26 Dolby Laboratories Licensing Corporation Surround ambient light sensing, processing and adjustment
CN108345108A (zh) * 2017-01-25 2018-07-31 北京三星通信技术研究有限公司 头戴式显示设备、三维图像信息的生成方法及装置
WO2018200337A1 (en) * 2017-04-28 2018-11-01 Pcms Holdings, Inc. System and method for simulating light transport between virtual and real objects in mixed reality
CN107134005A (zh) * 2017-05-04 2017-09-05 网易（杭州）网络有限公司 光照适配方法、装置、存储介质、处理器及终端
CN207008717U (zh) * 2017-08-14 2018-02-13 杭州晴光科技有限公司 一种裸眼混合实境设备
CN108525298A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108510545A (zh) * 2018-03-30 2018-09-07 京东方科技集团股份有限公司 空间定位方法、空间定位设备、空间定位系统及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王薇婕;万韬阮;林静;关丹丹;: "基于三维立体标志物的增强现实实时渲染" *

Also Published As

Publication number Publication date
US20200242843A1 (en) 2020-07-30
US11361511B2 (en) 2022-06-14
TW202043848A (zh) 2020-12-01
TWI767179B (zh) 2022-06-11

Similar Documents

Publication Publication Date Title
US11703951B1 (en) Gesture recognition systems
KR102470680B1 (ko) 동작 인식, 운전 동작 분석 방법 및 장치, 전자 기기
CN107358149B (zh) 一种人体姿态检测方法和装置
JP6695503B2 (ja) 車両の運転者の状態を監視するための方法及びシステム
EP3008695B1 (en) Robust tracking using point and line features
US8401225B2 (en) Moving object segmentation using depth images
US9256324B2 (en) Interactive operation method of electronic apparatus
US20180189955A1 (en) Augumented reality (ar) method and system enhanced through efficient edge detection of image objects
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
WO2017143745A1 (zh) 一种确定待测对象的运动信息的方法及装置
EP2381415A1 (en) Person-judging device, method, and program
US20170336865A1 (en) Method and system for detecting objects of interest
US11776213B2 (en) Pose generation apparatus, generation method, and storage medium
US10803604B1 (en) Layered motion representation and extraction in monocular still camera videos
US11741676B2 (en) System and method for target plane detection and space estimation
JP6221292B2 (ja) 集中度判定プログラム、集中度判定装置、および集中度判定方法
US11222439B2 (en) Image processing apparatus with learners for detecting orientation and position of feature points of a facial image
JP2002366958A (ja) 画像認識方法および画像認識装置
CN117751393A (zh) 利用视觉辅助装置检测障碍元素的方法和系统
WO2019156990A1 (en) Remote perception of depth and shape of objects and surfaces
CN113076781A (zh) 检测跌倒方法、装置、设备及存储介质
JP2017033556A (ja) 画像処理方法及び電子機器
US11361511B2 (en) Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
KR101892093B1 (ko) 사용자의 지시 위치 추정 장치 및 방법
JP6467039B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination