CN105278905B - 显示具有视觉效果的对象的装置和方法 - Google Patents

显示具有视觉效果的对象的装置和方法 Download PDF

Info

Publication number
CN105278905B
CN105278905B CN201510334943.2A CN201510334943A CN105278905B CN 105278905 B CN105278905 B CN 105278905B CN 201510334943 A CN201510334943 A CN 201510334943A CN 105278905 B CN105278905 B CN 105278905B
Authority
CN
China
Prior art keywords
light source
processor
virtual
display
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510334943.2A
Other languages
English (en)
Other versions
CN105278905A (zh
Inventor
李基彰
安民修
河仁友
朴升忍
李炯旭
李喜世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140097313A external-priority patent/KR102235679B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105278905A publication Critical patent/CN105278905A/zh
Application granted granted Critical
Publication of CN105278905B publication Critical patent/CN105278905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Abstract

提供一种显示具有视觉效果的对象的装置和方法。一种显示方法，包括：在虚拟环境中显示设置了光源的对象。所述方法还包括基于光源对对象周围的区域进行照明。

Description

显示具有视觉效果的对象的装置和方法
本申请要求于2014年7月8日提交到韩国知识产权局的第10-2014-0085024号韩国专利申请和2014年7月30日提交到韩国知识产权局的第10-2014-0097313号韩国专利申请的权益，所述韩国专利申请的全部公开通过出于所有目的的引用包含于此。
技术领域
以下描述涉及一种显示具有视觉效果的对象的装置和方法。
背景技术
随着移动图形处理器(GPU)技术的发展，内容提供者可通过将三维(3D)图形技术应用于移动装置来提供虚拟环境内容。在智能电话之前出现的移动装置已经使用二维(2D)图形技术简单地提供平面2D内容。然而，当前的移动装置(诸如智能电话)支持高性能中央处理器(CPU)和GPU。如上所述，当前的移动装置支持能够支持3D图形的硬件环境和与该硬件环境相关联的软件标准。软件标准是例如用于嵌入式系统的开放图形库(OpenGL ES)的工业标准。此外，移动装置的3D图形技术提供可创建逼真的虚拟对象并将创建的虚拟对象提供给用户的基础，其中，所述逼真的虚拟对象用于使沉浸在增强现实(AR)和虚拟现实(VR)中的感觉最大化。
发明内容
提供该发明内容以按照简化形式介绍对构思的选择，下面将在具体实施方式中对构思的选择进行进一步描述。该发明内容不意图确定所要求保护的主题的关键特征或必要特征，也不意图用作帮助确定所要求保护的主题的范围。
在一个总体方面中，提供一种显示方法，包括：在虚拟环境中显示设置了光源的对象；基于光源对对象周围的区域进行照明。
所述显示方法还可包括：将光源设置到对象。
设置的步骤可包括：在对象的对象区域上按照网格形式设置光源的位置。
所述显示方法还可包括:设置光源的照明方向和位置；基于照明方向，设置光源的遮光角和强度衰减。
照明的步骤可包括：基于照明方向和遮光角计算所述区域。
所述显示方法还可包括：从对象提取光源的位置的颜色。照明的步骤可包括将所述颜色应用到光源。
提取的步骤可包括：从对象提取光源的位置周围的颜色值的平均值、加权平均值和中值中的一个作为颜色的值。
照明的步骤可包括：响应于控制信号，控制所述区域的照明水平和照明的所述区域的大小中的任何一个或两者。
对象可包括静止图像对象和视频对象中的任何一个或两者。
所述显示方法还可包括：排除光源对对象的内部的视觉效果。
在另一总体方面中，提供一种显示装置，包括：显示器和处理器，处理器被配置为：在显示器上显示虚拟环境和设置了光源的对象，并在显示器上，基于光源对对象周围的区域进行照明，其中，所述对象位于虚拟环境中。
处理器还可被配置为:设置光源的照明方向、位置、遮光角和强度衰减中的任何一个或任何组合。
处理器还可被配置为：基于照明方向、位置、遮光角和强度衰减中的任何一个或任何组合计算所述区域。
处理器还可被配置为：从对象提取光源的位置的颜色；将所述颜色应用到光源。
处理器还可被配置为：从对象提取光源的位置周围的颜色值的平均值、加权平均值和中值中的一个作为颜色的值。
处理器还可被配置为：响应于控制信号，控制所述区域的照明水平。
对象可包括视频对象，虚拟环境可包括虚拟空间，在虚拟空间中设置了视频对象，处理器还可被配置为针对视频对象的每一帧将帧中的光源的位置的颜色应用到光源。
对象可包括照片对象，虚拟环境可包括基于预定布置设置照片对象的虚拟空间，处理器还可被配置为在显示器上基于光源对虚拟空间进行照明。
处理器还可被配置为：将设置到虚拟环境中的多个对象中的一个对象的光源的亮度设置为比设置到所述多个对象中的另一对象的另一光源的亮度亮。
显示器可包括头戴式显示器、立体显示器和触摸屏中的任何一个或任何组合。
在另一总体方面中，提供一种显示装置，包括：显示器，被配置为显示包括对象的图像；接口，被配置为接收输入；处理器，被配置为响应于输入，保持对象上的视觉效果，并改变对象的周围的视觉效果。
处理器还可被配置为：基于对象计算对象的周围的视觉效果。
处理器还可被配置为：响应于输入，改变设置到对象的光源对对象的周围的照明效果的水平。
处理器还可被配置为：响应于输入，开启和关闭对象的周围的视觉效果。
处理器还可被配置为：从对象的一部分提取颜色；将颜色应用到对象的周围的视觉效果。
在另一总体方面中，提供一种显示装置，包括：显示器，被配置为显示包括视频对象的图像；处理器，被配置为在播放视频对象期间，针对视频对象的每一帧改变视频对象的周围的视觉效果。
处理器还可被配置为：基于设置到视频对象的光源创建视觉效果。
处理器还可被配置为：在播放视频对象期间针对视频对象的每一帧将帧中的光源的位置的颜色应用到设置到视频对象的光源。
在另一总体方面中，提供一种显示装置，包括：处理器，处理器被配置为：将光源的类型和位置设置到虚拟环境中的对象，并利用光源对对象周围的区域进行照明。
处理器还可被配置为：响应于光源为聚光灯，设置光源的方向、遮光角和强度衰减。
处理器还可被配置为：从对象提取光源的位置的颜色；将颜色应用到光源。
从以下详细描述、附图和权利要求，其它方特征和将变得清楚。
附图说明
图1是示出显示对象和视觉效果的示例的示图；
图2是示出应用了虚拟光源的虚拟环境的示例的示图；
图3和图4是示出虚拟光源的类型的示例的示图；
图5是示出设置了虚拟光源的对象的示例的示图；
图6和图7是示出被设置到对象和虚拟区域的虚拟光源的示例的示图；
图8至图10是示出显示设置了虚拟光源的对象的方法的示例的流程图；
图11是示出显示装置的示例的框图；
图12和图13是示出显示装置的示例的示图；
图14至图21是示出屏幕的示例的示图，在该屏幕上显示由虚拟光源引起的视觉效果。
贯穿附图和详细说明，除非另外描述或提供，否则将理解相同的附图标号表示相同的元件、特征和结构。附图可不按比例绘制，为了清楚、说明和方便起见，可能夸大附图中的元件的相对大小、比例和描绘。
具体实施方式
提供以下具体实施方式以帮助读者全面理解在此描述的方法、设备和/或系统。然而，在此描述的系统、设备和/或方法的各种改变、修改和等同物对本领域普通技术人员来说将是显而易见的。所描述的处理步骤和/或操作的进程为示例；然而，除非步骤和/或操作需要按照特定顺序发生，否则步骤和/或操作的顺序不限于在此阐述的顺序，且顺序可按照本领域已知的那样变化。此外，为了更加清楚和简明，可省略对本领域普通技术人员来说公知的功能和结构的描述。
在此描述的特征可以以不同的形式被实施，而不解释为受限于在此描述的示例。相反，提供在此描述的示例将使本公开彻底和完整，并将本公开的完整范围传达给本领域普通技术人员。
与增强现实(AR)和虚拟现实(VR)相关联的应用可在例如沉浸式装置(诸如玻璃型显示器和头戴式显示器(HMD))中被使用。与AR和VR相关联的应用可需要逼真的并使沉浸感最大化的三维(3D)图形技术。
例如，许多移动装置和通用个人计算机(PC)可提供能够呈现3D图形的软件标准(例如，DirectX、开放图形库(OpenGL)或用于嵌入式系统的OpenGL(OpenGL ES))以及包括图形处理器(GPU)的硬件。简单的光效果呈现可仅被配置有软件标准。可能难以实现复杂的光效果，或者可需要使用相对高的复杂度的计算。
例如，被提供软件标准的移动装置可能因虚拟环境中具有明亮特性的对象而不容易呈现影响周围环境的视觉改变。当仅使用软件标准时，可能需要复杂的物理运算。因此，可能难以在移动环境和通用PC环境中通过发光的对象实时呈现视觉效果。
在下文中，这里使用的术语“视觉效果”可表示与对象相关联的屏幕上显示的所有视觉改变。例如，被提供软件标准的移动装置可呈现直接光学效果，诸如太阳和灯泡，而可能不容易呈现对周围具有视觉效果的具有自明亮特性的对象。
图1是示出显示对象110和视觉效果120的示例的示图。在该示例中，可通过例如采用从软件标准提供的光呈现方法在不使用复杂的物理运算的情况下在移动装置(诸如，智能电话和平板PC)中来提供由具有明亮特性的对象110在虚拟环境100中呈现视觉效果120的方法。将参照图3和图4描述从软件标准提供的光呈现方法。
虚拟环境100是显示装置的屏幕上的除了对象110之外的将被显示的剩余虚拟空间。虚拟环境100包括对象110存在的虚拟空间。例如，虚拟环境100可包括VR电影院、VR美术馆、VR博物馆和/或3D空间(诸如使用例如3D图形技术渲染的虚拟空间)。此外，虚拟环境100可包括二维(2D)空间，诸如视觉操作系统中的壁纸。在该示例中，可通过呈现3D图形中的预定环境来创建使用3D图形技术渲染的虚拟空间。
对象110被显示在显示装置的屏幕的对象区域上。对象区域指这样的区域，对象110被设置为被显示在所述区域上。例如，对象110被显示为位于虚拟环境100内。对象110可包括视频对象和/或照片对象，并具有明亮特性。
明亮特性表示对象110对对象110周围的虚拟区域具有视觉效果120的特性。例如，被设置虚拟光源的对象110表现为具有明亮特性。视觉效果120可包括亮度和颜色被呈现在显示在屏幕上的虚拟区域的照明效果。例如，可由显示装置的处理器基于虚拟光源来计算照明效果，并且可将照明效果呈现在虚拟区域上。
虚拟光源表示被设置到对象110以对对象110周围的虚拟区域进行照明的光源。一个或更多个虚拟光源可被设置到对象110。虚拟光源可被直接设置到对象110，并且可首先被设置到显示区域并随后被设置到对象110。当虚拟光源被设置到显示区域时，显示装置可将虚拟光源自动设置到对象110。例如，响应于预定对象的输入，处理器可将虚拟光源自动设置在与被设置到显示区域的虚拟光源的位置对应的对象的位置。
图2是示出应用了虚拟光源221的虚拟环境200的示例的示图。参照图2，虚拟光源221被设置到对象210，虚拟环境200的虚拟区域220被照明。例如，虚拟环境200可以是图2的矩形形状的3D空间。虚拟光源221可以是图4的聚光灯型的示例。
可由显示装置的处理器计算作为来自虚拟光源221的光被投射向的区域的虚拟区域220。在该示例中，虚拟区域220是以与来自虚拟光源221的照明方向224对应的中心点223为基准的遮光角222内的区域。
图3和图4是示出虚拟光源的类型的示例的示图。
图3示出点光源型的虚拟光源321。点光源型的虚拟光源321表示从预定点朝全向324投射光的光源。可基于虚拟光源321的位置，针对全向324计算由点光源型的虚拟光源321投射的虚拟区域。例如，由点光源型的虚拟光源321投射的虚拟区域可以是整个虚拟环境。
图4示出聚光灯型的虚拟光源421。聚光灯型的虚拟光源421表示从预定点起的在有限角度内(例如，在遮光角422内)投射光的光源。可基于遮光角422内的强度衰减显示使用聚光灯型的虚拟光源421的照明效果。
强度衰减可指示在虚拟区域420内随着距离变得远离虚拟光源421的位置照明效果根据光量的减小而减小的水平。例如，光量随着虚拟区域420变得远离聚光灯型的虚拟光源421而减小，聚光灯型的虚拟光源421被呈现为在以沿从虚拟光源421的位置起的照明方向424投射的中心点423为基准的遮光角422内具有照明效果。聚光灯型的虚拟光源421被呈现为在遮光角422外部的区域中不具有照明效果。
可基于例如软件标准配置图3的点光源型的虚拟光源321和图4的聚光灯型的虚拟光源421。软件标准还可配置仅具有一个方向的定向型的虚拟光源。
图5是示出设置了虚拟光源521的对象510的示例的示图。参照图5，虚拟光源521被设置到存在于虚拟环境500中的对象510。例如，包括虚拟光源521的多个虚拟光源可被设置到对象510。虚拟光源521可被直接设置到对象510，或者可首先被设置到显示器的对象区域随后被设置到对象510。例如，当虚拟光源521被设置到对象区域时，显示装置的处理器可基于被设置到对象区域的虚拟光源521的位置将虚拟光源521自动设置到对象510。设置了虚拟光源521的对象510或对象区域可由内容提供者或用户任意确定，并且可由处理器自动确定。内容提供者可表示提供对象510的内容的人，用户可表示使用显示装置的用户。
在图5中，可在对象510或对象区域内按照预定间隔自动设置虚拟光源的位置。例如，虚拟光源可被设置为按照网格形式均匀分布在对象510或对象区域上。
图6和图7是示出被设置到对象和虚拟区域的虚拟光源的示例的示图。
图6示出图5的虚拟环境500和对象510的部分区域501被放大的示例。在该示例中，以矩形形状显示对象610。
可自动设置虚拟光源621的所有信息，可自动设置虚拟光源621的强度衰减的信息，和/或可自动设置包括虚拟光源621的多个虚拟光源中的每对虚拟光源之间的间隔619。此外，可由内容提供者和/或显示装置的用户来设置虚拟光源621的所有信息。
当自动设置虚拟光源621的所有信息时，显示装置的处理器可基于例如对象610的水平长度自动设置包括虚拟光源621的多个虚拟光源中的每对虚拟光源之间的间隔619。详细地讲，虚拟光源的位置可被设置为每对虚拟光源之间具有预定间隔619的网格形式。例如，处理器可根据等式“间隔＝(对象的水平长度)/4”、“(具有强度衰减为1/4的半径r)＝间隔/2”和“(虚拟区域的截止半径)＝间隔×2”执行计算。在图6中，针对虚拟光源621，可由处理器基于间隔619和等式来计算截止半径626和具有强度衰减为1/4的半径625。与具有强度衰减为1/4的半径625相应的点可指示虚拟光源621的光量减小到1/4并且虚拟区域620的照明效果减小到1/4的点。
可由用户和/或内容提供者任意设置包括虚拟光源621的多个虚拟光源中的每对虚拟光源之间的间隔619。例如，间隔619可被用户和/或内容提供者设置为10。间隔619指示虚拟环境600内的坐标系下的长度，并且可以是物理长度或非物理长度。在该示例中，可由处理器根据等式“(具有强度衰减为1/4的半径r)＝间隔/2”和/或“(虚拟区域的截止半径)＝间隔×2”计算间隔619。
可由用户和/或内容提供者任意设置具有强度衰减为1/4的半径625。例如，具有强度衰减为1/4的半径625可被用户和/或内容提供者设置为5。具有强度衰减的半径625指示虚拟环境600内的坐标系中的长度，并且可以是物理长度或非物理长度。在该示例中，可由处理器根据等式“截止半径＝r×4”和“间隔＝r×2”自动设置虚拟区域620的截止半径626和间隔619。
在以下示例中，可由内容提供者和/或用户设置虚拟光源621的所有信息。例如，具有强度衰减为1/4的半径625和截止半径626可由内容提供者和/或用户任意设置，并且可用于计算照明效果的水平(例如，虚拟区域620内的光量)。当显示装置实时工作时，在每一帧可由处理器计算与从虚拟光源621的位置至屏幕上的像素的距离d对应的光量。例如，当距离d小于截止半径626时，可根据衰减等式计算虚拟区域620内的光量。例如，衰减等式可由“光量＝1/(1+2×(d/r)+(d/r)×(d/r))”表示。当距离d大于或等于截止半径626时，除了虚拟区域620之外的区域中的光量可被计算为0。
根据该示例，虚拟区域620可被称为衰减区域，并表示受虚拟光源621的照明效果影响的区域。可基于截止半径626确定虚拟区域620的大小。例如，当以聚光灯类型提供虚拟光源621时，虚拟区域620可以以圆锥体被投射到虚拟环境600的形式出现，并且可受遮光角限制。详细地讲，在遮光角外部的区域可不存在照明效果。
强度衰减可指示在虚拟区域620内照明效果的水平随着距离沿照明方向变得远离而减小。当强度衰减的值相对大时，照明效果可能集中并被应用到与虚拟光源621的位置邻近的区域上。当强度衰减的值相对小时，照明效果可被全部均匀地应用在虚拟区域620内。
当以点光源类型提供虚拟光源621时，不需要设置照明方向、截止半径和强度衰减。
图7是示出由虚拟光源应用到虚拟区域的颜色的示例的示图。显示装置的处理器可从对象(例如，图像对象和/或视频对象)提取将被应用到照明效果的颜色的颜色值。具体地说，处理器可从对象提取与各个虚拟光源的位置对应的代表颜色，将所述代表颜色应用到相应的虚拟光源。所述虚拟光源的颜色就会影响到该虚拟光源所照射的虚拟区域的颜色。例如，处理器可针对对象的与虚拟光源721、731和741的位置相应的部分提取多个像素的颜色值，并可通过从对象的在虚拟光源721、731和741的位置周围存在的像素对颜色值进行采样来提取颜色值。
当设置了虚拟光源721、731和741的对象(例如，图像对象和/或视频对象)复杂并且随时间改变大时，处理器可将通过采样提取的颜色值应用为照明效果的颜色。例如，在视频对象的情况下，采样可包括针对预定数量的帧计算与虚拟光源721、731和741的位置对应的像素的颜色值的统计值，或针对预定数量的帧计算与虚拟光源721、731和741的位置周围的区域对应的像素的颜色值的统计值，这两种统计值均可称为代表颜色值。统计值可以是例如平均值、权重平均值或中值。在该示例中，当处理器通过对视频对象的采样确定照明效果的颜色时，可防止响应于场景之间的连续变换而连续发生闪烁。
参照图7，处理器可将被提取为第一颜色值的视觉效果(例如，照明效果)应用到基于虚拟光源721的第一虚拟区域720，可将被提取为第二颜色值的视觉效果应用到基于虚拟光源731的第二虚拟区域730，并可将被提取为第三颜色值的视觉效果应用到基于虚拟光源741的第三虚拟区域740。虽然使用偏移折线(deviant crease line)部分地示出由虚拟光源引起的虚拟区域的颜色，但这仅是示例。处理器可将来自所有虚拟光源的每个颜色应用到相应的虚拟区域。
可使用每个虚拟区域的颜色值的统计值将视觉效果应用到第一虚拟区域720、第二虚拟区域730和第三虚拟区域740之中的重叠区域。统计值可以是例如平均值、加权平均值和中值。处理器可将照明效果的水平(例如，应用到重叠区域的光量)计算为通过将重叠的各个虚拟区域的照明效果的水平相加而获得的值。
图8至图10是示出显示设置了虚拟光源的对象的方法的示例的流程图。
参照图8，在操作810，显示装置的处理器使用显示器显示设置了虚拟光源的对象。例如，设置了虚拟光源的对象可被显示在虚拟环境中的对象区域上。
虚拟环境可包括其中提供视频对象和/或照片对象的虚拟空间。例如，虚拟环境可包括基于预定布置提供至少一个照片对象的虚拟空间。预定布置可以是多个照片对象排成一排的布置和/或多个照片对象排列在虚拟空间内的虚拟墙壁上的布置。将参照图20和图21进一步描述预定布置。
在操作820，处理器基于虚拟光源对对象的周围环境进行照明。例如，处理器可显示应用了虚拟光源的照明效果的虚拟环境。照明效果可仅被应用到虚拟区域内，并且可不被应用到虚拟区域外部的区域。
处理器可基于虚拟光源的照明方向、位置、遮光角和/或强度衰减计算将被应用照明效果的虚拟区域。例如，处理器可基于虚拟光源的照明方向、位置、遮光角和/或强度衰减计算来自虚拟光源的光被投射向的虚拟区域。
处理器可从对象提取每个虚拟光源的位置的颜色，并可将提取的颜色应用到虚拟光源。例如，处理器可提取每个虚拟光源的位置周围的颜色值的统计值作为颜色值。
例如，当显示装置显示视频对象时，处理器可通过针对视频对象的每一帧将帧中的虚拟光源的位置的颜色应用到虚拟光源，来将虚拟环境显示在显示器上。作为另一示例，当显示装置显示多个照片对象时，处理器可使用显示器将针对每个照片对象设置的虚拟光源引起的视觉效果显示在虚拟空间上。
根据示例，处理器可响应于从用户接收到的控制信号调节虚拟光源引起的照明效果的水平。例如，控制信号可以是维持显示在对象区域上的对象的亮度并仅改变针对对象设置的虚拟光源引起的照明效果的水平的信号。
当在虚拟空间上存在多个对象时，处理器可将设置到多个对象之中的预定对象的虚拟光源的亮度设置为比设置到多个对象之中的另一对象的虚拟光源的亮度亮。预定对象可以是被确定为显示在屏幕的中心的对象、基于预定标准自动选择的对象或由用户选择的对象。
参照图9，在操作910，显示装置的处理器或用户设置明亮对象。用户或处理器可将影响对象周围的虚拟环境的明亮对象设置为具有明亮特性的对象。处理器可将由显示装置接收到的任何对象、基于预定标准选择的对象或由用户选择的对象设置为具有明亮特性的对象。例如，对象可包括霓虹灯对象、视频对象、照片对象和/或静止图像对象。
在操作920，用户或处理器设置虚拟光源的类型。例如，虚拟光源的类型可被设置为聚光灯型或点光源型，其中，聚光灯型仅影响对象周围的部分区域并在虚拟环境中衰减，点光源型均匀地影响整个虚拟环境而不具有衰减。可从图形引擎和/或软件标准提供以上两种类型，并可在PC和/或移动装置中获得以上两种类型。当以点光源型提供虚拟光源时，用户或处理器在操作931中继续。当虚拟光源的类型被提供为聚光灯型时，用户或处理器可在操作941中继续。
在操作931，用户或处理器设置虚拟光源的位置。例如，在点光源型的情况下，整个虚拟环境可以是虚拟区域，因此，处理器或用户可仅设置虚拟光源的位置。可将虚拟光源的位置设置为在对象之内。
在操作941至943，用户或处理器设置虚拟光源的信息。详细地讲，在操作941，用户或处理器设置虚拟光源的位置。在操作942，用户或处理器设置虚拟光源的方向，例如，照明方向。在操作943，用户或处理器设置虚拟光源的遮光角和强度衰减。处理器可显示聚光灯型引起的照明效果，从而照明效果的水平随着光指向照明方向并且变得远离虚拟光源的位置而减小。遮光角可以是基于照明方向的角。例如，当遮光角是基于照明方向的45度角时，设置到对象的虚拟光源引起的照明效果可不被应用到虚拟环境的存在于基于照明方向的45度角外部的区域。
在操作950中，处理器从对象提取颜色。处理器可从为对象(例如，视频对象和/或照片对象)指定的多个颜色中实时提取虚拟光源的颜色。例如，处理器可提取被指派虚拟光源的对象的位置或对象区域的位置的颜色值。作为另一示例，处理器可通过对对象的位置或对象区域的位置周围的颜色值的统计值(例如，平均值、加权平均值和中值)进行采样来提取虚拟光源的颜色。
在操作960，处理器对虚拟区域进行照明。可由处理器基于诸如被设置到对象或对象区域的虚拟光源的位置、方向、遮光角、强度衰减和颜色值的信息计算虚拟区域。例如，处理器可基于虚拟光源的信息执行从图形引擎和/或软件标准(诸如DirectX、OpenGL和OpenGL ES)提供的光计算，并可将设置到对象的虚拟光源引起的虚拟环境的照明效果实时应用到虚拟环境。
图10是示出响应于用户的控制信号的显示方法的流程图。在操作1051，处理器响应于控制信号实时改变虚拟光源。详细地讲，在图9的操作960中的将照明效果应用到虚拟环境的操作之前，处理器从用户接收控制信号。用户可通过使用接口将控制信号输入到显示装置来调节因对象而发生的虚拟环境的改变的水平。接口是接收用户输入的单元，并可包括例如触摸屏、触摸板和/或按钮。
处理器可响应于控制信号来控制虚拟光源对虚拟区域的影响水平(即，照明水平)和由虚拟光源影响(即，照明)的虚拟区域的大小。例如，当显示装置是智能电话时，可通过智能电话的触摸界面将虚拟光源的亮度水平调节为在0和1之间。用户可基于必要性，通过将虚拟光源对虚拟区域的影响水平调整为0来关闭由对象引起的照明效果的水平。响应于从用户接收的控制信号，显示装置可仅改变虚拟光源对对象周围的虚拟区域的影响的水平，并可在维持对象的亮度的同时显示对象。
图11是示出显示装置1100的示例的框图。参照图11，显示装置1100包括显示器1110和处理器1120。
显示器1110在虚拟环境中显示设置了虚拟光源的对象。例如，显示器1110可包括头戴式显示器(HMD)、立体显示器和/或触摸屏作为用于显示具有明亮特性的对象的视觉效果的单元。
可由用户或处理器1120将虚拟光源设置到对象或对象区域。例如，处理器1120可在对象的对象区域上按照网格形式设置多个虚拟光源的位置。处理器1120可基于照明方向设置每个虚拟光源的照明方向和位置并可设置每个虚拟光源的遮光角和强度衰减。
处理器1120基于虚拟光源对虚拟环境中的对象周围的虚拟区域进行照明。例如，处理器1120可基于照明方向和遮光角计算每个虚拟光源的虚拟区域。处理器1120可通过排除虚拟光源对对象内部的视觉效果并通过包括虚拟光源对对象周围的虚拟区域的视觉效果来对虚拟区域进行照明。
处理器1120可从对象提取与每个虚拟光源的位置相应的颜色，并可通过将提取的颜色应用到虚拟光源来对虚拟区域进行照明。例如，处理器1120可提取虚拟光源的位置周围的颜色值的平均值、加权平均值或中值作为虚拟光源的颜色值。
显示装置1100还可包括从用户接收控制信号的接口(未示出)。响应于从用户接收的控制信号，处理器1120可控制虚拟光源对虚拟区域的影响水平(即，照明水平)和由虚拟光源影响(即，照明)的虚拟区域的大小。
图12和图13是示出显示装置的示例的示图。
参照图12，显示装置1200的显示器可包括例如HMD。在该示例中，显示装置1200以智能电话1220被安装到头部安装器1210的形式被提供。
头部安装器1210包括头部安装器1210外部的接口1211。例如，接口1211可包括触摸板和/或按钮。响应于从头部安装器1210的接口1211接收到的控制信号，智能电话1220的处理器可调节虚拟光源的亮度水平。
例如，可通过向上或向下拖动接口1211(例如，触摸板)的用户操作来执行0和1之间的亮度水平的连续调节。可通过接口1211(例如，按钮)来切换具有明亮特性的对象的视觉效果的开启操作或关闭操作。
然而，接口1211不限于上述示例。除了显示装置1200的示例之外，处理器还可接收遥控器的控制信号和/或与通过各种接口接收的手运动手势相应的控制信号。响应于接收的控制信号，处理器可改变和显示分配到对象的虚拟光源引起的视觉效果(例如，照明效果)。
图13示出从显示装置1300(例如，图12的显示装置1200中的智能电话)输出的画面。显示装置1300提供左图像1310和右图像1320以三维地向用户提供虚拟环境。在该示例中，左图像1310和右图像1320中的每个可包括具有明亮特性的对象和对象存在的虚拟环境。
例如，图12的头部安装器1210可被配置为将从显示装置1300输出的左图像1310和右图像1320分别提供给用户的左眼和右眼。头部安装器1210可将左图像1310和右图像1320分别提供给用户的左眼和右眼，从而用户可观看3D图像。
图14至图21是示出显示虚拟光源引起的视觉效果的屏幕的示例的示图。
图14和图15示出在将视觉效果应用到对象之前和之后的屏幕的示例。参照图14，由于仅对象1410被显示在虚拟环境(例如，黑壁纸)中，因此用户可具有在对象1410和虚拟环境之间的差异感。
参照图15，通过将照明效果1520应用到虚拟环境，将对象1510自然地显示在虚拟环境中。例如，处理器可针对具有明亮特性的对象1510设置和产生虚拟光源，并可将应用了照明效果1520的虚拟环境显示在屏幕上。如上所述，显示装置可显示受对象1510影响并具有虚拟环境明亮的特性的画面。因此，与图14的示例相比，可更真实地呈现对象1510和虚拟环境。
图16至图19示出将VR电影院显示为虚拟环境的显示装置的示例。例如，处理器可将与真实电影院相似的虚拟空间构建为虚拟环境。在该示例中，当对象区域被布置在虚拟空间的中心并且视频对象在对象区域上被播放时，用户可以带着沉浸感观看电影。
例如，当采用如图12和图13所示的显示装置1200和1300中的任何一个作为显示装置时，显示装置可检测用户朝向所有方向的注视运动和用户的头运动，并且响应于此，显示装置可显示与此相应的虚拟环境。因此，用户可环顾VR电影院，并可通过注视位于VR电影院的中心的对象区域来观看电影。
图16示出没有应用照明效果的虚拟环境(例如，VR电影院)的示例。对象1610周围的虚拟环境被显示为均匀的，而不管对象1610(例如，视频对象)的颜色或亮度改变如何。
图17至图19示出应用了照明效果1720、1820或1920的虚拟环境的示例。响应于对象1710、1810或1910的颜色或亮度的改变而分别将照明效果1720、1820或1920应用到对象1710、1810或1910周围的虚拟环境。例如，当棕色(brownish)的视频对象正被显示时，虚拟环境可被改变为棕色调。当蓝色(bluish)的视频对象正被显示时，虚拟环境可被改变为蓝色调。此外，可基于视频对象的边缘的颜色或亮度而不同地改变和显示虚拟环境。
例如，处理器可将照明效果应用到虚拟环境，从而虚拟环境可显得与真实电影院的内部环境相似。此外，处理器可基于视频对象实时应用虚拟环境的照明效果。因此，根据视频对象的亮度的增加，视频对象周围的虚拟区域可被显示为显得明亮。相反地，根据视频对象的亮度的减小，虚拟区域可被显示为显得黑暗。因此，显示装置可向用户提供沉浸感，就好像用户在真实电影院一样。
图17至图19示出响应于从用户接收的控制信号不同地应用照明效果的水平的屏幕的示例。例如，显示装置可应用图17中的相对低水平(例如，接近0的水平)的照明效果1720，可应用图18中的中间水平(例如，0和1之间的水平)的照明效果1820，并可应用图19中的相对高水平(例如，接近1的水平)的照明效果1920。详细地，对象引起的照明效果按照图17至图19的示例的顺序被应用得相对明亮。可基于用户偏好，响应于控制信号容易地改变照明效果的水平。如上所述，由处理器响应于控制信号改变照明效果的水平的操作可被应用到所有虚拟环境、对象以及VR电影院。
图20示出VR美术馆被显示为虚拟环境的显示装置的屏幕的示例。例如，在VR美术馆中，显示装置(例如，智能电话)的图片库可被显示为3D虚拟空间。显示装置可通过基于照片对象2011、2012和2013的颜色或亮度改变照片对象2011、2012和2013周围的虚拟环境，使用户能够具有好像虚拟空间是真实空间的感觉。
例如，图20的VR美术馆是指包括存在地面的虚拟空间的虚拟环境。处理器可使照片对象2011、2012和2013竖立，显示竖立的照片对象2011、2012和2013，并将照片对象2011、2012和2013的颜色和亮度应用到与虚拟环境的地面相应的虚拟区域。因此，用户可能感知不到照片对象2011、2012和2013与照片对象2011、2012和2013周围的虚拟环境之间的差异，并可具有好像照片存在于真实空间的感觉。
此外，处理器可在虚拟环境中显示并排竖立的三个照片对象2011、2012和2013。例如，处理器可将设置到虚拟空间中的预定对象(例如，照片对象2011、2012和2013之中的位于屏幕的中心的照片对象2011)的虚拟光源的亮度设置为大于设置到其它对象中的每个对象的虚拟光源的亮度。参照图20，与其它照片对象2012和2013相比，位于中心的照片对象2011引起的照明效果2020相对较明亮地被应用到虚拟环境。显示装置可通过将照片对象2011引起的照明效果2020显示为大于照片对象2012和2013的照明效果，来增强沉浸感。例如，显示装置可使用户能够具有好像照片对象2011、2012和2013，照片对象2011、2012和2013周围的虚拟区域以及虚拟环境连续连接的感觉。
图21示出VR博物馆被显示为虚拟环境的显示装置的屏幕的示例。例如，VR博物馆可以是VR美术馆的示例中的一个，并可指被配置为以与真实博物馆相似的结构在虚拟空间中显示多个对象的虚拟环境。参照图21，当对象2110被显示在VR博物馆的虚拟墙壁上时，处理器可将对象2110引起的照明效果应用到虚拟墙壁的虚拟区域。
根据示例的显示装置可被应用到移动装置以显示3D图形和VR图像，并可被应用到使用移动装置的各种应用产品。例如，显示装置可使用软件标准的光效果呈现来呈现对象的虚拟环境的照明效果。即使在移动装置中，显示装置也可真实地实时显示虚拟环境的例如霓虹灯广告、VR电影院和VR美术馆。
显示装置可使用软件标准实时向用户提供真实感，而无需执行使用高复杂度的计算，诸如光线跟踪、光能传递和照片绘制(photo mapping)。由于计算的复杂度相对低，因此即使在移动装置中显示装置也可将由明亮对象造成的照明效果实时施加到虚拟环境。例如，显示装置可将虚拟光源设置到具有明亮特性的对象，并可通过从软件标准提供的光效果呈现利用相对低复杂度的计算来显示对象引起的虚拟环境的照明效果。
显示装置可采用使用GPU加速函数的软件标准，因此可实时显示照明效果，即使在移动装置(诸如智能电话)中也可如此。
用于利用软件标准显示明亮对象引起的视觉效果的显示装置可采用表1所表示的关于虚拟光源的编程定义。
[表1]
Figure BDA0000739423740000161
Figure BDA0000739423740000171
可使用一个或更多个硬件组件、一个或更多个软件组件或一个或更多个硬件组件与一个或更多个软件组件的组合来实现上面描述的各种单元、元件和方法。
硬件组件可以是例如以物理方式执行一个或更多个操作的物理装置，但不限于此。硬件组件的示例包括麦克风、放大器、低通滤波器、高通滤波器、带通滤波器、模数转换器、数模转换器和处理装置。
可例如由被软件或指令控制以执行一个或更多个操作的处理装置实现软件组件，但不限于此。计算机、控制器或其它控制装置可使处理装置运行软件或执行指令。可由一个处理装置实现一个软件组件，或者可由一个处理装置实现两个或更多的软件组件，或者可由两个或更多个处理装置实现一个软件组件，或者可由两个或更多个处理装置实现两个或更多个软件组件。
可使用一个或更多个通用或专用计算机(诸如例如，处理器、控制器和算术逻辑单元、数字信号处理器、微型计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够运行软件或执行指令的任何其它装置)来实现处理装置。处理装置可运行操作系统(OS)并且可运行在OS下操作的一个或更多个软件应用。当运行软件或执行指令时，处理装置可访问、存储、操纵、处理和创建数据。为了简单，可在描述中使用单数术语“处理装置”，但本领域普通技术人员将会理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括一个或更多个处理器或者一个或更多个处理器和一个或更多个控制器。另外，不同的处理结构是可行的，诸如并行处理器或多核处理器。
被构造为实现软件组件以执行操作A的处理装置可包括处理器，该处理器被编程为运行软件或执行指令以控制处理器执行操作A。另外，被构造为实现软件组件以执行操作A、操作B和操作C的处理装置可具有各种结构，诸如例如：被构造为实现软件组件以执行操作A、B和C的处理器；被构造为实现软件组件以执行操作A的第一处理器和被构造为实现软件组件以执行操作B和C的第二处理器；被构造为实现软件组件以执行操作A和B的第一处理器和被构造为实现软件组件以执行操作C的第二处理器；被构造为实现软件组件以执行操作A的第一处理器、被构造为实现软件组件以执行操作B的第二处理器和被构造为实现软件组件以执行操作C的第三处理器；被构造为实现软件组件以执行操作A、B和C的第一处理器和被构造为实现软件组件以执行操作A、B和C的第二处理器；或者一个或更多个处理器的任何其它结构，所述一个或多个处理器中的每一个执行操作A、B和C中的一个或更多个操作。虽然这些示例提及三个操作A、B和C，但可执行的操作的数量不限于三个，而是可以是实现所希望的结果或执行所希望的任务所需的任何数量的操作。
用于控制处理装置实现软件组件的软件或指令可包括计算机程序、一条代码、指令或其一些组合，以用于独立地或共同地指示或配置处理装置以执行一个或更多个所希望的操作。软件或指令可包括可由处理装置直接执行的机器代码(诸如，由编译器产生的机器代码)和/或可由处理装置使用解释器执行的高级代码。软件或指令和任何关联的数据、数据文件和数据结构可被永久或暂时包含于任何类型的机器、组件、物理或虚拟装备、计算机存储介质或装置或者能够提供指令或数据或由处理装置解释的传播的信号波。软件或指令和任何关联的数据、数据文件和数据结构还可分布在网络连接的计算机系统上，从而以分布方式存储并执行软件或指令和任何关联的数据、数据文件和数据结构。
例如，软件或指令和任何关联的数据、数据文件和数据结构可被记录、存储或固定在一个或更多个非暂时性计算机可读存储介质中。非暂时性计算机可读存储介质可以是能够存储软件或指令和任何关联的数据、数据文件和数据结构以使其可由计算机系统或处理装置读取的任何数据存储装置。非暂时性计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘或本领域普通技术人员已知的任何其它非暂时性计算机可读存储介质。
用于实现这里公开的示例的功能程序、代码和代码段可由示例所属领域程序员基于这里提供的附图及其相应描述来容易地构造。
仅作为非穷举性说明，这里描述的装置可指移动装置(诸如，例如蜂窝电话、智能电话)、可穿戴智能装置(诸如，例如指环、手表、眼镜、手链、脚链、腰带、项链、耳环、头巾、头盔、嵌入衣服的装置等)、个人计算机(PC)、平板个人计算机(tablet)、平板手机、个人数字助理(PDA)、数码相机、便携式游戏控制台、MP3播放器、便携式/个人多媒体播放器(PMP)、掌上型电子书、超便携个人计算机(UMPC)、便携式膝上型PC、全球定位系统(GPS)导航仪、以及诸如高清电视(HDTV)、光盘播放器、DVD播放器、蓝光播放器、机顶盒的装置或能够进行与这里公开一致的无线通信或网络通信的其它任何装置。在非穷尽示例中，可穿戴装置(例如眼镜、手链)可以自安装在用户身上。在另一非穷尽的示例中，可穿戴装置可以通过附加装置安装在用户身上，诸如，例如使用护臂将智能电话或平板手机附在用户手臂上，或使用系索将可穿戴装置悬挂在用户的颈部。
虽然本公开包括特定的示例，但是本领域的普通技术人员应该清楚，可在不脱离权利要求及其等同物的精神和范围的情况下对示例做出形式和细节上的各种改变。这里描述的示例仅被考虑为描述性的，而不是限制的目的。每个示例中的特征或方面的描述将被认为可应用于其它示例中的类似特征或方面。如果描述的技术被以不同的顺序执行，和/或如果描述的系统、结构、装置或电路中的组件被以不同的方式组合和/或被其它组件或其等同物代替或补充，则可获得合适的结果。因而，本公开的范围不是由详细的描述限定，而是由权利要求及其等同物限定，并且权利要求及其等同物范围内的所有改变均被解释为包括在本公开内。

Claims (24)

1.一种显示方法，包括：
将光源设置到对象，其中，所述设置的步骤包括：将光源的位置设置在对象的对象区域上，其中，对象具有明亮特性，明亮特性表示对象对对象周围的虚拟区域具有视觉效果的特性；
在虚拟环境中显示设置了光源的对象；
基于光源对对象周围的区域进行照明，并显示对象周围的区域被光源照明的视觉效果，
其中，所述显示方法还包括：
针对虚拟环境中的对象的与光源的位置相应的部分提取多个像素的颜色值，并可通过从对所述多个像素的颜色值进行采样来提取代表颜色值，
其中，所述照明的步骤包括将所述代表颜色应用到相应的光源。
2.如权利要求1所述的显示方法，其中，将光源的位置设置在对象的对象区域上的步骤包括：
按照网格形式将光源的位置设置在对象的对象区域上。
3.如权利要求1所述的显示方法，还包括:
设置光源的照明方向和位置；
基于照明方向，设置光源的遮光角和强度衰减。
4.如权利要求3所述的显示方法，其中，所述照明的步骤包括：
基于所述照明方向和所述遮光角计算所述区域。
5.如权利要求1所述的显示方法，其中，所述提取的步骤包括：
从对象提取光源的位置周围的颜色值的平均值、加权平均值和中值中的一个作为代表颜色的值。
6.如权利要求1所述的显示方法，其中，所述照明的步骤包括：
响应于控制信号，控制所述区域的照明水平和照明的所述区域的大小中的任何一个或两者。
7.如权利要求1所述的显示方法，其中，对象包括静止图像对象和视频对象中的任何一个或两者。
8.如权利要求1所述的显示方法，还包括：
排除光源对对象的内部的视觉效果。
9.一种显示装置，包括：
显示器；
处理器，被配置为在显示器上显示虚拟环境和设置了光源的对象，其中，所述对象设置在虚拟环境中，光源的位置被设置在对象的对象区域上，其中，对象具有明亮特性，明亮特性表示对象对对象周围的虚拟区域具有视觉效果的特性，
在显示器上，基于光源对对象周围的区域进行照明，并显示对象周围的区域被光源照明的视觉效果，
其中，处理器还被配置为：针对虚拟环境中的对象的与光源的位置相应的部分提取多个像素的颜色值，并可通过从对所述多个像素的颜色值进行采样来提取代表颜色值，
其中，处理器被配置为将所述代表颜色应用到相应的光源。
10.如权利要求9所述的显示装置，其中，处理器还被配置为:
设置光源的照明方向、位置、遮光角和强度衰减中的任何一个或任何组合。
11.如权利要求10所述的显示装置，其中，处理器还被配置为：
基于所述照明方向、所述位置、所述遮光角和所述强度衰减中的任何一个或任意组合来计算所述区域。
12.如权利要求9所述的显示装置，其中，处理器还被配置为：
从对象提取光源的位置周围的颜色值的平均值、加权平均值和中值中的一个作为代表颜色的值。
13.如权利要求9所述的显示装置，其中，处理器还被配置为：
响应于控制信号，控制所述区域的照明水平。
14.如权利要求9所述的显示装置，其中，
对象包括视频对象；
虚拟环境包括虚拟空间，在虚拟空间中设置了视频对象；
处理器还被配置为针对视频对象的每一帧将帧中的与光源的位置对应的代表颜色应用到相应的光源。
15.如权利要求9所述的显示装置，其中：
对象包括照片对象；
虚拟环境包括虚拟空间，基于预定布置在虚拟空间中设置照片对象；
处理器还被配置为在显示器上基于光源对虚拟空间进行照明。
16.如权利要求9所述的显示装置，其中，处理器还被配置为：
将设置到虚拟环境中的多个对象中的预定对象的光源的亮度设置为比设置到所述多个对象中的其他对象的光源的亮度亮。
17.如权利要求9所述的显示装置，其中，显示器包括头戴式显示器、立体显示器和触摸屏中的任何一个或任何组合。
18.一种显示装置，包括：
显示器，被配置为显示包括对象的图像；
接口，被配置为接收输入；
处理器，被配置为响应于输入，保持对象上的照明效果，并改变对象的周围的照明效果，
其中，处理器还被配置为：
响应于输入，改变设置到对象的光源对对象的周围的照明效果的水平，其中，光源的位置被设置在对象的对象区域上，其中，对象具有明亮特性，明亮特性表示对象对对象周围的虚拟区域具有视觉效果的特性，
其中，处理器还被配置为：针对虚拟环境中的对象的与光源的位置相应的部分提取多个像素的颜色值，并可通过从对所述多个像素的颜色值进行采样来提取代表颜色值，
其中，处理器被配置为将所述代表颜色应用到相应的光源。
19.如权利要求18所述的显示装置，其中，处理器还被配置为：
基于对象计算对象的周围的照明效果。
20.如权利要求18所述的显示装置，其中，处理器还被配置为：
响应于输入，开启和关闭对象的周围的照明效果。
21.一种显示装置，包括：
显示器，被配置为显示包括视频对象的图像；
处理器，被配置为在播放视频对象期间，针对视频对象的每一帧改变视频对象的周围的视觉效果，
其中，处理器还被配置为：
基于设置到视频对象的光源创建视频对象的周围的视觉效果，其中，光源的位置被设置在对象的对象区域上，其中，对象具有明亮特性，明亮特性表示对象对对象周围的虚拟区域具有视觉效果的特性，
其中，处理器还被配置为：针对虚拟环境中的对象的与光源的位置相应的部分提取多个像素的颜色值，并可通过从对所述多个像素的颜色值进行采样来提取代表颜色值，
其中，处理器被配置为将所述代表颜色应用到相应的光源。
22.如权利要求21所述的显示装置，其中，处理器还被配置为：
在播放视频对象期间针对视频对象的每一帧将帧中的在光源的位置的颜色应用到设置到视频对象的光源。
23.一种显示装置，包括：
处理器，被配置为将光源设置到虚拟环境中的对象并设置光源的类型和位置，
利用光源对对象周围的区域进行照明，以显示对象周围的区域被光源照明的视觉效果,
其中，处理器被配置为将光源的位置设置在对象的对象区域上，其中，对象具有明亮特性，明亮特性表示对象对对象周围的虚拟区域具有视觉效果的特性，
其中，处理器还被配置为：针对虚拟环境中的对象的与光源的位置相应的部分提取多个像素的颜色值，并可通过从对所述多个像素的颜色值进行采样来提取代表颜色值，
其中，处理器被配置为将所述代表颜色应用到相应的光源。
24.如权利要求23所述的显示装置，其中，处理器还被配置为：
响应于光源为聚光灯，设置光源的方向、遮光角和强度衰减。
CN201510334943.2A 2014-07-08 2015-06-16 显示具有视觉效果的对象的装置和方法 Active CN105278905B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0085024 2014-07-08
KR20140085024 2014-07-08
KR10-2014-0097313 2014-07-30
KR1020140097313A KR102235679B1 (ko) 2014-07-08 2014-07-30 시각 효과를 가지는 객체를 디스플레이하는 장치 및 방법

Publications (2)

Publication Number Publication Date
CN105278905A CN105278905A (zh) 2016-01-27
CN105278905B true CN105278905B (zh) 2022-06-21

Family

ID=53502441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510334943.2A Active CN105278905B (zh) 2014-07-08 2015-06-16 显示具有视觉效果的对象的装置和方法

Country Status (4)

Country Link
US (2) US10593113B2 (zh)
EP (1) EP2966620A3 (zh)
JP (1) JP6909554B2 (zh)
CN (1) CN105278905B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10354449B2 (en) * 2015-06-12 2019-07-16 Hand Held Products, Inc. Augmented reality lighting effects
USD815648S1 (en) * 2016-04-11 2018-04-17 Mangala Iyer Display screen or portion thereof with graphical user interface
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
CN106200946A (zh) * 2016-06-30 2016-12-07 乐视控股（北京）有限公司 一种亮度调节方法及装置
JP6306678B1 (ja) * 2016-12-20 2018-04-04 株式会社コロプラ 仮想空間にオブジェクトを提示するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、コンピュータ装置
CN107046104A (zh) * 2017-01-10 2017-08-15 广东欧珀移动通信有限公司 Oled封装结构及其制备方法
CN111406412B (zh) * 2017-04-11 2021-09-03 杜比实验室特许公司 分层的增强型娱乐体验
JP6921606B2 (ja) * 2017-04-24 2021-08-18 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US10274320B2 (en) 2017-08-04 2019-04-30 Motorola Solutions, Inc. Method and device for providing safe zone information for incident area
JP7259753B2 (ja) * 2017-08-29 2023-04-18 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US20210065659A1 (en) * 2018-01-25 2021-03-04 Sony Corporation Image processing apparatus, image processing method, program, and projection system
JP2019185072A (ja) * 2018-03-30 2019-10-24 東京ガスｉネット株式会社 情報処理システム及びプログラム
US10818093B2 (en) * 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
JP7262976B2 (ja) * 2018-11-02 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN111489448B (zh) * 2019-01-24 2024-08-20 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
JP7292905B2 (ja) * 2019-03-06 2023-06-19 キヤノン株式会社 画像処理装置及び画像処理方法、及び撮像装置
WO2020242047A1 (en) 2019-05-30 2020-12-03 Samsung Electronics Co., Ltd. Method and apparatus for acquiring virtual object data in augmented reality
US20210097776A1 (en) * 2019-09-28 2021-04-01 Apple Inc. Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
WO2023276156A1 (ja) * 2021-07-02 2023-01-05 日本電信電話株式会社 空間像表示装置、空間像表示方法、及びプログラム
WO2023049671A1 (en) * 2021-09-23 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for content applications
WO2023126984A1 (en) * 2021-12-31 2023-07-06 Adloid Technologies Private Limited Automatic and dynamic generation of modelling inputs based atleast upon a defined set of rendering variables, and rendering a reconstructed and optimized model in realtime
USD1032635S1 (en) * 2022-02-21 2024-06-25 Beijing Zitiao Network Technology Co., Ltd. Display screen or portion thereof with a graphical user interface
US20240144604A1 (en) * 2022-10-28 2024-05-02 At&T Intellectual Property I, L.P. Systems and methods for facilitating immersive exhibits

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650837A (zh) * 2009-07-16 2010-02-17 浙江大学 一种海洋水体虚拟现实的建模方法
CN102509348A (zh) * 2011-09-26 2012-06-20 北京航空航天大学 一种共享增强现实场景的真实物体多方位表示方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07281652A (ja) 1994-04-07 1995-10-27 Sony Corp 画像処理装置
JPH10222701A (ja) 1997-02-05 1998-08-21 Toto Ltd コンピュータグラフィック装置および画像データの作成方法
JP4527853B2 (ja) * 2000-07-28 2010-08-18 株式会社バンダイナムコゲームス ゲームシステム及び情報記憶媒体
US6639595B1 (en) * 2000-08-23 2003-10-28 Nintendo Co., Ltd. Achromatic lighting in a graphics system and method
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP4827217B2 (ja) 2001-09-28 2011-11-30 株式会社バンダイナムコゲームス 画像生成システム、プログラム及び情報記憶媒体
AT6405U1 (de) * 2002-06-05 2003-10-27 Card Casinos Austria Res & Dev Chipsortiervorrichtung
JP4200858B2 (ja) 2003-08-25 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
HU0401057D0 (en) 2004-05-26 2004-08-30 Balogh Tibor Method and apparatus for generating 3d images
ATE480105T1 (de) * 2004-05-26 2010-09-15 Tibor Balogh Verfahren und vorrichtung zur erzeugung von 3d- bildern
EP1720131B1 (en) 2005-05-03 2009-04-08 Seac02 S.r.l. An augmented reality system with real marker object identification
US8593476B2 (en) * 2008-02-13 2013-11-26 Gary Demos System for accurately and precisely representing image color information
US8451270B2 (en) 2008-06-25 2013-05-28 Microsoft Corporation Real-time radiosity system in a video game environment
JP5237066B2 (ja) 2008-11-28 2013-07-17 キヤノン株式会社 複合現実感提示システムおよび複合現実感提示方法、プログラム
US8542231B2 (en) 2009-06-29 2013-09-24 Crytek Gmbh Method, computer graphics image rendering system and computer-readable data storage medium for computing of indirect illumination in a computer graphics image of a scene
KR101266360B1 (ko) 2009-08-24 2013-05-22 한국전자통신연구원 전역조명을 지원하는 그래픽 처리 장치 및 이를 이용한 그래픽 처리 방법
KR101601687B1 (ko) 2009-09-22 2016-03-09 삼성전자주식회사 영상 처리 장치 및 방법
US20110083108A1 (en) 2009-10-05 2011-04-07 Microsoft Corporation Providing user interface feedback regarding cursor position on a display screen
EP2320381A1 (en) * 2009-11-04 2011-05-11 TomTec Imaging Systems GmbH Method and device for visualizing surface-like structures in volumetric data sets
JP5740822B2 (ja) 2010-03-04 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR20110107545A (ko) 2010-03-25 2011-10-04 에스케이텔레콤 주식회사 광원 인식을 이용한 증강현실 시스템 및 그 방법과, 이를 구현하기 위한 증강현실 처리 장치
KR20120004227A (ko) 2010-07-06 2012-01-12 삼성전자주식회사 영상 처리 장치 및 방법
JP5646263B2 (ja) * 2010-09-27 2014-12-24 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
CN102769822A (zh) 2011-05-05 2012-11-07 广州三星通信技术研究有限公司 视觉效果显示方法以及使用该方法的移动通信终端
GB2501925B (en) * 2012-05-11 2015-04-29 Sony Comp Entertainment Europe Method and system for augmented reality
US9076247B2 (en) * 2012-08-10 2015-07-07 Ppg Industries Ohio, Inc. System and method for visualizing an object in a simulated environment
JP6214981B2 (ja) 2012-10-05 2017-10-18 株式会社ファイン 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
US9459820B2 (en) * 2012-11-08 2016-10-04 Ricoh Company, Ltd. Display processing apparatus, display processing method, and computer program product
CN103606182B (zh) 2013-11-19 2017-04-26 华为技术有限公司 图像渲染方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650837A (zh) * 2009-07-16 2010-02-17 浙江大学 一种海洋水体虚拟现实的建模方法
CN102509348A (zh) * 2011-09-26 2012-06-20 北京航空航天大学 一种共享增强现实场景的真实物体多方位表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"利用平面虚拟点光源的素描图像绘制";佟强 等;《计算机学报》;20100531;第33卷(第5期);第919-926页 *

Also Published As

Publication number Publication date
US20160012642A1 (en) 2016-01-14
US10593113B2 (en) 2020-03-17
CN105278905A (zh) 2016-01-27
EP2966620A3 (en) 2016-07-06
US20200175771A1 (en) 2020-06-04
EP2966620A2 (en) 2016-01-13
US11200746B2 (en) 2021-12-14
JP6909554B2 (ja) 2021-07-28
JP2016018560A (ja) 2016-02-01

Similar Documents

Publication Publication Date Title
CN105278905B (zh) 显示具有视觉效果的对象的装置和方法
JP6967043B2 (ja) ３次元コンテンツ内の場所に基づく仮想要素モダリティ
AU2012352273B2 (en) Display of shadows via see-through display
US9734633B2 (en) Virtual environment generating system
CN110036416B (zh) 用于空间音频的装置和相关方法
KR102474088B1 (ko) 이미지를 합성하기 위한 방법 및 디바이스
CN105723420A (zh) 混合现实聚光灯
JP2013506226A (ja) 仮想環境との相互作用のためのシステム及び方法
US11238572B2 (en) Device and method for dynamic range expansion in a virtual reality scene
US11709370B2 (en) Presentation of an enriched view of a physical setting
WO2024064950A1 (en) Methods for time of day adjustments for environments and environment presentation during communication sessions
CN111670465A (zh) 显示经修改的立体视觉内容
US20170193690A1 (en) 3d rendering method and apparatus
CN112262413A (zh) 混合现实中的实时合成
WO2023116396A1 (zh) 一种渲染显示方法、装置、计算机设备及存储介质
JP2023531951A (ja) 拡張現実における深度ベースのリライティング
KR102235679B1 (ko) 시각 효과를 가지는 객체를 디스플레이하는 장치 및 방법
KR102197504B1 (ko) 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
WO2019228969A1 (en) Displaying a virtual dynamic light effect
US12002165B1 (en) Light probe placement for displaying objects in 3D environments on electronic devices
TWI809412B (zh) 控制方法、電腦可讀取媒體及控制器
WO2021261231A1 (ja) 表示装置及び表示方法
CN111340931A (zh) 场景处理方法、装置、用户端及存储介质
US20240161390A1 (en) Method, apparatus, electronic device and storage medium for control based on extended reality

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant