CN106257540A - 提供虚拟光的方法及其处理系统 - Google Patents
提供虚拟光的方法及其处理系统 Download PDFInfo
- Publication number
- CN106257540A CN106257540A CN201610351753.6A CN201610351753A CN106257540A CN 106257540 A CN106257540 A CN 106257540A CN 201610351753 A CN201610351753 A CN 201610351753A CN 106257540 A CN106257540 A CN 106257540A
- Authority
- CN
- China
- Prior art keywords
- sensor
- image
- light source
- virtual
- virtual light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000003287 optical effect Effects 0.000 title claims abstract description 15
- 230000004044 response Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 8
- 230000005855 radiation Effects 0.000 claims description 5
- 239000004065 semiconductor Substances 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000002085 persistent effect Effects 0.000 claims description 2
- 239000006185 dispersion Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 25
- 230000001105 regulatory effect Effects 0.000 description 7
- 238000009432 framing Methods 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000004020 luminiscence type Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- -1 CMOS) sensor Substances 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 208000024754 bloodshot eye Diseases 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 229910052738 indium Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/80—Shading
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
提供一种提供虚拟光的方法及处理系统。该方法包含：在移动装置上实现虚拟光源；接收用户输入，用户输入指示移动装置实时捕获多个装置传感器的当前视图的二维输出图像；接收多个传感器输出，多个传感器输出是由多个装置传感器从当前视图中感测信息而产生的，多个传感器输出包含由多个装置传感器中的一个或多个装置传感器感测的初始二维帧；以及响应于接收到多个传感器输出及用户输入，根据对虚拟光源的调节及初始二维帧，在移动装置上产生二维输出图像，其中二维输出图像的产生相对于多个传感器输出的接收是实时的。在本发明实施例中使用虚拟光源代替闪光灯，在改进移动装置捕获的图像亮度的同时，不会因移动或抖动而使图像模糊。
Description
相关申请的交叉引用
本申请要求申请日为2015年6月15日的美国临时申请号为62/175,577的专利申请的优先权，其全部内容被合并引用到该申请中。
技术领域
本发明涉及向图像提供虚拟光的方法及系统，更具体地涉及通过虚拟三维空间中的一个或多个虚拟光源，向图像提供虚拟光的方法及系统。
背景技术
诸如相机或其它图像捕获工具的电子装置，可基于照亮场景的光捕获相片。在低光条件下，单独的环境光可能不足够照亮场景，以及从该场景中捕获的图像可能会灰暗或曝光不足。
为了改进低光条件下的照明，许多图像捕获工具或装置可包括闪光灯，闪光灯产生闪光以补充环境光来照亮场景。尽管相机闪光灯可提供高强度光以进一步照亮场景，但不容易控制它们以产生一致的光量。这样，已获得的图像可能曝光不适度，以及可能场景的一些区域比场景的其它区域更亮。此外，高强度光可产生红眼，以及相机闪光灯的体积及重量使得它们不方便携带。
还可使用图像捕获工具的自动曝光功能，来改进低光条件中的照明。该功能包含打开镜头光圈一段时间以及控制快门速度以便获得正确的曝光。尽管让镜头光圈打开一段更长的时间，会允许图像捕获工具接收更多光，以及因而更好地照亮图片，但图像捕获工具还变得对相机抖动及物体移动更加敏感，当其发生时会模糊及毁掉图片。
尽管已经有尝试解决闪光灯及自动曝光功能相关问题的系统及方法，但它们都是无效的。因此，需要改进的能够照亮及捕获图片或图像且并没有上述问题的系统及方法。
发明内容
在本发明的一些实施例中，提供一种提供虚拟光的方法。该方法包括：在移动装置上实现虚拟光源，虚拟光源在虚拟三维空间中是可调节的；接收用户输入，用户输入指示移动装置实时捕获多个装置传感器的当前视图的二维输出图像；接收多个传感器输出，多个传感器输出是由多个装置传感器从当前视图中感测信息而产生的，多个传感器输出包含由多个装置传感器中的一个或多个装置传感器感测的初始二维帧；以及响应于接收到多个传感器输出及用户输入，根据对虚拟光源的调节及初始二维帧，在移动装置上产生二维输出图像，其中二维输出图像的产生相对于多个传感器输出的接收是实时的。
在本发明的一些实施例中，提供一种提供虚拟光的处理系统。该处理系统包括：处理器及相关电路用于：接收用户输入，用户输入指示移动装置实时捕获多个装置传感器的当前视图的二维输出图像；接收多个传感器输出，多个传感器输出是由多个装置传感器从当前视图中感测信息而产生的，多个传感器输出包含由多个装置传感器中的一个或多个装置传感器感测的初始二维帧，从多个传感器输出中的至少一些传感器输出，创造虚拟三维空间，在接收调节所生成的信号之后，根据对在虚拟三维空间中的虚拟光源的调节，向虚拟三维空间提供提亮效果；以及响应于接收到多个传感器输出及用户输入，根据对虚拟光源的调节及初始二维帧，产生二维输出图像，其中二维输出图像的产生相对于多个传感器输出的接收是实时的。
基于以上技术方案，在本发明实施例中使用虚拟光源代替闪光灯，在改进移动装置捕获的图像亮度的同时，不会因移动或抖动而使图像模糊。
附图说明
结合附图阅读随后的详细描述之后，本发明的本质及各种有益效果将变得显而易见，在其中相同的序号表示相同的部分，其中：
图1是根据本发明一些实施例的用于向图像提供虚拟光的方法的示意图；
图2是根据本发明一些实施例的用于执行图1所示的方法的系统的示意图；
图3是根据本发明一些实施例的用于调节一个或多个虚拟光源的用户界面的示意图；
图4是根据本发明一些实施例的用于生成提亮图像的场景树及渲染器的示意图；
图5是根据本发明一些实施例的创造提亮图像的方法的示意性流程图；
图6是根据本发明一些实施例的，基于用户已调节的提亮参数创造提亮图像的方法的示意性流程图；
图7是根据本发明一些实施例的，根据用户已调节的提亮参数产生已提亮图像的方法的示意性流程图；
图8是根据本发明一些实施例的，根据已自动调节的提亮参数产生已提亮图像的方法的示意性流程图；
图9是根据本发明一些实施例的，使用虚拟光源捕获视频的系统架构的示意图。
具体实施方式
根据本发明的原理，提供一种有益的系统，该系统尤其有用于于智能手机或平板，但可被识别具有其它应用。一般地，为了改进已捕获的图像或视频，提供一种功能，在该功能中使用传感器信息生成鉴于智能手机的传感器的场景的虚拟三维(three-dimensional，3D)模型。接着使用虚拟3D模型来生成二维(two-dimensional，2D)提亮图像。将提亮图像应用于场景的已捕获图像，以改进已捕获图像或视频的亮度。如果需要，可将虚拟光源实现为该操作的一部分，如果需要，可在虚拟3D空间中移动、调节或修改该虚拟光源，以调节提亮图像以及进而调节已提亮图像。
本发明实施例为可应用于图像、视频或其它视图捕获应用。在一些实施例中，在其中提供“实况转播”功能，当用户使用他们装置上的相机时，实现该功能的装置向该用户提供该功能。该功能可实现为可选选项，用户通过或结合相机应用激活可选选项，以选择在当前图像或视图上使用该功能，或者在已记录在该装置上的图像或视图上使用该功能(例如，显示的交互选项，其允许用户应用该功能)。在用户通过装置的屏幕观察特定的场景时，在用户选择(触发相机)捕获图像或视频之前的预览模式中，该功能还可实现为可用或可操作的，其中该装置显示了相机的视野。与仅在用户选择记录图像或视频时使用该功能相反，相机的自动激活也是可预期的。该技术比在拍照时使用实际闪光灯有显著的优势。实际闪光灯的定时、放大及功耗会造成复杂性和缺点。
应理解的是本说明书可应用于实现为系统、方法、计算机可读介质、装置或其它设置。
请参考图1，其示意出用于向图像提供虚拟光的方法100的一个实施例。方法100可包含接收多个传感器捕获的多个帧(帧接收步骤105)，基于已接收到的多个帧中的一个帧获得原始图像(原始图像获得步骤110)，基于已接收到的多个帧中的一组帧构建3D模型(3D模型构建步骤115)，提供一个或多个虚拟光源(虚拟光源提供步骤120)，调节一个或多个虚拟光源的一个或多个提亮参数(参数调节步骤125)，基于3D模型及具有已调节的参数一个或多个虚拟光源生成提亮图像(提亮图像生成步骤130)，以及基于原始图像及提亮图像生成已提亮图像(已提亮图像生成步骤135)。其中，在提供实现虚拟光源时，通过所述多个装置传感器中的一个或多个装置传感器从所述当前视图中感测信息以确定环境光及物体。其中，在一实施例中，已提亮图像的生成相对于原始图像的接收是实时的。例如，接收多个传感器捕获的多个帧，基于已接收到的多个帧中的一个帧获得原始图像，接收该原始图像，利用该原始图像和提亮图像生成已提亮图像，在此方式下，已提亮图像的生成相对于原始图像的接收是实时的。
图2是用于执行方法100的系统200的一个实施例的示意图。系统200可包含多个传感器205、构建模块210、应用处理器(Application Processor，AP)215和图形处理器220。传感器205用于捕获多个帧，该多个帧包括从其获得原始图像的一个帧，构建模块210用于从多个帧中的两个或多个帧创造3D模型，应用处理器215用于创造具有提亮节点的3D场景树，以及图形处理器220用于基于3D模型及具有已调节的提亮节点的3D场景树渲染提亮图像，以及基于原始图像及提亮图像渲染已提亮图像。在一实施例中，传感器可实时地捕获当前视图的图像(例如，相机传感器实时捕获的当前视图所反应的图像或视频)。系统200还可包含显示屏225，显示屏225用于显示已提亮图像。本发明中描述的所有方法、系统及实施例可在移动装置上实现，移动装置诸如蜂窝手机、平板、个人数字助理(Personal Data Assistant，PDA)、相机或其它手持装置。应注意的是在图2中，开放图形库(Open Graphics Library，OpenGL)(或其它编程接口)示意为部分由硬件图形处理器(Graphics Processing Unit，GPU)实现。然而，在其它实施例中，OpenGL(或其它编程接口)可全部由硬件或软件实现。图2提供系统的示意性实施例，其实现或包含本发明的实施例。还预期其它配置，诸如包含更少的硬件元件或集成电路，或者主要由硬件装置制成，硬件装置诸如一个或多个特定用途集成电路(Application Specific Integrated Circuit，ASIC)。图2还示意出处理系统，应理解在该处理系统中该图隐式地或显式地在其中(实现为处理器的集成半导体芯片)提供一个或多个处理器(诸如智能手机、平板或其它图像捕获装置的GPU和/或主处理器)。本领域的普通技术人员能够理解，处理器可具有相关的电路，诸如随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、特定用途电路、通信电路或其它用于实现想要的功能的装置组件。显示屏225或传感器205可不必视为处理系统的一部分，但如果需要也可视为处理系统的一部分。
在帧接收步骤105中，优选地直接从多个传感器接收多个帧，而不从非易失性存储装置撷取。非易失性存储装置可以为任意类型已知的计算机存储装置，当断电时其可保留在其中存储的信息。非易失性存储装置的例子包括ROM、闪存存储器、硬盘驱动器以及诸如SD卡的存储卡。在一些实施例中，多个传感器205可只包含图像传感器，只包含深度传感器，或者图像传感器及深度传感器的组合(例如，一个或多个图像传感器以及一个或多个深度传感器，或者可执行该两种类型传感器的功能的传感器)。可预期使用其它类型的传感器。可将多个传感器205配置为同步以同时捕获帧。多个传感器205中的每个可被配置为在不同角度捕获帧。图像传感器可以为电荷耦合器件(Charge Coupled Devices，CCDs)、有源像素传感器(active pixel sensors)、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)传感器、固态图像传感器(solid-state images sensors)或任意其它相似的图像传感器。深度传感器可以为红外线传感器、激光扫描仪、声波传感器或任意其它相似的深度传感器。这样，接收到的多个帧中的每个可以为包含深度相关信息的图像或帧，该深度相关信息取决于使用哪种传感器捕获该帧。图像可以指图像传感器捕获的帧。包含深度相关信息的帧可指深度传感器捕获的帧。
在原始图像获得步骤110中，原始图像所基于的帧为图像传感器捕获的帧，该帧为接收到的多个帧中的一个。根据照亮场景的光捕获该帧。照亮场景的光可以仅为环境光，或者为环境光和闪光灯光的组合。因而，可使用或不使用相机闪光灯捕获该帧。还可在自动曝光功能打开或关闭时，或者在移动装置可能具有的任意其它功能打开或关闭时，捕获该帧。已获得的原始图像可以为未经处理的该帧的帧本身(接收到的多个帧的实际的或未经加工的帧)，或者通过处理该帧而不向该帧提供提亮图像或未给该帧补充提亮图像的光的已获得的图像(下文描述提亮图像及提亮图像的光)。处理可以指一个或多个附加的操作，移动装置可能需要执行该操作以产生原始图像。已处理或未经处理的原始图像为二维图像。
在3D模型构建步骤115中，一组帧可仅包含图像传感器捕获的帧，仅包含深度传感器捕获的帧，或者包含图像传感器捕获的帧及深度传感器捕获的帧。该组帧可包含在两个不同角度捕获的至少两个帧。该至少两个帧可被同时捕获。3D模型可以由构建模块构建，包含在该组帧中追踪物体的2D特征、估计3D点及相机姿态或角度。2D特征可以为边、点、线、纹理、高强度对比的特征或其它相似的特征。3D点为基于在3D域中追踪的特征所估计的点。3D模型从已估计的3D点及已估计的相机姿态构建而来。模块是指由图2中示意性的系统执行的软件模块，或者更通常地由处理器及处理器的相关电路执行的软件模块，用于实现其功能。此外，处理器及相关电路还可用于控制曝光与来自所述虚拟光源的光的持续时间之间的关系，使得使用虚拟光源后可以达到较好的效果。
在虚拟光源提供步骤120中，经由AP 215提供一个或多个虚拟光源。一个或多个虚拟光源中的每个可像相机闪光灯一样运行。在使用虚拟光源时，可使用它们作为虚拟相机闪光灯代替相机闪光灯，或者增强或补充相机闪光灯的闪光灯光。一个或多个虚拟光源中的每个可具有一个或多个提亮参数。一个或多个提亮参数可包含一个或多个虚拟光源的位置、一个或多个虚拟光源的辐射或照明方向、一个或多个虚拟光源的辐射区域、一个或多个虚拟光源的辐射强度、一个或多个虚拟光源的辐射类型、一个或多个虚拟光源的辐射颜色以及相机闪光灯的其它操作模式。每个参数为可调节的。每个参数可由移动装置的用户调节(手动调节)或由移动装置自动调节(自动调节)。
在参数调节步骤125中，在接收到多个帧之前，每个参数可通过从用户接收输入以由用户调节。输入可以通过移动装置的屏幕上显示的用户界面接收。AP可被编程，诸如使用用户体验应用，以提供及显示用户界面。
在一些实施例中，如图3所示，用户界面300可配置为包含3D环境305、设置在3D环境中的一个或多个虚拟物体310、设置在3D环境中的虚拟移动装置315以及设置在3D环境中的一个或多个虚拟光源320(总地称为“虚拟元件”305至320)。虚拟移动装置315的位置及虚拟移动装置315的镜头的方向指示捕获帧时所在的方向。可以用一种方式向用户显示用户界面300，使得在俯视图中向用户呈现所有的虚拟元件305至320。在俯视图中，用户可看到虚拟移动装置315与一个或多个虚拟物体310之间的物理距离、一个或多个虚拟物体310与一个或多个虚拟光源320之间的物理距离以及虚拟移动装置315与一个或多个虚拟光源320之间的物理距离。而且在俯视图中，一个或多个虚拟光源320可被用户输入移动至3D环境305中的任意位置。如果使用了触摸屏以及用户界面300实现在该触摸屏上，用户输入可以为触摸屏的物理接触，或者用户输入可以为来自诸如按钮及鼠标的输入装置的物理动作。例如，一个或多个虚拟光源320可以被移动至一个或多个虚拟物体310背后的位置，这样一个或多个虚拟物体310在虚拟移动装置315与一个或多个虚拟光源320之间。
一个或多个虚拟光源320还可被移动至这样一个位置，在这个位置虚拟移动装置315朝向一个或多个虚拟物体310的方向，以及一个或多个虚拟光源320的照明光彼此垂直的方向(垂直位置)。垂直位置可以指在俯视图中，相对于一个或多个虚拟物体310的向左或向右的位置。如果用户界面300配置为允许这样的移动，垂直位置还可以指在俯视图中，相对于一个或多个虚拟物体310的之下(例如，页面/屏幕中的位置)或之上(例如，页面/屏幕外的位置)的位置。尽管图3仅示意了俯视图以及一个或多个虚拟光源320的特定位置，还预期其它视图及位置。一个或多个虚拟光源还可被移动至更靠近或更远离一个或多个虚拟物体310的位置。
移动装置(或者移动装置的AP)可根据环境光自动调节每个参数。在捕获帧之时或之前，多个传感器或不同传感器(例如，光传感器)可检测环境光。根据是否使用闪光灯，环境光可包括或者不可包括闪光灯光。移动装置可自动调节每个参数，而不显示用户界面或接收来自用户的输入。例如，基于在场景中检测到的环境光，移动装置可确定应使用的虚拟光源的数量、每个虚拟光源的位置、每个虚拟光源的角度以及每个虚拟光源的照明强度等等。移动装置可根据3D模型中的或该组帧中的内容自动调节每个参数，该内容诸如物体数量、物体形状、物体位置以及物体之间的距离等等。移动装置还可根据环境光及内容自动调节每个参数。用户与移动装置都可调节参数。例如，在接收到多个帧之前，一些参数可由用户通过用户界面调节，以及在接收到多个帧之后或者在构建3D环境之后，移动装置可调节剩余的参数(或剩余的参数中的一些)。图像捕获工具可根据用户已调节的参数，调节剩余的参数。移动装置的其它调节顺序也是可预期的。
在提亮图像生成步骤130中，基于3D模型及提亮参数生成提亮图像。特别地，步骤130可包含创造3D场景树，其中3D场景树包含一个或多个提亮节点、一个或多个3D模型节点以及一个或多个相机节点，根据已调节的一个或多个参数调节提亮节点，以及使用已调节的提亮参数，基于3D场景树渲染提亮图像。3D场景树是从已构建的3D模型以及已调节的提亮参数创造的，其中3D模型是从构建模块接收到的，已调节的提亮参数是从AP接收到的。3D场景树可通过本领域普通技术人员已知的方法创造。一个或多个提亮节点中的每个可对应于一个虚拟光源以及该虚拟光源中的参数，以及一个或多个提亮节点中的每个可根据对应的虚拟光源的参数上已做的调节来调节。一个或多个3D模型节点以及一个或多个相机节点包含从已构建的3D模型获得的信息。一个或多个3D模型节点的例子可包括对应于数据束的每个节点以及一组相机参数，该数据束用于在特定的分辨率下渲染3D模型的外表，该组相机参数包括用于渲染3D模型的一个视点。一个或多个相机节点的例子为帧捕获方向及相机位置。以上节点中的每个可包含其对应的矩阵形式的信息，以及它们一起为渲染提亮图像提供必要的信息。
图4(a)为3D场景树的例子。图形处理器(例如，图2中的220)支持OpenGL或相似的编程界面，图形处理器可用于基于3D场景树渲染提亮图像(或者如图4(b)所示，包含用于描绘提亮图像的渲染器)。具体地，图4(a)中具有分别由对应的矩阵表示的不同节点。矩阵可定义不同物体之间的位置依赖关系，例如不同物体可包括光(例如，烛光或墙反射的光)、相机以及模型(例如，蜡烛)。位置依赖关系可包括位移、旋转和/或缩放。换句话说，节点或矩阵可表示光、相机及模型之间的位置依赖关系。当调节虚拟光源的参数时，对应矩阵的值也可被改变。因此，可调节3D场景树以表示已调节的虚拟光源。在图4(b)中，3D场景树被转译为或被表示为OpenGL语言。然而，应注意的是，如果需要可实现任意其它界面。提亮图像为仅包含亮度(也称提亮信息，所述提亮信息来自于对虚拟光源的调节及虚拟三维空间)的2D图像。换句话说，图形处理器或渲染器产生2D图像，该2D图像仅包含来自3D信息或3D环境中的光。在提亮图像间光量可能变化，以及变化量取决于已调节的参数。2D图像可能包含其它类型的数据或信息。首要目标是使得文件至少包含提亮图像(这里描述的光用于生成提亮图像以及后续生成已提亮图像)。
图5是创造提亮图像的方法500的流程图。上文已讨论了方法500的许多方面，以及提供该流程图仅为了便于以另一例子理解本发明实施例。该流程图还可以为方法100的另一实施例。方法500可包含接收多个传感器帧的步骤505(或多个传感器捕获的多个帧)，同步多个传感器的步骤506(一般将步骤505及506实现为一个步骤，但是为了方便显示为两个步骤)，从多个传感器帧获得一组帧的步骤510，估计3D点及相机姿态的步骤520，构建3D模型的步骤525，构建3D场景树的步骤530，其中3D场景树具有一个或多个提亮节点、一个或多个3D模型节点以及一个或多个相机节点，其中每个提亮节点具有一个或多个提亮参数，调节一个或多个提亮参数的步骤535，基于具有已调节的提亮参数的3D场景树渲染提亮图像的步骤540。步骤505可由多个传感器执行。方法500可使用图2的示意性的系统实现，或者更通常地使用处理器及相关电路实现。
图6是基于用户调节的提亮参数创造提亮图像的方法600的流程图。上文已讨论了方法600的许多方面，以及提供该流程图仅为了便于以另一例子理解本发明实施例。该流程图还可以为方法100的另一实施例。方法600可包含在俯视图中显示一个或多个虚拟光源的步骤605，在用户界面中将一个或多个虚拟光源移动至合适的位置的步骤610，应用重新提亮的步骤615(本说明书中讨论的例子)，以及产生更好的提亮图像的步骤620。将一个或多个虚拟光源手动移动至合适的位置，该手动移动可以为上文讨论的调节的提亮参数中的一种形式，以及还可对其它提亮参数做手动调节。该方法可由图2中的示意性的系统执行，或更通常地由处理器及相关电路执行。应理解的是，其它系统设置也是可预期的，诸如一般地智能手机或平板领域中的普通技术人员已知的那些系统设置。
重新参考图1中的已提亮图像生成步骤135，基于原始图像及提亮图像生成已提亮图像。可以通过合并原始图像及提亮图像来生成已提亮图像。已生成的已提亮图像为2D图像。如果需要，用于渲染提亮图像的相同的图形处理器可用于渲染已提亮图像。在一实施例中，已提亮图像的产生相对于传感器输出的接收(例如接收多个传感器捕获的多个帧，基于已接收到的多个帧中的一个帧获得原始图像，接收所述原始图像)是实时的。
参考图7，示出了用于向图像提供虚拟光的方法700的另一实施例。该实施例根据用户已调节的参数产生已提亮图像。在图7中，方法700可包含步骤705，在步骤705中直接从多个传感器捕获的一个或多个帧获得原始图像，而不从非易失性存储装置撷取该一个或多个帧。方法700可包含步骤710，在步骤710中，在3D空间中提供一个或多个虚拟光源，该一个或多个虚拟光源具有一个或多个提亮参数。方法700还可包含步骤715，在步骤715中，从用户接收输入，该用户在3D空间中调节一个或多个提亮参数。方法700还可包含步骤720，在步骤720中，将原始图像转换为已提亮图像，该已提亮图像合并由已调节的一个或多个提亮参数提供的提亮效果。例如，通过提供一种在用户使用智能手机捕获新图像时能够应用的虚拟提亮功能，给智能手机提供一种新功能。
参考图8，示出了用于向图像提供光的方法800的另一实施例。该实施例根据已自动调节的提亮参数产生已提亮图像。在图8中，方法800可包含步骤805，在步骤805中接收多个传感器捕获的多个帧。方法800可包含步骤810，在步骤810中基于多个帧中的一个帧获得原始图像，自动调节一个或多个虚拟光源的一个或多个提亮参数，以在3D空间中提供一个或多个提亮效果。方法800还可包含步骤815，在步骤815中根据已调节的一个或多个参数，将原始图像转换为已提亮图像，这样将已提亮图像与3D空间中提供的一个或多个提亮效果合并。
图9是根据本发明一些实施例的使用虚拟提亮捕获视频的系统900的示意图。在图9中，系统900可被配置包含多个传感器，诸如相机传感器905及910，在一些实施例中传感器905及910用于捕获移动帧或静止帧。系统900还包含片上系统(System on a Chip，SOC)925，片上系统925包含至少一个硬件图像信号处理器(hardware-image signal processor，HW ISP)920、深度地图生成器915及GPU 930，硬件图像信号处理器920用于从传感器905及910接收输入，深度地图处理器915用于从HW ISP 920接收已处理的图像信号，以由此进一步处理3D视频信号(以从传感器信息生成深度地图或称深度图像)，以及GPU 930用于从HW ISP 920接收已处理的图像信息，以及从深度地图生成器915接收3D视频信号，在由GPU 930进一步处理之前，还可通过算法模块945向GPU 930发送已处理的图像信号及3D视频信号。在一些实施例中，算法模块945可以为基于软件的或基于硬件的。
系统900还可包括显示屏935及编码器940，显示屏935用于提供及显示已处理的最终图像(例如静止图像)或视频，编码器940用于存储该最终图像或视频。具体地，编码器940将二维输出图像编码为在非易失性存储器中存储为图像文件的格式，例如用于生成用于存储的文件，诸如为jpeg格式。
在一些实施例中，系统900还可由图9中示出的除了传感器905及910以及显示屏935的其他每个元件实现，元件为硬件或软件或者两者的组合。例如，在一些实施例中，算法模块945为软件，但图9中示出的其它元件实现为硬件。在另一实施例中，算法模块945及深度地图生成器915都可实现为软件，以及图9中示出的其它元件实现为硬件。在又一实施例中，图9中示出的所有元件，除了传感器905及910及显示屏935，都实现为软件。
在一些实施例中，深度地图生成器915实现在SOC 925中以及可用于实时获得深度地图信息。
在一些实施例中，在系统900中，虚拟光源的位置(和/或其它参数)可由用户通过用户界面手动调节，或由系统自动调节。应注意的是，在一些其它实施例中，可手动调节部分参数以及可自动调节部分参数。换句话说，基于虚拟光源的已调节的位置，用户可观看已应用重新提亮效果的视频(包括视频中的每个图像)。
与传统的闪光灯相比，主要不同在于，传统的闪光灯对于一个图像必须发光一次，对于不同的图像必须发光一次又一次，导致各自的发光操作造成每个图像的重新提亮效果。然而，在本发明的实施例中，虚拟光源没有所谓的发光时间。在一些实施例中，系统900构建视频中每个图像各自的3D模型以提亮(light)该图像。换句话说，在经由SOC 925计算时，基于虚拟光源的已调节的位置，计算视频中每个图像各自的3D模型。
实现本说明书中描述的功能的软件及计算机可读指令存储在非易失性存储器(例如，可编程逻辑)中，以及由具有处理器的电子装置(计算机处理器)执行，以提供本发明的功能及相关步骤，电子装置诸如智能手机。软件被从非易失性存储器应用至处理器以提供功能。以及，在一些实施例中，诸如帧、图像或中间图像的数据仅承载或存储在易失性存储器中或在易失性状态中(例如，当系统操作于产生最终图像时)。这与本发明实施例的实时方面有关。实时意味着在接收到一个或多个输入(在本发明中为一个或多个帧)时，装置执行操作及产生输出。从用户的角度描述了不同的方式，这传授了装置的操作的含义，当用户或装置选择拍照(引起传感器生成帧)时，装置操作使得装置的用户察觉到输出是即刻产生的(例如，用户没有察觉到可感知的延迟)。在一些实施例中，实时(实时处理/计算)意味着执行该处理或计算操作，而不从非易失性存储器中撷取相关数据。
本说明书中贯穿使用的术语原始图像可指初始2D帧，以及在本公开中其可交换使用。
可从以上说明书理解的是，本发明实施例的系统、装置或方法的功能及特征包括生成及发送信号以完成该动作。
应理解的是变换、说明书或修改是可预期的。将该技术应用于其它领域也是可预期的。
所描述的示例性的系统、装置及方法是示意性的目的。此外，由于多个修改及改变对于本领域的普通技术人员将显而易见，因此不想将本发明限制于本公开所示出的准确构建。因此，可诉诸落入本发明范围内的所有合适的修改或等同变换。
因此，例如本说明书中描述的各个处理或方法或的步骤的任意顺序和/或时间顺序(或装置连接或操作的顺序)是示意性的以及不应理解为限制性的。因此，应理解的是尽管各个处理或方法的步骤，或者操作的连接或顺序可显示或描述为以顺序或时间顺序，但是他们不必受限于以任何特定的顺序实现。例如，这些处理或方法中的步骤以便可以不同的顺序实现，而仍落在本发明的范围内。此外，在一些实施例中，响应于更早的工作、处理或特征的后续的工作、处理或特征，对于本领域的普通技术人员是显而易见的。
隐含的以及应理解的是，本说明书中描述的示意性的系统或应用提供计算机实现的功能，除非本说明书明确描述用户干预或手动操作，其自动执行处理或处理步骤。
虽然已通过举例的方式和优先实施例的方式描述本发明，应理解本发明并不限于此。本领域的普通技术人员不脱离本发明的范围和精神，仍可做出不同的变换和修改。因此，下面的权利要求及其等同变换限定和保护本发明的范围。
Claims (34)
1.一种提供虚拟光的方法，其特征在于，包含：
在移动装置上实现虚拟光源，所述虚拟光源在虚拟三维空间中是可调节的；
接收用户输入，所述用户输入指示所述移动装置实时捕获多个装置传感器的当前视图的二维输出图像；
接收多个传感器输出，所述多个传感器输出是由所述多个装置传感器从所述当前视图中感测信息而产生的，所述多个传感器输出包含由所述多个装置传感器中的一个或多个装置传感器感测的初始二维帧；以及
响应于接收到所述多个传感器输出及所述用户输入，根据对所述虚拟光源的调节及所述初始二维帧，在所述移动装置上产生所述二维输出图像，其中所述二维输出图像的产生相对于传感器输出的接收是实时的。
2.如权利要求1所述的方法，其特征在于，还包含：
在所述移动装置的预览屏幕中显示所述当前视图；
在所述移动装置的用户界面中显示所述三维空间中的所述虚拟光源；
接收对所述虚拟光源的用户已选的调节；
根据已接收的所述用户已选的调节，调节所述虚拟光源；以及
根据所述已调节的虚拟光源，实时地在所述预览屏幕上显示所述当前视图的已修改的版本。
3.如权利要求1所述的方法，其特征在于，还包含：
在所述移动装置的显示屏上提供视野，以及使用所述虚拟光源产生的提亮效果，产生所述视野显示的当前视图。
4.如权利要求1所述的方法，其特征在于，所述对所述虚拟光源的调节包括调节所述虚拟光源的位置、辐射方向、辐射区域、辐射强度、辐射类型或颜色。
5.如权利要求1所述的方法，其特征在于，其中所述对所述虚拟光源的调节是由以下提供的：
显示用户界面，所述用户界面包括所述三维空间中的所述虚拟光源；
接收对所述虚拟光源的用户已选的调节；以及
根据已接收的用户已选的调节，调节所述虚拟光源。
6.如权利要求1所述的方法，其特征在于，所述在移动装置上实现虚拟光源的步骤包含通过所述多个装置传感器中的一个或多个装置传感器从所述当前视图中感测信息以确定环境光。
7.如权利要求6所述的方法，其特征在于，所述确定环境光的步骤为产生显示屏作为视野的一部分。
8.如权利要求6所述的方法，其特征在于，所述确定环境光的步骤为产生所述二维输出图像的一部分。
9.如权利要求1所述的方法，其特征在于，实现在移动装置上实现虚拟光源的步骤包含通过所述多个装置传感器中的一个或多个装置传感器从所述当前视图中感测信息以确定环境光及物体。
10.如权利要求1所述的方法，其特征在于，所述虚拟三维空间是从所述多个传感器输出中的至少一些传感器输出构建而来的。
11.如权利要求1所述的方法，其特征在于，所述产生二维输出图像的步骤包含根据所述虚拟光源的调节及所述虚拟三维空间，生成二维提亮图像。
12.如权利要求11所述的方法，其特征在于，所述二维提亮图像为仅包含提亮信息的图像，所述提亮信息来自于所述对所述虚拟光源的调节及所述虚拟三维空间。
13.如权利要求12所述的方法，其特征在于，所述产生所述二维输出图像的步骤包含将所述二维提亮图像与所述预备二维图像合并。
14.如权利要求11所述的方法，其特征在于，所述产生所述二维提亮图像的步骤包含：
创造三维场景树，所述三维场景树包含一个或多个提亮节点；
根据对所述虚拟光源的所述调节，调节所述一个或多个提亮节点；以及
基于已调节的一个或多个提亮节点，渲染所述二维提亮图像。
15.如权利要求1所述的方法，其特征在于，还包含：
在所述当前视图感测信息之前，同步所述多个装置传感器，以同时感测所述当前视图中的信息。
16.一种提供虚拟光的处理系统，用于具有多个装置传感器的移动装置，其特征在于，包含：
处理器及相关电路用于：
接收用户输入，所述用户输入指示所述移动装置实时捕获所述多个装置传感器的当前视图的二维输出图像；
接收多个传感器输出，所述多个传感器输出是由所述多个装置传感器从所述当前视图中感测信息而产生的，所述多个传感器输出包含由所述多个装置传感器中的一个或多个装置传感器感测的初始二维帧，
从所述多个传感器输出中的至少一些传感器输出，创造虚拟三维空间，
在接收调节所生成的信号之后，根据对在所述虚拟三维空间中的虚拟光源的所述调节，向所述虚拟三维空间提供提亮效果；以及
响应于接收到所述多个传感器输出及所述用户输入，根据所述对所述虚拟光源的所述调节及所述初始二维帧，产生所述二维输出图像，其中所述二维输出图像的产生相对于所述多个传感器输出的接收是实时的。
17.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路包含应用处理器，所述应用处理器用于提供所述提亮效果。
18.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路包含图形处理器，所述图形处理器用于产生所述二维输出图像。
19.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路包含构建模块，所述构建模块用于创造所述虚拟三维空间。
20.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路包含半导体芯片中的深度地图生成电路。
21.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路用于执行并行处理，所述并行处理包含(a)在所述移动装置的屏幕上显示所述二维输出图像以及(b)将所述二维输出图像编码为在非易失性存储器中存储为图像文件的格式。
22.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路用于产生所述二维输出图像，而不使用所述移动装置上的非易失性存储器存储所述初始二维帧。
23.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路用于将所述虚拟光源实现为虚拟相机闪光灯，所述虚拟相机闪光灯提亮所述初始二维帧。
24.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路用于提供所述虚拟光源作为用户可选择的相机选项。
25.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路用于产生所述二维输出图像以作为静止图像。
26.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路用于产生视频，所述视频包含所述二维输出图像。
27.如权利要求16所述的处理系统，其特征在于，所述处理系统包含所述多个装置传感器，以及其中所述多个装置传感器中的至少两个装置传感器为分散的以及位于所述移动装置的同侧。
28.如权利要求16所述的处理系统，其特征在于，所述多个装置传感器中的至少一个装置传感器为深度传感器。
29.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路与所述多个装置传感器直接连接。
30.如权利要求16所述的处理系统，其特征在于，所述多个传感器输出包含所述多个装置传感器产生的帧。
31.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路用于使用所述虚拟光源及所述传感器输出产生所述二维输出图像，而不存储及取回所述初始二维帧。
32.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路用于控制曝光与来自所述虚拟光源的光的持续时间之间的关系。
33.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路包含硬件图像信号处理器，所述硬件图像信号处理器用于接收所述多个传感器输出。
34.如权利要求16所述的处理系统，其特征在于，所述处理器及相关电路包括片上系统，所述片上系统执行深度图像生成。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562175577P | 2015-06-15 | 2015-06-15 | |
| US62/175,577 | 2015-06-15 | ||
| US15/088,070 | 2016-03-31 | ||
| US15/088,070 US20160366323A1 (en) | 2015-06-15 | 2016-03-31 | Methods and systems for providing virtual lighting |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106257540A true CN106257540A (zh) | 2016-12-28 |
| CN106257540B CN106257540B (zh) | 2019-05-21 |
Family
ID=56134184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610351753.6A Expired - Fee Related CN106257540B (zh) | 2015-06-15 | 2016-05-24 | 提供虚拟光的方法及其处理系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20160366323A1 (zh) |
| EP (1) | EP3107065A1 (zh) |
| CN (1) | CN106257540B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107770454A (zh) * | 2017-09-05 | 2018-03-06 | 努比亚技术有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
| CN108492259A (zh) * | 2017-02-06 | 2018-09-04 | 联发科技股份有限公司 | 一种图像处理方法及图像处理系统 |
| CN108616700A (zh) * | 2018-05-21 | 2018-10-02 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN111510586A (zh) * | 2019-01-31 | 2020-08-07 | 佳能株式会社 | 设置应用于图像照明效果的信息处理设备、方法及介质 |
| CN111652199A (zh) * | 2020-08-04 | 2020-09-11 | 湖南莱博赛医用机器人有限公司 | 一种图像处理方法、装置、设备和介质 |
| CN114415906A (zh) * | 2017-06-04 | 2022-04-29 | 苹果公司 | 用户界面相机效果 |
| US11641517B2 (en) | 2016-06-12 | 2023-05-02 | Apple Inc. | User interface for camera effects |
| US11669985B2 (en) | 2018-09-28 | 2023-06-06 | Apple Inc. | Displaying and editing images with depth information |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US11895391B2 (en) | 2018-09-28 | 2024-02-06 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US12081862B2 (en) | 2020-06-01 | 2024-09-03 | Apple Inc. | User interfaces for managing media |
| US12112024B2 (en) | 2021-06-01 | 2024-10-08 | Apple Inc. | User interfaces for managing media styles |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
| DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
| US10645294B1 (en) | 2019-05-06 | 2020-05-05 | Apple Inc. | User interfaces for capturing and managing visual media |
| CN109785423B (zh) * | 2018-12-28 | 2023-10-03 | 广州方硅信息技术有限公司 | 图像补光方法、装置及计算机设备 |
| US11831906B2 (en) | 2019-01-02 | 2023-11-28 | Hangzhou Taro Positioning Technology Co., Ltd. | Automated film-making using image-based object tracking |
| JP7458756B2 (ja) * | 2019-11-29 | 2024-04-01 | キヤノン株式会社 | 表示制御装置及びその制御方法 |
| US11276154B2 (en) * | 2020-07-17 | 2022-03-15 | Samsung Electronics Co., Ltd. | Multi-frame depth-based multi-camera relighting of images |
| CN112116695A (zh) * | 2020-09-24 | 2020-12-22 | 广州博冠信息科技有限公司 | 虚拟灯光控制方法及装置、存储介质及电子设备 |
| US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
| US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
| CN114972652B (zh) * | 2022-06-14 | 2023-11-10 | 深圳市固有色数码技术有限公司 | 一种虚拟形象建模方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030234785A1 (en) * | 2002-05-20 | 2003-12-25 | Seiko Epson Corporation | Image processing system, projector, image processing method, program, and information storage medium |
| WO2008063167A1 (en) * | 2006-11-21 | 2008-05-29 | Thomson Licensing | Methods and systems for color correction of 3d images |
| US20100134495A1 (en) * | 2008-11-28 | 2010-06-03 | Canon Kabushiki Kaisha | Mixed reality presentation system and brightness adjustment method of virtual light source |
| US20110002508A1 (en) * | 2001-02-01 | 2011-01-06 | AT&T Intellectual Property II, L.P.. | Digitally-generated lighting for video conferencing applications |
| CN103155004A (zh) * | 2010-09-01 | 2013-06-12 | 马斯科公司 | 通过图像渲染来演示照明方案的设备、系统和方法 |
| CN104268928A (zh) * | 2014-08-29 | 2015-01-07 | 小米科技有限责任公司 | 图像处理方法及装置 |
| US20150077591A1 (en) * | 2013-09-13 | 2015-03-19 | Sony Corporation | Information processing device and information processing method |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2551827A3 (en) * | 2011-07-28 | 2017-08-02 | Sony Mobile Communications AB | Presenting three dimensional depth |
| GB2499694B8 (en) * | 2012-11-09 | 2017-06-07 | Sony Computer Entertainment Europe Ltd | System and method of image reconstruction |
| US10109076B2 (en) * | 2013-06-12 | 2018-10-23 | Brigham Young University | Depth-aware stereo image editing method apparatus and computer-readable medium |
| KR102216246B1 (ko) * | 2014-08-07 | 2021-02-17 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
-
2016
- 2016-03-31 US US15/088,070 patent/US20160366323A1/en not_active Abandoned
- 2016-05-24 CN CN201610351753.6A patent/CN106257540B/zh not_active Expired - Fee Related
- 2016-06-14 EP EP16174323.2A patent/EP3107065A1/en not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110002508A1 (en) * | 2001-02-01 | 2011-01-06 | AT&T Intellectual Property II, L.P.. | Digitally-generated lighting for video conferencing applications |
| US20030234785A1 (en) * | 2002-05-20 | 2003-12-25 | Seiko Epson Corporation | Image processing system, projector, image processing method, program, and information storage medium |
| WO2008063167A1 (en) * | 2006-11-21 | 2008-05-29 | Thomson Licensing | Methods and systems for color correction of 3d images |
| US20100134495A1 (en) * | 2008-11-28 | 2010-06-03 | Canon Kabushiki Kaisha | Mixed reality presentation system and brightness adjustment method of virtual light source |
| CN103155004A (zh) * | 2010-09-01 | 2013-06-12 | 马斯科公司 | 通过图像渲染来演示照明方案的设备、系统和方法 |
| US20150077591A1 (en) * | 2013-09-13 | 2015-03-19 | Sony Corporation | Information processing device and information processing method |
| CN104268928A (zh) * | 2014-08-29 | 2015-01-07 | 小米科技有限责任公司 | 图像处理方法及装置 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11962889B2 (en) | 2016-06-12 | 2024-04-16 | Apple Inc. | User interface for camera effects |
| US11641517B2 (en) | 2016-06-12 | 2023-05-02 | Apple Inc. | User interface for camera effects |
| CN108492259A (zh) * | 2017-02-06 | 2018-09-04 | 联发科技股份有限公司 | 一种图像处理方法及图像处理系统 |
| CN114415906A (zh) * | 2017-06-04 | 2022-04-29 | 苹果公司 | 用户界面相机效果 |
| US11687224B2 (en) | 2017-06-04 | 2023-06-27 | Apple Inc. | User interface camera effects |
| CN114415906B (zh) * | 2017-06-04 | 2023-08-01 | 苹果公司 | 用户界面相机效果 |
| CN107770454A (zh) * | 2017-09-05 | 2018-03-06 | 努比亚技术有限公司 | 一种图像处理方法、终端及计算机可读存储介质 |
| CN108616700A (zh) * | 2018-05-21 | 2018-10-02 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN108616700B (zh) * | 2018-05-21 | 2020-11-17 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| US11669985B2 (en) | 2018-09-28 | 2023-06-06 | Apple Inc. | Displaying and editing images with depth information |
| US11895391B2 (en) | 2018-09-28 | 2024-02-06 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| CN111510586A (zh) * | 2019-01-31 | 2020-08-07 | 佳能株式会社 | 设置应用于图像照明效果的信息处理设备、方法及介质 |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| US12081862B2 (en) | 2020-06-01 | 2024-09-03 | Apple Inc. | User interfaces for managing media |
| CN111652199A (zh) * | 2020-08-04 | 2020-09-11 | 湖南莱博赛医用机器人有限公司 | 一种图像处理方法、装置、设备和介质 |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US12101567B2 (en) | 2021-04-30 | 2024-09-24 | Apple Inc. | User interfaces for altering visual media |
| US12112024B2 (en) | 2021-06-01 | 2024-10-08 | Apple Inc. | User interfaces for managing media styles |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3107065A1 (en) | 2016-12-21 |
| CN106257540B (zh) | 2019-05-21 |
| US20160366323A1 (en) | 2016-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106257540A (zh) | 提供虚拟光的方法及其处理系统 | |
| US11877086B2 (en) | Method and system for generating at least one image of a real environment | |
| US11182961B2 (en) | Method and system for representing a virtual object in a view of a real environment | |
| CN110431841B (zh) | 虚拟、增强和混合现实系统的深度感测技术 | |
| CN108696682B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| JP2014238731A (ja) | 画像処理装置、画像処理システム、および画像処理方法 | |
| CN110462686A (zh) | 用于从场景获得深度信息的设备和方法 | |
| CN105190229B (zh) | 三维形状计测装置、三维形状计测方法及三维形状计测程序 | |
| CN113315878A (zh) | 单程对象扫描 | |
| US8922627B2 (en) | Image processing device, image processing method and imaging device | |
| KR20190136560A (ko) | 직접 감쇄 모델을 이용한 내시경 영상 스테레오 정합 방법 및 장치 | |
| US11328436B2 (en) | Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map | |
| JP2016511850A (ja) | プレノプティックライトフィールドに対しアノテーションを付加するための方法および装置 | |
| CN116527863A (zh) | 基于虚拟现实的视频生成方法、装置、设备及介质 | |
| GB2545394A (en) | Systems and methods for forming three-dimensional models of objects | |
| CN109427089B (zh) | 基于环境光照条件的混合现实对象呈现 | |
| Freer et al. | Novel-view synthesis of human tourist photos | |
| RU2735066C1 (ru) | Способ отображения широкоформатного объекта дополненной реальности | |
| CN117671119A (zh) | 静态图像动态化处理方法、装置、设备及存储介质 | |
| US20190007672A1 (en) | Method and Apparatus for Generating Dynamic Real-Time 3D Environment Projections | |
| JP7476511B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
| CN118052920A (zh) | 渲染方法及装置、训练方法 | |
| Vasudevan et al. | A methodology for remote virtual interaction in teleimmersive environments | |
| JP4006105B2 (ja) | 画像処理装置およびその方法 | |
| Ali et al. | Teeth Model Reconstruction Based on Multiple View Image Capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190521 Termination date: 20200524 |