CN111147733B - 信息处理设备、信息处理方法和存储介质 - Google Patents

信息处理设备、信息处理方法和存储介质 Download PDF

Info

Publication number
CN111147733B
CN111147733B CN201911042734.5A CN201911042734A CN111147733B CN 111147733 B CN111147733 B CN 111147733B CN 201911042734 A CN201911042734 A CN 201911042734A CN 111147733 B CN111147733 B CN 111147733B
Authority
CN
China
Prior art keywords
light source
information processing
processing apparatus
time
elapsed time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911042734.5A
Other languages
English (en)
Other versions
CN111147733A (zh
Inventor
金子千晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN111147733A publication Critical patent/CN111147733A/zh
Application granted granted Critical
Publication of CN111147733B publication Critical patent/CN111147733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Generation (AREA)

Abstract

本发明提供一种信息处理设备、信息处理方法和存储介质。所述信息处理设备包括：显示单元，其被配置为显示拍摄图像和表示虚拟光源的状态的对象；改变单元，其被配置为基于经过时间来改变所述对象并改变所述虚拟光源的状态；以及添加单元，其被配置为向所述拍摄图像添加照明效果，所述照明效果是由被所述改变单元改变了状态的虚拟光源提供的。

Description

信息处理设备、信息处理方法和存储介质
技术领域
本发明涉及用于将由虚拟光源提供的照明效果添加到拍摄图像的信息处理设备。
背景技术
迄今为止，已知用于执行虚拟照明处理以将虚拟照明效果添加到拍摄图像的技术。日本特开2018-010497讨论了如下技术：用户对表示光源的操作对象(该对象在下文中称为光源对象)设置表示例如虚拟光源的位置和光强度的参数，并且将由虚拟光源提供的照明效果添加到图像。根据该技术，光源对象以叠加方式显示在拍摄图像上，并且与虚拟光源相关联的参数响应于对光源对象的用户操作而改变。在这种情况下，与虚拟光源相关联的参数与光源对象的诸如显示位置或大小等的显示状态连动地改变，从而使得用户能够在视觉上识别虚拟光源的位置和光强度的同时调整照明状态。
在现有技术中，除非对光源对象进行用户操作，否则不改变要添加到拍摄图像的照明效果。因此，如果用户对于操作包括用于操作光源对象的功能的信息处理设备不熟悉，则用户可能不知道能够通过操作光源对象来使照明效果改变。
发明内容
本发明旨在提供使得用户能够容易地认识由于对光源对象的操作而引起的照明效果的改变的信息处理设备。
根据本发明的方面的信息处理设备包括：显示单元，其被配置为显示拍摄图像和表示虚拟光源的状态的对象；改变单元，其被配置为基于经过时间来改变所述对象并改变所述虚拟光源的状态；以及添加单元，其被配置为向所述拍摄图像添加照明效果，所述照明效果是由被所述改变单元改变了状态的虚拟光源提供的。
根据以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。
附图说明
图1A和1B是各自示出根据第一典型实施例的信息处理设备的硬件结构示例的框图。
图2A和2B各自示出根据第一典型实施例的信息处理设备的外观。
图3A和3B是各自示出根据第一典型实施例的信息处理设备的逻辑结构示例的框图。
图4是示出根据第一典型实施例的信息处理设备所要执行的处理的流程的流程图。
图5示出根据第一典型实施例的坐标系。
图6A和6B各自示出根据第一典型实施例的图形用户界面(GUI)和照明图像的示例。
图7中的(a)至(d)是各自示出根据第一典型实施例的光源对象参数基于经过时间的改变的示例的图。
图8A至8E各自示出根据第一典型实施例的GUI和照明图像中的改变的示例。
图9是示出根据第二典型实施例的信息处理设备所要执行的处理的流程的流程图。
图10A至10D各自示出根据第二典型实施例的光源对象参数基于经过时间的改变的示例。
图11A和11B各自示出根据第二典型实施例的GUI和照明图像。
图12是示出根据第三典型实施例的信息处理设备所要执行的处理的流程的流程图。
图13中的(a)、(b)和(c)是各自示出根据第三典型实施例的光源对象参数基于经过时间的改变的示例的图。
图14A和14B各自示出根据第三典型实施例的GUI和照明图像的示例。
图15示出根据第四典型实施例的GUI和照明图像的改变的示例。
图16是示出根据第五典型实施例的信息处理设备所要执行的处理的流程的流程图。
图17示出根据第五典型实施例的与虚拟光源相关联的初始参数的示例。
图18示出根据第五典型实施例的光源对象的状态的示例。
图19示出根据第五典型实施例的GUI和照明图像的改变的示例。
具体实施方式
下面将参考附图描述本发明的典型实施例。以下典型实施例不意图限制本发明。并非在典型实施例中描述的特征的所有组合都是本发明所必需的。
<信息处理设备1的硬件结构>
将描述第一典型实施例。图1A是示出根据第一典型实施例的信息处理设备1的硬件结构示例的框图。信息处理设备1由包括通信功能和摄像功能的设备(诸如智能电话或平板个人计算机(PC)等)实现。信息处理设备1包括中央处理单元(CPU)101、只读存储器(ROM)102、随机存取存储器(RAM)103、输入/输出接口(I/F)104、触摸面板显示器105、摄像单元106和通信I/F 107。CPU 101使用RAM 103作为工作存储器，并执行ROM 102或外部存储设备110等中所存储的操作系统(OS)和各种程序。OS和各种程序可以存储在内部存储设备中。此外，CPU 101经由系统总线108控制各个组件。通过将ROM 102和外部存储设备110中所存储的程序代码或者指令加载到RAM 103中并由CPU 101执行所加载的程序代码，来实现根据下面要描述的流程图进行的处理。当由CPU 101执行时，程序代码或指令可以使CPU 101执行以下描述的操作(例如显示、改变和添加)。输入/输出I/F 104经由串行总线109与外部存储设备110连接。外部存储设备110是硬盘驱动器(HDD)。触摸面板显示器105是具有用于显示图像的显示器和用于检测诸如手指等的指示器的触摸位置的触摸面板一体地形成的结构的输入/输出单元。摄像单元106是用于获取摄像对象的图像的摄像单元。图2A和2B各自示出根据本典型实施例的信息处理设备1的外观的示例。图2A示出信息处理设备1的包括触摸面板显示器105的面(该面在下文中称为显示面)。图2B示出信息处理设备1的与显示面相反的面(以下称为背面)。根据本典型实施例的摄像单元106包括设置在信息处理设备1的背面上的主照相机202和设置在信息处理设备1的显示面上的内置照相机201。内置照相机201安装在能够拍摄意图浏览显示器(显示画面)的用户的面部图像的位置和方向。通信I/F107建立与其它信息处理设备或通信设备、或者其它外部存储设备等的有线或无线双向通信。根据本典型实施例的通信I/F 107可以经由无线局域网(LAN)相对于通信对方发送和接收数据。通信I/F 107不仅可以建立与其它通信设备的直接通信，而且可以经由中继设备建立与其它通信设备的间接通信。
<信息处理设备1的逻辑结构>
将描述信息处理设备1的逻辑结构示例。图3A是示出根据本典型实施例的信息处理设备1的逻辑结构示例的框图。信息处理设备1使用RAM103作为工作存储器，并且CPU 101执行ROM 102中所存储的程序，从而使得信息处理设备1能够作为图3A所示的逻辑结构起作用。并非所有下面描述的处理都必须由CPU 101执行。信息处理设备1可以以一些或所有处理由除了CPU 101之外的一个或多个处理电路进行的方式配置。
信息处理设备1包括数据获取单元301、照明单元302、图像显示单元303、数据存储单元304、操作单元305、改变单元306和图形用户界面(GUI)显示单元307。
数据获取单元301从摄像单元106获取拍摄图像作为输入图像数据。数据获取单元301还从ROM 102或外部存储设备110等获取虚拟光源参数的初始值和光源对象参数的初始值。虚拟光源参数是表示当将照明效果添加到图像时使用的虚拟光源的状态的参数。虚拟光源参数的示例包括虚拟光源的位置、方向、照射角、强度、分布曲线和数量。光源对象参数是表示光源对象的状态的参数。光源对象参数的示例包括光源对象的位置、方向、大小、亮度、颜色、透过度、形状和数量。这里，上述参数的初始值被预先存储在ROM 102或外部存储设备110等中。如果摄像单元106包括诸如肖像模式和微距模式等的多个摄像模式，则可以根据针对各个摄像模式提供的初始值获取与用于拍摄输入图像的摄像模式相对应的值。将所获取到的输入图像数据和虚拟光源参数的初始值发送到照明单元302。将光源对象参数的初始值发送到改变单元306。
照明单元302基于光源对象参数确定虚拟光源参数。此外，照明单元302通过使用虚拟光源参数来生成添加了由虚拟光源提供的照明效果的图像数据(该图像数据在下文中称为照明图像数据)。下面将详细描述该处理。将所生成的照明图像数据发送到图像显示单元303和数据存储单元304。
图像显示单元303将照明图像数据输出到触摸面板显示器105并显示输出的照明图像数据。
数据存储单元304将照明图像数据存储并保存在外部存储设备110中。
操作单元305经由触摸面板显示器105接收表示用户操作的输入信息(该信息在下文中称为操作信息)。将所接收到的操作信息中的与光源对象相对应的信息发送到改变单元306。
改变单元306基于对光源对象的操作或基于经过时间来确定光源对象参数。下面将详细描述该处理。将所确定的光源对象参数发送到照明单元302和GUI显示单元307。
GUI显示单元307基于光源对象参数来绘制包括光源对象的GUI，并在触摸面板显示器105上输出和显示GUI。
图5是示出在本典型实施例中使用的坐标系(ij平面坐标系、uv平面坐标系和xyz空间坐标系)的示意图。ij平面坐标系是将输入图像I的左上角设置为原点、将水平向右方向设置为i轴、并且将垂直向下方向设置为j轴的二维坐标系。图像上由位置坐标(i,j)表示的像素被表示为“像素(i,j)”。uv平面坐标系是将输入图像I的中心设置为原点、将与i轴一致的方向设置为u轴、并且将与j轴相反的方向设置为v轴的二维坐标系。假设“u”和“v”以图像具有水平宽度“1”和垂直宽度“1”的方式被归一化。xyz空间坐标系是将拍摄到输入图像I的照相机的光学中心O设置为原点、将与u轴一致的方向设置为x轴、将与v轴一致的方向设置为y轴、并且将在深度方向(即，照相机的光轴方向)上从前侧(照相机侧)向后侧(被摄体侧)的方向设置为z轴的三维坐标系。在以下描述中，将虚拟光源的三维位置向量PL＝(xL,yL,zL)、虚拟光衰减率FL(P’)和虚拟光RGB强度(IrL,IgL,IbL)用作虚拟光源参数。在这种情况下，P’表示以虚拟光源的位置为原点的三维位置向量，并且FL(P’)表示当从虚拟光源发出的光到达由位置向量P’表示的点时的衰减率(0≤FL(P’)≤1)。将光源对象在uv平面坐标系中的位置坐标(up,vp)和光源对象的亮度Sp用作光源对象参数。在下文中，虚拟光源参数由QL(＝{PL,FL(P’),(IrL,IgL,IbL)})总地表示，并且光源对象参数由qL(＝{(up,vp),Sp})总地表示。
<照明处理的详情>
将详细描述照明单元302所要进行的照明处理。首先，获取表示针对输入图像的各个像素的被摄体表面的方向的单位法向量。可以使用各种已知的形状估计技术来获取法向量。例如，可以基于输入图像的阴影来估计法向量，或者可以通过将预先准备的形状模型应用于输入图像中的被摄体来估计法向量。可选地，可以使用能够获取图像以及与摄像对象有关的深度信息的照相机作为摄像单元106，并且可以基于从照相机获得的深度信息来计算法线。用于获取法向量的方法不是本发明的焦点，因此省略对其的详细描述。
接着，基于虚拟光源参数和被摄体表面的法向量来计算当用来自虚拟光源的光照射被摄体时获得的虚拟反射强度。在本典型实施例中，针对输入图像的各个像素(i,j)，根据以下等式计算虚拟反射强度(IrD(i,j)、IgD(i,j)、IbD(i,j))。
Figure BDA0002253298950000071
Figure BDA0002253298950000072
在等式(1)和(2)中，P(i,j)表示输入图像的像素(i,j)中包括的被摄体的三维位置向量。期望通过例如基于与被摄体有关的深度信息和摄像单元106的视角计算位置向量P(i,j)来针对各个像素获取该位置向量P(i,j)。可选地，为了便于处理，可以使用独立于像素位置地确定的常数值(例如，P(i,j)＝(0,0,dp)，其中dp是常数)。输入图像中的像素(i,j)的RGB值由(Ir(i,j),Ig(i,j),Ib(i,j))表示。L(i,j)表示从被摄体到虚拟光源的光源向量。N(i,j)表示针对像素(i,j)的被摄体表面的法向量。如果输入图像的衰减率和像素值是常数，则通过等式(1)获得的虚拟反射强度的值随着在法向量和光源向量之间形成的角度θ的减小而增大。当θ＝0成立时(即，当被摄体表面面向从虚拟光源入射的光的方向时)，虚拟反射强度具有最大值。
根据下面的等式将如上所述计算的虚拟反射强度相加到输入图像的RGB值，从而生成照明图像数据。
Figure BDA0002253298950000081
在等式(3)中，(I’r(i,j),I’g(i,j),I’b(i,j))表示照明图像中的像素(i,j)处的RGB值。
在计算虚拟反射强度的情况下，不仅可以考虑由等式(1)表示的反射，而且可以考虑被摄体所特有的诸如光泽和阴影等的反射特性。另外，可以使用计算机图形学中通常使用的各种反射模型。上述处理使得可以向拍摄图像中的被摄体添加照明效果。
<信息处理设备1要执行的处理>
图4是示出信息处理设备1要执行的处理的流程的流程图。在以下描述中，各个步骤由后面是数字的“S”表示。
在步骤S401中，数据获取单元301获取输入图像数据、虚拟光源的初始参数QL0＝{PL0,FL0(P’),(IrL0,IgL0,IbL0)}、以及光源对象的初始参数qL0＝{(up0,vp0),Sp0}。初始参数的具体示例如下所述。
(虚拟光源的初始参数QL0)
-虚拟光源的位置向量PL0＝(0,0,dL0)(dL0是常数)，虚拟光的衰减率FL0(P’)＝1/|P’|2
-虚拟光RGB强度(IrL0,IgL0,IbL0)＝(0.5,0.5,0.5)(光源对象的初始参数qL0)
-光源对象的位置坐标(up0,vp0)＝(0,0)，光源对象的亮度Sp0＝0.5
在步骤S402中，照明单元302和改变单元306通过使用在步骤S401中获取到的初始参数QL0和qL0来初始化各个虚拟光源参数QL和光源对象参数qL。具体地，照明单元302设置虚拟光源参数QL＝QL0，并且改变单元306设置光源对象参数qL＝qL0。
在步骤S403中，照明单元302通过使用在步骤S402中初始化的虚拟光源参数QL将照明效果添加到在步骤S401中获取到的输入图像数据，从而生成照明图像数据。
在步骤S404中，GUI显示单元307在触摸面板显示器105上显示包括光源对象的GUI。此外，图像显示单元303在GUI上的预定区域中还显示在步骤S403中生成的照明图像。图6A示出GUI的示例。在GUI 6上的图像显示区域601中显示照明图像I’。基于在步骤S402中初始化的光源对象参数qL(＝qL0)，在图像显示区域601中显示的照明图像I’上以叠加方式显示光源对象602。图6A中所示的照明图像I’是用虚拟光从被摄体的前侧照射被摄体的图像。光源对象602以叠加方式显示在照明图像I’的中央。在图6A中，阴影部分605表示由于虚拟光源所提供的照明效果而亮度增加的部分。在以下描述所基于的附图中，具有较深颜色的阴影部分表示较亮部分。
在步骤S405中，改变单元306获取当前时刻，并且将所获取到的当前时刻存储为开始虚拟照明处理时的开始时刻t0。
在步骤S406中，操作单元305接收与对在步骤S404中显示的光源对象的用户操作有关的信息。与对光源对象的用户操作有关的信息是与诸如对触摸面板显示器105上显示的光源对象的轻击操作(单击、双击或长击)、拖拽操作、轻拂操作或捏合/分开操作等的操作有关的信息。如果接收到与对光源对象的操作有关的信息(步骤S406中为“是”)，则处理进入步骤S407。在其它情况下(步骤S406中为“否”)，处理进入步骤S408。
在步骤S407中，改变单元306基于在步骤S406中接收到的操作信息来确定光源对象参数qL的值。例如，当对光源对象进行拖拽操作时，光源对象的位置坐标(up，vp)改变了与通过拖拽操作的触摸位置的移动相对应的量。当对光源对象进行轻击操作时，光源对象的亮度Sp改变。在改变亮度的情况下，每次进行轻击操作时，以循环方式以多个预定级别的灰度改变亮度。可选地，当进行轻击操作时，可以显示滑块，并且用户可以操作该滑块以改变亮度。操作信息与各种参数的改变内容之间的关联不限于上述示例。在另一示例中，亮度可以通过对光源对象的捏合/分开操作而增加或降低，或者亮度可以在每次对光源对象进行轻击操作时在Sp＝0和Sp≠0之间切换。
在步骤S408中，改变单元306获取当前时刻并将获取到的当前时刻存储为当前时刻t。
在步骤S409中，改变单元306基于从开始时刻t0起到当前时刻t为止的经过时间Δt0(＝t-t0)来确定光源对象参数qL(即，光源对象的位置坐标(up，vp)和亮度Sp)的值。这里，up(＝fu(Δt0))、vp(＝fv(Δt0))、以及Sp(＝fS(Δt0))表示通过将Δt＝Δt0分别代入下面将描述的经过时间Δt的函数fu(Δt)、fv(Δt)和fs(Δt)而获得的值。
fu(Δt)＝au1*sin(au2*Δt) …(4)
fv(Δt)＝av1*sin(av2*Δt) …(5)
fs(Δt)＝aS1*sin(aS2*Δt)+0.5 …(6)
在等式(4)、(5)和(6)中，au1和av1是各自表示在uv平面坐标系的各个轴方向上的位置的波动范围的系数，aS1是表示亮度的波动范围的系数，并且au2、av2和aS2是各自表示在时间轴方向上的位置或亮度的波动的周期的系数。图7中的(a)至(d)是各自表示经过时间与光源对象参数的值之间的关系示例的图。图7中的(a)至(c)是示出分别由等式(4)至(6)确定的up、vp和Sp的图，并且图7中的(d)示出该情况下的光源对象在uv平面上的位置坐标(up,vp)的轨迹。用于计算参数值的函数不限于上述示例(等式(4)至(6))，但是作为替代可以使用任何函数，只要该函数是用于经过时间Δt0的函数即可。替代使用这些函数，可以通过参考经过时间Δt0与各个参数值相关联的查找表(LUT)来确定光源对象参数的值。
在步骤S410中，照明单元302基于在步骤S407或S409中确定的光源对象参数qL来确定虚拟光源参数QL。在本典型实施例中，基于光源对象参数qL＝{(up,vp),Sp}，根据以下等式确定虚拟光源参数QL中包括的虚拟光源的位置向量PL和RGB强度(IrL,IgL,IbL)。
Figure BDA0002253298950000111
Figure BDA0002253298950000112
在等式(7)和(8)中，θH和θV分别表示已经拍摄输入图像的照相机的水平视角和垂直视角。
在步骤S411中，照明单元302通过使用在步骤S410中确定的虚拟光源参数QL来重新生成照明图像数据。
在步骤S412中，图像显示单元303更新照明图像数据的显示。具体地，图像显示单元303通过利用在步骤S411中重新生成的照明图像数据覆盖在步骤S404中显示的GUI 6上的图像显示区域601，来显示该照明图像数据。此外，GUI显示单元307基于在步骤S407或S409中确定的光源对象参数qL，在图像显示区域601中再次绘制光源对象602。图6B示出更新后的GUI的示例。图6B示出在步骤S409中基于经过时间Δt0确定光源对象参数的示例。图6B中所示的光源对象602的位置和亮度相对于图6A中所示的光源对象的位置和亮度发生改变。用虚拟光照射的部分605的位置和亮度也相应地改变。
在步骤S413中，操作单元305经由在步骤S404中显示的GUI接收用户操作信息，并且判断是否继续处理。具体地，当按下GUI 6上的确定按钮603或取消按钮604时，判断为终止处理(步骤S413中为“否”)，然后处理进入步骤S414。在其它情况下，判断为继续处理(步骤S413中为“是”)，然后处理返回到步骤S406。
在步骤S414中，操作单元305基于在步骤S413中接收到的操作信息来判断是否存储照明图像数据。具体地，如果在步骤S413中按下确定按钮603，则判断为存储数据(步骤S414中为“是”)，然后处理进入步骤S415。如果在步骤S413中按下取消按钮604，则判断为不存储数据(步骤S414中为“否”)，然后处理终止。
在步骤S415中，数据存储单元304存储在步骤S411中重新生成的照明图像数据，然后处理终止。
<第一典型实施例的有益效果>
如上所述，根据本典型实施例的信息处理设备1基于经过时间来改变GUI上的光源对象的状态，基于光源对象的状态来将由虚拟光源提供的照明效果添加到图像，并显示该图像。该结构使得可以容易地识别光源对象与要添加的光效果之间的关系。
在本典型实施例中，数据获取单元301从摄像单元106获取输入图像数据，但是作为替代，可以获取外部存储设备110等中存储的图像数据作为输入图像数据。
数据获取单元301获取预先存储的虚拟光源参数的初始值和光源对象参数的初始值。然而，可以基于输入图像中的被摄体的类型、位置或大小等来确定这些初始值。例如，可以提取聚焦区域或包括人物的面部的区域作为主被摄体区域，并且可以基于主被摄体区域的中心位置和大小来确定虚拟光源的初始位置向量PL0和光源对象的初始位置坐标(up0,vp0)。可选地，可以将预先设置的虚拟光源参数和光源对象参数的值存储并用作初始值。
数据存储单元304可以彼此相关联地存储照明图像数据和虚拟光源参数。
尽管在本典型实施例中使用光源对象的位置坐标和亮度作为光源对象参数，但是可以仅使用光源对象的位置坐标和亮度中的一个。如果仅使用位置坐标，则在步骤S410中，可以仅基于等式(7)确定虚拟光源的位置向量，并且虚拟光源的RGB强度可以在初始值处维持恒定。如果仅使用亮度，则可以仅基于等式(8)确定虚拟光源的RGB强度，并且虚拟光源的位置向量可以在初始值处维持恒定。
尽管在本典型实施例中虚拟光源是不具有方向性的点光源，但是可以使用诸如聚光灯等的具有方向性的光源。在这种情况下，可以添加虚拟光源的光轴方向和照射角度作为虚拟光源参数，并且可以使用光源对象的方向和形状作为光源对象参数。具体地，在步骤S407或S409中确定光源对象的方向，并且在步骤S410中基于该方向确定虚拟光源的光轴方向。可选地，在步骤S407或S409中确定光源对象的形状，并且在步骤S410中基于该形状确定虚拟光源的照射角度。图8A和8B各自示出在这种情况下的GUI和照明图像的改变的示例。
此外，可以使用面光源作为虚拟光源。在这种情况下，可以添加虚拟光源的面的大小和形状作为虚拟光源参数，并且可以使用光源对象的大小和形状作为光源对象参数。具体地，在步骤S407或S409中确定光源对象的大小和形状，并且在步骤S410中基于光源对象的大小和形状确定虚拟光源的面的大小和形状。图8C示出在这种情况下的GUI和照明图像的改变的示例。
在本典型实施例中，基于光源对象的亮度来确定虚拟光源的RGB强度，但是作为替代，可以基于其它光源对象参数来确定虚拟光源的RGB强度。图8D示出当基于光源对象的透过度确定虚拟光源的RGB强度时的GUI和照明图像的改变的示例。在图8D所示的示例中，在时刻t0不透明的光源对象602在时刻t0+Δt0变为半透明。用虚拟光照射的部分的亮度根据该改变而降低。
可以基于光源对象的大小来确定虚拟光源的亮度。在图8E所示的示例中，用虚拟光照射的部分的亮度随着光源对象的大小的增大而增加。
此外，可以将诸如点光源或面光源等的光源类型添加到虚拟光源参数，并且可以使用表示各种类型的光源的形状作为光源对象参数。具体地，在步骤S407或S409中确定光源对象的形状，并且在步骤S410中基于该形状确定虚拟光源的类型。在这种情况下，在步骤S411中，可以基于根据光源类型的反射模型来计算虚拟反射强度，从而生成照明图像数据。用于基于各种反射模型计算反射强度的方法不是本发明的焦点，因此省略对其的详细描述。
在本典型实施例中，通过基于虚拟光源参数和被摄体表面的法向量计算虚拟反射强度来生成照明图像数据。然而，用于生成照明图像数据的方法不限于该示例。例如，可以基于通过在已知光源下拍摄被摄体的图像而获得的各种图像数据来学习虚拟光源参数与所获得的照明图像之间的关系，并且可以基于学习结果来生成照明图像数据。
在第一典型实施例中，基于从开始虚拟照明处理的时刻起的经过时间来改变光源对象的状态。在第二典型实施例中，还通过考虑从进行操作的时刻起的经过时间来改变光源对象的状态。根据第二典型实施例的信息处理设备1的硬件结构与根据第一典型实施例的信息处理设备1的硬件结构相同，因此省略对该硬件结构的描述。下面将主要描述第二典型实施例和第一典型实施例之间的不同之处。第二典型实施例中的与第一典型实施例中的组件相同的组件用相同的附图标记表示。
<信息处理设备1的逻辑结构>
根据第二典型实施例的信息处理设备1的逻辑结构与根据第一典型实施例的信息处理设备1的逻辑结构(图3A)相同。
<信息处理设备1要执行的处理>
图9是示出根据第二典型实施例的信息处理设备1所要执行的处理的流程的流程图。与第一典型实施例相同，根据第二典型实施例的虚拟光源参数QL和光源对象参数qL由QL＝{PL,FL(P’),(IrL,IgL,IbL)}、qL＝{(up,vp),Sp}表示。
步骤S901至S906的处理分别与步骤S401至S406的处理相同，因此省略对这些处理的描述。
在步骤S907中，改变单元306获取当前时刻，并将所获取到的当前时刻存储为进行操作的时刻t1。时刻t1预先用足够小的值(例如，负常数)tm初始化，并且保持t1＝tm直到执行步骤S907为止。
步骤S908和S909的处理分别与步骤S407和S408的处理相同，因此省略对这些处理的描述。
在步骤S910中，改变单元306将开始时刻t0与进行操作的时刻t1进行比较，并且判断在开始虚拟照明处理的时刻之后是否进行了用户操作。具体地，当t0<t1成立时，判断为进行了操作(步骤S910中为“是”)，然后处理进入步骤S911。在其它情况下，判断为没有进行操作(步骤S910中为“否”)，然后处理进入步骤S912。
在步骤S911中，改变单元306基于从进行操作的时刻t1起到当前时刻t为止的经过时间Δt1(＝t-t1)来确定光源对象参数qL的值。在本典型实施例中，通过参考图10A所示的LUT来获取与经过时间Δt1相对应的光源对象的位移Δup和Δvp、以及亮度改变量ΔSp，并且使用位移Δup和Δvp以及亮度改变量ΔSp根据以下等式来计算光源对象的位置坐标(up,vp)和亮度Sp。
Figure BDA0002253298950000161
在等式(9)中，(up1,vp1)和Sp1分别表示在步骤S908中确定的(即，在进行用户操作之后获得的)光源对象的位置坐标和亮度。图10B示出光源对象在uv平面上的位置坐标(up,vp)的轨迹。
在步骤S912中，改变单元306基于从开始虚拟照明处理的时刻起到当前时刻为止的经过时间Δt0来确定光源对象参数qL的值(与步骤S409相同)。在本典型实施例中，通过参考图10C所示的LUT来获取与经过时间Δt0相对应的光源对象的位移Δup和Δvp、以及亮度改变量ΔSp，并且使用位移Δup和Δvp以及亮度改变量ΔSp根据以下等式来计算光源对象的位置坐标(up,vp)和亮度Sp。
Figure BDA0002253298950000162
图10D示出在这种情况下的光源对象在uv平面上的位置坐标(up,vp)的轨迹。
步骤S913至S918的处理分别与步骤S410至S415的处理相同，因此省略对这些处理的描述。
图11A和11B各自示出根据本典型实施例的GUI的操作的示例。图11A示出从开始虚拟照明处理的时刻t0起到用户操作光源对象的时刻t1为止的GUI的状态。在从时刻t0起到时刻t1为止的时间段期间，光源对象602的状态基于从开始时刻起的经过时间Δt0而改变。具体地，在亮度基于图10C所示的LUT改变的同时，光源对象602在图10D所示的轨迹上移动。然后，在用户操作光源对象之前经过一定时间段(在图10C所示的示例中为1.3[s])之后，光源对象602以恒定亮度(＝Sp0)保持在初始位置坐标(up0,vp0)处。另外，在照明图像I’中顺次反映要基于光源对象602的状态而添加的照明效果。图11B示出在时刻t1操作光源对象之后的GUI的状态。图11B示出在将光源对象602从位置坐标(up0,vp0)拖拽到位置坐标(up1,vp1)之后的状态的示例。在时刻t1之后，光源对象602的状态基于从进行操作的时刻起的经过时间Δt1而改变。具体地，在经过一定时间段(在图10A所示的示例中为10.0[s])之后，在亮度基于图10A所示的LUT改变的同时，光源对象在图10B所示的轨迹上移动。然后，在照明图像I’中顺次反映要基于光源对象602的状态而要添加的照明效果。如果在时刻t1之后再次对光源对象进行操作，则将该时刻视为新时刻t1。此外，光源对象的状态基于从新时刻t1(即，再次进行操作的时刻)起的经过时间而改变，并且照明图像也根据该改变而改变。
<第二典型实施例的有益效果>
如上所述，根据本典型实施例的信息处理设备1通过不仅考虑从开始虚拟照明处理的时刻起的经过时间，而且还考虑从进行操作的时刻起的经过时间，来改变光源对象的状态。这使得可以在用户不确定要进行的操作、因此在一定时间段没有接收到用户操作的情况下向用户呈现要对光源对象进行的操作和照明效果的示例。
在本典型实施例中，在步骤S912中使用了光源对象参数的值在经过一定时间段之后恒定的LUT。然而，也可以使用光源对象参数的值在经过特定时间段之后再次改变的LUT。步骤S911中所使用的LUT可以与步骤S912中所使用的LUT相同。
在第三典型实施例中，光源对象的状态基于从信息处理设备1的状况发生改变(诸如信息处理设备1的位置或姿势发生改变等)的时刻起的经过时间而改变。在第三典型实施例中，将主要描述信息处理设备1的位置/姿势的改变。然而，光源对象的状态可以基于例如对信息处理设备1进行预定操作(按下用于实现信息处理设备1的预定功能的按钮)的时刻而改变。根据第三典型实施例的信息处理设备1的硬件结构与根据第一典型实施例的信息处理设备1的硬件结构相同。
<信息处理设备1的逻辑结构>
图3B是示出根据本典型实施例的信息处理设备1的逻辑结构示例的框图。信息处理设备1包括数据获取单元301、照明单元302、图像显示单元303、数据存储单元304、操作单元305、改变单元306、GUI显示单元307和检测单元308。
检测单元308检测信息处理设备1的状况改变。本典型实施例示出检测信息处理设备1的位置或方向的改变作为状况改变的示例。根据本典型实施例的检测单元308从摄像单元106按时间顺序顺次获取拍摄图像数据。此外，每次获取拍摄图像数据时，计算在当前时刻获取到的图像数据和在前一时刻获取的图像数据之间的差。如果该差大于或等于预定阈值，则判断为信息处理设备1的位置或方向已经改变。作为图像数据之间的差，例如可以使用像素值的均方误差或平均绝对误差。将检测结果顺次发送到改变单元306。
数据获取单元301、照明单元302、图像显示单元303、数据存储单元304、操作单元305、改变单元306和GUI显示单元307与第一典型实施例中描述的那些单元相同，因此省略对这些单元的描述。
<信息处理设备1要执行的处理>
图12是示出根据第三典型实施例的信息处理设备1所要执行的处理的流程的流程图。与第一典型实施例相同，根据本典型实施例的虚拟光源参数QL和光源对象参数qL由QL＝{PL,FL(P’)、(IrL,IgL,IbL)}、qL＝{(up,vp),Sp}表示。
步骤S1201至步骤S1204、步骤S1205和步骤S1206的处理分别与步骤S401至S404、S406和407的处理相同，因此省略对这些处理的描述。
在步骤S1207中，改变单元306基于从检测单元308发送的检测结果，判断与信息处理设备1相关联的状况是否已改变。在检测到状况改变的情况下(步骤S1207中为“是”)，处理进入步骤S1208。在其它情况下(步骤S1207中为“否”)，处理进入步骤S1209。
在步骤S1208中，改变单元306获取当前时刻，并将所获取到的当前时刻存储为与信息处理设备1相关联的状况已改变的时刻t2。
步骤S1209的处理与步骤S408的处理相同，因此省略对该处理的描述。
在步骤S1210中，改变单元306基于从与信息处理设备1相关联的状况已改变的时刻t2起到当前时刻t为止的经过时间Δt2(＝t-t2)来确定光源对象参数qL的值。在本典型实施例中，根据以下等式来计算与经过时间Δt2相对应的各个参数的位移Δup和Δvp以及改变量ΔSp，并且使用计算出的位移Δup和Δvp以及改变量ΔSp来确定光源对象的位置坐标(up,vp)和亮度Sp。
Figure BDA0002253298950000191
Figure BDA0002253298950000192
在等式(11)和(12)中，θuv是表示光源对象的位置的波动方向的角度；auv1、auv2和γuv分别是表示在各个位置处的波动范围、波动周期和波动衰减的系数；aS3、aS4和γS分别是表示亮度的波动范围、波动周期、波动衰减的系数；以及(up2,vp2)和Sp2分别表示光源对象在时刻t2的位置坐标和亮度。图13中的(a)至(c)分别是示出通过等式(12)确定的up、vp和Sp的图。在这种情况下，光源对象以阻尼方式在UV平面上、在具有倾斜度θuv的直线上振动。θuv的值可以是预定常数，或者可以是使用加速度传感器等检测到的重力方向的倾斜度。
步骤S1211至S1216的处理分别与步骤S410至S415的处理相同，因此省略对这些处理的描述。
图14A和14B各自示出根据本典型实施例的GUI的操作。图14A和14B各自示出信息处理设备1在特定时刻倾斜的示例。图14A示出紧挨在信息处理设备1倾斜之前的信息处理设备1和GUI。图14B示出在信息处理设备1倾斜之后经过了与Δt2相对应的时间段时的信息处理设备1和GUI。图14B示出光源对象602的位置从图14A所示的状态起沿重力方向移动，并且亮度也改变。用虚拟光照射的部分的位置和亮度也根据该改变而改变。
<第三典型实施例的有益效果>
如上所述，根据本典型实施例的信息处理设备1基于从与信息处理设备1相关联的状况发生改变的时刻起的经过时间来改变光源对象的状态。这使得可以在与信息处理设备1相关联的状况改变时将用户的视线吸引到光源对象，并且可以将表示可以通过操作光源对象来改变照明效果的信息隐含地呈现给用户。
检测单元308可以包括加速度传感器、陀螺仪传感器和地磁传感器，并且可以基于来自传感器的输出而检测信息处理设备1的位置或方向的改变。
此外，检测单元308可以基于从摄像单元106按时间顺序获取到的多个拍摄图像，通过使用已知的照相机位置/姿势估计方法来估计摄像单元106的位置/姿势的改变，并且可以检测该改变作为与信息处理设备1相关联的状况的改变。
在接收到诸如用户的触摸操作或手势等的输入信息时，检测单元308可以判断为与信息处理设备1相关联的状况已改变。
在第四典型实施例中，分开显示照明图像和GUI。根据第四典型实施例的信息处理设备1的硬件结构与根据第一典型实施例的信息处理设备1的硬件结构相同。
<信息处理设备1的逻辑结构>
根据第四典型实施例的信息处理设备1的逻辑结构与根据第一典型实施例的信息处理设备1的逻辑结构(图3A)相同。
<信息处理设备1要执行的处理>
除了在步骤S404和S412中显示GUI和照明图像的方法之外，根据第四典型实施例的信息处理设备1所要执行的处理流程与根据第一典型实施例的处理流程(图4)相同。与第一典型实施例相同，根据本典型实施例的虚拟光源参数QL和光源对象参数qL由QL＝{PL,FL(P’)、(IrL,IgL,IbL)}、qL＝{(up,vp),Sp}表示。这里，根据本典型实施例的uv平面坐标系是将GUI中的图像显示区域的中心设置为原点、将水平向右方向设置为u轴、并且将垂直向上方向设置为v轴的二维坐标系。此外，以图像显示区域具有水平宽度“1”和垂直宽度“1”的方式对“u”和“v”进行归一化。
在步骤S404中，GUI显示单元307在触摸面板显示器105上显示包括光源对象的GUI。图像显示单元303在触摸面板显示器105上与GUI分开地显示在步骤S403中生成的照明图像。
在步骤S412中，GUI显示单元307基于在步骤S407或S409中确定的光源对象参数qL，再次在图像显示区域601中绘制光源对象602。此外，图像显示单元303通过利用在步骤S411中重新生成的照明图像数据覆盖在步骤S404中与GUI分开显示的照明图像来显示该照明图像数据。
图15示出根据本典型实施例的GUI和照明图像的改变的示例。在GUI 6上的图像显示区域601中显示光源对象602。在触摸面板显示器105上与GUI 6分开地显示照明图像I’。由于GUI和照明图像分开地显示，因此即使当虚拟光源在时刻t0位于被摄体的前面时，照明图像中的被摄体也可以在不被光源对象602隐藏的情况下被确认。为了有助于虚拟光源的位置的识别，可以在图像显示区域601中显示引导图像。在图15所示的示例中，显示与已经拍摄输入图像的照相机的光学中心相对应的点或者用于描绘以该点为中心的圆的图像作为引导图像。
<第四典型实施例的有益效果>
如上所述，根据本典型实施例的信息处理设备1分开显示照明图像和GUI。这样，照明图像可以在不被光源对象隐藏的情况下被确认。
第五典型实施例示出在基于经过时间改变虚拟光源的状态的多个预定模式的同时显示光源对象和照明图像的示例。根据第五典型实施例的信息处理设备1的硬件结构与根据第一典型实施例的信息处理设备1的硬件结构相同。
<信息处理设备1的逻辑结构>
根据第五典型实施例的信息处理设备1的逻辑结构与根据第一典型实施例的信息处理设备1的逻辑结构(图3A)相同。
<信息处理设备1要执行的处理>
图16是示出根据第五典型实施例的信息处理设备1所要执行的处理的流程的流程图。
在步骤S1601中，与根据第一典型实施例的步骤S401相同，数据获取单元301获取输入图像数据、虚拟光源的初始参数和光源对象的初始参数。在本典型实施例中，与多个虚拟光源相关联的以下参数由虚拟光源参数QL＝{Q0,Q1,…,QK-1}(K表示虚拟光源的数量)总地表示。
(与第k个虚拟光源相关联的参数Qk)
-虚拟光源的位置向量PLPk＝(xLPk,yLPk,zLPk)，虚拟光源的光轴通过的位置向量PLAk＝(xLAk,yLAk,zLAk)
-虚拟光的RGB强度(IrLk,IgLk,IbLk)，虚拟光源的类型TypeLk
-虚拟光源的形状ShapeLk
-虚拟光源的大小SizeLk
-虚拟光的照射角度θLk
图17示出当K＝6成立时的初始参数QL0＝{Q00,Q10,…,Q50}的示例。在图17中，“区域”表示虚拟光源的类型是面光源，以及“点”表示虚拟光源的类型是点光源。“正方形”表示面光源的形状是正方形，以及项“SizeLk”中的各个数值表示正方形的一边的长度。在图17所示的示例中，六个虚拟光源被布置成围绕z轴上的点(0,0,dat)。
在本典型实施例中，表示预先存储的M个光源对象状态的标识(ID)被用作光源对象参数qL，并且初始值qL0＝0成立。图18示出设置M＝4个光源对象状态的示例。在图18中，在各个状态中包括分别与K＝6个虚拟光源相对应的光源对象1800至1805，并且αm,k表示在第m个状态中第K个光源对象的透过度。这里使用的术语“透过度”指的是光源对象的透视程度。当透过度是“0”时，光源对象被描绘为处于不透明状态。
步骤S1602至S1605和步骤S1606的处理分别与步骤S402至S405和步骤S408的处理相同，因此省略对这些处理的描述。当在步骤S1603中生成照明图像时，可以如以上在第一典型实施例中所述针对K个虚拟光源中的各个光源计算虚拟反射强度，并且可以将计算出的虚拟反射强度添加到输入图像的各个像素值。
在步骤S1607中，改变单元306基于从开始时刻t0起到当前时刻t为止的经过时间Δt0(＝t-t0)确定光源对象参数qL的值，即表示光源对象的状态的ID。在本典型实施例中，根据下面的等式确定与经过时间Δt0相对应的光源对象参数qL。
Figure BDA0002253298950000231
在等式(13)中，T是表示间隔的常数。在这种情况下，每当经过间隔T时，光源对象参数qL的值在从“0”至“M-1”的范围内重复地改变。
在步骤S1608中，照明单元302基于在步骤S1607中确定的光源对象参数qL所表示的ID，确定虚拟光源参数QL中包括的虚拟光源的RGB强度。根据下面的等式确定虚拟光源的RGB强度(IrLk,IgLk,IbLk)(k＝0,1,…,K-1)。
Figure BDA0002253298950000241
在这种情况下，虚拟光源的RGB强度表示随着光源对象的透过度降低而增加的值。
步骤S1609的处理与步骤S411的处理相同，因此省略对该处理的描述。
在步骤S1610中，与步骤S412相同，图像显示单元303更新照明图像数据的显示。具体地，通过利用在步骤S1609中重新生成的照明图像数据覆盖在步骤S1604中显示的GUI 6上的图像显示区域601，来显示该照明图像数据。此外，GUI显示单元307基于在步骤S1607中确定的光源对象参数qL，在图像显示区域601中再次绘制光源对象602。
步骤S1611至S1613的处理分别与步骤S413至S415的处理相同，因此省略对这些处理的描述。
图19示出根据本典型实施例的GUI和照明图像的改变的示例。图19示出切换M＝4个虚拟光源状态的状态。在图19所示的示例中，K＝6个光源对象1800至1805中的各个光源对象的透过度基于经过时间Δt0而改变。用虚拟光照射的部分的亮度也根据光源对象的透过度的改变而改变。如果用户喜欢所显示的照明图像，则用户可以通过按下确定按钮603来存储该照明图像。
<第五典型实施例的有益效果>
如上所述，根据本典型实施例的信息处理设备1在基于经过时间改变多个预定虚拟光源的状态的同时显示光源对象和照明图像。这使得可以容易地识别光源对象和要添加的照明效果之间的关系，并且可以更简单地确定要添加的照明效果。
[变形例]
在上述典型实施例中，信息处理设备1具有图1A所示的硬件结构。然而，信息处理设备1的硬件结构不限于上述示例。例如，信息处理设备1可以具有图1B所示的硬件结构。信息处理设备1包括CPU 101、ROM 102、RAM 103、视频卡(VC)111、通用I/F 114和串行高级技术附件(SATA)I/F 118。CPU 101使用RAM 103作为工作存储器，并执行ROM 102或外部存储设备110等中所存储的OS和各种程序。此外，CPU 101经由系统总线108控制各个组件。通用I/F 114经由串行总线115与诸如鼠标或键盘等的输入装置116以及摄像设备117连接。SATAI/F 118经由串行总线119与外部存储设备110连接。VC 111通过串行总线112与显示器113连接。CPU 101在显示器113上显示由程序提供的GUI，并接收表示通过输入装置116获得的用户指示的输入信息。图1B所示的信息处理设备1例如由台式PC实现。信息处理设备1还由与摄像设备117一体化的数字照相机或与显示器113一体化的PC实现。
在上述典型实施例中，信息处理设备1包括两个照相机、即主照相机202和内置照相机201作为摄像单元106。然而，摄像单元106不限于上述示例。例如，信息处理设备1可以仅包括主照相机202。
尽管在上述典型实施例中将HDD用作外部存储设备110，但是外部存储设备110不限于上述示例。例如，外部存储设备110可以是固态驱动器(SSD)。外部存储设备110还由介质(记录介质)和用于访问介质的外部存储驱动器实现。作为介质，可以使用软盘(FD)、光盘(CD)-ROM、数字多功能盘(DVD)、通用串行总线(USB)存储器、磁光(MO)盘和闪速存储器等。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考典型实施例描述了本发明，但应理解，本发明不限于所公开的典型实施例。以下权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构和功能。

Claims (18)

1.一种信息处理设备，包括：
显示单元，其被配置为显示拍摄图像和表示虚拟光源的状态的对象；
改变单元，其被配置为基于经过时间来改变所述对象并改变所述虚拟光源的状态；以及
添加单元，其被配置为向所述拍摄图像添加照明效果，所述照明效果是由被所述改变单元改变了状态的虚拟光源提供的，
其中，所述经过时间是从开始显示所述对象的时刻起直到信息处理设备的操作单元没有接收到用户操作的时刻为止所的经过时间。
2.根据权利要求1所述的信息处理设备，其中，所述对象的改变是所述对象的位置、方向、亮度、颜色、透过度和数量其中至少之一的改变。
3.根据权利要求1所述的信息处理设备，还包括检测单元，所述检测单元被配置为检测所述信息处理设备的预定改变，
其中，所述经过时间替换为从所述检测单元检测到所述预定改变的时刻起直到没有检测到所述预定改变的时刻为止的经过时间。
4.根据权利要求3所述的信息处理设备，其中，所述信息处理设备的预定改变是所述信息处理设备的位置和姿势其中之一的改变。
5.根据权利要求3所述的信息处理设备，其中，所述信息处理设备的预定改变是与向所述信息处理设备的输入有关的信息的改变。
6.根据权利要求1所述的信息处理设备，其中，所述改变单元基于用户操作来改变由所述对象表示的所述虚拟光源的状态。
7.根据权利要求6所述的信息处理设备，其中，所述经过时间替换为从接收到所述用户操作的时刻起直到信息处理设备的操作单元没有接收到用户操作的时刻为止的经过时间。
8.根据权利要求7所述的信息处理设备，其中，在接收到所述用户操作的情况下，所述改变单元完成基于替换后的经过时间对由所述对象表示的所述虚拟光源的状态的改变。
9.根据权利要求1所述的信息处理设备，其中，在预定时间段没有接收到用户操作的情况下，所述改变单元基于所述经过时间来改变所述对象并改变所述虚拟光源的状态。
10.一种用于控制信息处理设备的信息处理方法，所述信息处理方法包括：
显示拍摄图像和表示虚拟光源的状态的对象；
基于经过时间来改变所述对象并改变所述虚拟光源的状态；以及
向所述拍摄图像添加照明效果，所述照明效果是由被改变了状态的虚拟光源提供的，
其中，所述经过时间是从开始显示所述对象的时刻起直到信息处理设备的操作单元没有接收到用户操作的时刻为止所的经过时间。
11.根据权利要求10所述的信息处理方法，其中，所述对象的改变是所述对象的位置、方向、亮度、颜色、透过度和数量其中至少之一的改变。
12.根据权利要求10所述的信息处理方法，还包括检测所述信息处理设备的预定改变，
其中，所述经过时间替换为从检测到所述预定改变的时刻起直到没有检测到所述预定改变的时刻为止的经过时间。
13.根据权利要求12所述的信息处理方法，其中，所述信息处理设备的预定改变是所述信息处理设备的位置和姿势其中之一的改变。
14.根据权利要求12所述的信息处理方法，其中，所述信息处理设备的预定改变是与向所述信息处理设备的输入有关的信息的改变。
15.根据权利要求10所述的信息处理方法，其中，基于用户操作来改变由所述对象表示的所述虚拟光源的状态。
16.根据权利要求15所述的信息处理方法，其中，所述经过时间替换为从接收到所述用户操作的时刻起直到信息处理设备的操作单元没有接收到用户操作的时刻为止的经过时间。
17.根据权利要求16所述的信息处理方法，其中，在接收到所述用户操作的情况下，完成基于替换后的经过时间对由所述对象表示的所述虚拟光源的状态的改变。
18.一种存储有程序的非暂时性存储介质，所述程序使计算机执行方法，所述方法包括：
显示拍摄图像和表示虚拟光源的状态的对象；
基于经过时间来改变所述对象并改变所述虚拟光源的状态；以及
向所述拍摄图像添加照明效果，所述照明效果是由被改变了状态的虚拟光源提供的，
其中，所述经过时间是从开始显示所述对象的时刻起直到信息处理设备的操作单元没有接收到用户操作的时刻为止所的经过时间。
CN201911042734.5A 2018-11-02 2019-10-30 信息处理设备、信息处理方法和存储介质 Active CN111147733B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-207193 2018-11-02
JP2018207193A JP7262976B2 (ja) 2018-11-02 2018-11-02 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN111147733A CN111147733A (zh) 2020-05-12
CN111147733B true CN111147733B (zh) 2021-12-03

Family

ID=70458886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911042734.5A Active CN111147733B (zh) 2018-11-02 2019-10-30 信息处理设备、信息处理方法和存储介质

Country Status (3)

Country Link
US (1) US11151779B2 (zh)
JP (1) JP7262976B2 (zh)
CN (1) CN111147733B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954697A (zh) * 2014-03-31 2015-09-30 佳能株式会社 图像处理装置及图像处理方法
CN105517279A (zh) * 2015-11-30 2016-04-20 小米科技有限责任公司 一种发光控制的方法和装置
CN107197171A (zh) * 2017-06-22 2017-09-22 西南大学 一种添加智能软件光源的数码拍照处理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980697B1 (en) 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
JP4480492B2 (ja) 2004-07-06 2010-06-16 株式会社キーエンス 拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラム、３次元画像表示プログラム及びコンピュータで読み取り可能な記録媒体
CN103135756B (zh) * 2011-12-02 2016-05-11 深圳泰山体育科技股份有限公司 生成控制指令的方法和系统
WO2013186684A2 (en) * 2012-06-11 2013-12-19 Koninklijke Philips N.V. Methods and apparatus for configuring a lighting fixture in a virtual environment
WO2014049473A1 (en) * 2012-09-28 2014-04-03 Koninklijke Philips N.V. Methods and apparatus for adjusting a lighting parameter in a light management system based on user action.
US10593113B2 (en) * 2014-07-08 2020-03-17 Samsung Electronics Co., Ltd. Device and method to display object with visual effect
JP6476657B2 (ja) * 2014-08-27 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
KR102354319B1 (ko) * 2015-01-30 2022-01-21 삼성전자주식회사 오브젝트를 표시하기 위한 방법 및 전자 장치
JP6700840B2 (ja) * 2016-02-18 2020-05-27 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
JP6942445B2 (ja) 2016-07-14 2021-09-29 キヤノン株式会社 画像処理装置、その制御方法、プログラム
US10521107B2 (en) * 2016-09-24 2019-12-31 Apple Inc. Devices, methods, and graphical user interfaces for selecting and interacting with different device modes
US10311543B2 (en) * 2016-10-27 2019-06-04 Microsoft Technology Licensing, Llc Virtual object movement

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954697A (zh) * 2014-03-31 2015-09-30 佳能株式会社 图像处理装置及图像处理方法
CN105517279A (zh) * 2015-11-30 2016-04-20 小米科技有限责任公司 一种发光控制的方法和装置
CN107197171A (zh) * 2017-06-22 2017-09-22 西南大学 一种添加智能软件光源的数码拍照处理方法

Also Published As

Publication number Publication date
US20200143588A1 (en) 2020-05-07
US11151779B2 (en) 2021-10-19
JP7262976B2 (ja) 2023-04-24
JP2020071803A (ja) 2020-05-07
CN111147733A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
US11670267B2 (en) Computer vision and mapping for audio applications
KR102534698B1 (ko) 캡처된 이미지에 대한 패스-스루 디스플레이
US9767612B2 (en) Method, system and apparatus for removing a marker projected in a scene
TWI586167B (zh) 以臉部偵測控制相機
US8007110B2 (en) Projector system employing depth perception to detect speaker position and gestures
US11954268B2 (en) Augmented reality eyewear 3D painting
CN102780893A (zh) 图像处理设备及其控制方法
US11869156B2 (en) Augmented reality eyewear with speech bubbles and translation
KR20190035116A (ko) Ar 객체를 표시하기 위한 장치 및 방법
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
US10958825B2 (en) Electronic apparatus and method for controlling the same
Zheng Spatio-temporal registration in augmented reality
WO2019051228A1 (en) TRANSPARENT DISPLAY BASED ON A CAMERA
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US20240045494A1 (en) Augmented reality with eyewear triggered iot
CN111147733B (zh) 信息处理设备、信息处理方法和存储介质
JP2016126687A (ja) ヘッドマウントディスプレイ、操作受付方法および操作受付プログラム
KR20180074124A (ko) 얼굴 인식을 통해 전자 장치를 제어하는 방법 및 이를 수행하는 전자 장치
US20230007227A1 (en) Augmented reality eyewear with x-ray effect
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
JP6452658B2 (ja) 情報処理装置、およびその制御方法ならびにプログラム
JP7293362B2 (ja) 撮影方法、装置、電子機器及び記憶媒体
CN111819841B (zh) 信息处理装置、信息处理方法和存储介质
JP7004057B1 (ja) コンピュータプログラム、情報表示方法、情報表示装置及び情報表示システム
JP2018006803A (ja) 撮像装置、撮像装置の制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant