CN104954697A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN104954697A
CN104954697A CN201510120874.5A CN201510120874A CN104954697A CN 104954697 A CN104954697 A CN 104954697A CN 201510120874 A CN201510120874 A CN 201510120874A CN 104954697 A CN104954697 A CN 104954697A
Authority
CN
China
Prior art keywords
subject
illumination
unit
image processing
assigned address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510120874.5A
Other languages
English (en)
Other versions
CN104954697B (zh
Inventor
中田有一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104954697A publication Critical patent/CN104954697A/zh
Application granted granted Critical
Publication of CN104954697B publication Critical patent/CN104954697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种图像处理装置及图像处理方法。图像处理装置包括：识别单元，其被配置为识别图像数据中的被摄体；获得单元，其被配置为获得表示所述被摄体的位置的位置信息；设置单元，其被配置为基于所述被摄体的所述位置信息而设置能够设置所述虚拟照明的位置的可移动范围；指定位置获得单元，其被配置为获得用户在所述显示画面上输入的指定位置；确定单元，其被配置为基于所述可移动范围和所述指定位置而确定所述虚拟照明的位置；以及光照处理单元，其被配置为基于所述确定单元确定的所述虚拟照明的位置而对所述图像数据中的所述被摄体执行光照处理。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及一种图像处理，用于使用虚拟照明以从所拍摄图像中生成看起来好像是在与所拍摄图像的照明条件不同的期望照明条件下拍摄到的图像。
背景技术
当摄像装置拍摄被摄体的图像时，所拍摄图像会依据施加于该被摄体的照明(光)而显著的变化。例如，当人是被摄体时，在光倾斜入射到被摄体上的照明条件下，由于强调了他/她的面部的阴影，因此可以拍摄立体图像。另一方面，在诸如从被摄体的后方入射强光的逆光条件等照明条件下，将会获得被摄体全部或部分由于阴影而变暗的拍摄图像。提供了这样一种方法：即通过对如上文后一种情况中那样被摄体变暗的所拍摄图像进行校正，从而生成看起来好像是在用户期望的照明条件下拍摄被摄体的另一个图像。根据日本特开2009-267662号公报中讨论的方法，通过使用被摄体的模型数据而生成在虚拟照明条件下拍摄的被摄体的图像，并且将所生成的图像设置在所拍摄图像内的被摄体区域上，从而校正相对于所拍摄图像内的被摄体的照明。在该方法中，通过调整事先设置在预定位置上的多个照明源中的各照明源的亮度来设置虚拟照明条件。
此外，日本特开2010-135996号公报讨论了一种通过对被摄体应用虚拟照明而对所拍摄图像执行伪光照(pseudo-lighting)处理的方法。具体地，基于被摄体图像的最大亮度值确定所拍摄图像中虚拟照明的光强度。在该方法中，根据预设的照明方向而使高斯分布偏转，从而可以获得已从期望方向对被摄体应用虚拟照明的图像。
此外，日本特开平4-301304号公报讨论了一种通过设置摄影区域中的模拟形状及虚拟照明装置的位置和方向而显示由虚拟照明装置照明的图像的方法。在该方法中，通过例如键盘操作而输入虚拟照明装置的位置和方向。
在用户想要调整在所拍摄图像中被摄体的照明的情况下，该用户可以改变虚拟照明的位置和方向，直到将被摄体调整为期望的状态为止。然而，根据日本特开2009-267662及特开2010-135996号公报中讨论的方法，不可能调整虚拟照明的三维位置。此外，根据日本特开平4-301304号公报中讨论的方法，为了设置虚拟照明的位置和方向，用户需要设置用于表示虚拟照明位置的x-轴、y-轴及z-轴中的坐标值，并需要设置用于表示虚拟照明方向的围绕各轴的旋转量。因此，用户在每次调整虚拟照明的位置和方向时都需要设置多个参数。
发明内容
本发明旨在提供一种图像处理装置，其在从所拍摄图像中生成图像时能够使其轻松的快速地且有效地设置虚拟照明的位置和方向，以便使在已生成图像中重现的所拍摄图像中的被摄体在已生成图像中看起来好像是在虚拟照明条件下拍摄的一样。
根据本发明的一方面，使用虚拟照明对显示画面上显示的图像数据执行光照处理的图像处理装置包括：识别单元，其被配置为识别所述图像数据中的被摄体；获得单元，其被配置为获得表示所述被摄体的位置的位置信息；设置单元，其被配置为基于所述被摄体的所述位置信息而设置可以设置所述虚拟照明的位置的可移动范围；指定位置获得单元，其被配置为获得用户在所述显示画面上输入的指定位置；确定单元，其被配置为基于所述可移动范围和所述指定位置而确定所述虚拟照明的位置；以及光照处理单元，其被配置为基于所述确定单元确定的所述虚拟照明的位置而对所述图像数据中的所述被摄体执行光照处理。
根据本发明的一方面，一种图像处理方法，其用于使用虚拟照明对显示画面上显示的图像数据执行光照处理，所述图像处理方法包括：识别所述图像数据中的被摄体；获得表示所述被摄体的位置的位置信息；基于所述被摄体的所述位置信息而设置能够设置所述虚拟照明的位置的可移动范围；获得用户在所述显示画面上输入的指定位置；基于所述可移动范围和所述指定位置而确定所述虚拟照明的位置；以及基于所确定的所述虚拟照明的位置而对所述图像数据中的所述被摄体执行光照处理。
根据以下参照附图对示例性实施例的详细描述，本发明的其他特征将变得清楚。
附图说明
图1A和图1B各是例示根据第一示例性实施例的图像处理装置的外观的图。
图2是例示根据第一示例性实施例的图像处理装置的内部结构的图。
图3是例示根据第一示例性实施例的图像处理单元的结构的框图。
图4是例示根据第一示例性实施例的处理的流程的流程图。
图5例示了根据第一示例性实施例的图像数据的示例。
图6是例示根据第一示例性实施例用于控制照明的位置的方法的图。
图7是例示根据第一示例性实施例用于设置照明参数的处理的流程的流程图。
图8是例示根据第一示例性实施例的所选择区域的示例的图。
图9是例示根据第一示例性实施例用于设置照明参数的方法的示例的图。
图10是例示根据第一示例性实施例用于移动照明参数的方法的示例的图。
图11是例示根据第一示例性实施例用于移动照明的处理的示例的图。
图12是例示根据第一示例性实施例用于移动照明的处理的另一个示例的图。
图13是例示根据第一示例性实施例的所显示图像的示例的图。
图14是例示根据第二示例性实施例用于设置可移动范围的处理的流程的流程图。
图15是例示根据第二示例性实施例拟合二次曲面的示例的图。
图16是例示根据第二示例性实施例的照明的设置结果的示例的图。
具体实施方式
以下将参照附图描述本发明的示例性实施例。下文描述的示例性实施例中描述的结构只是示例，本发明并不限于这里描述的结构。
<摄像装置的外观>
下文以摄像装置为例来描述本发明的图像处理装置。图1A和图1B均例示了可应用于本发明的第一示例性实施例的摄像装置的外观。在本示例性实施例中，将描述数字照相机的结构来作为摄像装置的结构的示例。尽管下文将描述数字照相机，但摄像装置并不限于此。例如，摄像装置可以是诸如移动电话、平板型设备或个人计算机等信息处理装置，或者可以被配置为诸如带有内置照相机的移动电话等摄像装置。图1A是摄像装置的外部前视图，而图1B是其外部后视图。摄像装置101包括光学单元102、摄像按钮103、闪光灯104、距离图像获得单元105、显示单元106以及操作按钮107。
光学单元102是由变焦透镜、聚焦透镜、照相机振动校正透镜、光圈及快门构成的透镜镜筒，并收集被摄体的光学信息。在用户向摄像装置101提供开始摄像操作的指令时使用摄像按钮103。在根据来自用户的指令而开始摄像操作的同时，闪光灯104发光。距离图像获得单元105根据摄像指令获得被摄体的距离图像数据。在本示例性实施例中，距离图像数据保持表示从摄像装置101到被摄体的距离的信息。
显示单元106显示由摄像装置101处理的图像数据以及各种类型的其他数据。例如液晶显示器用于显示单元106。在本示例性实施例中，由于摄像装置101没有配设有光学取景器，因此用户通过使用显示单元106执行取景操作(例如，核对焦点和构图)。由于用户在核对显示单元106上显示的实时取景图像的同时拍摄图像，因此在用户执行这种取景和调焦操作期间，显示单元106起电子取景器的作用。此外，除了执行在实时基础上显示摄像区域的实时取景显示之外，显示单元106还显示照相机设置菜单。
操作按钮107用来获得用户的操作。具体地，关于显示单元106上显示的照相机设置菜单，用户使用操作按钮107来输入用于改变摄像模式或设置摄像操作的各种参数的指令。此外，在本示例性实施例中，摄像装置101包括作为摄像模式的光照处理模式。通过使用操作按钮107或摄像按钮103，用户可以输入用于例如改变光照处理模式、设置照明参数、改变距离图像数据输出模式或选择被摄体区域的指令。此外，显示单元106可以配设有触摸屏功能。在此情况下，用户通过触摸屏输入的指令也可以被看作是通过操作按钮107输入的指令。
<摄像装置的内部结构>
图2是例示根据本示例性实施例的摄像装置101的内部结构的框图。中央处理单元(CPU)202执行各结构的处理。CPU 202根据通过顺次读取并分析只读存储器(ROM)203或随机存取存储器(RAM)204中存储的指令所得到的结果而执行各结构的处理。系统总线212发送并接收数据。
根据用户通过摄像按钮103或操作按钮107输入的指令，控制单元206控制摄像操作、光照处理模式的改变、被摄体区域的选择以及照明参数的设置。在本示例性实施例中，控制单元206根据来自用户的指令而控制标志SW1、SW2、SW3及SW4。当指示控制单元206使光照处理有效时开启标志SW1，而当指示控制单元206使光照处理无效时关闭标志SW1。当指示控制单元206移动虚拟照明时开启标志SW2，而当指示控制单元206不移动虚拟照明时关闭标志SW2。当指示控制单元206保存距离图像数据时开启标志SW3，而当指示控制单元206不保存距离图像数据时关闭标志SW3。当指示控制单元206保存已校正图像时开启标志SW4，而在其他场合时关闭标志SW4。实际上，各个标志SW1、SW2、SW3及SW4是RAM 204内的比特信号。在比特信号的状态为0时标志关闭(OFF)，而在其状态为1时标志开启(ON)。因此控制单元206切换比特信号的状态。此外，控制单元206获得用户的操作。
光学系统控制单元205根据来自CPU 202的指令而控制光学单元102调整焦点、打开快门或调整光圈。
彩色图像传感器单元201将由光学单元102收集的光学信息转换成电流值。通过将彩色图像传感器单元201与滤色器组合而获得颜色信息。
距离图像获得单元105包括用于发射红外光的红外光发射单元以及用于接收反射到被摄体上的红外光的光接收单元。距离图像获得单元105基于光接收单元接收被发射并反射到被摄体上的红外光所花费的时间而计算摄像装置101与被摄体之间的距离的值。然后，基于包括所计算出的距离值和光接收单元的传感器像素的数量及视场角的距离摄像信息，距离图像获得单元105计算被摄体的位置信息并获得该位置信息作为距离图像数据。
模拟/数字(A/D)转换单元208将光学单元102检测到的被摄体的光量转换成数字信号值以便获得原始图像数据。在本示例性实施例中，可以获得同时拍摄的距离图像数据和原始图像数据。
图像处理单元209对原始图像数据执行显影处理以生成颜色图像数据。图像处理单元209对颜色图像数据执行各种类型的图像处理。在本示例性实施例中，图像处理单元209基于颜色图像数据和距离图像数据执行将颜色图像数据转换成光照校正图像数据的光照处理。下文将详细描述图像处理单元209的内部结构。
字符生成单元207生成文本和图形。将字符生成单元207生成的文本和图形叠加在图像处理单元209生成的光照校正图像数据上，以便显示在显示单元106上。
编码器单元210执行文件格式转换处理，在该处理中，包括由图像处理单元209处理的颜色图像数据和由光照处理生成的光照校正图像数据的各种类型的图像数据被转换成诸如联合图像专家组(JPEG)格式的文件格式。
介质接口211充当用于向/从个人计算机(PC)/介质213(例如硬盘、存储卡、紧凑式闪存(CF)卡或安全数字(SD)卡)发送/接收图像数据的接口。
<图像处理单元的内部结构>
图3是例示根据本示例性实施例的图像处理单元209的详细内部结构的框图。
显影处理单元301从A/D转换单元208获得原始图像数据。然后，显影处理单元301通过对原始图像数据执行白平衡处理、去马赛克处理、降噪处理、颜色转换处理、边缘强化处理以及伽马处理而生成颜色图像数据。所生成的颜色图像数据可以被输出并被显示在显示单元106上或是存储在诸如RAM 204或PC/介质213等存储设备中。在本示例性实施例中，充当像素值的红绿蓝(RGB)值被存储在构成颜色图像数据I的像素I(i，j)中。在颜色图像数据501的各像素中存储的RGB值分别被表示为Ir(i，j)，Ig(i，j)及Ib(i，j)。此外，充当像素值的、以摄像装置101为基准的各被摄体的坐标值被存储在构成由距离图像获得单元105所获得的距离图像数据D的像素D(i，j)中。距离图像数据D的像素D(i，j)中存储的坐标值被表示为x(i，j)，y(i，j)及z(i，j)。这里，x-轴对应于与摄像装置101水平的方向，y-轴对应于与摄像装置101垂直的方向，z-轴对应于摄像装置101的光轴方向。颜色图像数据I与距离图像数据D的各像素相关联。更具体地，与颜色图像数据I的像素I(i，j)相关联的坐标值被存储在距离图像数据D的像素D(i，j)中。
法线估计处理单元302基于从距离图像获得单元105获得的距离图像数据D、通过估计距离图像数据D中各像素的法向矢量而获得法线图像数据。充当像素值的单位法向矢量的各要素的值被存储在法线图像数据N的像素N(i，j)中。更具体地，与颜色图像数据I的像素I(i，j)相对应的法向矢量的x、y及z分量的值被存储在像素N(i，j)中，并分别被表示为Nx(i，j)，Ny(i，j)及Nz(i，j)。
被摄体识别单元303从接收到用户输入的选择被摄体的操作的控制单元206中获得所选择的被摄体位置P0’。然后，被摄体识别单元303基于所选择的被摄体位置P0’而计算颜色图像数据中的被摄体位置P0。在本示例性实施例中，颜色图像数据被显示在具有触摸屏功能的显示单元106上，以接收用户所执行的触摸显示画面上的被摄体的操作，从而被摄体识别单元303获得触摸位置并作为所选择的被摄体位置P0’。在此情况下，所选择的被摄体位置P0’对应于显示单元106上的像素位置。被摄体识别单元303通过将显示单元106上的像素位置转换为颜色图像数据中的像素位置而计算被摄体位置P0。
指定位置获得单元304从接收用户输入的改变光源位置的操作的控制单元206处获得照明的指定位置。在本示例性实施例中，颜色图像数据被显示在具有触摸屏功能的显示单元106上，以接收输入到显示画面中的用户的拖拽操作。指定位置获得单元304根据用户的拖拽操作而获得包括至少是按压开始位置P1’和按压结束位置P2’的指定位置。
照明可移动范围设置单元305从距离图像获得单元105处获得距离图像数据并从被摄体识别单元303处获得被摄体位置。然后，基于该被摄体位置，照明可移动范围设置单元305设置用于照明颜色图像数据中的被摄体的虚拟照明的可移动范围。在本示例性实施例中，如图6中所示，照明在以旋转中心C＝(Cx，Cy，Cz)601为中心的椭圆体602上移动。在此情况下，照明的位置Q＝(Qx，Qy，Qz)603遵从以下公式(1)。
( Q x - C x ) 2 a 2 + ( Q y - C y ) 2 b 2 + ( Q z - C z ) 2 c 2 = 1 - - - ( 1 )
这里，“a”表示x-轴方向上的半径，“b”表示y-轴方向上的半径，“c”表示z-轴方向上的半径。此外，在围绕z-轴的旋转角为θ而围绕x-轴的旋转角为时，以下述公式(2)表示照明的位置Q 603。
Qx＝Cx-asinθcosφ
Qy＝Cy+bcosθ
Qz＝Cz-csinθsinφ   (2)
此外，随着单位矢量从照明的位置Q 603朝向旋转中心C 601行进，以下述公式(3)表示照明的方向U＝(Ux，Uy，Uz)604。
U = C - Q | C - Q | - - - ( 3 )
在本示例性实施例中，基于从距离图像数据获得的被摄体位置P0的周边的坐标值而设置旋转中心C。在公式(2)中，预先设置各a，b及c的值。此外，根据用户的操作，更新围绕z-轴的旋转角θ和围绕x-轴的旋转角以便改变照明的位置Q和方向U。
照明位置获得单元306从例如RAM 204中获得表示照明的位置Q的旋转角θ和
照明位置更新单元307从距离图像获得单元105获得距离图像数据，从照明可移动范围设置单元305中获得照明的旋转中心C和旋转半径，从照明位置获得单元306中获得旋转角θ和并从指定位置获得单元304中获得用户指定的位置。然后，照明位置更新单元307基于该指定位置更新旋转角θ和之后，照明位置更新单元307根据公式(2)更新照明的位置Q，并根据公式(3)更新照明的方向U。
光照处理单元308基于距离图像数据、法线图像数据、照明的位置Q以及照明的方向U、并通过将虚拟光源加到处理目标颜色图像数据中而生成光照校正图像。所生成的光照校正图像可以被输出并被存储在诸如RAM 204或PC/介质213等存储设备中，或被输出并被显示在显示单元106上。
<图像处理单元的处理流程>
图4是例示根据本示例性实施例的摄像装置101的图像处理单元209的操作过程的流程图。首先，根据本示例性实施例的图像处理单元209通过基于距离图像数据对各像素的法线进行估计而获得法线图像数据。然后，图像处理单元209基于用户操作和距离图像数据设置照明参数。此时，基于照明参数而生成的光照校正图像被显示在显示单元106上，从而用户在核对光照校正图像的变化的同时可以改变照明参数。
在本示例性实施例中，可以设置两个照明源。此外，照明参数包括用于表示已启动的照明、照明的配置状态、照明的开启/关闭状态、照明的颜色及照明的亮度的变量以及用于控制照明的位置和方向的变量。当表示照明的配置状态的变量SW_L1为开启(ON)时表示配置有照明，而当变量SW_L1为关闭(OFF)时表示没有配置照明。当表示照明的开启/关闭状态的变量SW_L2为开启(ON)时表示照明被开启。而当变量SW_L2为关闭(OFF)时表示照明被关闭。照明的颜色由RGB值表达，分别由变量Lr、Lg及Lb来表示。变量α表示照明的亮度，随着变量α增大，照明变得更亮。在下文中将根据各个处理步骤描述该操作。
在步骤S401中，显影处理单元301基于从A/D转换单元208获得的原始图像数据而生成颜色图像数据。图5例示了颜色图像数据501的示例。用于获得颜色图像数据的方法并不限于上述方法。例如，显影处理单元301可以通过获得在RAM 204或PC/介质213中存储的原始图像数据而生成颜色图像数据。或者，显影处理单元301可以获得在RAM 204或PC/介质213中存储的颜色图像数据。
在步骤S402中，光照处理单元308从距离图像获得单元105中获得距离图像数据。图5例示了距离图像数据502的示例。用于获得距离图像数据的方法并不限于上述方法。例如，光照处理单元308可以获得在RAM 204或PC/介质213中存储的距离图像数据。
在步骤S403中，光照处理单元308从RAM 204获得标志SW1的状态。基于标志SW1的状态，光照处理单元308确定是否要执行光照处理。在根据用户的指令而使标志SW1为关闭的情况下(在步骤S403中为“否”)，光照处理单元308确定不执行光照处理，然后处理推进至步骤S404。另一方面，在标志SW1为开启的情况下(步骤S403中为“是”)，光照处理单元308确定执行光照处理，然后处理推进至步骤S405。
在步骤S404中，光照处理单元308从RAM 204获得标志SW3的状态。当根据用户的指令而使标记SW3为关闭时，光照处理单元308仅将颜色图像数据输出并存储在PC/介质213中，而在标志SW3为开启时将颜色图像数据和距离图像数据输出并存储在PC/介质213中。或者，可以将上述图像数据输出并显示在显示单元106上。之后，光照处理单元308结束处理。
在步骤S405中，法线估计处理单元302从距离图像获得单元105处获得距离图像数据。然后，法线估计处理单元302通过基于距离图像数据对各像素的法向矢量进行估计而获得法线图像数据N。图5例示了法线图像数据503的示例。例如，可以通过基于距离图像数据的目标像素的邻近区域针对该距离图像数据的目标像素执行微分(differentiation)从而估计法向矢量，或者通过对目标像素的邻近区域来拟合平面而估计法向矢量。在本示例性实施例中，将获得与拟合成目标像素的邻近区域的平面垂直的矢量并作为法线。
在步骤S406中，光照处理单元308将照明参数初始化。更具体地，为了使全部照明源进入关闭状态，光照处理单元308对全部照明源关闭变量SW_L1和SW_L2。然后，光照处理单元308启动能够被设置的两个照明源之一。
此外，光照处理单元308将照明的旋转角θ和设置为初始值。在本示例性实施例中，将照明的旋转角θ＝90°及设置为初始值，从而可以将从被摄体的前方照明被摄体的状态设置为初始状态。
在步骤S407中，光照处理单元308对颜色图像数据执行光照处理。通过执行光照处理，可以生成看起来好像是在所设置照明参数指示的照明条件下拍摄被摄体的图像。在处理从步骤S406推进至步骤S407的情况下，处理目标图像数据是颜色图像数据。在此情况下，照明参数为步骤S406中设置的初始值。此外，在从下文所述的步骤S410推进至步骤S407的情况下，光照处理单元308通过使用步骤S410中设置的照明参数而不是步骤S406中设置的初始值来执行光照处理。光照处理单元308通过基于颜色图像数据、距离图像数据、法线图像数据及照明参数来执行光照处理从而生成校正图像数据。下文将详细描述步骤S407中执行的处理。
在步骤S408中，光照处理单元308将校正图像数据输出并显示在显示单元106上。
在步骤S409中，光照处理单元308从RAM 204获得表示是否存储校正图像的标志SW4的状态。在根据来自用户的指令而将标志SW4设置为关闭(OFF)的情况下(在步骤S409中为“否”)，处理推进至步骤S410。在将标志SW4设置为开启(ON)的情况下(步骤S409中为“是”)，处理推进至步骤S411。
在步骤S410中，照明位置更新单元307根据用户的操作选择的所选择区域而执行照明参数设置处理，并设置照明参数。用户在对显示单元106上显示的校正图像数据进行监控的同时选择校正图像数据上的期望位置，从而用户可以将照明移至所选择位置。以下将详细描述用于设置照明参数的方法。
在步骤S411中，光照处理单元308从RAM 204获得标志SW3的状态。然后，在标志SW3为关闭时，光照处理单元308将校正图像数据和颜色图像数据输出并存储在PC/介质213中，而在标志SW3为开启时将校正图像数据、颜色图像数据和距离图像数据输出并存储在PC/介质213中。之后，光照处理单元308结束处理。
这里，在图7中，将详细描述步骤S410中执行的照明参数设置处理。在根据本示例性实施例的照明参数设置处理中，基于用户操作和距离图像数据设置照明参数。在本示例性实施例中，用户在监视显示的校正图像数据的同时执行用于改变照明位置的操作。由照明位置更新单元307基于例如距离图像数据D和指定位置而更新照明位置。此时，照明位置更新单元307根据被选择为光照处理目标的被摄体的位置而确定照明的移动量。下文将详细描述照明参数设置处理。
在步骤S701中，照明位置更新单元307确定用户是否已提供改变所启动照明的指令。在要改变所启动照明的情况下(步骤S701中为“是”)，处理推进至步骤S702。在不改变所启动照明的情况下(步骤S701中为“否”)，处理推进至步骤S703。
在步骤S702中，照明位置更新单元307启动步骤S701中选择的照明。以下描述的操作适用于步骤S702中启动的照明的照明参数。
在步骤S703中，照明位置更新单元307基于用户操作进一步确定是否配置照明。在要配置照明的情况下(步骤S703中为“是”)，处理推进至步骤S704。在不配置照明的情况下(步骤S703中为“否”)，处理推进至步骤S708。
在步骤S704中，被摄体识别单元303从控制单元206处获得所选择的被摄体位置P0’。在本示例性实施例中，用户从步骤S408中显示单元106上显示的校正图像中选择被摄体。用户执行用于指定用户想要调整所应用照明的程度的被摄体的操作。以下将参照图8描述用于获得所选择区域的方法。首先，被摄体识别单元303从控制单元206处获得通过用户操作而选择的显示单元106上的所选被摄体位置P0’(801)。然后，被摄体识别单元303计算被摄体位置P0(802)作为与所选被摄体位置P0’相对应的校正图像数据上的坐标值。之后，包括位于中心处的被摄体位置P0的邻近区域被指定为被摄体邻近区域803。例如，被摄体邻近区域803被设置为以被摄体位置802为中心的矩形区域。
在步骤S705中，照明可移动范围设置单元305首先设置用于表示照明的可移动范围的照明参数Cx、Cy、Cz、a、b及c。以下将参照图9描述用于设置照明参数的方法。首先，照明可移动范围设置单元305从距离图像数据502中获得与被摄体位置P0(i，j)802相对应的被摄体坐标值901。根据以下公式(4)从被摄体的被摄体坐标值901及预定曲率半径(Rx、Ry、Rz)中计算各照明参数。
Cx＝x(i，j)
Cy＝y(i，j)
Cz＝z(i，j)+Rz
a＝Rx+β
b＝Ry+β
c＝Rz+β   (4)
因此，基于被摄体的尺寸而设置照明的可移动范围的尺寸(即椭圆体的尺寸)。这里，变量β表示被摄体位置与照明位置之间的大概距离。可以预先设置变量β的值，或者可以根据被摄体邻近区域803的像素值而改变变量β的值。例如，在所拍摄的被摄体图像暗且与该被摄体相对应的一组像素的像素值小时，将变量β设置为小值，而在所拍摄的被摄体图像亮且与该被摄体相对应的一组像素的像素值大时，将变量β设置为大值。利用这种结构，针对较暗的被摄体图像，可以在较近的位置处配置照明，因此可以增加照明的校正效果。或者，可以根据照明的亮度α而改变变量β。例如，随着照明的亮度α增大，可以将变量β设置为更大。
通过上述处理设置用于照明指定被摄体的虚拟照明的移动区域。利用上文确定的照明参数来设置用于照明指定被摄体的虚拟照明的移动范围，并且可以通过改变虚拟照明的位置和方向而执行相对于被摄体的光照校正。
在步骤S706中，照明位置更新单元307基于照明的旋转角θ和以及照明参数Cx、Cy、Cz、a、b及c而将照明配置在初始位置处。更具体地，照明位置更新单元307根据公式(2)计算照明的位置Q，并根据公式(3)计算照明的方向U。然后，照明位置更新单元307开启变量SW_L1以配置照明。
图10是例示与所选被摄体位置P0’(801)相对应的照明的初始位置1003和初始方向1004的图。
在步骤S707中，照明位置更新单元307通过开启变量SW_L2而开启照明，并结束照明参数设置处理。
在步骤S708中，照明位置更新单元307确定是否配置有照明。更具体地，照明位置更新单元307获得所启动照明的变量SW_L1的状态。在变量SW_L1为开启的情况下(步骤S708中为“是”)，处理推进至步骤S709。在变量SW_L1为关闭的情况下(步骤S708中为“否”)，照明位置更新单元307结束照明参数设置处理。
在步骤S709中，照明位置更新单元307确定是否要移动照明。更具体地，照明位置更新单元307获得标志SW2的状态。在标志SW2为开启的情况下(步骤S709中为“是”)，处理推进至步骤S710。在标志SW2为关闭的情况下(步骤S709中为“否”)，处理推进至步骤S713。
在步骤S710中，照明位置获得单元306获得用于表示照明位置的参数θ和的值。
在步骤S711中，指定位置获得单元304获得可以通过用户的拖拽操作而获得的按压开始位置P1’和按压结束位置P2’。例如，用户在显示单元106上执行的拖拽操作的开始位置和结束位置分别被表示为按压开始位置P1’和按压结束位置P2’。
在步骤S712中，照明位置更新单元307更新照明位置。首先，照明位置更新单元307分别计算与按压开始位置P1’和按压结束位置P2’相对应的颜色图像数据上的开始位置P1＝(i1，j1)和结束位置P2＝(i2，j2)。然后，根据下述公式(5)，照明位置更新单元307计算参数θ和的变化量Δθ和
A = W 2 C z tan ( u / 2 ) a
B = H 2 C z tan ( v / 2 ) b - - - ( 5 )
这里，值A对应于用于表示颜色图像数据501上的照明的可移动范围的椭圆体的半径“a”。值B对应于用于表示颜色图像数据501上的照明的可移动范围的椭圆体的半径“b”。根据公式(4)，可以从被摄体位置P0获得照明参数Cz。值W表示颜色图像数据501中的水平像素的数量。值H表示颜色图像数据501中的垂直像素的数量。值u表示摄像装置101的水平视场角。值v表示摄像装置101的垂直视场角。
通过将以上述方式计算出的变化量Δθ和加到用于表示从照明位置获得单元306处获得的照明位置的参数θ和中，从而更新参数θ和的值。之后，基于更新的参数θ和照明位置更新单元307根据公式(2)更新照明的位置Q，并根据公式(3)更新照明的方向U。以下将参照图10描述照明的更新位置。当照明的当前位置是初始位置1003而按压开始位置P1’是所选被摄体位置P0’(801)且按压结束位置P2’是位置E1(1001)时，将照明的位置和方向更新为位置Q1(1005)和方向U1(1006)。此外，当照明的当前位置是初始位置1003而按压开始位置P1’是所选被摄体位置P0’(801)且按压结束位置P2’是位置E2(1002)时，将照明的位置和方向更新为位置Q2(1007)和方向U2(1008)。
如上文所述，通过基于被摄体位置P0设置参数θ和的变化量Δθ和用户可以根据被摄体的位置执行直观操作。更具体地，将分别参照图11和图12描述当用户选择近的被摄体时照明的更新位置以及当用户选择远的被摄体时照明的更新位置。当用户选择点1101以对近的被摄体设置照明时，通过将按压开始位置P1’设置为点1101且将按压结束位置P2’设置为点1102从而将照明的位置从初始位置1104更新为位置1105。此外，通过将按压开始位置P1’设置为点1101且将按压结束位置P2’设置为点1103从而将照明的位置从初始位置1104更新为位置1106。当用户选择点1201以设置远的被摄体的照明时，通过将按压开始位置P1’设置为点1201且将按压结束位置P2’设置为点1202从而将照明的位置从初始位置1204更新为位置1205。此外，通过将按压开始位置P1’设置为点1201且将按压结束位置P2’设置为点1203从而将照明的位置从初始位置1204更新为位置1206。如上文所述，通过针对较近的被摄体而使得用以改变参数θ和所必需的拖拽操作的移动量更大，用户可以像在显示单元106的所选位置上定位照明的位置那样来进行操作。此外，可以对用于表示照明的位置的参数θ和的值进行限制。例如，参数θ和的值被分别设置在“θmin≤θ≤θmax”和的范围内，从而在利用变化量Δθ和将参数θ和更新为超过上述范围的值的情况下调整其值以落入上述范围内。
在步骤S713中，照明位置更新单元307基于用户的操作确定是否要改变照明的开启/关闭状态。在要改变照明的开启/关闭状态的情况下(步骤S713中为“是”)，处理推进至步骤S714。在不要改变开启/关闭状态的情况下(步骤S713中为“否”)，照明位置更新单元307结束照明参数设置处理。
在步骤S714中，照明位置更新单元307改变照明的开启/关闭状态。更具体地，在从RAM 204获得变量SW_L2的状态之后，如果变量SW_L2为开启，那么照明位置更新单元307就将照明的状态变为关闭，而如果变量SW_L2为关闭，那么就将其状态变为开启。然后，照明位置更新单元307结束照明参数设置处理。
<光照处理>
这里将描述步骤S411中执行的光照处理。在本示例性实施例中，根据以下公式(6)生成校正图像数据I’。
I r &prime; ( i , j ) = I r ( i , j ) + &Sigma; m k m ( i , j ) L r , m I r ( i , j )
I g &prime; ( i , j ) = I g ( i , j ) + &Sigma; m k m ( i , j ) L g , m I r ( i , j )
I b &prime; ( i , j ) = I b ( i , j ) + &Sigma; m k m ( i , j ) L b , m I r ( i , j ) - - - ( 6 )
在上述公式中，值I’r、I’g及I’b表示校正图像数据I’的像素值，值Lrm、Lgm及Lbm表示第m个照明的颜色，且值km表示关于第m个照明的校正度。基于与照明的亮度α、位置Q及方向U及像素(x，y)相对应的距离值P(x，y)和法向矢量N(x，y)而确定校正度km(i，j)。例如，可以通过以下公式(7)获得校正度km(i，j)。
k ( i , j ) = &alpha;K ( &rho; ) N ( i , j ) &CenterDot; V ( i , j ) W ( P ( i , j ) , Q ) - - - ( 7 )
随着被摄体位置P和照明位置Q间的距离增大，函数W返回更大的值。值ρ表示由从照明位置Q向被摄体位置P(i，j)前进的矢量与照明的方向U所形成的角。随着值ρ的减小，函数K返回更大的值。单位矢量V(i，j)表示从被摄体位置P(i，j)向照明位置Q前进的方向。然而，在用于照明的变量SW_L1或SW_L2关闭的情况下，值K为0。通过生成如本示例性实施例中描述的校正图像，可以根据照明位置和被摄体的形状而校正亮度。
此外，尽管如步骤S705中描述的将照明的可移动范围设置为公式(1)所表示的椭圆体，但是照明的可移动范围并不限于上述范围。例如，可以将可移动范围设置为使得照明在离被摄体预定距离的平面上移动。
此外，如图13中所示，可以在显示单元106上显示与照明的可移动范围相对应的区域。例如，通过基于由公式(5)所获得的值A和B而计算显示画面上照明的可移动范围A’和B’，从而箭头状符号1302可以与所选被摄体位置1301一起显示在显示单元106上。或者，可以在显示单元106上显示以所选被摄体位置1301为中心且具有与可移动范围A’和B’相对应的半径的椭圆体1303。通过这种结构，用户可以直观地明白照明的可移动范围。
如上文所述，当用户选择图像数据上的位置时，用户可以看到仿佛是利用所选位置处配置的照明而拍摄到的图像。此外，当用户输入用于移动照明的操作时，在改变并显示应用于所拍摄图像中的被摄体的照明度的同时，根据该操作移动照明。通过执行光照处理并显示照明条件，在从所拍摄图像中生成另一个看起来好像是在期望照明条件下拍摄被摄体的图像的图像处理装置中，用户可以轻松设置照明的位置和方向。
在第一示例性实施例中，为了设置照明的可移动范围，基于规定值而不是被摄体来确定参数值a、b及c。在第二示例性实施例中描述的方法中，基于被摄体的形状确定上述参数值，从而根据被摄体来设置照明的可移动范围。这里将省略与上述示例性实施例中类似的结构的详细描述。在本示例性实施例中，步骤S705中执行的用于设置可移动范围的处理与第一示例性实施例中描述的不同。图14中例示了根据本示例性实施例的用于设置可移动范围(步骤S705中)的处理的流程。
在步骤S1401中，照明可移动范围设置单元305基于距离图像数据502、被摄体位置P0(802)及被摄体邻近区域803而估计表示被摄体形状的形状信息。更具体地，如图15中所示，照明可移动范围设置单元305对从距离图像数据中获得的被摄体邻近区域803中所包括的像素的坐标值1501进行二次曲面1502的拟合。例如，可以通过采用最小二乘法对坐标值1501进行二次曲面的拟合。在此情况下，二次曲面的x-轴、y-轴及z-轴方向上的直径的半值分别被表示为Rx、Ry及Rz。尽管已通过拟合二次曲面1502而计算出值Rx、Ry及Rz，但为了保持Rx、Ry及Rz各值位于规定值内，可以对值Rx、Ry及Rz进行限制。例如，当被摄体具有大致平面形状时曲率半径非常大，结果，由于照明的移动范围非常大，因此用户操作可能会很困难。在此情况下，可以用Rx’、Ry’或Rz’来替换任何超过规定值的值Rx、Ry及Rz。通过该操作，即使被摄体具有大致平面形状，也可以限制照明的移动范围。
此外，根据被摄体的形状，可能存在当要拟合二次曲面1502时不能稳定获得解的情况。因此，值Rx、Ry及Rz中的至少一个可以被设置为规定值。例如，与光轴方向平行的z-轴方向上直径的半值Rz可以被设置为规定值Rz”以获得剩余的半值Rx和Ry。利用该结构，可以稳定地获得值Rx、Ry及Rz。此外，通过用户操作可以改变要被设置为规定值的轴的数量。
在步骤S1402中，基于被摄体坐标值901和步骤S1401中获得的值Rx、Ry及Rz，照明可移动范围设置单元305根据公式(4)设置照明参数。
如上文所述，可以根据被摄体的形状设置照明的可移动范围。如图10中所示，利用该结构，在利用所选被摄体位置801而选择跨过x-z平面而延伸的被摄体的情况下，x-z平面上的照明的移动范围较大。另一方面，如图16中所示，在利用所选择被摄体位置1601选择了x-z平面上具有小尺寸的被摄体的情况下，x-z平面上的照明的移动范围较小。因此，可以将虚拟照明的移动范围设置为虚拟照明针对被摄体的形状而自然地围绕被摄体的周围移动。
在上文所述的示例性实施例中，通过接收用户在显示画面上执行的拖拽操作而获得用户指定的照明位置并作为按压开始位置和按压结束位置。然而，除了按压开始(拖拽开始)位置和按压结束(拖拽结束)位置之外，还可以定期检测并获得用户触摸的位置作为照明的指定位置，以便更新照明参数。利用该结构，可以连续显示使用虚拟照明的照明，从而用户可以好像是在摄像目标空间内通过移动实际照明对被摄体进行照明调整那样而进行操作。此外，可以通过除拖拽操作以外的其他操作而获得照明的指定位置。例如，图像处理装置可以接收光照模式的设置，从而可以获得用户在光照模式下通过触摸操作所触摸的全部位置并作为关于照明的指定位置。在此情况下，每次用户改变所触摸位置时，将会改变针对被摄体的照明。
此外，在以上示例性实施例中，选择被执行光照处理的被摄体，然后通过根据被摄体位置设置照明的可移动范围来设置照明参数。然而，可以对多个被摄体执行光照处理。例如，预先对各个被摄体计算照明的可移动范围。此时，基于被摄体的尺寸和位置计算照明的可移动范围。在被摄体被放置在前(近)侧或被摄体尺寸大的情况下，将照明的可移动范围设置为较大。在被摄体被放置在后(远)侧或被摄体尺寸小的情况下，将照明的可移动范围设置为较小。当图像处理装置通过用户操作获得照明的指定位置时，图像处理装置通过在对各个被摄体设置的可移动范围内用户所指定的位置处设置照明从而执行光照处理。利用该结构，可以对多个被摄体执行光照校正。
此外，在多个被摄体明显放置在相同位置上的情况下，可以根据被摄体的尺寸确定照明的可移动范围。例如，在对放置在相同位置上的大于其他被摄体的被摄体执行光照处理的情况下，将与该被摄体相对应的照明的可移动范围设置为大于照明的可移动范围的基准值。另一方面，在对小于其他被摄体的被摄体执行光照处理的情况下，将与该被摄体相对应的照明的可移动范围设置为小于照明的可移动范围的基准值。利用该结构，与上述示例性实施例一样，用户可以自然地执行光照处理。
此外，仅基于被摄体位置而设置照明的可移动范围的结构与基于被摄体位置、形状及尺寸而设置照明的可移动范围的结构可以互相组合地使用。特别是，当作为光照处理目标的被摄体被限制为人时，基于平均形状和尺寸事先设置用于定义照明的可移动范围(即椭圆体的尺寸)的参数。利用该结构，当获得被摄体的位置时，可以仅通过识别照明的中心位置而简单设置照明的可移动范围。或者，可以预先设置与多个被摄体的各个相对应的照明的可移动范围的尺寸，从而基于用于识别被摄体的信息来决定可移动范围的预定尺寸。
根据本发明的示例性实施例，在从所拍摄图像中生成另一个看起来好像是在期望照明条件下拍摄到的图像的图像处理装置中，可以轻松设置照明的位置和方向。
本发明的各方面还可以通过系统或装置的、用于读出并执行记录在存储介质(例如，非临时性计算机可读存储介质)上的计算机可执行指令以完成本发明中一个或多个实施方式功能的计算机来实现；所述发明的各方面也可以通过方法来实现，该方法的各步骤由系统或装置的计算机、通过如从存储介质读出并执行计算机可执行指令以完成本发明一个或多个实施方式功能来执行。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)及其他电路中的一个或多个，也可以包括独立计算机网络或独立计算机处理器网络。计算机可执行指令可以从例如网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)及分布式计算系统存储器、光盘(例如压缩光盘(CD)、数字化通用光盘(DVD)或蓝光光盘(BD)TM)、闪存装置、存储卡等中的一个或多个。
虽然参照示例性实施例描述了本发明，但是应当理解，本发明并不限于所公开的示例性实施例。应当对下列权利要求的范围赋予最宽的解释，以使其涵盖所有这些变型例以及等同的结构及功能。

Claims (9)

1.一种图像处理装置，其使用虚拟照明对显示画面上显示的图像数据执行光照处理，所述图像处理装置包括：
识别单元，其被配置为识别所述图像数据中的被摄体；
获得单元，其被配置为获得表示所述被摄体的位置的位置信息；
设置单元，其被配置为基于所述被摄体的所述位置信息而设置能够设置所述虚拟照明的位置的可移动范围；
指定位置获得单元，其被配置为获得用户在所述显示画面上输入的指定位置；
确定单元，其被配置为基于所述可移动范围和所述指定位置而确定所述虚拟照明的位置；以及
光照处理单元，其被配置为基于所述确定单元确定的所述虚拟照明的位置而对所述图像数据中的所述被摄体执行光照处理。
2.根据权利要求1所述的图像处理装置，其中，所述设置单元基于所述被摄体的形状信息而设置所述可移动范围的尺寸。
3.根据权利要求1所述的图像处理装置，其中，从与所述指定位置获得单元获得的第一指定位置相对应的所述虚拟照明的第一位置到与不同于所述第一指定位置的第二指定位置相对应的所述虚拟照明的第二位置的移动量依据所述被摄体的位置而改变。
4.根据权利要求2所述的图像处理装置，其中，所述设置单元将以与所述被摄体的所述位置信息相对应的坐标位置为中心且具有基于所述被摄体的所述形状信息而设置的半径的椭圆体设置为所述虚拟照明的所述可移动范围。
5.根据权利要求1所述的图像处理装置，其中，所述设置单元基于所述被摄体的尺寸而设置所述虚拟照明的所述可移动范围的尺寸。
6.根据权利要求1所述的图像处理装置，其中，所述确定单元还基于所述指定位置而确定所述虚拟照明的方向。
7.根据权利要求1所述的图像处理装置，其中，所述指定位置获得单元从所述用户处接收拖拽操作，并获得所述拖拽操作的结束位置作为所述指定位置。
8.根据权利要求1所述的图像处理装置，其中，所述指定位置获得单元从所述用户处接收拖拽操作，并获得定期检测用户触摸的位置的结果作为所述指定位置。
9.一种图像处理方法，其用于使用虚拟照明对显示画面上显示的图像数据执行光照处理，所述图像处理方法包括：
识别所述图像数据中的被摄体；
获得表示所述被摄体的位置的位置信息；
基于所述被摄体的所述位置信息而设置能够设置所述虚拟照明的位置的可移动范围；
获得用户在所述显示画面上输入的指定位置；
基于所述可移动范围和所述指定位置而确定所述虚拟照明的位置；以及
基于所确定的所述虚拟照明的位置而对所述图像数据中的所述被摄体执行光照处理。
CN201510120874.5A 2014-03-31 2015-03-19 图像处理装置及图像处理方法 Active CN104954697B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-074576 2014-03-31
JP2014074576 2014-03-31
JP2015037435A JP6646936B2 (ja) 2014-03-31 2015-02-26 画像処理装置、その制御方法、およびプログラム
JP2015-037435 2015-02-26

Publications (2)

Publication Number Publication Date
CN104954697A true CN104954697A (zh) 2015-09-30
CN104954697B CN104954697B (zh) 2019-07-05

Family

ID=53682429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510120874.5A Active CN104954697B (zh) 2014-03-31 2015-03-19 图像处理装置及图像处理方法

Country Status (5)

Country Link
US (1) US9609206B2 (zh)
EP (1) EP2928180B1 (zh)
JP (1) JP6646936B2 (zh)
KR (1) KR20150113889A (zh)
CN (1) CN104954697B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335258A (zh) * 2017-12-29 2018-07-27 维沃移动通信有限公司 一种移动终端的图像处理方法和装置
CN110324529A (zh) * 2018-03-30 2019-10-11 佳能株式会社 图像处理设备及其控制方法
CN111147733A (zh) * 2018-11-02 2020-05-12 佳能株式会社 信息处理设备、信息处理方法和存储介质
CN111402348A (zh) * 2019-01-03 2020-07-10 百度在线网络技术（北京）有限公司 光照效果的形成方法、装置和渲染引擎
CN111541840A (zh) * 2019-02-06 2020-08-14 佳能株式会社 确定照明效果候选的信息处理设备、方法及存储介质
CN112116695A (zh) * 2020-09-24 2020-12-22 广州博冠信息科技有限公司 虚拟灯光控制方法及装置、存储介质及电子设备
CN112802170A (zh) * 2021-02-07 2021-05-14 北京字节跳动网络技术有限公司 光照图像生成方法、装置、设备和介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015056143A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置および情報処理方法
JP6727816B2 (ja) * 2016-01-19 2020-07-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
WO2017134933A1 (ja) 2016-02-04 2017-08-10 富士フイルム株式会社 撮影支援装置及びその作動方法並びに作動プログラム
JP6663246B2 (ja) * 2016-02-22 2020-03-11 キヤノン株式会社 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
JP6685827B2 (ja) * 2016-05-09 2020-04-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
JP6797585B2 (ja) * 2016-07-14 2020-12-09 キヤノン株式会社 画像処理装置並びにその制御方法及びプログラム
JP6942445B2 (ja) * 2016-07-14 2021-09-29 キヤノン株式会社 画像処理装置、その制御方法、プログラム
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN109151320B (zh) * 2018-09-29 2022-04-22 联想(北京)有限公司 一种目标对象选取方法及装置
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
JP7377407B2 (ja) * 2019-05-22 2023-11-10 Ｔｏｐｐａｎホールディングス株式会社 光源位置制御方法、装置、プログラムおよびコンピューター読み取り可能な記録媒体
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
CN114582278B (zh) * 2022-05-05 2022-07-15 卡莱特云科技股份有限公司 Led显示屏亮度校正系数调整方法、装置及校正系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980697B1 (en) * 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
US20100103303A1 (en) * 2008-10-29 2010-04-29 Samsung Electronics Co. Ltd. Method for displaying image by virtual illumination and portable terminal using the same
CN101753814A (zh) * 2008-12-03 2010-06-23 奥林巴斯映像株式会社 摄像装置、照明处理装置以及照明处理方法
CN103155004A (zh) * 2010-09-01 2013-06-12 马斯科公司 通过图像渲染来演示照明方案的设备、系统和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04301304A (ja) 1991-03-29 1992-10-23 Toshiba Lighting & Technol Corp 照明運用シミュレーション装置およびスタジオ運用シミュレーション装置
US8164594B2 (en) * 2006-05-23 2012-04-24 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
JP5147287B2 (ja) * 2006-05-23 2013-02-20 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路
JP5088220B2 (ja) 2008-04-24 2012-12-05 カシオ計算機株式会社 画像生成装置、及びプログラム
KR20110006022A (ko) 2009-07-13 2011-01-20 삼성전자주식회사 가상 오브젝트 기반의 이미지 처리 방법 및 장치
JP2013235537A (ja) 2012-05-11 2013-11-21 Nikon Corp 画像作成装置、画像作成プログラム、及び記録媒体
KR101488647B1 (ko) 2014-10-30 2015-02-04 권오형 모바일 단말의 가상 조명 동작방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980697B1 (en) * 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
US20100103303A1 (en) * 2008-10-29 2010-04-29 Samsung Electronics Co. Ltd. Method for displaying image by virtual illumination and portable terminal using the same
CN101753814A (zh) * 2008-12-03 2010-06-23 奥林巴斯映像株式会社 摄像装置、照明处理装置以及照明处理方法
CN103155004A (zh) * 2010-09-01 2013-06-12 马斯科公司 通过图像渲染来演示照明方案的设备、系统和方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335258A (zh) * 2017-12-29 2018-07-27 维沃移动通信有限公司 一种移动终端的图像处理方法和装置
CN110324529B (zh) * 2018-03-30 2021-10-26 佳能株式会社 图像处理设备及其控制方法
US10977777B2 (en) 2018-03-30 2021-04-13 Canon Kabushiki Kaisha Image processing apparatus, method for controlling the same, and recording medium
CN110324529A (zh) * 2018-03-30 2019-10-11 佳能株式会社 图像处理设备及其控制方法
CN111147733A (zh) * 2018-11-02 2020-05-12 佳能株式会社 信息处理设备、信息处理方法和存储介质
US11151779B2 (en) 2018-11-02 2021-10-19 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium for image display and virtual light source representation
CN111147733B (zh) * 2018-11-02 2021-12-03 佳能株式会社 信息处理设备、信息处理方法和存储介质
CN111402348A (zh) * 2019-01-03 2020-07-10 百度在线网络技术（北京）有限公司 光照效果的形成方法、装置和渲染引擎
CN111541840A (zh) * 2019-02-06 2020-08-14 佳能株式会社 确定照明效果候选的信息处理设备、方法及存储介质
US11210767B2 (en) 2019-02-06 2021-12-28 Canon Kabushiki Kaisha Information processing apparatus to determine candidate for lighting effect, information processing method, and storage medium
CN111541840B (zh) * 2019-02-06 2022-03-22 佳能株式会社 确定照明效果候选的信息处理设备、方法及存储介质
CN112116695A (zh) * 2020-09-24 2020-12-22 广州博冠信息科技有限公司 虚拟灯光控制方法及装置、存储介质及电子设备
CN112802170A (zh) * 2021-02-07 2021-05-14 北京字节跳动网络技术有限公司 光照图像生成方法、装置、设备和介质
CN112802170B (zh) * 2021-02-07 2023-05-16 抖音视界有限公司 光照图像生成方法、装置、设备和介质

Also Published As

Publication number Publication date
JP2015201839A (ja) 2015-11-12
US20150281565A1 (en) 2015-10-01
EP2928180A1 (en) 2015-10-07
US9609206B2 (en) 2017-03-28
EP2928180B1 (en) 2018-09-26
JP6646936B2 (ja) 2020-02-14
KR20150113889A (ko) 2015-10-08
CN104954697B (zh) 2019-07-05

Similar Documents

Publication Publication Date Title
CN104954697A (zh) 图像处理装置及图像处理方法
US11025814B2 (en) Electronic device for storing depth information in connection with image depending on properties of depth information obtained using image and control method thereof
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
US9491370B2 (en) Methods and apparatuses for providing guide information for a camera
EP3419024B1 (en) Electronic device for providing property information of external light source for interest object
US20180081434A1 (en) Eye and Head Tracking
CN108696680A (zh) 用于焦点控制的电子设备和方法
CN102843509B (zh) 图像处理装置和图像处理方法
JP5054063B2 (ja) 電子カメラ、画像処理装置及び画像処理方法
CN104902182B (zh) 一种实现连续自动对焦的方法和装置
US8558935B2 (en) Scene information displaying method and apparatus and digital photographing apparatus using the scene information displaying method and apparatus
CN101753814A (zh) 摄像装置、照明处理装置以及照明处理方法
EP3642673B1 (en) Electronic device for controlling focus of lens and method for controlling the same
EP3259658B1 (en) Method and photographing apparatus for controlling function based on gesture of user
CN109040746B (zh) 摄像头校准方法和装置、电子设备、计算机可读存储介质
CN105915728A (zh) 一种智能手机
KR20200053125A (ko) 전자 장치 및 그 제어 방법
CN110719399A (zh) 一种拍摄方法、终端及存储介质
CN108495044A (zh) 一种多摄像头的拍摄方法、拍摄终端和可读存储介质
CN105447460B (zh) 一种信息处理方法及电子设备
CN114979498B (zh) 曝光处理方法、装置、电子设备及计算机可读存储介质
JP6355327B2 (ja) 画像処理装置及び方法
CN116051434B (zh) 一种图像处理方法及相关电子设备
KR20140091117A (ko) 촬영 장치 및 촬영 장치의 라이브 뷰 표시 방법
JP2013077873A (ja) 画像処理装置、画像処理方法、及び、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant