CN112911161B - 图像处理装置、图像处理方法、摄像装置和存储介质 - Google Patents

图像处理装置、图像处理方法、摄像装置和存储介质 Download PDF

Info

Publication number
CN112911161B
CN112911161B CN202011415086.6A CN202011415086A CN112911161B CN 112911161 B CN112911161 B CN 112911161B CN 202011415086 A CN202011415086 A CN 202011415086A CN 112911161 B CN112911161 B CN 112911161B
Authority
CN
China
Prior art keywords
subject
virtual light
region
image
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011415086.6A
Other languages
English (en)
Other versions
CN112911161A (zh
Inventor
渡泽尚子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN112911161A publication Critical patent/CN112911161A/zh
Application granted granted Critical
Publication of CN112911161B publication Critical patent/CN112911161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供了一种图像处理装置、图像处理方法、摄像装置和存储介质。图像处理装置包括检测单元，其被配置为检测图像中的被摄体的区域信息；获取单元，其被配置为从被摄体的区域信息中检测作为被摄体的一部分的预定被摄体区域，并且获取预定被摄体区域的周边的亮度信息；以及重新照明单元，其被配置为通过添加虚拟光的效果来执行用于校正图像中的被摄体的亮度的处理。重新照明单元根据预定被摄体区域的周边的亮度来校正包括预定被摄体区域的被摄体的亮度。

Description

图像处理装置、图像处理方法、摄像装置和存储介质
技术领域
本发明涉及图像处理装置、图像处理方法、摄像装置和存储介质，尤其涉及校正图像中的被摄体的明亮度的图像处理技术。
背景技术
存在一种传统已知的技术，用于通过利用来自虚拟光源的光对所拍摄的图像中的被摄体进行照射来执行用于校正阴影的重新照明(relighting)(再照明(reillumination))处理。重新照明处理使得可以获得其中使得环境光源产生的被摄体的阴影等变亮的图像。
此外，作为检测图像中的被摄体区域的方法，存在一种使用到被摄体的距离的信息的方法。此外，作为获取距离信息的方法，存在一种从多个视点位置获取图像并且基于三角测量原理使用根据相应图像中的像素之间的对应关系计算出的视差来计算距离的立体方法。还存在通过分析已经在不同摄像条件(诸如焦点位置和光阑)下获取的多个图像的模糊状态来计算距离的DFD(散焦测距)方法、DFF(聚焦测距)方法等。通过使用被摄体的距离信息，可以根据从虚拟光源到被摄体的距离来控制从虚拟光源照射的光的量(强度)。
日本专利特开No.2016-72694描述了重新照明处理，其中检测所拍摄的图像中的被摄体的预定区域中的阴影状态，从所检测到的阴影状态确定虚拟光源的特性，并且校正所拍摄的图像以便在具有所确定的特性的虚拟光源照射的光下实现阴影状态。
根据日本专利特开No.2016-72694，尽管使用距离信息执行重新照明处理，但是在其中难以获取距离信息的摄像条件和摄像场景下，距离信息的准确性低。在这种情况下，重新照明处理后的图像可能不自然。例如，已经通过重新照明处理而变亮的区域可能延伸到该处理中作为目标的被摄体区域之外。
发明内容
已经考虑到上述问题而作出本发明，并且本发明实现了用于降低重新照明处理后图像的不自然性的技术。
为了解决上述问题，本发明提供了一种图像处理装置，包括：检测单元，其被配置为检测图像中的被摄体的区域信息；获取单元，其被配置为从所述被摄体的所述区域信息中检测作为所述被摄体的一部分的预定被摄体区域，并且获取所述预定被摄体区域的周边的亮度信息；以及重新照明单元，其被配置为通过添加虚拟光的效果来执行用于校正所述图像中的所述被摄体的明亮度的处理，其中，所述重新照明单元根据所述预定被摄体区域的所述周边的亮度来校正包括所述预定被摄体区域的所述被摄体的明亮度。
为了解决上述问题，本发明提供了一种摄像装置，包括：摄像单元，其被配置为通过拍摄被摄体生成图像数据；以及上述定义的图像处理装置。
为了解决上述问题，本发明提供了一种图像处理方法，包括：检测图像中的被摄体的区域信息；从所述被摄体的区域信息中检测作为被摄体的一部分的预定被摄体区域，并且获取预定被摄体区域的周边的亮度信息；以及通过添加虚拟光的效果来执行用于校正图像中的被摄体的明亮度的处理，其中，在执行所述处理时，根据所述预定被摄体区域的所述周边的亮度来校正包括所述预定被摄体区域的所述被摄体的明亮度。
为了解决上述问题，本发明提供了一种非暂时性计算机可读存储介质，其存储有程序，所述程序使计算机执行上述定义的图像处理方法。
根据本发明，可以降低重新照明处理后图像中的不自然性。
通过参考附图对以下示例性实施例的描述，本发明的其它特征将变得明显。
附图说明
图1是示出根据本实施例的装置配置的框图。
图2是示出根据本实施例的图像处理单元的配置的框图。
图3是示出根据本实施例的图像处理单元的处理的流程图。
图4是示出根据本实施例的重新照明处理单元的配置的框图。
图5是用于描述根据本实施例的来自虚拟光源的虚拟光的反射的示意图。
图6A和图6B是用于描述根据本实施例的虚拟光源的参数的图示。
图7A和图7B是示出根据本实施例的在重新照明处理之前和之后的图像的示例的图示。
图8是示出根据本实施例的重新照明处理的流程图。
图9A和图9B是用于描述根据本实施例的获取被摄体周边的亮度的方法的图示。
图10A和图10B是用于描述根据本实施例的被摄体周边的亮度与虚拟光源的光强度之间的关系的图示。
图11A至图11C是用于描述根据本实施例的虚拟光源的参数的图示。
具体实施方式
下文中，将参考附图详细地描述实施例。注意，以下实施例不旨在限制所要求保护的本发明的范围。在实施例中描述了多个特征，但是并未限制本发明需要所有此类特征，并且多个此类特征可被适当地组合。此外，在附图中，对相同或类似的配置给予相同的附图标记，并且省略了其重复描述。
[第一实施例]
以下描述了摄像装置(诸如数字照相机)的应用的示例，该摄像装置作为根据本实施例的图像处理装置，能够拍摄静止图像、运动图像等。注意，尽管在本实施例中示例性地将数字照相机描述为摄像装置100，但是摄像装置100可以是信息处理装置，例如配备有照相机的移动电话、作为此种移动电话的一种类型的智能电话、平板电脑终端或者配备有照相机的个人计算机(PC)等。
<装置配置>
首先，将参考图1描述根据本实施例的摄像装置的配置和功能。
根据本实施例的摄像装置100具有执行重新照明(再照明)处理的功能，以通过利用来自虚拟光源的虚拟光对在特定光源环境下拍摄的图像中的被摄体进行照射来校正(改变)阴影。
在图1中，透镜101是包括变焦透镜和聚焦透镜的透镜组件。快门102具有光阑功能。摄像单元103是包括例如将光学图像转换为电信号的CCD或CMOS元件的图像传感器。A/D转换器104将从摄像单元103输出的模拟信号转换为数字信号。
图像处理单元105对于从A/D转换器104输出的图像数据或者已经经由存储器控制单元107从图像存储器106读出的图像数据执行各种类型的图像处理，包括颜色转换处理(例如，白平衡(WB)处理)、伽马处理、边缘增强处理、颜色校正处理等。
存储器控制单元107控制图像存储器106。图像存储器106存储从A/D转换器104输出的图像数据以及将要在显示单元109上显示的图像数据。图像存储器106具有足够的存储容量来存储预定数量的静止图像以及预定持续时间的运动图像和音频。图像存储器106还用作用于图像显示的存储器(视频存储器)。
D/A转换器108将存储在图像存储器106中的用于图像显示的数据转换为模拟信号，并且将模拟信号提供给显示单元109。显示单元109是诸如LCD和有机EL的显示设备。
编解码器单元110通过以预定比特率对已经以预定格式(诸如JPEG、MPEG和H.264)写入图像存储器106的图像数据进行压缩和编码来生成视频文件，并且将视频文件记录到记录介质112中。编解码器单元110还以预定比特率对以预定格式记录在记录介质112中的视频文件进行解码，并且将解码后的视频文件存储到图像存储器106中。
记录介质I/F 111是控制对记录介质112的访问的接口。记录介质112是例如用于记录所拍摄的图像数据的内置和/或可移动存储卡或HDD(硬盘驱动器)。
面部检测单元113检测作为所拍摄的图像中的被摄体的人的面部和面部部位的区域的信息(以下称为面部区域信息)。
重新照明处理单元114执行重新照明处理，以用于通过利用虚拟光对所拍摄的图像中的被摄体进行曝光来校正明亮度。稍后将描述重新照明处理的细节。
操作单元115代表操作部件，诸如从用户接受各种类型的操作的各种类型的开关、按钮和触摸屏，并且包括电源开关、快门按钮、记录开始/结束按钮等。操作单元115将各种类型的操作状态通知给系统控制单元120。
系统控制单元120通过执行存储在非易失性存储器116中的程序来实现稍后描述的流程图的处理。117是系统存储器，并且因此使用RAM。将用于系统控制单元120的操作的常数和变量、已经从非易失性存储器116读出的程序等部署到系统存储器117。此外，系统控制单元120还通过控制图像存储器106，D/A转换器108、显示单元109等来执行显示控制。
距离检测单元118测量到所拍摄的图像中的被摄体的距离，并且距离计算单元403(稍后将使用图4来描述)将与摄像像素的像素单位相对应的距离信息计算为二维距离映射。
接下来，将描述根据本实施例的摄像装置100的摄像处理。
摄像单元103经由透镜101和快门102对光入射进行光电转换，并且将光电转换的结果作为模拟图像信号输出到A/D转换器104。A/D转换器104将从摄像单元103输出的模拟图像信号转换为数字信号，并且将数字信号输出到图像处理单元105。
图像处理单元105对于来自A/D转换器104的图像数据或者来自存储器控制单元107的图像数据执行颜色转换处理、伽马处理、边缘增强处理等。此外，图像处理单元105使用面部检测单元113检测到的面部区域信息和所拍摄的图像数据来执行预定评估值计算处理(未示出)，并且系统控制单元120基于获得的评估值执行曝光控制和焦点检测控制。以这种方式，执行基于TTL(通过镜头)方法的AF(自动聚焦)处理、AE(自动曝光)处理、AWB(自动白平衡)处理等。
经由存储器控制单元107将从图像处理单元105输出的图像数据写入图像存储器106。图像存储器106存储从摄像单元103输出的图像数据以及将要在显示单元109上显示的图像数据。
此外，D/A转换器108将存储在图像存储器106中的用于显示的图像数据转换为模拟信号，并且将模拟信号提供给显示单元109。显示单元109使显示设备(诸如LCD)根据来自D/A转换器108的模拟信号执行显示。
编解码器单元110对以预定格式存储在图像存储器106中的图像数据进行压缩和编码。系统控制单元120经由记录介质I/F 111以关联的方式将编码后的图像数据存储到记录介质112中。
<图像处理单元>
接下来，将参考图2和图3描述根据本实施例的图像处理单元105的配置和功能。
在图2中，图像处理单元105包括同步处理单元200、WB放大单元201、亮度和颜色信号生成单元202、边缘增强处理单元203、亮度伽马处理单元204、颜色转换处理单元205、颜色伽马处理单元206、色度信号生成单元207和被摄体信息检测单元208。系统控制单元120通过将存储在非易失性存储器116中的程序读出到系统存储器117中并且执行程序来控制图像处理单元105的各个部件。
接下来，将参考图3的流程图描述根据本实施例的图像处理单元105的处理。
注意，在本实施例中，假设摄像单元103被具有拜耳(Bayer)排列的滤色器覆盖，并且摄像单元103的每个像素输出R、G或B的图像信号。
在步骤S301中，将从A/D转换器104输入到图像处理单元105的图像信号输入到同步处理单元200。同步处理单元200对于拜耳RGB的输入图像数据执行同步处理并生成颜色信号R、G、B。
在步骤S302中，WB放大单元201通过基于系统控制单元120计算的白平衡增益值对RGB颜色信号施加增益来调整白平衡。
在步骤S303中，将从WB放大单元201输出的RGB信号输入到亮度和颜色信号生成单元202。亮度和颜色信号生成单元202从RGB信号生成亮度信号Y，并且将所生成的亮度信号Y和颜色信号RGB分别输出到边缘增强处理单元203和颜色转换处理单元205。
在步骤S304中，边缘增强处理单元203对于亮度信号Y执行边缘增强处理，并且将所得亮度信号Y输出到亮度伽马处理单元204。亮度伽马处理单元204对于亮度信号Y执行伽马校正，并且将所得亮度信号Y输出到图像存储器106。颜色转换处理单元205通过对于颜色信号RGB执行矩阵计算等将颜色信号RGB转换为期望的颜色平衡，并且将所得颜色信号RGB输出到颜色伽马处理单元206和被摄体信息检测单元208。
在步骤S305中，被摄体信息检测单元208根据从面部检测单元113输出的面部区域信息以及从颜色转换处理单元205输出的颜色信号RGB检测所拍摄的图像中的被摄体信息。被摄体信息包括作为所拍摄的图像中的被摄体的人的数量、位置和面部大小、对比度、阴影信息等。例如，根据从面部检测单元113输出的各个面部和部位的多条坐标位置信息检测作为被摄体的人的数量、位置和面部大小的信息，并且根据所拍摄的整个图像和相应被摄体的多条平均亮度信息和亮度直方图信息检测对比度和阴影信息。
在步骤S306中，亮度伽马处理单元204对于亮度信号Y执行伽马校正，并且经由存储器控制单元107将经伽马校正的亮度信号Y输出到图像存储器106。颜色伽马处理单元206对于颜色信号RGB执行伽马校正，并且将所得颜色信号RGB输出到色度信号生成单元207。
在步骤S307中，色度信号生成单元207从RGB信号生成色度信号R-Y、B-Y，并且经由存储控制单元107将色度信号R-Y、B-Y输出到图像存储器106。通过编解码器单元110对存储在图像存储器106中的亮度Y和色度信号R-Y、B-Y进行压缩和编码，并且将其记录到记录介质112中。
<重新照明单元>
接下来，将参考图4描述根据本实施例的重新照明处理单元114的配置和功能。
重新照明处理单元114接收已经由图像处理单元105处理并被存储在图像存储器106中的亮度信号Y和色度信号B-Y、R-Y作为输入，并且执行重新照明处理。
在图4中，RGB信号转换单元401将输入的亮度信号Y和色度信号B-Y、R-Y转换为RGB信号，并且将RGB信号输出到逆伽马处理单元402。逆伽马处理单元402执行计算(逆伽马处理)，该计算的特性是在图像处理单元105的亮度伽马处理单元204和颜色伽马处理单元206中执行的伽马校正的伽马特性的逆特性，从而执行到线性数据的转换。然后，逆伽马处理单元402将转换为线性数据的RGB信号(Rt，Gt，Bt)输出到虚拟光源反射分量计算单元408和虚拟光源添加处理单元409。
距离计算单元403根据从距离检测单元118获取的被摄体的距离信息来计算距离映射。该距离映射是基于针对所拍摄的图像逐像素地获得的二维被摄体距离信息来计算的。
被摄体区域计算单元404根据从被摄体信息检测单元208输入的被摄体信息以及从距离计算单元403输入的距离映射来计算被摄体区域映射。被摄体区域映射是如下的映射，在该映射中以简化方式指示到被摄体的距离，并且相对于主要被摄体的距离值在预定距离范围内的区域被视为其中通过预定固定值来表示像素值的被摄体区域。另一方面，除被摄体之外的区域被视为其中像素值被认为无穷大的背景区域。法线计算单元405接收在被摄体区域计算单元404中计算的被摄体区域映射作为输入，并且将法线映射计算为指示被摄体的形状的形状信息。假设使用已知方法生成法线映射。
法线计算单元405将对应于所拍摄的图像中的各个像素的法线N的信息作为法线映射输出到虚拟光源反射分量计算单元408。
被摄体周边亮度获取单元406使用从被摄体信息检测单元208输入的所拍摄的图像中的被摄体信息或者由被摄体区域计算单元404计算的被摄体区域映射来获取被摄体周边区域的亮度信息。
注意，尽管已经将距离计算单元403、被摄体区域计算单元404、法线计算单元405和被摄体周边亮度获取单元406描述为重新照明处理单元114内部的构成，但是并不以此为限制。例如，它们可以是距离检测单元118或图像处理单元105内部的构成，或者可以是独立的构成。
虚拟光源设置单元407使用从图像处理单元105的被摄体信息检测单元208输入的被摄体信息以及已经由被摄体周边亮度获取单元406获取的被摄体周边的亮度信息来设置虚拟光源的参数。例如，当已经根据被摄体信息将被摄体的整个面部的亮度值确定为低时，控制诸如虚拟光源的位置、照射范围和强度的参数，以使整个面部包括在虚拟光源的照射范围内，从而使面部整体变亮。此外，当已经根据被摄体周边的亮度信息将被摄体周边的亮度值确定为包括在预定亮度范围内时，则即使由被摄体区域计算单元404计算的被摄体区域映射延伸出实际被摄体区域之外，仍控制诸如虚拟光源的位置以及虚拟光的照射范围和强度的参数，以使此种扩展不明显。稍后将描述控制虚拟光源的参数的方法的细节。
现在使用如图6A和图6B所示的被摄体是一个人的示例情况对用于设置虚拟光源的参数进行描述。图6A是示出被摄体与虚拟光源之间的位置关系的透视图。图6B是示出被摄体与虚拟光源之间的位置关系的平面图。
关于虚拟光源的位置，随着虚拟光源到被摄体的距离减小，被摄体更强烈地暴露于虚拟光；相反，随着到被摄体的距离增大，被摄体更弱地暴露于虚拟光。关于虚拟光的照射范围，通过增大虚拟光的照射范围，可以使整个被摄体暴露于光；相反，通过减小照射范围，可以使被摄体的仅一部分暴露于光。此外，关于虚拟光的强度，随着虚拟光的强度增加，被摄体更强烈地暴露于光；相反，随着强度降低，被摄体更弱地暴露于光。
虚拟光源反射分量计算单元408基于根据被摄体区域映射的光源与被摄体之间的距离K、根据法线映射的法线信息N以及由虚拟光源设置单元407设置的虚拟光源的参数来计算由被摄体反射的虚拟光的分量。具体而言，计算对应于所拍摄的图像中的坐标位置的被摄体部分中的虚拟光的反射分量，以使它们与虚拟光源以及对应于相关像素的被摄体部分之间的距离K的平方成反比，并且与法线N的向量和光源方向L的向量的内积成正比。
现在使用图5对计算虚拟光的反射分量的方法进行描述。注意，尽管为了说明方便，图5仅示出所拍摄的图像的水平方向，如前所述，垂直于纸面的方向是所拍摄的图像的垂直方向。下面，对方法进行描述，该方法计算对应于水平像素位置H1和所拍摄的图像中未示出的垂直像素位置V1的被摄体501上的点P1处的虚拟光的反射分量。
在图5中，虚拟光源502是已经针对被摄体501设置的虚拟光源。在由摄像装置100拍摄的图像中的位置(H1，V1)处的虚拟光的反射分量具有与被摄体501上的点P1处的法线向量N1和虚拟光源502的光源方向向量L1的内积成正比并且与虚拟光源502和点P1之间的距离K1的平方成反比的值。注意，法线向量N1和光源方向向量L1是由水平方向、垂直方向和深度方向(在图5中由距离D指示的方向)组成的三维向量。当以数学公式表达该关系时，由公式1表达被摄体501上的点P1处的虚拟光的反射分量(Ra，Ga，Ba)。
(公式1)
Ra＝α×(-L1·N1)/K12×Rt
Ga＝α×(-L1·N1)/K12×Gt
Ba＝α×(-L1·N1)/K12×Bt
此处，α表示虚拟光的强度以及用于重新照明校正量的增益值，并且Rt、Gt、Bt表示从逆伽马处理单元402输出的RGB信号。
将已经使用上述公式1计算的虚拟光的反射分量(Ra，Ga，Ba)输出到虚拟光源添加处理单元409。虚拟光源添加处理单元409执行使用公式2的计算，其是将虚拟光的反射分量(Ra，Ga，Ba)添加到从逆伽马处理单元402输出的RGB信号。
(公式2)
Rout＝Rt+Ra
Gout＝Gt+Ga
Bout＝Bt+Ba
将在虚拟光源添加处理单元409中经过重新照明处理的RGB信号(Rout，Gout，Bout)输入到伽马处理单元410并且进行伽马处理。然后，亮度和色度信号生成单元411从经过伽马处理的RGB信号(R'out，G'out，B'out)生成亮度信号Y和色度信号R-Y、B-Y，并且输出亮度信号Y和色度信号R-Y、B-Y。
图7A和图7B示出由重新照明处理单元114执行的重新照明处理之前和之后的图像的示例；图7A示出重新照明处理之前的图像的示例，并且图7B示出重新照明处理之后的图像的示例。通过使暗被摄体暴露于虚拟光来执行重新照明处理，如图7A所示；作为结果，如图7B所示，校正了被摄体的明亮度。
系统控制单元120通过控制存储器控制单元107将从重新照明处理单元114输出的亮度信号Y和色度信号R-Y、B-Y存储到图像存储器106中。之后，通过控制编解码器单元110执行压缩和编码，并且记录介质I/F 111将压缩和编码的结果记录到记录介质112中。
接下来，将参考图8的流程图描述由根据本实施例的重新照明处理单元114执行的重新照明处理。注意，当系统控制单元120将存储在非易失性存储器116中的程序读出到系统存储器117中、执行该程序并控制包括图像处理单元105和重新照明处理单元114的各个部件时，实现图8的处理。此外，当已经通过经由操作单元115进行的用户操作选择了重新照明处理时，对于已经由图像处理单元105处理并被存储到图像存储器106中的图像信号(亮度信号Y和色度信号R-Y、B-Y)执行图8的处理。
在步骤S801中，被摄体区域计算单元404从被摄体信息检测单元208获取被摄体信息。
在步骤S802中，距离计算单元403根据从距离检测单元118获取的被摄体的距离信息生成距离映射。
在步骤S803中，被摄体区域计算单元404使用由步骤S802中生成的距离映射所指示的距离K生成被摄体区域映射(映射K)。在被摄体区域映射中，以简化方式指示到被摄体的距离，并且相对于主要被摄体的距离值在预定距离范围内的区域被视为其中由预定固定值表示像素值的被摄体区域。另一方面，除被摄体之外的区域被视为其中像素值被认为无穷大的背景区域。具体而言，在使用步骤S802中生成的距离映射的情况下，通过将基于主要被摄体的距离值在预定距离范围内的区域作为由预定固定值表示的被摄体区域使用来获得被摄体区域映射(映射K)。
在步骤S804中，在使用从被摄体区域计算单元404获取的被摄体区域映射的情况下，法线计算单元405生成法线映射(映射N)，该法线映射是指示包括预定被摄体区域(该预定被摄体区域是被摄体的部分区域)的整个被摄体的形状的形状信息。注意，预定被摄体区域是包括在整个被摄体中的部分区域。例如，在其中被摄体是人的情况下，预定被摄体区域等同于包括在整个被摄体中的面部区域，该整个被摄体包括面部和身体；或者在其中被摄体是戴帽子或在乘车的人的情况下，预定被摄体区域等同于包括在整个被摄体中的面部和身体的区域，该整个被摄体包括帽子和乘车装置。
在步骤S805中，被摄体周边亮度获取单元406使用从被摄体信息检测单元208输入的所拍摄的图像中的被摄体信息或者由被摄体区域计算单元404计算的被摄体区域映射来获取预定被摄体区域的周边的亮度信息。现在，使用图9A和图9B对获取预定被摄体区域的周边的亮度信息的方法进行描述。如图9A和图9B所示，通过将整个所拍摄的图像划分为多个块并且通过评估对应于预定被摄体区域周边的各个块的亮度信息来获取预定被摄体区域的周边的亮度信息。例如，当使用由面部检测单元113检测的面部区域信息获取预定被摄体区域的周边的亮度信息时，针对面部周边的块中的每个来计算亮度值的平均值，所述块由图9A中的对角线部分901指示。另一方面，例如，当使用由被摄体区域计算单元404计算的被摄体区域映射获取预定被摄体区域的周边的亮度信息时，针对包括面部周边的整个身体周边的块中的每个来计算亮度值的平均值，所述块由图9B中的对角线部分902指示。
在步骤S806中，虚拟光源设置单元407基于在步骤S805中由被摄体周边亮度获取单元406获取的亮度信息来生成与虚拟光源关联的权重映射。对于权重映射，针对各个像素计算虚拟光源的光源方向向量L，并且获得相对于坐标轴方向的各个向量的方向余弦。然后，通过以各个像素的任意位宽度表示方向余弦来获得与虚拟光源关联的权重映射(映射L)。
使用在步骤S801中获取且从被摄体信息检测单元208输入的被摄体信息输入来确定用于计算虚拟光源的光源向量L的参数，该参数指示虚拟光源的位置和虚拟光的强度。
例如，当被摄体的面部区域内部的亮度分布不均匀时，确定虚拟光源的位置和虚拟光的强度，以使具有低亮度值的区域暴露于虚拟光。
例如，假设在所拍摄的图像中具有低亮度值的区域的坐标为(x1，y1)，则由公式3表示归因于被摄体的虚拟光的反射分量(Ra(x1，y1)，Ga(x1，y1)，Ba(x1，y1))。
公式3
Ra(x1,y1)＝α×(-L(x1,y1)·N(x1,y1))/K(x1,y1)2×Rt
Ga(x1,y1)＝α×(-L(x1,y1)·N(x1,y1))/K(x1,y1)2×Gt
Ba(x1,y1)＝α×(-L(x1,y1)·N(x1,y1))/K(x1,y1)2×Bt
注意，在公式3中，α表示虚拟光的强度，并且基于由被摄体周边亮度获取单元406获取的亮度信息来控制虚拟光的强度α。稍后将描述控制虚拟光的强度α的方法的细节。此外，L(x1，y1)表示被摄体上的对应于坐标(x1，y1)的位置处的虚拟光源的光源方向向量，并且N(x1，y1)表示被摄体上的对应于法线映射中的坐标(x1，y1)的位置处的法线向量。此外，K(x1，y1)表示虚拟光源与被摄体上的对应于被摄体区域映射中的坐标(x1，y1)的位置之间的距离。为了使坐标(x1，y1)处的被摄体(该被摄体是具有低亮度值的区域)暴露于虚拟光，执行控制以使(Ra(x1，y1)，Ga(x1，y1)，Ba(x1，y1))具有正值。
现在参考图10A和图10B对基于由被摄体周边亮度获取单元406获取的亮度信息来控制虚拟光的强度α的方法进行描述。
图10A示出图像处理单元105中的亮度伽马处理单元204的输入和输出的伽马特性。在具有亮度值YA到YB的范围内，伽马特性呈曲线，并且输出相对于输入的变化较大。相反，在表示高亮度值的YB到YC的范围内，伽马特性变得饱和，并且输出相对于输入的变化较小。逆伽马处理单元402执行计算(逆伽马处理)，其特性是在亮度伽马处理单元204中执行的伽马校正的伽马特性的逆特性。因此，例如，在图10A所示的伽马特性的情况下，亮度伽马处理单元204将YA、YB和YC分别转换为YA'、YB'和YC'，并且逆伽马处理单元402将YA'、YB'和YC'分别转换为YA、YB和YC。
如公式1和公式2所指示，重新照明处理是用于将归因于被摄体的虚拟光的反射分量(Ra，Ga，Ba)添加到从逆伽马处理单元402输出的RGB信号中的处理。关于表示从逆伽马处理单元402输出的RGB信号的Rt、Gt、Bt，归因于被摄体的虚拟光的反射分量(Ra，Ga，Ba)被表示为与法线向量N1和虚拟光源的光源方向向量L1的内积成正比，并被表示为与距离K1的平方成反比。因此，在相同的光源方向向量L1和距离K1下，归因于被摄体的虚拟光的反射分量(Ra，Ga，Ba)随着Rt、Gt、Bt的增加而增大，也就是说，随着亮度值的增大而增大。注意，在虚拟光源添加处理单元409将反射分量(Ra，Ga，Ba)添加到从逆伽马处理单元402输出的RGB信号之后，伽马处理单元410执行具有与亮度伽马处理单元204相似的特性的伽马处理。因此，当反射分量(Ra，Ga，Ba)太大时，由于伽马处理单元410中的伽马特性饱和，所以重新照明处理之前和之后的差异不大。因此，当亮度值在其中重新照明处理之前和之后的差异较大的YA到YB的范围内时(伽马特性的曲线陡峭以及亮度不太低且不太高的范围)，被摄体周边亮度获取单元406执行控制，使得在YA到YB范围内的被摄体周边的亮度值越大，则虚拟光的强度α越小，如图10B所示。此外，当亮度值在0到YA的范围内时，亮度值较低并且重新照明处理之前和之后的差异不大，并且因此执行控制以增加虚拟光的强度α。此外，当亮度值在其中伽马特性变得饱和的YB到YC的范围内时，重新照明处理之前和之后的差异不大，并且因此执行控制，使得虚拟光的强度α随着亮度值的增大而增加。
此外，可以如图11A至图11C所示的那样来控制指示虚拟光源与被摄体之间的距离K(x1，y1)的参数。图11A至图11C是示出被摄体与虚拟光源之间的位置关系的平面图。例如，通过将图11A中的虚拟光源的位置移动到图11B中的虚拟光源的位置，可以将被摄体到虚拟光源的距离设置为随着在步骤S809中获取的被摄体的周边的亮度值在YA到YB的范围内增大而增大。
另外，还可以控制指示虚拟光源的照射范围的参数。使用由被摄体信息检测单元208获取的被摄体信息的面部区域内的亮度分布信息以及由被摄体周边亮度获取单元406获取的被摄体的周边的亮度信息来确定指示照射范围的参数。例如，执行控制，使得由被摄体周边亮度获取单元406获取的被摄体的周边的亮度值在YA到YB的范围内越大，则被摄体的周边越少地暴露于虚拟光源。也就是说，执行控制，以将图11A中的虚拟光源的照明范围减小为图11C中的虚拟光源的照明范围，使得仅被摄体暴露于虚拟光源。
通过前述处理，虚拟光源设置单元407计算虚拟光源的位置以及虚拟光的强度和照射范围。
返回图8的描述，在步骤S807中，虚拟光源反射分量计算单元408计算所检测的被摄体区域的虚拟光的反射分量(Ra，Ga，Ba)。注意，可以使用如较早所述的公式1来计算反射分量(Ra，Ga，Ba)。在使用指示步骤S803中生成的距离的被摄体区域映射(映射K)、与被摄体的法线关联的步骤S804的权重映射(映射N)以及与虚拟光源的步骤S806的权重映射(映射L)的情况下，通过在每个像素的基础上执行公式1的计算来计算虚拟光的反射分量(Ra，Ga，Ba)。
在步骤S808中，执行重新照明处理。如上述公式2所指示，虚拟光源添加处理单元409将在步骤S806中计算的虚拟光的反射分量(Ra，Ga，Ba)添加到逆伽马处理单元402的输出(Rt，Gt，Bt)。一旦重新照明处理已经完成，则重新照明处理单元114的处理完成。
如上所述，重新照明处理单元114对于所拍摄的图像中的被摄体执行重新照明处理。即使在距离信息的准确性低的情况下，也可以通过根据被摄体周边的亮度控制虚拟光源的参数来降低已经对于被摄体区域执行的重新照明处理的结果的不自然性。
此外，尽管已经使用数字照相机作为摄像装置的示例描述了本实施例，但是在针对信息处理装置(诸如个人计算机)的应用中，允许采用其中获取照相机等拍摄的图像并且使用已经针对虚拟光源由用户任意设置的参数来对于所获取的图像执行重新照明处理的配置。如果存在诸如面部检测的结果、距离信息、被摄体区域信息、法线信息和被摄体周边亮度信息的附加信息，则可以使用这些信息与图像一起执行重新照明处理。
此外，尽管已经使用其中利用距离检测单元118获取距离信息的示例描述了本实施例，但是并不以此为限制。允许采用其中基于来自摄像光学系统的光瞳的不同区域的光束所生成的多个被摄体图像之间的相位差来获取距离信息的配置。
此外，尽管已经使用其中存在一个虚拟光源的情况描述了本实施例，但是并不以此为限制。允许采用其中使用多个虚拟光源执行重新照明处理的配置。例如，一个虚拟光源可以位于被摄体的斜左上方，而另一个虚拟光源可以位于被摄体的斜右上方。
此外，尽管已经使用其中执行校正以使用加色光来增大明亮度的情况描述了本实施例，但是也可以执行用于减小明亮度的重新照明处理。在这种情况下，将负增益值用于虚拟光源的虚拟光(减色光)的强度α。还允许采用其中将镜面反射光添加到被摄体的配置。以这种方式，可以选择多种类型中的一种并将其用作虚拟光。
此外，计算虚拟光源的位置与目标像素之间的距离D的方法不限于本实施例，并且可以使用任何计算方法。例如，可以通过获取照相机的位置和被摄体的位置作为三维位置来计算三维距离。
此外，尽管在添加虚拟光的反射分量的计算中使用了与距离的平方成反比的公式，但是针对虚拟光的所添加的反射分量的量的计算公式不限于此。为此。例如，可以使用与距离D成反比的公式或者照射范围以高斯分布形式变化的公式。
此外，尽管已经使用其中将面部和部位检测作为被摄体的情况描述了本实施例，但是并不以此为限制，并且可以检测除人之外的被摄体。另外，可以使用多种被摄体检测方法。例如，在使用基于模式识别和机器学习的方法的情况下，允许使用从所拍摄的图像中检测人头部所在的区域的头部检测、从所拍摄的图像中检测诸如猫和狗的宠物的宠物检测等。
此外，尽管已经使用其中将人检测作为被摄体的情况描述了本实施例，但是并不以此为限制，也可以检测除人之外的被摄体(例如，汽车、动物、植物等)。
其他实施方式
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求应进行最宽范围的解释，以涵盖所有此些修改以及等同结构和功能。

Claims (10)

1.一种图像处理装置，包括：
检测单元，其被配置为检测图像中的被摄体的区域信息；
获取单元，其被配置为从所述被摄体的所述区域信息中检测作为所述被摄体的一部分的预定被摄体区域，并且获取所述预定被摄体区域的周边的亮度信息；以及
重新照明单元，其被配置为通过添加虚拟光的效果来执行用于校正所述图像中的所述被摄体的明亮度的处理，
其中，所述重新照明单元校正包括所述预定被摄体区域的所述被摄体的明亮度，使得当所述预定被摄体区域的所述周边的亮度被包括在预定亮度范围内时，所述预定被摄体区域的所述周边的亮度越高，所述虚拟光的效果越弱。
2.根据权利要求1所述的装置，还包括：
生成单元，其被配置为生成指示到所述被摄体的距离的距离信息；
其中，所述检测单元基于所述距离信息来检测所述被摄体的所述区域信息。
3.根据权利要求1所述的装置，还包括：
计算单元，其被配置为根据所述被摄体的所述区域信息计算所述被摄体的形状信息；
其中，所述获取单元基于所述被摄体的所述区域信息或者所述被摄体的所述形状信息来获取所述预定被摄体区域的所述周边的所述亮度信息。
4.根据权利要求1所述的装置，其中，
所述重新照明单元控制用于照射所述虚拟光的虚拟光源的参数，使得所述预定被摄体区域的所述周边的亮度越高，则用以对包括所述预定被摄体区域的所述被摄体进行照射的所述虚拟光越弱。
5.根据权利要求1所述的装置，其中，
所述重新照明单元控制用于照射所述虚拟光的虚拟光源的参数，使得所述预定被摄体区域的所述周边的亮度越高，则所述被摄体越少地暴露于所述虚拟光。
6.根据权利要求4所述的装置，其中，
所述虚拟光源的所述参数包括所述虚拟光源的位置以及所述虚拟光的照射范围和强度。
7.根据权利要求4所述的装置，其中，
所述虚拟光源的所述参数包括指示多种类型的虚拟光其中之一的参数，所述多种类型的虚拟光包括使所述被摄体变亮的加色光、使所述被摄体变暗的减色光、以及向所述被摄体添加镜面反射的镜面反射光。
8.一种摄像装置，包括：
摄像单元，其被配置为通过拍摄被摄体生成图像数据；以及
根据权利要求1至7中任一项所述的图像处理装置。
9.一种图像处理方法，包括：
检测图像中的被摄体的区域信息；
从所述被摄体的所述区域信息中检测作为所述被摄体的一部分的预定被摄体区域，并且获取所述预定被摄体区域的周边的亮度信息；以及
通过添加虚拟光的效果来执行用于校正所述图像中的所述被摄体的明亮度的处理，
其中，在执行所述处理时，校正包括所述预定被摄体区域的所述被摄体的明亮度，使得当所述预定被摄体区域的所述周边的亮度被包括在预定亮度范围内时，所述预定被摄体区域的所述周边的亮度越高，所述虚拟光的效果越弱。
10.一种非暂时性计算机可读存储介质，其存储有程序，所述程序使计算机执行根据权利要求9所述的方法。
CN202011415086.6A 2019-12-03 2020-12-03 图像处理装置、图像处理方法、摄像装置和存储介质 Active CN112911161B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-219075 2019-12-03
JP2019219075A JP7398939B2 (ja) 2019-12-03 2019-12-03 画像処理装置およびその制御方法、撮像装置、プログラム、並びに記憶媒体

Publications (2)

Publication Number Publication Date
CN112911161A CN112911161A (zh) 2021-06-04
CN112911161B true CN112911161B (zh) 2023-07-21

Family

ID=73497549

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011415086.6A Active CN112911161B (zh) 2019-12-03 2020-12-03 图像处理装置、图像处理方法、摄像装置和存储介质

Country Status (4)

Country Link
US (1) US11368630B2 (zh)
EP (1) EP3832592A1 (zh)
JP (1) JP7398939B2 (zh)
CN (1) CN112911161B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114504293B (zh) * 2022-04-21 2022-07-29 安翰科技(武汉)股份有限公司 内窥镜曝光控制方法及内窥镜

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664364A (zh) * 2014-09-26 2017-05-10 佳能株式会社 图像处理设备及其控制方法
CN110221439A (zh) * 2019-07-11 2019-09-10 Oppo广东移动通信有限公司 增强现实设备及增强现实调节方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290661A (ja) * 2008-05-30 2009-12-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
US8213052B2 (en) * 2009-07-31 2012-07-03 Eastman Kodak Company Digital image brightness adjustment using range information
CN102236883A (zh) * 2010-04-27 2011-11-09 株式会社理光 图像增强方法和装置、物体检测方法和装置
JP6412386B2 (ja) 2014-09-26 2018-10-24 キヤノン株式会社 画像処理装置およびその制御方法、プログラムならびに記録媒体
JP6445844B2 (ja) * 2014-11-05 2018-12-26 キヤノン株式会社 撮像装置および撮像装置で実行される方法
JP6937603B2 (ja) * 2017-04-21 2021-09-22 キヤノン株式会社 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
JP7277158B2 (ja) * 2018-02-21 2023-05-18 キヤノン株式会社 設定装置及び方法、プログラム、記憶媒体
US10863103B2 (en) * 2018-02-21 2020-12-08 Canon Kabushiki Kaisha Setting apparatus, setting method, and storage medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106664364A (zh) * 2014-09-26 2017-05-10 佳能株式会社 图像处理设备及其控制方法
CN110221439A (zh) * 2019-07-11 2019-09-10 Oppo广东移动通信有限公司 增强现实设备及增强现实调节方法

Also Published As

Publication number Publication date
US11368630B2 (en) 2022-06-21
JP2021089534A (ja) 2021-06-10
CN112911161A (zh) 2021-06-04
US20210168274A1 (en) 2021-06-03
EP3832592A1 (en) 2021-06-09
JP7398939B2 (ja) 2023-12-15

Similar Documents

Publication Publication Date Title
JP6445844B2 (ja) 撮像装置および撮像装置で実行される方法
CN108012078B (zh) 图像亮度处理方法、装置、存储介质和电子设备
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9961319B2 (en) Image processing apparatus and control method thereof
JP6641181B2 (ja) 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
JP6574878B2 (ja) 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体
US20170264808A1 (en) Image processing apparatus and method
JP7277158B2 (ja) 設定装置及び方法、プログラム、記憶媒体
US10863103B2 (en) Setting apparatus, setting method, and storage medium
US11893716B2 (en) Image processing apparatus and image processing method, and image capturing apparatus
CN112911161B (zh) 图像处理装置、图像处理方法、摄像装置和存储介质
JP6937603B2 (ja) 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
JP2018182700A (ja) 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
JP6450107B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
US10489895B2 (en) Image processing apparatus, image processing method, and storage medium
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
JP2014007528A (ja) 画像処理装置およびその制御方法
US10021314B2 (en) Image processing apparatus, image capturing apparatus, method of controlling the same, and storage medium for changing shading using a virtual light source
JP2016213717A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP7446080B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム及び撮像システム
JP7356255B2 (ja) 画像処理装置及びその処理方法、撮像装置、プログラム、記憶媒体
JP2017151562A (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant