CN110324529B - 图像处理设备及其控制方法 - Google Patents

图像处理设备及其控制方法 Download PDF

Info

Publication number
CN110324529B
CN110324529B CN201910249202.2A CN201910249202A CN110324529B CN 110324529 B CN110324529 B CN 110324529B CN 201910249202 A CN201910249202 A CN 201910249202A CN 110324529 B CN110324529 B CN 110324529B
Authority
CN
China
Prior art keywords
image
mode
distribution information
relighting
distance distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910249202.2A
Other languages
English (en)
Other versions
CN110324529A (zh
Inventor
北岛光太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110324529A publication Critical patent/CN110324529A/zh
Application granted granted Critical
Publication of CN110324529B publication Critical patent/CN110324529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/94—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像处理设备及其控制方法。所述图像处理设备包括：多个获取单元，其被配置为获取与所述图像中包括的被摄体有关的距离分布信息，其中，所述多个获取单元包括：第一获取单元，其被配置为基于与所述图像有关的视差信息，来获取与所述图像中包括的被摄体有关的距离分布信息；以及第二获取单元，其被配置为基于所述图像的不同于所述视差信息的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息；以及确定单元，其被配置为在所述多个获取单元中确定出获取要用于进行所述重光照处理的距离分布信息的获取单元。

Description

图像处理设备及其控制方法
技术领域
本发明涉及图像处理设备，并且更特别地，涉及用于校正输入图像的明度的图像处理设备。
背景技术
在传统拍摄中，通过使用辅助光照或反射板通过光调整来进行被摄体上的光和阴影区域的调整。这使得可以通过以各种方式改变被摄体的印象来进行拍摄。作为用于在图像拍摄之后进行上述的光调整的技术，特定方法基于被摄体形状信息通过使用虚拟光源来向被摄体图像施加光和阴影。
该技术使得能够使图像形象化且令人印象深刻。此外，向图像添加高亮和阴影使得能够强调图像的立体效果。用于获取被摄体形状信息的方法的示例包括用于使用测距传感器的方法和用于基于与多个图像有关的视差信息来生成距离图(distance map)的数据的方法。这种距离图可能包含由于各种因素造成的误差。为了解决该问题，已提出了用于校正距离图的各像素的距离信息的技术。
例如，日本特开2012-78942论述了如下的技术：通过使用校正对象像素的计算范围内的多个像素的像素值和距离值来进行聚类，并且基于聚类结果来计算校正对象像素的距离值。以这种方式校正了各像素的距离信息。
然而，哪种被摄体信息(诸如距离图等)最合适取决于要进行的图像处理，例如，要用于向被摄体添加效果的虚拟光源的类型。
发明内容
一种图像处理设备，用于进行用于向图像添加虚拟光的效果的重光照处理，所述图像处理设备包括：多个获取单元，其被配置为获取与所述图像中包括的被摄体有关的距离分布信息，其中，所述多个获取单元包括：第一获取单元，其被配置为基于与所述图像有关的视差信息，来获取与所述图像中包括的被摄体有关的距离分布信息，以及第二获取单元，其被配置为基于所述图像的与所述视差信息不同的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息；以及确定单元，其被配置为在所述多个获取单元中确定出获取要用于进行所述重光照处理的距离分布信息的获取单元。
一种图像处理设备，用于进行用于向图像添加虚拟光的效果的重光照处理，所述图像处理设备包括：至少一个处理器，其被配置为用作以下单元：多个获取单元，其被配置为获取与所述图像中包括的被摄体有关的距离分布信息，其中，所述多个获取单元包括：第一获取单元，其被配置为基于与所述图像有关的视差信息，来获取与所述图像中包括的被摄体有关的距离分布信息，以及第二获取单元，其被配置为基于所述图像的与所述视差信息不同的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息；以及处理单元，其被配置为通过选择性地使用所述第一获取单元所获取到的与所述图像中包括的被摄体有关的距离分布信息和所述第二获取单元所获取到的与所述图像中包括的被摄体有关的距离分布信息，来进行所述重光照处理。
一种图像处理设备的控制方法，所述图像处理设备用于进行用于向图像添加虚拟光的效果的重光照处理，所述控制方法包括：通过使用多个获取方法至少之一来获取与所述图像中包括的被摄体有关的距离分布信息，其中，所述多个获取方法包括：第一获取方法，其被配置为基于与所述图像有关的视差信息，来获取与所述图像中包括的被摄体有关的距离分布信息，以及第二获取方法，其被配置为基于所述图像的与所述视差信息不同的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息；以及在所述多个获取方法中确定出获取要用于进行所述重光照处理的距离分布信息的获取方法。
一种图像处理设备的控制方法，所述图像处理设备用于进行用于向图像添加虚拟光的效果的重光照处理，所述控制方法包括：通过选择性地使用第一获取方法和第二获取方法来获取与所述图像中包括的被摄体有关的距离分布信息，其中，所述第一获取方法基于与所述图像有关的视差信息，来获取与所述图像中包括的被摄体有关的距离分布信息，以及其中，所述第二获取方法基于所述图像的与所述视差信息不同的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息。
通过以下参考附图对典型实施例的说明，各种实施例的更多特征将变得明显。
附图说明
图1是示出根据一些实施例的数字照相机的结构的框图。
图2是示出根据一些实施例的图像处理单元的结构的框图。
图3是示出根据一些实施例的重光照(relighting)处理单元的结构的框图。
图4的(A)、(B)和(C)示出根据一些实施例的距离图的示例。
图5示出根据一些实施例的重光照的反射分量。
图6A、6B和6C示出根据一些实施例的重光照模式。
图7是示出根据第一典型实施例的用于生成距离图的处理的流程图。
具体实施方式
以下将参考附图来详细说明典型实施例。以下将基于应用数字照相机作为图像处理设备的示例来说明本典型实施例。
以下将参考附图来说明根据第一典型实施例的数字照相机。
图1是示出根据典型实施例的数字照相机的结构的示例的框图。
图1示出数字照相机100的整体结构。数字照相机100包括：透镜组101，其包括变焦透镜和调焦透镜；快门102，其具有光圈功能；以及摄像单元103，其包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器，用于将光学图像转换成电气信号。数字照相机100还包括：模拟-数字(A/D)转换器104，用于将模拟信号转换成数字信号；以及图像处理单元105，用于对从A/D转换器104输出的图像数据进行各种图像处理，诸如白平衡处理、伽马处理、边缘强调处理和颜色校正处理等。数字照相机100还包括：图像存储器106；存储器控制单元107，用于控制图像存储器106；数字-模拟(D/A)转换器108，用于将输入数字信号转换成模拟信号；诸如液晶显示器(LCD)等的显示单元109；以及编解码单元110，用于对图像数据进行压缩编码/解码。数字照相机100还包括：与记录介质112(诸如存储卡和硬盘等)的记录接口(I/F)111；以及脸部检测单元113，用于在拍摄图像中检测脸部区域。数字照相机100还包括：重光照处理单元114，用于对拍摄图像进行重光照处理；以及系统控制单元50，用于控制数字照相机100的整个系统。数字照相机100还包括：诸如电可擦除可编程只读存储器(EEPROM)等的非易失性存储器121，用于存储程序和参数；以及系统存储器122，用于加载系统控制单元50的操作所用的常数和变量、以及从非易失性存储器121读取的程序。数字照相机100还包括：诸如频闪仪等的物理光源设备123；以及测距传感器124，用于测量被摄体和数字照相机100之间的距离，并且输出与拍摄像素有关的距离信息作为二维距离图图像。根据本典型实施例的测距传感器124通过使用所谓的视差图像来进行测距。测距传感器124可以是独立的传感器，或者摄像单元103(例如，CMOS传感器的摄像面)也可以用作测距传感器124。例如，在摄像单元103的用于针对各像素获取视差图像的结构中，可以针对各像素获取被摄体距离，从而使得可以生成像素单元的距离图图像。
数字照相机100的结构不限于图1所示的结构。例如，单个硬件组件可以根据要执行的程序而用作多个处理单元和控制单元。此外，多个硬件组件可以协作以用作处理单元或控制单元。可以根据程序来进行各种类型的处理，或者可以提供用于进行各种处理的电路。
这样完成了对数字照相机100的结构的说明。以下将说明由如上所述配置成的数字照相机100进行的用于拍摄被摄体的基本操作。摄像单元103对经由透镜101和快门102入射的光进行光电转换，并且将电气信号作为输入图像信号输出至A/D转换器104。A/D转换器104将从摄像单元103输出的模拟图像信号转换成数字图像信号，并且将该数字图像信号输出至图像处理单元105。
图像处理单元105对来自A/D转换器104的图像数据或来自存储器控制单元107的图像数据进行诸如白平衡处理、伽马处理和边缘强调处理等的颜色转换处理。图像处理单元105基于脸部检测单元113的脸部检测结果或者所拍摄到的图像数据来进行预定的评价值计算处理。系统控制单元50基于所获得的评价值结果来进行曝光控制和测距控制。因此，图像处理单元105基于通过镜头(TTL)方法来进行自动调焦(AF)处理、自动曝光(AE)处理和自动白平衡(AWB)处理。
从图像处理单元105输出的图像数据经由存储器控制单元107被写入图像存储器106中。图像存储器106存储从摄像单元103输出的图像数据，并且图像存储器106存储要显示在显示单元109上的图像数据。
D/A转换器108将图像存储器106中所存储的图像显示所用的数据转换成模拟信号，并且将模拟图像数据供给至显示单元109。显示单元109根据从D/A转换器108接收到的模拟信号来在诸如LCD等的显示单元上显示图像数据。
编解码单元110基于联合图像专家组(JPEG)标准和运动图像专家组(MPEG)标准来对图像存储器106中所记录的图像数据进行压缩编码。系统控制单元50关联编码后的图像数据，并且将编码后的图像数据经由记录I/F 111存储在记录介质中。
这样完成了对拍摄被摄体时的基本操作的说明。
除上述的基本操作之外，系统控制单元50还执行上述的非易失性存储器121中所记录的程序，以实现(以下所述的)根据本典型实施例的各种处理。程序是指用于实现根据本典型实施例的(以下所述的)各种流程图的程序。在这种情况下，将系统控制单元50的操作所用的常数和变量以及从非易失性存储器121读取的程序加载到系统存储器122中。
以下将参考图2来详细说明图像处理单元105。图2是示出图像处理单元105的结构的框图。可以假定各种形式的特定结构来实现图2和图3所示的结构。例如，可以针对图2和图3所示的各部分提供单个硬件组件，或者单个硬件组件可以用作多个部分。包括除图像处理单元105以外的硬件组件的多个硬件组件可以协作以用作图2和图3所示的部分中的任一部分。
参考图2，图像处理单元105包括同步处理单元200、白平衡(WB)放大单元201、亮度和颜色信号生成单元202、边缘强调处理单元203、亮度伽马处理单元204、颜色转换处理单元205、颜色伽马处理单元206和色差信号生成单元207。
以下将说明图像处理单元105的处理。从图1所示的A/D转换器104输出的图像信号被输入至图像处理单元105。
在该图像信号被输入至图像处理单元105时，该图像信号被输入至同步处理单元200。同步处理单元200对所输入的拜尔红色、绿色和蓝色(RGB)的图像数据进行同步处理，以分别生成R、G和B(RGB)的颜色信号。WB放大单元201将RGB颜色信号乘以系统控制单元50所计算出的白平衡增益值，以调整白平衡。WB放大单元201所输出的RGB颜色信号被输入至亮度和颜色信号生成单元202。亮度和颜色信号生成单元202基于RGB信号来生成Y亮度信号，将所生成的Y亮度信号输出至边缘强调处理单元203，并且将RGB颜色信号输出至颜色转换处理单元205。
边缘强调处理单元203对Y亮度信号进行边缘强调处理，并且将如此得到的Y亮度信号输出至亮度伽马处理单元204。亮度伽马处理单元204对Y亮度信号进行伽马校正，并且将如此得到的Y亮度信号输出至图像存储器106。
颜色转换处理单元205对RGB信号进行矩阵运算，以将RGB信号转换成期望的颜色平衡。颜色伽马处理单元206对RGB颜色信号进行伽马校正。色差信号生成单元207基于RGB信号来生成R-Y色差信号和B-Y色差信号。
编解码单元110对输出至图像存储器106的Y图像信号以及R-Y色差信号和B-Y色差信号进行压缩编码，并且将这些信号记录在记录介质112中。
以下将参考图3来说明重光照处理单元114的结构和操作。根据本典型实施例的重光照处理是指用于向拍摄图像添加由虚拟光源照射的效果的处理。根据本典型实施例的重光照处理在图像拍摄时进行，例如，用户在图像拍摄之前通过用户操作来设置是否进行重光照处理。当然，可以要求用户确认在各图像拍摄时是否进行重光照处理，或者用户可以在任何期望的定时对已拍摄并记录的图像进行重光照处理。
在用户通过用户操作设置成进行重光照处理的情况下，将从图像处理单元105输出的数据输入至用于通过使用虚拟光源来进行重光照处理的重光照处理单元114。即使在重光照处理中也可以选择多个模式。根据本典型实施例，可以选择“整体光照(EntireLighting)模式”、“小脸光照(Small Face Lighting)模式”和“眼神光(catch light)模式”。以下将说明这些模式。
图3是示出重光照处理单元114的结构的框图。
参考图3，重光照处理单元114包括用于将所输入的亮度和色差信号(Y,B-Y,R-Y)转换成RGB信号的RGB信号转换单元301，并且包括用于进行去伽马(degamma)处理的去伽马处理单元302。重光照处理单元114还包括用于将输入图像乘以增益的增益处理单元303，并且包括用于通过虚拟光源来添加重光照信号的虚拟光源添加单元304。重光照处理单元114还包括用于将伽马特性应用于RGB信号的伽马处理单元305，并且包括用于将RGB信号转换成亮度和色差信号(Y,B-Y,R-Y)的亮度和色差信号转换单元306。
重光照处理单元114还包括用于基于从上述的测距传感器124输出的被摄体距离信息来生成距离图的传感器距离图生成单元307，并且包括用于基于特征点(例如，被摄体的脸部坐标)来生成距离图的特征点距离图生成单元308。这样，根据本典型实施例的数字照相机100可以生成表示被摄体信息的两个不同图(map)。可以通过开关309选择要使用的两个不同图中的任一个。开关309可以是物理开关、电气开关、或者通过程序在内部改变标志所利用的逻辑开关。重光照处理单元114还包括用于基于距离图来计算(相对于被摄体面的)法线的法线计算单元310，并且包括用于计算由被摄体反射的虚拟光源的光的分量的虚拟光源反射分量计算单元311。
以下将说明如上所述配置成的重光照处理单元114的操作。
重光照处理单元114读取并输入图像存储器106中所记录的亮度和色差信号(Y,B-Y,R-Y)。
RGB信号转换单元301将所输入的亮度和色差信号(Y,B-Y,R-Y)转换成RGB信号，并且将这些RGB信号输出至去伽马处理单元302。
去伽马处理单元302计算图像处理单元105的亮度伽马处理单元204和颜色伽马处理单元206所应用的伽马特性的逆特性，以将RGB信号转换成线性数据。去伽马处理单元302将经过了线性转换的RGB信号(Rt,Gt,Bt)输出至虚拟光源反射分量计算单元311和增益处理单元303。
以下将说明传感器距离图生成单元307的图生成。传感器距离图生成单元307在从测距传感器124(参见图1)输出的被摄体距离信息中去除噪声，并且生成传感器距离图。在图4的(A)～(C)中示出传感器距离图的示例。图4的(A)～(C)示出距离图的示例。参见图4的(A)～(C)，图4的(A)示出拍摄图像。图4的(B)示出传感器距离图生成单元307所生成的传感器距离图的示例。参考该距离图，更高的亮度(图4的(B)中的近似白色)对应于更靠近照相机侧的被摄体区域。距离图表示被摄体图像中的空间位置(在将xy坐标放置在摄像面中的情况下的坐标位置、以及从摄像面到被摄体的距离)以及被摄体形状。
除了生成传感器距离图之外，传感器距离图生成单元307还计算传感器距离图的可靠性。该可靠性是表示传感器距离图的可能性的值。可以通过使用已知方法(例如，基于所生成的距离图的噪声量、该图中所包括的斑点(spot)的数量和该图的大小)来综合地计算可靠性。斑点是指未获取到视差量的区域，并且在拍摄平坦被摄体的情况下有可能发生。在被摄体包含类似的图像图案的情况下，有可能发生噪音。
以下将说明特征点距离图生成单元308的图生成。特征点距离图生成单元308基于脸部检测单元113所检测到的脸部、眼睛和嘴的位置来生成特征点距离图。更具体地，特征点距离图生成单元308进行脸部检测，并且基于被摄体的眼睛和嘴之间的位置关系来估计被摄体大小。然后，特征点距离图生成单元308根据被摄体大小来放大或缩小预先存储的典型人体模型的轮廓图像(silhouette image)，然后将该图像放在适当的位置以生成特征点距离图。在图4的(C)中示出特征点距离图的示例。图4的(C)示出大小和位置被调整成被摄体的脸部位置401的轮廓402。尽管轮廓402的形状在细节上不同于被摄体的原始形状，但轮廓402在形状上与轮廓401大致相似。轮廓402具有既不存在噪声也不存在斑点的特征。根据本典型实施例，将轮廓部分的距离设置为最前面，并且将其它部分的距离设置为最后面。可以通过根据被摄体大小改变典型脸部模型的预先存储的距离图的形状来生成特征点距离图。可应用的脸部模型距离图的示例包括鼻子部分最近的图，并且该距离随着相对于鼻子的水平距离的增加而逐渐增加。
如上所述，传感器距离图提供高精度的距离，但有可能受到斑点和噪声的影响。另一方面，特征点距离图无法提供高精度的距离，但不太可能受到斑点和噪声的影响。例如，传感器距离图如上所述是通过计算视差图像的相关性所生成的，因此通常需要高的计算成本。另一方面，特征点距离图采用预先存储的模型，因此通常需要比传感器距离图低的计算成本。如上所述，两个不同的图具有不同的特征。
开关309在传感器距离图和特征点距离图之间切换要使用的图。以下将说明用于判断切换的处理流程。
法线计算单元310基于距离图来计算法线图。作为用于基于距离图来生成法线图的方法，使用已知的技术。以下将参考图5来说明方法的示例。图5示出照相机摄像坐标和被摄体之间的关系。例如，对于图5所示的特定被摄体501，通过基于距离(深度)D的差ΔD相对于拍摄图像的水平方向上的差ΔH的比来计算斜率信息，从而可以基于该斜率信息计算出法线N。对各拍摄像素进行上述处理使得能够计算与拍摄图像的各像素相对应的法线信息N。法线计算单元310将与拍摄图像的各像素相对应的法线信息作为法线图输出至虚拟光源反射分量计算单元311。
虚拟光源反射分量计算单元311基于光源和被摄体之间的距离K、法线信息N以及(在以下要说明的处理流程中确定的)虚拟光源参数，来计算由被摄体反射的所安装的虚拟光源的光的分量。
更具体地，虚拟光源反射分量计算单元311计算与拍摄图像相对应的坐标位置处的反射分量，使得反射分量与光源和被摄体之间的距离K的平方成反比，并且与被摄体的法向矢量N和光源的方向矢量L的内积成比例。
以下将参考图5来说明该计算。图5示出被摄体501和所设置的虚拟光源的位置502。照相机100所拍摄到的拍摄图像的水平像素位置H1(为了简化说明，将省略对垂直像素位置的说明)处的反射分量与照相机坐标H1处的被摄体的法线N1和虚拟光源的方向矢量L1的内积成比例，并且与虚拟光源和被摄体位置之间的距离K1成反比。
在通过数值表达式表现该关系的情况下，如下获得虚拟光源中的被摄体的反射分量(Ra,Ga,Ba)：
Ra＝α*(-L·N)/K^2*Rw*Rt，
Ga＝α*(-L·N)/K^2*1*Gt，以及
Ba＝α*(-L·N)/K^2*Bw*Bt。
α表示虚拟光源的强度，L表示虚拟光源的三维方向矢量，N表示被摄体的三维法向矢量，并且R表示虚拟光源和被摄体之间的距离。Rt、Gt和Bt是从去伽马处理单元302输出的摄像RGB数据。Rw和Bw是用于控制虚拟光源的颜色的参数。如上所述所计算出的虚拟光源的反射分量(Ra,Ga,Ba)被输出至虚拟光源添加单元304。
另一方面，如通过以下公式所示，增益处理单元303将所输入的线性信号(Rt,Gt,Bt)乘以增益1/S：
Rg＝Rt/S，
Gg＝Gt/S，以及
Bg＝Bt/S。
S大于1(S>1)，并且1/S表示用于降低输入信号的亮度的增益。
虚拟光源添加单元304进行用于将虚拟光源分量(Ra,Ga,Ba)添加到被摄体区域的以下处理：
Rout＝Rg+Ra，
Gout＝Gg+Ga，以及
Bout＝Bg+Ba。
从虚拟光源添加单元304输出的图像信号(Rout,Gout,Bout)被输入至伽马处理单元305。伽马处理单元305对RGB的输入信号进行伽马校正。亮度和色差信号转换单元306基于RGB信号来生成Y亮度信号以及R-Y色差信号和B-Y色差信号。
这样完成了对重光照处理单元114的操作的说明。
系统控制单元50控制存储器控制单元107以将重光照补偿单元114所输出的亮度和色差信号累积在图像存储器106中，控制编解码单元110以进行压缩编码，并且将这些信号经由记录I/F 111记录在记录介质112中。
以下将说明系统控制单元50所进行的用于控制距离图生成的处理流程。
在重光照处理之前，系统控制单元50接收操作单元120上的用户操作并且设置重光照模式。如上所述，根据本典型实施例的数字照相机100具有整体光照模式、小脸光照模式和眼神光模式。用户通过操作单元120上的菜单操作来选择上述三个重光照模式中的任一个。这些模式在重光照处理中需要不同的参数。更具体地，根据所选择的重光照模式来确定通过重光照在被摄体上生成的高光和阴影状况。这意味着还针对重光照模式选择来设置重光照参数中的至少一部分。
图6A、6B和6C示出在三个重光照模式中生成的高光和阴影状况的示例。
图6A示出整体重光照模式中的重光照的示例。整体重光照模式添加用虚拟光整体照射被摄体的效果。因此，不仅对特定被摄体而且还对背景进行重光照。
图6B示出小脸光照模式中的重光照的示例。小脸光照模式通过从上方用光照射被摄体以向脸部线条应用略强的阴影，来添加小脸的效果。
图6C示出眼神光模式中的重光照的示例。眼神光模式通过以被摄体的脸部(特别是眼睛)为中心用虚拟光照射被摄体来在眼睛的虹膜中应用眼神光。
这些重光照模式被大致分类成用于添加用虚拟光整体照射被摄体的效果的整体光照模式、以及用于添加用光部分地照射被摄体的效果的局部光照模式。
在设置了任一重光照模式的情况下，系统控制单元50根据所设置的重光照模式来确定重光照参数以实现虚拟光照。在整体光照模式中，用具有以漫反射为中心的特性的光整体照射被摄体。
在小脸光照模式中，在略微降低图3所示的增益处理单元303的拍摄图像的增益的同时，从斜上方以脸部为中心用点状光部分地照射被摄体。因此，脸部线条变得略暗，而脸部的中心变亮，从而特征性地给人带来小脸的印象。
在眼神光模式中，在进行控制以增加镜面反射分量的增益的情况下，从斜下方以眼睛为中心用点状光照射被摄体。这样在眼睛区域中生成眼神光。
以下将参考图7所示的流程图来说明利用系统控制单元50的用于生成距离图的控制流程。
参考图7，在步骤S701中，系统控制单元50读取与如上所述设置的重光照模式有关的信息。
在步骤S702中，系统控制单元50判断所读取的重光照模式是整体照射被摄体的整体光照模式还是部分地照射被摄体的局部光照模式。在所读取的重光照模式是局部光照模式的情况下(步骤S702中为“是”)，处理进入步骤S705。另一方面，在所读取的重光照模式是整体光照模式的情况下(步骤S702中为“否”)，处理进入步骤S703。
在步骤S703中，系统控制单元50进行控制以使(图3所示的)传感器距离图生成单元307工作。
在步骤S704中，系统控制单元50获取传感器距离图生成单元307所输出的传感器距离图的可靠性，并且判断传感器距离图的可靠性是否高于预定阈值。如上所述，传感器距离图生成单元307将传感器距离图的可靠性连同传感器距离图一起输出。例如，在传感器距离图的可靠性因大量噪声等的因素而降低的情况下(步骤S704中为“否”)，处理进入步骤S705。另一方面，在可靠性高于阈值的情况下(步骤S704中为“是”)，处理进入步骤S707。
在步骤S705中，系统控制单元50进行控制以使(图3所示的)特征点距离图生成单元308工作。
在步骤S706中，系统控制单元50改变(图3所示的)开关309以设置成使用特征点距离图。
在步骤S707中，系统控制单元50改变(图3所示的)开关309以设置成使用传感器距离图。
这样完成了对利用系统控制单元50的用于生成距离图的控制流程的说明。
如上所述，根据本典型实施例的数字照相机100被配置为生成具有不同的生成参数的两个不同的距离图，并且基于重光照模式来切换生成方法。这使得可以减少误差，以低计算成本生成距离信息，并且通过使用虚拟光源来获得期望的光照效果。
根据本典型实施例，特别地，整体光照模式优先使用传感器距离图。这是因为，在整体光照模式中，由于不仅向主被摄体而且还向背景添加虚拟光的效果，因此使用与整体图像有关的距离信息(图像中的被摄体之间的深度方向上的位置关系)使得能够实现更适合的重光照。另一方面，局部光照模式优先使用特征点距离图。这是因为，在局部光照模式中，例如，仅需向主要被摄体添加虚拟光的效果。
其它实施例
尽管根据上述典型实施例的数字照相机100被配置为在用虚拟光部分地照射被摄体的模式和用虚拟光整体照射被摄体的模式之间切换要生成的距离图，但本典型实施例不限于此，只要基于虚拟光源的参数来改变距离图即可。虚拟光源的参数的示例包括从被摄体到虚拟光源的距离、以及虚拟光源的方向、照射角度和强度。系统控制单元50基于这些参数来识别照射范围。系统控制单元50可以进行控制，以在照射范围是被摄体的局部的情况下选择特征点距离图，或者在照射范围覆盖被摄体整体的情况下选择传感器距离图。
在上述典型实施例中，尽管生成两个不同的距离图(传感器距离图和特征点距离图)，但用于生成距离图的方法不限于此。任何结构均是适用的，只要基于重光照参数来切换要采用的距离图即可。例如，根据本典型实施例的数字照相机100可被配置为代替传感器距离图，通过使用多视点图像的视差来生成视差距离图，并且在视差距离图和特征点距离图之间切换要生成的距离图。
在上述典型实施例中，尽管存在三个不同的重光照模式(“整体光照模式”、“小脸光照模式”和“眼神光模式”)，但重光照模式不限于此。任何重光照模式均是适用的，只要根据当前的重光照模式来切换要生成的距离图即可。
在上述典型实施例中，尽管重光照模式是用于确定虚拟光源的照射特性的模式，但重光照模式可以是用于确定进行重光照的定时的模式。例如，重光照模式可以包括第一模式和第二模式。在第一模式中，紧接在图像拍摄之后自动进行重光照处理。在第二模式中，在图像拍摄之后读取诸如存储卡等的记录介质中所记录的拍摄图像，并且基于用户操作来进行重光照处理。在这种情况下，数字照相机100可以在第一模式中使用特征点距离图并且在第二模式中使用传感器距离图。原因如下。在第一模式中，紧接在拍摄图像之后，需要显示经过了重光照处理的图像。因此，可能期望使用需要低计算成本的特征点距离图。另一方面，在第二模式中，用户有足够的时间来调整重光照效果。因此，可能期望使用传感器距离图，以可以精细地调整重光照效果。在传感器距离图中可能存在斑点和噪声。因此，即使在第二模式中，在传感器距离图的可靠性低于预定值的情况下，也可以使用特征点距离图。可选地，可以通过与特征点距离图有关的信息来对与传感器距离图有关的信息(例如，斑点和噪声区域)进行插值。可以基于斑点的大小和噪声的大小来评价传感器距离图的可靠性。
在上述的第一模式中，根据上述典型实施例，可以在重光照处理之前基于虚拟光源的参数来选择距离图。在第二模式中，可以使用传感器距离图。如果一起记录拍摄图像和视差信息，则数字照相机100即使在图像拍摄之后也可以生成特征点距离图。因此，在之后进行重光照处理时，将不会缺少与距离图有关的信息。
尽管根据上述典型实施例的数字照相机100被配置为切换用于生成距离图的方法，但数字照相机100不仅可被配置为切换方法，而且也可被配置为组合通过多个方法所生成的距离图。在这种情况下，可以通过重光照模式参数来确定根据各距离图的优先级的组合比率。
不论数字照相机100是切换距离图还是组合距离图，数字照相机100都将确定要使通过哪个方法所生成的距离图优先。
尽管根据上述典型实施例的重光照处理添加了使图像变明亮的效果，但可以添加使图像变暗的效果。例如，在重光照处理中，可以应用负增益以降低被摄体区域中的过亮部分(例如，脸部光泽)的亮度。
一些实施例无需用数字照相机100体现。例如，可以将数字照相机100所拍摄到的图像可以发送至诸如个人计算机、智能电话和平板电脑等的具有图像处理功能的外部设备，并且外部设备可以进行重光照处理。假定这种情况下的用于生成距离图的处理可以由数字照相机100和外部设备适当分担。
一些实施例也通过进行以下处理来实现。更具体地，将用于实现上述典型实施例的功能的软件(程序)经由网络或各种类型的存储介质供给至系统或设备，并且该系统或设备的计算机(或CPU或微处理单元(MPU))读取并执行该程序。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (16)

1.一种图像处理设备，用于进行用于向图像添加虚拟光的效果的重光照处理，所述图像处理设备包括：
多个获取单元，其被配置为获取与所述图像中包括的被摄体有关的距离分布信息，
其中，所述多个获取单元包括：
第一获取单元，其被配置为基于与所述图像有关的视差信息，来获取与所述图像中包括的被摄体有关的距离分布信息，以及
第二获取单元，其被配置为基于所述图像的与所述视差信息不同的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息；
确定单元，其被配置为在所述多个获取单元中确定出获取要用于进行所述重光照处理的距离分布信息的获取单元，以及
设置单元，其被配置为设置所述重光照处理的模式，
其中，基于所述设置单元所设置的模式，所述确定单元确定所述获取单元，以优先使用所获取到的要用于进行所述重光照处理的距离分布信息，以及
其中，所述模式包括第一模式和第二模式，所述第一模式用于在图像拍摄之后自动进行所述重光照处理，以及所述第二模式用于基于用户操作来对记录介质中所记录的拍摄图像进行所述重光照处理。
2.根据权利要求1所述的图像处理设备，其中，在所述第一模式中，所述确定单元优先使用所述第二获取单元所获取到的距离分布信息，以及在所述第二模式中，所述确定单元优先使用所述第一获取单元所获取到的距离分布信息。
3.根据权利要求2所述的图像处理设备，还包括第三获取单元，所述第三获取单元被配置为获取所述第一获取单元所获取到的距离分布信息的可靠性，其中，在所述第二模式中所述第三获取单元所获取到的可靠性低于预定值的情况下，所述确定单元使用所述第二获取单元所获取到的距离分布信息。
4.根据权利要求1所述的图像处理设备，其中，所述第二获取单元基于所述图像中的脸部区域的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息。
5.根据权利要求1所述的图像处理设备，其中，所述第二获取单元获取仅针对所述图像中的脸部区域的距离分布信息。
6.一种图像处理设备，用于进行用于向图像添加虚拟光的效果的重光照处理，所述图像处理设备包括：
多个获取单元，其被配置为获取与所述图像中包括的被摄体有关的距离分布信息，
其中，所述多个获取单元包括：
第一获取单元，其被配置为基于与所述图像有关的视差信息，来获取与所述图像中包括的被摄体有关的距离分布信息，以及
第二获取单元，其被配置为基于所述图像的与所述视差信息不同的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息；
确定单元，其被配置为在所述多个获取单元中确定出获取要用于进行所述重光照处理的距离分布信息的获取单元，以及
设置单元，其被配置为设置所述重光照处理的模式，
其中，基于所述设置单元所设置的模式，所述确定单元确定所述获取单元，以优先使用所获取到的要用于进行所述重光照处理的距离分布信息，以及
其中，所述模式包括第三模式和第四模式，所述第三模式用于对所述图像整体进行所述重光照处理，以及所述第四模式用于对所述图像的特定区域进行所述重光照处理并且不对所述图像整体进行所述重光照处理。
7.根据权利要求6所述的图像处理设备，其中，在所述第三模式中，所述确定单元优先使用所述第一获取单元所获取到的距离分布信息，以及在所述第四模式中，所述确定单元优先使用所述第二获取单元所获取到的距离分布信息。
8.根据权利要求6所述的图像处理设备，其中，所述第二获取单元基于所述图像中的脸部区域的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息。
9.根据权利要求6所述的图像处理设备，其中，所述第二获取单元获取仅针对所述图像中的脸部区域的距离分布信息。
10.一种图像处理设备，用于进行用于向图像添加虚拟光的效果的重光照处理，所述图像处理设备包括：
多个获取单元，其被配置为获取与所述图像中包括的被摄体有关的距离分布信息，
其中，所述多个获取单元包括：
第一获取单元，其被配置为基于与所述图像有关的视差信息，来获取与所述图像中包括的被摄体有关的距离分布信息，以及
第二获取单元，其被配置为基于所述图像的与所述视差信息不同的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息；
确定单元，其被配置为在所述多个获取单元中确定出获取要用于进行所述重光照处理的距离分布信息的获取单元，以及
设置单元，其被配置为设置所述重光照处理的模式，
其中，基于所述设置单元所设置的模式，所述确定单元确定所述获取单元，以优先使用所获取到的要用于进行所述重光照处理的距离分布信息，以及
其中，所述模式包括第五模式和第六模式，所述第五模式用于对特定被摄体区域和特定被摄体的背景区域进行所述重光照处理，以及所述第六模式用于对所述特定被摄体区域进行所述重光照处理并且不对所述特定被摄体的背景区域进行所述重光照处理。
11.根据权利要求10所述的图像处理设备，其中，在所述第五模式中，所述确定单元优先使用所述第一获取单元所获取到的距离分布信息，以及在所述第六模式中，所述确定单元优先使用所述第二获取单元所获取到的距离分布信息。
12.根据权利要求10所述的图像处理设备，其中，所述第二获取单元基于所述图像中的脸部区域的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息。
13.根据权利要求10所述的图像处理设备，其中，所述第二获取单元获取仅针对所述图像中的脸部区域的距离分布信息。
14.一种图像处理设备的控制方法，所述图像处理设备用于进行用于向图像添加虚拟光的效果的重光照处理，所述控制方法包括：
通过使用多个获取方法至少之一来获取与所述图像中包括的被摄体有关的距离分布信息，
其中，所述多个获取方法包括：
第一获取方法，其被配置为基于与所述图像有关的视差信息，来获取与所述图像中包括的被摄体有关的距离分布信息，以及
第二获取方法，其被配置为基于所述图像的与所述视差信息不同的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息；
在所述多个获取方法中确定出获取要用于进行所述重光照处理的距离分布信息的获取方法，以及
设置所述重光照处理的模式，
其中，基于所设置的模式确定所述获取方法，以优先使用所获取到的要用于进行所述重光照处理的距离分布信息，以及
其中，所述模式包括第一模式和第二模式，所述第一模式用于在图像拍摄之后自动进行所述重光照处理，以及所述第二模式用于基于用户操作来对记录介质中所记录的拍摄图像进行所述重光照处理。
15.一种图像处理设备的控制方法，所述图像处理设备用于进行用于向图像添加虚拟光的效果的重光照处理，所述控制方法包括：
通过使用多个获取方法至少之一来获取与所述图像中包括的被摄体有关的距离分布信息，
其中，所述多个获取方法包括：
第一获取方法，其被配置为基于与所述图像有关的视差信息，来获取与所述图像中包括的被摄体有关的距离分布信息，以及
第二获取方法，其被配置为基于所述图像的与所述视差信息不同的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息；
在所述多个获取方法中确定出获取要用于进行所述重光照处理的距离分布信息的获取方法，以及
设置所述重光照处理的模式，
其中，基于所设置的模式确定所述获取方法，以优先使用所获取到的要用于进行所述重光照处理的距离分布信息，以及
其中，所述模式包括第三模式和第四模式，所述第三模式用于对所述图像整体进行所述重光照处理，以及所述第四模式用于对所述图像的特定区域进行所述重光照处理并且不对所述图像整体进行所述重光照处理。
16.一种图像处理设备的控制方法，所述图像处理设备用于进行用于向图像添加虚拟光的效果的重光照处理，所述控制方法包括：
通过使用多个获取方法至少之一来获取与所述图像中包括的被摄体有关的距离分布信息，
其中，所述多个获取方法包括：
第一获取方法，其被配置为基于与所述图像有关的视差信息，来获取与所述图像中包括的被摄体有关的距离分布信息，以及
第二获取方法，其被配置为基于所述图像的与所述视差信息不同的特征量，来获取与所述图像中包括的被摄体有关的距离分布信息；
在所述多个获取方法中确定出获取要用于进行所述重光照处理的距离分布信息的获取方法，以及
设置所述重光照处理的模式，
其中，基于所设置的模式确定所述获取方法，以优先使用所获取到的要用于进行所述重光照处理的距离分布信息，以及
其中，所述模式包括第五模式和第六模式，所述第五模式用于对特定被摄体区域和特定被摄体的背景区域进行所述重光照处理，以及所述第六模式用于对所述特定被摄体区域进行所述重光照处理并且不对所述特定被摄体的背景区域进行所述重光照处理。
CN201910249202.2A 2018-03-30 2019-03-29 图像处理设备及其控制方法 Active CN110324529B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018069289A JP7059076B2 (ja) 2018-03-30 2018-03-30 画像処理装置、その制御方法、プログラム、記録媒体
JP2018-069289 2018-03-30

Publications (2)

Publication Number Publication Date
CN110324529A CN110324529A (zh) 2019-10-11
CN110324529B true CN110324529B (zh) 2021-10-26

Family

ID=68057105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910249202.2A Active CN110324529B (zh) 2018-03-30 2019-03-29 图像处理设备及其控制方法

Country Status (3)

Country Link
US (1) US10977777B2 (zh)
JP (1) JP7059076B2 (zh)
CN (1) CN110324529B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361511B2 (en) * 2019-01-24 2022-06-14 Htc Corporation Method, mixed reality system and recording medium for detecting real-world light source in mixed reality
JP7446080B2 (ja) 2019-10-15 2024-03-08 キヤノン株式会社 画像処理装置、撮像装置、制御方法、プログラム及び撮像システム
CN113141518B (zh) * 2021-04-20 2022-09-06 北京安博盛赢教育科技有限责任公司 直播课堂中视频帧图像的控制方法、控制装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954697A (zh) * 2014-03-31 2015-09-30 佳能株式会社 图像处理装置及图像处理方法
CN106256122A (zh) * 2014-04-30 2016-12-21 索尼公司 图像处理设备和图像处理方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5631125B2 (ja) * 2010-09-01 2014-11-26 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
JP5150698B2 (ja) 2010-09-30 2013-02-20 株式会社東芝 デプス補正装置及び方法
JP2013080544A (ja) 2011-10-05 2013-05-02 Fujifilm Corp 露光システムおよび露光方法
JP5307953B1 (ja) * 2011-11-30 2013-10-02 パナソニック株式会社 立体画像処理装置、立体画像処理方法、および立体画像処理プログラム
US9113235B2 (en) * 2012-11-14 2015-08-18 Symbol Technologies, Llc Device and method for functionality sequencing
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
JP6192306B2 (ja) * 2013-02-14 2017-09-06 オリンパス株式会社 撮像装置、管理サーバ、画像送信方法およびプログラム
CN103345109B (zh) * 2013-07-02 2016-01-27 南昌欧菲光电技术有限公司 支架结构及具有该支架结构的摄像模组
JP6674192B2 (ja) * 2014-05-28 2020-04-01 ソニー株式会社 画像処理装置と画像処理方法
JP6381404B2 (ja) * 2014-10-23 2018-08-29 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP6463177B2 (ja) * 2015-03-11 2019-01-30 キヤノン株式会社 画像処理装置およびその制御方法
JP6552266B2 (ja) * 2015-05-20 2019-07-31 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6576083B2 (ja) * 2015-04-15 2019-09-18 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6727816B2 (ja) 2016-01-19 2020-07-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP2017130106A (ja) * 2016-01-21 2017-07-27 キヤノン株式会社 データ処理装置、撮像装置、およびデータ処理方法
JP6786225B2 (ja) * 2016-02-23 2020-11-18 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
WO2017159312A1 (ja) * 2016-03-15 2017-09-21 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
WO2017180615A1 (en) * 2016-04-12 2017-10-19 Quidient, Llc Quotidian scene reconstruction engine

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104954697A (zh) * 2014-03-31 2015-09-30 佳能株式会社 图像处理装置及图像处理方法
CN106256122A (zh) * 2014-04-30 2016-12-21 索尼公司 图像处理设备和图像处理方法

Also Published As

Publication number Publication date
JP2019179463A (ja) 2019-10-17
CN110324529A (zh) 2019-10-11
JP7059076B2 (ja) 2022-04-25
US10977777B2 (en) 2021-04-13
US20190304071A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
JP5743696B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6049343B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6381404B2 (ja) 画像処理装置及び方法、及び撮像装置
JP6083974B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN110324529B (zh) 图像处理设备及其控制方法
JP7129520B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6412386B2 (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
US20210360214A1 (en) Image processing apparatus, image processing method, and storage medium
US9894339B2 (en) Image processing apparatus, image processing method and program
JP5854716B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6570311B2 (ja) 画像処理装置及び画像処理方法
JP2018107741A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2017138927A (ja) 画像処理装置、撮像装置およびそれらの制御方法、それらのプログラム
US11595572B2 (en) Image processing apparatus, image capturing apparatus, control method, and storage medium
JP5943682B2 (ja) 撮像装置、その制御方法及びプログラム
JP7462464B2 (ja) 画像処理装置および方法、プログラム、記憶媒体
JP6616674B2 (ja) 画像処理装置および方法、および撮像装置
JP2017034536A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2021087125A (ja) 画像処理装置、その制御装置、プログラム
JP6021885B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2019003694A (ja) 画像処理装置およびその制御方法、ならびにプログラム
JP2018151766A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018201089A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant