CN109495693A - 摄像设备和方法、图像处理设备和方法、以及存储介质 - Google Patents

摄像设备和方法、图像处理设备和方法、以及存储介质 Download PDF

Info

Publication number
CN109495693A
CN109495693A CN201811042660.0A CN201811042660A CN109495693A CN 109495693 A CN109495693 A CN 109495693A CN 201811042660 A CN201811042660 A CN 201811042660A CN 109495693 A CN109495693 A CN 109495693A
Authority
CN
China
Prior art keywords
region
image
information
image processing
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811042660.0A
Other languages
English (en)
Inventor
小野光洋
浦野萌美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018095659A external-priority patent/JP2019050551A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN109495693A publication Critical patent/CN109495693A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种摄像设备和方法、图像处理设备和方法、以及存储介质。当用户针对通过宽动态范围(WDR)摄像获取到的合成图像指定用于设置曝光的区域(测光区域)时，用户期望的设置可能是困难的。当对多个图像进行合成并将这多个图像作为合成图像输出时，摄像设备将表示该合成图像中的具有彼此不同的输入和输出特性的多个区域的信息连同该合成图像一起获取，允许用户基于所获取到的信息来设置检测区域，基于该设置来获取曝光参数，并执行摄像操作。

Description

摄像设备和方法、图像处理设备和方法、以及存储介质
技术领域
本发明涉及用于调整通过对多个图像进行合成所获取到的拍摄图像的摄像参数(曝光)的技术。
背景技术
近年来，已经广泛使用包括网络照相机的监视系统。该网络照相机已被用作安装在诸如大型公共设施和大规模零售商等的广泛领域的监视照相机。因此，针对具有大照度差的环境(诸如包括室内和室外这两者的环境等)和具有不同照明条件的环境,存在扩大其动态范围的需求。在日本专利3546853中讨论了用于通过对在不同曝光条件下拍摄的多个图像进行合成来扩大动态范围的技术(在下文中，称为宽动态范围(WDR)摄像)。
另一方面，存在具有用于基于通过摄像操作获取的图像数据自动确定曝光的自动曝光控制功能的摄像设备。例如，作为用于执行自动曝光控制的测光方法，存在用于将整个画面的像素的亮度信息作为测光信息进行控制的测光方法，以及用于将画面中的测光区域分割为多个块、并执行对各块的测光的多分割测光方法。此外，作为另一种测光方法，存在通过将重点置于画面的中央部来执行测光的中央重点测光方法，以及仅对画面的中央部的任意范围执行测光的斑点(spot)测光方法。
在日本特开平8-279958中讨论的技术中，指定主被摄体并检测指定区域的曝光状态，根据检测到的信号来控制曝光状态，并且在控制曝光状态的范围受限的情况下对应用图像校正的范围进行限制。
然而，在通过WDR摄像所获取到的合成图像中，当用户指定用于设置曝光的区域(测光区域)时，用户可能难以设置期望的曝光。
发明内容
根据本发明的方面，一种摄像设备，包括：摄像单元，其被配置为拍摄图像；合成单元，其被配置为对多个图像进行合成，并且输出合成图像；通知单元，其被配置为向图像处理设备通知表示合成图像中的具有彼此不同的输入和输出特性的多个区域的第一信息；以及接收单元，其被配置为从所述图像处理设备接收表示检测区域的第二信息，其中，所述摄像单元，还被配置为基于所接收到的所述第二信息表示的检测区域来设置曝光值。
根据本发明的方面，一种图像处理设备，包括：获取单元，其被配置为从摄像设备获取图像和表示所述图像的具有彼此不同的输入和输出特性的多个区域的第一信息；显示单元，其被配置为显示所述获取单元所获取到的所述图像以及所述多个区域；以及接受单元，其被配置为接收对所述显示单元所显示的图像的要设置所述摄像设备的曝光值的区域的指定。
根据本发明的方面，一种摄像设备所执行的摄像方法，所述摄像设备用于拍摄图像，所述摄像方法包括：拍摄图像；对多个图像进行合成，并且输出合成图像；向图像处理设备通知表示合成图像的具有彼此不同的输入和输出特性的多个区域的第一信息；以及从所述图像处理设备接收表示检测区域的第二信息，其中，基于由所接收到的所述第二信息表示的检测区域来设置曝光值。
根据本发明的方面，一种图像处理方法，包括：从摄像设备获取图像和表示所述图像的具有彼此不同的输入和输出特性的多个区域的第一信息；显示所获取到的图像以及所获取到的具有彼此不同的输入和输出特性的多个区域；以及接受对所述图像的要设置所述摄像设备的曝光值的区域的指定。
根据本发明的方面，一种非暂时性计算机可读存储介质，其包括指令，在计算机执行所述指令时，使所述计算机执行上述图像处理方法。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示意性示出网络照相机系统的结构的框图。
图2是示意性示出照相机的结构的框图。
图3是示意性示出客户端的结构的框图。
图4是详细示出图像处理单元的结构的框图。
图5是示出图像处理单元所执行的处理的概要的流程图。
图6是示意性示出显示画面的图。
图7是示意性示出亮度直方图的图。
图8是示意性示出输入和输出特性的伽马曲线的图。
图9是示意性示出分布图的图。
图10是示意性示出图像合成比的图。
图11A、11B和11C是分别示意性示出用户已选择区域的状态的图、示意性示出分布图信息的图、以及示意性示出基于用户选择和分布图信息而提供给用户的区域的图。
图12A、12B和12C是示意性示出WDR摄像的帧的图。
图13A、13B和13C是示意性示出校正后的分布图信息的图。
图14A、14B、14C和14D是分别示意性示出高曝光值(EV)帧、低EV帧、在执行各种处理之后的高EV帧、以及合成后的帧的图。
图15是示意性示出网络照相机系统所执行的处理的流程图。
图16A、16B、16C和16D是示意性示出鱼眼图像和分布图之间的对应关系的图。
图17是示出用于处理鱼眼图像的图像处理单元的细节的框图。
具体实施方式
首先，将参考图12A、12B和12C来描述在用户指定在宽动态范围(WDR)摄像中所拍摄的合成图像的曝光测光区域的情况下设置用户期望的曝光时出现的困难。这里，WDR摄像是指通过拍摄并对多个图像进行合成来获取具有宽动态范围的图像的处理。
图12A至12C是示出通过WDR摄像拍摄具有窗户的房间的场景的状态的图。在该场景中，窗户外部比房间内部亮。图12A是以适合于亮被摄体的曝光值拍摄的帧(高曝光值(EV)帧)。由于以比包括房间内部的区域1202更接近正确曝光值的曝光值拍摄示出包括了亮外部的窗户的区域1201，因此窗户的外部被亮地拍摄，而房间的内部被暗地拍摄。另一方面，图12B是以适合于暗被摄体的曝光拍摄的帧(低EV帧)。因此，包括窗户外部的区域1201被过度曝光，并且以接近正确曝光值的曝光值拍摄包括房间内部的区域1202。
图12C示出通过将两个帧合成以具有扩大的动态范围而获得的合成帧。包括窗户外部的区域1201和包括房间内部的区域1202这两者都具有更接近正确曝光值的曝光值。用于对两个帧进行合成以扩大动态范围的图12A和12B的原始帧通常不提供给用户，并且用户可能仅通过查看图12C的合成帧来进行用于对图像进行进一步调整的操作。很可能拍摄图12A和12B的帧以使得能够理解仅视野的一部分的内容，并且向用户提供这些帧的意义不大。
然而，在图12C中，如果用户指定矩形1203作为用于指定曝光测光区域的主被摄体，则矩形1203横跨亮区域1201和暗区域1202。因此，即使在合成图像上使用矩形1203来简单地指定曝光检测位置，也难以知道用户想要指定亮区域1201和暗区域1202之间的哪个区域作为曝光测光区域。对于用户而言，难以知道执行不同图像调整的区域之间的边界。
在下文中，将参考附图来详细描述本发明的典型实施例。
在下文中，将参考附图来描述第一典型实施例。这里，将描述网络照相机作为本发明的一个典型实施例。
图1是示意性示出作为根据第一典型实施例的图像处理系统中的网络照相机的结构的示例的图。如图1所示，网络照相机系统100包括作为摄像设备的网络照相机(在下文中，称为照相机)110，查看者客户端(在下文中，称为客户端)120和网络130。照相机110和客户端120通过网络130而可通信地彼此连接。注意，摄像设备不限于网络照相机，并且还可以是具有摄像功能的另一类型的便携式设备，诸如数字单镜头反光照相机、无反光镜单镜头照相机、紧凑型数字照相机、便携式摄像机、平板终端、个人手持电话系统(PHS)、智能手机、功能手机和手持式游戏机等。
照相机110经由网络130分发包括拍摄图像的图像数据。客户端120访问照相机110以执行摄像参数设置和分发设置，以获取期望的图像数据。然后，客户端120处理从照相机110分发的图像数据，存储分发的图像数据，并处理所存储的图像数据以基于处理后的图像数据来显示图像。
网络130可通信地连接照相机110和客户端120，并包括满足诸如Ethernet等的通信标准的多个路由器、交换机和电缆。在本典型实施例中，只要照相机110和客户端120可以无问题地彼此通信以经由网络130分发图像并执行照相机设置，则网络130可以具有任何通信标准、规模和配置。因此，任何通信方法(例如因特网、有线局域网(LAN)或无线LAN)可以用作网络130。
图2是示出根据本典型实施例的照相机110的结构的框图。摄像光学系统201包括物镜、变焦透镜、调焦透镜和光学光圈，并且将被摄体的光信息收集至下面描述的图像传感器单元202。图像传感器单元202是包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器的器件，并且将由摄像光学系统201收集的光信息转换为电流值。使用滤色器来获取颜色信息。基本上，图像传感器单元202是可以针对各像素设置任意曝光时间和增益调整的图像传感器。
中央处理单元(CPU)203参与连接到总线210的各单元的处理。例如，CPU 203顺次读取并分析存储在只读存储器(ROM)204和随机存取存储器(RAM)205中的指令，以根据分析结果执行处理。摄像系统控制单元206驱动调焦透镜以调整摄像光学系统201的焦点，并且如果从CPU 203接收到指令，则根据指令执行诸如光圈调整等的控制。
更具体地，基于根据由用户所选择的摄像模式指定的诸如程序AE、快门速度优先AE和光圈优先AE等的自动曝光(AE)功能所计算出的曝光值来执行光圈的驱动控制。
CPU 203还与AE控制一起执行自动调焦(AF)控制。可以通过主动方法、相位差检测方法和对比度检测方法来执行AF控制。可以采用众所周知的技术来进行上述AE和AF的配置和控制，从而将省略其详细描述。
由图像传感器单元202数字化的图像信号被输入到图像处理单元207。图像处理单元207执行下面描述的图像处理以生成亮度信号Y以及色差信号Cb和Cr。
编码器单元208执行用于将由图像处理单元207处理的图像数据转换为诸如联合图像专家组(JPEG)、H.264和H.265等的预定格式的数据的编码处理。
通信单元209根据由开放网络视频接口论坛(ONVIF)指定的照相机控制协议与客户端120通信，并且经由网络130将拍摄的图像数据分发到客户端120。通过使用照相机控制协议的通信，照相机110从客户端120接收照相机操作命令、照相机设置命令和关于功能的查询，并且向客户端120发送响应以及除了图像数据之外的必要数据。
图3是示意性示出根据本典型实施例的客户端120的结构的框图。CPU 301总地控制客户端120中的操作。ROM 302是用于存储CPU 301执行处理所需的控制程序的非易失性存储器。RAM 303用作CPU 301的主存储器和工作区域。换句话说，当执行处理时，CPU 301将必要的程序从ROM 302加载到RAM 303中并执行加载的程序，以实现各种功能和操作并执行下面描述的处理。
硬盘驱动器(HDD)304是用于存储CPU 301执行处理所需的例如各种类型的数据、图像数据和信息的大容量辅助存储单元。HDD 304还存储由CPU 301使用该程序执行处理而获取的各种类型的数据、图像数据和信息。
操作输入单元305是包括诸如电源按钮、键盘和鼠标等的操作装置(即，用户接口)的输入单元，并且用作用于从用户接受各种设置(下面描述的各区域的图像处理设置和优先级设置)的接受单元。通信单元306执行用于使得客户端120能够通过网络130进行通信的处理。具体地，通信单元306经由网络130接收由照相机110拍摄的图像数据。此外，通信单元306将照相机操作命令发送到照相机110，并且接收对其的响应和除了图像数据之外的必要数据。
显示单元307包括用于输入照相机110的各种控制参数的图形用户接口(GUI)(下面详细描述)和显示器。显示单元307可以被配置为使外部显示器显示下面描述的GUI。CPU301可以执行程序以实现客户端120的各单元的全部或部分功能。然而，客户端120的至少部分单元(即，图形处理单元(GPU)和直接存储器存取(DMA)控制器)可以作为专用硬件与CPU301分开工作。在这种情况下，专用硬件基于CPU 301的控制而工作。
图15是示意性示出根据本典型实施例的网络照相机系统的处理的流程图。在步骤S1501中，照相机110执行WDR摄像以获取合成图像。此时，如果亮度具有两个或更多个峰，则照相机110创建用于识别具有不同输入和输出特性的区域的分布图(map)。照相机110将合成图像和创建的分布图发送到客户端120。
在步骤S1502中，客户端120显示从照相机110获取的合成图像。客户端120还可以与合成图像一起显示分布图。然后，在步骤S1503中，客户端120从用户接受(或作为输入接收)测光区域的指定。在步骤S1504中，基于从用户接收的区域的指定并且基于该分布图，客户端120确定获取曝光值的区域，并且向照相机110通知与该区域有关的信息。在步骤S1505中，基于从客户端120获取的信息，照相机110获取曝光参数并将曝光参数保持为摄像设置。然后，在步骤S1506中，照相机110基于摄像设置来执行WDR摄像。下面将详细描述创建分布图、执行WDR摄像和确定区域的处理的细节。
图4是示出根据本典型实施例的图像处理单元207的结构的细节的框图。图像处理单元207大致分为两个块、即显像处理单元400和动态范围扩大处理单元410，并且经由本地总线430连接到存储器420。
显像处理单元400包括：光学校正单元401，用于执行摄像光学系统201的校正，诸如透镜位置的校正等；传感器校正单元402，用于执行图像传感器单元202的校正，诸如传感器的校正等；以及增益调整单元403，用于针对从图像传感器单元202接收到的图像数据执行增益调整。显像处理单元400还包括用于执行图像内容的校正处理的单元，例如，用于执行降噪处理的降噪(NR)处理单元404，用于执行白平衡调整的白平衡(WB)调整单元405，用于执行伽马校正的伽马校正单元406，用于执行锐度处理的锐度处理单元407，以及用于执行诸如对比度调整处理、颜色饱和度调整处理和颜色转换处理等的颜色处理的颜色处理单元408。显像处理单元400的输出临时存储在存储器420中。通过存储通过改变曝光而拍摄的多个图像，可以通过下面描述的WDR合成处理单元414来将这多个图像彼此合成。
动态范围扩大处理单元410包括下面描述的直方图分析处理单元411、分布图创建处理单元412、伽马调整单元413和WDR合成处理单元414。由分布图创建处理单元412创建的分布图信息也存储在存储器420中。下面将描述动态范围扩大处理单元410中包括的功能模块。
为了基于像素的亮度值和由分布图创建处理单元412创建的分布图信息来改变图像处理的内容，属性生成单元409将属性信息输出到图像处理单元207(显像处理单元400)的各单元。各单元被配置为能够参考从属性生成单元409输出的属性信息，以改变用于处理图像数据的处理参数。
例如，亮度阈值Y th被设置到属性生成单元409。然后，属性生成单元409针对各处理像素比较亮度值和亮度阈值Yth，并且将表示亮度值是否大于亮度阈值Yth的信息作为属性信息添加到像素的亮度信息。例如，属性信息可以是如下的布尔值(Boolean)：如果像素的亮度值大于阈值Yth，则保持“1”，以及如果像素的亮度值小于阈值Yth，则保持“0”。光学校正单元401至颜色处理单元408是参考属性信息以设置与属性信息相对应的处理参数的单元。
可以根据与由分布图创建处理单元412创建的像素位置相对应的下面描述的分布图信息来同样地添加属性信息。通过根据位置添加不同的属性，可以改变图像处理单元207的各单元的处理参数。
将参考图5来描述图像处理单元207的操作流程。在本典型实施例中，获取曝光不同的两个帧，即通过针对亮被摄体调整曝光而拍摄的帧(在下文中，称为高EV帧)和通过针对暗被摄体调整曝光而拍摄的帧(在下文中，称为低EV帧)。然后，图像处理单元207对高EV帧执行直方图分析以执行显像处理和伽马调整处理，并对各帧进行合成以输出合成帧。不用说，可以通过以不同曝光拍摄三个或更多个图像来对帧进行合成。此外，在本典型实施例中，描述了合成整个摄像区域的处理；然而，可以合成各帧中的部分摄像区域。此外，可以对低EV帧执行直方图分析，或者可以对高EV帧和低EV帧这两者执行直方图分析。
在步骤S501中，图像处理单元207从图像传感器单元202接收图像数据。在步骤S502中，显像处理单元400的各单元对接收到的图像数据执行各种类型的处理。
在步骤S503中，图像处理单元207判断是否已经接收并显像了合成图像所需的帧数的图像数据。在本典型实施例中，拍摄曝光不同的两个图像。为了改变曝光，可以改变图像传感器单元202的快门速度或者可以改变图像传感器单元202的增益。不用说，快门速度和增益都可以改变。增益也可以由增益调整单元403改变。如果由图像传感器单元202进行上述改变，则在执行WDR合成处理之前针对各拍摄图像改变曝光。另一方面，增益调整单元403根据属性生成单元409生成的属性来改变增益。因此，除了在WDR合成处理之前对各拍摄图像进行调整之外，还可以对通过分布图创建处理所创建的各区域进行调整。
如果已经接收到合成处理所需的帧数(步骤S503中为“是”)，则处理进入步骤S504。如果尚未接收到所需的帧数(步骤S503中为“否”)，则处理返回到步骤S501，并且图像处理单元207再次接收图像。
在步骤S504中，直方图分析处理单元411执行直方图分析。将参考图6来描述直方图。图6示出用于显示摄像场景的一个示例的UI，并且在该UI上显示包括表示为阴影区域的窗户601的外部和房间602的内部的区域的拍摄图像。假设窗户601的外部和房间602的内部受到不同光源的影响，并且窗户601的图像区域和房间602的图像区域的亮度值存在较大差异。如图7所示，如果该场景具有上述亮度差，则直方图包括具有与房间602相对应的峰702的直方图和具有与窗户601相对应的峰701的直方图(其中，在峰702和峰701之间具有谷703)。
在步骤S504中，直方图分析处理单元411根据图像数据生成各像素的亮度值的直方图，并检测所生成的直方图中的峰的数量是一个还是两个。根据作为分析结果而检测到的峰的数量，在步骤S505中使处理分支。
如果检测到的峰的数量是一个以下(步骤S505中为“是”)，则处理进入步骤S507。在步骤S507中，执行下面描述的伽马调整处理，并且结束图像处理单元207的处理。如果检测到的峰的数量是两个(步骤S505中为“否”)，则处理进入步骤S506。在步骤S506中，执行分布图创建处理。此外，如果存在两个峰，则直方图分析处理单元411将峰之间的谷703的亮度值设置到属性生成单元409。还可以检测到三个或更多个峰，并且可以将该区域划分成与检测到的峰的数量相对应的数量。如果包括的像素的数量小(即，峰所属的区域的大小小)，则也可以忽略峰。
在步骤S506中，分布图创建处理单元412创建分布图。该分布图是用于针对检测到两个峰的图像、在该图像上示出区域属于直方图中的两个峰中的哪个峰的信息。首先，分布图创建处理单元412将图像划分为多个亮度区域。在本典型实施例中，具有1920×1080的分辨率的处理图像被划分为64×36的块603。分布图创建处理单元412将块603分类为一个块603(其中在该一个块603中，块内超过三分之二的像素具有大于直方图的谷703的亮度值的亮度值)以及除了该一个块603之外的另一块603，并且在分布图中表示这些块603。
这里，图9示出从图6所拍摄的图像创建的分布图，并且将参考图9来描述该分布图。在本典型实施例中，由于假设曝光不同的两个帧彼此合成，因此根据多个图像的合成比来创建分布图。具体地，该分布图按亮度增加的顺序包括四个类别的区域，即，低EV帧比率为100％的区域901，低EV帧和高EV帧的混合区域902，高EV帧比率为100％的区域903，高EV帧比率是100％并且检测到多个峰并具有不同伽马特性的区域904。不用说，可以针对高EV帧和低EV帧这两个类别来创建分布图。
将参考图12A、12B和12C来描述高EV和低EV帧。图12A示出通过针对亮被摄体调整曝光值而拍摄的帧(高EV帧)。亮的房间外部以正确的曝光值被拍摄，但是暗的房间内部变黑并且没有灰度，因此其可见度降低。另一方面，图12B示出通过针对暗被摄体调整曝光值而拍摄的帧(低EV帧)。在图12B的低EV帧中，尽管亮的窗户外部被过度曝光，但是针对内部暗的房间可以获取到更接近正确值的曝光值。
从照相机110的通信单元209向客户端120通知该分布图信息(第一信息)和在步骤S505中检测到的峰的数量。
随后，将描述步骤S507中的伽马调整处理。图8是示意性示出与图6所示的场景相对应的伽马曲线(示出输入和输出之间的关系的曲线)的图。如果仅检测到一个峰(或者关闭WDR摄像设置)并且不执行分布图处理，则用于进行调整的伽马被表示为由图8中的虚线801所示的伽马曲线。另一方面，如果创建了分布图，则用于进行调整的伽马被表示为由图8中的实线802和803所示的不连续曲线。已经进行了用以降低比图7中的谷703亮的区域的亮度的调整，从而可以确保总体的动态范围。以与谷703相对应的亮度值来降低输出值，从而通过使用上述伽马曲线执行亮度调整来提高亮区域的可见度，并且扩大动态范围。
在图6所示的亮区域601中，除非用户指定曝光检测区域603，否则如虚线801所表示的那样调整伽马曲线，使得整个区域601的平均亮度值变为预设平均亮度值。下面将描述曝光检测区域603的细节。
在步骤S508中，WDR合成处理单元414执行高EV帧的伽马调整之后的图像和低EV帧的图像的合成处理。将参考图10来描述合成处理的概要。横轴表示基准亮度，以及纵轴表示用于对图像进行相加合成的合成比。由实线1301表示的合成比表示低EV帧相对于基准亮度的合成比，以及由点划线1302表示的合成比表示高EV帧相对于基准亮度的合成比。
当执行合成处理时，在比基准亮度的阈值Y1暗的区域中仅使用低EV帧，并且在比基准亮度的阈值Y2亮的区域中仅使用高EV帧。通过逐渐改变基准亮度的阈值Y1和Y2之间的中间区域中的合成比，可以平滑地切换图像。在本典型实施例中，高EV帧用作基准亮度。如上所述结束合成处理。
将参考图14A、14B、14C和14D来描述处理结果的概要。图14C示出通过对针对亮被摄体通过调整曝光值而拍摄的图像(高EV帧)执行图5中的直方图分析、显像处理和伽马调整处理而获取到的图像(进行伽马调整后的高EV帧)。通过执行伽马调整，亮区域(窗户外部)的亮度降低并变为适当的亮度。如图14D所示，通过经由WDR合成处理单元414以图10所示的比率对图14B和14C中的帧进行合成，可以在具有宽动态范围的图像中拍摄从亮区域到暗区域的范围的区域。
随后，将描述由客户端120执行的处理。客户端120显示从照相机110分发的运动图像，使得用户可以在查看拍摄图像的同时在照相机110上进行与摄像操作相关的设置(曝光设置)或与网络相关的设置。
这里，将描述由用户进行的曝光检测区域的设置。在客户端120的显示单元307上显示图11A所示的图像。假设用户将区域1101设置为曝光检测区域。
图11B是示意性示出客户端120从照相机110接收到的分布图信息的图。分布图信息示出四个区域1102、1103、1104和1105。
在本典型实施例中，从分布图信息所示的多个区域中，选择用户指定区域1101的中心所属的区域，并且将所选择的区域和用户指定区域彼此重叠的区域提供给用户。在图11A至11C所示的示例中。由于用户指定区域1101的中心与区域1104相对应，因此将区域1101和1104的重叠区域(即，图11C中的区域1106)显示给用户。用户可以在视觉上识别区域1106以检查区域1106是否是期望的主被摄体。如果区域1106不是期望的主被摄体，则用户可以再次指定另一区域。如果区域1106是期望的主被摄体，则用户确定曝光检测区域的设置并结束选择处理。
从客户端120的通信单元306向照相机110通知由客户端120设置的曝光检测区域信息(第二信息)。照相机110基于接收到的区域信息来设置曝光检测区域(测光区域)，基于从曝光检测区域获取到的像素值(例如，最大亮度值或平均亮度值)来获取曝光设置(曝光参数)，并执行后续的摄像处理。例如，如果曝光检测区域是仅使用低EV帧的区域，则仅针对低EV帧调整曝光。如果曝光检测区域是低EV帧和高EV帧的合成区域，则针对低EV帧和高EV帧两者调整曝光。此外，如果曝光检测区域是仅使用高EV帧的区域，则仅针对高EV帧调整曝光，并且如果曝光检测区域是高EV帧中的伽马调整后的亮度区域，则仅对相应的亮度区域调整曝光。通过属性生成单元409将上述处理的内容设置给各单元。
不用说，可以通过增益调整单元403执行增益调整来针对分布图的各区域调整增益。通过上述处理，由于可以在用户期望的区域上执行曝光设置，因此可以输出用户期望的图像。
将参考附图来描述第二典型实施例。在本典型实施例中，将描述全方位镜头用作网络照相机的光学系统的典型实施例。相同的附图标记应用于具有与第一典型实施例中描述的功能相同的功能的结构或处理步骤，并且对于在结构或功能方面未改变的结构和处理步骤将省略其描述。
根据本典型实施例的摄像设备的不同之处在于全方位镜头用作摄像光学系统201。因此，图像处理单元207包括用于转换全方位镜头的投影方式的单元。
图17中示出图像处理单元207的结构。显像处理单元400和动态范围扩大处理单元410的结构与第一典型实施例中描述的结构相同，因此将省略其描述。在本典型实施例中，图像处理单元207包括去失真处理单元1701。去失真处理单元1701包括投影方式转换单元1702。
当使用全方位镜头时，尽管可以获取到摄像设备周边中的宽范围的图像，但是图像明显失真并且不适合于人的浏览或区域的指定。因此，通过投影方式转换单元1702对全方位图像中的部分区域转换投影方式。投影方式转换单元1702假设存在于指定视线方向上的平面，并将全方位图像投影在假设的平面上以获取透视投影图像。
对由显像处理单元400和动态范围扩大处理单元410处理并且保持在存储器420中的图像执行处理。因此，图像处理单元207被配置为能够将全方位图像和由投影方式转换单元1702处理的图像这两者保持在存储器420中，并创建多个部位的投影转换图像。
将描述由用户执行的曝光检测区域的设置。图16A是示出由全方位镜头拍摄的图像的图。这里，将包括作为被摄体的窗户1602的房间的拍摄图像描述为示例。通过全方位镜头的投影，窗户1602被拍摄为扇形而不是矩形。
图16B是示意性示出客户端120已经从照相机110接收到的分布图信息的图。分布图信息示出两个区域1603和1604。区域1603表示包括窗户的亮区域，以及区域1604表示房间中的相对较暗的区域。由于在由去失真处理单元1701执行的处理之前执行处理，因此基于全方位图像来创建分布图信息。
另一方面，用户参考图16C所示的图像显示。由于执行了透视投影转换，因此窗户1602具有矩形形状。然后，用户将区域1605指定为测光区域。
当客户端120在上述步骤S1504中确定测光区域时，与第一典型实施例同样地，客户端120选择用户指定区域1605的中心所属的区域1603，并将所选择的区域和用户指定区域1605彼此重叠的区域提供给用户。
这里，在图16C所示的透视投影转换之后的图像上，用虚线绘制分布图区域中的亮区域1603。由于透视投影转换，因此各块都发生变形。
在本典型实施例中，在分布图信息所示的多个区域中，将矩形区域1606提供给用户，其中，矩形区域1606外接用户指定区域1605内的块并且与用户指定区域1605的中心所属的区域1603相对应。
由于向用户通知用户选择的区域已经改变并且近似于处理区域就足够了，因此要提供给用户的区域不限于外接矩形区域。例如，可以显示根据分布图信息的矩形1603，或者可以显示略小于外接矩形的区域。
如上所述，通过确定测光区域和向用户显示该测光区域，用户可以更精确地识别测光区域，并且可以设置用户期望的区域作为实际测光区域。
在第一典型实施例中，针对包括由用户指定的曝光检测区域的中心的区域调整由用户设置的矩形形状。作为另一典型实施例，可以基于具有不同输入和输出特性的区域以及除该区域之外的区域来校正分布图信息。图13A示出图11A至11C所示的示例的分布图信息校正。这里，与第一典型实施例同样地，如果用户指定图11A所示的矩形1101，并且利用包括指定矩形1101的中心的分布图区域切出该区域，则曝光检测区域应该是图13B所示的区域1303。
代替切出该区域，可以将曝光检测框从具有不同输入和输出特性的分布图区域移开。例如，在图13A至13C所示的示例的情况下，在移动曝光检测框以使得不与具有不同输入和输出特性的分布图区域重叠时，通过用于使得与移动曝光检测框之前相比更靠近中心位置的移动方法，可以使曝光检测框移动到如图13C的区域1304所示的位置。
此外，可以向用户提供分布图区域，并且如果由用户设置的矩形横跨多个区域，则可以向用户通知矩形横跨多个区域的状态，并且可以提示用户再次选择区域。该通知可以作为消息或者两个重叠区域闪烁或以不同颜色显示的突出显示来提供。可以在用户指定的矩形之间自动设置具有最大面积并且不是横跨多个区域的矩形。
可以向用户提供分布图信息所示的多个区域，以使得用户能够选择要作为曝光基准的区域。为了便于描述，在上述典型实施例中主要描述了针对两个区域创建分布图的处理。然而，本发明同样适用于针对三个或更多区域创建分布图的处理。
还可以通过执行以下处理来实现本发明。用于实现上述典型实施例的功能的软件(程序)经由网络或各种存储介质提供给系统或设备，并且该系统或设备的计算机(或CPU或微处理单元(MPU))读取并执行该程序。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (22)

1.一种摄像设备，包括：
摄像单元，其被配置为拍摄图像；
合成单元，其被配置为对多个图像进行合成并且输出合成图像；
通知单元，其被配置为向图像处理设备通知表示合成图像中的具有彼此不同的输入和输出特性的多个区域的第一信息；以及
接收单元，其被配置为从所述图像处理设备接收表示检测区域的第二信息，
其中，所述摄像单元，还被配置为基于所接收到的所述第二信息表示的检测区域来设置曝光值。
2.根据权利要求1所述的摄像设备，其中，所述摄像单元以不同的曝光设置拍摄多个图像，并且所述合成单元输出基于所述多个图像扩大了动态范围的合成图像。
3.根据权利要求1所述的摄像设备，其中，所述摄像单元基于根据从所述第二信息表示的检测区域获取到的亮度值所设置的曝光值来拍摄图像。
4.一种图像处理设备，包括：
获取单元，其被配置为从摄像设备获取图像和表示所述图像的具有彼此不同的输入和输出特性的多个区域的第一信息；
显示单元，其被配置为显示所述获取单元所获取到的所述图像以及所述多个区域；以及
接收单元，其被配置为接收对所述显示单元所显示的图像的要设置所述摄像设备的曝光值的区域的指定。
5.根据权利要求4所述的图像处理设备，还包括用户接口，所述用户接口允许用户设置检测区域。
6.根据权利要求4所述的图像处理设备，还包括：
确定单元，其被配置为基于所述接收单元所接收的对区域的指定和所述获取单元所获取到的所述第一信息来确定要设置所述摄像设备的曝光值的检测区域；以及
发送单元，其被配置为向所述摄像设备发送表示所述检测区域的第二信息。
7.根据权利要求6所述的图像处理设备，其中，所述确定单元，还被配置为从所述第一信息表示的多个区域中，确定包括所述接收单元所接收的区域的中心位置的区域与所述接收单元所接收的区域重叠的区域作为所述检测区域。
8.根据权利要求6所述的图像处理设备，其中，所述显示单元显示通过所述确定单元确定为所述检测区域的区域。
9.根据权利要求4所述的图像处理设备，其中，在所述接收单元所接收的区域横跨所述第一信息表示的多个区域的情况下，所述显示单元显示表示所接受的区域横跨所述多个区域的通知。
10.根据权利要求4所述的图像处理设备，其中，具有彼此不同的输入和输出特性的区域是不连续曲线被设置为表示输入和输出之间的关系的曲线的区域。
11.根据权利要求4所述的图像处理设备，其中，具有彼此不同的输入和输出特性的区域是具有彼此不同的曝光设置的区域。
12.一种摄像设备所执行的摄像方法，所述摄像设备用于拍摄图像，所述摄像方法包括：
拍摄图像；
对多个图像进行合成，并且输出合成图像；
向图像处理设备通知表示合成图像的具有彼此不同的输入和输出特性的多个区域的第一信息；以及
从所述图像处理设备接收表示检测区域的第二信息，
其中，基于由所接收到的所述第二信息表示的检测区域来设置曝光值。
13.根据权利要求12所述的摄像方法，其中，在拍摄图像时，以不同的曝光设置拍摄多个图像，并且在对所述多个图像进行合成时，输出基于所述多个图像扩大了动态范围的合成图像。
14.根据权利要求12所述的摄像方法，其中，在拍摄图像时，基于根据从所述第二信息表示的检测区域获取到的亮度值所设置的曝光值来拍摄图像。
15.一种图像处理方法，包括：
从摄像设备获取图像和表示所述图像的具有彼此不同的输入和输出特性的多个区域的第一信息；
显示所获取到的图像以及所获取到的具有彼此不同的输入和输出特性的多个区域；以及
接受对所述图像的要设置所述摄像设备的曝光值的区域的指定。
16.根据权利要求15所述的图像处理方法，还包括：
基于所接受的对区域的指定和所获取到的所述第一信息来确定要设置所述摄像设备的曝光值的检测区域；以及
向所述摄像设备发送表示所述检测区域的第二信息。
17.根据权利要求16所述的图像处理方法，其中，在确定所述检测区域时，从所述第一信息表示的多个区域中，确定包括所接收的区域的中心位置的区域与所接收的区域重叠的区域作为所述检测区域。
18.根据权利要求16所述的图像处理方法，其中，在显示所获取到的图像和所获取到的多个区域时，显示通过在确定所述检测区域时被确定为所述检测区域的区域。
19.根据权利要求15所述的图像处理方法，其中，在所接收的区域横跨所述第一信息表示的多个区域的情况下，在显示所获取到的图像和所获取到的多个区域时，显示表示所接受的区域横跨所述多个区域的通知。
20.根据权利要求15所述的图像处理方法，其中，具有彼此不同的输入和输出特性的区域是不连续曲线被设置为表示输入和输出之间的关系的曲线的区域。
21.根据权利要求15所述的图像处理方法，其中，具有彼此不同的输入和输出特性的区域是具有彼此不同的曝光设置的区域。
22.一种非暂时性计算机可读存储介质，其包括指令，在计算机执行所述指令时，使所述计算机执行权利要求15的方法。
CN201811042660.0A 2017-09-11 2018-09-07 摄像设备和方法、图像处理设备和方法、以及存储介质 Pending CN109495693A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017-174365 2017-09-11
JP2017174365 2017-09-11
JP2018-095659 2018-05-17
JP2018095659A JP2019050551A (ja) 2017-09-11 2018-05-17 撮像装置、画像処理装置、撮像方法、画像処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN109495693A true CN109495693A (zh) 2019-03-19

Family

ID=63528530

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811042660.0A Pending CN109495693A (zh) 2017-09-11 2018-09-07 摄像设备和方法、图像处理设备和方法、以及存储介质

Country Status (3)

Country Link
US (1) US20190082092A1 (zh)
EP (1) EP3454547A1 (zh)
CN (1) CN109495693A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493539A (zh) * 2019-08-19 2019-11-22 Oppo广东移动通信有限公司 自动曝光处理方法、处理装置和电子设备
CN113905182A (zh) * 2020-06-22 2022-01-07 华为技术有限公司 一种拍摄方法及设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020036091A (ja) * 2018-08-27 2020-03-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2021022057A (ja) * 2019-07-25 2021-02-18 ファナック株式会社 設置支援装置、設置支援システム及び設置支援プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072303A (zh) * 2006-05-11 2007-11-14 精工爱普生株式会社 摄像元件及摄像装置
US20110249135A1 (en) * 2010-04-08 2011-10-13 Canon Kabushiki Kaisha Image processing apparatus and method of controlling same
CN102790861A (zh) * 2009-06-03 2012-11-21 索尼公司 成像设备和成像控制方法
CN103002211A (zh) * 2011-09-08 2013-03-27 奥林巴斯映像株式会社 摄影设备
US20130222533A1 (en) * 2012-02-23 2013-08-29 Canon Kabushiki Kaisha Image capturing apparatus and method for controlling the same
US20140267885A1 (en) * 2013-03-15 2014-09-18 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling the same

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS546853B1 (zh) 1971-04-27 1979-04-02
JP3376156B2 (ja) 1995-04-07 2003-02-10 キヤノン株式会社 撮像装置
JPH11136568A (ja) * 1997-10-31 1999-05-21 Fuji Photo Film Co Ltd タッチパネル操作式カメラ
NZ513710A (en) * 2001-08-22 2003-02-28 Cardax Internat Ltd Metering system
JP5171434B2 (ja) * 2007-09-13 2013-03-27 パナソニック株式会社 撮像装置、撮像方法、プログラム、および集積回路
JP6120500B2 (ja) * 2012-07-20 2017-04-26 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072303A (zh) * 2006-05-11 2007-11-14 精工爱普生株式会社 摄像元件及摄像装置
CN102790861A (zh) * 2009-06-03 2012-11-21 索尼公司 成像设备和成像控制方法
US20110249135A1 (en) * 2010-04-08 2011-10-13 Canon Kabushiki Kaisha Image processing apparatus and method of controlling same
CN103002211A (zh) * 2011-09-08 2013-03-27 奥林巴斯映像株式会社 摄影设备
US20130222533A1 (en) * 2012-02-23 2013-08-29 Canon Kabushiki Kaisha Image capturing apparatus and method for controlling the same
US20140267885A1 (en) * 2013-03-15 2014-09-18 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493539A (zh) * 2019-08-19 2019-11-22 Oppo广东移动通信有限公司 自动曝光处理方法、处理装置和电子设备
CN110493539B (zh) * 2019-08-19 2021-03-23 Oppo广东移动通信有限公司 自动曝光处理方法、处理装置和电子设备
CN113905182A (zh) * 2020-06-22 2022-01-07 华为技术有限公司 一种拍摄方法及设备

Also Published As

Publication number Publication date
US20190082092A1 (en) 2019-03-14
EP3454547A1 (en) 2019-03-13

Similar Documents

Publication Publication Date Title
US9706120B2 (en) Image pickup apparatus capable of changing priorities put on types of image processing, image pickup system, and method of controlling image pickup apparatus
US8135235B2 (en) Pre-processing method and apparatus for wide dynamic range image processing
CN109495693A (zh) 摄像设备和方法、图像处理设备和方法、以及存储介质
JP6267502B2 (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
JP6685188B2 (ja) 撮像装置、画像処理装置及びそれらの制御方法、プログラム
CN102946513A (zh) 一种启动拍摄装置高动态范围功能的方法、装置及终端
US8848098B2 (en) Imaging apparatus, imaging method, and program
JP6083974B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10368008B2 (en) Imaging apparatus and control method wherein auto bracket parameters and image processes applied are determined from image analysis
JP2003046848A (ja) 撮像システムおよび撮像プログラム
CN110392205B (zh) 图像处理设备、信息显示设备、控制方法和存储介质
JP2018182376A (ja) 画像処理装置
JP2020014051A (ja) 情報処理方法、及び情報処理装置
JP7051365B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6873816B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP2023090492A (ja) 画像処理装置および画像処理方法、撮像装置
US20190052803A1 (en) Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
JP2019033470A (ja) 画像処理システム、撮像装置、画像処理装置、制御方法およびプログラム
JP7075272B2 (ja) 画像処理装置、情報表示装置、制御方法、及びプログラム
JP7191633B2 (ja) 画像処理装置、制御方法及びプログラム
US20230209176A1 (en) Imaging apparatus
WO2023245391A1 (zh) 一种相机预览的方法及其装置
JP6703787B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6039726B2 (ja) 撮像装置及びその制御方法
JP2019050551A (ja) 撮像装置、画像処理装置、撮像方法、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190319

WD01 Invention patent application deemed withdrawn after publication