CN102300049B

CN102300049B - 图像信号处理装置

Info

Publication number: CN102300049B
Application number: CN201110153723.1A
Authority: CN
Inventors: 大渊麻莉; 斋宽知; 薄井勉; 广冈慎一郎
Original assignee: Hitachi Industry and Control Solutions Co Ltd
Current assignee: Hitachi Industry and Control Solutions Co Ltd
Priority date: 2010-06-24
Filing date: 2011-06-03
Publication date: 2015-12-02
Anticipated expiration: 2031-06-03
Also published as: CN102300049A; JP5624809B2; US20110317030A1; US8681242B2; JP2012010048A

Abstract

本发明提供一种图像信号处理装置。本发明的图像信号处理装置，具有在拍摄周边环境的明暗差较大的被摄体时，进行画质控制以使拍摄的图像整体，特别是用户要观看的被摄体成为适当的亮度、灰度的功能。具体而言，具有：影像输入单元；对从上述影像输入单元输出的信号进行信号处理来生成影像信号的影像信号处理单元；对由上述影像信号处理单元生成的影像信号的特性进行控制的输入输出特性控制单元；和对由上述影像信号处理单元生成的影像信号进行图像处理来识别、检测被摄体信息的被摄体识别单元。

Description

图像信号处理装置

技术领域

本发明涉及图像信号处理装置，特别涉及对在明暗差较大的场景下拍摄的图像的明亮度进行修正的图像信号处理装置。

背景技术

作为本技术领域的背景技术，例如有日本特开2009-65711(专利文献1)。该公报中，记载了“对输入图像，不统一地使用测光框，进行亮度修正以使具有局域明暗差的区域变得清晰”这样的课题，对于该课题，使用如下解决方案：“测光评价部350，生成评价图像信号的明亮度而得的测光评价值。亮度域生成部361，在分块平均亮度图像的亮度分布中，计算暗侧分位值(日文：裾野值)和亮侧分位值。样条产生部362，将测光评价值作为平均亮度值，并使用暗侧分位值和亮侧分位值，生成基于样条曲线的色调曲线(tonecurve)。灰度压缩部380，基于色调曲线压缩亮度值的灰度。对比度修正部390，对灰度压缩后的亮度值的对比度进行修正。灰度修正处理部320，基于对比度修正后的亮度值，对非线性变换后的RGB图像的像素值的灰度进行修正。”

专利文献1：日本特开2009-65711号公报(参照摘要)

发明内容

在用数字摄像机或静态相机进行拍摄的情况下，大多通过称为AE(AutoExposure：自动曝光)的机构对曝光进行自动控制，来使拍摄的图像的亮度适当。但是，在拍摄周边的环境的明暗差较大的被摄体时，难以仅通过AE进行曝光控制来使拍摄的图像整体为适当的明亮度、灰度。作为解决该问题的手段之一，可以列举对亮度进行修正以使图像整体成为适当的亮度、灰度的方法。例如，上述专利文献1(日本特开2009-65711号公报)中，使与周围相比反射率相对较低的被摄体较暗地再现，并使与周围相比反射率相对较高的被摄体较亮地再现，通过这样按每个被摄体进行亮度修正，来实现适当的图像的明亮度。

但是，上述专利文献1中记载的方法，因为对以分块单位分割的区域进行对比度修正，所以对比度修正的效果是四边形的分块单位，所以不能够进行与被摄体的形状相应的控制。因此，在分块跨过被摄体的情况下，存在被摄体的明亮度在分块的边界上变得不连续的可能。

因此，本发明提供一种图像信号处理装置，在使图像整体成为适当的亮度、灰度的控制中，除亮度分布信息之外，还对人物和物体等特定的被摄体进行识别、检测，利用其结果进行图像处理，由此放大用户要观看的被摄体的灰度(灰阶)，使其更易于观看。由此，能够提高用户要观看的被摄体的视认性。

对于上述课题的全部或者一部分，本发明中例如可以用下述结构来解决或改善。

具体而言，例如提供一种图像信号处理装置，在拍摄周边环境的明暗差较大的被摄体时，进行控制以使拍摄的图像整体——特别是用户要观看的被摄体——成为适当的亮度、灰度。

本发明的图像信号处理装置，包括：影像输入单元；对从上述影像输入单元输出的信号进行信号处理来生成影像信号的影像信号处理单元；对由上述影像信号处理单元生成的影像信号的特性进行控制的输入输出特性控制单元；和对由上述影像信号处理单元生成的影像信号进行图像处理来识别、检测被摄体信息的被摄体识别单元，其中，上述输入输出特性控制单元将由上述被摄体识别单元识别出的被摄体信息用于输入特性的控制。

根据本发明，即使在拍摄周边环境的明暗差较大的被摄体时，也能够对拍摄的图像整体——特别是用户要观看的被摄体——以适当的亮度、灰度拍摄。

上述以外的课题、手段、效果，将用后文叙述的实施例说明。

附图说明

图1是表示系统结构的一个例子的图。

图2是表示使用了被摄体识别的输入输出特性控制的一个例子的图。

图3是表示使用了被摄体识别的输入输出特性控制的效果的图1。

图4是表示使用了被摄体识别的输入输出特性控制的效果的图2。

图5是表示使用了被摄体识别的输入输出特性控制的效果的图3。

图6是表示用于实现基于重要性的输入输出特性控制的系统结构的一个例子的图。

图7是表示与重要性相应的输入输出特性控制的一个例子的图。

图8是表示与重要性相应的输入输出特性控制的效果的图1。

图9是表示与重要性相应的输入输出特性控制的效果的图2。

图10是表示用户进行的重要性决定方法的一个例子的图。

图11是表示具备作为输入输出特性控制对象的被摄体的上限数设定单元的系统结构的一个例子的图。

图12是表示对被摄体进行框显示的系统结构的一个例子的图。

图13是表示对没有通过输入输出特性控制部104进行灰度放大的被摄体进行框显示的效果的图。

图14是表示本发明的实施例2的概念的图。

图15是表示第一区域单元的概念的一个例子的图。

图16是表示第二区域单元的概念的一个例子的图。

附图标记说明

101……拍摄部，102……曝光控制部，103……摄像机信号处理部，104……输入输出特性控制部，105……被摄体识别部，201……影像信号特性，202……第一被摄体的灰度，203……第二被摄体的灰度，301……较暗的室内，302……作为被摄体的人物，303……室外，401……较暗的室内，402……作为被摄体的人物，403……室外，501……较暗的室内，502……作为被摄体的人物，503……室外，601……被摄体选择部，701……影像信号特性，702……第一被摄体的灰度，703……第二被摄体的灰度，704……第一被摄体的灰度放大量，705……第二被摄体的灰度放大量，801……第一人物，802……第二人物，901……第一人物，902……第二人物，1001……影像信号特性，1002……第一被摄体的灰度，1003……第二被摄体的灰度，1101……被摄体信息存储部，1001……第一人物上显示的框，1002……第二人物上显示的框，1101……被摄体上限数设定部，1201……框显示部，1301……第一被摄体，1302……第二被摄体，1303……框

具体实施方式

以下用附图说明本发明的实施例。

(1)系统结构

图1是表示应用本发明的系统结构的一个例子的图。本系统包括拍摄部101、曝光控制部102、摄像机信号处理部103、输入输出特性控制部104和被摄体识别部105。拍摄部101包括：具有变焦透镜和对焦透镜的透镜组、快门、光圈、拍摄元件、AGC(AutomaticGainControl：自动增益控制)、AD(AnalogtoDigital：模-数)转换器等，用拍摄元件接收从透镜入射的光，将得到的光学像通过光电变换来作为信号输出。曝光控制部102，根据由拍摄部101输出的信号取得亮度分布的信息，基于该亮度分布的信息和由后文叙述的被摄体识别部105输出的被摄体信息来决定目标曝光量，控制光圈的收缩、快门速度和AGC的增益量，以使实际的曝光量接近该曝光目标量。摄像机信号处理部103，对由拍摄部101输出的信号进行亮度信号和色彩信号的分离处理、明亮度修正处理、伽玛处理和色差变换处理、白平衡修正处理、数字变焦等各种数字信号处理，来生成影像信号，并将影像信号输出到输入输出特性控制部104和被摄体识别部105。进行各信号处理时使用的系数，例如明亮度修正量和伽玛修正等可以使用预先存储在EEPROM等中的值，也可以基于影像的亮度分布等各种信息和后文叙述的由被摄体识别部105输出的被摄体信息来改变修正量。输入输出特性控制部104，进行以由摄像机信号处理部103输出的影像信号为输入的输入输出特性控制。例如，将图像分割为任意的小区域，按每个该小区域控制伽玛特性。被摄体识别部105对由摄像机信号处理部103输出的影像进行图像识别，检测特定的被摄体，将被摄体的个数，各被摄体在影像内的位置、亮度分布的信息，色彩信息，被摄体的可信度等作为被摄体信息输出。作为被摄体，例如是人脸、人物、运动物体等，只要是能够通过图像识别检测出的即可。使用该被摄体信息，曝光控制部102能够控制拍摄部的目标曝光量，摄像机信号处理部103能够控制图像整体的伽玛特性等，输入输出特性控制部104能够控制每个小区域的输入输出特性等，由此能够实现针对特定的被摄体优化的亮度、灰度。上述例子中所述的输入输出特性控制部104的小区域，除了能够指定以1个像素为单位的任意大小、形状之外，也可以按子像素单位指定并控制输入输出特性。另外，曝光控制部102的曝光控制处理、摄像机信号控制部103的摄像机信号处理、输入输出特性控制部104的输入输出特性控制处理、被摄体识别部105的被摄体识别处理，通常由摄像机内的微控制器、摄像机信号处理LSI(LargeScaleIntegration：大规模集成电路)和FPGA(FieldProgrammableGateArray：现场可编程逻辑门阵列)等进行。此外，上述例子中，输入输出特性控制部104是与摄像机信号处理部103不同的模块，但是也可以将输入输出特性控制部104组装入摄像机信号处理部103。图1的系统结构例中，没有图示用户接口和液晶监示器，但实际上具备一般的摄像机或静态相机的全部结构要素。

(2)使用了被摄体识别的输入输出特性控制

图2是表示使用了被摄体识别的输入输出特性控制的一个例子的图。此处，以进行灰度控制的拍摄装置为例进行说明。输入输出特性控制由输入输出特性控制部104执行。图2中，横轴表示摄像机信号处理部103输出的影像信号等级(level)，纵轴表示进行了亮度修正后的影像信号等级，201是影像信号特性。图2的例子中，拍摄了2个人物作为被摄体，进行非线性的信号的特性变换处理以使第一被摄体202和第二被摄体203两者都具有较宽的灰度。根据以上方法，通过放大影像上的人物的脸的灰度(灰阶)，能够提高人物的视认性。

图3至图5是表示使用了被摄体识别的输入输出特性控制的效果的图。图3表示的状态是，要在较暗的室内301拍摄人物302，但是也同时拍摄到室外303，所以用曝光控制部102的AE进行曝光控制的结果，人物302、室外303都呈现为灰度变少的状态。图4表示应用了一般的对比度修正的状态。由此，人物402和室外403的灰度增加，但是由于灰度分配到人物和室外，所以不能够显现出能清晰地视认人物的程度的灰度。图5表示应用了输入输出特性控制部104的处理的状态。由于用被摄体识别部105识别人物，并且在输入输出特性控制部104中使用该结果进行输入输出特性的控制，所以人物被分配了灰度，人物的视认性能够提高。本实施例中，输入输出特性控制将图像分割为小区域，按每个该区域进行灰度控制。并且，使该区域的大小和输入输出特性控制量根据被摄体识别结果变化。例如，在对于已识别的被摄体整体进行输入输出特性控制时，对包括被摄体整体的大小的区域进行灰度放大。由此，区域的边界不会与被摄体重合，所以被摄体的灰度不会变得不连续，能够输出自然的影像。

接着，说明输入输出特性控制部中的灰度的放大量。对于被摄体的灰度放大量，可以根据该被摄体距画面中心的距离来决定。一般而言，可以认为越是位于画面中心的被摄体，要求提高视认性的效果的可能性越高，所以通过进行与距画面中心的距离相应的灰度的放大，得到用户所要求的结果的可能性会提高。此外，也可以根据被摄体的大小来决定灰度放大量。一般而言，可以认为对于越大的被摄体，要求提高视认性的效果的可能性越高，所以通过进行与距画面中心的距离相应的灰度的放大，得到用户所要求的结果的可能性会提高。当然，也可以将距画面中心的距离和大小两者都反映在灰度放大量中。

根据以上方法，能够提高被摄体的视认性。

(3)与重要性(重要度)相应的输入输出特性控制

图6是表示用于实现基于重要性的输入输出特性控制的系统结构的一个例子的图。重要性决定部601，是用于在拍摄多个人物的场景中决定要优先提高视认性的人物的模块。重要性决定方法，例如有以下方法：(A)基于用户使用用户接口设定的设定值来决定；(B)使用被摄体识别处理部输出的被摄体信息决定。对各方法的详情进行说明。

图7是表示与重要性相应的输入输出特性控制的一个例子的图。当用户将第一人物的重要性设定得较高，将第二人物的重要性设定得较低时，第一被摄体的灰度放大量704增大，重要性设定得较低的第二被摄体的灰度放大量705抑制得较低。

用图8和图9，说明与重要性相应的输入输出特性控制的效果。图8表示由输入输出特性控制部104和被摄体识别部105将第一人物801和第二人物802两者的灰度放大后的状态。此处，在用户要提高视认性的只有第一人物801的情况下，由于放大了第二人物802的灰度导致要提高视认性的第一人物801的灰度减少，这对于用户是不便的。图9表示进行了与重要性相应的输入输出特性控制的状态。当用户将第一人物的重要性设定得较高时，分配给第一人物的灰度与通常相比得到增加，能够进一步提高视认性。

(3-A)根据用户输入决定重要性

用图6说明用户使用用户接口决定重要性的流程。当用户使用转盘或按钮等用户接口来通过重要性决定部106设定被摄体的优先级时，被摄体识别部105使用该优先级决定重要性，并输出到输入输出特性控制部104。输入输出特性控制部104，使用从被摄体识别部105得到的被摄体信息控制输入输出特性。其中，图6的系统结构例中没有图示用户接口和液晶监示器，但实际上具备一般的摄像机或静态相机的全部结构要素。

用图10说明根据用户输入来决定重要性的方法。当用户使用用户接口执行被摄体的优先级设定菜单时，重要性决定部601在液晶监示器上显示如图10所示的框。此时，用户选中的人物上显示的框1001被强调显示，除此以外的人物上显示的框1002以不如框1001显眼的颜色显示。用户每进行一次用户接口的按钮操作，就切换一次强调显示的框。用户对选中的人物设定优先级。设定优先级时，在重要性决定部106中根据优先级决定重要性。

通过以上方法，在存在多个被摄体的场景中，用户能够设定被摄体的重要性。

(3-B)根据被摄体识别处理部输出的被摄体信息决定重要性

用图6说明使用被摄体识别处理部输出的被摄体信息来决定重要性的流程。重要性决定部601，从被摄体识别部105输出的被摄体信息中读出被摄体的位置，计算距画面中心的距离。之后，根据计算出的距离决定重要性。例如，距离越近重要性越高。此时，也可以不采用距画面中心的距离，而是从被摄体信息中读出被摄体的大小用于决定重要性。例如，被摄体越大重要性越高。此外，也可以从被摄体识别部105输出的被摄体信息中读出识别可信度，用该识别可信度决定重要性。此处，所谓识别可信度，是根据识别精度相应变化的值。例如，识别可信度越高重要性越高。

通过以上方法，能够在存在多个被摄体的场景中自动设定被摄体的重要性。

(4)作为输入输出特性控制对象的被摄体的上限数设定

在影像中拍摄到多个被摄体的情况下，若放大所有被摄体的灰度，则针对各被摄体的灰度放大的效果可能会减弱。为解决该问题，能够使用重要性。例如，当设定被摄体上限数，从重要性高的被摄体中选择不超过该被摄体上限数的数量，仅对所选择的被摄体进行灰度放大时，仅重要性高的被摄体的灰度被放大，视认性提高。此外，也可以设定阈值，如果重要性小于阈值则不进行灰度放大。

图11是表示具备作为输入输出特性控制对象的被摄体的上限数设定单元的系统结构的一个例子的图。以下说明使用被摄体上限数的方法。被摄体上限数设定部1101，用于设定作为灰度放大的对象的被摄体的上限数。例如当用户使用用户接口设定被摄体上限数时，被摄体上限数设定部1101将设定值输出到被摄体识别部105。被摄体识别部105，根据重要性决定部601中得到的重要性从高到低的顺序将不超过上限数的数量的被摄体信息输出到输入输出特性控制部104。输入输出特性控制部104，根据该被摄体信息进行输入输出特性控制。另外，在使用阈值的方法中，用户在被摄体上限数设定部1101中设定阈值。输入输出特性控制部中，对于重要性比该阈值高的被摄体进行灰度放大。图11的系统结构例中没有图示用户接口和液晶监示器，但实际上具备一般的摄像机或静态相机的全部结构要素。

(5)对被摄体显示框

图12是表示对被摄体进行框显示的系统结构的一个例子的图。框显示部1201，根据使用由被摄体识别部105生成的被摄体信息进行的输入输出特性控制的结果，在被摄体的周边显示框。作为要显示框的对象，可以对没有通过输入输出特性控制部104放大灰度的被摄体显示，也可以对放大了灰度的被摄体显示。如果用户可以在这之间进行切换，则易用性会提高。此外，也可以根据由重要性决定部601决定的重要性来改变要显示框的被摄体。例如，若对重要性高的被摄体显示框，则可以提高重要性高的被摄体的视认性。

图13是表示对没有通过输入输出特性控制部104放大灰度的被摄体进行框显示的效果的图。第一被摄体1301处于通过输入输出特性控制放大了灰度的状态，第二被摄体1302处于没有应用输入输出特性控制进行灰度放大的状态。根据本实施例，通过在第二被摄体1302的周边显示框1303，除利用放大灰度带来的视认性的提高之外，也能够实现其它的被摄体的视认性的提高。此外，如果用户能够自由设定框1303的颜色，则易用性会提高。

通过以上方法，对于不能够放大灰度的被摄体也能够提高用户的视认性。

(6)其他输入输出特性控制

以下说明上述输入输出特性控制方法以外的方法。图14是本发明中的实施例2的概念图。

第一区域亮度信号修正单元1401，根据该第一区域输入输出特性控制单元003的输出，按每个小区域修正输入亮度信号的输入输出特性。

第一区域输入输出特性控制单元1402，在图像内的任意的小区域中，使用包括该区域的周边像素在内的局部区域的信息，进行用于使输入输出特性变化的控制。

图15是表示第一区域单元的概念的一个例子，左侧表示的是同时具有欠曝(黑溢出)的暗区域、过曝(白溢出)的亮区域和灰度自始就清晰的普通区域的输入图像。此外，右侧表示的是用于改善各区域的对比度的输入输出特性。

上述第一区域输入输出特性控制单元1402(图14)，根据局部区域的信息，对于小区域的明亮度，例如如图15左侧所示判定为暗区域、普通区域、亮区域这样3个区域，如图15右侧所示选择改善对比度的各自的输入输出特性。这样，通过将局部区域的信息用于明亮度的判定，能够抑制因噪声的影响导致的输入输出特性的剧烈变化。

第二区域亮度信号修正单元1403(图14)，根据该第二区域输入输出特性控制单元1404(图14)的输出，进行亮度信号的输入输出特性的修正。

第二区域输入输出特性控制单元1404(图14)，根据该第二区域亮度信号修正单元1401(图14)的输出，按每个任意的图像区域统一地(一律地)进行用于使输入输出特性变化的控制。

被摄体识别单元1405，识别影像内的被摄体并生成被摄体信息。关于该被摄体信息，在第一区域亮度信号修正单元1401、第一区域输入输出特性控制单元1402、第二区域亮度修正单元1403、第二区域输入输出特性单元1404中进行输入输出特性控制时，使用该被摄体信息。例如，将由被摄体识别单元识别出的被摄体的区域，用作各单元1401至1404中进行控制的对象的小区域。

图16是表示第二区域单元的概念的一个例子。是根据任意的图像区域，用亮度直方图等捕捉图像的特征，以使其具有特征部分的灰度的方式，按画面统一地使输入输出特性变化的单元。作为图像的特征，在亮度较多地分布在中心的情况下，判断为特征分布在中间亮度等级，在低亮度、高亮度中特征的分布较少。使输入输出特性具有抑制低亮度、高亮度的灰度、扩展中亮度的灰度的S型的特性。此外，在亮度分布在低亮度的情况下，判断为特征分布在低亮度部分，在高亮度部分中分布较少。对输入输出特性，赋予扩展低亮度部分的灰度、抑制本来分布就少的高亮度部分的灰度的变化。这样，根据输入的亮度分布，判断分布较少的部分和较多的部分，通过与该分部的特征相应地调整色调曲线的形状和倾斜度，来有效利用信号分布较少的部分，实现图像的特征部分的高对比度。

以上用附图说明了本发明的适当的实施例。根据本发明，在数字摄像机和静态相机中，能够放大灰度，即使在拍摄明暗差较为剧烈的场景时也能够抑制欠曝(黑溢出)和过曝(白溢出)的发生，并且能够通过优先放大用户要观看的特定被摄体的灰度(等级)来提高视认性。

此外，本发明并不限定于上述实施例，也包括各种变形例。例如，上述实施例是为了易于理解地说明本发明进行的详细说明，并不限定于必须具备说明的所有结构。此外，能够将某个实施例的结构的一部分置换为其他实施例的结构，也能够在某个实施例的结构上增加其他实施例的结构。此外，对于各实施例的结构的一部分，也能够进行其他结构的追加、删除、置换。

此外，上述各结构、功能、处理部、处理单元等的一部分或者全部能够通过例如集成电路设计等用硬件实现。此外，上述各结构、功能等，也可以通过由处理器解释并执行实现各功能的程序来用软件实现。实现各功能的程序、表、文件等信息，能够存储在存储器、硬盘、SSD(SolidStateDrive：固态硬盘)等记录装置，或者IC卡、SD卡、DVD等记录介质中。

此外，关于控制线和信息线表示了认为说明上需要的，不一定表示了产品上所有的控制线和信息线。也可以认为实际上几乎所有结构都是相互连接的。

本发明能够用于无论民用、监视、车载、业务用的所有数字摄像机和静态相机。

Claims

1.一种图像信号处理装置，其特征在于，包括：

影像输入单元；

对从所述影像输入单元输出的信号进行信号处理来生成影像信号的影像信号处理单元；

对由所述影像信号处理单元生成的影像信号的特性进行控制的输入输出特性控制单元；和

对由所述影像信号处理单元生成的影像信号进行图像处理来识别、检测被摄体信息的被摄体识别单元，其中，

所述输入输出特性控制单元将由所述被摄体识别单元识别出的被摄体信息用于输入输出特性的控制，

所述输入输出特性控制单元包括：

与输入亮度信号的值联动，按每个任意的区域控制输入输出特性的变化的第一区域输入输出特性控制单元；

根据该第一区域输入输出特性控制单元的输出，按图像内的每个小区域使亮度信号的输入输出特性变化的第一区域亮度信号修正单元；

与该第一区域亮度信号修正单元的输出联动，按每个任意的区域控制输入输出特性的变化的第二区域输入输出特性控制单元；和

根据该第二区域输入输出特性控制单元的输出，使亮度信号的输入输出特性变化的第二区域亮度信号修正单元，

所述输入输出特性控制单元，基于由所述被摄体识别单元生成的被摄体信息，所述第一区域输入输出特性控制单元或所述第二区域输入输出特性控制单元使用于输入输出特性控制的所述小区域的大小或数量变化，并使每个该小区域的输入输出特性变化。

2.如权利要求1所述的图像信号处理装置，其特征在于，包括：

作为影像输入单元的拍摄单元；

作为影像信号处理单元，对从所述拍摄单元输出的信号进行摄像机信号处理来生成影像信号的摄像机信号处理单元；

对由所述摄像机信号处理单元生成的影像信号的输入输出特性进行控制的输入输出特性控制单元；和

对由所述摄像机信号处理单元生成的影像信号进行图像处理来识别、检测被摄体信息的被摄体识别单元，其中，

所述输入输出特性控制单元将由所述被摄体识别单元识别出的被摄体信息用于输入输出特性的控制。

3.如权利要求1或2所述的图像信号处理装置，其特征在于：

所述输入输出特性控制是对影像的灰度进行控制。

4.如权利要求1或2所述的图像信号处理装置，其特征在于：

基于由所述被摄体识别单元生成的被摄体信息，在所述输入输出特性控制单元，控制对于被摄体及其以外的区域的输入输出特性变化量。

5.如权利要求1或2所述的图像信号处理装置，其特征在于：

基于由所述被摄体识别单元生成的被摄体信息，控制所述输入输出特性控制单元的输入输出特性变化量。

6.如权利要求5所述的图像信号处理装置，其特征在于：

所述输入输出特性控制单元的输入输出特性控制量，根据从画面的中心到被摄体的距离决定。

7.如权利要求5所述的图像信号处理装置，其特征在于：

所述输入输出特性控制单元的输入输出特性控制量，根据被摄体的大小决定。

8.如权利要求1或2所述的图像信号处理装置，其特征在于，包括：

决定被摄体的优先级的优先级决定单元；和

在所述被摄体识别单元识别出多个被摄体时，按照由所述优先级决定单元决定的优先顺序，对各被摄体决定重要性的被摄体重要性决定单元。

9.如权利要求8所述的图像信号处理装置，其特征在于：

所述被摄体重要性决定单元，在决定重要性时使用从画面的中心到被摄体的距离。

10.如权利要求8所述的图像信号处理装置，其特征在于：

所述被摄体重要性决定单元，在决定重要性时使用被摄体的大小。

11.如权利要求8所述的图像信号处理装置，其特征在于：

基于由所述被摄体重要性决定单元决定的重要性，控制所述输入输出特性控制单元的输入输出特性变化量。

12.如权利要求8所述的图像信号处理装置，其特征在于：

基于由所述被摄体重要性决定单元决定的重要性，决定作为所述输入输出特性控制单元的输入输出特性控制的对象的被摄体的数量。

13.如权利要求1或2所述的图像信号处理装置，其特征在于，包括：

决定作为所述输入输出特性控制单元的输入输出控制对象的被摄体的上限数的被摄体上限数决定单元。

14.如权利要求13所述的图像信号处理装置，其特征在于，包括：

阈值决定单元，决定用于决定作为所述输入输出特性控制单元的输入输出特性控制对象的被摄体的上限数的阈值，

在利用所述被摄体上限数决定单元来决定被摄体的上限数时使用所述阈值。

15.如权利要求8所述的图像信号处理装置，其特征在于，包括：

基于由所述被摄体识别单元生成的被摄体信息在被摄体的周边显示框的框显示单元。

16.如权利要求15所述的图像信号处理装置，其特征在于：

基于所述重要性来决定利用所述框显示单元显示框的对象。

17.如权利要求15所述的图像信号处理装置，其特征在于：

根据所述输入输出特性控制单元的输入输出特性变化量，来决定利用所述框显示单元显示框的对象。