CN107645633A - 图像处理装置 - Google Patents

Abstract

图像处理装置。本发明对通过拍摄而生成的图像实施校正处理，由此实现图像的视觉辨认性的改善。图像处理装置(1)具有：区域设定部(12)，其对在校正用画面中显示的作为校正对象的图像设定作为校正对象的区域；特征量分析部(13)，其分析作为校正对象的区域中包含的图像的特征量，确定应对作为校正对象的区域内的图像实施的校正的类型及校正参数；以及校正处理部(14)，其依照所确定的校正的类型及校正参数对作为校正对象的区域内的图像进行校正，该图像处理装置替换校正前的图像中的被校正后的作为校正对象的区域的图像并提示给用户。

Description

图像处理装置

技术领域

本发明涉及图像处理装置，尤其涉及对所记录的图像的校正。

背景技术

在由监视摄像机等拍摄的图像中，例如在逆光等拍摄时存在视觉辨认性由于状况和/或噪声而下降的情况。特别是在由监视摄像机拍摄的动态图像中，视觉辨认性的下降是致命性的，因而期待改善视觉辨认性。

【专利文献】

【专利文献1】日本特开2004－336127号公报

【专利文献2】日本特开平7－288806号公报

【专利文献3】日本特开2012－124839号公报

【专利文献4】日本特开2007－272477号公报

【专利文献5】日本特开2004－234561号公报

【专利文献6】日本特开2009－284270号公报

【专利文献7】日本特开2012－124659号公报

发明内容

发明要解决的问题

本发明的目的在于，对通过拍摄而生成的图像实施校正处理，由此实现图像的视觉辨认性的改善。

用于解决问题的手段

本发明的图像处理装置具有：区域设定单元，其对所显示的图像设定作为校正对象的区域；分析单元，其对由所述区域设定单元设定的区域的特征量进行分析，确定对作为校正对象的区域内的图像应实施的校正的类型及校正参数；以及校正处理单元，其依照由所述分析单元确定的内容对作为校正对象的区域内的图像进行校正。

另外，所述分析单元在由用户指定的情况下，依照该指定的内容确定校正的类型及校正参数。

本发明的图像处理装置具有：状况信息取得单元，其取得表示作为校正对象的图像在拍摄时的状况的状况信息；分析单元，其根据所述状况信息确定校正的类型及校正参数；以及校正处理单元，其依照由所述分析单元确定的内容对作为校正对象的图像进行校正。

本发明的图像处理装置具有：取得单元，其取得如下图像作为参照图像，该图像是由拍摄了作为校正对象的图像的摄影单元对同一摄影区域进行拍摄而生成的不需要校正的视觉辨认性高的图像；分析单元，其根据所述作为校正对象的图像和所述参照图像之间的差分，确定校正的类型及校正参数；以及校正处理单元，其依照由所述分析单元确定的内容对所述作为校正对象的区域内的图像进行校正。

本发明的图像处理装置具有：检测单元，其检测由校正处理单元校正后的图像的规定特性；分析单元，其根据所述检测单元的检测结果来确定校正的类型及校正参数；以及所述校正处理单元，其依照由所述分析单元确定的内容对作为校正对象的区域内的图像进行校正。

本发明的程序使计算机作为以下单元发挥作用：区域设定单元，其对所显示的图像设定作为校正对象的区域；分析单元，其对由所述区域设定单元设定的区域的特征量进行分析，确定应对作为校正对象的区域内的图像实施的校正的类型及校正参数；以及校正处理单元，其依照由所述分析单元确定的内容对作为校正对象的区域内的图像进行校正。

本发明的程序使计算机作为以下单元发挥作用：状况信息取得单元，其取得表示作为校正对象的图像在拍摄时的状况的状况信息；分析单元，其根据所述状况信息确定校正的类型及校正参数；以及校正处理单元，其依照由所述分析单元确定的内容对作为校正对象的区域内的图像进行校正。

发明效果

根据本发明，对通过拍摄而生成的图像实施校正处理，由此实现图像的视觉辨认性的改善。

附图说明

图1是形成实施方式1的图像处理装置的计算机的硬件结构图。

图2是实施方式1的图像处理装置的结构框图。

图3是示出实施方式1的图像视觉辨认性改善处理的流程图。

图4是示出实施方式1的校正用画面的显示例的图。

图5是实施方式2的图像处理装置的结构框图。

图6是示出实施方式2的图像视觉辨认性改善处理的流程图。

图7是实施方式3的图像处理装置的结构框图。

图8是示出实施方式3的图像视觉辨认性改善处理的流程图。

图9是实施方式4的图像处理装置的结构框图。

图10是示出实施方式4的图像视觉辨认性改善处理的流程图。

标号说明

1图像处理装置；11用户界面(UI)处理部；12区域设定部；13特征量分析部；14、23、33、41校正处理部；21状况信息取得部；22、32、44校正参数确定部；31参照图像取得部；34基准图像存储部；42检出率计算部；43检出率比较部；45检出率信息存储部；51CPU；52ROM；53RAM；54硬盘驱动(HDD)；55鼠标；56键盘；57显示器；58输入输出控制器；59网络控制器；60内部总线。

具体实施方式

下面，根据附图说明本发明的优选实施方式。

图1是形成本实施方式的图像处理装置1的计算机的硬件结构图。在本实施方式中，形成图像处理装置1的计算机能够利用以往已有的通用的硬件结构来实现。即，图像处理装置1是如图1所示将CPU 51、ROM 52、RAM 53、硬盘驱动器(HDD)54、输入输出控制器58、作为通信单元而设置的网络控制器59与内部总线60连接而构成的，输入输出控制器58分别连接作为输入单元设置的鼠标55和键盘56、以及作为显示装置设置的显示器57。

本实施方式的特征在于，对通过监视摄像机等的拍摄而生成的图像实施图像处理，由此改善视觉辨认性。作为该图像处理的方法，在本实施方式中提供基于区域选择的校正处理、使用了状况信息的校正处理、利用了参照图像的校正处理、以及利用了物体检出功能的校正处理这四种处理功能。下面，关于四种功能各自的特征性图像的视觉辨认性改善处理，分为后述的各实施方式进行说明。

实施方式1(基于区域选择的校正处理功能)

图2是本实施方式的图像处理装置1的结构框图。另外，图2中省略了在本实施方式的说明中并非必要的构成要素。本实施方式的图像处理装置1具有用户界面(UI)处理部11、区域设定部12、特征量分析部13及校正处理部14。用户界面处理部11在显示器57显示后述的校正用画面，受理用户进行的关于校正的指示，并且在校正用画面中显示校正处理的执行结果。区域设定部12对在校正用画面中显示的图像，按照用户的操作指示设定作为校正对象的区域。特征量分析部13对由区域设定部12设定的区域的特征量进行分析，确定对作为校正对象的区域内的图像应实施的校正的类型及校正参数。校正处理部14依照由特征量分析部13确定的内容，对作为校正对象的区域内的图像进行校正。

图像处理装置1的各构成要素11～14通过形成图像处理装置1的计算机与在搭载于计算机的CPU 51中运行的程序的协调动作而实现。

另外，在后述的功能中也同样，在本实施方式中使用的程序当然能够通过通信单元进行提供，但也能够存储在CD-ROM和USB存储器等计算机可读记录介质中进行提供。从通信单元或记录介质提供的程序被安装在计算机中，通过由计算机的CPU 51依次执行程序来实现各种处理。

下面，关于用于改善图像的视觉辨认性的本实施方式的处理，使用图3的流程图进行说明。本实施方式的特征在于，不将作为处理对象的图像整体作为校正对象，而仅将用户指定的区域中包含的图像作为校正对象。另外，在本实施方式中，以对通过监视摄像机的拍摄而生成的动态图像进行处理的情况为例进行说明。当然，也可以是静态图像或者通过其它摄影单元生成的图像。图像处理装置1从监视摄像机等外部设备取得动态图像，并保存在硬盘驱动器54中。这对于以后的实施方式也一样。

图4是示出在利用本功能时使用的校正用画面的显示例的图。关于该校正用画面，与处理的说明一起进行说明。在用户起动规定的应用时，用户界面处理部11在显示器57显示图4例示的校正用画面。并且，用户选择动态图像读取按钮61，在从显示于显示器57的文件列表中选择图像文件时，用户界面处理部11将该选择的图像文件显示于校正用画面的处理对象图像显示区域62中。另外，如图4例示的那样，所选择的图像文件名被显示在画面上部。

动态图像是多个静态图像的集合，用户界面处理部11按照用户对操作按钮63的操作使动态图像再现。并且，在用户停止动态图像的再现并选择了作为校正对象的图像后选择了范围指定按钮64时，用户界面处理部11转入范围指定模式。并且，用户使用鼠标55在处理对象图像显示区域62中指定想要校正的图像的区域。这例如利用指示区域的左上部和右下部来确定矩形区域的普通的方法来指定区域。或者，例如在显示装置是操作面板的情况下，在用户接触画面并用指尖等指示想要指定的区域的大致中心点时，用户界面处理部11在手指接触操作面板的期间从该接触的一点起逐渐扩大选择区域。并且，受理在用户将手指离开操作面板时在该时刻扩大后的区域作为用户指定的区域。该情况时的区域的形状可以是矩形，也可以是圆形，还可以让用户指定区域的形状。或者，也可以将用户使手指等接触操作面板的位置的像素值与该位置周围的像素值进行比较，将像素值极端变化的部分作为边界线来确定区域。在图4中，示出了以矩形形状指定校正对象区域65的例子。另外，在本实施方式中，准备了仅将指定了校正对象区域65的静态图像作为校正对象的静态图像校正、和在动态图像整体中将校正对象区域65作为校正对象的动态图像校正。

在用户按照以上所述指定了校正对象区域65后选择了处理执行按钮66时，区域设定部12分析图像，设定其选择区域(步骤101)。具体地讲，确定校正对象区域65的坐标位置。

接着，特征量分析部13对由区域设定部设定的区域的特征量进行分析，判定适合进行什么样的校正而确定其校正类别，并且判定在所确定的校正类型(内容)中以何种程度的级别进行校正(步骤102)。关于特征量的分析方法，可以利用以往已有的技术。例如，根据亮度直方图的分布自动或者手动地设定作为暗部亮度阈值的参数，对小于该亮度值的像素的亮度进行暗部校正。在本实施方式中，作为校正类别，列举出使较暗的图像变明亮的暗部校正以及去除雾霭的雾霭校正的例子，但也可以包含除此以外的校正。例如，进行降低噪声的校正。当然，不需要限定于任意一种校正，也可以选择多种校正类别。

另外，特征量分析部13根据该校正对象区域内的图像的明暗和/或浓淡的程度确定校正参数(步骤103)。当然，不需要限定于明暗和浓淡，例如也可以根据亮度分布、噪声量、对比度等确定校正参数。另外，在本实施方式中，如图4所示在校正用画面中设定校正类别、校正级别及降噪的各设定区域67、68、69，因而如果用户具备某种程度的有关图像校正的知识，则也可以根据该设定区域67来指定校正类别。特征量分析部13在用户指定了校正类别的情况下，依照该指定的内容确定校正的类型。同样，特征量分析部13在用户根据设定区域68、69指定了校正参数的情况下，以该指定的级别值为参考来确定校正参数。

接着，校正处理部14依照所确定的校正参数，执行由特征量分析部13确定的校正类别的校正处理(步骤104)。并且，校正处理部14将作为校正对象的图像中的校正对象区域65的图像替换为校正后的图像。用户界面处理部11将反映出以上所述的校正的图像显示在校正完成图像显示区域70中。

根据本实施方式，如上所述仅将用户指定的区域中包含的图像作为校正对象，能够通过该校正使指定的区域内的图像变清晰。例如，在提高图像整体的明亮度时，已经是明亮的部分的图像将明亮得超过必要程度反而不容易视觉辨认，而在本实施方式中，能够仅使想要变明亮的区域内的图像变明亮，因而不会产生这种问题，能够改善图像的视觉辨认性。

另外，在本实施方式中，说明了用户仅指定一个校正对象区域65的情况，但也可以指定多个校正对象区域65。并且，所执行的校正处理的类别不限于一种，可以针对每个校正对象区域65进行设定。

实施方式2(使用了状况信息的校正处理功能)

图5是本实施方式的图像处理装置1的结构框图。另外，图5中省略了在本实施方式的说明中并非必要的构成要素。本实施方式的图像处理装置1具有状况信息取得部21、校正参数确定部22及校正处理部23。状况信息取得部21取得表示作为校正对象的图像在拍摄时的状况的状况信息。校正参数确定部22根据状况信息确定校正类别及校正参数。校正处理部23根据所确定的校正类别及校正参数，对作为校正对象的图像进行校正。

图像处理装置1的各构成要素21～23通过形成图像处理装置1的计算机与在搭载于计算机的CPU 51中运行的程序的协调动作而实现。

本实施方式的特征在于，着眼于表示拍摄作为校正对象的图像(以下简称为“图像”)时的状况的信息(以下称为“状况信息”)。图像例如可以与实施方式1同样地让用户进行选择。

本实施方式的状况信息包含监视摄像机的设置环境信息、拍摄日期时间信息、天气信息、光源信息、进出信息等拍摄图像时的监视摄像机的周边环境的信息、取决于图像被拍摄的时侯的信息。例如，监视摄像机的设置环境信息包含监视摄像机的规格、设置位置(室内或者室外、楼层数、入口等)、拍摄方向(方位角)、从室内向室外的方向或者从室外向室内的方向等。拍摄日期时间信息包含在生成图像时确定日期时间的信息。天气信息包含拍摄日期时间下的天气信息。光源信息包含拍摄日期时间下的照明和/或太阳的朝向和/或光量。在室外的情况下，还包括监视摄像机与外部灯之间的位置关系、与上述重复的拍摄方向(方位角)等。在室内的情况下，还包括监视摄像机与照明之间的位置关系、照明的规格等。进出信息包含最先入室者及最后出室者的日期时间信息，以便确定设置有监视摄像机的房间的照明的点亮、熄灭。

虽然从一台监视摄像机应该得到同样图像质量的图像，但是实际上受到太阳和照明等导致的逆光和点亮/熄灭状态的影响，在明暗度不同的状态下生成图像。因此，在本实施方式中，优选考虑时节和拍摄日期时间的状况判定图像校正的必要性，在判定为必要的情况下，调整进行什么样的内容(类型)的校正、此时的校正参数应怎样设定来进行校正。

因此，在本实施方式中，参照拍摄图像时的状况信息校正图像。列举具体例子，在拍摄室外得到的图像的情况下，从白天到夜间逐渐变暗。因此，利用同一监视摄像机拍摄的图像的明亮度也在逐渐降低，因而对其进行校正。具体地讲，例如预先以季节和月为单位设定昼夜的时刻(日出、日落)，根据所设定的时刻与当前时刻之间的关系进行校正。并且，即使同样在室外，也许会由于拍摄方向而受到逆光的影响。另外，如果不是晴天，则也许会生成相对较暗的图像。因此，优选参照天气信息调整校正参数。

另一方面，在室内的情况下，容易受到照明点亮状态的影响。因此，也可以结合进出信息根据有无在室人员来推测点亮状态，以便确认点亮状态。关于入口、走廊等共用部分，也可以根据中央监视装置和/或照明控制用控制器等的日程表时刻来推测点亮状态。

下面，关于用于改善图像的视觉辨认性的本实施方式的处理，使用图6所示的流程图进行说明。

在本实施方式中，如前面所述根据状况信息校正图像。因此，状况信息取得部21取得上述示例的状况信息(步骤201)。取得目标根据要取得的信息而不同。另外，校正参数确定部22通过分析所取得的状况信息，能够估计图像受到什么样的影响，因而根据所估计的影响的内容及程度来确定校正类别及校正参数(步骤202)。例如，如果是来自在受到太阳光的影响的位置处设置的监视摄像机的图像，则如果该图像是在傍晚拍摄的则进行暗部校正，或者根据天气来推测暗的程度而确定校正参数。另外，校正处理部23根据所确定的校正类别及校正参数对作为校正对象的图像进行校正(步骤203)。

根据本实施方式，如以上所述参照拍摄时的状况进行图像的校正，因而能够实现图像的视觉辨认性的改善。

实施方式3(利用了参照图像的校正处理功能)

图7是本实施方式的图像处理装置1的结构框图。另外，图7中省略了在本实施方式的说明中并非必要的构成要素。本实施方式的图像处理装置1具有参照图像取得部31、校正参数确定部32、校正处理部33及基准图像存储部34。参照图像取得部31取得由拍摄了作为校正对象的图像(以下称为“校正对象图像”)的摄影单元对同一摄影区域进行拍摄而生成的视觉辨认性高的图像，作为参照图像。视觉辨认性高的图像是指清晰而不需要校正的图像。校正参数确定部32根据作为校正对象的图像与参照图像之间的差分，确定校正的类型及校正参数。校正处理部33根据所确定的校正类别及校正参数，对作为校正对象的图像进行校正。

在基准图像存储部34中蓄积通过监视摄像机的拍摄而生成的图像中视觉辨认性高而不需要校正的图像作为基准图像。基准图像由管理员等事先挑选并登记在基准图像存储部34中。当然，不限于由管理员等进行的事先登记，例如也可以参考在初期运用中用户想要通过手动校正的程度和/或校正类别的实绩，自动生成基准图像并进行登记。或者，也可以在运用的过程中追加基准图像，还可以校正基准图像而重新生成基准图像并进行登记。

图像处理装置1的各构成要素31～33通过形成图像处理装置1的计算机与在搭载于计算机的CPU 51中运行的程序的协调动作而实现。另外，基准图像存储部34利用搭载于图像处理装置1的HDD 54实现。或者，也可以经由网络利用位于外部的存储单元。

下面，关于用于改善图像的视觉辨认性的本实施方式的处理，使用图8所示的流程图进行说明。

在用户选择校正对象图像时，参照图像取得部31参照与校正对象图像相对应的属性信息例如在拍摄中使用的监视摄像机和拍摄日期时间等，从在基准图像存储部34中蓄积的基准图像中提取并取得能够成为参照图像的基准图像(步骤301)。校正对象图像例如与实施方式1一样可以让用户选择。

接着，校正参数确定部32通过比较校正对象图像和参照图像而提取差分，根据该差分确定校正类别及校正参数(步骤302)。例如，如果是根据提取出的差分得知校正对象图像是带有雾霭(模糊)的图像，则进行雾霭校正，根据差分的值推测雾霭的程度而确定校正参数。并且，校正处理部33根据所确定的校正类别及校正参数对作为校正对象的图像进行校正(步骤303)。

根据本实施方式，以使得接近无需校正的参照图像的图像质量的方式进行校正，因而能够实现校正对象图像的视觉辨认性的改善。

实施方式4(利用了物体检出功能的校正处理功能)

图9是本实施方式的图像处理装置1的结构框图。另外，图9中省略了在本实施方式的说明中并非必要的构成要素。本实施方式的图像处理装置1具有校正处理部41、检出率计算部42、检出率比较部43、校正参数确定部44及检出率信息存储部45。校正处理部41依照由校正参数确定部44确定的内容，对作为校正对象的区域内的图像进行校正。检出率计算部42计算由校正处理部41校正后的图像中包含的已知物体的检出率，将其计算结果保存在检出率信息存储部45中。检出率比较部43比较由检出率计算部42计算出的检出率，确定检出率最高的校正强度。校正参数确定部44根据由检出率比较部43根据检出率确定出的校正强度，确定校正类型及校正参数。

图像处理装置1的各构成要素41～44通过形成图像处理装置1的计算机与在搭载于计算机的CPU 51中运行的程序的协调动作而实现。另外，基准图像存储部34利用搭载于图像处理装置1的HDD 54实现。或者，也可以经由网络利用位于外部的存储单元。

本实施方式的特征在于，找出检出率最大的校正的类型及校正参数并进行反馈，以便依照该校正的类型及校正参数对图像进行校正。

下面，关于用于改善图像的视觉辨认性的本实施方式的处理，使用图10所示的流程图进行说明。

校正处理部41按照上述各实施方式所述进行图像的校正，检出率计算部42根据该校正后的图像计算已知物体的检出率，将其计算结果保存在检出率信息存储部45中(步骤401)。已知物体是指根据监视摄像机的设置目地而事先确定将被拍摄的物体，如人脸、车辆的车牌等。

检出率计算部42一边改变校正强度一边计算多个检出率，检出率比较部43从多个检出率中确定检出率为最高时的校正强度(步骤402)。校正参数确定部44变更并调整校正的类型及校正参数，确定用于得到该校正强度的校正的类型及校正参数(步骤403)。

然后，校正处理部41根据由校正参数确定部44新确定的校正的类型及校正参数进行校正。

在处理对象是动态图像的情况下，可以对一个帧图像进行以上的处理，也可以将多个帧图像作为处理对象。在作为处理对象的图像被记录在HDD 54中的情况下，通过对该图像反复进行以上的处理，能够找出最佳的校正的类型及校正参数，能够进一步改善视觉辨认性。在假设将未保存的动态图像作为处理对象的情况下，对前级的帧图像实施上述处理而确定校正的类型及校正参数，将其反馈的结果适用于后续的帧图像。

另外，在本实施方式中，以使用检出率作为图像的规定特性的情况为例进行了说明，但不限于此，例如也可以使用对比度、边缘的尖锐性(尖锐度)等其它特质。

如以上说明的那样，在上述各实施方式中分别说明了改善图像的视觉辨认性的处理功能，但也可以根据需要适当组合实施。

Claims (5)

1.一种图像处理装置，其特征在于，该图像处理装置具有：

区域设定单元，其对所显示的图像设定作为校正对象的区域；

分析单元，其对由所述区域设定单元设定的区域的特征量进行分析，确定应对作为校正对象的区域内的图像实施的校正的类型及校正参数；以及

校正处理单元，其依照由所述分析单元确定的内容对作为校正对象的区域内的图像进行校正。

2.根据权利要求1所述的图像处理装置，其特征在于，

在由用户指定的情况下，所述分析单元依照该指定的内容确定校正的类型及校正参数。

3.一种图像处理装置，其特征在于，该图像处理装置具有：

状况信息取得单元，其取得状况信息，该状况信息表示拍摄作为校正对象的图像时的状况；

分析单元，其根据所述状况信息确定校正的类型及校正参数；以及

校正处理单元，其依照由所述分析单元确定出的内容对作为校正对象的区域内的图像进行校正。

4.一种图像处理装置，其特征在于，该图像处理装置具有：

取得单元，其取得由拍摄了作为校正对象的图像的摄影单元对同一摄影区域进行拍摄而生成的不需要校正的视觉辨认性高的图像，作为参照图像；

分析单元，其根据所述作为校正对象的图像与所述参照图像之间的差分，确定校正的类型及校正参数；以及

校正处理单元，其依照由所述分析单元确定的内容对所述作为校正对象的图像进行校正。

5.一种图像处理装置，其特征在于，该图像处理装置具有：

检测单元，其检测由校正处理单元校正后的图像的规定特性；

分析单元，其根据所述检测单元的检测结果来确定校正的类型及校正参数；以及

所述校正处理单元，其依照由所述分析单元确定的内容对作为校正对象的区域内的图像进行校正。