CN111492399A - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents
图像处理装置、图像处理方法以及图像处理程序 Download PDFInfo
- Publication number
- CN111492399A CN111492399A CN201880081177.5A CN201880081177A CN111492399A CN 111492399 A CN111492399 A CN 111492399A CN 201880081177 A CN201880081177 A CN 201880081177A CN 111492399 A CN111492399 A CN 111492399A
- Authority
- CN
- China
- Prior art keywords
- signal intensity
- image processing
- image
- standard value
- peripheral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 82
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 230000002093 peripheral effect Effects 0.000 claims abstract description 81
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 239000000284 extract Substances 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 28
- 238000000034 method Methods 0.000 claims description 16
- 238000005286 illumination Methods 0.000 claims description 12
- 238000002310 reflectometry Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
提供一种图像处理装置、图像处理方法以及图像处理程序,其能够对于反射率的振幅对于图像的每个局部区域不同的图像可适当校准对比度。提供一种图像处理装置,其具备信号强度提取部、周边区域标准值计算部、强调程度决定部,将输入于该图像处理装置的输入图像的反射率定义为信号强度,将上述输入图像的一部分且由至少一个像素构成的区域定义为小区域的情况下,上述信号强度提取部提取上述输入图像的信号强度,上述周边区域标准值计算部基于位于关注的上述小区域周边的周边区域的信号强度计算周边区域标准值,上述强调程度决定部以提高上述小区域的信号强度的方式决定该信号强度的强调程度,相对于上述周边区域标准值与规定值的差分,上述强调程度为单调不减。
Description
【技术领域】
本发明涉及图像处理装置、图像处理方法以及图像处理程序。
【背景技术】
作为校准图像对比度的方法之一,已经提出了一种基于Retinex理论的被称为多尺度Multi Scale Retinex方法的图像处理方法,并且该方法被公知为实现高可视性改善效果的方法。
【现有技术文献】
【专利文献】
【专利文献1】日本特开2005-515515号公报
发明内容
【发明所要解决的课题】
但是,在传统的Multi Scale Retinex方法中,由于对图像进行了统一的归一化处理,因此当反射率的振幅对于图像的每个局部区域不同时,存在无法适当地校准对比度的问题(例如,参见图10A和10B)。
本发明是鉴于这样的情况而完成的,其目的在于提供一种图像处理装置、图像处理方法以及图像处理程序,其能够对于反射率的振幅对于图像的每个局部区域不同的图像可适当校准对比度。
【用于解决课题的方案】
根据本发明的观点,提供一种图像处理装置,其具备信号强度提取部、周边区域标准值计算部、强调程度决定部,将输入于该图像处理装置的输入图像的反射率定义为信号强度,将上述输入图像的一部分且由至少一个像素构成的区域定义为小区域的情况下,上述信号强度提取部提取上述输入图像的信号强度,上述周边区域标准值计算部基于位于关注的上述小区域周边的周边区域的信号强度计算周边区域标准值,上述强调程度决定部以提高上述小区域的信号强度的方式决定该信号强度的强调程度,相对于上述周边区域标准值与规定值的差分,上述强调程度为单调不减。
本发明所涉及的图像处理装置中,信号强度提取部提取输入图像的信号强度,周边区域标准值计算部基于位于关注的小区域周边的周边区域的信号强度计算周边区域标准值,强调程度决定部以提高小区域的信号强度的方式决定该信号强度的强调程度。并且,相对于周边区域标准值与规定值的差分,强调程度的特征在于单调不减。通过具有这种结构,能够对于反射率的振幅对于图像的每个局部区域不同的图像可适当校准对比度。
以下,例示本发明的各种实施方式。以下所示的实施方式能够相互组合。
优选,将关注的上述小区域的信号强度定义为R、将上述周边区域标准值定义为S、将上述规定值定义为T、将可以作为输出图像输出的信号强度的上限值以及下限值分别定义为OL以及UL的情况下,满足以下条件:
R≧0时,S≦T≦OL
R<0时,UL≦T≦S
优选,从输入于该图像处理装置的输入图像分离反射光成分以及照明光成分且基于所述反射光成分以及照明光成分计算上述信号强度。
另外,根据本发明的另一观点,提供一种图像处理方法,其具备信号强度提取步骤、周边区域标准值计算步骤、强调程度决定步骤,在该方法中,将输入于该图像处理装置的输入图像的反射率定义为信号强度,将上述输入图像的一部分且由至少一个像素构成的区域定义为小区域的情况下,上述信号强度提取步骤中,提取上述输入图像的信号强度,上述周边区域标准值计算步骤中,基于位于关注的上述小区域周边的周边区域的信号强度计算周边区域标准值,上述强调程度决定步骤中,以提高上述小区域的信号强度的方式决定该信号强度的强调程度,相对于上述周边区域标准值与规定值的差分,上述强调程度为单调不减。
本发明所涉及的图像处理方法,信号强度提取步骤中,提取输入图像的信号强度,周边区域标准值计算步骤中,基于位于关注的小区域周边的周边区域的信号强度计算周边区域标准值,强调程度决定步骤中,以提高小区域的信号强度的方式决定该信号强度的强调程度。并且,相对于周边区域标准值与规定值的差分,强调程度的特征在于单调不减。通过这种方法,能够对于反射率的振幅对于图像的每个局部区域不同的图像可适当校准对比度。
另外,根据本发明的另一观点,提供一种使计算机运行规定功能的图像处理程序,上述规定功能具备:信号强度提取功能、周边区域标准值计算功能、强调程度决定功能,将上述输入于计算机的输入图像的反射率定义为信号强度,将上述输入图像的一部分且由至少一个像素构成的区域定义为小区域的情况下,根据上述信号强度提取功能,提取上述输入图像的信号强度,根据上述周边区域标准值计算功能,基于位于关注的上述小区域周边的周边区域的信号强度计算周边区域标准值,根据上述强调程度决定功能,以提高上述小区域的信号强度的方式决定该信号强度的强调程度,相对于上述周边区域标准值与规定值的差分,上述强调程度为单调不减。
根据信号强度提取功能,提取输入图像的信号强度,根据周边区域标准值计算功能,基于位于关注的小区域周边的周边区域的信号强度计算周边区域标准值,根据强调程度决定功能,以提高小区域的信号强度的方式决定该信号强度的强调程度。并且,相对于周边区域标准值与规定值的差分,强调程度的特征在于单调不减。通过使计算机运行这种功能的图像处理程序,能够对于反射率的振幅对于图像的每个局部区域不同的图像可适当校准对比度。
【附图说明】
图1是表示使用了实施方式所涉及的图像处理装置的系统的构成概要的功能框线图。
图2是表示由信号强度提取部、周边区域标准值计算部、强调程度决定部、转换输出部的处理流程的框线图。
图3是表示周边区域标准值计算部决定周边区域标准值的形式的概要图。
图4是表示强调程度决定部决定强调程度的方式的概要图。
图5涉及第一实施方式,是表示信号强度提取部的处理流程(细节)的框线图。
图6涉及第一实施方式,是表示周边区域标准值计算部以及强调程度决定部的处理流程(细节)的框线图。
图7是表示转换输出部的处理流程(细节)的框线图。
图8是输入图像的一个例子。
图9是适用实施方式所涉及的图像处理装置于图像处理时的输出图像(实施例)。
图10是适用常规技术所涉及的图像处理时的输出图像(比较例)。
图11是表示在使用了第一实施方式所涉及的图像处理装置的系统中,使用帧存储器的概要图。
图12是表示在使用了第二实施方式所涉及的图像处理装置的系统中,使用帧存储器的概要图。
图13涉及第二实施方式,是表示信号强度提取部、周边区域标准值计算部以及强调程度决定部的处理流程(细节)的框线图。
【具体实施方式】
以下,参照附图对本发明的实施方式进行详细说明。特别地,在本说明书中,“部”可以指例如通过广义上的电路实施的硬件资源和能够通过这些硬件资源具体实现的软件的信息处理的组合。
此外,广义的电路是通过至少适当地组合电路(circuit)、电路类(circuitry)、处理器(Processor)以及存储器(Memory)等而实现的电路。即,希望留意的是包括面向特定用途的集成电路(Application Specific Integrated Circuit:专用集成电路:ASIC)、可编程逻辑设备(例如,简单可编程逻辑设备(Simple Programmable Logic Device)、SPLD)、复合可编程逻辑设备(Complex Programmable Logic Device:CLPD)、以及现场可编程门阵列(Field Programmable Gate Array:FPGA)等。
另外,本说明书中,从输入于图像处理装置的输入图像分离反射光成分以及照明光成分,且基于反射光成分以及照明光成分计算出的反射率定义为信号强度(对数值),将输入图像的一部分且由至少一个像素构成的区域定义为小区域。此外,图像可包括静态图像/动态图像中的任意一个,在动态图像的情况下,只要没有特别指定,则指的是其中的1帧。
另外,在下述详述的实施方式中,对各种信息、包含其的概念进行处理,它们作为由0或1构成的2进制的比特集合体而由信号值的高低来表示,能够在广义的电路上运行执行通信/运算。具体而言,“小区域”、“像素数据”、“信号强度”、“反射率”、“周边区域标准值”、“强调程度”、“明度”等能够包含在该信息/概念中。关于这些,再次根据需要进行详细说明。
1.第一实施方式
1.1系统1(整体结构)
图1是表示使用了本发明的第一实施方式所涉及的图像处理装置3的系统1的构成概要的图。系统1具备输入图像源2、图像处理装置3、显示部4。
1.1.1输入图像源2
输入图像源2输出作为图像处理装置3图像处理的对象的输入图像,发送至图像处理装置3的发送接收部34(后述)。例如,可以是通常的计算机或便携式终端,也可以是实时可视化外部情况的视觉传感器(摄像机,内窥镜系统等),也可以是播放动态图像的播放机。应予说明,从信息处理的观点出发,该输入图像为二维像素集合(像素数据排列)。应予说明,图1表示为输入图像源2与图像处理装置3是分开的,但不限于此也可实施为输入图像源2包含在图像处理装置3。
1.1.2图像处理装置3
对发送自输入图像源2的图像数据,图像处理装置3运行规定的图像处理。图像处理装置3具备控制部31、存储部32、输入部33、发送接收部34、信号强度提取部35、周边区域标准值计算部36、强调程度决定部37、转换输出部38,通过通信总线3B连接上述部件。以下分别详细说明构成要素31~38。
<控制部31>
控制部31进行与图像处理装置3相关的整体动作的处理/控制。控制部31例如是未图示的中央处理装置(Central Processing Unit:CPU)。控制部31通过读出存储部32中存储的规定的程序,来实现图像处理装置3或系统1的各种功能。例如包括,读出规定的程序,使包含输入图像源2的显示图像的图形用户界面(Graphical User Interface:GUI)的画面显示于显示部4。
应予说明,在图1中,标记为单一的控制部31,但实际上并不限定于此,也可以按照每个功能具有多个控制部31的方式来实施。另外,也可以是它们的组合。
<存储部32>
如上所述,存储部32存储用于由控制部31实现的各种程序等。这例如可作为硬盘驱动器(Hard Disk Drive:HDD)或者固态硬盘驱动(Solid State Drive:SSD)等存储设备来实施。另外,存储部32也可作为存储程序的运算所涉及的临时所需的信息(因数、排列等)的随机存取存储器(Random Access Memory:RAM)等存储器来实施。另外,也可以是它们的组合。
<输入部33>
输入部33例如可以包含在图像处理装置3自身中,也可以外置。例如,输入部33可以作为触摸面板来实施。或者,也可以采用开关按钮、鼠标、键盘等用户界面。经由输入部33,接受操作者的指示(指令)。该指示经由通信总线3B被传送到控制部31,控制部31能够根据需要运行规定的控制、运算。作为该指示的一例,操作者能够经由输入部33暂时停止显示于显示部4的输入图像源2正在输出的动态图像。
<发送接收部34>
发送接收部34是用于图像处理装置3与图像处理装置3以外的外部设备的通信的单元。即,能够经由发送接收部34从输入图像源2接收成为输入图像的图像数据,并对其进行图像处理(详细后述)后,作为输出图像发送到显示部4。应予说明,利用发送接收部34的通信不限于图像数据。例如,优选对包括有线LAN网络通信、蓝牙(Bluetooth)通信、无线LAN网络通信等的多个通信手段的集合体、并且是通信对象包含适当的通信标准在内地进行实施。
<信号强度提取部35>
图2是表示本发明的第一实施方式所涉及的适用信号强度提取部35、周边区域标准值计算部36、强调程度决定部37、转换输出部38的处理流程的框线图。
信号强度提取部35对经由发送接收部34接收自输入图像源2的输入图像I(x,y)运行利用Retinex理论的运算计算作为信号强度的反射率R(x,y)。Retinex理论可考虑为输入图像I(x,y)由照明光成分L(x,y)和反射率R(x,y)组成。并且,照明光成分L(x,y)和反射率R(x,y)由下述方式决定。
【数1】
【数2】
在此,式中的G_n为第n个高斯滤波器、W_n为其加权系数。第1.2节中再次说明更具体的处理顺序。另外,输入图像I(x,y)为反射光成分,在本实施方式中,使用明度V(x,y)作为输入图像的例子进行说明。
<周边区域标准值计算部36>
图3A~图3C是表示周边区域标准值计算部36决定周边区域标准值的方式的概要图。如图所示,周边区域标准值计算部36用由信号强度提取部35提取的反射率R(x,y)计算标准值S(x,y)。
若输入图像I(x,y)为width×height[像素]的图像,则反射率R(x,y)也为width×height[像素]的像素数据排列。并且,设定对于反射率R(x,y)具有ω×ω[像素]的ROI(Region of Interest)。在此,将位于ROI中心的像素称为目标像素p_[i,j](权利要求范围中“关注的小区域”的一个例子)。图3A~图3C中,作为目标像素p_[i,j]的一个例子表示了目标像素p_[a,b]、目标像素p_[c,d]、目标像素p_[e,f]。
目标像素p_[i,j]所涉及的反射率R(i,j)为0以上时,周边区域标准值计算部36试图生成一种像素数据排列,该像素数据排列将反射率R(i,j)替换为同ROI的目标像素p_[i,j]以外的多个像素(周边区域)的反射率R(x,y)中的最大值R_M(local_max()滤波器)。相反,目标像素p_[i,j]所涉及的反射率R(i,j)为负时,周边区域标准值计算部36试图生成一种像素数据排列,该像素数据排列将反射率R(i,j)替换为同ROI的目标像素p_[i,j]以外的多个像素(周边区域)的反射率R(x,y)中的最小值R_m(local_min()滤波器)。也就是说,如图3A~图3C所示,通过对全部像素运行上述处理计算出标准值S(x,y),该标准值S(x,y)是作为像素数据具有各ROI的最大值R_M或最小值R_m的像素数据排列。应予说明,即使是目标像素p_[i,j]位于反射率R(x,y)端部的情况下,所对应的周边区域变窄不会产生处理方面的问题。在第1.2节再详细说明处理顺序。
应予说明,ω的值优选根据width、height或二者的平均值决定。例如,将width、height或二者的平均值作为α,则满足0.05≦ω/α≦0.50。具体而言例如为ω/α=0.05、0.06、0.07、0.08、0.09、0.10、0.15、0.20、0.25、0.30、0.35、0.40、0.45、0.50,也可以是在这里例示的数值的任何两个之间的范围。ω/α过小则最终的输出图像O(x,y)中噪声明显,相反,ω/α过大则与统一校准反射率时的差距消失而需要注意。
<强调程度决定部37>
图4A以及图4B是表示强调程度决定部37决定强调程度g(x,y)的方式的概要图。强调程度决定部37通过比较由周边区域标准值计算部36计算的标准值S(x,y)和规定值(通常为作为输出图像O(x,y)输出的反射率R(x,y)的上限值OL或下限值UL)决定强调程度g(x,y)。图4A中以R(x,y)≧0的情况为例,由S(x,y)和OL的差分计算g(x、y)。在此,随着差分变大g(x、y)变大。并且,如图4B所示,通过输入图像I(x,y)的反射率R(x,y)乘以强调程度g(x,y),规定已校准的反射率R_c(x,y)。在第1.2节再详细说明具体的处理顺序。
应予说明,需要注意的是,以提高反射率R(x,y)的方式决定强调程度g(x,y),标准值S(x,y)与上限值OL的差分大小依赖于强调程度g(x,y)的大小。换句话说,相对于标准值S(x,y)与上限值OL的差分,强调程度g(x,y)为单调递增(权利要求范围的“单调不减”的一个例子)。
<转换输出部38>
转换输出部38利用由信号强度提取部35提取的反射率R(x,y)以及由强调程度决定部37决定的强调程度g(x,y)输出校准过对比度的输出图像O(x,y)。也就是说,转换输出部38使用上述校准过的反射率R_c(x,y)输出输出图像O(x,y)。
1.1.3显示部4
显示部4是当输入由图像处理装置3进行了图像处理的图像数据时,基于各像素数据(各像素所具有的亮度等信息)将其作为影像显示的介质,例如可以是LCD监视器、CRT监视器、有机EL监视器等。应予说明,图像处理装置3也可以包括显示部4。更具体而言,从图像处理装置3的转换输出部38输出的输出图像O(x,y)经由通信总线3B以及发送接收部34发送至显示部4,显示部4显示输出图像。
1.2图像处理方法
接下来,使用第1.1节说明的图像处理装置3说明图像处理方法。在此特别详细说明由发送接收部34输入的输入图像I(x,y)经过图像处理,由转换输出部38输出输出图像O(x,y)为止的内容。以下处理中需特别考虑输入图像I(x,y)规定的目标像素p_[i,j](即,具有像素数据I(i,j)的)。
1.2.1反射率R(x,y)的提取
图5是表示信号强度提取部35的处理流程(细节)的框线图。以下说明图5的各步骤。
[开始]
(步骤S1-1)
分别提取输入图像I(x,y)的关注区域(此处为输入图像I的全部像素:如果是动态图像则为1帧)内的目标像素的明度V(i,j),取得其对数值log{V(i,j)}(进入步骤S1-2a~c)。
(步骤S1-2a~c)
接下来,在提取的明度V(i,j)乘以高斯滤波器G_1~G_3以及加权系数W_1~W_3。应予说明,由于高斯滤波器G_1~G_3内核大小相异,加权系数W_1~W_3满足式(3)(进入步骤S1-3)。
W_1+W_2+W_3=1 (3)
(步骤S1-3)
接下来,通过取得由步骤S1-2a~c得到的各值的对数值的和,计算照明光成分L(i,j)(进入步骤S1-4)。
(步骤S1-4)
接下来,通过从步骤S1-1取得的对数值log{V(i,j)}减去步骤S1-3计算得到的照明光成分L(i,j),从而提取作为信号强度的反射率R(i,j)。
[结束]
1.2.2强调程度g(x,y)的决定
图6是表示周边区域标准值计算部36以及强调程度决定部37的处理流程(细节)的框线图。以下说明图6的各步骤。
[开始]
(步骤S2-1)
周边区域标准值计算部36判断由信号强度提取部35提取的反射率R(i,j)为0以上还是小于0。若R(i,j)≧0,则运行步骤S2-2a所涉及的处理,若R(i,j)<0,则运行步骤S2-2b(在步骤S2-2a、b继续)。
(步骤S2-2a)
周边区域标准值计算部36决定对应于反射率R(i,j)的标准值S(i,j)。换句话说,在为目标像素p_[i,j]定义的ROI,多个像素(目标像素p_[i,j]以及其周边区域)的反射率R(x,y)中最大值R_M成为标准值S(i,j)(在步骤S2-3a继续)。
(步骤S2-3a)
强调程度决定部37计算在步骤S2-2a决定的标准值S(i,j)的逆值1/S(i,j)(在步骤S2-4a继续)。
(步骤S2-4a)
强调程度决定部37通过在逆值1/S(i,j)乘以log(OL/β)从而计算g(i,j)。其中β是预定义的偏移常数。
(步骤S2-2b)
周边区域标准值计算部36决定对应于反射率R(i,j)的标准值S(i,j)。换句话说,在为目标像素p_[i,j]定义的ROI,采用多个像素(目标像素p_[i,j]以及其周边区域)的反射率R(x,y)中的最小值R_m。
(步骤S2-3b)
强调程度决定部37计算在步骤S2-2b决定的标准值S(i,j)的逆值1/S(i,j)(在步骤S2-4b继续)。
(步骤S2-4b)
强调程度决定部37通过在逆值1/S(i,j)乘以log(UL/β)从而计算出g(i,j)。其中β是预定义的偏移常数。
[结束]
1.2.3输出图像O(x,y)的生成
图7是表示转换输出部38的处理流程(细节)的框线图。以下说明图7的各步骤。
[开始]
(步骤S3-1)
转换输出部38通过在由强调程度决定部37决定的强调程度g(i,j)乘以反射率R(i,j),从而推导出已校准的反射率R_c(i,j)(继续步骤S3-2)。
(步骤S3-2)
向步骤S3-1推导出的已校准的反射率R_c(i,j)加算logβ(继续步骤S3-3)。
(步骤S3-3)
通过取出向步骤S3-2推导的已校准的反射率R_c(i,j)加算logβ得到的值的真数,从而决定被校准的明度U(i,j)。即,维持色相/彩度等色成分的前提下,决定已校准对比度的输出图像O(x,y)的目标像素p_[i,j]的像素数据O(i,j)。
[结束]
如上所述,通过对各像素重复第1.2~1.3节中详细说明的各步骤所涉及的处理,输入图像I(x,y)输出为被图像处理的输出图像O(x,y)。
1.3实施例
说明使用第一实施方式所涉及的图像处理装置3的图像处理的实施例。例如,若将如图8所示的图像作为输入图像I(x,y),根据第一实施方式所涉及的图像处理装置3,可得到如图9所示的输出图像O(x,y)(实施例)。另外,根据统一决定全部像素的强调程度的常规技术所涉及的图像处理,可得到如图10A以及图10B所示的输出图像(比较例)。
图8的输入图像I(x,y)的特征为,相比于右侧,左侧的反射率R(x,y)的值相对来说低。对于这种输入图像I(x,y),如图9所示的实施例中通过在左侧和右侧分别施加适当的强调程度g(x,y),从而得到左侧、右侧分别突显的输出图像O(x,y)。
相反,在图10A所示的比较例中,由于统一施加较强的强调程度g(x,y),虽然左侧的对比度改善而提高了可见度,右侧的对比度达到了极限而可见度不好。另外,在图10B所示的比较例中,由于为了限制右侧的对比度统一施加弱于图10A的强调程度g(x,y),左侧的对比度小而可见度差。由此可知,相比于常规技术,在使用了第一实施方式所涉及的图像处理装置3的图像处理中,可适当校准反射率的振幅对于图像的每个局部区域不同图像的对比度,可生成可见度更高的输出图像O(x,y)。
2.第二实施方式
接下来,说明第二实施方式所涉及的系统1。第二实施方式所涉及的系统1的整体结构与第一实施方式所涉及的系统1相同。然而,需留意图像处理装置3的信号强度提取部35以及周边区域标准值计算部36的图像处理方法不同。以下说明此内容。
在第一实施方式所涉及的图像处理装置3中,信号强度提取部35使用了高斯滤波器G_n。由于高斯滤波器G_n还将目标像素p_[i,j]周围像素的像素数据使用于运算,运算目标像素p_[i,j]时,还需存储周围的像素数据。同样地,周边区域标准值计算部36在使用local_max()滤波器以及local_min()滤波器时,也需要存储目标像素p_[i,j]周围像素所涉及的像素数据。此时,通常使用帧存储器。即,如图11所示,第一实施方式所涉及的图像处理装置3需要二次使用帧存储器。
相反,如图12所示,在第二实施方式所涉及的图像处理装置3中仅使用一次帧存储器。具体而言,输入图像I(x,y)的目标像素p_[i,j]的反射率R(i,j)无需先从明度V(i,j)推导,而是近似推导出标准值S(i,j)(参照图13)。
具体而言,第一实施方式所涉及的图像处理装置3中仅使用一次高斯滤波器、local_max()滤波器、local_min()滤波器。即,若将这些滤波器适用于明度V(i,j)取得其对数值,则log{local_max(V(i,j))}与log{G*V(i,j)}的差分、或log{local_min(V(i,j))}与log{G*V(i,j)}的差分作为标准值S(i,j)被推导出。
3.变形例
本实施方式也能够通过以下的方式来实施。
第一,在本实施方式中,将图像处理的范围(关注区域)作为输入图像I(如果是动态图像则为1帧)的全部像素进行了说明,但也可以部分地选择所使用的像素。例如,可以将关注区域设为一部分的矩形区域,也可以通过按预定尺寸的每个矩形小区域适当选择代表像素(例如,左上这样的特定位置、小区域中的中央值)来生成缩小图像,并将其作为关注区域来实施。
第二,决定标准值S(i,j)时,作为代替ROI的多个像素(目标像素p_[i,j]以及其周边区域)的反射率R(x,y)中的最大值R_M或最小值R_m,可采用包括最大值R_M或最小值R_m的邻域误差的R_M±ΔR_M或R_m±ΔR_m。邻域误差优选满足例如:
0≦ΔR_M≦R_M/20 (4)
0≦ΔR_m≦R_m/5 (5)。
具体而言例如为ΔR_M/R_M=0.001、0.002、0.003、0.004、0.005、0.01、0.02、0.03、0.04、0.05,也可以是在这里例示的数值的任何两个之间的范围。另外,ΔR_m/R_m=0.01、0.02、0.03、0.04、0.05、0.10、0.15、0.20,也可以是在这里例示的数值的任何两个之间的范围。
第三,强调程度决定部37可基于规定值T决定强调程度g(x,y)从而代替上限值OL或下限值UL。应予说明,此时规定值T满足下式(6)以及(7)。
R≧0时,S(x,y)≦T≦OL (6)
R<0时,UL≦T≦S(x,y) (7)
第四,在本实施方式中,对每个目标像素p_[i,j]运行图像处理,但也可以对每个由多个目标像素构成的小区域运行图像处理。
第五,在上述各种处理中假定了二维排列,但如果最终能够在显示部4上显示所希望的图像,则也可以在运算中途作为一维排列进行存储。另外,也可以代替使用一维排列或二维排列进行运算,而逐次进行运算。
第六,可通过调节调节反射率R(x,y)的强调程度g(x,y)以及调节照明光成分的照明光调节参数中的至少一项,从而运行上述图像处理。也就是说,在考虑Retinex理论的关系是I(x,y)=L(x,y)R(x,y)时可考虑使用:用强调程度g(x,y)提高R(x,y)值的方法、通过用照明光调节参数增加L(x,y)的值而不是增加R(x,y)的值来获得与增加R(x,y)相同的结果的方法、或两者混合的方法。
第七,也能够提供如下图像处理程序,其是使计算机运行规定功能的图像处理程序,上述规定功能具备:信号强度提取功能、周边区域标准值计算功能、强调程度决定功能,将上述输入于计算机的输入图像的反射率定义为信号强度,将上述输入图像的一部分且由至少一个像素构成的区域定义为小区域的情况下,根据上述信号强度提取功能,提取上述输入图像的信号强度,根据上述周边区域标准值计算功能,基于位于关注的上述小区域周边的周边区域的信号强度计算周边区域标准值,根据上述强调程度决定功能,以提高上述小区域的信号强度的方式决定该信号强度的强调程度,相对于上述周边区域标准值与规定值的差分,上述强调程度为单调增加。另外,也可以作为安装有该程序的功能的计算机可读取的非暂时性的记录介质来提供。另外,也可以经由因特网等分发该程序。进而,构成系统1的各部既可以包含于相同的壳体,也可以分散配置于多个壳体。
4.结言
如上所述,根据本实施方式,能够提供对于反射率的振幅对于图像的每个局部区域不同的图像可适当校准对比度的图像处理装置、图像处理方法以及图像处理程序。
对本发明所涉及的各种实施方式进行了说明,但这些实施方式是作为例子而提出的,并不意图限定发明的范围。该新的实施方式能够以其他各种方式实施,在不脱离发明的主旨的范围内,能够进行各种省略、置换、变更。该实施方式及其变形包含在发明的范围、主旨中,并且包含在权利要求书所记载的发明及其均等的范围内。
【符号说明】
1:系统、2:输入图像源、3:图像处理装置、3B:通信总线、31:控制部、32:存储部、33:输入部、34:发送接收部、35:信号强度提取部、36:周边区域标准值计算部、37:强调程度决定部、38:转换输出部、4:显示部、G_n:高斯滤波器、I:输入图像、L:照明光成分、O:输出图像、OL:上限值、R:反射率、R_M:最大值、R_c:反射率、R_m:最小值、S:标准值、T:规定值、U:明度、UL:下限值、V:明度、W_n:加权系数、g:强调程度。
Claims (5)
1.一种图像处理装置,其具备信号强度提取部、周边区域标准值计算部、强调程度决定部,
将输入于所述图像处理装置的输入图像的反射率定义为信号强度,将所述输入图像的一部分且由至少一个像素构成的区域定义为小区域的情况下,
所述信号强度提取部提取所述输入图像的信号强度,
所述周边区域标准值计算部基于位于关注的所述小区域周边的周边区域的信号强度计算周边区域标准值,
所述强调程度决定部以提高所述小区域的信号强度的方式决定所述信号强度的强调程度,
相对于所述周边区域标准值与规定值的差分,所述强调程度为单调不减。
2.根据权利要求1所述的图像处理装置,其特征在于,
将关注的所述小区域的信号强度定义为R、将所述周边区域标准值定义为S、将所述规定值定义为T、将可以作为输出图像输出的信号强度的上限值以及下限值分别定义为OL以及UL的情况下,满足以下条件:
R≧0时,S≦T≦OL
R<0时,UL≦T≦S。
3.根据权利要求1或权利要求2所述的图像处理装置,其特征在于,
从输入于所述图像处理装置的输入图像分离反射光成分以及照明光成分且基于所述反射光成分以及照明光成分计算所述信号强度。
4.一种图像处理方法,其具备信号强度提取步骤、周边区域标准值计算步骤、强调程度决定步骤,
在所述方法中将输入于所述图像处理装置的输入图像的反射率定义为信号强度,将所述输入图像的一部分且由至少一个像素构成的区域定义为小区域的情况下,
所述信号强度提取步骤中,提取所述输入图像的信号强度,
所述周边区域标准值计算步骤中,基于位于关注的所述小区域周边的周边区域的信号强度计算周边区域标准值,
所述强调程度决定步骤中,以提高所述小区域的信号强度的方式决定所述信号强度的强调程度,
相对于所述周边区域标准值与规定值的差分,所述强调程度为单调不减。
5.一种使计算机运行规定功能的图像处理程序,所述规定功能具备:信号强度提取功能、周边区域标准值计算功能、强调程度决定功能,
将所述输入于计算机的输入图像的反射率定义为信号强度,将所述输入图像的一部分且由至少一个像素构成的区域定义为小区域的情况下,
根据所述信号强度提取功能,提取所述输入图像的信号强度,
根据所述周边区域标准值计算功能,基于位于关注的所述小区域周边的周边区域的信号强度计算周边区域标准值,
根据所述强调程度决定功能,以提高所述小区域的信号强度的方式决定所述信号强度的强调程度,
相对于所述周边区域标准值与规定值的差分,所述强调程度为单调不减。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/002801 WO2019146122A1 (ja) | 2018-01-29 | 2018-01-29 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111492399A true CN111492399A (zh) | 2020-08-04 |
CN111492399B CN111492399B (zh) | 2023-04-28 |
Family
ID=67394929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880081177.5A Active CN111492399B (zh) | 2018-01-29 | 2018-01-29 | 图像处理装置、图像处理方法以及记录介质 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11238570B2 (zh) |
EP (1) | EP3719740B1 (zh) |
JP (1) | JP6749510B2 (zh) |
KR (1) | KR102287622B1 (zh) |
CN (1) | CN111492399B (zh) |
WO (1) | WO2019146122A1 (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06203154A (ja) * | 1992-06-26 | 1994-07-22 | Honda Motor Co Ltd | 画像処理装置 |
JP2004317351A (ja) * | 2003-04-17 | 2004-11-11 | Fuji Heavy Ind Ltd | 異物検出装置及び異物検出方法 |
US20070286481A1 (en) * | 2006-06-08 | 2007-12-13 | Yusuke Monobe | Image processing device, image processing method, image processing program, and integrated circuit |
US20080100858A1 (en) * | 2006-10-31 | 2008-05-01 | Brother Kogyo Kabushiki Kaisha | Image processing device capable of supressing over-correction in retinex process |
CN101360180A (zh) * | 2007-07-31 | 2009-02-04 | 株式会社理光 | 图像处理装置、图像形成设备、及图像处理方法和程序 |
US20100142338A1 (en) * | 2008-10-01 | 2010-06-10 | Panasonic Corporation | Information recording medium and recording/reproduction apparatus |
CN103051905A (zh) * | 2011-10-12 | 2013-04-17 | 苹果公司 | 使用噪声优化的选择标准计算场景白点 |
WO2014045915A1 (ja) * | 2012-09-20 | 2014-03-27 | シャープ株式会社 | 画像処理装置、画像表示装置、画像撮像装置、画像印刷装置、階調変換方法、及びプログラム |
WO2014141867A1 (ja) * | 2013-03-11 | 2014-09-18 | 富士フイルム株式会社 | 導電性フィルム、これを備える表示装置及び配線の視認性の評価方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6941028B2 (en) | 2001-04-30 | 2005-09-06 | Hewlett-Packard Development Company, L.P. | System and method for image enhancement, dynamic range compensation and illumination correction |
JP4218723B2 (ja) | 2006-10-19 | 2009-02-04 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
CN104660900B (zh) | 2013-10-30 | 2018-03-02 | 株式会社摩如富 | 图像处理装置及图像处理方法 |
JP6627530B2 (ja) * | 2015-08-10 | 2020-01-08 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
US9881364B2 (en) | 2015-08-10 | 2018-01-30 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method and computer readable medium for image enhancement |
-
2018
- 2018-01-29 WO PCT/JP2018/002801 patent/WO2019146122A1/ja unknown
- 2018-01-29 US US16/960,676 patent/US11238570B2/en active Active
- 2018-01-29 JP JP2019567822A patent/JP6749510B2/ja active Active
- 2018-01-29 EP EP18902028.2A patent/EP3719740B1/en active Active
- 2018-01-29 KR KR1020207020885A patent/KR102287622B1/ko active IP Right Grant
- 2018-01-29 CN CN201880081177.5A patent/CN111492399B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06203154A (ja) * | 1992-06-26 | 1994-07-22 | Honda Motor Co Ltd | 画像処理装置 |
JP2004317351A (ja) * | 2003-04-17 | 2004-11-11 | Fuji Heavy Ind Ltd | 異物検出装置及び異物検出方法 |
US20070286481A1 (en) * | 2006-06-08 | 2007-12-13 | Yusuke Monobe | Image processing device, image processing method, image processing program, and integrated circuit |
US20080100858A1 (en) * | 2006-10-31 | 2008-05-01 | Brother Kogyo Kabushiki Kaisha | Image processing device capable of supressing over-correction in retinex process |
CN101360180A (zh) * | 2007-07-31 | 2009-02-04 | 株式会社理光 | 图像处理装置、图像形成设备、及图像处理方法和程序 |
US20090034002A1 (en) * | 2007-07-31 | 2009-02-05 | Hiroyuki Shibaki | Image processing device, image forming apparatus including same, image processing method, and image processing program |
US20100142338A1 (en) * | 2008-10-01 | 2010-06-10 | Panasonic Corporation | Information recording medium and recording/reproduction apparatus |
CN103051905A (zh) * | 2011-10-12 | 2013-04-17 | 苹果公司 | 使用噪声优化的选择标准计算场景白点 |
WO2014045915A1 (ja) * | 2012-09-20 | 2014-03-27 | シャープ株式会社 | 画像処理装置、画像表示装置、画像撮像装置、画像印刷装置、階調変換方法、及びプログラム |
WO2014141867A1 (ja) * | 2013-03-11 | 2014-09-18 | 富士フイルム株式会社 | 導電性フィルム、これを備える表示装置及び配線の視認性の評価方法 |
Non-Patent Citations (2)
Title |
---|
B.L. LUCK: "An image model and segmentation algorithm for reflectance confocal images of in vivo cervical tissue", < IEEE TRANSACTIONS ON IMAGE PROCESSING > * |
冯奇斌;王小丽;吕国强;吴华夏;: "固态体积式真三维立体显示器的色度学特性" * |
Also Published As
Publication number | Publication date |
---|---|
EP3719740B1 (en) | 2023-09-06 |
KR20200099575A (ko) | 2020-08-24 |
US11238570B2 (en) | 2022-02-01 |
WO2019146122A1 (ja) | 2019-08-01 |
EP3719740A1 (en) | 2020-10-07 |
CN111492399B (zh) | 2023-04-28 |
EP3719740A4 (en) | 2021-01-06 |
JP6749510B2 (ja) | 2020-09-02 |
JPWO2019146122A1 (ja) | 2020-10-22 |
KR102287622B1 (ko) | 2021-08-06 |
US20200334796A1 (en) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6489761B2 (ja) | 画像処理装置及び画像処理方法、プログラム | |
JP6071419B2 (ja) | 画像処理装置及び画像処理方法 | |
JP7328096B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US11145032B2 (en) | Image processing apparatus, method and storage medium for reducing color noise and false color | |
JP2008059287A (ja) | 画像処理装置および画像処理プログラム | |
US20160260199A1 (en) | Image processing apparatus, image processing method, and storage medium | |
EP3685346A1 (en) | System and method for image dynamic range adjusting | |
US11501404B2 (en) | Method and system for data processing | |
KR102462265B1 (ko) | 지향성 스케일링 시스템들 및 방법들 | |
US11264416B2 (en) | Image processing apparatus and image processing method | |
US11132776B2 (en) | Image processing device, image processing method, and image processing program for maintaining sharpness of image | |
CN111492399B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
JP6957665B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6749504B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP2016201771A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2008021219A (ja) | 画像処理装置及び方法 | |
JP6919433B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
JP6711031B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
US10477036B2 (en) | Image processing apparatus, image processing method, and storage medium | |
KR20230031116A (ko) | 아티팩트로 인해 왜곡된 영상을 수치화할 수 있는 영상 평가 방법, 컴퓨터 프로그램, 및 컴퓨팅 장치 | |
JP2013242817A (ja) | 画像処理装置およびその方法 | |
JP2018160026A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2018160746A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2018151681A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
Adak | FPGA based advanced video enhancement algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |