CN101193255A - 图像调整量确定装置、方法、程序以及图像处理装置 - Google Patents

图像调整量确定装置、方法、程序以及图像处理装置 Download PDF

Info

Publication number
CN101193255A
CN101193255A CNA2007101960376A CN200710196037A CN101193255A CN 101193255 A CN101193255 A CN 101193255A CN A2007101960376 A CNA2007101960376 A CN A2007101960376A CN 200710196037 A CN200710196037 A CN 200710196037A CN 101193255 A CN101193255 A CN 101193255A
Authority
CN
China
Prior art keywords
image
adjustment amount
process object
amount
spatial frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007101960376A
Other languages
English (en)
Inventor
藤林晓
文仲丞
加藤祯笃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN101193255A publication Critical patent/CN101193255A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Picture Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供一种图像调整量确定装置(10)，具有：处理图像确定单元(101)，其接收从外部输入的由多个帧图像构成的输入影像信号，把该输入影像信号分解为多个帧图像，根据预定的基准，从该多个帧图像中确定成为图像处理对象的处理对象图像、以及在显示顺序上位于所述处理对象图像附近的一个以上的邻近图像；图像特征提取单元(102)，其提取与所确定的邻近图像相关的预定特征量；以及图像调整量确定单元(104)，其根据与提取出的邻近图像相关的预定特征量，确定与上述所确定的处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。

Description

图像调整量确定装置、方法、程序以及图像处理装置
技术领域
本发明涉及一种确定图像调整量的图像调整量确定装置、图像调整量确定方法和图像调整量确定程序、以及包括上述图像调整量确定装置构成的图像处理装置。
背景技术
“影像”通过使单一的静态图像即“帧图像”连续而构成。包括影像的获取、存储、传送、显示、编码及解码等在内的影像处理，一般把各个帧图像的鲜明度(以下简称为“鲜明度”)恒定或逐渐变化的影像作为对象。另一方面，人的眼睛可以明确识别图像的鲜明度的差异。因此，鲜明度的差异直接涉及对图像质量的评价的情况居多，一般把高鲜明度的图像评价为高质量。
其中，在虽然各个帧图像是鲜明度较低的图像(模糊图像)但各个帧图像被显示为连续影像的情况下，对于观看该影像的人而言将产生以下错觉现象，即，帧图像的鲜明度提高，作为影像看起来比较鲜明，并且感觉到在平滑地移动，这些记载于“Takeuchi，T. & De Valois，K.K.(2005)，‘Sharpening image motion based on spatio-temporal characteristics ofhuman vision’，Human Vision and Electronic Imaging X”(以下称为“文献1”)中。这种错觉现象被称为motion sharpening现象(也称为基于移动的鲜明化现象)。
在文献1中记载为这种motion sharpening现象有可能起因于帧图像中包含的被摄影物的移动的大小、和空间频率的高频成分。并且，在文献1中记载如下，在motion sharpening现象中，在利用鲜明度低于预定基准的帧图像(以下称为“低鲜明度图像”)构成的影像中，插入鲜明度高于预定基准的帧图像(以下称为“高鲜明度图像”)，由此在作为影像观看时，有时会觉得低鲜明度图像的鲜明度高于实际的鲜明度。尤其在构成影像的帧图像中的50％利用高鲜明度图像构成的情况下，观看该影像的人的眼睛感觉到的鲜明度，有时看起来与观看全部帧图像利用高鲜明度图像构成的影像时的鲜明度没有变化(即主观上感觉到的鲜明度不变的错觉)。这种motion sharpening现象，也可以称为通过混合存在高鲜明度图像和低鲜明度图像来确保主观质量的现象。
因此，申请人认为这种motion sharpening现象也许是在影像的场景变换等中确认到的时间方向的掩蔽(masking)现象的一种。即，认为高鲜明度图像降低(即掩蔽)了低鲜明度图像的不易观看程度。
在“大山正·今井省吾·和气典二，“新编感觉/知觉心理手册”诚心书房，ISBN：4414305039，第664页”(以下称为“文献2”)中记载如下，一般，掩蔽现象根据掩蔽刺激(赋予掩蔽效应的刺激)和目标刺激(接受掩蔽效应的刺激)之间的空间频率成分的大小关系、和掩蔽刺激与目标刺激的显示定时(Forward masking现象和Backward masking现象)，该掩蔽现象的效应变化。
另外，在竹内龙人、“源于运动的影像的鲜明化”、“2006年10月26日检索”、因特网<URL:http://www.ntt.co.jp/journal/0510/files/jn200510050.pdf>(以下称为“文献3”)中记载了以下观点，motionsharpening现象不是由于记忆和学习这种高层次的视觉认知机理(mechanism)，而是由于存在于人眼的初始视觉系统的机理的非线性移动导致的。因此，申请人认为保证主观质量的motion sharpening现象中，构成影像的帧图像之间的“移动”、与给初始视觉系统带来很大影响的“平均亮度”双方的影响较大。并且，认为确定掩蔽效应的影响的“空间频率成分的大小”和“各个刺激间的时间间隔”也与这种现象有关，关注这些影像的特征，作为一种掩蔽现象捕捉到了motion sharpening现象。
但是，在上述文献1和文献3中，关于与motion sharpening现象相关的影像的特征量，提到了“移动的大小”和“空间频率成分的构成”，但是这些“移动的大小”和“空间频率成分的构成”与motion sharpening现象的效应之间的定量关系不明确。并且，关于把各个帧图像作为连续影像观看时感觉到的鲜明度，虽然提出了以下实验结果的报告，即，在降低各个帧图像的空间频率的情况下(即，降低鲜明度的情况下)，对于人眼而言看起来存在某种程度的空间频率，但是，用于保持人眼感觉到的鲜明度(以下称为“主观鲜明度”)的条件(即，用于保持作为影像的主观质量的条件)不明确。
因此，申请人通过实验计算在上述motion sharpening现象中对象影像中包含的特征量与能够保持主观鲜明度的低鲜明度图像的最低限度的空间频率成分之间的关系，明确指出根据低鲜明度图像与相对于该低鲜明度图像在显示顺序上相邻的高鲜明度图像之间的特征量的关系，能够保持主观鲜明度的低鲜明度图像的最低限度的空间频率成分不同，并由此完成了本发明。
发明内容
本发明的目的在于，根据与影像中包含的处理对象图像不同的帧图像的特征量，适当确定用于保持作为影像的主观质量的与处理对象图像相关的调整量。
为了解决上述问题，本发明涉及的图像调整量确定装置的特征在于，具有：处理图像确定单元，接收从外部输入的由多个帧图像构成的输入影像信号，把该输入影像信号分解为多个帧图像，根据预定的基准，从该多个帧图像中确定成为图像处理对象的处理对象图像、以及在显示顺序上位于所述处理对象图像附近的一个以上的邻近图像；图像特征提取单元，提取与通过所述处理图像确定单元确定的邻近图像相关的预定特征量；以及图像调整量确定单元，根据通过所述图像特征提取单元提取出的与所述邻近图像相关的预定特征量，确定与通过所述处理图像确定单元确定的处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。
根据这种图像调整量确定装置，处理图像确定单元接收从外部输入的由多个帧图像构成的输入影像信号，把该输入影像信号分解为多个帧图像，根据预定的基准，从该多个帧图像中确定成为图像处理对象的处理对象图像、和在显示顺序上位于所述处理对象图像附近的一个以上的邻近图像，图像特征提取单元提取与上述所确定的邻近图像相关的预定特征量，图像调整量确定单元根据上述提取出的与所述邻近图像相关的预定特征量，确定与上述所确定的处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。由此，可以根据与影像中包含的处理对象图像不同的帧图像的特征量，适当确定用于保持作为影像的主观质量的与处理对象图像相关的调整量(空间频率成分的振幅和频带宽度至少一方的调整量)。
并且，在本发明涉及的图像调整量确定装置中，优选构成为图像特征提取单元还提取与所述处理对象图像相关的预定特征量，图像调整量确定单元根据图像特征提取单元提取出的与所述邻近图像相关的预定特征量和与所述处理对象图像相关的预定特征量，确定与所述处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。该情况时，除与邻近图像相关的预定特征量外，还以与处理对象图像相关的预定特征量为基础，确定与处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量，因此，例如能够考虑根据与邻近图像相关的预定特征量和与处理对象图像相关的预定特征量两者的关系而确定的视觉上的掩蔽效应，确定上述调整量。
并且，本发明涉及的图像调整量确定装置优选构成为还具有帧间变化计算单元，该帧间变化计算单元计算表示所述处理对象图像和所述邻近图像之间的变化的预定变化量，所述图像调整量确定单元还以通过所述帧间变化计算单元计算出的变化量为基础，确定与所述处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。该情况时，还能够以表示处理对象图像和邻近图像之间的变化的预定变化量为基础，确定上述调整量。因此，例如在由于处理对象图像和邻近图像之间的变化引起亮度值的不连续性等情况下，能够符合由此造成的人眼能力下降引起的时间上的掩蔽效应，所以能够考虑视觉上更大的掩蔽效应来确定上述调整量。
并且，在本发明涉及的图像调整量确定装置中，优选构成为图像特征提取单元提取平均亮度和空间频率成分的振幅的至少一方，作为预定特征量。该情况时，作为图像的特征量，可以提取对视觉特性和掩蔽现象赋予较大影响的平均亮度和空间频率成分的振幅的至少一方，所以能够充分考虑视觉上的掩蔽效应来确定上述调整量。
并且，在本发明涉及的图像调整量确定装置中，优选构成为帧间变化计算单元计算所述处理对象图像和所述邻近图像之间的移动量，作为预定变化量。已经知道在motion sharpening现象中存在移动越大其掩蔽效应越大的相关关系。因此，通过计算处理对象图像和邻近图像之间的移动量，可以根据上述相关关系充分考虑视觉上的掩蔽效应来确定上述调整量。
并且，在本发明涉及的图像调整量确定装置中，优选构成为处理图像确定单元确定在显示顺序上位于所述处理对象图像之前的图像和位于所述处理对象图像之后的图像中的双方或一方，作为邻近图像。在此，作为邻近图像确定在显示顺序上位于处理对象图像之前的图像，由此，可以确定考虑到作为邻近图像对处理对象图像的Forward masking现象的视觉上的掩蔽效应的上述确定量。同样，作为邻近图像确定在显示顺序上位于处理对象图像之后的图像，由此可以确定考虑到作为邻近图像对处理对象图像的Backward masking现象的视觉上的掩蔽效应的上述调整量。另外，作为邻近图像确定在显示顺序上位于处理对象图像之前的图像和位于其之后的图像双方，由此可以确定考虑到在时间上从前后的邻近图像接受的Forward masking和Backward masking双方的掩蔽效应的上述调整量。
并且，在本发明涉及的图像调整量确定装置中，优选构成为图像调整量确定单元还以处理对象图像和邻近图像之间的时间间隔为基础，确定与处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。在motion sharpening现象中，具有掩蔽效应的掩蔽量随着时间越近而越多、并且掩蔽量伴随时间经过而减少的特性。这样，掩蔽效应和时间经过具有相关关系，所以能够考虑处理对象图像和邻近图像之间的时间间隔的影响来适当地确定上述调整量。
并且，在本发明涉及的图像调整量确定装置中，优选构成为图像调整量确定单元确定调整量，使得满足以下预先设定的基准，即，相对于对调整前的影像信号感觉到的鲜明度，使对包括调整后的处理对象图像在内的影像信号感觉到的鲜明度保持在预定的同一范围内。该情况下，根据motion sharpening现象，可以考虑鲜明度被保持在预定的同一范围内的基准(保持主观质量的基准)来确定上述调整量。关于上述基准，例如可以采用在主观评价试验等中使用的MOS值超过恒定值这样的基准。
并且，在本发明涉及的图像调整量确定装置中，优选构成为图像调整量确定单元确定通过合成两种以上的不同特性而表现的调整量，作为上述调整量。该情况时，例如关于相对于处理对象图像的调整量的空间频率成分的形状，在视觉上的时空频率特性由具有被称为“过渡”和“持续”的两种不同特性的部分构成时，关于motion sharpening现象，掩蔽效应可由于这两种特性的存在而表现出来，通过确定作为调整量的空间频率成分的形状，能够确定用于保持主观质量的、关于motion sharpening现象可从视觉观点说明的调整量。
本发明涉及的图像处理装置的特征在于，具有前面叙述的图像调整量确定装置和图像调整单元，该图像调整单元根据通过图像调整量确定装置确定的调整量，调整与处理对象图像相关的空间频率成分的振幅和频带宽度的至少一方。根据这种图像处理装置，可以根据通过前面叙述的图像调整量确定装置确定的调整量，调整与处理对象图像相关的空间频率成分的振幅和频带宽度的至少一方。
并且，图像调整量确定装置涉及的发明也可以实现为图像调整量确定方法涉及的发明和图像调整量确定程序涉及的发明，并且可以分别记述如下。这些图像调整量确定方法涉及的发明和图像调整量确定程序涉及的发明，可以发挥与图像调整量确定装置涉及的发明相同的效果。
本发明涉及的图像调整量确定方法的特征在于，包括：处理图像确定步骤，图像调整量确定装置接收从外部输入的由多个帧图像构成的输入影像信号，把该输入影像信号分解为多个帧图像，根据预定的基准，从该多个帧图像中确定成为图像处理对象的处理对象图像、以及在显示顺序上位于所述处理对象图像附近的一个以上的邻近图像；图像特征提取步骤，所述图像调整量确定装置提取与在所述处理图像确定步骤中确定的邻近图像相关的预定特征量；以及图像调整量确定步骤，所述图像调整量确定装置根据在所述图像特征提取步骤中提取出的与所述邻近图像相关的预定特征量，确定与在所述处理图像确定步骤中确定的处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。
本发明涉及的图像调整量确定程序的特征在于，使计算机发挥以下单元的作用：处理图像确定单元，接收从外部输入的由多个帧图像构成的输入影像信号，把该输入影像信号分解为多个帧图像，根据预定的基准，从该多个帧图像中确定成为图像处理对象的处理对象图像、以及在显示顺序上位于所述处理对象图像附近的一个以上的邻近图像；图像特征提取单元，提取与通过所述处理图像确定单元确定的邻近图像相关的预定特征量；以及图像调整量确定单元，根据通过所述图像特征提取单元提取出的与所述邻近图像相关的预定特征量，确定与通过所述处理图像确定单元确定的处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。
根据本发明，可以根据与影像中包含的处理对象图像不同的帧图像的特征量，适当确定用于保持作为影像的主观质量的与处理对象图像相关的调整量。
附图说明
图1是例示第1实施方式的图像处理装置的功能结构的方框结构图。
图2是表示被读入的帧图像的示意图。
图3是例示频率区域中的空间频率成分的振幅和DC成分的图。
图4是表示第1实施方式的图像处理装置的流程的流程图。
图5是例示第2实施方式的图像处理装置的功能结构的方框结构图。
图6是表示第2实施方式的图像处理装置的流程的流程图。
图7是表示图像调整量确定程序的结构图。
图8是表示用于执行记录在记录介质中的图像调整量确定程序的计算机硬件结构的图。
图9是用于执行存储在记录介质中的图像调整量确定程序的计算机的立体图。
具体实施方式
以下，根据附图说明本发明涉及的各种实施方式。另外，在各个附图中，对相同构成要素赋予相同符号并省略重复说明。
[第1实施方式]
首先，说明本发明涉及的第1实施方式。图1是例示第1实施方式的图像调整量确定装置10的功能结构的方框结构图。该图像调整量确定装置10由作为硬件的计算机构成，该计算机具有CPU(中央处理装置)、存储器等存储装置、和输入输出影像的输入输出装置(通信装置)等。这种图像调整量确定装置10例如可以利用电脑等固定式通信终端、或手机等移动通信终端等各种信息处理装置构成。
[图像调整量确定装置10的功能方框结构]
下面，参照图1说明图像调整量确定装置10的功能方框结构。如图1所示，图像调整量确定装置10构成为包括处理图像确定单元101、图像特征提取单元102、帧图像间变化计算单元103、图像调整量确定单元104、和参数存储单元105。
(关于处理图像确定单元101)
其中，处理图像确定单元101接收作为运动图像信号从外部输入的输入影像信号106，对该输入影像信号106进行帧频f的分析而分解为帧图像，根据预定的基准K，确定成为图像处理对象的处理对象图像F1。在此，关于基准K，例如采用表示将帧图像按照显示顺序排序时的该显示顺序的帧序号(以下称为“显示顺序序号”)为偶数的基准。
另外，关于基准K不限于上述方式，例如也可以采用显示顺序序号能够用预先确定的数值M除尽的基准、显示顺序序号不能用预先确定的数值M除尽的基准。并且，关于基准K，除显示顺序之外，例如也可以使用平均亮度、频带宽度、图像的空间频率成分的大小这样的数值，也可以采用平均亮度、频带宽度、图像的空间频率成分的大小分别大于预定基准值的基准。另外，关于上述的基准K，可以由处理图像确定单元101预先存储，也可以从外部输入到处理图像确定单元101。
另外，处理图像确定单元101在确定处理对象帧图像F1后，确定在显示顺序上位于其前面的图像即帧图像F0和位于其后面的图像即帧图像F2。然后，上述已分解的帧图像经由L107被发送给图像特征提取单元102和帧图像间变化计算单元103。
另外，以上示出了确定除处理对象帧图像F1之外的其前面的帧图像F0和其后面的帧图像F2的示例，但是不限于此，只要在显示顺序上位于处理对象图像F1的前后，则可以确定任何帧图像。并且，既可以只确定在显示顺序上位于处理对象图像F1前面的图像，也可以只确定位于处理对象图像F1后面的图像。
并且，上述帧图像F0、F2的确定仅以显示顺序为基准进行确定，但也可以以显示顺序之外的因素为基准进行确定。例如，可以把后面叙述的图像的特征量作为基准，也可以把显示时间作为基准。关于把显示时间作为基准的示例，可以把位于处理对象帧图像F1的前后100毫秒以内的帧图像确定为帧图像F0、F2。
并且，在本实施方式中，确定处理对象图像F1前后的图像(合计两个图像)作为邻近图像，但确定的数量只要在一个以上，则可以是任何数量。
(关于图像特征提取单元102)
下面说明图像特征提取单元102。首先，图像特征提取单元102按照以下方式计算有关处理对象图像F1和帧图像F0、F2的平均亮度和空间频率成分的振幅的大小。具体地讲，图像特征提取单元102对各个帧图像实施二维傅立叶转换，生成频率系数矩阵，计算该频率系数矩阵内的系数的大小。即，图像特征提取单元102计算各个傅立叶系数的实数项的平方与虚数项的平方之和的平方根，作为各个空间频率的空间频率振幅的大小。并且，关于平均亮度，图像特征提取单元102只提取空间频率的DC成分，对亮度值实施逆转换，由此计算平均亮度。图3的曲线图例示频率区域中的空间频率成分的振幅，空间频率＝0时的振幅表示DC成分的大小。另外，有关空间频率成分的振幅的表述方法不限于上述方式，也可以利用其他表述方法。并且，平均亮度也可以通过计算各个帧图像的亮度值的平均值来求出。并且，也可以计算平均亮度和空间频率成分的振幅的大小中任意一方。
另外，在本实施方式中，示出了按照帧图像单位求出平均亮度和空间频率成分的振幅的示例，但是不限于此，例如也可以按照块单位求出平均亮度和空间频率成分的振幅。
并且，在本实施方式中，计算了二维的空间频率成分的振幅，但是也可以使用一维傅立叶转换计算空间频率成分的振幅。该情况时，例如可以对水平方向的各1列进行傅立叶转换并计算。并且，也可以把相对于垂直方向、水平方向、水平垂直以外的预定方向中的任意一个以上的方向的空间频率成分的振幅作为对象。
并且，在本实施方式中，直接利用了空间频率成分的振幅，但也可以利用空间频率成分的大小与某个基准值的差分来表述空间频率成分的振幅。例如，可以把空间频率成分表述为电力的大小，利用空间频率成分的大小与预定的电力基准值Y[dB](Y＝40)的差分，表述空间频率成分的振幅。
并且，在本实施方式中，频率转换采用了傅立叶转换，但是也可以采用傅立叶转换之外的离散余弦转换和离散小波转换等其他频率转换。
并且，在本实施方式中，计算平均亮度和空间频率成分的振幅的大小，作为图像的“特征量”，但是也可以计算其他特征量。例如，可以计算空间频率成分的频带宽度的方差和振幅的方差，也可以计算使用了图像亮度值的特征量(像素值的方差、图像的对比度等)。
并且，在本实施方式中，计算有关处理对象图像F1和在显示顺序上位于其前后的帧图像F0、F2双方的特征量，但是也可以不计算有关处理对象图像F1的特征量，而只计算有关位于其前后的帧图像F0、F2的特征量，只根据有关帧图像F0、F2的特征量，确定有关处理对象图像F1的调整量。
然后，图像特征提取单元102把按照上述方式计算出的平均亮度和空间频率成分的振幅的大小，发送给图像调整量确定单元104。
(关于帧图像间变化计算单元103)
下面，说明帧图像间变化计算单元103。图2是由多个帧图像构成的影像的示意图。另外，为了便于说明，使用图2所示的处理对象图像F1和图像F0、F2这样连续的合计3个帧图像进行说明。帧图像间变化计算单元103按照以下方式计算图像F0～F2之间的移动量。以下，具体说明移动量的计算处理。
首先，帧图像间变化计算单元103顺序读入连续的两个帧图像。然后，帧图像间变化计算单元103根据所读入的两个帧图像之间一致程度在预定值以上的图像信号图形(所谓相互类似的图像信号图形)，计算作为上述两个帧图像之间的空间位移量的移动向量(MVbx、MVby)。
在本实施方式中，帧图像间变化计算单元103把帧图像分割为预定大小的多个块，对图像F1的各个块，使用块匹配法等搜索处理，从图像F0中搜索与该各个块的图像信号图形最类似的图像信号图形(例如一致程度在预定值以上的图像信号图形)。然后，帧图像间变化计算单元103利用在图像F0和F1之间图像信号图形相同的各个块，判断表示位置在帧图像内偏移哪种程度的偏移量，由此计算移动向量。
然后，帧图像间变化计算单元103根据对所有块计算出的移动向量(MVbx、MVby)，计算各个块的移动向量的中心值，由此计算整个帧图像的移动量V1(MVx1、MVy1)。并且，关于图像F2和图像F1之间的移动向量，也按照相同步骤计算移动量V2(MVx2、MVy2)。
另外，在本实施方式中，计算对所有块计算出的移动向量的中心值，但也可以采用例如有关按照帧图像中包含的每个块计算出的移动向量的大小(MVx、MVy)的平均值、最大值、中间值、最小值中的任意一方，代替有关所有块的移动向量的中心值。并且，也可以直接利用各个块的移动向量。
并且，在本实施方式中，移动量的计算采用了块匹配法，但不限于此。也可以采用其他计算方法例如光流场(optical flow)等计算移动向量。
并且，在本实施方式中，利用移动向量计算移动量，但是也可以根据与图像移动相关的其他特征量，例如移动方向、帧图像内的块具有的移动向量的分布、各个移动向量的大小差异、各个移动向量的方向差异、大小在规定值以上的移动向量的比率等，计算帧图像间的变化量。
并且，在本实施方式中，关于帧图像间的变化，计算移动量，但是也可以计算除此之外的、与像素值变化相关的帧图像间的变化(例如亮度值的变化量、平均亮度的变化等)。
并且，移动量也可以使用图像的频率转换时的相位来计算。该情况时，对两个图像的所有像素分别进行离散傅立叶转换等，进行从像素空间向频率空间的转换，并除以各个图像的同一频率成分，由此计算使用了相位大小的移动量即可。在计算出各个频率成分的相位后，合计所有相位的值，把合计值作为移动量。并且，频率转换后的相位的利用不限于此，只要是表示两个图像之间的移动量的因素，则可以任意计算。
并且，在本实施方式中，对于处理对象图像F1，利用其前面的帧图像和其后面的帧图像计算移动量，但不限于此。例如，当处理对象图像F1和邻近的帧图像F0之间存在其他帧图像时，也可以利用该其他帧图像计算移动向量。
并且，在本实施方式中，直接利用处理对象图像F1和图像F0、F2计算移动向量，但也可以在对这些处理对象图像F1和图像F0、F2进行滤波处理等后，计算移动向量。例如，通过使用边缘强调滤波器等，可以针对模糊计算变化最大的与边缘相关的移动向量。并且，通过使用低通滤波器等，可以在噪声影响较小的图像之间计算移动向量。
然后，帧图像间变化计算单元103把计算出的图像F0～F1之间的移动量V1(MVx1、MVy1)、和F1～F2之间的移动量V2(MVx2、MVy2)，发送给图像调整量确定单元104。
(关于参数存储单元105)
在参数存储单元105中预先存储有参数，该参数符合在人一并观看具有各个特征的影像(帧图像F0～F2)时能够保持主观质量的基准V(例如MOS评价在4.0以上等)。
不过，也可以在参数存储单元105中存储上述基准V之外的基准例如基于PSNR等客观指标的基准V的参数组。
(关于图像调整量确定单元104)
下面，说明图像调整量确定单元104。在图像调整量确定单元104中，经由L108被输入有关帧图像F0～F2的平均亮度和空间频率成分的振幅的大小，经由L109被输入帧图像F0～F1之间的移动量和帧图像F1～F2之间的移动量。图像调整量确定单元104根据发送过来的平均亮度、空间频率成分的振幅的大小和移动向量的大小，按照以下方式确定限制有关处理对象图像F1的空间频率成分的振幅/频带宽度的调整量。另外，在本实施方式中说明的频带宽度，把频率系数列的系数中其大小在直流成分的y％以下的最大频率成分作为该像素列的频带。例如，在本实施方式中y＝0.5，但是也可以使用除此之外的数值。并且，在本实施方式中，按照以下方式分别确定相对于水平方向、垂直方向的空间频率成分的调整量。
首先，图像调整量确定单元104分别比较水平方向的图像F0的各个空间频率成分SF的振幅的大小P_sf(F0)、和图像F1的对应的空间频率SF的成分的大小P_sf(F1)。然后，在对所有空间频率成分进行比较后，在比P_sf(F1)大的P_sf(F0)的数量超过全部空间频率的X％(在此设定为X＝50％)时，图像调整量确定单元104根据(1)图像F0的平均亮度Yave(F0)、(2)各个空间频率成分SF、(3)各个空间频率成分SF的振幅的大小P_sf(F0)、(4)F0～F1之间的移动量V1(MVx1、MVy1)中的MVx1的值、和(5)利用由处理图像确定单元101计算出的帧频f和两个帧图像之间的帧图像数量N求出的帧图像彼此间的时间间隔t(相当于(帧图像数量N/帧频f))，从参数存储单元105调出下式(1)中的参数A～G，根据所调出的参数A～G和式(1)确定调整量R1x。
Figure S2007101960376D00131
A 1 + ( &alpha; &times; SF / &beta; ) 2 n
+ B &times; exp ( - ( ( SF - &gamma; 1 ) / C ) 2 ) + D &times; exp ( - ( ( SF - &gamma; 2 ) / E ) 2 ) + F &times; exp
( - ( ( SF - &gamma; 3 ) / G ) 2 ) . . . ( 1 )
另一方面，在比P_sf(F1)大的P_sf(F0)的数量没有超过全部空间频率的X％时，从参数存储单元105调出与上述A～G不同的参数组，根据所调出的参数A～G和式(1)确定调整量R1x。
然后，图像调整量确定单元104对垂直方向的空间频率成分的调整量R1y，也采用与上述相同的方法进行计算。此时，各个空间频率成分SF的振幅的大小P_sf采用垂直方向的值，移动量采用F0～F1之间的移动量V1(MVx1、MVy1)中的MVy1的值。
另外，在式(1)中，调整量(Yave，SF，PSF，mv，t)表示一维空间频率成分的调整量的振幅特性，各个系数n、α、β、γ1、γ2、γ3为常数。
同样，图像调整量确定单元104首先分别比较水平方向的图像F2的各个空间频率成分SF的振幅的大小P_sf(F2)、和图像F1的对应的空间频率SF的成分的大小P_sf(F1)。然后，在对所有空间频率成分进行比较后，在比P_sf(F1)大的P_sf(F2)的数量超过全部空间频率的X％(在此设定为X＝50％)时，图像调整量确定单元104根据(1)图像F2的平均亮度Yave(F2)、(2)各个空间频率成分SF、(3)各个空间频率成分SF的振幅的大小P_sf(F2)、(4)F1～F2之间的移动量V2(MVx2、MVy2)中的MVx2的值、和(5)利用由处理图像确定单元101计算出的帧频f和两个帧图像之间的帧图像数量N求出的帧图像彼此间的时间间隔t(相当于(帧图像数量N/帧频f))，从参数存储单元105调出上式(1)中的参数A～G，根据所调出的参数A～G和式(1)确定调整量R2x。
另一方面，在比P_sf(F1)大的P_sf(F2)的数量没有超过全部空间频率的X％时，从参数存储单元105调出与上述A～G不同的参数组，根据所调出的参数A～G和式(1)确定调整量R2x。
然后，图像调整量确定单元104对垂直方向的空间频率成分的调整量R2y，也采用与上述相同的方法进行计算。此时，各个空间频率成分SF的振幅的大小P_sf采用垂直方向的值，移动量采用F1～F2之间的移动量V2(MVx2、MVy2)中的MVy2的值。
利用如上所述求出的、根据由图像F0和图像F1之间的特征量确定的参数计算出的调整量R1x和调整量R1y、以及根据由图像F1和图像F2之间的特征量确定的参数计算出的调整量R2x和调整量R2y，合计相同方向彼此间的调整量，由此计算调整量R3x和调整量R3y。即，R3x＝R1x+R2x，R3y＝R1y+R2y。
然后，图像调整量确定单元104经由L111输出计算出的调整量R3x和调整量R3y。
另外，在本实施方式中，分别计算调整量R1i和调整量R2i(i表示x或y)，利用它们计算调整量R3i，但是也可以直接根据帧图像F0～F2的特征量确定调整量R3i的参数。
并且，在本实施方式中，分别计算水平方向/垂直方向的调整量，但也可以进行二维的调整量计算。
并且，在本实施方式中，关于帧图像间的所有空间频率成分进行振幅的大小比较并选择参数，但是也可以只对空间频率成分中的一部分进行比较并选择参数，还可以不进行上述比较即选择参数。并且，把比较时的比率X设定为“50”，但是不限于此。并且，也可以根据所有空间频率成分的振幅的大小，按照每个空间频率进行参数的选择。
另外，在本实施方式中，根据(1)帧图像F0或F2的平均亮度Yave、(2)各个空间频率成分SF、(3)帧图像F0或F2的各个空间频率成分SF的振幅的大小P_sf、(4)帧图像间的移动向量V(MVx、MVy)、和(5)帧图像彼此间的时间间隔t确定参数A～G，但是只要使用(1)～(5)中的至少一个特征量确定参数即可。并且，关于(1)和(3)，也可以使用帧图像F0或F2的相对关系来确定参数。并且，除图像的特征量之外，也可以利用与观看影像的环境相关的信息来确定参数。例如，可以从外部输入显示器的显示能力(分辨率等)、观看距离、影像尺寸等信息，利用这些值来确定参数。
并且，在本实施方式中，关于比较，进行了图像F0与处理对象图像F1的空间频率成分的振幅的比较、以及图像F2与处理对象图像F1的空间频率成分的振幅的比较，但不限于此，也可以进行平均亮度的比较。
并且，在本实施方式中，没有使用除移动量V(MVx、MVy)之外的与帧图像间的变化相关的特征量，但是，例如也可以把平均亮度的变化量或空间频率成分的变化量等用作特征量来确定参数。并且，还可以使用移动方向、帧图像内的移动向量的分布、各个移动向量的大小差异、各个移动向量的方向差异、大小在规定值以上的移动向量的比率这些特征量，计算移动量。
另外，本实施方式中表示空间频率成分的振幅/频带宽度的限制量的振幅特性的上述式(1)是通过学习掩蔽现象的定性模型，并合成1个低通滤波器和3个带通滤波器而构成的，并且，右边第1项
A 1 + ( &alpha; &times; SF / &beta; ) 2 n
表述人的视觉中的“过渡”通道，右边第2项～第4项B×exp(-((SF-γ1)/C)2)+D×exp(-((SF-γ2)/E)2)+F×exp(-((SF-γ3)/G)2)
表述“持续”通道(即，表述两种不同的特性)。由此，能够容易从视觉观点进行说明。但是，表述空间频率成分的振幅/频带宽度的限制量的方法不限于此，例如也可以通过合成三种以上的不同特性来进行表述。并且，在使用滤波器表述的情况下，滤波器的类型和数量不限于此。另外，可以使用更加普通的滤波器，例如低通滤波器、高通滤波器、带通滤波器、带阻滤波器、以及组合以上滤波器而成的滤波器等。并且，式(1)中的各个系数n、α、β、γ1、γ2、γ3为常数，但是它们的值也可以设定为根据各个帧图像的特征量确定的参数。
并且，在本实施方式中，计算调整量R1i和调整量R2i的合计值作为调整量R3i，但是也可以把调整量R1i和调整量R2i中空间频率成分的调整量的频带宽度限制较大的一方(或者较小的一方)作为调整量R3i。并且，作为调整量R3i，也可以使用调整量R1i和调整量R2i的平均值、最大值、最小值、中心值等。
并且，也可以使用上述以外的不同基准，例如通过区域的特性优于预定基准、衰减区域的特性优于预定基准这样的与振幅特性的性质好坏相关的基准。另外，在选择两个以上的帧图像时，也可以使用相同基准进行判定。
并且，在本实施方式中，调整量R1i和调整量R2i使用相同的式(1)确定调整量，但是也可以通过彼此不同的算式确定调整量。例如，也可以使用表述在显示顺序的前后掩蔽效应的性质不同的不同算式。
并且，本实施方式的调整量表示与空间频率成分的振幅和频带宽度双方相关的调整量，但是也可以表示与空间频率成分的振幅和频带宽度中的任意一方相关的调整量。
并且，在本实施方式中，作为调整量，说明了用于限制空间频率成分的振幅和频带宽度的量，但也可以是用于扩大空间频率成分的振幅和频带宽度的量。
[图像调整量确定装置10的图像处理]
下面，根据图4说明第1实施方式的图像调整量确定装置10的图像处理。图4是表示图像调整量确定装置10的图像处理的流程图。
首先，处理图像确定单元101接收经由L107发送过来的输入影像信号106(步骤S400)，对该输入影像信号106进行帧频f的分析而分解为帧图像(步骤S401)，从通过分解得到的帧图像中，确定处理对象图像F1和在显示顺序上与处理对象图像的前后相邻的帧图像F0、F2合计3个图像(步骤S402)。所确定的帧图像F0～F2被依次发送给图像特征提取单元102和帧图像间变化计算单元103。
然后，图像特征提取单元102计算上述帧图像F0～F2的平均亮度和各个空间频率成分的振幅的大小(步骤S403)。其计算方法如前面所述。计算出的平均亮度和空间频率成分的振幅的大小被发送给图像调整量确定单元104。
与步骤S403并行，帧图像间变化计算单元103根据图像F0～图像F2，计算F0～F1之间和F1～F2之间的帧图像间的移动向量，作为移动量，计算从帧图像F0到帧图像F1的移动量和从帧图像F1到帧图像F2的移动量(步骤S404)。移动量的计算方法如前面所述。计算出的移动量被发送给图像调整量确定单元104。
然后，图像调整量确定单元104根据计算出的平均亮度、空间频率成分的振幅、空间频率、移动量、帧图像间的时间间隔，选择存储在参数存储单元105中的参数(步骤S405)。然后，图像调整量确定单元104计算根据选择出的参数生成的帧图像F0相对于处理对象图像F1的空间频率成分的振幅/频带宽度的调整量1和帧图像F2相对于帧图像F1的调整量2的合计值，把计算出的合计值确定为相对于处理对象图像的空间频率成分的振幅/频带宽度的调整量3(步骤S406)。此处的调整量的确定方法如前面所述。然后，输出所确定的调整量3，结束图4所示的处理。
[第1实施方式的效果]
如上所述，根据第1实施方式的图像调整量确定装置10，确定影像中的处理对象帧图像，计算显示顺序在处理对象帧图像前后的帧图像的平均亮度、空间频率成分的振幅和帧图像间的移动量。然后，根据计算出的上述特征量，确定用于构成保持预先设定的主观质量(例如主观鲜明度)所需的最低限度的表示空间频率成分的振幅/频带宽度的调整量的参数，确定调整量。因此，对于输入影像信号的处理对象图像F1，根据处理对象图像F1及其前后的帧图像F0、F2的特征量，确定在一并观看作为影像的前后帧图像时能够保持主观鲜明度的空间频率的振幅/频带宽度的调整量，可以在保持作为影像的质量的同时，适当确定作为对处理对象图像F1削减信息量的指标的调整量。
[第2实施方式]
下面，说明本发明涉及的第2实施方式。图5是表示第2实施方式的图像处理装置50的功能结构的方框结构图。该图像处理装置50由作为硬件的计算机构成，该计算机具有CPU(中央处理装置)、存储器等存储装置、和输入输出影像的输入输出装置(通信装置)等。这种图像处理装置50例如可以利用电脑等固定式通信终端、或手机等移动通信终端等各种信息处理装置构成。
[图像处理装置50的功能方框结构]
下面，参照图5说明图像处理装置50的功能方框结构。如图5所示，图像处理装置50构成为包括上述第1实施方式所述的图像调整量确定装置10和图像调整单元502。
其中，图像调整量确定装置10如在第1实施方式中说明的那样，具有图1所示的功能结构，其构成为包括处理图像确定单元101、图像特征提取单元102、帧图像间变化计算单元103、图像调整量确定单元104、和参数存储单元105。该图像调整量确定装置10进行作为运动图像信号从外部输入的输入影像信号503的帧频的分析而分解为帧图像，从通过分解得到的帧图像中，确定处理对象图像F1和在显示顺序上与处理对象图像的前后相邻的帧图像F0、F2合计3个图像。然后，图像调整量确定装置10计算有关帧图像F0～F2的平均亮度、空间频率成分的振幅和帧图像间的移动量，根据计算出的上述特征量，确定处理对象图像F1的空间频率成分的振幅/频带宽度的大小的调整量，然后，经由L504将该调整量输出给图像调整单元502。
图像调整单元502根据上述调整量进行图像的空间频率成分的振幅/频带宽度的调整。具体地讲，图像调整单元502首先计算处理对象图像F1的空间频率成分(空间频率振幅的大小和平均亮度)。即，图像调整单元502对各个帧图像实施二维傅立叶转换，生成频率系数矩阵，计算该频率系数矩阵内的系数的大小。即，图像调整单元502计算各个傅立叶系数的实数项的平方和虚数项的平方之和的平方根，作为各个空间频率的振幅的大小。并且，图像调整单元502只提取空间频率的DC成分，把该空间频率的DC成分逆转换为亮度值，由此计算平均亮度。另外，空间频率成分的振幅的表述方法不限于此，也可以是其他表述方法。并且，平均亮度也可以计算各个帧图像的亮度值的平均值，求出该平均值作为平均亮度。
另外，在第2实施方式中，空间频率成分的振幅的计算利用了与第1实施方式的图像调整量确定装置10相同的方法，但也可以利用不同的方法计算空间频率成分的振幅。
然后，图像调整单元502对计算出的处理对象图像F1的空间频率成分在频率区域中乘以调整量，由此进行空间频率成分的振幅/频带宽度的调整。然后，图像调整单元502对调整后的空间频率成分实施逆二维傅立叶转换，转换为像素值并输出。
另外，在本实施方式中，把处理对象图像转换为频率区域，在频率区域中进行空间频率成分的振幅/频带宽度的调整，但也可以在像素空间中进行处理。例如，也可以采用对像素值进行滤波处理等方法。并且，在本实施方式中，示出了帧图像单位的处理，但是处理单位没有特别限制，例如也可以按照块单位进行处理。
并且，在本实施方式中，示出了对处理对象图像F1的空间频率成分乘以调整量的调整方法，但是不限于此。例如，也可以使空间频率成分的振幅不变，对调整量表示的频带宽度进行限制空间频率成分等处理。
并且，也可以通过对频率成分进行确定某种量化基准的量化和逆量化的处理，并削减电力水平较低的空间高频成分的值，由此进行空间频率成分的振幅/频带宽度的调整。并且，除此以外，只要是调整空间频率成分的振幅/频带宽度的手段，则可以采用任何方法。
[图像处理装置50的图像处理]
下面，根据图6说明第2实施方式的图像处理装置50的图像处理。图6是表示图像处理装置50的图像处理的流程图。
首先，输入对象影像，所输入的输入影像信号503被发送给图像调整量确定装置10。图像调整量确定装置10使用输入影像信号503，进行对处理对象图像F1的空间频率成分的振幅/频带宽度的调整量的计算。即，图像调整量确定装置10使用输入影像信号503，进行在第1实施方式中说明的图4的步骤S401～S406的图像调整量计算处理，由此确定处理对象图像F1的空间频率成分的调整量(步骤S601)。
然后，图像调整单元502根据图像调整量确定装置10确定的调整量，进行图像的空间频率成分的调整(步骤S602)。具体的调整方法如前面所述。在调整后，图像调整单元502对空间频率成分进行逆转换而转换为像素值，由此输出空间频率成分的振幅/频带宽度被调整后的图像，结束图6的处理。
[第2实施方式的效果]
如上所述，根据第2实施方式的图像处理装置50，确定影像中的处理对象帧图像，计算显示顺序在处理对象帧图像前后的平均亮度、空间频率成分的振幅和帧图像间的移动量。然后，根据计算出的特征量，确定用于构成保持预先设定的主观质量(例如主观鲜明度)所需的最低限度的表示空间频率成分的振幅/频带宽度的调整量的参数，确定调整量。然后，根据所确定的调整量进行处理对象图像F1的空间频率成分的振幅/频带宽度的调整。因此，对于输入影像信号的处理对象图像F1，根据处理对象图像F1及其前后的帧图像F0、F2的特征量，确定在一并观看作为影像的前后帧图像时能够保持主观鲜明度的空间频率的振幅/频带宽度的调整量，根据所确定的调整量，进行符合使用状况的图像的空间频率成分的调整，由此可以在保持作为影像的质量的同时，适当确定作为对处理对象图像F1削减信息量的指标的调整量。
[关于图像调整量确定程序]
下面，说明用于使计算机作为本发明涉及的图像调整量确定装置而动作的图像调整量确定程序。图7是与记录介质710一起表示图像调整量确定程序P710的结构的图。记录介质710可以利用软盘、CD-ROM、DVD、ROM等记录介质或半导体存储器等构成。
如图7所示，图像调整量确定程序P710构成为包括处理图像确定模块701、图像特征提取模块702、帧间变化计算模块703、图像调整量确定模块704、参数存储模块705。处理图像确定模块701是实现图1中的处理图像确定单元101的功能的模块，图像特征提取模块702是实现图像特征提取单元102的功能的模块，帧间变化计算模块703是实现帧图像间变化计算单元103的功能的模块，图像调整量确定模块704是实现图像调整量确定单元104的功能的模块，参数存储模块705是实现参数存储单元105的功能的模块。
并且，图8是表示用于执行记录在记录介质中的程序的计算机硬件结构的图，图9是用于执行存储在记录介质中的程序的计算机的立体图。此处的计算机也包括具备CPU并进行基于软件的处理和控制的DVD播放机、机顶盒、手机等。
如图8所示，计算机30构成为包括：由软盘驱动装置、CD-ROM驱动装置、DVD驱动装置等构成的读取装置12；作业用存储器(RAM)14；由ROM等构成的存储器16；作为显示装置的显示器18；作为输入装置的鼠标20和键盘22；用于进行数据等的发送接收的通信装置24；控制程序的执行的CPU 26。这种结构的计算机30中，在记录介质710被插入读取装置12后，存储在记录介质710中的图像调整量确定程序P710被读取装置12读取并输入计算机30，通过CPU 26执行图像调整量确定程序P710，由此计算机30作为本发明涉及的图像调整量确定装置而动作。
另外，如图9所示，图像调整量确定程序P710也可以作为被叠加在载波上的计算机数据信号40通过网络提供。该情况时，计算机30可以把通过通信装置24接收到的图像调整量确定程序P710存储到存储器16中，通过CPU 26执行该图像调整量确定程序P710。

Claims (12)

1.一种图像调整量确定装置，其特征在于，该图像调整量确定装置具有：
处理图像确定单元，其接收从外部输入的由多个帧图像构成的输入影像信号，把该输入影像信号分解为多个帧图像，根据预定的基准，从该多个帧图像中确定成为图像处理对象的处理对象图像、以及在显示顺序上位于所述处理对象图像附近的一个以上的邻近图像；
图像特征提取单元，其提取与通过所述处理图像确定单元确定的邻近图像相关的预定特征量；以及
图像调整量确定单元，其根据通过所述图像特征提取单元提取出的与所述邻近图像相关的预定特征量，确定与通过所述处理图像确定单元确定的处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。
2.根据权利要求1所述的图像调整量确定装置，其特征在于，
所述图像特征提取单元还提取与所述处理对象图像相关的预定特征量，
所述图像调整量确定单元根据通过所述图像特征提取单元提取出的与所述邻近图像相关的预定特征量和与所述处理对象图像相关的预定特征量，确定与所述处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。
3.根据权利要求1所述的图像调整量确定装置，其特征在于，
所述图像调整量确定装置还具有帧间变化计算单元，该帧间变化计算单元计算表示所述处理对象图像和所述邻近图像之间的变化的预定变化量，
所述图像调整量确定单元还以通过所述帧间变化计算单元计算出的变化量为基础，确定与所述处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。
4.根据权利要求3所述的图像调整量确定装置，其特征在于，
所述帧间变化计算单元计算所述处理对象图像和所述邻近图像之间的移动量，作为所述预定变化量。
5.根据权利要求1所述的图像调整量确定装置，其特征在于，
所述图像特征提取单元提取平均亮度和空间频率成分的振幅的至少一方，作为所述预定特征量。
6.根据权利要求1所述的图像调整量确定装置，其特征在于，
所述处理图像确定单元确定在显示顺序上位于所述处理对象图像之前的图像和位于所述处理对象图像之后的图像中的双方或一方，作为所述邻近图像。
7.根据权利要求1所述的图像调整量确定装置，其特征在于，
所述图像调整量确定单元还以所述处理对象图像和所述邻近图像之间的时间间隔为基础，确定与所述处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。
8.根据权利要求7所述的图像调整量确定装置，其特征在于，
所述图像调整量确定单元确定通过合成两种以上的不同特性而表现的调整量，作为所述调整量。
9.根据权利要求1所述的图像调整量确定装置，其特征在于，
所述图像调整量确定单元确定所述调整量，使得满足以下预先设定的基准，即，相对于对调整前的影像信号感觉到的鲜明度，使对包括调整后的处理对象图像在内的影像信号感觉到的鲜明度保持在预定的同一范围内。
10.一种图像处理装置，其特征在于，该图像处理装置具有：
权利要求1所述的图像调整量确定装置；
图像调整单元，其根据通过所述图像调整量确定装置确定的调整量，调整与处理对象图像相关的空间频率成分的振幅和频带宽度的至少一方。
11.一种图像调整量确定方法，其特征在于，该图像调整量确定方法包括：
处理图像确定步骤，图像调整量确定装置接收从外部输入的由多个帧图像构成的输入影像信号，把该输入影像信号分解为多个帧图像，根据预定的基准，从该多个帧图像中确定成为图像处理对象的处理对象图像、以及在显示顺序上位于所述处理对象图像附近的一个以上的邻近图像；
图像特征提取步骤，所述图像调整量确定装置提取与在所述处理图像确定步骤中确定的邻近图像相关的预定特征量；以及
图像调整量确定步骤，所述图像调整量确定装置根据在所述图像特征提取步骤中提取出的与所述邻近图像相关的预定特征量，确定与在所述处理图像确定步骤中确定的处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。
12.一种图像调整量确定程序，其特征在于，使计算机发挥以下单元的作用：
处理图像确定单元，其接收从外部输入的由多个帧图像构成的输入影像信号，把该输入影像信号分解为多个帧图像，根据预定的基准，从该多个帧图像中确定成为图像处理对象的处理对象图像、以及在显示顺序上位于所述处理对象图像附近的一个以上的邻近图像；
图像特征提取单元，其提取与通过所述处理图像确定单元确定的邻近图像相关的预定特征量；以及
图像调整量确定单元，其根据通过所述图像特征提取单元提取出的与所述邻近图像相关的预定特征量，确定与通过所述处理图像确定单元确定的处理对象图像相关的空间频率成分的振幅和频带宽度至少一方的调整量。
CNA2007101960376A 2006-11-28 2007-11-28 图像调整量确定装置、方法、程序以及图像处理装置 Pending CN101193255A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006320584 2006-11-28
JP2006320584A JP4885690B2 (ja) 2006-11-28 2006-11-28 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置

Publications (1)

Publication Number Publication Date
CN101193255A true CN101193255A (zh) 2008-06-04

Family

ID=39079621

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007101960376A Pending CN101193255A (zh) 2006-11-28 2007-11-28 图像调整量确定装置、方法、程序以及图像处理装置

Country Status (4)

Country Link
US (1) US8150194B2 (zh)
EP (1) EP1927951B1 (zh)
JP (1) JP4885690B2 (zh)
CN (1) CN101193255A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437954A (zh) * 2018-07-18 2021-03-02 夏普Nec显示器解决方案株式会社 影像显示装置及影像显示方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4885690B2 (ja) 2006-11-28 2012-02-29 株式会社エヌ・ティ・ティ・ドコモ 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置
JP5052301B2 (ja) * 2007-11-21 2012-10-17 オリンパス株式会社 画像処理装置、画像処理方法
JP4692614B2 (ja) * 2008-11-28 2011-06-01 ブラザー工業株式会社 印刷装置及びプログラム
JP2010130510A (ja) * 2008-11-28 2010-06-10 Brother Ind Ltd 印刷装置及びプログラム
JP4692615B2 (ja) * 2008-11-28 2011-06-01 ブラザー工業株式会社 印刷装置及びプログラム
US8510462B2 (en) * 2009-03-31 2013-08-13 Canon Kabushiki Kaisha Network streaming of a video media from a media server to a media client
US20100251293A1 (en) * 2009-03-31 2010-09-30 Canon Kabushiki Kaisha Network streaming of a video media from a media server to a media client
US8745186B2 (en) * 2009-03-31 2014-06-03 Canon Kabushiki Kaisha Network streaming of a video media from a media server to a media client
JP5398341B2 (ja) * 2009-05-11 2014-01-29 キヤノン株式会社 物体認識装置及び物体認識方法
JP5343739B2 (ja) * 2009-07-02 2013-11-13 ブラザー工業株式会社 出力装置及びプログラム
JP5942861B2 (ja) * 2013-01-11 2016-06-29 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
RU2014104445A (ru) * 2014-02-07 2015-08-20 ЭлЭсАй Корпорейшн Формирования изображения глубины с использованием информации о глубине, восстановленной из амплитудного изображения
CN110989284A (zh) 2014-04-22 2020-04-10 日本电信电话株式会社 视频呈现装置、视频呈现方法以及程序
KR102289261B1 (ko) * 2014-10-30 2021-08-12 한화테크윈 주식회사 움직임 영역 검출 장치 및 방법
US10354394B2 (en) 2016-09-16 2019-07-16 Dolby Laboratories Licensing Corporation Dynamic adjustment of frame rate conversion settings
US10977809B2 (en) 2017-12-11 2021-04-13 Dolby Laboratories Licensing Corporation Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings
CN117115313B (zh) * 2023-10-23 2024-02-02 成都工业学院 一种动画帧图像显示时间优化方法、系统、终端及介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3924266A (en) * 1974-08-30 1975-12-02 Rca Corp Automatic luminance channel bandwidth control apparatus responsive to the amplitude of color image information
FR2648254B2 (fr) * 1988-09-23 1991-08-30 Thomson Csf Procede et dispositif d'estimation de mouvement dans une sequence d'images animees
JP2953712B2 (ja) * 1989-09-27 1999-09-27 株式会社東芝 移動物体検知装置
US5418619A (en) * 1991-07-12 1995-05-23 Samsung Electronics Co., Ltd. Apparatus and method for selectively adapting a playback characteristic to meet video performance requirements
US5245589A (en) * 1992-03-20 1993-09-14 Abel Jonathan S Method and apparatus for processing signals to extract narrow bandwidth features
US5687249A (en) * 1993-09-06 1997-11-11 Nippon Telephone And Telegraph Method and apparatus for extracting features of moving objects
KR0134325B1 (ko) 1993-12-16 1998-04-23 배순훈 영상 데이타 전처리 필터
KR100229533B1 (ko) * 1996-08-30 1999-11-15 전주범 개선된 영상 복호화 시스템
JP3633159B2 (ja) * 1996-12-18 2005-03-30 ソニー株式会社 動画像信号符号化方法及び装置、並びに動画像信号伝送方法
US6360022B1 (en) * 1997-04-04 2002-03-19 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
JP3560217B2 (ja) * 1998-04-30 2004-09-02 ソニー株式会社 データ符号化装置、データ符号化方法及びデータ伝送方法
JP3156667B2 (ja) * 1998-06-01 2001-04-16 日本電気株式会社 電子透かし挿入システム、電子透かし特性表作成装置
JP3628564B2 (ja) * 1999-09-24 2005-03-16 日本電信電話株式会社 帯域制限方法、フィルタ装置、および帯域制限プログラムを記録した記録媒体
JP2001245298A (ja) * 2000-03-01 2001-09-07 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像符号化方法及び画像符号化プログラムを記憶した媒体
US20030189980A1 (en) * 2001-07-02 2003-10-09 Moonlight Cordless Ltd. Method and apparatus for motion estimation between video frames
JP4541632B2 (ja) * 2002-05-13 2010-09-08 パナソニック株式会社 電子透かし埋め込み装置、その方法及び記録媒体
JP4069679B2 (ja) * 2002-05-24 2008-04-02 松下電器産業株式会社 画像処理方法および画像処理装置
US7197075B2 (en) * 2002-08-22 2007-03-27 Hiroshi Akimoto Method and system for video sequence real-time motion compensated temporal upsampling
WO2004039074A1 (en) * 2002-10-22 2004-05-06 Koninklijke Philips Electronics N.V. Image processing unit with fall-back
JP4130142B2 (ja) * 2003-03-27 2008-08-06 三洋電機株式会社 画像信号処理装置
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7454078B2 (en) * 2003-07-22 2008-11-18 Warner Bros. Entertainment Inc. Method and apparatus for flicker removal from an image sequence
US7430335B2 (en) * 2003-08-13 2008-09-30 Apple Inc Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering
US7769089B1 (en) * 2004-12-02 2010-08-03 Kolorific, Inc. Method and system for reducing noise level in a video signal
JP4885690B2 (ja) * 2006-11-28 2012-02-29 株式会社エヌ・ティ・ティ・ドコモ 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437954A (zh) * 2018-07-18 2021-03-02 夏普Nec显示器解决方案株式会社 影像显示装置及影像显示方法
CN112437954B (zh) * 2018-07-18 2024-03-22 夏普Nec显示器解决方案株式会社 影像显示装置及影像显示方法

Also Published As

Publication number Publication date
EP1927951A2 (en) 2008-06-04
US8150194B2 (en) 2012-04-03
EP1927951B1 (en) 2017-01-11
US20080123985A1 (en) 2008-05-29
JP2008135977A (ja) 2008-06-12
JP4885690B2 (ja) 2012-02-29
EP1927951A3 (en) 2009-05-27

Similar Documents

Publication Publication Date Title
CN101193255A (zh) 图像调整量确定装置、方法、程序以及图像处理装置
CN108665521B (zh) 图像渲染方法、装置、系统、计算机可读存储介质及设备
Peleg et al. Im-net for high resolution video frame interpolation
CN104394422B (zh) 一种视频分割点获取方法及装置
Ju Jung et al. Visual comfort assessment metric based on salient object motion information in stereoscopic video
US7203381B2 (en) Image processing method, image processing apparatus, and image processing program
CN101610349B (zh) 用于处理图像的装置和方法
EP2061246A1 (en) Image distribution system, server, and client terminal
US8462985B2 (en) Video evaluation apparatus, spatio-temporal frequency analyzing apparatus, video evaluation method, spatio-temporal frequency analyzing method, video evaluation program, and spatio-temporal frequency analyzing program
DE112018007721T5 (de) Aufnehmen und modifizieren von 3D-Gesichtern unter Verwendung neuronaler Bild-und Zeitverfolgungsnetze
Choi et al. Visual fatigue modeling and analysis for stereoscopic video
Moss et al. On the optimal presentation duration for subjective video quality assessment
US5699499A (en) Post-processor of motion vectors for field interpolation
CN101478637A (zh) 基于历史的空间-时间噪声降低
US9483812B2 (en) Enhancing motion pictures with accurate motion information
CN104094312A (zh) 对基于测得的知觉质量特性的视频处理算法的控制
US20100214425A1 (en) Method of improving the video images from a video camera
CN110944176A (zh) 图像帧降噪方法和计算机存储介质
Sinno et al. Spatio-temporal measures of naturalness
Zhang et al. Quality-of-Experience Evaluation for Digital Twins in 6G Network Environments
US7609900B2 (en) Moving picture converting apparatus and method, and computer program
Yildiz et al. A perceptual quality metric for dynamic triangle meshes
Topiwala et al. Vmaf and variants: Towards a unified vqa
CN111539948A (zh) 视频质量评估的方法、装置、电子设备及存储介质
US8355603B2 (en) Data converting apparatus and data converting method, learning device and learning method, and recording medium

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20080604