CN101610349A - 用于处理图像的装置、方法和程序 - Google Patents

用于处理图像的装置、方法和程序 Download PDF

Info

Publication number
CN101610349A
CN101610349A CNA200910146332XA CN200910146332A CN101610349A CN 101610349 A CN101610349 A CN 101610349A CN A200910146332X A CNA200910146332X A CN A200910146332XA CN 200910146332 A CN200910146332 A CN 200910146332A CN 101610349 A CN101610349 A CN 101610349A
Authority
CN
China
Prior art keywords
motion blur
shutter speed
image
processing
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200910146332XA
Other languages
English (en)
Other versions
CN101610349B (zh
Inventor
伊藤厚史
小林诚司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101610349A publication Critical patent/CN101610349A/zh
Application granted granted Critical
Publication of CN101610349B publication Critical patent/CN101610349B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

用于处理图像的装置、方法和程序。图像处理装置包含：校正参数计算装置，用于基于指示单元图像之间的图像运动的运动信息、形成图像数据的单元图像以及在所述图像数据的图像捕获时获得的快门速度信息，计算用于运动模糊校正的运动模糊校正参数；以及运动模糊校正处理装置，用于通过根据所述运动模糊校正参数至少执行减少运动模糊的处理，校正包含于所述图像数据中的运动模糊量。

Description

用于处理图像的装置、方法和程序
技术领域
本发明涉及用于处理图像的装置、方法和程序，并且尤其涉及考虑到图像上的运动图像模糊的情况下用于得到高质量图像的图像处理技术。
背景技术
当以高速快门拍摄的运动图像或动画在例如投影仪或显示器的显示设备上显示时，包含于图像中的运动对象的运动可用非连续方式显示。这导致频繁的图像降级，其中用户看见运动对象的多个图像。由于运动不自然造成的运动图像的降级一般称为急动(motion jerkiness)。另一方面，当显示用低速快门，例如用打开快门拍摄的运动图像时，对象的图像可能缺乏细节或由于运动模糊的影响而使图像边缘变得模糊。这一现象被称作运动模糊，其也是图像降级之一。
参照图26-28描述了急动和模糊的产生原理。根据视觉特性，已知人类将入射到眼睛的光线从视觉上识别成通过积分预定时间段的光线而产生的值。图26-28概略地图解了根据所述视觉特性由观看者观看对象的方式。
图26A和26B图解了在真实世界中静止对象和运动对象看上去怎样。
图26A用表示位置(x)的横坐标和表示时间(t)的纵坐标图解了静止对象71和运动对象72的按时间顺序的运动。图26B概略地图解了观看静止对象71和运动对象72的观看者的视觉。观看者在两种视觉条件下观看对象，即，跟踪运动对象72的跟踪视觉和不跟踪运动对象72的固定视觉，其分别被图解成(a)跟踪视觉和(b)固定视觉。
如果观看者用图26B中所示的(a)跟踪视觉来跟踪运动对象72，则运动对象72看来像运动对象视觉信息a72。这与用图26B中的(b)固定视觉去看静止对象71的固定目标视觉信息b71相同。如果观看者通过这种方式用跟踪视觉来观看运动对象72，则运动对象72看上去如同静止对象71以固定视觉看上去一样。如果观看者用如图26B中所图解的(b)固定视觉那样的固定视觉来观看运动对象72，则运动对象72看上去像图26B中的运动对象视觉信息信息b72。观看者将运动对象在视觉上识别为连续运动对象，并且没有任何不舒适的观看。
图27A和27B图解了当用高速快门拍摄的运动图像或动画在例如投影仪或显示设备的显示设备上显示时，由观看者观看到的急动的产生原理。急动是一种现象，其中包含于图像中的运动对象的运动以非连续方式显示，使观看者在视觉上看出运动对象的多个图像。
图26A和26B中真实世界中的运动对象以高速快门成像，然后以60Hz的刷新速率在显示设备上显示。图27A和27B图解了观看者在视觉上识别运动对象的方式。图27A图解了在显示设备上显示静止对象81和显示运动对象82的显示位置的变化。在图27A中，纵坐标表示时间(t)并且按显示设备的刷新周期(每个周期是1/60秒)渐进，而横坐标表示显示位置(x)。图27B概略地图解了观看在显示设备上显示的显示静止对象81和显示运动对象82的观看者的视觉状态。观看者的视觉状态包含(a)跟踪视觉，其中观看者以跟踪显示运动对象82的方式观看图像，以及(b)固定视觉，其中观看者以不跟踪显示运动对象82但观看者的视觉固定的方式来观看图像。
当由观看者用图27B中所示的(a)跟踪视觉观看显示设备上显示的显示运动对象82时，图像a82看上去如同用图26B中的(a)跟踪视觉的图像a72看上去一样。观看者以和观看者用固定视觉观看静止对象的方式相同的方式在视觉上看到图像。
当观看者用图27B中所示的(b)固定视觉观看显示设备上显示的显示运动对象82时，显示运动对象82看上去像图像b82，其不是连续地运动，而是以不同于在观看者的视觉中的现实世界的方式非连续地运动。因而，基于人的视觉特性，观看者在视觉上将显示设备上显示的运动对象识别成多个图像。在人的视觉特性中，人类将入射到眼睛上的光线在视觉上识别成通过积分预定时间段的光线而产生的值。
这样，观看者将单个对象看成多个对象。这一现象被称作急动。一般地，高速运动的对象出现更多的急动。显示设备的帧速率越低，急动发生得越多，而帧速率越高，则急动发生越少。此外，急动在空间亮度变化较大，即空间对比度较高的图像部分中更多发生。
图28A和28B图解了当用低速快门，例如用打开快门拍摄的运动图像或动画在例如投影仪或显示器的显示设备上显示时，由观看者观看到的模糊是如何产生的。模糊是一种现象，其中由于运动模糊的作用，对象的图像可能缺乏细节或者图像边缘变得模糊。
图28A和28B概略地图解了当以低速快门对运动对象成像并接着以60Hz的刷新速率在显示设备上显示时，在图26A和26B中图解的真实世界中的运动对象对于观看者来说看上去如何。图28A图解了在显示设备上显示静止对象91和显示运动对象92的显示位置变化。在图28A中，纵坐标表示时间(t)并且按显示设备的刷新周期(每个周期是1/60秒)渐进，而横坐标表示显示位置(x)。图28B概略地图解了观看在显示设备上显示的显示静止对象91和显示运动对象92的观看者的视觉状态。观看者的视觉状态包含(a)跟踪视觉，其中观看者以跟踪显示运动对象92的方式观看图像，以及(b)固定视觉，其中观看者以不跟踪显示运动对象92但观看者的视觉固定的方式观看图像。
当由观看者用图28B中所示的(b)固定视觉观看显示设备上显示的显示运动对象92时，图像b92看上去与图像b72用图26B中的(b)固定视觉看上去一样。观看者将运动对象在视觉上识别为连续运动对象，并且没有任何不舒适的观看。
当由观看者用跟踪视觉观看显示设备上显示的显示运动对象92时，以不同于用固定视觉观看静止对象的情况的方式，图像a92对于观看者来说被看成如图28B所示的模糊图像。当图28A中的显示运动对象92被成像时，在低速快门的长曝光期间运动对象的运动被记录在一个帧内，这样，运动对象被显示为一个帧中的带。这样的现象被称作模糊。
原则上，针对成像快门速度，在急动与模糊之间存在折衷。单纯的快门控制使得急动的降级或模糊的降级明显。更具体地说，如果用就运动图像帧速率而言的相对高快门速度拍摄的图像被显示为静止图像，则提供高锐度。如果图像被显示为运动图像，则图像内的运动区域，尤其是高速的运动区域的运动不平滑。这样的图像对于人类的视觉来说看上去不自然。如果用就运动图像帧速率而言的相对低快门速度拍摄的图像被显示为运动图像，则提供高锐度。如果图像被显示为运动图像，则图像内的高速运动区域的运动是平滑的，但是整个图像缺乏锐度。
转让给本发明的相同受让人的日本待审专利申请公开说明书2007-274299(WO07/114220)公开了一种旨在用于以高快门速度拍摄的图像的急动降低技术。根据所公开的技术，通过图像处理增加运动模糊。通过图像处理的分析控制所增加的运动模糊量，使得运动模糊的过度增加不会导致模糊降级。广泛地研究了通过主要对以低快门速度拍摄的输入图像执行的图像处理来降低运动模糊的技术方案。例如，用于校正图像的模糊的图像处理技术主要包含基于模糊模型的逆卷积技术，以及不使用模糊模型的技术，例如峰值技术或冲击滤波技术。例如，在文章″Extension ofCoupled Nonlinear Diffusion to Motion De-blurring-Introduction ofAnisotropic Peaking，″Takahiro SAITO，Hiroyuki HARADA，和TakashiKOMATSU，The Institute of Image Information and Television EngineersVol.58，No.12 pp.1839-1844(2004)中公开的技术涉及作为运动模糊降低手段的基于模糊模型的逆卷积技术。在文章″Motion De-blurring Using aBlur Model，″Takahiro SAITO，Hiroyuki HARADA，Taishi SANO，和Takashi KOMATSU，The Institute of Image Information and TelevisionEngineers Vol.59，No.11，pp.1714-1721(2005)中公开的技术涉及不使用模糊模型作为运动模糊降低手段的技术。
发明内容
如上所述，针对成像快门速度，在急动与模糊之间存在折衷。单纯的快门控制使得急动或模糊明显。
因而期望提供一种图像处理技术，其恰当地响应上述图像质量降级的原因并且自适应地应用于急动和模糊以控制急动和模糊降级。
根据本发明的一个实施例，图像处理装置包含校正参数计算装置，用于基于指示单元图像之间图像的运动的运动信息、形成图像数据的单元图像以及在图像数据的图像捕获时获得的快门速度信息，计算用于运动模糊校正的运动模糊校正参数；以及运动模糊校正处理装置，用于通过根据所述运动模糊校正参数至少执行减少运动模糊的处理，校正包含于所述图像数据中的运动模糊量。
运动模糊校正处理装置可根据所述运动模糊校正参数执行在所述图像数据上增加运动模糊的处理和减少运动模糊的处理。
图像处理装置还可以包含用于通过分析所述图像数据来估计快门速度信息的快门速度估计处理装置，其中所述校正参数计算装置使用由所述快门速度估计处理装置估计的快门速度信息，以便计算所述运动模糊校正参数。
运动模糊校正处理装置可根据所述运动模糊校正参数，响应于所述图像数据的每个分区区域，自适应地选择所述增加运动模糊的处理和所述减少运动模糊的处理中的一个。
运动模糊校正处理装置可对所述图像分别执行所述增加运动模糊的处理和所述减少运动模糊的处理，以及根据所述运动模糊校正参数，在由所述增加运动模糊的处理产生的数据与由所述减少运动模糊的处理产生的数据之间选择作为针对所述图像数据的每个分区区域自适应地输出的数据。
图像处理装置还可以包含用于由所述图像数据生成运动向量以作为所述运动信息的运动向量生成装置。
快门速度估计处理装置可包含运动模糊特征分析器，用于通过分析包含于所述图像数据的目标区域中的运动模糊特征来提取快门速度计算参数；以及成像快门速度计算器，用于计算所述图像数据的图像捕获时的快门速度。
快门速度估计处理装置还可以包含处理目标区域选择器，用于从形成所述图像数据的单元图像中提取和识别所述运动模糊特征分析器的分析处理的目标区域。
图像处理装置还可以包含运动向量生成装置，用于由所述图像数据生成运动向量以作为所述运动信息。所述快门速度估计处理装置中的处理目标区域选择器利用所述图像数据的边缘信息以及由所述运动向量生成装置生成的运动向量来识别所述目标区域。
快门速度估计处理装置还可以包含成像快门速度准确度增强处理器。运动模糊特征分析器提取多个目标区域的快门速度计算参数。成像快门速度计算器利用多个目标区域的快门速度计算参数以及各个目标区域的运动信息计算多个快门速度。成像快门速度准确度增强处理器利用多个快门速度的计算结果估计成像快门速度。
快门速度估计处理装置在输入的图像数据中从检测到景象改变到检测到下一个景象改变的时间段内可估计快门速度一次，并且在该时间段内保持所估计的快门速度。
快门速度估计处理装置可包含成像快门速度准确度增强处理器。成像快门速度准确度增强处理器在从所述输入图像数据中景象改变的检测到下一个景象改变的检测的时间段内估计所述快门速度多次，并且基于所估计的多个快门速度的计算结果估计成像快门速度。
校正参数计算装置可通过参考将目标速度映射到成像快门速度的映射信息，从所述图像数据的每个分区区域获得对应于所述目标速度的最优快门速度，其中以所述映射到的成像快门速度能够减少输出图像的图像质量降级，并且通过比较有关输入成像快门速度的信息与所述最优快门速度，将所述运动模糊校正参数计算为用于在增加所述图像数据上的运动模糊的处理与减少所述图像数据上的运动模糊的处理之间进行选择的选择控制信息。运动模糊校正处理装置根据运动模糊校正参数可有选择地对图像数据执行增加运动模糊的处理和减少运动模糊的处理。
校正参数计算装置可通过参考将目标速度映射到成像快门速度的映射信息，从所述图像数据的每个分区区域获得对应于所述目标速度的最优快门速度，其中以所述成像快门速度能减少输出图像的图像质量降级，以及通过比较有关输入成像快门速度的信息与所述最优快门速度，将所述运动模糊校正参数计算为用于在增加所述图像数据上的运动模糊的处理与减少所述图像数据上的运动模糊的处理之间进行选择的选择控制信息。运动模糊校正处理装置可对所述图像分别执行增加运动模糊的处理和减少运动模糊的处理，以及根据所述运动模糊校正参数，在由增加运动模糊的处理产生的数据与由减少运动模糊的处理产生的数据之间选择作为针对所述图像数据的每个分区区域自适应地输出的数据。
校正参数计算装置可计算运动模糊校正参数，其指示由所述运动模糊校正处理装置分别在增加所述图像数据上的运动模糊的处理和减少所述图像数据上的运动模糊的处理中使用的运动模糊的增加度和运动模糊的减少度之一。
指示运动模糊的增加度和运动模糊的减少度之一的所述运动模糊校正参数可包括成像快门速度和成像快门速度与最优快门速度之间的差之一。
指示运动模糊的增加度与运动模糊的减少度之一的运动模糊校正参数可包括分区区域的运动速度信息。
根据本发明的另一个实施例，图像处理方法包含基于指示单元图像之间的图像运动的运动信息、形成图像数据的单元图像以及在所述图像数据的图像捕获时获得的快门速度信息，计算用于运动模糊校正的运动模糊校正参数，以及通过根据所述运动模糊校正参数至少执行减少运动模糊的处理，校正包含于所述图像数据中的运动模糊量。
根据本发明的另一个实施例，一种程序使计算机执行图像处理方法。图像处理方法包含基于指示单元图像之间的图像运动的运动信息、形成图像数据的单元图像以及在所述图像数据的图像捕获时获得的快门速度信息，计算用于运动模糊校正的运动模糊校正参数，以及通过根据所述运动模糊校正参数至少执行减少运动模糊的处理，校正包含于所述图像数据中的运动模糊量。
附图说明
图1是根据本发明的一个实施例的图像处理装置的第一基本结构的模块图；
图2根据本发明的一个实施例图解了分区区域；
图3是根据本发明的一个实施例的图像处理装置的第二基本结构的模块图；
图4是根据本发明的一个实施例的图像处理装置的第三基本结构的模块图；
图5是根据本发明的一个实施例的图像再现装置的模块图；
图6是根据本发明的一个实施例的运动向量生成处理器的模块图；
图7的流程图图解了本发明的一个实施例的运动向量生成处理器的操作；
图8是图解根据本发明的一个实施例的快门速度估计处理器的模块图；
图9根据本发明的一个实施例图解了运动模糊长度；
图10A1到10C2根据本发明的一个实施例图解了运动模糊长度；
图11A-11C根据本发明的一个实施例图解了运动模糊长度的计算过程；
图12是图解根据本发明的一个实施例的快门速度估计处理器的详细模块图；
图13根据本发明的一个实施例图解了运动模糊特征分析器的处理；
图14是根据本发明的一个实施例的运动模糊采样频率表；
图15是根据本发明的一个实施例的运动模糊校正参数计算器和运动模糊校正处理器的模块图；
图16根据本发明的一个实施例图解了最优快门速度；
图17是根据本发明的一个实施例的处理选择控制器的处理的流程图；
图18图解了根据本发明的一个实施例的响应于目标速度和成像快门速度而执行的处理；
图19是根据本发明的一个实施例的运动模糊减少处理器的模块图；
图20A和20B根据本发明的一个实施例图解了平滑滤波器；
图21是根据本发明的一个实施例的运动模糊增加处理器的模块图；
图22的流程图根据本发明的一个实施例图解了运动向量屏蔽处理；
图23根据本发明的一个实施例图解了滤波参数计算处理；
图24是根据本发明的一个实施例的另一个运动模糊增加处理器的模块图；
图25是图解根据本发明的一个实施例的另一个运动模糊校正处理器的模块图；
图26A和26B图解了与静止对象和运动对象看上去如何有关的急动和模糊的生成原理；
图27A和27B图解了急动的生成原理；以及
图28A和28B图解了模糊的生成原理。
具体实施方式
下面参考附图描述本发明的实施例。
本发明的实施例的图像处理装置的第一到第三基本结构描述如下。本发明不局限于如下所述的三个基本结构。
本发明的一个实施例的图像处理装置旨在生成图像，其中通过图像处理减少图像的急动和模糊。如果在显示设备上显示以简单快门控制拍摄的运动图像，该运动图像可能由于人类视觉特性而看上去不自然，具有明显的急动或者模糊。根据本发明的一个实施例，通过根据有关在输入图像的捕获时所使用的快门速度的信息将运动模糊加到高速快门捕获的图像上，来减少急动的产生。如果输入低速快门捕获的图像，则执行减少运动模糊的处理以便减少模糊降级。更具体地说，响应于输入图像信号以及图像捕获时使用的快门速度与对象运动速度之间的关系的情况，自适应地执行(增加和减少运动模糊的)两个处理。因而既控制了急动降级又控制了模糊降级。通过生成具有较少图像质量降级的图像信号并且输出高质量图像来执行高质量图像处理。
图1图解了具有第一基本结构的图像处理装置1。
图像处理装置1包含图像获取单元11、运动模糊校正参数计算器12和运动模糊校正处理器13。图像获取单元11将图像数据获取到图像处理装置1中。运动模糊校正参数计算器12设置用于校正由图像获取单元11获取的图像上的运动模糊的参数。运动模糊校正处理器13对由图像获取单元11获取的图像数据执行运动模糊校正处理。
运动模糊校正参数计算器12接收由图像获取单元11获得的图像数据的运动信息以及指示当捕获图像数据时每帧的曝光时间的快门速度信息。运动模糊校正参数计算器12由这些输入信息计算最佳参数，用于在图像数据的每一帧中逐个分区区域地校正所获得的图像数据的运动模糊，然后将所计算的最佳参数提供给运动模糊校正处理器13。如图2所示，例如，运动模糊校正参数计算器12在一个帧内设置多个分区区域(像素块)#1-#m，针对每一分区区域#1-#m计算运动模糊校正参数，然后将运动模糊校正参数提供给运动模糊校正处理器13。运动信息不限于指示帧之间的图像运动的信息。运动信息可以是表示形成运动图像的单元图像之间的图像运动的信息，例如表示场之间的图像运动的信息。
运动模糊校正处理器13利用由运动模糊校正参数计算器12计算的运动模糊校正参数校正图像数据的一定量的运动模糊，然后从图像处理装置1内向外部输出运动模糊校正的图像数据。运动模糊校正处理器13包含分类单元31、运动模糊减少处理器32、运动模糊增加处理器33和合成器34。
根据分区区域的运动模糊量将被减少还是增加，分类单元31将输入图像数据的每一分区区域#1-#m的图像数据输出给运动模糊减少处理器32和运动模糊增加处理器33之一。运动模糊减少处理器32执行减少输入图像数据的相应区域的运动模糊量的处理。运动模糊增加处理器33执行增加输入图像数据的相应区域的运动模糊量的处理。如果在指定分区区域中未在使用运动模糊校正，则分类单元31将该分区区域的图像数据输出给合成器34。可选地，如果未在使用运动模糊校正，则运动模糊减少处理器32和运动模糊增加处理器33可在将校正运动模糊量设置为零的设置中执行其处理。
合成器34执行合成处理，将由运动模糊减少处理器32和运动模糊增加处理器33之一校正的每个分区区域的图像数据与未经历校正的分区区域的图像数据合成为帧图像。
运动模糊校正处理器13中的分类单元31接收由运动模糊校正参数计算器12计算的运动模糊校正参数。针对图像数据的每一帧中的每个分区区域计算运动模糊校正参数，该运动模糊校正参数包含有关要对当前被设置成图像数据的处理目标的分区区域执行的运动模糊校正处理的信息。运动模糊校正处理器13的运动模糊校正处理包含执行在可能发生模糊降级的区域中减少运动模糊的处理(去模糊处理)和在可能发生运动模糊不足，即急动降级的区域中增加运动模糊的处理(加模糊处理)之一。分类单元31响应于运动模糊校正参数对每个分区区域的图像数据分类。更具体地说，分类单元31把要去模糊的分区区域的图像数据输出给运动模糊减少处理器32，把要加模糊的分区区域的图像数据输出给运动模糊增加处理器33。
因而，输出到运动模糊减少处理器32和运动模糊增加处理器33中的一个的图像数据经过最优运动模糊校正处理，以既减少急动降级又减少模糊降级。已经过最优运动模糊校正处理的图像数据被提供给合成器34。已经过运动模糊校正处理的图像数据的区域被合成器34合成，从而输出所得到的图像数据。运动模糊校正处理器13输出急动降级和模糊降级得到减少的运动图像信号。
在本发明一个实施例中，图像处理装置可以只执行运动模糊减少处理器32的校正处理，其中运动模糊增加处理器33被从运动模糊校正处理器13中除去。可选地，只有运动模糊增加处理器33执行校正处理，而运动模糊减少处理器32被从运动模糊校正处理器13中除去。然而，在这种情况下，急动降级和模糊降级之一可能仍然存在。例如，如果仅执行去模糊处理，则响应于以高快门速度捕获的图像数据，可能未减少急动降级。反之，如果仅执行加模糊处理，则响应于以低快门速度捕获的图像数据，发生在对象正运动的区域内的模糊降级可能未被减少。
不考虑例如图像数据的成像快门速度的条件，图1的结构中的去模糊处理和加模糊处理的组合既减少急动降级又减少模糊降级。图3和4所图解的结构也是如此。当显示图像数据时，急动降级和模糊降级发生，导致图像数据的图像对于人类的眼睛来说看上去不自然。如此构成的图像处理装置1通过响应于图像数据的运动信息和图像捕获时快门速度的信息自适应地校正图像数据的运动模糊，减少急动降级和模糊降级。
图3图解了根据本发明的一个实施例、作为第二结构的图像处理装置2。具有第一结构的图像处理装置1基于图像获取单元11获得图像数据的快门速度信息的前提。在运动模糊校正处理(加模糊处理和去模糊处理)的选择中参考图像捕获时的快门速度信息。例如，包含具有图像捕获功能的图像获取单元11的图像处理装置1执行图像捕获操作，从而获得图像数据。利用所述图像捕获功能，图像处理装置1可容易地提取实际图像捕获操作中所使用的快门速度值。如果快门速度信息作为图像数据的元数据或类似数据被包含，则从元数据获得快门速度的值。如果图像处理装置是通过接收图像信号或通过从记录介质中再现图像信号来显示图像信号的装置的一部分，则图像数据的图像捕获时的快门速度通常保持未知。
具有第二结构的图像处理装置2通过图像处理来分析输入图像信号，从而估计图像信号的图像捕获时的快门速度。图3图解了具有第二结构的图像处理装置2，其中图像获取单元11不获得指示图像数据的每一帧的曝光时间的快门速度信息。图像处理装置2不同于图1的图像处理装置1之处在于其包含了快门速度估计处理器14。
快门速度估计处理器14接收也由图像获取单元11获得的图像数据，以及图像数据的运动信息。快门速度估计处理器14执行图像处理以分析输入的图像数据，从而估计指示图像数据的图像捕获时每一帧的曝光时间的快门速度信息。所估计的快门速度信息被输出到运动模糊校正参数计算器12。由运动模糊校正参数计算器12和运动模糊校正处理器13执行的处理与图1中所图解的图像处理装置1中的对应方的处理相同。
急动降级和模糊降级通常在所显示的图像中发生，导致图像数据的图像对于人类的眼睛来说看上去不自然。如此构成的图像处理装置2利用影响急动降级和模糊降级的图像数据的运动信息分析图像数据。图像处理装置2估计图像数据的图像捕获时的快门速度信息，并且响应于所估计的快门速度信息，自适应地校正图像数据的运动模糊。从而，图像处理装置2既减少了急动降级又减少了模糊降级。
图4图解了具有第三种结构的图像处理装置3。图像处理装置3包含运动模糊校正处理器13A，而不是包含在图3中所图解的图像处理装置2中的运动模糊校正处理器13。图像处理装置3的其余部分在结构上与图像处理装置2相同。运动模糊校正处理器13A包含运动模糊减少处理器32、运动模糊增加处理器33以及选择器和合成器35。运动模糊减少处理器32对输入的图像数据的所有分区区域执行运动去模糊处理。运动模糊增加处理器33对输入的图像数据的所有分区区域执行运动加模糊处理。
选择器和合成器35从运动模糊减少处理器32接收已经过运动去模糊处理的所有分区区域的图像数据。选择器和合成器35从运动模糊增加处理器33接收已经过运动加模糊处理的所有分区区域的图像数据。选择器和合成器35也接收输入的图像数据(未经过运动模糊校正的图像数据)。响应于运动模糊校正参数，选择器和合成器35选择减少了运动模糊的数据、增加了运动模糊的数据或者未经校正的数据。选择器和合成器35合成每个分区区域的所选择的数据，从而生成并且输出一个帧的图像数据。在校正处理之前，第一和第二基本结构的每个中的分类单元31选择要执行的校正处理。相反，在图4所图解的第三基本结构中，对所有分区区域执行运动去模糊处理和运动加模糊处理，然后选择处于适当校正状态的图像数据，并且作为输出图像数据输出。
在一种可选方式中，图4中图解的图像处理装置3可以具有除了运动模糊校正处理器13A之外与图3中图解的图像处理装置2一样的结构。在另一个可选方式中，图像处理装置3可以具有除了运动模糊校正处理器13A之外与图1中所图解的图像处理装置1一样的结构。
进一步详细地描述根据本发明的一个实施例的具有第二基本结构的图像处理装置2。具有第一基本结构的图像处理装置1可被认为是可以得到成像快门速度信息的图像处理装置2的特定版本。下面的讨论关注于图像处理装置2。图像处理装置1也被认为是参照图5和后续附图讨论的、没有快门速度估计处理的图像处理装置的特定版本。后面还将描述第三基本结构。
图5图解了具有第二基本结构的图像处理装置2所应用于的图像再现装置100。图像再现装置100接收和再现经由传输线路发送的图像数据，或者再现记录在记录介质200，例如数字通用光盘(DVD)或蓝光盘(索尼公司的注册商标)上的图像数据。
参考图5，图像再现装置100包含接收经由传输线路发送的编码图像数据的接收处理器110，以及从记录介质200中读出编码图像数据的读出处理器120。图像再现装置100还包含将编码数据解码成图像数据DD的解码处理器130，以及由解码图像数据DD生成运动向量VD的运动向量生成处理器140。图像再现装置100还包含利用解码图像数据DD和运动向量VD估计图像捕获时图像数据的快门速度SSD的快门速度估计处理器150，以及运动模糊校正参数计算器170。图像再现装置100还包含根据运动向量VD和快门速度SSD校正解码图像数据DD的运动模糊量的运动模糊校正处理器160。图像再现装置100还包含使显示设备显示运动图像的运动图像显示输出单元190，所述运动图像的急动降级得到减少，而运动模糊得到增加。图像再现装置100还包含使显示设备显示解码图像为静止图像的静止图像显示输出单元180。
点划线框所包围的接收处理器110、读出处理器120、解码处理器130和运动向量生成处理器140对应于图3中图解的第三基本结构中的图像获取单元11。快门速度估计处理器150对应于图3中图解的快门速度估计处理器14。运动模糊校正参数计算器170对应于图3中图解的运动模糊校正参数计算器12。运动模糊校正处理器160对应于图3中图解的运动模糊校正处理器13。
参考图5，接收处理器110和读出处理器120获得根据例如运动图像专家组(MPEG)的图像运动信息进行预测编码的图像数据，并且将所述图像数据提供给解码处理器130。由接收处理器110和读出处理器120作为运动图像获得的图像数据具有1秒的单位时间，并且每单位时间包含60个图像帧。更具体地说，图像数据是每秒60帧的帧速率的逐行单元图像(fps)。图像数据不局限于逐行图像。图像数据可以是以场图像为单位处理的隔行图像。帧速率不局限于60fps。
图像再现装置100可以具有接收处理器110和读出处理器120的至少一个以执行用于从外部获得图像的图像数据获得功能。除了图像数据获得功能，图像再现装置100可获得作为图像数据的元数据而包含的快门速度信息。在这种情况下，图像再现装置100变得类似于具有第一基本结构的图像处理装置1，而不使用用于估计图像捕获时的快门速度SSD的快门速度估计处理器150。
解码处理器130解码从接收处理器110和读出处理器120之一获得的图像数据。然后，解码处理器130将解码图像数据DD提供给运动向量生成处理器140、快门速度估计处理器150和运动模糊校正处理器160的每个。当解码图像数据DD被处理成静止图像时，解码处理器130将解码图像数据DD仅提供给静止图像显示输出单元180，而没有将图像数据处理成运动图像。
运动向量生成处理器140由从解码处理器130提供的解码图像数据DD生成作为解码图像数据DD的运动信息的运动向量VD。此处运动向量是表示帧之间的运动图像的位置与运动图像的运动方向的信息。运动向量可以按像素生成，以获得高准确度等级的运动对象的运动信息。本发明的一个实施例的运动向量生成处理器140按像素块生成运动向量，以减少处理中的计算工作量。此处帧图像被分成多个像素块。
根据MPEG标准等等编码的图像数据包含运动向量作为编码信息。根据本发明的一个实施例，使用运动向量作为编码信息从减少工作量的立场上来看是可能并且有用的。用于编码的运动向量充当主要编码运动图像的信息。结合除了运动向量之外的其余信息等执行编码处理，而运动向量不必如实地代表响应于整个图像上实际运动对象的运动的值。根据本发明的一个实施例，运动向量生成处理器140通过随后讨论的处理步骤准确地检测响应于解码图像中实际运动对象的运动的运动向量。因而，运动向量生成处理器140如实将运动模糊增加到实际运动对象的运动中。
快门速度估计处理器150根据从解码处理器130提供的解码图像数据DD估计图像数据的图像捕获时的快门速度SSD。快门速度估计处理作为如稍后将描述的、使用从运动向量生成处理器140提供的运动向量VD的处理而被执行。此处快门速度信息是与影响将被加到图像数据的捕获图像上的运动模糊的快门速度相关的信息。更具体地说，快门速度信息表示当具有快门功能的成像装置捕获图像数据时拍摄的单元图像的曝光时间。通过控制成像元件的驱动时间的电子快门、通过打开闭合机构一段曝光时间来允许光线穿过透镜到达成像元件的机械快门、以及通过在成像装置中控制液晶元件透射率一段曝光时间来允许光线穿过透镜到达成像元件的液晶快门中的一个，可执行快门功能。
在随后将被具体讨论的处理中，运动模糊校正参数计算器170根据从快门速度估计处理器150提供的快门速度SSD，以及从运动向量生成处理器140提供的运动向量VD来计算运动模糊校正参数，然后将计算出的运动模糊校正参数提供给运动模糊校正处理器160。
在随后将被具体讨论的处理中，运动模糊校正处理器160基于从解码处理器130提供的解码图像数据DD以及从运动模糊校正参数计算器170提供的运动模糊校正参数来执行运动模糊校正处理。运动模糊校正处理可被解释为将解码图像数据DD的分区区域转换成以最优快门速度捕获的伪图像的处理。最优快门速度被打算用来响应于运动向量VD中包含的每个分区区域的运动速度而减少急动和模糊的产生。在这种情况下，运动模糊校正处理器160在转换操作之前参考输入图像信号的快门速度SSD。如果每个分区区域的最优快门速度比快门速度SSD低，则运动模糊校正处理器160执行运动加模糊处理。反之，如果每个分区区域的最优快门速度比快门速度SSD高，则运动模糊校正处理器160执行运动去模糊处理。运动模糊校正处理器160将已分别转换的分区区域的图像合成为一帧，从而生成输出图像信号OD。输出图像信号OD被输出到运动图像显示输出单元190。
运动图像显示输出单元190将运动图像输出到例如液晶显示器(LCD)的显示设备，所述运动图像已由运动模糊校正处理器160进行了减少急动降级和模糊降级的运动模糊校正。静止图像显示输出单元180将从解码处理器130接收的解码图像数据DD作为静止图像输出到例如LCD的显示设备。
详细地描述图5中图解的元件。首先描述运动向量生成处理器140的结构与操作。运动向量生成处理器140逐个像素块地准确生成运动向量。参照图6，运动向量生成处理器140包含运动向量检测器141、像素块识别处理器142、运动向量估计处理器143、运动向量平滑处理器144和延迟单元141a和142a。
运动向量检测器141从处理目标帧和紧临在前的帧中检测到运动向量。像素块识别处理器142通过逐个像素块地比较处理目标帧的运动向量与紧临在前的帧的运动向量来识别具有高相关的像素块。运动向量估计处理器143基于由像素块识别处理器142识别的像素块的运动向量，估计与像素块识别处理器142所识别的像素块不同的像素块的运动向量。运动向量平滑处理器144对运动向量执行平滑处理。
从解码处理器130提供的解码图像数据DD被提供给运动向量检测器141和延迟解码图像数据DD一个帧的延迟单元141a。运动向量检测器141将从解码处理器130提供的解码图像数据DD设置为处理目标帧。然后，运动向量检测器141基于处理目标帧和被延迟单元141a延迟了一个帧的紧临在前的帧，逐个像素块地检测每个处理目标帧的运动向量。如果用软件实现运动向量检测器141的处理，则可利用通常可用的块匹配方法逐个像素块地检测运动向量。
由运动向量检测器141检测到的运动向量被提供给像素块识别处理器142和延迟单元142a。延迟单元142a延迟输入的运动向量一个帧。逐个像素块地，像素块识别处理器142将从运动向量检测器141提供的处理目标帧的运动向量与由如下所述的延迟单元142a所延迟的紧临在前的帧的运动向量相比较。根据比较结果，像素块识别处理器142识别具有高相关的像素块。
更具体地说，像素块识别处理器142根据以下公式(1)计算像素块的向量相关系数σ。
Figure G200910146332XD00161
其中令(x，y)表示处理目标帧的一个像素块的运动向量，(x’，y’)表示相应于第一块的紧临在前的帧的像素块的运动向量，以及α表示任何相关确定系数。
相关确定系数α具有范围0＜α＜1。相关确定系数α越大，计算出的向量相关系数σ越可能为1。
像素块识别处理器142根据公式(1)计算每个像素块的向量相关系数σ，并且将向量相关系数σ为1的像素块识别作为具有高相关的运动向量。
运动向量估计处理器143根据被像素块识别处理器142确定为向量相关系数σ为1的像素块的运动向量，估计向量相关系数σ为0的像素块的运动向量。在被像素块识别处理器142确定为向量相关系数σ为1的像素块具有有效运动向量的前提下，运动向量估计处理器143更新另一个像素块，即向量相关系数σ为零从而被确定为具有无效运动向量的像素块的运动向量。
参照图7具体地描述了运动向量估计处理器143的处理。在步骤S1中，运动向量估计处理器143确定当前充当处理目标帧中的目标像素块的像素块的向量相关系数σ为1还是0。更具体地说，运动向量估计处理器143确定像素块的运动向量是否有效。如果在步骤S1中确定像素块的运动向量有效，则运动向量估计处理器143不更新运动向量的值就终止处理。如果在步骤S1中确定像素块的运动向量无效，则运动向量估计处理器143前进到步骤S2。
在步骤S2中，运动向量估计处理器143关于目标像素块确定具有有效运动向量的围绕像素块是否出现在目标像素块周围。更具体地说，运动向量估计处理器143确定作为围绕像素块的、紧挨着目标像素块的八个像素块是否包含有效运动向量。如果存在有效运动向量，则运动向量估计处理器143前进到步骤S3。如果没有有效运动向量，则运动向量估计处理器143不更新目标像素块的运动向量，并且终止其处理。
由于下列理由，对相对于没有有效运动向量的目标像素块、在较大区域内出现的围绕块不执行估计处理。首先，在任何情形下，对出现在较大区域内的围绕块可以执行估计处理。然而，如果对出现在较大区域内的围绕块执行估计处理，则暂存被处理成围绕块的图像数据的存储区容量增加，以在规定时间内完成处理。其次，在图6的处理的随后部分中，利用比八个相邻像素块面积更大的围绕像素块，可以通过对目标像素块的运动向量执行平滑处理来校正无效运动向量。
在步骤S3，运动向量估计处理器143基于具有有效运动向量的围绕像素块的运动向量估计和更新目标像素块的运动向量。运动向量估计处理器143因而终止处理。在估计处理的一个例子中，运动向量估计处理器143包含中值滤波器。中值滤波器接收具有有效运动向量的围绕像素块的运动向量，并且输出围绕像素块的平滑运动向量。
运动向量估计处理器143因而逐个像素块地估计处理目标帧的运动向量。从而，运动向量估计处理器143将包含由像素块识别处理器142识别的运动向量的运动向量提供给运动向量平滑处理器144。
运动向量平滑处理器144对组成处理目标图像的像素块的运动向量执行平滑处理。更具体地说，运动向量平滑处理器144接收在平滑处理之前的目标像素块的运动向量和面积大于上述相邻像素块的围绕像素块的运动向量作为输入I(x+i，y+j)，并且输出通过下列公式(2)中所述的高斯函数已平滑的目标像素块的运动向量J(x，y)：
J ( x , y ) = ( ΣI ( x + i , y + j ) * e - r 2 2 σ 2 - ( I ( x + i , y + j ) - I ( x , y ) ) 2 t 2 Σ e - r 2 2 σ 2 - ( I ( x + i , y + j ) - I ( x , y ) ) 2 t 2 ) . . . ( 2 )
其中r表示目标像素块与每个围绕像素块之间的二维空间距离，σ2表示距离r的方差，以及t2表示运动向量的方差。更具体地说，σ2和t2是代表平滑程度的任何值的参数。
运动向量平滑处理器144对组成处理目标帧的每个像素块执行上述平滑处理，并且输出所得到的运动向量VD给运动模糊校正参数计算器170。
运动向量平滑处理器144从组成处理目标帧的像素块中识别具有有效运动向量的像素块，并且根据有效运动向量估计另一个运动向量。运动向量平滑处理器144可生成响应实际运动对象的运动的运动向量。在运动向量生成处理器140中，被运动向量检测器141检测到的运动向量在平滑处理中可被提供给运动向量平滑处理器144，而像素块识别处理器142和运动向量估计处理器143被跳过。即使在这样的处理中，运动向量生成处理器140可提供比上述编码信息被用作运动向量时更准确的响应运动对象的运动的运动向量。
下面参照图8描述快门速度估计处理器150的具体结构。图8的模块图图解了快门速度估计处理器150。快门速度估计处理器150包含处理目标区域选择器151、运动模糊特征分析器152、图像快门速度计算器153和成像快门速度准确度增强处理器154。快门速度估计处理器150接收解码图像数据DD和运动向量VD。快门速度估计处理器150图像分析这些输入信息，从而估计并且输出快门速度SSD，其中图像数据以所述快门速度SSD被捕获。
输入给快门速度估计处理器150的解码图像数据DD和运动向量VD首先由处理目标区域选择器151接收。处理目标区域选择器151选择将对其进行图像分析的处理目标帧，以计算快门速度。处理目标区域选择器151还选择所选择的帧内的目标区域。然后，处理目标区域选择器151向后续阶段输出图像数据作为选定的目标区域DDT以及响应目标区域DDT的运动向量VDT。如稍后将描述的，目标区域DDT是指在一个帧内被提取为快门速度估计处理的目标的区域处的图像数据。处理目标区域选择器151从作为运动图像输入的解码图像数据DD中检测到景象改变，然后将景象改变检测信号SCD输出给成像快门速度准确度增强处理器154。
处理目标区域DDT被输入给运动模糊特征分析器152。运动模糊特征分析器152对作为处理目标区域DDT的图像数据(即，在一个帧内充当处理目标区域的像素区域内的图像数据)进行图像分析处理。运动模糊特征分析器152计算在处理目标区域中生成的″运动模糊长度L″。稍后将描述运动模糊长度L。计算出的运动模糊长度L被输出到图像快门速度计算器153。
图像快门速度计算器153基于处理目标区域DDT中生成的运动模糊长度L的值和响应处理目标区域的运动向量VDT，计算估计成像快门速度SSDT。估计成像快门速度SSDT是图像捕获时的快门速度的估计值。计算出的估计成像快门速度SSDT被输出到成像快门速度准确度增强处理器154。成像快门速度准确度增强处理器154接收根据多个处理目标区域估计的估计成像快门速度SSDT。响应于这些信息的值，成像快门速度准确度增强处理器154计算高度准确的估计成像快门速度SSD，并且输出所计算的估计成像快门速度SSD给运动模糊校正参数计算器170。
在描述由图8的快门速度估计处理器150在每个处理模块中执行的处理之前，描述作为将由快门速度估计处理器150执行的处理的基础的运动模糊特性。快门速度估计处理器150的处理是根据具有未知的图像捕获时快门速度的图像估计快门速度的处理。首先描述运动模糊的产生、运动速度以及成像快门速度的关系，以便描述基本运动模糊特性。然后描述考虑到所生成的运动模糊的特性的快门速度的估计方法。
参照图9和10简要描述运动模糊的产生、运动速度和成像快门速度的关系。图9图解了当捕获图像时所产生的运动模糊特性。图9的上部分关注真实空间内空间位置与目标区域上的亮度之间的关系。如图所示，沿水平方向标出空间位置并且沿垂直方向表示亮度。前景的位置以等速从右到左运动。明亮前景超过黑暗背景。图9的下部分模拟一种图像信号，其中通过利用图9中图解的成像装置，根据沿水平方向延伸的一个线的坐标与目标区域的亮度之间的关系对上部分图解的真实空间的目标区域进行图像捕获，获得了所述图像信号。如图9的下部分所示，沿水平方向标出图像信号的坐标，而沿垂直方向标出亮度。虚线表示像素。此处具有快门功能的成像装置控制作为曝光时间的快门速度，其中在整个曝光时间期间获得图像。
当执行快门功能的理想高速快门(曝光时间为无穷小)时捕获图9中标记(i)的图像信号。当执行快门功能的低速快门(预定的曝光时间)时捕获图9标记(ii)的图像信号。比较图像信号(i)和(ii)，图像信号(i)为阶跃信号，而利用较长曝光时间积分的光线捕获图像信号(ii)。除了图像信号(i)之外发生运动模糊。图9图解了在运动对象的轮廓附近的运动模糊具有低通滤波器特性。在随后的讨论中，具有亮度斜率的区域被定义为所图解的前景的亮度Bf与以稳定方式记录亮度Bb的区域之间的运动模糊区域。运动模糊长度L被定义为该区域沿水平方向的距离。
图10A1、10B1和10C1图解了对象的运动速度与运动模糊长度L之间的关系。图10A1、10B1和10C1图解了当图9的上部分中的前景的运动速度时所产生的运动模糊特性。在图10A1、10B1和10C1中图像捕获时的快门速度保持不变。
令A、B和C表示图10A1、10B1和10C1中所示的前景的运动速度，而现在运动速度在量值上的关系为A∶B∶C＝3∶2∶1。参照图10A1、10B1和10C1，因为在图10A中，L＝9个像素，在图10B中，L＝6个像素，在图10C中，L＝3个像素，所以运动模糊长度L的关系同样为3∶2∶1。由于利用相同曝光时间积分的光线记录图像信号，在曝光时间期间对象的行程变为运动模糊区域。在具有运动速度的像素附近所产生的运动模糊长度L因而与对象的运动速度的量值成比例。
图10A2、10B2和10C2图解了成像快门速度与运动模糊长度L的关系。图10A2、10B2和10C2显示了当图9的上部分中成像装置的快门速度改变时发生的运动模糊特性。前景的运动速度在图10A2、10B2和10C2中保持不变。如果图10A2、10B2和10C2的成像快门速度现在分别为″a″、″b″和″c″，成像快门速度的比率为a∶b∶c＝4∶2∶1。因为在图10A2中，L＝8个像素，在图10B2中，L＝4个像素，在图10C2中，L＝2个像素，所以运动模糊长度L的关系为4∶2∶1。在图像捕获的曝光时间期间对光线积分。如果要拍摄的对象的运动速度保持不变，则曝光时间越长，运动模糊区域延伸得越多。在具有运动速度的像素附近所产生的运动模糊长度L与快门速度的量值成比例。
如上所述，运动模糊长度L与目标的运动速度成比例，并且也与成像快门速度成比例。
令L表示运动模糊长度(像素)，V表示在图像信号内对象的运动速度(像素/帧)，S表示成像快门速度(秒)，以及F表示运动图像的帧速率(帧/秒)，则下式(3)成立：
L＝V×S×F    ...(3)
公式(3)中，因为运动速度V是在一个帧周期内的距离量，所以VS乘以帧速率F。
如果运动速度是8(像素/帧)，图10A2中成像快门速度是S＝T，图10B2中成像快门速度S＝T/2，图10C2中成像快门速度S＝T/4，并且帧速率为F＝1/T(T是帧周期(秒))，则以下关系成立：
图10A2中，L＝8×T×(1/T)＝8(像素)
图10B2中，L＝8×(T/2)×(1/T)＝4(像素)，以及
图10C2中，L＝8×T(T/4)×(1/T)＝2(像素)。
所确定的运动模糊长度因而等于图10A2、10B2和10C2中的运动模糊长度L。
已经基于简单例子讨论过运动模糊的产生、运动速度以及成像快门速度的关系。由于快门速度估计处理器150旨在估计图像的未知成像快门速度，上述公式(3)重新排列成公式(4)：
S＝L/(V×F)    ...(4)
根据公式(4)，图像中的目标区域的运动速度V，以及帧速率F已知。如果获得运动模糊长度L，则得到图像捕获时的未知快门速度。
在下面的讨论中，说明了在图8中图解的快门速度估计处理器150的一个例子中的每个元件的处理，并且描述了快门速度估计的处理。从图像中估计成像快门速度的方法不局限于该方法。例如，在下面讨论的一种方法中，通过识别如以上定义的运动模糊长度L来计算图像捕获时的快门速度。
作为快门速度估计处理器150的输入的解码图像数据DD和运动向量VD首先被提供给处理目标区域选择器151。处理目标区域选择器151将区域(以下简称为″目标区域″)提取为快门速度估计中的图像分析的目标，并且将处理目标区域DDT和响应处理目标区域的运动向量VDT输出到后续阶段。在不必对具有发生运动模糊的区域的输入运动图像信号中帧的所有区域执行提取处理的前提下，处理目标区域选择器151执行提取处理。任何方法可被用于选择充当分析处理的目标的目标区域。
下面描述仅在有限区域中执行成像快门速度的估计不会出现问题的原因。图像捕获时的快门速度在一个帧图像内通常是均匀的。此外，较少数量的要处理的目标区域就处理成本而言是有利的。
如果对帧内的一个目标区域执行快门速度估计处理，则对其它区域不必进行快门速度估计。只要处理成本允许，在多个提取的目标区域内执行快门速度估计处理从快门速度估计的准确性增强的立场上来看是非常有用的。根据一个实施例，在来自一个帧内的多个目标区域中执行稍后将被描述的处理，并且根据多个得到的结果估计成像快门速度SSD。如果得到多个快门速度，则通过后续阶段，即成像快门速度准确度增强处理器154执行提高可靠性的处理。稍后将描述这样的处理。
从解码图像数据DD的指定帧中选择分析处理的目标区域的方法不局限于任何一种方法。目标区域优选在图9和10A1到10C2中图解的目标的边界轮廓边缘附近，以便有效地执行随后将详细讨论的运动模糊特性的分析处理。如果指定区域的运动速度为零，则在该区域内没有运动模糊发生。在选择目标区域时，可使用运动速度信息，使得具有预定运动速度的区域被选为目标区域。如果边缘的方向基本垂直于运动速度的方向，则容易地执行所产生的运动模糊的分析处理。总之，将被选择的区域具有某种程度运动速度，并且是接近尽可能垂直于运动速度的方向的边缘的目标区域。
当在图像处理中执行分析处理时，考虑到处理成本，最好沿扫描线方向拾取像素。因而，从接近具有水平运动速度的垂直边缘的区域方便地提取目标区域。当选中目标区域时，沿着一个线而不是跨越多线地执行随后将详细讨论的运动模糊特性分析处理。关注接近具有水平运动速度的垂直边缘的区域，仅利用就运动速度而言的沿着水平方向的足够数量的像素，可用于随后讨论的运动模糊特性分析处理的目的。
图11A-11C图解了如何选择目标区域。图11A图解了解码图像数据DD的一个帧。如迄今为止所讨论的，例如利用Sobel滤波器对解码图像数据DD执行边缘提取处理，并且得到图11B中图解的边缘数据ED。如先前所讨论的，选择在具有水平运动速度的垂直边缘附近的一个水平线。例如，区域AR1-AR5被设置成目标区域。目标区域AR1-AR5可以是每条水平线的一部分。如图11C所示得到每个目标区域的亮度信息。在图11C中，横坐标代表目标区域中的每个像素的坐标，而纵坐标代表亮度。
迄今为止的讨论涉及在一个帧中的选择处理。即使不对一个帧的整个区域执行选择处理也不会发生问题。同样，不必选择帧中的所有目标区域。这是由于形成多个帧的运动图像通常具有保持不变的成像快门速度，其至少保持到发生景象改变的帧。通过一个帧的分析所估计的成像快门速度可被保持于其值，直到检测到下一个景象改变。
如果从检测到景象改变到检测到下一个景象改变的时间段内，至少对一个指定的帧执行快门速度估计处理，则其满足所需。然而，从一个帧内检测到多个目标区域，以及在每一目标区域中执行快门速度估计处理是可接受的。同样，只要处理成本允许，在多个帧中执行快门速度估计处理是特别有用的。这一点提高了快门速度估计的准确等级。如果估计出多个不同快门速度值，则成像快门速度准确度增强处理器154执行可靠性加强处理。
参照图12具体描述了处理目标区域选择器151的目标区域选择处理。为了操作描述目的，图12图解了处理目标区域选择器151和图8中图解的成像快门速度准确度增强处理器154的内部功能结构。
参考图12，处理目标区域选择器151包含垂直方向边缘检测器1511、水平方向运动速度阈值处理器1512、目标区域确定器1513和景象改变检测器1514。在该布置中，从一个帧中提取水平速度等于或高于恒定值、垂直边缘附近的区域作为目标区域，并且仅对所提取的目标区域执行快门速度估计处理。
垂直方向边缘检测器1511对输入解码图像数据DD的帧内的每个区域执行边缘检测处理。在这种情况下，利用Sobel滤波器等的方向选择性屏蔽处理可以仅提取垂直边缘。将确定为垂直边缘的区域处的输入图像数据原样输出给目标区域确定器1513。未确定为垂直边缘的区域被输出到目标区域确定器1513，其中该区域内的所有像素信号被设置为″0″。运动向量VD被输入给水平方向运动速度阈值处理器1512。要选择水平速度等于或高于恒定值的区域，由水平分量VDx表示的每个区域的运动向量的水平分量成为阈值处理的目标。如果水平分量VDx大于预定阈值TH(VDx＞TH)，则输入区域的运动向量信号被原样输出给目标区域确定器1513。如果水平分量VDx等于或低于阈值TH(VDx≤TH)，则区域的所有运动向量被设置成″0″，然后输出到目标区域确定器1513。
目标区域确定器1513仅在图像数据和输入区域的运动向量均不是零的情况下确定区域为快门速度估计处理的目标。仅在这种情况下，区域被确定为处理目标区域DDT。如先前所述，处理目标区域DDT是被确定为目标的区域的图像数据。目标区域确定器1513将处理目标区域DDT输出给运动模糊特征分析器152，并且将区域的运动向量VDT输出给图像快门速度计算器153。
输入给处理目标区域选择器151的解码图像数据DD的每一帧被提供给景象改变检测器1514。景象改变检测器1514执行景象改变检测处理。可使用任何景象改变检测技术。例如，可使用日本待审专利申请公开说明书2004-282318中公开的景象改变检测技术。当检测到景象改变时，景象改变检测器1514将景象改变检测信号SCD输出给成像快门速度准确度增强处理器154。
如上所述，处理目标区域选择器151识别处理目标区域DDT，然后将处理目标区域DDT输出给运动模糊特征分析器152。处理目标区域选择器151还提取响应处理目标区域DDT的位置的运动向量VDT，并且将运动向量VDT输出给图像快门速度计算器153。运动模糊特征分析器152的处理描述如下。运动模糊特性的分析是估计运动模糊的运动模糊长度L的处理(参见(ii)图9和图11C中低速快门图像)。
考虑若干方法来确定运动模糊长度L。此处描述确定运动模糊长度L的两种主要类型的方法。在第一种方法中，针对发生在实际图像信号中的运动模糊，通过定义运动模糊的数学模型以及求解最小化误差函数的数学模型中的参数来估计运动模糊长度L。在第二种方法中，通过将事先准备的运动模糊样本模式与实际上发生于图像信号中的运动模糊匹配来估计运动模糊长度L。
首先描述第一种方法的一个例子。如在Bunyo OKUMURA、Masayuki KANBARA和Naokazu YOKOYA的″Photometric RegistrationBased on Defocus and Motion Blur Estimation for Augmented Reality″，The Institute of Electronics，Information and Communication Engineers，D Vol.J90-D No.8 pp.2126-2136中所公开的，通过用数学模型表示接近受运动模糊影响的边缘的亮度值来估计运动模糊长度L。根据公开的技术，令坐标p表示边缘附近的每个像素，p0表示发生在边缘附近的模糊的中心位置的坐标(未知)，并且用下列公式(5)表示变量t：
t＝2*(p-p0)/L    ...(5)
其中在图9的(ii)低速快门图像中图解了中心位置坐标P0。
利用公式(5)，模拟边缘附近的运动模糊特性的函数g(t)被定义为公式(6)：
g ( t ) = 1 2 + 1 π ( t 1 - t 2 + arcsin t ) . . . ( 6 )
与实际运动模糊相比，使用下列公式(7)：
f ( p ; L ; p 0 ; Bf ; Bb ) = Bf ( t < - 1 ) g ( t ) * ( Bf - Bb ) + Bb ( - 1 &le; t &le; 1 ) Bb ( t > 1 ) . . . ( 7 )
图9中(ii)低速快门图像中的前景的亮度Bf和背景的亮度Bb被用于公式(7)中。
边缘附近的像素坐标p被代入公式(5)，根据公式(5)、(6)和(7)求解使针对实际运动模糊的值的距离函数最小化的参数L、p0、Bf和Bb。从而估计出运动模糊长度L。为求解使距离函数最小化的四个未知数，可使用例如拟牛顿法的数值分析方法。距离函数通常是均为实际图像的像素值与函数f之间的差的平方值的比较，或者是均为实际图像的像素值与函数f之间的差的绝对值的线性和的比较。考虑到例如光学低通滤波器和焦点的成像条件，如公式(6)中，定义模拟主要运动模糊特性的函数。该函数可以是简单不连续函数，例如图9中的(ii)低速快门图像信号的函数。
在第二种方法中，如上所述，根据在被选为图像信号中的目标的边缘附近的目标区域中的空间频率分量估计运动模糊长度L。如参照图9所述，在具有运动速度的像素附近所产生的运动模糊可被表示成低通滤波器。利用低通滤波器，通过匹配频率分析结果来估计运动模糊长度L。
如图9中所示，通过曝光时间确定运动模糊的特性。如果运动速度是恒定的，则具有相同运动模糊长度的运动模糊应当具有相同的频率特性。例如，如在图9中的图像捕获期间遭受运动模糊的(ii)图像信号中那样，准备具有各种指定运动模糊长度L的运动模糊样本模式，对图像信号执行预定频率分析，存储每种样本模式的频率分量。频率分析法可以是包含富立叶变换和小波分析的典型方法之一。当目标区域作为分析的目标被输入时，对目标区域执行与对样本模式所执行的相同的频率分析，以及利用误差函数等确定具有最接近目标区域的频率分量的频率分量的样本模式。具有最接近目标区域的频率分量的样本模式的运动模糊长度L变为分析目标区域中的边缘的运动模糊长度L。
图13图解了通过匹配频率分析结果估计运动模糊长度L的具体处理流程。被确定为分析目标的边缘附近的目标区域被输入给快速富立叶变换(FFT)单元1521。对目标区域执行快速富立叶变换(FFT)处理，并且将目标区域的主频率分量输出给频率分量匹配单元1522。计算频率功率谱作为快速富立叶变换的结果，并且具有最高三个功率值的频率被发送到频率分量匹配单元1522。频率分量匹配单元1522搜索运动模糊样本频率表1523以获得具有最相似于输入目标区域的主频率分量的频率模式的运动模糊样本，并且输出命中样本的运动模糊长度L。
图14图解了运动模糊样本频率表1523的例子。如图所示，运动模糊样本频率表1523列出每个运动模糊长度L的频率分量(La，...，Lmax)。频率分量匹配单元1522在图14的查找表中搜索具有最相似于目标区域的最高三个频率分量的频率分量的样本。因此，准备了评估误差的函数。例如，可以利用线性累加平方差的典型距离函数来执行误差的评估。所确定的样本运动模糊模式的运动模糊长度为所寻找到的运动模糊长度L。
将运动模糊样本模式与图像信号中实际发生的运动模糊匹配的运动模糊长度L的上述估计方法关注于空间频率分量。还考虑到把样本模式和确定为分析目标的边缘附近的区域在现实空间中相互比较。换言之，样本运动模糊模式被存为图像信号，然后搜索对于实际图像信号来说使误差函数产生最小值的样本运动模糊模式。
快门速度估计处理器150中的运动模糊特征分析器152利用上述技术之一来估计运动模糊长度L，并且输出所得到的运动模糊长度L。输出的运动模糊长度L被输入给图像快门速度计算器153
图像快门速度计算器153基于处理目标区域DDT中的运动模糊的运动模糊长度L和响应处理目标区域DDT的运动向量VDT，确定估计成像快门速度SSDT。换言之，由图像快门速度计算器153执行的处理仅仅求解公式(4)。如先前所述，已知公式(4)中的帧速率F。运动速度V是响应处理目标区域DDT的运动向量VDT的水平分量，也是已知的。由运动模糊特征分析器152估计运动模糊长度L。通过求解公式(4)，容易地确定快门速度S。快门速度S变为被图像快门速度计算器153输出的估计成像快门速度SSDT。
最后，成像快门速度准确度增强处理器154生成并且输出成像快门速度SSD。成像快门速度准确度增强处理器154接收到由图像快门速度计算器153估计的估计成像快门速度SSDT。在这种情况下，输入根据多个目标区域估计的估计成像快门速度。如先前所讨论的，理论上可以在从检测到一个景象改变到检测到下一个景象改变的时段内，在从一个帧中选择出来的一个区域中执行估计处理。在一个帧内以及在多个帧内的多个目标区域中执行估计处理对提高估计准确度是有用的。因此，多个估计成像快门速度SSDT可被用于生成快门速度SSD。如果估计出多个不同估计成像快门速度SSDT，则速度的加权平均或者中值可被确定为最后输出的快门速度SSD。从而提高处理可靠性。
参照图12描述成像快门速度准确度增强处理器154的操作。图12中图解的成像快门速度准确度增强处理器154包含成像快门速度累积器1541、成像快门速度滤波处理器1542以及景象改变检测信号接收器1543。
由图像快门速度计算器153针对目标区域计算的、输入给成像快门速度准确度增强处理器154的估计成像快门速度SSDT由成像快门速度累积器1541接收。成像快门速度累积器1541累积估计成像快门速度SSDT的值。成像快门速度滤波处理器1542利用至少一个在成像快门速度累积器1541上累积的估计成像快门速度SSDT的值执行预定的滤波处理。如先前所讨论的，滤波处理旨在当输入多个不同的估计成像快门速度SSDT时，提高处理可靠性。滤波处理可包含求平均值运算、加权平均运算和中值检测运算。为减少在成像快门速度累积器1541上累积的估计成像快门速度SSDT的数据长度，无限脉冲响应(IIR)的使用是可取的。利用IIR滤波器，如果仅存储紧临在前的处理结果，则其满足所需，并且运算变得有效。
景象改变检测信号接收器1543接收从处理目标区域选择器151中的景象改变检测器1514输入的景象改变检测信号SCD。在接收到景象改变检测信号SCD时，景象改变检测信号接收器1543确定目标帧中已发生景象改变，从而确定成像快门速度已改变。景象改变检测信号接收器1543将复位信号输出给成像快门速度累积器1541，并且删除迄今为止所存储的成像快门速度的估计值。成像快门速度滤波处理器1542利用最近输入给成像快门速度累积器1541的成像快门速度的估计值计算高可靠成像快门速度。
成像快门速度滤波处理器1542的处理结果作为当前帧的或当前景象(从检测到紧接在前的景象改变持续到检测到下一个景象改变)的快门速度SSD被输出。
已经讨论过快门速度估计处理器150的快门速度估计方法的串行运算。通过上述处理估计的快门速度SSD被输出到运动模糊校正参数计算器170。
图5中图解的运动模糊校正参数计算器170和运动模糊校正处理器160的处理描述如下。运动模糊校正参数计算器170和运动模糊校正处理器160根据从运动向量生成处理器140输入的运动向量VD的值，同时参考从快门速度估计处理器150输入的快门速度SSD，对解码图像数据DD的每个分区区域(参见图2)执行滤波处理。运动模糊校正参数计算器170和运动模糊校正处理器160将急动和模糊均得到减少的输出图像输出到运动图像显示输出单元190。由运动模糊校正参数计算器170和运动模糊校正处理器160执行的运动模糊校正处理包含逐个分区区域地减少或增加运动模糊的滤波处理。根据稍后将讨论的技术自适应地执行滤波处理的选择。
图15图解了运动模糊校正参数计算器170和运动模糊校正处理器160的具体结构。运动模糊校正参数计算器170包含处理选择控制器171和最优快门速度信息存储器172。运动模糊校正处理器160包含分类单元163、运动模糊减少处理器164、运动模糊增加处理器165和合成器166。
从运动向量生成处理器140输出的运动向量VD和从快门速度估计处理器150输出的快门速度SSD首先由处理选择控制器171接收。利用响应输入运动向量VD的分区区域的运动向量值，处理选择控制器171参考存储在最优快门速度信息存储器172上的最优快门信息，并且确定分区区域的快门速度SSD0。处理选择控制器171还将从快门速度估计处理器150提供的快门速度SSD与用于评估的快门速度SSD0相比较。处理选择控制器171从而确定对分区区域执行的滤波处理是运动去模糊处理、运动加模糊处理还是根本不进行运动模糊校正。然后，处理选择控制器171将确定结果传送给分类单元163。
处理选择控制器171还输出滤波器参数PD给所选择的运动模糊校正滤波块，即运动模糊减少处理器164和运动模糊增加处理器165。可以用运动去模糊处理和运动加模糊处理的任意一个执行运动模糊校正。滤波器参数PD被用来调整这种处理的程度(就量和强度而言)。
分类单元163已经接收到解码图像数据DD，并且响应于处理选择控制信息SCS，逐个分区区域地将解码图像数据DD输出给运动模糊减少处理器164和运动模糊增加处理器165中的一个。可选地，分类单元163可输出不必执行运动模糊校正处理的分区区域给合成器166，而不是提供分区区域给运动模糊减少处理器164和运动模糊增加处理器165中的一个。不必执行运动模糊校正处理的分区区域被运动模糊减少处理器164和运动模糊增加处理器165中的一个处理，其中其校正量置为零。
运动模糊减少处理器164用稍后将讨论的方法对从分类单元163中提供的分区区域的图像数据执行滤波处理以减少运动模糊量，并且输出所得到的图像数据给合成器166。运动模糊增加处理器165用稍后将讨论的方法对从分类单元163中提供的分区区域的图像数据执行滤波处理以增加运动模糊量，并且输出所得到的图像数据给合成器166。已经过滤波处理的分区区域上的图像数据被输出到合成器166。然后，合成器166将接收到的图像数据重构成帧图像，然后输出该帧图像作为输出图像信号OD。
图15中图解的单元的处理描述如下。在单元的处理的讨论过程中，具体地描述最优快门速度、运动模糊减少处理(运动去模糊处理)和运动模糊增加处理(运动模糊增加处理)的选择方法，以及运动模糊减少和增加处理的滤波处理。这种讨论有助于理解由运动模糊校正处理器160执行的处理。
处理选择控制器171利用响应输入运动向量VD的分区区域的向量的值，首先参考事先存储在最优快门速度信息存储器172上的最优快门速度信息，并且确定分区区域的快门速度SSD0。在描述处理选择控制器171之前，描述最优快门速度。
图16图解了对象速度以及响应对象速度的最优快门速度曲线，对象速度指示被检测为运动向量的对象的运动速度。响应指定运动速度的最优快门速度是这样一个值：如果以该快门速度执行图像捕获，则在该值处急动降级和模糊降级均减少。更具体地说，最优快门速度是这样一种快门速度：响应于对象的运动速度，根据视觉特性，在所述快门速度处急动降级明显较少，并且在所述快门速度处模糊降级也明显较少。在模糊降级中，增加过多运动模糊，对象缺乏细节或清晰度。图像捕获时的作为曝光时间的快门速度值越高，运动模糊量变得越大。如果以高于最优快门速度的快门速度拍摄对象，则捕获的图像可能遭受急动。如果以低于最优快门速度的快门速度拍摄对象，则捕获的图像可能遭受运动模糊。
最优快门速度信息存储器172预存储图16中示出的最优快门速度信息。最优快门速度信息存储器172利用最优快门速度作为运动模糊调整参考，从而确定滤波处理的内容以便在后续阶段调整运动模糊量。换言之，由后续阶段，即运动模糊减少处理器164和运动模糊增加处理器165执行的滤波处理被解释为将图像的每个区域转换成具有响应″以最优快门速度捕获的运动模糊量″的运动模糊的图像。
图16中的最优快门速度曲线SS0图解了任意对象速度与最优快门速度之间的关系，更具体地说，是一种连接心理试验的结果的曲线。根据最优快门速度曲线SS0，图16中图解的运动模糊区域A1被确定为具有由对象的运动所引起的过度运动模糊。类似地，根据最优快门速度曲线SS0，急动区域A2被确定为不具有由对象的运动所引起的运动模糊，而具有视觉特性中的急动降级。为了利用最优快门速度曲线SS0确定响应运动向量的最优快门速度，以任意值为步长地响应运动向量的最优快门速度信息在最优快门速度信息存储器172上被预存储成表格并然后被参考。
根据本发明的一个实施例，利用相似于由图16中的实线表示的最优快门速度曲线的函数可以计算响应运动向量的最优快门速度。处理选择控制器171根据下列公式(8)的最优快门速度曲线的近似函数计算快门速度SSD1：
SSD &prime; = ( v - A B - A ) &gamma; &times; ( v - A ) + A
           ...(8)
其中V代表指定分区区域的运动向量，而参数A，B和γ根据图16中图解的最优快门曲线被设置成适当值。作为具体例子，图16图解了曲线SS1-SS3，其中公式(8)的参数中参数A和B被设置成固定值，而γ以三级变化。
SS0代表基于从目标评估试验中获得的值所产生的最优快门速度曲线，SS1-SS3是根据公式(8)近似最优快门速度曲线SS0的最优快门速度曲线。SS1-SS3可被用于根据装置的用户的偏好调整最优快门速度曲线。
存储在最优快门速度信息存储器172上的数据的形式不仅是图16中的曲线图和例如公式(8)的数学表达式，而且是列出最优快门速度曲线的量化值的表格。已经描述了最小化急动降级和模糊降级的最优快门速度。
下面描述的是由处理选择控制器171执行的、分区区域中的最优快门速度SSD0的确定方法。处理选择控制器171在最优快门速度信息存储器172以图16中图解的曲线图形式存储最优快门速度信息的前提下执行确定方法。
分区区域的运动速度AVT表示响应运动向量VD的分区区域的向量值的绝对值。运动速度AVT的值被标成图16中曲线图的横坐标上的点。在感兴趣的曲线上被找到对应于横坐标中的点的点。然后，读出对应于曲线中的点的纵坐标上的值。读出的值为分区区域中的最优快门速度SSD0。
图17图解了处理选择控制器171的处理流程。在步骤S10中，处理选择控制器171用上述方法确定分区区域的最优快门速度SSD0。在步骤S11中，处理选择控制器171将所确定的最优快门速度SSD0与输入给处理选择控制器171的最优快门速度SSD相比较。比较结果确定对分区区域执行的滤波处理是运动去模糊处理还是运动加模糊处理。选择处理的条件是如果分区区域中的最优快门速度低于成像快门速度SSD，则执行运动加模糊处理(步骤S12)，而如果最优快门速度高于成像快门速度SSD，则执行运动去模糊处理(步骤S13)。
参照图15，处理选择控制器171将滤波器参数PD输出给所选择的运动模糊校正滤波块，即运动模糊减少处理器164和运动模糊增加处理器165。滤波器参数PD被用来调整所选择的运动去模糊处理和运动加模糊处理之一的程度(就量和强度而言)。根据本实施例，特别地，每个分区区域的成像快门速度与最优快门速度之间的快门速度差SSDD，以及运动向量VD作为滤波器参数PD被提供给运动模糊减少处理器164和运动模糊增加处理器165中的每个。在当确定运动模糊校正处理是运动去模糊处理还是运动加模糊处理时所执行的比较和评估阶段，由处理选择控制器171计算快门速度差SSDD。如果由公式SSDD＝SSD-SSD0计算出快门速度差SSDD，则响应于正快门速度差SSDD执行运动去模糊处理，或者响应于负快门速度差SSDD执行运动加模糊处理。
图18图解了图16中图解的成像快门速度和对象速度(目标的速度)，其中对其增加了具体例子。参考例子，具体地描述关于运动去模糊处理还是运动加模糊处理将作为滤波处理而被执行的选择。同样，两种滤波处理的操作描述如下。图18图解了成像快门速度Sa-Sc作为图像捕获时的快门速度的例子以及对象速度Va-Vc作为对象的运动速度的例子。为了在随后的讨论中说明方便起见，从图16中图解的曲线中只选择SS0作为最优快门速度曲线。选择曲线SS0-SS3中的任何一个都是可接受的。
参考图18，用成像快门速度的三个值Sa、Sb和Sc中的每个描述运动模糊量调整处理。
成像快门速度Sa是指张开快门速度。最优快门速度在所有对象速度Va、Vb和Vc中的每个处高于实际快门速度Sa。因此，为了生成具有以最优快门速度产生的运动模糊度的图像，执行作为运动模糊减少处理的去模糊处理。处理选择控制器171因而将指示已经选择运动去模糊处理的处理选择控制信息SCS输出给分类单元163。分类单元163将输入的解码图像数据DD中每个分区区域的信号输出给运动模糊减少处理器164。
下面具体描述由运动模糊减少处理器164执行的运动去模糊处理。图19图解了运动模糊减少处理器164的结构。运动模糊减少处理器164包含平滑滤波特性转换器1641、平滑滤波器1642、减法器1643和加法器1644。运动模糊减少处理器164减少输入解码图像数据DD的每个分区区域的运动模糊量。
平滑滤波器1642是最简单类型的低通滤波器之一，其每当处理目标像素移动一个像素时计算并且输出处理目标像素和其围绕像素的平均值。例如，如图20A所示，在给定时间点对包含当前样本值(图20A中的四个样本值)的n个样本值求平均值。如图20B所示，在下一个时间点对包含当前样本值(图20B中的四个样本值)的n个样本值求平均值。样本值是指像素值。每当处理目标像素移动一个像素时，对包含处理目标像素和围绕像素的值的n个样本值求平均值。
平滑滤波特性转换器1641接收滤波器参数PD。平滑滤波特性转换器1641从输入的滤波器参数PD中提取在位置上对应于解码图像数据DD中分区区域的滤波器参数，并且基于所提取的滤波器参数，确定由平滑滤波器1642执行的处理的滤波特性。例如，针对多个滤波器参数PD分别准备平滑滤波器，以便确定用于目标像素的滤波器。下面具体描述该处理。
平滑滤波特性被解释为在围绕目标像素的像素中有多少像素被求平均值，并且快门速度差SSDD和运动向量VD被用作滤波器参数的例子。在这种情况下，准备一个表，其针对快门速度差SSDD和运动向量VD的组合，确定将被用于平滑滤波器的像素的数量。每当输入快门速度差SSDD和运动向量VD时，输出将被用于平滑滤波器的像素的数量。所确定的用于平滑滤波器的像素数量被输出到平滑滤波器1642。
平滑滤波器1642(低通滤波器)根据由平滑滤波特性转换器1641确定的滤波特性，对处理目标帧内包含目标像素的预定块执行滤波处理，从而转换目标像素的像素值。由平滑滤波器1642转换的目标像素的像素值被输出到减法器1643。更具体地说，减法器1643接收由平滑滤波器1642转换的目标像素的像素值，虽然是以像素值的极性反相形式。减法器1643也接收输入解码图像数据DD的处理目标帧的目标像素。减法器1643计算输入图像数据中的像素的像素值与由平滑滤波器1642转换的目标像素的像素值之间的差值，然后将该差值输出给加法器1644。加法器1644接收平滑滤波器的操作前后的值之间的差值。加法器1644也接收解码图像数据DD中的处理目标帧的目标像素。加法器1644将平滑滤波器的操作前后的值之间的差值加到目标像素的未经校正的像素值上，并且输出相加结果作为输出图像的一部分。
已经描述了图19中图解的运动模糊减少处理器164的处理。如果用频域来考虑，则运动模糊减少处理器164的处理易于理解。现在按照频域来考虑作为减法器1643的输出信号的平滑滤波器的操作前后的值之间的差值。在给定的频率上，输入图像信号的增益与已被平滑滤波器滤波的图像信号的增益之间的差变为加法器1644的输出信号的增益。加法器1644的输出图像信号的增益是输入图像信号的增益与平滑滤波器的操作前后之间的增益差的和。更具体地说，在每个频率上，输出图像信号的增益是被平滑滤波器的操作前后之间的增益差所提高的输入图像信号的增益。由于平滑滤波器1642是低通滤波器，图19中图解的运动模糊减少处理器164的整个处理基本上等价于高通滤波运算。
日本待审专利申请公开说明书2006-81150(美国专利申请2007-0070221A1)公开了通过对分区区域执行直接高通滤波来执行运动模糊减少处理的技术。高通滤波器基于使用平滑滤波器的传递函数的逆函数的前提。平滑滤波器的频率特性包含导致零增益的频率。完全相逆的平滑滤波器不可被实现。同样站在有利于处理的立场上，低通滤波器，例如图19中所图解的运动模糊减少处理器164中的平滑滤波器1642的使用更合适。
用上述讨论的方式执行运动模糊减少处理。减少运动模糊的方法不局限于上述方法。
考虑如图18所示的成像快门速度Sb。成像快门速度Sb足够高，并且最优快门速度在全部对象速度Va、Vb和Vc处低于成像快门速度Sb。为生成包含对应于最优快门速度的运动模糊的图像，执行运动加模糊处理。
处理选择控制器171将指示已经选择运动加模糊处理的处理选择控制信息SCS输出给分类单元163。分类单元163将解码图像数据DD中每个分区区域的信号输出给运动模糊增加处理器165。下面具体描述由运动模糊增加处理器165执行的运动加模糊处理。此处通过空间滤波生成输出图像。
参考图21，运动模糊增加处理器165包含生成用于识别运动模糊被增加到的图像区域的运动向量屏蔽信息的运动向量屏蔽处理器1651，以及校正运动向量的运动向量校正器1652。运动模糊增加处理器165还包含计算滤波器参数的滤波器参数计算器1653，所述滤波器参数用于增加响应处理目标帧中的像素的运动模糊，以及对处理目标帧中的每个像素的像素值执行运动模糊滤波处理的运动模糊增加滤波器1654。
所有的处理可逐个像素地执行。然而，为减少每个处理中的工作量，运动模糊增加处理器165逐个分区区域地执行运动向量屏蔽处理器1651和运动向量校正器1652的处理，其中分区区域是一个像素块。逐个像素而不是逐个像素块地执行滤波器参数计算器1653和运动模糊增加滤波器1654的增加运动模糊到解码图像数据DD的滤波处理。
为了在处理目标帧中识别运动模糊被增加到的图像区域，运动向量屏蔽处理器1651对所提供的分区区域的运动向量VD执行图22中图解的屏蔽处理。运动向量屏蔽处理器1651则提供分区区域的经屏蔽处理的运动向量给运动向量校正器1652。易受急动降级影响并且有必要进行运动模糊增加的图像区域集中在屏幕上的运动图像的边缘附近。在图22的处理中，运动向量屏蔽处理器1651只输出边缘附近的具有高空间对比度并且易受急动影响的像素块的运动向量作为有效值。在步骤S21中，运动向量屏蔽处理器1651检测从分类单元163提供的解码图像数据DD中的图像的边缘。逐个像素块地检测边缘以便识别处理目标帧内具有高空间对比度的区域。与步骤S21并行地，运动向量屏蔽处理器1651通过逐个像素块地计算帧之间的差来识别处理目标帧中的运动图像区域，以检测运动图像区域。
在步骤S23中，运动向量屏蔽处理器1651逐个像素块地确定遭受急动的区域是否已经在步骤S21和/或步骤S22中被检测到。运动向量屏蔽处理器1651将屏蔽处理标志″1″设置给已被确定为遭受急动的像素块。运动向量屏蔽处理器1651将屏蔽处理标志″0″设置给尚未确定为遭受急动的像素块。
在步骤S24中，运动向量屏蔽处理器1651确定从处理选择控制器171提供的运动向量VD是否是具有上述标志″1″的像素块的运动向量VD。运动向量屏蔽处理器1651不经对运动向量的值增加任何改变，就输出具有标志″1″的像素块的运动向量给运动向量校正器1652(处理从步骤S25进行到步骤S26)。在步骤S25中，运动向量屏蔽处理器1651对具有上述标志″0″的像素块的运动向量执行屏蔽处理，从而设置运动向量的值为″0″或使运动向量的值无效。然后，运动向量屏蔽处理器1651将屏蔽处理过的运动向量输出给运动向量校正器1652(因而处理从步骤S24进行到步骤S25到步骤S26)。
运动向量校正器1652的处理利用输入分区区域的快门速度差SSDD校正运动向量VD。如果快门速度差SSDD是负的，则由运动向量校正器1652校正运动向量。令F(帧/秒)表示作为运动图像的解码图像数据DD的帧速率，并且快门速度差SSDD不小于-1/F(秒)。快门速度差SSDD是不小于零的成像快门速度SSD与不大于1/F(秒)的最优快门速度SSD0之间的差值。
在增加运动模糊的处理中，快门速度差SSDD越小(快门速度差SSDD的绝对值越大)，将被增加的运动模糊量变得越大。快门速度差SSDD越接近零，将被增加的运动模糊量变得越小。换言之，快门速度差SSDD的值越小，作为将被增加的运动模糊量的指示的运动向量VD的值越大。快门速度差SSDD越接近零，运动向量VD的值越小。运动向量校正器1652因而将向量值乘以函数fs(SSDD)。在目标像素块中，随着快门速度差SSDD变得更接近″-1/F″，函数fs(SSDD)收敛于1，而随着快门速度差SSDD变得更接近″0″，函数fs(SSDD)收敛于″0″。
设置较接近于-1/F的值A，以及较接近于0的值B，其中量值关系-1/F＜A＜＜B＜0成立。对于等于或小于值A的值，函数fs的输出值被设置成1，以及对于等于或大于值B的值，函数fs被设置成0。该方法被称作限幅方法。
取代函数fs(SSDD)，运动向量校正器1652可利用以运动向量VD作为变量的fs(VD)或以快门速度差SSDD和运动向量VD作为两个变量的fs(SSDD，VD)来执行乘法处理。使用例如快门速度差SSDD或运动向量VD本身的滤波器参数PD的值于运动向量VD，用这种方式执行增加运动模糊量的处理。当在随后阶段对其增加运动模糊的数据被显示为运动图像时，得到在视觉特性上看上去更自然的图像质量。
滤波器参数计算器1653逐个像素地计算如下所述的滤波器参数，以便将运动模糊增加到形成处理目标帧的每个像素。滤波器参数计算器1653识别位于每个目标像素的运动向量上的像素(以下被称为参数计算目标像素)。目标像素是具有有效运动向量信息的像素。滤波器参数计算器1653按如下所述的方式计算响应于所识别的参数计算目标像素相对目标像素的相对位置的滤波器参数。
参考图23，滤波器参数计算器1653将出现在具有起始点S与终点E之间的中点上的目标像素P0的运动向量上的所有像素识别为参数计算目标像素。如图23所示，绝对值v是目标像素的运动向量的绝对值。然后，基于运动向量的绝对值v，以及目标像素P0的像素位置与按上述处理识别的参数计算目标像素P1的像素位置之间的距离d，滤波器参数计算器1653根据下列公式(9)计算运动模糊增加的强度σ：
&sigma; = - 0.5 &times; ( d - 0.5 ) 2 + 0.5 &times; ( v 2 ) 2 . . . ( 9 )
其中导出公式(9)，使得强度σ的平方变为后续阶段运动模糊增加滤波器1654的高斯函数中的方差。
滤波器参数计算器1653根据下列公式(10)计算运动模糊增加的角方向θ：
&theta; = tan - 1 ( y 1 x 1 ) . . . ( 10 )
其中(x1，y1)代表在x-y正交坐标平面体系中参数计算目标像素P1的坐标，其中目标像素P0处于系统的原点。
滤波器参数计算器1653从目标像素的运动向量中识别参数计算目标像素，针对每个识别出的参数计算目标像素P1设置参数信息(σ，θ)，然后逐个处理目标帧地将参数信息(σ，θ)提供给运动模糊增加滤波器1654。
在滤波器参数计算器1653的处理中，针对指定像素可以识别多个参数计算目标像素P1。在这种情况下，为有利于该处理，多个参数信息中具有最大σ的参数信息被设置成像素参数信息。滤波器参数计算器1653对每个参数计算目标像素P1的参数信息(σ，θ)可执行例如高斯函数滤波处理或中值滤波处理的平滑处理，使得从随后运动模糊增加滤波器1654输出的运动图像的图像质量提高。
响应于从滤波器参数计算器1653提供的参数信息，运动模糊增加滤波器1654对解码图像数据DD的处理目标帧内的每个像素的像素值执行如下所述的处理目标帧内的空间滤波处理。运动模糊增加滤波器1654输出由第一滤波处理和/或第二滤波处理对其增加了运动模糊的图像。
首先描述第一滤波处理。在第一滤波处理中，运动模糊增加滤波器1654以输入I(x+i，y+j)的形式接收在增加运动模糊之前的运动模糊增加目标像素的像素值，以及围绕目标像素的像素的像素值。然后，运动模糊增加滤波器1654根据表示为公式(11)的高斯函数对输入I(x+i，y+j)执行高斯函数滤波处理，从而输出滤波处理的像素值J(x，y)：
J ( x , y ) = ( &Sigma;I ( x + i , y + j ) &times; e - r 2 2 &sigma; 2 &Sigma; e - r 2 2 &sigma; 2 ) . . . ( 11 )
其中根据运动向量的增加所沿的角度方向设置具有输入I(x+i，y+j)的围绕像素，并且r代表运动模糊增加目标像素与围绕像素之间的距离。
运动模糊增加滤波器1654对形成处理目标帧的所有像素中具有为其设置的参数信息(σ，θ)的每个像素执行上述滤波处理，从而更新像素的像素值。运动模糊增加滤波器1654从而提供从中减少急动的运动图像给运动图像显示输出单元190。
围绕目标像素的一些像素可位于固定区域，即背景区域内。在对目标像素的运动模糊增加中不考虑位于背景区域内的围绕像素。第二滤波处理关注这一点。在第二滤波处理中，运动模糊增加滤波器1654根据公式(11)计算目标像素的像素值J(x，y)，其中如果围绕像素具有零值运动向量或无效运动向量，目标像素的像素值I(x，y)被替换为围绕像素的像素值I(x+i0，y+j0)。运动模糊增加滤波器1654输出比第一滤波处理看上去更自然的急动减少的图像。
运动模糊增加处理器165执行以上讨论的空间滤波处理。可选地，运动模糊增加处理器165可通过执行时间滤波处理来生成输出图像。在这种情况下，用所生成的适当数量的中间帧增加运动模糊的方法是有用的。图24中图解了这种方法的结构。图24中图解的运动模糊增加处理器165包含中间帧产生器1655、图像累积器1656、滤波器控制器1657以及运动模糊增加滤波器1658。
输入的解码图像数据DD被提供给中间帧产生器1655和图像累积器1656。中间帧产生器1655根据预定中间帧生成技术生成沿着时间方向在已有先前帧与随后帧之间插入的预定数量的新帧。中间帧产生器1655则将新帧提供给图像累积器1656。各种可用方法可被用作中间帧生成技术。例如，在一种方法中，已有先前帧与随后帧可与引入的权重混合。在另一个方法中，利用有关输入给中间帧产生器1655的每个区域的运动向量的信息对运动向量加权，并且执行图像混合。因此能生成更准确的中间帧。
滤波器控制器1657接收成像快门速度SSD和运动向量VD，并且根据所接收的成像快门速度SSD和运动向量VD，计算每个分区区域的滤波器参数FN以供运动模糊增加滤波器1658使用。在讨论滤波器参数FN之前先描述由运动模糊增加滤波器1658执行的处理。
运动模糊增加滤波器1658的处理是帧平均运算，并且在帧平均运算中所使用的帧的数量以逐个分区区域的方式自适应确定。换言之，利用输入解码图像数据DD中的一个帧和由中间帧产生器1655生成的多个帧，对因分区区域不同而不同的若干帧执行帧平均运算。简单地说，用于平均运算的帧的数量越大，要增加的运动模糊量变得越大，而用于平均运算的帧的数量越小，要增加的运动模糊量变得越小。
返回到滤波器控制器1657的讨论，响应于每个分区区域确定用于平均运算的帧的数量。滤波器控制器1657则输出帧的数量给运动模糊增加滤波器1658。用于平均运算的帧的数量为滤波器参数FN。用于平均运算的帧的最小数量(滤波器参数FN)是一个最小值，并且当帧的数量是1时，解码图像数据DD中的一个帧不经处理被原样输出。令K代表由中间帧产生器1655在已有先前帧与随后帧之间生成的帧的数量，以及帧的最大数量为K+1，其中输入帧被加到K个帧中。从1到K+1的范围中确定滤波器参数FN。如上所述，帧的数量越大，将被增加的运动模糊量变得越大。
滤波器参数FN的确定方法不局限于任何一种方法。根据本发明的一个实施例，如下所述利用输入滤波器控制器1657的快门速度差SSDD，确定滤波器参数FN。如果快门速度差SSDD是负的，则其被用于运动模糊增加处理器165。令F(帧/秒)表示作为运动图像的解码图像数据DD的帧速率，并且快门速度差SSDD不小于-1/F(秒)。快门速度差SSDD是不小于零的成像快门速度SSD与不大于1/F(秒)的最优快门速度SSD0之间的差值。
在随后阶段中将被执行的增加运动模糊的处理中，快门速度差SSDD越小(快门速度差SSDD的绝对值越大)，运动模糊量变得越大。快门速度差SSDD越接近零，将被增加的运动模糊量变得越小。换言之，快门速度差SSDD的值越小，作为将被增加的运动模糊量的指示的运动向量VD的值越大。快门速度差SSDD越接近零，运动向量VD的值越小。
滤波器控制器1657从而根据函数gs(SSDD)执行处理。随着快门速度差SSDD变得更接近″-1/F″，函数gs(SSDD)增加并且收敛于K+1，而随着快门速度差SSDD变得更接近″0″，函数gs(SSDD)收敛于″1″。因而得到的滤波器参数FN被输出到运动模糊增加滤波器1658。设置较接近于-1/F的值A，以及较接近于0的值B，并且量值关系-1/F＜A＜＜B＜0成立。对于等于或小于值A的值，函数gs的输出值被设置成K+1，以及对于等于或大于值B的值，函数gs的输出值被设置成1。该方法被称作限幅方法。
取代函数gs(SSDD)，滤波器控制器1657可利用以运动向量VD作为变量的gs(VD)或以快门速度差SSDD和运动向量VD作为两个变量的gs(SSDD，VD)来执行乘法处理，以便计算滤波器参数FN。
当输入用于每个分区区域中的滤波器平均处理的帧的数量(FN)时，运动模糊增加滤波器1658从图像累积器1656接收用于给每个分区区域增加运动模糊的、该数量的帧的图像数据，并且执行上述滤波器平均处理。当滤波器平均处理结束时，图像数据被重构为帧图像，然后作为输出图像信号OD输出。
如上所述，运动模糊增加处理器165利用空间滤波处理和时间滤波处理中的一种来执行运动模糊增加处理。运动模糊增加处理不局限于上述处理。
成像快门速度Sc在如图18所示的Sa和Sb之间。取决于对象速度，最优快门速度可以高于或低于成像快门速度Sc。例如，在以Va作为对象速度的值的分区区域中，执行减少运动模糊的任意方法，以便生成含有对应于最优快门速度的等级的运动模糊的图像。
如先前针对处于Sa的成像快门速度所讨论的，处理选择控制器171输出指示已经选择运动模糊减少处理的处理选择控制信息SCS给分类单元163。分类单元163输出解码图像数据DD中的分区区域的信号给运动模糊减少处理器164。运动模糊减少处理器164则用和参照成像快门速度Sa所描述的一样的方式执行滤波处理。
在以Vb或Vc作为对象速度的值的分区区域中，执行任何运动模糊增加处理以生成含有对应于最优快门速度的等级的运动模糊的图像。如先前参照如图18所示的成像快门速度Sb所讨论的，处理选择控制器171输出指示已经选择运动模糊增加处理的处理选择控制信息SCS给分类单元163。分类单元163输出解码图像数据DD中的分区区域的信号给运动模糊增加处理器165。运动模糊增加处理器165用和参照成像快门速度Sb所描述的一样的方式执行滤波处理。
已经讨论了对应于具有参照图3所讨论的第二种结构的图像处理装置2的图像再现装置100的结构与操作。图像再现装置100根据急动和模糊执行校正处理，从而控制急动降级和模糊降级。从而提高了从运动图像显示输出单元190中输出的输出图像的图像质量。即使不知道解码图像数据DD的图像捕获时的快门速度的信息，也可以估计成像快门速度。基于估计的快门速度的估计值，执行合适的运动模糊校正处理。
具有第三种结构的图像再现装置100通常与图5中图解的图像再现装置100相同。具有第三种结构的图像再现装置100在运动模糊校正处理器160A被运动模糊校正处理器160代替的方面有所不同。图25以类似于图15的图例形式图解了图示运动模糊校正参数计算器170和运动模糊校正处理器160A。
运动模糊校正处理器160A包含运动模糊减少处理器164、运动模糊增加处理器165，以及选择器和合成器167。运动模糊校正参数计算器170中的处理选择控制器171和最优快门速度信息存储器172与参照图15和后续附图所讨论的相应方相同。然而，注意到，从处理选择控制器171中输出的处理选择控制信息SCS被提供给选择器和合成器167。运动模糊减少处理器164和运动模糊增加处理器165的校正处理保持不变。
参考图25，不采用图15中图解的分类单元163。输入的解码图像数据DD被直接提供给运动模糊减少处理器164以及运动模糊增加处理器165。运动模糊减少处理器164根据从处理选择控制器171中提供的每个分区区域的滤波器参数PD，对输入的解码图像数据DD的所有分区区域执行运动模糊减少处理。所得到的图像数据被输出到选择器和合成器167。运动模糊增加处理器165根据从处理选择控制器171中提供的每个分区区域的滤波器参数PD，对输入的解码图像数据DD的所有分区区域执行运动模糊增加处理。所得到的图像数据被输出到选择器和合成器167。
选择器和合成器167接收解码图像数据DD的所有分区区域(包含具有零校正量的分区区域)上已经历运动模糊增加处理的图像数据，以及解码图像数据DD的所有分区区域(包含具有零校正量的分区区域)上已经历运动模糊减少处理的图像数据。选择器和合成器167响应于景象改变检测信号SCD，选择每个分区区域的图像数据。在组成一个帧的每个分区区域处，选择器和合成器167在来自运动模糊减少处理器164的图像数据与来自运动模糊增加处理器165的图像数据之间选择。选择器和合成器167接着合成分区区域的所选择的图像数据，然后输出合成的图像数据作为一个帧的输出图像信号OD。
运动模糊校正处理器160A也具有与图15中图解的运动模糊校正处理器160相同的优点。
在上述讨论中，图像处理装置1、2和3中的每个的具体例子是图像再现装置100。本发明适用于各种装置。例如，本发明不仅可适用于图像再现装置，而且还适用于成像装置、通信装置、图像记录装置、游戏机、视频编辑装置等等。例如通用个人计算机的信息处理设备可实现图像处理装置1 2和3中的每个。由充当图1、3和4中所图解的运动模糊校正参数计算器12、运动模糊校正处理器13和快门速度估计处理器14的中央处理单元(CPU)执行的计算机程序可被提供为图像处理应用软件程序。因而计算机可执行适当的图像处理。由中央处理单元(CPU)执行的计算机程序包含基于指示组成图像数据的单元图像之间的图像运动的运动信息和图像数据的图像捕获时的快门速度信息，计算运动模糊校正处理的运动模糊校正参数，以及通过利用运动模糊校正参数执行至少运动模糊减少处理来校正包含于图像数据中的运动模糊。计算机程序还包含通过分析图像数据估计快门速度。当计算运动模糊校正参数时，使用估计的快门速度。快门速度估计处理器14的运算因而由CPU进行。
计算机程序允许相同的图像处理由个人计算机、蜂窝电话、个人数字助理(PDA)和各种利用图像数据的图像处理装置来执行。
使CPU充当运动模糊校正参数计算器12和运动模糊校正处理器13(以及快门速度估计处理器14)的计算机程序可被预存储在作为记录介质的硬盘驱动器上，所述记录介质包含于例如计算机、或具有CPU的微型计算机的只读存储器(ROM)、快擦写存储器等的装置中。计算机程序还可被暂时或永久地存储在包含软盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用光盘(DVD)、蓝光盘(索尼的注册商标)、磁盘、半导体存储器和存储器卡的可折卸记录介质。这种可折卸记录介质可作为封装软件被提供。计算机程序可以从这种可折卸记录介质中被安装到个人计算机上。还可以从下载站点经由网络，例如局域网(LAN)或因特网下载计算机程序。
本申请包含与2008年6月20日提交日本专利局的日本优先权专利申请JP 2008-161581相关的内容，这里参考引用了所述专利申请的全部内容。
本领域的技术人员应当理解，根据设计需求和其它因素，可以进行各种修改，组合，子组合和变化，只要它们在所附权利要求书或其等同表述的范围内。

Claims (20)

1.一种图像处理装置，包括：
校正参数计算装置，用于基于指示单元图像之间的图像运动的运动信息、形成图像数据的单元图像以及在所述图像数据的图像捕获时获得的快门速度信息，计算用于运动模糊校正的运动模糊校正参数；以及
运动模糊校正处理装置，用于通过根据所述运动模糊校正参数至少执行减少运动模糊的处理，校正包含于所述图像数据中的运动模糊量。
2.如权利要求1所述的图像处理装置，其中，所述运动模糊校正处理装置根据所述运动模糊校正参数执行在所述图像数据上增加运动模糊的处理和减少运动模糊的处理。
3.如权利要求1所述的图像处理装置，还包括用于通过分析所述图像数据来估计快门速度信息的快门速度估计处理装置，
其中，所述校正参数计算装置使用由所述快门速度估计处理装置估计的快门速度信息，以便计算所述运动模糊校正参数。
4.如权利要求1所述的图像处理装置，其中，根据所述运动模糊校正参数，所述运动模糊校正处理装置响应于所述图像数据的每个分区区域，自适应地选择所述增加运动模糊的处理和所述减少运动模糊的处理中的一个。
5.如权利要求1所述的图像处理装置，其中，所述运动模糊校正处理装置对所述图像分别执行所述增加运动模糊的处理和所述减少运动模糊的处理，以及根据所述运动模糊校正参数，在由所述增加运动模糊的处理产生的数据与由所述减少运动模糊的处理产生的数据之间选择作为针对所述图像数据的每个分区区域自适应地输出的数据。
6.如权利要求1所述的图像处理装置，还包括用于由所述图像数据生成运动向量以作为所述运动信息的运动向量生成装置。
7.如权利要求3所述的图像处理装置，其中，所述快门速度估计处理装置包括：
运动模糊特征分析器，用于通过分析包含于所述图像数据的目标区域中的运动模糊特征来提取快门速度计算参数；以及
成像快门速度计算器，用于计算所述图像数据的图像捕获时的快门速度。
8.如权利要求7所述的图像处理装置，其中，所述快门速度估计处理装置还包括处理目标区域选择器，用于从形成所述图像数据的单元图像中提取和识别所述运动模糊特征分析器的分析处理的目标区域。
9.如权利要求8所述的图像处理装置，还包括运动向量生成装置，用于由所述图像数据生成运动向量以作为所述运动信息，
其中，所述快门速度估计处理装置中的处理目标区域选择器利用所述图像数据的边缘信息以及由所述运动向量生成装置生成的运动向量来识别所述目标区域。
10.如权利要求7所述的图像处理装置，其中，所述快门速度估计处理装置还包括成像快门速度准确度增强处理器，
其中，所述运动模糊特征分析器提取多个目标区域的快门速度计算参数，
其中，所述成像快门速度计算器利用所述多个目标区域的快门速度计算参数以及各个目标区域的运动信息计算多个快门速度，以及
其中，所述成像快门速度准确度增强处理器利用所述多个快门速度的计算结果估计成像快门速度。
11.如权利要求3所述的图像处理装置，其中，所述快门速度估计处理装置在从输入图像数据中景象改变的检测到下一个景象改变的检测的时间段内估计所述快门速度一次，并且在该时间段内保持所估计的快门速度。
12.如权利要求3所述的图像处理装置，其中，所述快门速度估计处理装置包括成像快门速度准确度增强处理器，所述成像快门速度准确度增强处理器在从所述输入图像数据中景象改变的检测到下一个景象改变的检测的时间段内估计所述快门速度多次，并且基于所估计的多个快门速度的计算结果估计成像快门速度。
13.如权利要求1所述的图像处理装置，其中，所述校正参数计算装置通过参考将目标速度映射到成像快门速度的映射信息，从所述图像数据的每个分区区域获得对应于所述目标速度的最优快门速度，其中以所述映射到的成像快门速度能够减少输出图像的图像质量降级，并且
通过比较有关输入成像快门速度的信息与所述最优快门速度，所述校正参数计算装置将所述运动模糊校正参数计算为用于在增加所述图像数据上的运动模糊的处理与减少所述图像数据上的运动模糊的处理之间进行选择的选择控制信息，并且
其中，所述运动模糊校正处理装置根据所述运动模糊校正参数，有选择地对所述图像数据执行增加运动模糊的处理和减少运动模糊的处理。
14.如权利要求1所述的图像处理装置，其中，所述校正参数计算装置通过参考将目标速度映射到成像快门速度的映射信息，从所述图像数据的每个分区区域获得对应于所述目标速度的最优快门速度，其中以所述成像快门速度能减少输出图像的图像质量降级，并且
通过比较有关输入成像快门速度的信息与所述最优快门速度，所述校正参数计算装置将所述运动模糊校正参数计算为用于在增加所述图像数据上的运动模糊的处理与减少所述图像数据上的运动模糊的处理之间进行选择的选择控制信息，并且
其中，所述运动模糊校正处理装置对所述图像分别执行增加运动模糊的处理和减少运动模糊的处理，以及根据所述运动模糊校正参数，在由增加运动模糊的处理产生的数据与由减少运动模糊的处理产生的数据之间选择作为针对所述图像数据的每个分区区域自适应地输出的数据。
15.如权利要求1所述的图像处理装置，其中，所述校正参数计算装置计算运动模糊校正参数，其指示由所述运动模糊校正处理装置分别在增加所述图像数据上的运动模糊的处理和减少所述图像数据上的运动模糊的处理中使用的运动模糊的增加度和运动模糊的减少度之一。
16.如权利要求15所述的图像处理装置，其中，指示运动模糊的增加度和运动模糊的减少度之一的所述运动模糊校正参数包括成像快门速度和成像快门速度与最优快门速度之间的差之一。
17.如权利要求15所述的图像处理装置，其中，指示运动模糊的增加度与运动模糊的减少度之一的运动模糊校正参数包括分区区域的运动速度信息。
18.一种图像处理方法，包括步骤：
基于指示单元图像之间的图像运动的运动信息、形成图像数据的单元图像以及在所述图像数据的图像捕获时获得的快门速度信息，计算用于运动模糊校正的运动模糊校正参数；以及
通过根据所述运动模糊校正参数至少执行减少运动模糊的处理，校正包含于所述图像数据中的运动模糊量。
19.一种用于使计算机执行图像处理方法的程序，所述图像处理方法包括步骤：
基于指示单元图像之间的图像运动的运动信息、形成图像数据的单元图像以及在所述图像数据的图像捕获时获得的快门速度信息，计算用于运动模糊校正的运动模糊校正参数；以及
通过根据所述运动模糊校正参数至少执行减少运动模糊的处理，校正包含于所述图像数据中的运动模糊量。
20.一种图像处理装置，包括：
校正参数计算单元，其基于指示单元图像之间的图像运动的运动信息、形成图像数据的单元图像以及在所述图像数据的图像捕获时获得的快门速度信息，计算用于运动模糊校正的运动模糊校正参数；以及
运动模糊校正处理单元，其通过根据所述运动模糊校正参数至少执行减少运动模糊的处理，校正包含于所述图像数据中的运动模糊量。
CN200910146332XA 2008-06-20 2009-06-19 用于处理图像的装置和方法 Expired - Fee Related CN101610349B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008161581 2008-06-20
JP2008161581A JP4666012B2 (ja) 2008-06-20 2008-06-20 画像処理装置、画像処理方法、プログラム
JP2008-161581 2008-06-20

Publications (2)

Publication Number Publication Date
CN101610349A true CN101610349A (zh) 2009-12-23
CN101610349B CN101610349B (zh) 2012-08-08

Family

ID=41057624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910146332XA Expired - Fee Related CN101610349B (zh) 2008-06-20 2009-06-19 用于处理图像的装置和方法

Country Status (4)

Country Link
US (1) US9270897B2 (zh)
EP (1) EP2136554A3 (zh)
JP (1) JP4666012B2 (zh)
CN (1) CN101610349B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103875235A (zh) * 2011-06-10 2014-06-18 菲力尔系统公司 用于红外成像装置的非均匀性校正技术
CN104081756A (zh) * 2012-02-03 2014-10-01 松下电器产业株式会社 评价方法、评价装置、计算机程序以及记录介质
CN104363380A (zh) * 2014-10-15 2015-02-18 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN107534790A (zh) * 2015-05-19 2018-01-02 索尼公司 图像处理装置、图像处理方法、接收装置及发送装置
CN108334262A (zh) * 2011-08-01 2018-07-27 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
CN110036629A (zh) * 2016-09-30 2019-07-19 株式会社尼康 拍摄装置、程序以及电子设备
CN110521211A (zh) * 2017-04-17 2019-11-29 索尼公司 发送设备、发送方法、接收设备、接收方法、记录设备和记录方法
CN111479035A (zh) * 2020-04-13 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质
CN112330544A (zh) * 2019-08-05 2021-02-05 浙江宇视科技有限公司 图像拖影的处理方法、装置、设备及介质

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009253675A (ja) * 2008-04-07 2009-10-29 Canon Inc 再生装置および方法、プログラム
JP4674620B2 (ja) * 2008-07-29 2011-04-20 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP5490404B2 (ja) * 2008-12-25 2014-05-14 シャープ株式会社 画像復号装置
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9716843B2 (en) 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
JP2011114407A (ja) * 2009-11-24 2011-06-09 Sony Corp 画像処理装置、画像処理方法、プログラム及び記録媒体
US9948878B2 (en) 2010-04-23 2018-04-17 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
JP2012032739A (ja) 2010-08-03 2012-02-16 Mitsubishi Electric Corp 画像処理装置及び方法、並びに画像表示装置
JP5506623B2 (ja) * 2010-09-27 2014-05-28 日立コンシューマエレクトロニクス株式会社 映像処理装置及び映像処理方法
FR2968878A1 (fr) * 2010-12-14 2012-06-15 Thomson Licensing Procede et dispositif pour generer des images comportant du flou cinetique
US8823745B2 (en) * 2011-06-02 2014-09-02 Yoostar Entertainment Group, Inc. Image processing based on depth information and color data of a scene
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9495733B2 (en) * 2012-08-07 2016-11-15 Sharp Kabushiki Kaisha Image processing device, image processing method, image processing program, and image display device
US10996542B2 (en) 2012-12-31 2021-05-04 Flir Systems, Inc. Infrared imaging system shutter assembly with integrated thermister
US9355435B2 (en) 2013-03-14 2016-05-31 Drs Network & Imaging Systems, Llc Method and system for adaptive pixel replacement
US9165345B2 (en) 2013-03-14 2015-10-20 Drs Network & Imaging Systems, Llc Method and system for noise reduction in video systems
WO2014160297A2 (en) * 2013-03-14 2014-10-02 Drs Rsta, Inc. Method and system for adaptive pixel replacement
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
FR3013488B1 (fr) 2013-11-18 2017-04-21 Univ De Nice (Uns) Procede d'estimation de la vitesse de deplacement d'une camera
FR3013487B1 (fr) 2013-11-18 2017-04-21 Univ De Nice (Uns) Procede d'estimation de la vitesse de deplacement d'une camera
KR20150078275A (ko) * 2013-12-30 2015-07-08 삼성전자주식회사 움직이는 피사체 촬영 장치 및 방법
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
US9237277B1 (en) * 2014-06-06 2016-01-12 Google Inc. Accurate simulation of shallow depth of field using contrast detection
US9684970B2 (en) * 2015-02-27 2017-06-20 Qualcomm Incorporated Fast adaptive estimation of motion blur for coherent rendering
US20160295108A1 (en) * 2015-04-01 2016-10-06 Cheng Cao System and method for panoramic imaging
EP3573020B1 (en) 2015-04-30 2020-11-11 FotoNation Limited A method and apparatus for producing a video stream
JP6389801B2 (ja) * 2015-05-27 2018-09-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
FR3041136A1 (fr) * 2015-09-14 2017-03-17 Parrot Procede de determination d'une duree d'exposition d'une camera embarque sur un drone, et drone associe.
US10230912B2 (en) * 2016-06-28 2019-03-12 Seek Thermal, Inc. Fixed pattern noise mitigation for a thermal imaging system
CN109661863B (zh) * 2016-09-07 2021-06-29 株式会社富士 识别装置
CN109672818B (zh) * 2017-10-16 2020-12-22 华为技术有限公司 一种调整图像质量的方法及装置
CN108648463B (zh) * 2018-05-14 2020-10-27 三峡大学 一种路口交通视频中车辆检测方法及系统
JP7327917B2 (ja) * 2018-09-14 2023-08-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP7292033B2 (ja) * 2018-12-28 2023-06-16 キヤノン株式会社 情報処理装置、情報処理方法、撮像装置、及びプログラム
JP2022523309A (ja) * 2019-01-28 2022-04-22 オーピー ソリューションズ， エルエルシー 指数関数的分割におけるインター予測
CN110166649A (zh) * 2019-06-18 2019-08-23 北京控制与电子技术研究所 一种基于fpga的图像消旋器
US11956539B2 (en) * 2021-06-29 2024-04-09 Canon Kabushiki Kaisha Correction control apparatus, image capturing apparatus, control method, and recording medium
WO2024035223A1 (en) * 2022-08-11 2024-02-15 Samsung Electronics Co., Ltd. System and method for enhancing the quality of a video

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3385629B2 (ja) * 1992-07-20 2003-03-10 ソニー株式会社 ビデオカメラの信号処理回路
GB2297450B (en) * 1995-01-18 1999-03-10 Sony Uk Ltd Video processing method and apparatus
JP4150949B2 (ja) * 2001-05-30 2008-09-17 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596221B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4100205B2 (ja) 2003-03-14 2008-06-11 ソニー株式会社 シーンチェンジ検出方法および装置
JP4106554B2 (ja) * 2003-09-08 2008-06-25 ソニー株式会社 撮影環境判定方法および撮像装置
JP4337505B2 (ja) * 2003-10-31 2009-09-30 ソニー株式会社 撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム
JP4656391B2 (ja) * 2004-02-13 2011-03-23 ソニー株式会社 画像処理装置と画像処理方法およびプログラム
JP5062968B2 (ja) 2004-08-11 2012-10-31 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4674528B2 (ja) * 2004-12-07 2011-04-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7710461B2 (en) * 2004-12-21 2010-05-04 Sony Corporation Image processing device, image processing method, and image processing program
US7538794B2 (en) * 2005-01-31 2009-05-26 Hewlett-Packard Development Company, L.P. Method and apparatus for motion estimation in a digital imaging device
CN101297545B (zh) * 2005-10-28 2012-05-02 株式会社尼康 摄影装置、图像处理装置
JP4961800B2 (ja) * 2006-03-31 2012-06-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103875235A (zh) * 2011-06-10 2014-06-18 菲力尔系统公司 用于红外成像装置的非均匀性校正技术
CN108334262B (zh) * 2011-08-01 2021-10-29 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
CN108334262A (zh) * 2011-08-01 2018-07-27 索尼公司 信息处理装置、信息处理方法和计算机可读存储介质
CN104081756B (zh) * 2012-02-03 2017-07-11 松下电器产业株式会社 评价方法以及评价装置
CN104081756A (zh) * 2012-02-03 2014-10-01 松下电器产业株式会社 评价方法、评价装置、计算机程序以及记录介质
CN104363380B (zh) * 2014-10-15 2017-10-27 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN104363380A (zh) * 2014-10-15 2015-02-18 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN107534790A (zh) * 2015-05-19 2018-01-02 索尼公司 图像处理装置、图像处理方法、接收装置及发送装置
CN107534790B (zh) * 2015-05-19 2020-06-23 索尼公司 图像处理装置、图像处理方法、接收装置及发送装置
CN110036629A (zh) * 2016-09-30 2019-07-19 株式会社尼康 拍摄装置、程序以及电子设备
CN110521211A (zh) * 2017-04-17 2019-11-29 索尼公司 发送设备、发送方法、接收设备、接收方法、记录设备和记录方法
CN112330544A (zh) * 2019-08-05 2021-02-05 浙江宇视科技有限公司 图像拖影的处理方法、装置、设备及介质
CN112330544B (zh) * 2019-08-05 2024-02-09 浙江宇视科技有限公司 图像拖影的处理方法、装置、设备及介质
CN111479035A (zh) * 2020-04-13 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质
CN111479035B (zh) * 2020-04-13 2022-10-18 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质

Also Published As

Publication number Publication date
JP2010004329A (ja) 2010-01-07
EP2136554A2 (en) 2009-12-23
CN101610349B (zh) 2012-08-08
US20090316009A1 (en) 2009-12-24
EP2136554A3 (en) 2010-06-30
US9270897B2 (en) 2016-02-23
JP4666012B2 (ja) 2011-04-06

Similar Documents

Publication Publication Date Title
CN101610349B (zh) 用于处理图像的装置和方法
US20140078347A1 (en) Systems and Methods for Reducing Noise in Video Streams
US9824426B2 (en) Reduced latency video stabilization
EP3944603A1 (en) Video denoising method and apparatus, and computer-readable storage medium
CN101478637A (zh) 基于历史的空间-时间噪声降低
US20050271144A1 (en) Image processing apparatus and method, and recording medium and program used therewith
CN105208376A (zh) 一种数字降噪方法和装置
CN104182718A (zh) 一种人脸特征点定位方法及装置
CN109859126A (zh) 一种视频降噪方法、装置、电子设备及存储介质
US20090245639A1 (en) Apparatus and method for reducing motion blur in a video signal
CN101163247A (zh) 运动补偿图像的内插方法以及用于所述方法的实现的设备
CN101640759A (zh) 图像处理设备、图像处理方法,以及记录介质
US7512285B2 (en) Signal processing device and signal processing method, and program and recording medium
Zeng et al. 3D-SSIM for video quality assessment
US20100026904A1 (en) Video signal processing apparatus and video signal processing method
CN101088281B (zh) 学习装置和学习方法
CN113743357A (zh) 视频表征自监督对比学习方法和装置
CN113452996A (zh) 一种视频编码、解码方法及装置
JP5197374B2 (ja) 動き推定
CN1328699C (zh) 特征点选择方法和装置、运动向量估计和图像显示装置
US20230316463A1 (en) Filter for temporal noise reduction
GB2506686A (en) Generating super-resolution images
CN117314976B (zh) 一种目标物跟踪方法及数据处理设备
RU2308817C1 (ru) Способ и устройство масштабирования динамического видеоизображения
Xue et al. Video retargeting using optimized crop-and-scale

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120808

Termination date: 20170619

CF01 Termination of patent right due to non-payment of annual fee