CN101404729B - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN101404729B
CN101404729B CN200810168781.XA CN200810168781A CN101404729B CN 101404729 B CN101404729 B CN 101404729B CN 200810168781 A CN200810168781 A CN 200810168781A CN 101404729 B CN101404729 B CN 101404729B
Authority
CN
China
Prior art keywords
motion vector
frame
brightness
image processing
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200810168781.XA
Other languages
English (en)
Other versions
CN101404729A (zh
Inventor
西亨
上田和彦
浅野光康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101404729A publication Critical patent/CN101404729A/zh
Application granted granted Critical
Publication of CN101404729B publication Critical patent/CN101404729B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H04N5/58—Control of contrast or brightness in dependence upon ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

一种对包括每第一周期排列的多个访问单元的输入移动图像进行处理的图像处理装置，包括：运动向量计算单元，其计算每第一周期的输入移动图像中所包括的对象的运动向量；运动向量转换单元，其通过将所计算的运动向量乘以预定增益来转换所述运动向量；帧补偿单元，其通过对于所述输入移动图像进行转换或补偿每第二周期排列的多个访问单元的帧补偿处理而生成包括所述访问单元的输出移动图像，以便对象根据已经经历了所述转换的运动向量来移动；以及增益计算单元，其根据用户环境下的亮度来计算增益，并将所获得的增益供应至所述运动向量转换单元。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及图像处理装置、图像处理方法和程序，并更具体地涉及能够与环境的亮度变化无关地适当显示影片源的图像处理装置、图像处理方法和程序。 
背景技术
一般而言，当在影院放映影片时，以48Hz显示相同的两帧(场)。因此，影片源中所包括的图像数据的帧排列周期对应于24Hz。即，影片源中所包括的图像数据具有24帧。 
另一方面，一般的电视广播接收机的显示周期对应于60Hz(120Hz)。因此，当使用一般的电视接收机来显示影片源的图像数据时，需要将具有24帧的图像数据转换成具有60帧(120帧)的图像数据。 
日本未审查专利申请出版物No.2006-066986公开了2-3下拉技术，作为将具有24帧的图像数据转换成具有60帧(120帧)的图像数据的技术的例子。此外，已经提出了通过计算对象的运动向量以便对象根据运动向量移动来补偿帧的技术(下文中称作“运动向量利用处理”)。 
发明内容
然而，出现的问题在于，当用户例如在房间比一般电影院亮的房间环境下使用电视广播接收机来观看已经经历了2-3下拉处理的影片源时，生成了高可见的抖动。另一方面，当用户观看在例如房间向电影院一样按的房间环境下使用电视广播接收机来观看已经经历了运动向量利用处理的影片源时，出现的问题在于，影片源被示出好像不同于电影的视频图像，即减退了作为电影的特性的真实感觉。 
因此，期望与环境亮度的变化无关地适当显示影片源。 
根据本发明的实施例，提供了一种图像处理装置，其对包括每第一周期排列的多个访问单元的输入移动图像进行处理。该图像处理装置包括：运动 向量计算部件，用于在每第一周期计算所述输入移动图像中所包括的对象的运动向量；运动向量转换部件，用于通过将使用所述运动向量计算部件所计算的运动向量乘以预定增益来转换所述运动向量；帧补偿部件，用于通过对于所述输入移动图像进行转换或补偿每第二周期排列的多个访问单元的帧补偿处理而生成包括所述访问单元的输出移动图像，以便对象根据已经经历了使用所述运动向量转换部件所进行的转换的运动向量来移动；以及增益计算部件，用于根据用户观看所述输出移动图像的用户环境下的亮度来计算增益，并将所获得的增益供应至所述运动向量转换部件。 
所述图像处理装置还可以包括亮度检测部件，用于检测所述用户环境中的亮度。增益计算部件根据使用所述亮度检测部件所检测的亮度来计算所述增益。 
所述图像处理装置还可以包括校正部件，用于根据由用户发出的指令来校正使用所述增益计算部件所计算的增益。 
根据本发明的另一实施例的一种图像处理方法和根据本发明的另一实施例的一种程序与根据本发明的实施例的图像处理装置有关。 
根据本发明的另一实施例的图像处理方法和根据本发明的另一实施例的程序对包括每第一周期排列的多个访问单元的输入移动图像进行以下处理。每第一周期计算所述输入移动图像中所包括的对象的运动向量，通过将所计算的运动向量乘以预定增益来转换所述运动向量，通过对于所述输入移动图像进行转换或补偿每第二周期排列的多个访问单元的帧补偿处理而生成包括所述访问单元的输出移动图像，以便对象根据已经经历了所述转换的运动向量来移动。在此，根据用户观看所述输出移动图像的用户环境下的亮度来计算增益。 
因此，实现了对影片源的移动图像进行的图像处理。具体地，与环境亮度的变化无关地适当显示影片源。 
附图说明
图1是图示根据本发明的实施例的图像处理装置的功能配置的例子的方框图； 
图2是图示输入信号的例子的时序图； 
图3是图示作为输入信号的电影中的对象的移动的时序图； 
图4是图示在例如当房间变暗时在转换处理后所获得的所有运动向量都变为0的情况下，对象相对于在图1所示的图像处理装置对图3所示的输入信号进行帧补偿处理后所获得的输出信号的移动的时序图； 
图5是图示在例如当房间变亮时在转换处理后所获得的所有运动向量变得等于还没有经历转换处理的运动向量的情况下，对象相对于在图1所示的图像处理装置对图3所示的输入信号进行帧补偿处理后所获得的输出信号的移动的时序图； 
图6是图示在图1的增益计算单元中所存储的函数的例子的图； 
图7是图示在例如当房间环境改变以便具有在图4的情况下的亮度和图5的情况下的亮度之间的范围的中间处的亮度时对应于在转换处理后所获得的移动量的所有运动向量变为还没有经历转换处理的运动向量的一半的情况下，对象相对于在图1所示的图像处理装置对图3所示的输入信号进行帧补偿处理后所获得的输出信号的移动的时序图； 
图8是图示在由输入信号T0表示的已经经历了2-3下拉处理的电影中的对象的移动的时序图； 
图9是图示在例如当房间变暗时在转换处理后获得的所有运动向量都变为0的情况下，对象相对于在图1所示的图像处理装置对图8所示的输入信号进行帧补偿处理后所获得的输出信号的移动的时序图； 
图10是图示在例如当房间环境改变以便具有在图4的情况下的亮度和图5的情况下的亮度之间的范围的中间处的亮度时在转换处理后所获得的所有运动向量变为还没有经历转换处理的运动向量的一半的情况下，对象相对于在图1所示的图像处理装置对图8所示的输入信号进行帧补偿处理后所获得的输出信号的移动的时序图； 
图11是图示在例如当房间变亮时转换处理后获得的所有运动向量都变为等于还没有经历转换处理的运动向量的情况下，对象相对于在图1所示的图像处理装置对图8所示的输入信号进行帧补偿处理后所获得的输出信号的移动的时序图；以及 
图12是图示根据本发明的实施例的图像处理装置的硬件配置的全部或一部分的例子的方框图。 
具体实施方式
在描述本发明的实施例之前，以下讨论在权利要求的特征和本发明的实施例中所公开的具体元件之间的对应关系。该描述意要确保在此说明书中描述支持要求保护的发明的实施例。因此，即使以下实施例中的元件未被描述为涉及本发明的某一特征，也不必然意味着该元件不涉及权利要求的该特征。相反，即使在此将元件描述为涉及权利要求的某一特征，也不必然意味着该元件不涉及权利要求的其他特征。 
此外，此描述不应该被理解为限定在权利要求中描述了本发明的所有实施例。即，描述并不否认未在本申请的发明中要求保护的本发明的实施例的存在，即，将来可能由分案申请要求保护的或者通过修改而另外要求保护的本发明的实施例的存在。 
根据本发明的实施例的图像处理装置(例如图1所示的图像处理装置)对包括在每第一周期排列的多个访问单元的输入的移动图像(例如图2的上侧的画面中所示的电影和图2的下侧的画面中所示的已经经历了2-3下拉处理的电影)进行处理。该图像处理装置包括：运动向量计算单元(例如图1所示的运动向量计算单元11)，被配置用于在每个第二周期计算输入的移动图像中所包括的对象的运动向量；运动向量转换单元(例如图所示的运动向量转换单元12)，被配置用于通过将使用运动向量计算单元所计算的运动向量乘以预定增益来转换运动向量；帧补偿单元(例如图1所示的帧补偿单元13)，被配置用于通过对输入的移动图像进行转换的帧补偿处理或补偿访问单元来生成输出的移动图像，以便对象根据已经经历了使用运动向量转换单元进行的转换的运动向量来移动；以及增益计算单元(例如图1所示的增益计算单元14)，被配置用于根据在用户观看输出到移动图像的用户环境下的亮度计算增益，并将所计算的增益供应至运动向量转换单元。 
该图像处理装置包括亮度检测单元(例如图1所示的亮度检测单元15)，被配置用于检测用户环境下的亮度。增益计算单元根据使用亮度检测单元所检测的亮度来计算增益。 
该图像处理装置包括校正单元(例如图1所示的用户校正单元16)，被配置用于根据用户发出的指令来校正使用增益计算单元所计算的增益。 
根据本发明的另一实施例的图像处理方法和根据本发明的再一实施例的程序与根据本发明的实施例的图像处理装置有关。尽管下文中将详细描述该程序，但是程序被记录在图12所示的可移动介质111中或存储单元108中所 包括的诸如硬盘的记录介质中，并由具有图12所示的配置的计算机执行。 
根据本发明的另一实施例，提供了一种记录介质，其存储根据本发明的实施例之一的程序。 
根据本发明的实施例之一的图像处理装置可用作完整的电视系统或电视系统的组件。电视系统意味着至少包括一个AV(音频和视频)设备的系统，该AV设备包括电视广播接收机。 
现在将参考附图描述本发明的实施例。 
注意，以下所述的描述具有前提。 
具体地，在下文中将描述的各个实施例中，对访问单元中的移动图像进行各种图像处理操作。“访问单元”意谓移动图像的一个单元，比如一帧或一场，并且具体地，意谓构成移动图像的静止图像的每个的全部(例如一帧)或部分(例如一场)。注意，下文中，为了简便，对一帧的单元中的移动图像进行各种图像处理操作。 
此外，下文中将要经历图像处理的移动图像(视频图象)称作信号或数据。 
另外，下文中将被供应至图像处理装置中所包括的功能块的信号(将参考图1描述)等同地称作输入信号。即，与输入的单元无关，比如与移动图像的单元、移动图像中所包括的帧的单元和构成帧的像素(像素值)的单元无关，将被供应至功能块的信号等同地称作输入信号。类似地，与输出单元无关，将从功能块输出的信号等同地称作输出信号。然而，当需要指定输入的单元或输出的单元时，使用指定的单元(主要是帧的单元)做出描述，否则，使用输入信号或输出信号做出描述。 
图1是图示根据本发明的实施例的图像处理装置的功能配置的例子的方框图。 
图1所示的图像处理装置包括运动向量计算单元11、运动向量转换单元12、帧补偿单元13、增益计算单元14、亮度检测器15和用户校正单元16。 
在图1所示的图像处理装置中，例如表示具有24Hz的帧周期的移动图像的输入信号T0被供应至运动向量计算单元11和帧补偿单元13的每个。 
注意，下文中将具有LHz(L是任意的整数值)的帧周期的信号简称为“L-Hz信号”。 
运动向量计算单元11计算每个预定周期，例如24Hz的周期所供应的输 入信号T0的运动向量MV，并将该运动向量MV供应至运动向量转换单元12。 
在此，对于构成一帧的各个像素值计算运动向量MV。注意，为了简便，采取由输入信号T0表示的移动图像中所包括的某个对象(例如由图3所示的矩形区域所标识的，将在下文中描述)作为以下描述中的例子，并且运动向量MV表示指示该某个对象的移动量和移动方向的向量。 
换句话说，下文中对某个对象中所包括的像素进行的处理操作聚焦在对帧进行的处理操作之间。然而，很明显，如果运动向量中包括零向量，则帧中所包括的其他像素经历与以下描述的处理操作类似的处理操作。 
运动向量转换单元12通过将运动向量MV乘以使用增益计算单元14所计算的增益G将运动向量MV转换成运动向量GxMV。所获得的运动向量GxMV被供应至帧补偿单元13。 
帧补偿单元13对输入信号T0进行帧补偿处理，并输出由于帧补偿处理而获得的信号T1作为输出信号。在帧补偿处理中，在输入信号T0中所包括的帧之间插入新的帧，以便具有多个帧(帧周期)的输入信号T0被转换成具有增加数量的帧的信号。通过这样，在此实施例中，24-Hz输入信号T0被转换成120-Hz输出信号T1。 
具体地，在此实施例中，例如，帧补偿单元13进行下列帧补偿处理。如上所述，为了简便，通过使用运动向量计算单元11进行的计算而获得的运动向量MV表示移动图像中所包括的某个对象的移动量和移动方向。因此，帧补偿单元13进行转换的帧补偿处理或补偿输入信号T0的帧，以便该某个对象根据通过使用运动向量转换单元12进行的转换而获得的运动向量GxMV而移动。按此方式，生成120Hz输出信号，即包括以120Hz的帧周期排列的多个帧的输出信号T1。 
下文中将参考图2到11详细描述此实施例的帧补偿处理。 
增益计算单元14根据使用亮度检测器15检测的亮度P1计算增益G。注意，下文中将参考图6描述亮度P1和增益G之间的关系。 
亮度检测器15检测在用户观看与从帧补偿单元13输出的信号T1对应的视频图像的用户环境中的亮度P1，并将亮度P1供应至增益计算单元14。 
用户校正单元16将根据用户的操作指令而获得的增益校正量ΔG供应至增益计算单元14。具体地，用户使用图1所示的图像处理装置自由补偿增益 G。 
现在参考图2到11，将描述图1所示的图像处理装置的操作。 
图2示出了图示输入信号T0的例子的时序图。在图2中，由矩形区域的中间部分中的参考符号AK(K是任意整数值)和BK所表示的矩形区域表示各个帧，并且横坐标轴代表时间(时间[秒])。注意，将以上所述的帧称作帧AK和BK。 
具体地，图2的上侧的画面示出了在具有24Hz的帧周期的图像数据，即表示包括24帧的影片源的图像数据(下文中称作“电影”)被供应作为输入信号T0的情况下的时序图。 
图2的下侧的画面示出了在通过2-3下拉处理来转换电影所获得的图像数据(下文中称作已经经历了2-3下拉处理的电影)被供应作为输入信号T0的情况下的时序图。在此，在2-3下拉技术中，通过在帧AK后插入新的帧AK，以便帧AK的每个后跟随着与帧AK的相应一个一致的一个新帧AK，并通过在帧BK后插入新的帧BK，以便帧BK的每个后跟随着两个新帧BK，具有24Hz的帧周期和具有交替排列的帧AK和BK的图像数据被转换成具有60Hz的帧周期的图像数据。 
即，电影或已经经历了2-3下拉处理的电影被供应作为此实施例中的输入信号T0。 
将首先描述在电影被供应作为输入信号T0的情况下图1所示的图像处理装置的操作。其后，将描述在已经经历了2-3下拉处理的电影的情况下图1所示的图像处理装置的操作。 
如图3所示，假设由图3的矩形区域所表示并被包括在电影中的对象每5/120[秒]向右侧移动α[像素]。具体地，在图3中，矩形区域A1、B1和A2分别表示帧A1、B1和A2中所包括的相同的对象，其以速度α[像素/(5/120)秒]均匀地向右侧移动。 
换句话说，图3是图示该对象的移动的时序图。在图3中，纵坐标轴代表时间，并且横坐标轴代表横向上的帧中所包括的对象的位置。被分配给箭头标志的参考符号MVP(P代表整数值或破折号)表示运动向量。然而，箭头标志不表示实际运动向量。注意，假设图3中由箭头标志和向下延长的线所定义的角度由θ代表，相对于箭头标志的sinθ表示实际运动向量。注意，图3中所采用的这些定义与图4和5以及图7到11中所采用的类似，这将在 下文中描述。 
如图2和3所示，由输入信号T0表示的电影对应于具有24Hz的帧周期的图像数据。另外，如上所述，在此实施例中，运动向量计算单元11的处理的单元是24Hz的帧周期。因此，运动向量计算单元11对组成电影的各个帧计算运动向量MV。即，在图3所示的例子中，分别获得对于对象的帧A1、B1和A2的运动向量MV1、MV2和MV3。在此，运动向量MV1、MV2和MV3的每个具有向右的移动方向和α[像素/(5/120)秒]的移动量。 
为了通过对24Hz输入信号T0进行帧补偿处理而生成120Hz输出信号T1，应该将以偶数时间间隔排列的四个帧插入帧A1和B1对以及帧B1和A2对的每个之间。 
例如，如图4所示，通过进行与2-3下拉处理类似的处理，四个帧A1′、四个帧B1′和四个帧A2′可以分别被插在帧A1、B1和A2后，以便生成120Hz输出信号T1。 
在此情况下，当显示帧A1和四个帧A1′时，对象的边缘部分(由图4所示的矩形区域表示)不从由α表示的位置移动。下文中将对应于M(M是任意整数值)的对象的边缘部分的位置简称为“M位置”。 
当显示帧B1时，对象的边缘部分剧烈移动到2×α位置，而当显示四个帧B1′时，对象的边缘部分不从2×α位置移动。此外，当显示帧A2时，对象的边缘部分剧烈移动到3×α位置，而当显示四个帧A2′时，对象的边缘部分不从3×α位置移动。 
如上所述，在5/120(＝1/24)[秒]的周期期间对象不移动，其后，当已经经过了下一5/120(＝1/24)[秒]的周期时，对象剧烈向右移动了α。即，生成了高可见的抖动。 
具体地，当用户环境中的亮度(例如房间中的亮度或屏幕的亮度)高于预定亮度时，即当用户环境比一般的电影院亮时，生成了高可见的抖动。这是因为人眼具有这种特性：尽管人眼能够跟随移动的对象，但是该能力的精确性根据亮度而变化。具体地，人眼具有这样的特性：当用户环境较亮时，人眼以较高的速度跟随对象移动。换句话说，该能力对应于眼睛敏感性，并且人眼具有这样的特性：假设随着人眼敏感性更高，人眼以更高的速度跟随对象移动，人眼敏感性和亮度具有恒定的关系。下文中将这种特性称作“眼睛跟随特性”。 
例如，可以将第一到第四帧A1′、第一到第四帧B1′和第一到第四帧A2′分别插在帧A1、B1和A2后，以便对象(由图5中的矩形区域表示)根据如图5所示的运动向量MV1、MV2和MV3向右移动，由此生成120Hz输出信号T1。 
在此情况下，当显示帧A1的时间点被设置为“0”，并且对象的位置α[像素]被设置为参考位置时，显示对应于输出信号T1的视频图像，使得对象如下移动。 
在紧接在帧A1后插入并在1/120[秒]的时间点显示的第一帧A1′中，对象移动了MV1(＝α)[像素/(5/120)秒]×1/120[秒]。在紧接在第一帧A1′后插入并在2/120[秒]的时间点显示的第二帧A1′中，对象移动了MV1(＝α)[像素/(5/120)秒]×2/120[秒]。在紧接在第二帧A1′后插入并在3/120[秒]的时间点显示的第三帧A1′中，对象移动了MV1(＝α)[像素/(5/120)秒]×3/120[秒]。在紧接在第三帧A1′后插入并在4/120[秒]的时间点显示的第四帧A1′中，对象移动了MV1(＝α)[像素/(5/120)秒]×4/120[秒]。 
然后，在5/120[秒]的时间点显示帧B1。帧B1中的对象的位置被从帧A1中的对象的参考位置向右移动了α[像素]。具体地，对象从在4/120[秒]的时间点显示的第四帧A1′中的对象的位置向右移动了MV1(＝α)[像素/(5/120)秒]×1/120[秒]。这意味着对象从4/120[秒]的时间点到5/120[秒]的时间点的移动量等于先前的移动量。 
其后，以1/120[秒]的时间间隔连续显示所插入的第一到第四帧B1′、帧A1、以及插入的第一到第四帧A2′。类似地，在这些帧中，对象以恒定速度向右移动。结果，没有生成高可见的抖动。 
然而，由于对某一范围产生的抖动，产生了电影所特有的真实感觉。因此，产生的问题是，当用户在像一般的电影院一样暗的环境下观看不包括抖动的视频图像时，电影特有的真实感觉减退了。 
换句话说，由于人眼具有眼睛跟随特性，因此当在像一般的电影院一样暗的环境下的视频图像中和在比一般的电影院亮的环境下的视频图像中生成相同程度的抖动时，在像一般的电影院一样暗的环境下示出的视频图像被认为是具有与电影院中类似的真实感觉的合适的视频图像，而在比一般的电影院亮的环境下示出的视频图像被认为是包括了高可见的抖动的视频图像。 
因此，为了降低高可见抖动而不减退与一般的电影院中类似真实感觉， 即不减退影片源的优异特性，应该根据用户环境中的亮度适当改变抖动的生成程度。通过根据亮度改变运动向量MV来实现该改变，这将在下文中描述。根据亮度的运动向量的该变量对应于使用图1的增益计算单元14计算的增益G。 
例如，增益计算单元14存储图16所示的函数f(α)。函数f(α)是当假设眼睛跟随特性是基于眼睛敏感性和亮度之间的比例关系时而获得的例子。在此例子中，增益计算单元14将使用亮度检测器15检测到的亮度分配给函数f(α)作为输入值α，用作眼睛敏感性的参数，并将其输出值f(α)供应至运动向量转换单元12作为增益G。 
如上所述而获得的增益G用于适当生成适合于在当时的用户环境的亮度下用户的眼睛跟随特性(所提供的眼睛敏感性与亮度成比例)的抖动。即，函数f(α)不限于图6的例子，并且优选采用根据实际的眼睛跟随特性的曲线的函数。 
增益G被供应至运动向量转换单元12。然后，运动向量转换单元12将运动向量MV转换成运动向量G×MV，并将运动向量G×MV供应至帧补偿单元13。 
因此，帧补偿单元13进行如图7所示的帧补偿处理，以便生成120Hz的图像数据，该120Hz的图像数据生成适合于当时亮度的抖动，作为输出信号T1。 
具体地，图7示出了确定使用亮度检测器15检测到的亮度P1作为图6所示的亮度P1t的情况下的例子。当亮度P1对应于亮度P1t时，使用增益计算单元14获得0.5的增益，并且其被供应至运动向量转换单元12。然后，运动向量转换单元12将运动向量MV1转换成运动向量MV1′(＝0.5×MV1)，将运动向量MV2转换成运动向量MV2′(＝0.5×MV2)，并将运动向量MV3转换成运动向量MV3′(＝0.5×MV3)，并将运动向量MV1′、MV2′和MV3′连续供应至帧补偿单元13。帧补偿单元13进行以下帧补偿处理。 
如图7所示，帧补偿单元13首先分别将第一到第四帧A1′、第一到第四帧B1′和第一到第四帧A2′插在帧A1、B1和A2后，以便对象根据转换的运动向量MV1′、MV2′和MV3′移动，由此生成120Hz输出信号T1。 
具体地，当显示帧A1的时间点被设置为“0”，并且对象的位置α[像素]被设置为参考位置时，显示对应于输出信号T1的视频图像，以便对象如下移 动。 
在紧接着帧A1后插入并在1/120[秒]的时间点显示的第一帧A1′中，对象移动了MV1′(＝0.5×MV1＝0.5×α)[像素/(5/120)秒]×1/120[秒]。在紧接着第一帧A1′后插入并在2/120[秒]的时间点显示的第二帧A1′中，对象移动了MV1′(＝0.5×MV1＝0.5×α)[像素/(5/120)秒]×2/120[秒]。在紧接着第二帧A1′后插入并在3/120[秒]的时间点显示的第三帧A1′中，对象移动了MV1′(＝0.5×MV1＝0.5×α)[像素/(5/120)秒]×3/120[秒]。在紧接着第三帧A1′后插入并在4/120[秒]的时间点显示的第四帧A1′中，对象移动了MV1′(＝0.5×MV1＝0.5×α)[像素/(5/120)秒]×4/120[秒]。 
然后，在5/120[秒]的时间点显示帧B1。帧B1中的对象的位置从帧A1中的对象的位置移动了α[像素]。对象从在4/120[秒]的时间点显示的第四帧A1′中的对象的位置移动了α-MV1′(＝0.5×MV1＝0.5×α)[像素/(5/120)秒]×4/120[秒]＝(3/5)×α[像素]。 
对象在从1/120[秒]的时间点到4/120[秒]的时间点的范围内每1/120[秒]移动了(1/10)×α[像素]。即，对象以恒定速度移动。然而，从4/120[秒]的时间点到5/120[秒]的时间点，对象移动了(3/5)×α[像素]。因此，移动量增加，并且生成了抖动。注意，移动量降低到图4所示的移动量的一半(即，类似于增益G降低到其一半)，因此，抖动的生成程度降低。具体地，在使用亮度检测器15检测到的亮度P1t中，示出了适合于用户的眼睛跟随特性的抖动。换句话说，生成了足够于实现电影特有的真实感觉并且非高可见的抖动。 
其后，基本与上述对象的移动类似地显示对象。即，对象在从5/120[秒]的时间点到9/120[秒]的时间点的范围内以恒定速度每1/120[秒]移动了(1/10)×α[像素]。然后，从9/120[秒]的时间点到10/120[秒]的时间点，对象移动了(3/5)×α[像素]。此外，对象在从10/120[秒]的时间点到14/120[秒]的时间点的范围内每1/120[秒]移动了(1/10)×α[像素]。然后，从14/120[秒]的时间点到15/120[秒]的时间点，对象移动了(3/5)×α[像素]。其后重复进行该移动。 
尽管未示出，但是当使用亮度检测器15检测到的亮度P1改变时，增益G根据亮度P1的改变而改变。因此，对象的移动量和抖动的生成程度改变了增益G的改变量。 
换句话说，当使用亮度检测器15检测的亮度P1变得等于或小于预定亮度时，例如由于房间变暗，如图6所示增益G变为零。因此，通过使用运动向量转换单元12进行的转换而获得的运动向量G×MV变为零。在此情况下，通过使用帧补偿单元13进行的帧补偿处理而生成的输出信号T1对应于图4所示的信号。 
另一方面，当使用亮度检测器15检测的亮度P1变得等于或大于预定亮度时，例如由于房间变亮，如图6所示获得增益1。因此，通过使用运动向量转换单元12进行的转换而获得的运动向量G×MV对应于还没有经历转换的运动向量MV。在此情况下，通过使用帧补偿单元13进行的帧补偿处理而生成的输出信号T1变得等于图5所示的信号。 
如上所述，生成了适合于使用亮度检测器15检测到的亮度P1的抖动。即，在亮度P1中，生成了足够于实现电影特有的真实感觉并且非高可见的抖动。 
注意，由用户主观地确定足够于实现电影特有的真实感觉并且非高可见的抖动的程度。因此，在图1所示的例子中提供了用户校正单元16，以便对各个用户生成期望的抖动。具体地，用户自由改变从用户校正单元16供应至增益计算单元14的校正量ΔG。因此，根据用户期望的校正量ΔG来改变增益G。从而，由用户自由控制抖动的生成程度。 
以上已经描述了在供应电影作为输入信号T0的情况下图1所示的图像处理装置的操作。 
下文中将参考图8到11描述在已经经历了2-3下拉处理的电影被供应作为输入信号T0的情况下图1所示的图像处理装置的操作。 
图8是图示在由输入信号T0表示的已经经历了2-3下拉处理的电影中的对象的移动的时序图。 
图9是图示在转换处理后获得的所有运动向量MV1′、MV2′和MV3′都变为0的情况下，即在例如当房间变暗时增益变为0的情况下对象相对于帧补偿单元13进行帧补偿处理后获得的输出信号T1的移动的时序图。 
图10是图示在转换处理后获得的所有运动向量MV1′、MV2′和MV3′都变为还没有经历转换处理的运动向量的一半的情况下，即在使用亮度检测器15检测亮度P1t并且增益G变为0.5的情况下对象相对于帧补偿单元13进行帧补偿处理后获得的输出信号T1的移动的时序图。 
图11是图示在转换处理后获得的所有运动向量MV1′、MV2′和MV3′都变为等于还没有经历转换处理的运动向量的情况下，即例如当房间变亮时增益G变为1的情况下对象相对于帧补偿单元13进行帧补偿处理后获得的输出信号T1的移动的时序图。 
当将图8到11与图3、4、7和5比较时，以下事实变得很明显。在已经经历了2-3下拉处理的电影被供应作为输入信号T0的情况下图1所示的图像处理装置的操作“基本”与参考图3到图5和图7所描述的电影被供应作为输入信号T0的情况下的图像处理装置的操作相同。它们“基本”相同，除了例如由于还没有经历帧转换的输入信号T0的帧周期在这两种情况之间稍有不同因此要被插入的帧的数目在这两者情况之间稍有不同的事实。 
如上所述，图1所示的图像处理装置通过进行上述操作，根据用户实际观看影片源的用户环境(例如房间)的亮度，即根据人类的眼睛跟随特性适当控制抖动的生成量。从而，产生优异的影片源的特性。 
注意，可以通过硬件或软件执行上述一系列处理(或处理的一部分)。 
在此情况下，例如可以通过图12所示的计算机来构建图1的全部图像处理装置或图1的图像处理装置的一部分。 
在图12中，CPU(中央处理单元)101根据ROM(只读存储器)102中所记录的程序或从存储单元108加载到RAM(随机存取存储器)103中的程序来进行各种处理。RAM103还在其中存储当CPU101进行各种处理时所使用的数据。
CPU101、ROM102和RAM103通过总线104彼此连接。总线104还连接到输入/输出接口105。 
输入/输出接口105还连接到包括键盘和鼠标的输入单元106、包括显示器的输出单元107、包括硬盘的存储单元108和包括调制解调器和端适配器的通信单元109。通信单元109通过包括因特网的网络与其他装置通信。 
输入/输出接口105还连接到驱动器110。包括磁盘、光盘、磁光盘和半导体存储器的可移动介质111被适当插入驱动器110中。从可移动介质111读取的计算机程序被适当安装在存储单元108中。 
当使用软件进行该一系列处理时，软件中所包括的程序被安装在被并入专属硬件中的计算机中或能够通过例如经由网络或记录介质安装各种程序来进行各种功能的一般个人计算机中。 
这种包括程序的记录介质由诸如磁盘(包括软盘)、光盘(包括CD-ROM(紧致盘只读存储器)、DVD(数字通用盘))、磁光盘(包括MD(迷你盘))或半导体存储器的可移动介质(包介质)111构成，在其中记录了程序，其从装置体单独提供，并且被分发以便向用户供应程序。可替换地，在ROM被并入装置体的情况下，包括程序的记录介质由ROM102构成，ROM102包括在其中所记录的、要被供应至用户的程序，或者包括程序的记录介质由存储单元108中所包括的硬盘构成。 
注意，在此说明书中，可以按步骤的顺序以时间序列的方式进行描述记录介质中的程序的步骤，或者可以并行地或单独地进行。
如上所述，在此说明书中，系统意味着包括多个处理设备和处理单元的全部装置。 
在前述例子中，移动量MV指示在某个方向上，即例如为了简便在帧中的水平方向上的移动量。然而，很明显，移动量MV可以指示其他方向上的移动量。在此情况下，即，在移动量MV指示不同于水平方向的方向上移动量的情况下，由于图像处理装置将移动量设置为向量，因此执行与上述各种处理基本类似的处理。 
本领域技术人员应当理解，取决于设计要求和其他因素，可以发生各种修改、组合、子组合和变更，只要它们在所附权利要求或其等效物的范围内。 
相关申请的交叉引用 
本发明包含与2007年10月4日在日本专利局提交的日本专利申请JP2007-260840有关的主题，通过引用将其全部内容合并于此。 

Claims (3)

1.一种图像处理装置，对包括以第一周期排列的多个访问单元的输入移动图像进行处理，所述图像处理装置包括：
用于计算以第一周期排列的所述输入移动图像中所包括的对象的运动向量的运动向量计算单元；
用于根据用户观看所述输出移动图像的用户环境检测所述用户环境中的亮度的亮度检测单元；
用于根据所述亮度检测部件所检测的亮度来计算增益的增益计算单元；
用于通过将使用所述运动向量计算部件所计算的运动向量乘以增益计算部件所计算的增益来转换所述运动向量的运动向量转换单元；以及
用于通过对于所述输入移动图像进行用于多个访问单元的转换或补偿的帧补偿处理而生成包括以第二周期排列的多个的访问单元的输出移动图像，以便对象根据已经经历了使用所述运动向量转换部件所进行的转换的运动向量来移动的帧补偿单元。
2.根据权利要求1的图像处理装置，还包括：
用于根据由用户发出的指令来校正使用所述增益计算部件所计算的增益的校正单元。
3.一种图像处理方法，对包括以第一周期排列的多个访问单元的输入移动图像进行处理，所述图像处理方法包括步骤：
计算以第一周期排列的所述输入移动图像中所包括的对象的运动向量；
根据用户观看所述输出移动图像的用户环境检测所述用户环境中的亮度；
根据所检测的亮度来计算增益；
通过将所计算的运动向量乘以所计算的增益来转换所述运动向量；
通过对于所述输入移动图像进行用于多个访问单元的转换或补偿的帧补偿处理而生成包括以第二周期排列的多个访问单元的输出移动图像，以便对象根据已经经历了所述转换的运动向量来移动。
CN200810168781.XA 2007-10-04 2008-09-28 图像处理装置和图像处理方法 Expired - Fee Related CN101404729B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007260840A JP4882948B2 (ja) 2007-10-04 2007-10-04 画像処理装置および方法、並びにプログラム
JP260840/07 2007-10-04

Publications (2)

Publication Number Publication Date
CN101404729A CN101404729A (zh) 2009-04-08
CN101404729B true CN101404729B (zh) 2012-09-05

Family

ID=40120166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810168781.XA Expired - Fee Related CN101404729B (zh) 2007-10-04 2008-09-28 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (2) US8175162B2 (zh)
EP (1) EP2046029B1 (zh)
JP (1) JP4882948B2 (zh)
CN (1) CN101404729B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2503833B (en) * 2008-12-09 2014-04-30 Snell Ltd Motion image rendering system
GB2503832B (en) * 2008-12-09 2014-07-16 Snell Ltd Motion image rendering system
EP2234402B1 (en) 2009-03-25 2012-07-04 Bang & Olufsen A/S A method and a system for adapting film judder correction
JP5480674B2 (ja) * 2010-03-09 2014-04-23 キヤノン株式会社 画像処理装置およびその制御方法
KR101700377B1 (ko) 2010-10-20 2017-01-26 삼성전자주식회사 아바타 생성을 위한 처리 장치 및 방법
TWI471814B (zh) * 2012-07-18 2015-02-01 Pixart Imaging Inc 降低背景干擾的手勢判斷方法及其裝置
CN106063242B (zh) * 2014-02-27 2019-07-09 杜比实验室特许公司 用于控制颤抖可见性的系统和方法
WO2016054076A1 (en) * 2014-10-02 2016-04-07 Dolby Laboratories Licensing Corporation Dual-ended metadata for judder visibility control
CN114073072A (zh) * 2019-07-10 2022-02-18 索尼集团公司 图像处理装置和图像处理方法
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion
WO2024011381A1 (zh) * 2022-07-11 2024-01-18 上海交通大学 点云编解码方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1640149A (zh) * 2002-04-16 2005-07-13 三菱电机株式会社 影像数据转换装置以及影像数据转换方法
EP1589763A2 (en) * 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
CN1874416A (zh) * 2005-05-31 2006-12-06 三星电子株式会社 运动图像处理方法及其设备
CN1921602A (zh) * 2005-08-22 2007-02-28 上海乐金广电电子有限公司 移动补偿为基础的影像信号帧频转换方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0765572B1 (en) * 1995-04-11 2000-06-28 Koninklijke Philips Electronics N.V. Motion-compensated field rate conversion
JP4083266B2 (ja) * 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
JP2000134585A (ja) * 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
WO2003055221A2 (en) * 2001-12-20 2003-07-03 Koninklijke Philips Electronics N.V. Adjustment of motion vectors in digital image processing systems
KR20050088484A (ko) * 2002-12-30 2005-09-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 다이나믹 포일 디스플레이용 주변광 적응
JP2006066986A (ja) 2004-08-24 2006-03-09 Sony Corp 情報処理装置および方法、並びにプログラム
JP4533863B2 (ja) 2006-03-28 2010-09-01 本田技研工業株式会社 ワーク位置決めテーブル及びこのワーク位置決めテーブルを備える工作機械
TWI302879B (en) * 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1640149A (zh) * 2002-04-16 2005-07-13 三菱电机株式会社 影像数据转换装置以及影像数据转换方法
EP1589763A2 (en) * 2004-04-20 2005-10-26 Sony Corporation Image processing apparatus, method and program
CN1874416A (zh) * 2005-05-31 2006-12-06 三星电子株式会社 运动图像处理方法及其设备
CN1921602A (zh) * 2005-08-22 2007-02-28 上海乐金广电电子有限公司 移动补偿为基础的影像信号帧频转换方法

Also Published As

Publication number Publication date
US8175162B2 (en) 2012-05-08
US20090208124A1 (en) 2009-08-20
JP2009094616A (ja) 2009-04-30
EP2046029A2 (en) 2009-04-08
JP4882948B2 (ja) 2012-02-22
US20120224099A1 (en) 2012-09-06
US8837593B2 (en) 2014-09-16
EP2046029A3 (en) 2010-06-16
EP2046029B1 (en) 2011-05-11
CN101404729A (zh) 2009-04-08

Similar Documents

Publication Publication Date Title
CN101404729B (zh) 图像处理装置和图像处理方法
US10885384B2 (en) Local tone mapping to reduce bit depth of input images to high-level computer vision tasks
JP5687553B2 (ja) 画像合成装置、画像合成方法及び画像合成プログラム
CN106919360B (zh) 一种头部姿态补偿方法及装置
EP1351502A1 (en) Enhanced resolution video construction method and apparatus
US20070040918A1 (en) Image processing apparatus, image processing method and program
US8913876B2 (en) Image processing apparatus, image processing method, and storage medium
US20120162200A1 (en) Map converting method, map converting apparatus, and computer program product for map conversion
US8456578B2 (en) Image processing apparatus and control method thereof for correcting image signal gradation using a gradation correction curve
CN107409191A (zh) 信号处理装置、录像再生装置、信号处理方法以及程序
US6348930B1 (en) Motion vector processing circuit
US20050122403A1 (en) Image processing apparatus
US8385430B2 (en) Video signal processing apparatus and video signal processing method
WO2014008329A1 (en) System and method to enhance and process a digital image
US7916970B2 (en) Image processing apparatus, method of same, and program for same
US20120288005A1 (en) Motion vector correction device and method and video signal processing apparatus and method
US8682088B2 (en) Image processing apparatus and image processing method
CN101610415B (zh) 图像处理设备和图像处理方法
CN103313012A (zh) 校正视频信号的视频处理设备及系统
US20230386072A1 (en) Incremental 2d-to-3d pose lifting for fast and accurate human pose estimation
CN101404734A (zh) 图像信号处理装置及图像信号处理方法
KR20080041581A (ko) 화상 처리 장치, 화상 처리 방법, 전기 광학 장치 및전자기기
US8279340B2 (en) Image signal processing apparatus and method thereof
JP2008283231A (ja) 画像変換装置
US20100316128A1 (en) Frame rate conversion apparatus and control method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120905

Termination date: 20170928

CF01 Termination of patent right due to non-payment of annual fee