CN101335858B - 画面处理装置、方法 - Google Patents

画面处理装置、方法 Download PDF

Info

Publication number
CN101335858B
CN101335858B CN2008101305251A CN200810130525A CN101335858B CN 101335858 B CN101335858 B CN 101335858B CN 2008101305251 A CN2008101305251 A CN 2008101305251A CN 200810130525 A CN200810130525 A CN 200810130525A CN 101335858 B CN101335858 B CN 101335858B
Authority
CN
China
Prior art keywords
image
sub
zone
picture
superimposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008101305251A
Other languages
English (en)
Other versions
CN101335858A (zh
Inventor
R·佩雷拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101335858A publication Critical patent/CN101335858A/zh
Application granted granted Critical
Publication of CN101335858B publication Critical patent/CN101335858B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/814—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts comprising emergency warnings

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

画面处理装置能够执行将子画面图像叠加在作为基础的动画图像上的处理。该装置包括用于从可将子画面图像叠加在作为基础的动画图像上的多个区域中检测移动量小的区域的检测单元，和用于将子画面图像叠加在移动量小的区域上的画面图像叠加单元，所述区域是由检测单元检测的。

Description

画面处理装置、方法
技术领域
本发明涉及画面处理装置，其中包含在动画图像中的画面被划分为多个块(block)并且被压缩，以及相关方法和程序。
背景技术
例如，在HDTV(高清晰度电视，也被称为高分辨率电视)或DVD中处理大量的动画图像，从而，需要对动画图像进行压缩。对于动画图像，一项被称为MPEG2的标准(运动图像编码专家组2)被广泛应用。
下面参考附图，对使用MPEG2系统压缩动画图像的方法进行简要说明。
图1是用于描述帧间预测编码的图，图2是用于描述宏块的图，以及图3是用于描述运动矢量的图。
在使用MPEG2系统对动画图像进行压缩的过程中，使用帧间预测编码对原始画面图像的数据进行编码。
如图1中所示，动画图像包括3类画面图像(帧)1，即I帧(也称为I画面(内编码画面))、P帧(也称为P画面(预测画面))、和B帧(也称为B画面(双向编码画面))。在比特流中，I帧、P帧和B帧是按照如图1所示的顺序排列的。在图1中，I帧、P帧和B帧分别被表示为I、P和B。
所述I帧是通过对原始画面图像进行编码而获得的内编码帧。所述P帧是其中所述I帧被编码为预测画面图像的前向预测编码帧。所述B帧是其中所述I帧或P帧被编码为预测画面图像的双向预测编码帧。
在MPEG2系统中，为了增加整个动画图像的编码速率，执行运 动补偿帧间预测编码。I帧、P帧和B帧的每一个被划分为例如16×16像素的宏块(其对应于本发明的块)，并且按每个宏块进行编码。
如图2中所示，例如，以亮度信号Y、色差信号Cb和色差信号Cr的比率为4∶2∶0的格式，(16×16)像素的亮度信号Y、(8×8)像素的色差信号Cb和相同像素的色差信号Cr的数据被存储在单个的宏块2中。
如图3中所示，在MPEG2系统中，为了示出每个宏块2的帧间变化，对表征宏块2的移动的运动矢量(其对应于运动量)3进行估计，并且对运动矢量信息进行编码并将其添加到比特流中。也就是说，将I帧、P帧和B帧的数据与宏块2的运动矢量信息包含在动画图像的初始比特流中。
解码器从包含I帧、P帧和B帧的数据和每个宏块2的运动矢量3的初始比特流中解码被MPEG2系统压缩的动画图像。
发明内容
在电视(包括高清晰度电视)中，例如，用于显示应急信息例如地震公告等的画面、字幕等，电子节目指南，例如电视的操作菜单的信息(用于显示这些种类信息的画面、字幕等被称为子画面)被显示在电视节目的画面之上。
子画面被叠加在作为基础的画面(以下称为基画面)之上。可能会出现因子画面和基画面被叠加的位置而导致的不便。这种不便的具体实例将参考附图进行说明。
图4的图用于描述子画面和基画面的叠加。
例如实例说明了一种在棒球比赛播放期间在基画面上显示通知应急广播的子画面的情形。如图4中所示，在电视的显示屏上，用于通知应急信息的子画面5被叠加在放映棒球比赛的基画面4上，从而，屏幕上的图像显示如叠加图像6中所示。
就配置来说，子画面5的显示限于基画面4上的预定区域(在图4中的实例中，叠加图像6的左边区域)。因此，例如在棒球比赛播放过程中，当子画面5被叠加在动画图像运动剧烈的区域(例如投球手和击球手移动的地方)时，电视观众可能看不到基画面4的重要移动(在图4中所示的叠加图像6的实例中，子画面5的显示遮盖住了投球手和击球手的移动)。
在MPEG2系统中，大量的动画图像被压缩。在对压缩的动画图像进行解码时，需要大量的实时处理。
在本发明的实施例中，希望提供能够将子画面图像叠加在作为基础的动画图像的最佳区域上的画面处理装置，以及相关方法和程序。
本发明的第一个方面的画面处理装置是能够执行将子画面叠加在作为基础的动画图像(moving picture image)上的处理的装置。该画面处理装置包括用于从可将子画面叠加在作为基础的动画图像上的多个区域中检测运动较小的区域的检测单元；和用于将子画面叠加在运动较小的区域上的画面图像叠加单元，所述区域是由检测单元检测的。
优选地，在作为基础的动画图像中，多个画面图像被划分为多个块，以便每个画面图像包含预定数目的像素，并经受预定的压缩处理。检测单元从包含在作为基础的动画图像中的每个画面图像的块中获得运动矢量信息，并计算在动画图像中的每个画面图像之间的运动变化较小的区域。
优选地，画面处理装置包括用于处理作为基础的动画图像的主处理器和用于处理子画面图像的子处理器。检测单元以预定数量的块为单位计算移动量的总和，并在以预定方向顺序扫描块的同时逐次比较相邻块之间的总和以计算总和变小的区域；和图像叠加单元将从子处理器获得的子画面图像叠加在作为基础的动画图像的区域上，该动画图像是从主处理器获得的。
优选地，第一方面的画面处理装置包括用于显示由图像叠加单元输出的动画图像的显示单元。
本发明的第二个方面的画面处理方法是能够执行将子画面图像叠加在作为基础的动画图像上的处理的方法。所述方法包括用于从可将子画面图像叠加在作为基础的动画图像上的多个区域中检测移动量小的区域的检测步骤；和用于将子画面图像叠加在移动量小的区域上的画面图像叠加步骤，所述区域是由检测步骤检测的。
优选地，在作为基础的动画图像中，多个图像被划分为多个块以便每个画面图像中包含预定数目的像素，并经受预定的压缩。检测步骤包括以预定数量的块为单位计算移动量的总和、并在以预定方向顺序扫描块的同时逐次比较相邻块之间的总和的步骤；和基于比较结果计算总和变小的区域的步骤。
本发明的第三个方面的程序是能够执行将子画面图像叠加在作为基础的动画图像上的画面处理。所述画面处理程序使计算机执行用于从可将子画面图像叠加在作为基础的动画图像上的多个区域中检测移动量小的区域的检测处理；和用于将子画面图像叠加在移动量小的区域上的画面图像叠加处理，所述区域是由检测单元检测的。
优选地，在作为基础的动画图像中，多个画面图像被划分为多个块以便每个画面图像包括预定数目的像素，并经受预定的压缩。检测处理使计算机执行以预定数量的块为单位计算移动量的总和、并在以预定方向顺序扫描块的同时逐次比较相邻块之间的总和的处理；和基于比较结果计算总和变小的区域的处理。
根据本发明，在能够执行将子画面图像叠加在作为基础的动画图像上的处理的画面处理装置中，检测单元检测移动量较小的区域。画面图像叠加单元将子画面图像叠加在由检测单元检测的移动量较小的区域内。
根据本发明的实施例，子画面图像可被叠加在作为基础的动画图像的最佳区域内。
附图说明
图1是用于描述帧间预测编码的图；
图2是用于描述宏块的图；
图3用于描述运动矢量的图；
图4用于描述子画面图像和基画面图像的叠加；
图5的框图示出了采用根据实施例的画面处理方法的画面处理装置的一个配置实例；
图6示出了用于描述根据实施例由位置计算单元计算的运动矢量值变化较小的区域的一个实例；
图7示出了关于根据本实施例由画面图像叠加单元叠加在基画面上的子画面的一个实例；
图8示出了在根据实施例的显示面板上的显示区域的一个实例；
图9示出了根据实施例的动画图像的宏块的一个配置实例；
图10是其中采用根据实施例的画面处理方法的画面处理装置的流程图；和
图11是其中采用根据实施例的画面处理方法的画面处理装置的流程图。
具体实施方式
下面结合附图说明本发明的实施例。
(第一实施例)
图5的框图示出了采用根据实施例的画面处理方法的画面处理装置的一个配置实例。
图5中示出的画面处理装置10包括：分类单元(DEMUX)11；存储器12(MEM)；主解码器(MDEC)13；子解码器(SDEC)14；主处理器(MPIC)15；子处理器(SPIC)16；检测单元(PCAL)17；画面图像叠加单元(BLEN)18；控制器(CPU)19；以及显示面板(PANEL)20。
接着说明画面处理装置10的每个部件。
将被例如MPEG2系统编码和压缩的动画图像的初始比特流(TS(传输流))或者节目流(PS)从画面处理装置10的外部输入到分类单元11。基于例如控制器19的控制，分类单元11将输入的初始比特流或节目流划分为下述几类：动画图像等的数据，地震公告或天气 预报、节目指南、电视菜单、字幕等的数据，和音频等(它们各自都作为基础)，并将这些数据输出到存储器12。
在下面的说明中，在实施例中，将动画图像等的数据称为主数据，将地震公告或天气预报、节目指南、电视菜单、字幕等的数据称为子数据。在实施例中，将由主数据构成的动画图像的每帧称为基画面，并且将由子数据构成的静态画面图像称为子画面图像。本实施例是一个实例，并且主数据和子数据的内容等并不特别受限。在实施例中，子画面图像是静态画面图像，但是子画面图像可以是例如动画图像。
由分类单元11基于例如控制器19的控制进行分类的各种数据被输入到存储器12。存储器12在预定的存储器区域存储例如主数据、子数据、音频等，并将预定的数据输出到主解码器13和子解码器14的每一个。
基于例如控制器19的控制，主解码器13从存储器12读取出主数据，对读取出的主数据进行解码，并以帧为单位将解码的主数据输出到主处理器15。主解码器13获得例如每帧每个宏块的运动矢量信息，并将获得的信息输出到检测单元17。
子解码器14从例如存储器12读取出子数据，并且基于控制器19的控制，对读取出的子数据进行解码，然后将数据输出到子处理器16。
由主解码器13解码的包含运动矢量信息等的主数据例如被输入到主处理器15中。基于例如控制器19的控制，主处理器15基于显示面板20的显示区域按每帧放大和缩小主数据，并将与处理的动画图像等相关的数据(例如显示位置，显示大小等)输出到图像叠加单元18。
由例如子解码器14解码的子数据被输入到子处理器16。然后，子处理器16根据从控制器19输入的设置参数放大和缩小解码的子数据，并将处理的数据输出到画面叠加单元18。
由例如主解码器13解码的包含运动矢量信息等的主数据被输入到检测单元17。基于控制器19的控制，检测单元17从每个基画面的 每个块获得运动矢量信息。检测单元17基于运动矢量信息计算基画面图像之间的运动矢量值的变化较小的区域，并计算将在基画面图像上叠加的位置以将计算结果输出到画面图像叠加单元18。检测单元17每隔几秒(由控制器19确定)运行位置计算。
在此参考具体实例说明基画面图像之间的运动矢量值的变化较小的区域。
图6示出了用于描述根据实施例由位置计算单元计算的运动矢量值变化较小的区域一个实例。
很多动画图像可以被划分为其中画面图像的移动是活动的区域和其中画面图像的移动是不活动的区域。例如，图6的基画面图像可以被划分为其中画面图像的移动是活动的区域RGNL，和与区域RGNL相比，其中画面图像的移动不那么活动的区域RGNR。图6中示出的一个实例表示由MPEG2系统压缩的动画图像。与区域RGNL的运动矢量值相比，区域RGNR具有的变化较小的运动矢量值。
分别将例如包含来自主处理器15的主数据的动画图像、包含来自子处理器16的子数据的静态画面图像和来自检测单元17的与子画面图像的显示位置相关的参数或类似数据等输入到画面图像叠加单元18。基于每个参数和控制器19的控制，画面图像叠加单元18将子画面图像叠加在基画面之间的运动矢量值的变化较小的区域上以形成一帧(画面图像)，并将叠加的帧输出到显示面板20。
下面示出由画面叠加单元将子画面叠加在基画面上的一个实例。
图7示出了关于根据本实施例由画面图像叠加单元叠加在基画面上的子画面的一个实例。
图7中示出的基画面与图6中示出的基画面相同。如图7中所示，画面图像叠加单元18将子画面图像SUBP叠加在基画面之间的运动矢量值的变化较小的区域RGNR内。
控制器19分别设置例如每个部件的初始参数等，基画面图像的显示位置等，以及在存储器12、主解码器13、子解码器14、主处理器15、子处理器16和检测单元17之间的控制。控制器19控制例如 分类单元11和画面图像叠加单元18。
显示面板20是例如CRT(阴极射线管)显示和液晶显示。其中由画面叠加单元18将子画面叠加在基画面上的帧被顺序输入到显示面板20用于显示。显示面板20不限于CRT显示和液晶显示。
下面说明显示面板20的显示区域。
图8示出了根据实施例在显示面板上的显示区域的一个实例。
如图8中所示，显示面板20包括用于显示基画面的基画面图像区域201和用于显示子画面的子画面区域202。
如图8中所示，在实施例中，例如将显示面板20的左上角设置为原点O(O(0，0))。在本实施例的下面的说明中，将用于显示区域的单位设定为像素，并省略单位的表示。
在基画面区域201中，原点O’被放在位置例如(O’(mvp_hst，mvp_vst))，即，mvp_hst在从显示面板20的原点O的X轴方向而mvp_vst在Y轴方向。在基画面区域201中，其区域被设定为在从原点O’的X轴方向的mvp_hsz和在Y轴方向的mvp_vsz。
在子画面图像区域202中，原点O”所在的位置是：在从原点O的X轴方向的(mvp_hst+sub_hst)和在Y轴方向的sub_vst。在子画面图像区域202中，将它的区域设定为在从原点O”的X轴方向的sub_hsz和在Y轴方向的sub_vsz。
在实施例中，基画面图像区域201的基画面图像被划分为宏块。下面对宏块进行说明。
图9示出了根据实施例的动画图像的宏块的一个配置实例。
如图9中所示，在实施例中，在显示面板20上，将基画面图像区域201的基画面图像例如以矩阵形式划分为(m+1)×(n+1)个宏块(blk)203。将宏块203简记为blk(Xi，Yj)。
注意m和n分别表示与基画面的水平宽度(X轴方向)和与基画面的垂直宽度(Y轴方向)对应的宏块的数量，并且是非负整数(0，1，...)。此外，i和j是非负整数(0，1，...)。
下面参考图5和图8至图10，对其中采用根据实施例的画面处理方法的画面处理装置的操作进行说明。
图10是其中采用根据实施例的画面处理方法的画面处理装置的流程图。
在下面的说明中，主要对图5中所示的检测单元17的操作进行说明。
例如，分类单元11将由MPEG2系统编码和压缩的动画图像至少分类为要被存储在存储器12中的主数据和子数据。主解码器13和子解码器14从存储器12读取出各自对应的数据，对数据进行解码，并将解码的数据输出到各自对应的部件。将预定的动画图像等的数据分别预先输入到主处理器15、子处理器16和检测单元17。
(步骤ST11)
在步骤ST11，执行与基画面图像和子画面图像的显示区域相关的每个参数的初始设置。
特别地，在实施例中，基画面图像区域201的显示区域被设置为例如mvp_hsz＝m×16，mvp_vsz＝n×16(见图8)。在实施例中，子画面图像区域202的显示区域(见图8)被设定为例如sub_hsz＝p×16，sub_vsz＝q×16。注意p和q分别表示与子画面图像的水平宽度(X轴方向)和与子画面图像的垂直宽度(Y轴方向)对应的宏块数，并且是非负整数(0，1，...)。
(步骤ST12)
在步骤ST12，在X轴方向上扫描基画面图像时，检测单元17检测相邻宏块之间的运动矢量值的总和。
特别地，如图9中所示，例如，位置处于基画面图像区域201的原点O’的blk(X0，Y0)被设定为扫描的起点(i＝0)。检测单元17选择p个宏块203(例如blk(X0，Y0)至blk(X(0+p)，Y0))，其对应于在同一行的X轴方向上从该宏块blk(X0，Y0)开始的子画面区域202的水平宽度，并计算其运动矢量值的总和∑I(X)。
检测单元17将总和∑I(X)设置为最小值Lowest_X (Lowest_X＝∑I(X))。此时，子画面图像区域202的原点O”的位置处于sub_hst＝0，sub_vst＝0，即，在O”(0，0)。
(步骤ST13)
在步骤ST13，为了简化说明，假设扫描的起点位置在i(例如在blk(Xi，Yj))。
检测单元17将在同一行的扫描的起点改变到在X轴方向上移位一个相邻宏块203(i＝i+1)的位置。从而，此时扫描的起点变成blk(X(i+1)，Y0)。
(步骤ST14)
步骤ST14涉及基画面图像区域201的边界(X轴方向)的处理。
特别地，在检测单元17扫描的起点，当子画面区域202的一端(例如第p选择的宏块203)到达在X轴方向的最后一个宏块203(例如图9中所示的blk(Xm，Y0))时((i+p)＞m)，检测单元17执行步骤ST18的进程。
在子画面区域202的X轴方向的起点由步骤ST14确定。
在检测单元17扫描的起点，当子画面图像区域202的一端未到达在X轴方向的最后一个宏块时，检测单元17执行步骤ST15的进程。
(步骤ST15)
在步骤ST15，检测单元17选择例如在同一行中从宏块blk(Xi，Y0)开始的在X轴方向上相邻的p个宏块203(例如blk(Xi，Y0)至blk(X(i+p)，Y0))，并计算运动矢量值的总和∑I(X)。
(步骤ST16)
在步骤ST16，检测单元17比较总和∑I(X)与在步骤ST12设置的最小值Lowest_X。
特别地，当总和∑I(X)大于在步骤ST12设置的最小值Lowest_X(∑I(X)≥Lowest_X)时，检测单元17执行步骤ST13的处理。
当总和∑I(X)小于在步骤ST12设置的最小值Lowest_X(∑I(X)＜Lowest_X)时，检测单元17执行步骤ST17的处理。
(步骤ST17)
在步骤ST17，检测单元17将在步骤ST15计算的总和∑I(X)更新为最新的最小值Lowest_X(Lowest_X＝∑I(X))，并且将宏块203在X轴方向上的扫描起点设定为sub_hst＝i×16。然后，检测单元17执行步骤ST13的处理。
(步骤ST18)
在步骤ST18，当在Y轴方向上扫描基画面图像时，检测单元17检测相邻宏块的运动矢量的总和。
特别地，如图9中所示，例如，检测单元17将扫描起点的宏块203设置为blk(Xi，Y0)，选择从blk(Xi，Y0)开始在同一列的Y轴方向上相邻的q个宏块203(例如blk(Xi，Y0)至blk(Xi，Y(0+q)))，并且计算其运动矢量值的总和∑I(Y)。
然后，检测单元17将总和∑I(Y)设置为最小值Lowest_Y(Lowest_Y＝∑I(Y))。
(步骤ST19)
在步骤ST19，检测单元17将同一列的扫描起点改变到在Y轴方向上相邻、移位一个宏块203(j＝j+1)的位置。从而，此时扫描的起点被设置为blk(Xi，Y(j+1))。
(步骤ST110)
步骤ST110涉及基画面区域201的边界(Y轴方向)的处理。
特别地，在检测单元17的扫描起点，当子画面图像区域202的一端(例如第q个选择的宏块203)到达在Y轴方向的最后一个宏块203(例如blk(Xi，Yn))时((j+q)＞n)，检测单元17结束进程(结束)。
通过步骤ST14，确定在Y轴方向的子画面图像区域202的起点。
当检测单元17的扫描起点未到达在Y轴方向的最后一个宏块((j+q≤n))时，检测单元17执行步骤ST111的处理。
(步骤ST111)
在步骤ST111，检测单元17从blk(Xi，Yj)选择在同一列中在Y轴方向上相邻的q个宏块203(例如blk(Xi，Yj)至blk(Xi，Y(j+p))， 并计算例如运动矢量值的总和∑I(Y)。
(步骤ST112)
在步骤ST112，检测单元17比较总和∑I(Y)与在步骤ST18设置的最小值Lowest_Y。
特别地，当总和∑I(Y)大于在步骤ST18设置的最小值Lowest_Y(∑I(Y)≥Lowest_Y)时，检测单元17执行步骤ST19的处理。
当总和∑I(Y)小于在步骤ST18设置的最小值Lowest_Y(∑I(Y)＜Lowest_Y)时，检测单元17执行步骤ST13的处理。
(步骤ST113)
在步骤ST113，检测单元17将在步骤ST111计算的总和∑I(Y)更新为最新的最小值Lowest_Y(Lowest_Y＝∑I(Y))，并且将宏块203在Y轴方向上的扫描起点设置为sub_vst＝j×16。然后，检测单元17执行步骤ST19的处理。
当子画面图像区域202的显示区域未被从步骤ST11至步骤ST113的处理确定时，检测单元17将基画面图像区域201的原点O’设置为子画面图像区域202的起点。
如上所述，检测单元17将基画面图像区域201的原点O’(mvp_hst，mvp_vst)设置为扫描的起点，在X轴方向上逐次扫描的同时计算p个宏块的运动矢量值，并且将总和变得最小的位置设置为子画面图像区域202在X轴方向上的起点。接着，检测单元17在Y轴方向上逐次扫描的同时计算q个宏块的运动矢量值，并且将总和变得最小的位置设置为子画面图像区域202在Y轴方向上的起点。检测单元17计算相邻宏块203的区域，并将该区域设置为子画面图像区域202。
接着，基于检测单元17的计算结果，画面图像叠加单元18将从子处理器16输入的子画面图像叠加在从主处理器15输入的基画面的子画面区域202上。
显示面板20显示从画面叠加单元18输入的动画图像。
如上所述，在实施例中，其优点在于：由于子画面图像显示在动 画图像的运动不剧烈的区域，因此减弱了子画面图像对正在播放的基画面的影响。
在实施例中，不要求子画面图像显示在基画面图像的先前确定的位置上，因此可以有效地利用显示面板的显示区域。例如，在实施例中，当在电视节目播放过程中显示作为子画面图像的广告消息时，可以不改变电视节目的显示区域来显示子画面图像。
在实施例中，使用由例如MPEG2系统压缩的动画图像的比特流，并且利用比特流中包含的运动矢量信息以获得最佳子画面图像的显示区域。因此，动画图像处理系统易于安装到高清晰度电视、DVD等中。
(第二实施例)
接下来说明本发明的第二实施例。
图11是其中采用根据实施例的画面处理方法的画面处理装置的流程图。
在第一实施例中，如图10中的步骤ST11至ST13所示，检测单元17将在基画面区域201的X轴方向上的扫描起始位置固定在位置sub_hst，然后计算在Y轴方向上的扫描起点sub_vst。
然而，在本实施例中，检测单元17首先将在基画面图像区域201的Y轴方向上的扫描起始位置固定在位置sub_vst，然后计算在X轴方向上的扫描起点sub_hst。
也就是，如图11中所示，根据本实施例的步骤ST22至步骤ST27与根据第一实施例的步骤ST18至步骤ST113对应。根据本实施例的步骤ST28至步骤ST213与根据第一实施例的步骤ST12至步骤ST17对应。
在实施例中也可以获得与在第一实施例中类似的效果。
检测单元17按照例如从最小值到最大值的顺序，对在第一实施例中从步骤ST11到步骤ST13(见图10)计算的X轴方向的总和∑I(X)与Y轴方向的总和∑I(Y)的值进行排序。接着，检测单元17可以计算排序的总和∑I(X)与总和∑I(Y)的所有组合以获得运动矢量值的变化 较小的区域。
此外，例如，检测单元17可以使用根据第二实施例的步骤ST21至ST213(见图11)以获得总和∑I(X)与总和∑I(Y)。
根据本发明的第一和第二实施例只是实例，并且画面处理装置10的配置并不特别受限。
上面详细描述的方法可以被配置成程序，其遵循由计算机(例如CPU)执行的过程。
此外，可以通过将这样的程序存储在记录介质(例如半导体存储器、磁盘、光盘、软盘(注册商标)等)中并由配备有此记录介质的计算机进行访问的方式来执行该程序。
本领域的技术人员应当了解，在所附的权利要求或其等同的范围内，可以根据设计需求和其它因素进行各种修改、组合、子组合和变动。
本文件包含与在2008年3月12日向日本专利局提交的日本专利申请No.2007-167374有关的主题，在此以引用的方式将其全部内容并入本文。

Claims (3)

1.一种能够执行将子画面图像叠加在作为基础的动画图像上的处理的画面处理装置，包括：
用于从能将子画面图像叠加在作为基础的动画图像上的多个区域中检测移动量小的区域的检测单元；
用于将子画面图像叠加在移动量小的区域上的画面图像叠加单元，所述区域是由检测单元检测的；
用于处理作为基础的动画图像的主处理器；和
用于处理子画面图像的子处理器，其中：
在作为基础的动画图像中，多个画面图像被划分为多个块以便每个块包含预定数目的像素，并经受预定的压缩处理；
检测单元以预定方向以预定数量的块为单位顺序扫描各块，对每次扫描计算所述预定数量的块的运动矢量的总和，并逐次比较计算的所述总和以计算总和变小的区域；和
图像叠加单元将从子处理器获得的子画面图像叠加在作为基础的动画图像的区域上，该动画图像是从主处理器获得的。
2.根据权利要求1的画面处理装置，包括：
用于显示从图像叠加单元输出的动画图像的显示单元。
3.一种能够执行将子画面图像叠加在作为基础的动画图像上的处理的画面处理方法，包括：
用于从能将子画面图像叠加在作为基础的动画图像上的多个区域中检测移动量小的区域的检测步骤；和
用于将子画面图像叠加在移动量小的区域上的画面图像叠加步骤，所述区域是由检测步骤检测的，其中：
在作为基础的动画图像中，多个画面图像被划分为多个块以便每个块包含预定数目的像素，并经受预定的压缩处理；和
所述检测步骤包括：
以预定方向以预定数量的块为单位顺序扫描各块，对每次扫描计算所述预定数量的块的运动矢量的总和、并逐次比较计算的所述总和的步骤；和
基于比较结果计算总和变小的区域的步骤。
CN2008101305251A 2007-06-26 2008-06-26 画面处理装置、方法 Expired - Fee Related CN101335858B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-167374 2007-06-26
JP2007167374 2007-06-26
JP2007167374A JP5217270B2 (ja) 2007-06-26 2007-06-26 画像処理装置およびその方法、並びにプログラム

Publications (2)

Publication Number Publication Date
CN101335858A CN101335858A (zh) 2008-12-31
CN101335858B true CN101335858B (zh) 2011-09-07

Family

ID=40160605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101305251A Expired - Fee Related CN101335858B (zh) 2007-06-26 2008-06-26 画面处理装置、方法

Country Status (3)

Country Link
US (1) US8228432B2 (zh)
JP (1) JP5217270B2 (zh)
CN (1) CN101335858B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016741A (ko) * 2008-08-05 2010-02-16 삼성전자주식회사 영상처리장치 및 그 제어 방법
JP5627617B2 (ja) * 2012-02-22 2014-11-19 株式会社東芝 画像処理装置及び画像表示システム
KR101560186B1 (ko) * 2013-03-18 2015-10-14 삼성전자주식회사 움직임 예측에 있어 적응적 탐색 범위 결정을 이용한 부호화, 복호화 방법 및 장치
CN104349200B (zh) * 2013-08-09 2018-04-03 晨星半导体股份有限公司 电视控制装置与相关方法
JP6352126B2 (ja) * 2014-09-17 2018-07-04 ヤフー株式会社 広告表示装置、広告表示方法、及び広告表示プログラム
CN107786904A (zh) * 2017-10-30 2018-03-09 深圳Tcl数字技术有限公司 画面放大方法、显示设备及计算机可读存储介质
CN111314626B (zh) * 2020-02-24 2021-12-07 北京字节跳动网络技术有限公司 用于处理视频的方法和装置
CN112667518B (zh) * 2021-01-11 2024-05-31 宁波弘讯科技股份有限公司 注塑机控制器的软件测试方法、装置、系统及可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922652A (zh) * 2004-02-27 2007-02-28 松下电器产业株式会社 信息显示方法以及信息显示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06205324A (ja) * 1993-01-07 1994-07-22 Oki Electric Ind Co Ltd Ｐｉｐの子画面位置制御方法及び装置
JPH1013799A (ja) * 1996-06-19 1998-01-16 Mega Chips:Kk テレビ電話装置
JPH10200873A (ja) * 1997-01-16 1998-07-31 Sharp Corp テレビ電話装置
US6046778A (en) * 1997-10-29 2000-04-04 Matsushita Electric Industrial Co., Ltd. Apparatus for generating sub-picture units for subtitles and storage medium storing sub-picture unit generation program
JP4240785B2 (ja) * 2000-08-31 2009-03-18 キヤノン株式会社 受信装置、及び受信装置の制御方法
JP4765194B2 (ja) * 2001-05-10 2011-09-07 ソニー株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
JP3944225B2 (ja) * 2002-04-26 2007-07-11 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
JP2004073416A (ja) 2002-08-14 2004-03-11 Sankyo Kk 遊技機
JP4476723B2 (ja) * 2004-07-14 2010-06-09 アルパイン株式会社 画像表示装置
EP1855463B1 (en) * 2005-02-21 2010-04-28 Panasonic Corporation Moving picture processing method
JP4011082B2 (ja) * 2005-11-08 2007-11-21 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、グラフィックプロセッサ、制御用プロセッサおよび情報処理方法
JP4861109B2 (ja) * 2006-09-27 2012-01-25 富士通株式会社 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置
JP2008160620A (ja) * 2006-12-26 2008-07-10 Matsushita Electric Ind Co Ltd 画像処理装置および撮像装置
JP2009071689A (ja) * 2007-09-14 2009-04-02 Sony Corp 画像処理装置、画像処理方法および撮像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922652A (zh) * 2004-02-27 2007-02-28 松下电器产业株式会社 信息显示方法以及信息显示装置

Also Published As

Publication number Publication date
CN101335858A (zh) 2008-12-31
US8228432B2 (en) 2012-07-24
JP2009010460A (ja) 2009-01-15
US20090003727A1 (en) 2009-01-01
JP5217270B2 (ja) 2013-06-19

Similar Documents

Publication Publication Date Title
CN101335858B (zh) 画面处理装置、方法
US8115708B2 (en) System and method for the prevention of display burn-in
US8144777B2 (en) Motion vector detection method and apparatus
JP4438795B2 (ja) 映像変換装置、映像表示装置、映像変換方法
TW443066B (en) System and method for DCT domain inverse motion compensation using shared information
US7663663B2 (en) Burn-in control
US8854546B2 (en) Method and apparatus for displaying data content
JPH1075457A (ja) 動画像内の移動物体検出装置
CN1258992A (zh) 用于提供屏幕显示数据的方法和装置
CN101652994A (zh) 视频发送装置、视频接收装置、视频记录装置、视频重放装置及视频显示装置
CN102208171A (zh) 一种便携式高清视频播放器上的局部细节播放方法
CN102244745A (zh) 一种调整电视机图像完整度的方法及装置
US7821575B2 (en) Image processing apparatus, receiver, and display device
CN101291436B (zh) 视频编/解码方法和视频编/解码装置
JP2009239951A (ja) 動画像復号化装置
JP2014175793A (ja) 映像処理装置、表示装置、テレビジョン受信機及び映像処理方法
US20100260255A1 (en) Method and system for clustered fallback for frame rate up-conversion (fruc) for digital televisions
US7421152B2 (en) Method for resizing an image using the inverse discrete cosine transform
KR101042352B1 (ko) 멀티미디어 방송 시스템에서의 방송신호 수신장치 및 그 방법
US7388620B2 (en) Method and system for pan-scan using motion vectors presentation
JPWO2009093557A1 (ja) マルチ画面表示装置
CN103260025A (zh) 用于解码视频图像的方法和设备
JP5176613B2 (ja) 映像信号処理装置、映像信号処理方法およびコンピュータプログラム
CN101527843B (zh) 用来解码视频画面中的视频块的装置及其相关方法
JP5192325B2 (ja) 映像再生装置及び映像再生方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110907

Termination date: 20130626