CN108810601B - 运动字幕解交织方法、系统、移动终端及可读存储介质 - Google Patents

运动字幕解交织方法、系统、移动终端及可读存储介质 Download PDF

Info

Publication number
CN108810601B
CN108810601B CN201710308005.4A CN201710308005A CN108810601B CN 108810601 B CN108810601 B CN 108810601B CN 201710308005 A CN201710308005 A CN 201710308005A CN 108810601 B CN108810601 B CN 108810601B
Authority
CN
China
Prior art keywords
field
image
frame
block
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710308005.4A
Other languages
English (en)
Other versions
CN108810601A (zh
Inventor
张善旭
蒋诗露
龚书龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Fuzhou Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou Rockchip Electronics Co Ltd filed Critical Fuzhou Rockchip Electronics Co Ltd
Priority to CN201710308005.4A priority Critical patent/CN108810601B/zh
Publication of CN108810601A publication Critical patent/CN108810601A/zh
Application granted granted Critical
Publication of CN108810601B publication Critical patent/CN108810601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

本发明提供一种运动字幕解交织方法、系统、移动终端及可读存储介质，所述方法包括：硬件处理步骤，在视频系列为场图像时对场图像进行解交织处理，输出硬件处理图像；在视频系列为帧图像时直接输出帧图像；软件处理步骤，包括：运动字幕区域处理步骤：检测视频系列中当前帧运动字幕区域图像块是帧图像还是场图像，并在当前帧的图像块为场图像时，进行运动估计并根据运动估计结果和检测的场序，从相邻帧的场和当前帧的场获取对应匹配的图像块补偿到当前帧的场图像块；图像输出处理步骤：根据预设逻辑关系确定最终输出图像为硬件处理图像还是替换为软件处理的运动字幕区域后的图像。本发明可以高效的解决运动字幕出现的“锯齿”和“闪烁”现象。

Description

运动字幕解交织方法、系统、移动终端及可读存储介质
技术领域
本发明涉及图像处理领域，特别是涉及图像的运动字幕技术领域，具体为一种运动字幕解交织方法、系统、移动终端及可读存储介质。
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
背景技术
电视播放的视频中常常会带有运动字幕传递一些文字信息，运动字幕通常不是视频内容的一部分，而是后期制作加入到视频中的，所以运动字幕与原视频系列在帧场格式上可能不同。而一般带场模式解交织功能的芯片都是按帧进行解交织操作，且对运动的高频图像处理不好，因此对带运动字幕的场模式视频，在运动字幕区域容易出现“锯齿”和“闪烁”的现象。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明的实施例提供了一种运动字幕解交织方法，所述运动字幕解交织方法包括：硬件处理步骤，通过视频处理芯片读取视频码流的帧标识和场标识检测视频系列是帧图像还是场图像，并在所述视频系列为场图像时对所述场图像进行解交织处理，输出硬件处理图像；在所述视频系列为帧图像时直接输出所述帧图像；软件处理步骤，包括：运动字幕区域处理步骤：检测视频系列中当前帧运动字幕区域图像块是帧图像还是场图像，并在当前帧的图像块为场图像时，进行运动估计并根据运动估计结果和检测的场序，从相邻帧的场和当前帧的场获取对应匹配的图像块补偿到当前帧的场图像块，输出软件处理的运动字幕区域；图像输出处理步骤：根据预设逻辑关系确定最终输出图像为所述硬件处理图像还是将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像。
于本发明的一实施例中，所述运动字幕区域处理步骤具体包括：检测视频系列中的运动字幕区域；若连续N帧所述视频系列中均检测到所述运动字幕区域，则检测当前帧中所述运动字幕区域的图像块是帧图像还是场图像，若为场图像，则进行运动估计获取当前帧相对上一帧的位移矢量MV_F，并根据所述位移矢量MV_F获得当前帧两场之间的位移矢量MV，并在连续检测所述视频系列中的所述运动字幕区域的帧数大于等于N时，根据所述位移矢量MV和所述场序从相邻帧图像块的场和当前帧图像块的场中获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块的场的对应区域形成补偿图像块；检测所述补偿图像块是帧图像还是场图像，并在所述补偿图像块为帧图像时，输出包含所述补偿图像块的运动字幕区域。
于本发明的一实施例中，在运动字幕区域边界由于运动字幕的运动，当前帧图像块的场的顶场或底场不包含所述运动字幕，若所述场序为顶场优先，且当前帧图像块待恢复的场为顶场，则运动字幕边界区域采用上一帧图像块的底场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；若所述场序为顶场优先，且当前帧图像块待恢复的场为底场，则运动字幕边界区域采用下一帧图像块的顶场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；若所述场序为底场优先，且当前帧图像块待恢复的场为顶场，则运动字幕边界区域采用下一帧图像块的底场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；若所述场序为底场优先，且当前帧图像块待恢复的场为底场，则运动字幕边界区域采用上一帧图像块的顶场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块。
于本发明的一实施例中，所述检测视频系列中的运动字幕区域具体包括：获取当前帧图像的像素与前一帧图像的各个位置像素值差值的绝对值；判断各所述差值的绝对值是否大于预设的第一阈值，若是，则将当前帧图像的像素对应标记为第一数值，若否，则将当前帧图像的像素对应标记为第二数值；获取当前帧图像中每行中像素标记为第一数值的像素数量并判断所述像素数量是否大于预设的第二阈值，若是，则将该行标记为第三数值，若否，则将该行标记为第四数值；检测连续多帧是否有标记为第三数值的连续多行，若有，则判断所述连续多行的总高度是否达到预设高度，若是，则从当前帧图像的左右两个侧边逐渐向中间区域进行像素扫描，当连续多帧左边出现有多行的列像素由第二数值向第一数值跳变时，确定跳变的列像素为左边界，当连续多帧右边出现有多行的列像素由第二数值向第一数值跳变时，确定跳变的列像素为右边界，由所述多行、所述左边界和所述右边界组成的矩形区域即为运动字幕区域。
于本发明的一实施例中，所述检测当前帧中所述运动字幕区域的图像块是帧图像还是场图像具体包括：检测图像块中连续多行像素中沿任一方向的列像素的数值是否符合场特征，若是，则所述图像块为场图像，若否，则所述图像块为帧图像。
于本发明的一实施例中，所述获取当前帧所述图像块的场相对上一帧图像块的场的位移矢量MV具体包括：将当前所述图像块分为当前左图像块、当前右图像块和当前中间图像块并获取所述当前左图像块中任一图像子块相对上一帧图像块的位移矢量MV1、所述当前右图像块中任一图像子块相对上一帧图像块的位移矢量MV2以及所述当前中间图像块中任一图像子块相对上一帧图像块的位移矢量MV3；若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值均不相同，则输出硬件处理图像；若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值中至少有两个相同的，则取数值相同且不为0的为位移矢量MV_F，所述位移矢量MV_F的一半为位移矢量MV。
于本发明的一实施例中，所述获取所述当前左图像块中任一图像子块相对上一帧图像块的位移矢量MV1具体包括：搜索上一帧图像块的左图像块中对应图像子块及其相邻图像子块中像素值与当前左图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配左图像子块；获取所述最匹配左图像子块与当前左图像块中图像子块的位置差，并将该位置差作为位移矢量MV1；获取所述当前右图像块中任一图像子块相对上一帧图像块的位移矢量MV2具体包括：搜索上一帧图像块的右图像块中对应图像子块及其相邻图像子块中像素值与当前右图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配右图像子块；获取所述最匹配右图像子块与当前右图像块中图像子块的位置差，并将该位置差作为位移矢量MV2；获取所述当前中间图像块中任一图像子块相对上一帧图像块的位移矢量MV3具体包括：搜索上一帧图像块的中间图像块中对应图像子块及其相邻图像子块中像素值与当前中间图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配中间图像子块；获取所述最匹配中间图像子块与当前中间图像块中图像子块的位置差，并将该位置差作为位移矢量MV3。
于本发明的一实施例中，若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值均不相同时，运动估计失败，在N+1时，重新进行运动估计获取位移矢量MV，当前帧直接输出硬件解交织的结果。
于本发明的一实施例中，若连续N帧所述视频系列中均检测到所述运动字幕区域，还包括根据所述位移矢量MV进行场序检测，具体根据补偿效果检测对所述场序进行检测，所述补偿效果检测包括：所述场序的形式为顶场、底场、顶场、底场...或者为底场、顶场、底场、顶场…；在每一种形式的场序下，将当前帧分为第一帧和第二帧：若当前帧的场序为底场优先，则所述第一帧的顶场采用根据位移矢量MV从上一帧的顶场以及当前帧的顶场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块，所述第一帧的底场采用当前帧的底场；所述第二帧的顶场采用当前帧的顶场，所述第二帧的底场采用根据位移矢量MV从当前帧的底场和下一帧的底场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块；若当前帧的场序为顶场优先，则所述第一帧的底场采用根据位移矢量MV从上一帧的底场以及当前帧的底场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块，所述第一帧的顶场采用当前帧的顶场；所述第二帧的底场采用当前帧的底场，所述第二帧的顶场采用根据位移矢量MV从当前帧的顶场和下一帧的顶场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块；检测当前帧场序下获取的补偿图像块是帧图像还是场图像，若为帧图像，则补偿效果检测为帧，若为场图像，则补偿效果检测为场。
于本发明的一实施例中，在所述场序的形式为顶场、底场、顶场、底场...时，若补偿效果检测为帧且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为帧，则场序检测失败；在所述场序的形式为顶场、底场、顶场、底场...时，若补偿效果检测为场且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测也为场，则场序检测失败；在所述场序的形式为顶场、底场、顶场、底场...时，补偿效果检测为帧，且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为场，则场序为顶场优先；在所述场序的形式为顶场、底场、顶场、底场...时，补偿效果检测为场，且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为帧，则场序为底场优先。
于本发明的一实施例中，如果场序检测失败，在N+1时，重新进行场序检测，当前帧直接输出硬件解交织的结果。
于本发明的一实施例中，若连续N帧或N帧以上所述视频系列中均检测到所述运动字幕区域，根据所述位移矢量MV和所述场序从相邻帧图像块的场和当前帧图像块的场中获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块的场的对应区域形成补偿图像块具体包括：所述场序的形式为顶场、底场、顶场、底场...或者为底场、顶场、底场、顶场…；在每一种形式的场序下，将当前帧分为第一帧和第二帧：若当前帧的场序为底场优先，则所述第一帧的顶场采用根据位移矢量MV从上一帧的顶场以及当前帧的顶场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块，所述第一帧的底场采用当前帧的底场；所述第二帧的顶场采用当前帧的顶场，所述第二帧的底场采用根据位移矢量MV从当前帧的底场和下一帧的底场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块；若当前帧的场序为顶场优先，则所述第一帧的底场采用根据位移矢量MV从上一帧的底场以及当前帧的底场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块，所述第一帧的顶场采用当前帧的顶场；所述第二帧的底场采用当前帧的底场，所述第二帧的顶场采用根据位移矢量MV从当前帧的顶场和下一帧的顶场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块。
于本发明的一实施例中，检测当前帧场序下获取的补偿图像块是帧图像还是场图像，并输出包含是帧图像的所述补偿图像块的运动字幕区域；若当前帧场序下获取的补偿图像块均是场图像，则所述最终输出图像为所述硬件处理图像。
于本发明的一实施例中，所述预设逻辑关系为：若所述软件处理步骤中检测视频系列中当前帧字幕区域的图像块是场图像时：若所述补偿图像块是帧图像，则无论所述硬件处理步骤检测视频系列是帧图像还是场图像，所述最终输出图像为将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像；若所述补偿图像块是场图像，则所述最终输出图像为所述硬件处理图像；若所述软件处理步骤中检测视频系列中当前帧字幕区域的图像块是帧图像时：若所述硬件处理步骤检测视频系列是场图像，则所述最终输出图像为将所述硬件处理图像的对应运动字幕区域替换为所述软件处理步骤中检测的运动字幕区域的图像；若所述硬件处理步骤检测视频系列是帧图像，则所述最终输出图像为为所述硬件处理图像。
本发明的实施例还提供一种运动字幕解交织系统，所述运动字幕解交织系统包括：硬件处理模块，通过视频处理芯片读取视频码流的帧标识和场标识检测视频系列是帧图像还是场图像，并在所述视频系列为场图像时对所述场图像进行解交织处理，输出硬件处理图像；在所述视频系列为帧图像时直接输出所述帧图像；软件处理模块，包括：运动字幕区域处理子模块：用于检测视频系列中当前帧运动字幕区域图像块是帧图像还是场图像，并在当前帧的图像块为场图像时，进行运动估计并根据运动估计结果和检测的场序，从相邻帧的场和当前帧的场获取对应匹配的图像块补偿到当前帧的场图像块，输出软件处理的运动字幕区域；图像输出处理子模块：用于根据预设逻辑关系确定最终输出图像为所述硬件处理图像还是将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像。
于本发明的一实施例中，所述运动字幕区域处理子模块包括：运动字幕区域检测单元，用于检测视频系列中的运动字幕区域；帧场图像检测单元，用于在连续N帧所述视频系列中均检测到所述运动字幕区域时，检测当前帧中所述运动字幕区域的图像块是帧图像还是场图像；运动估计单元，用于在所述帧场图像检测单元检测当前帧中所述运动字幕区域的图像块是场图像时，进行运动估计获取当前帧相对上一帧的位移矢量MV_F，并根据所述位移矢量MV_F获得当前帧两场之间的位移矢量MV；场序检测单元，用于检测视频系列的场序；运动补偿单元，用于在连续检测所述视频系列中的所述运动字幕区域的帧数大于等于N时，根据所述位移矢量MV和所述场序从相邻帧图像块的场和当前帧图像块的场中获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块的场的对应区域形成补偿图像块；补偿检测单元，用于检测所述补偿图像块是帧图像还是场图像；运动字幕区域输出单元，用于在所述补偿图像块为帧图像时，输出包含所述补偿图像块的运动字幕区域；在所述帧场图像检测单元检测当前帧中所述运动字幕区域的图像块是帧图像时，输出所述帧场图像检测单元检测的运动字幕区域。
于本发明的一实施例中，在运动字幕区域边界由于运动字幕的运动，当前帧图像块的场的顶场或底场不包含所述运动字幕，若所述场序为顶场优先，且当前帧图像块待恢复的场为顶场，则运动字幕边界区域采用上一帧图像块的底场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；若所述场序为顶场优先，且当前帧图像块待恢复的场为底场，则运动字幕边界区域采用下一帧图像块的顶场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；若所述场序为底场优先，且当前帧图像块待恢复的场为顶场，则运动字幕边界区域采用下一帧图像块的底场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；若所述场序为底场优先，且当前帧图像块待恢复的场为底场，则运动字幕边界区域采用上一帧图像块的顶场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块。
于本发明的一实施例中，所述运动字幕区域检测单元包括：差值获取单元，用于获取当前帧图像的像素与前一帧图像的各个位置像素值差值的绝对值；第一判断标记单元，用于判断各所述差值的绝对值是否大于预设的第一阈值，若是，则将当前帧图像的像素对应标记为第一数值，若否，则将当前帧图像的像素对应标记为第二数值；像素数量获取单元，用于获取当前帧图像中每行中像素标记为第一数值的像素数量；第二判断标记单元，用于判断所述像素数量是否大于预设的第二阈值，若是，则将该行标记为第三数值，若否，则将该行标记为第四数值；行检测单元，用于检测连续多帧是否有标记为第三数值的连续多行；运动字幕区域确定单元，用于在检测有标记为第三数值的连续多行时，判断所述连续多行的总高度是否达到预设高度，若是，则从当前帧图像的左右两个侧边逐渐向中间区域进行像素扫描，当连续多帧左边出现有多行的列像素由第二数值向第一数值跳变时，确定跳变的列像素为左边界，当连续多帧右边出现有多行的列像素由第二数值向第一数值跳变时，确定跳变的列像素为右边界，由所述多行、所述左边界和所述右边界组成的矩形区域即为运动字幕区域。
于本发明的一实施例中，所述帧场图像检测单元检测图像块中连续多行像素中列像素的数值是否符合场特征，若是，则判断所述图像块为场图像，若否，则判断所述图像块为帧图像。
于本发明的一实施例中，所述运动估计单元包括：位移矢量获取单元，用于将当前所述图像块分为当前左图像块、当前右图像块和当前中间图像块并获取所述当前左图像块中任一图像子块相对上一帧图像块的位移矢量MV1、所述当前右图像块中任一图像子块相对上一帧图像块的位移矢量MV2以及所述当前中间图像块中任一图像子块相对上一帧图像块的位移矢量MV3；位移矢量确定单元，若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值均不相同，则所述图像输出处理子模块输出硬件处理图像；若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值中至少有两个相同的，则取数值相同且不为0的为位移矢量MV_F，所述位移矢量MV_F的一半为位移矢量MV。
于本发明的一实施例中，所述位移矢量获取单元包括：搜索子单元，用于搜索上一帧图像块的左图像块中对应图像子块及其相邻图像子块中像素值与当前左图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配左图像子块、搜索上一帧图像块的右图像块中对应图像子块及其相邻图像子块中像素值与当前右图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配右图像子块、以及搜索上一帧图像块的中间图像块中对应图像子块及其相邻图像子块中像素值与当前中间图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配中间图像子块；位移矢量获取子单元，用于获取所述最匹配左图像子块与当前左图像块中图像子块的位置差，并将该位置差作为位移矢量MV1、获取所述最匹配右图像子块与当前右图像块中图像子块的位置差，并将该位置差作为位移矢量MV2、以及获取所述最匹配中间图像子块与当前中间图像块中图像子块的位置差，并将该位置差作为位移矢量MV3。
于本发明的一实施例中，若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值均不相同时，运动估计失败，在N+1时，重新进行运动估计获取位移矢量MV，当前帧直接输出硬件解交织的结果。
于本发明的一实施例中，若连续N帧所述视频系列中均检测到所述运动字幕区域所述场序检测单元根据所述位移矢量MV进行场序检测，具体根据补偿效果检测对所述场序进行检测，所述补偿效果检测包括：所述场序的形式为顶场、底场、顶场、底场...或者为底场、顶场、底场、顶场…；在每一种形式的场序下，将当前帧分为第一帧和第二帧：若当前帧的场序为底场优先，则所述第一帧的顶场采用根据位移矢量MV从上一帧的顶场以及当前帧的顶场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块，所述第一帧的底场采用当前帧的底场；所述第二帧的顶场采用当前帧的顶场，所述第二帧的底场采用根据位移矢量MV从当前帧的底场和下一帧的底场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块；若当前帧的场序为顶场优先，则所述第一帧的底场采用根据位移矢量MV从上一帧的底场以及当前帧的底场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块，所述第一帧的顶场采用当前帧的顶场；所述第二帧的底场采用当前帧的底场，所述第二帧的顶场采用根据位移矢量MV从当前帧的顶场和下一帧的顶场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块；检测当前帧场序下获取的补偿图像块是帧图像还是场图像，若为帧图像，则补偿效果检测为帧，若为场图像，则补偿效果检测为场。
于本发明的一实施例中，在所述场序的形式为顶场、底场、顶场、底场...时，若补偿效果检测为帧且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为帧，则场序检测失败；在所述场序的形式为顶场、底场、顶场、底场...时，若补偿效果检测为场且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测也为场，则场序检测失败；在所述场序的形式为顶场、底场、顶场、底场...时，补偿效果检测为帧，且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为场，则场序为顶场优先；在所述场序的形式为顶场、底场、顶场、底场...时，补偿效果检测为场，且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为帧，则场序为底场优先。
于本发明的一实施例中，如果场序检测失败，在N+1时，重新进行场序检测，当前帧直接输出硬件解交织的结果。
于本发明的一实施例中，若连续N帧或N帧以上所述视频系列中均检测到所述运动字幕区域，根据所述位移矢量MV和所述场序从相邻帧图像块的场和当前帧图像块的场中获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块的场的对应区域形成补偿图像块具体包括：所述场序的形式为顶场、底场、顶场、底场...或者为底场、顶场、底场、顶场…；在每一种形式的场序下，将当前帧分为第一帧和第二帧：若当前帧的场序为底场优先，则所述第一帧的顶场采用根据位移矢量MV从上一帧的顶场以及当前帧的顶场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块，所述第一帧的底场采用当前帧的底场；所述第二帧的顶场采用当前帧的顶场，所述第二帧的底场采用根据位移矢量MV从当前帧的底场和下一帧的底场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块；若当前帧的场序为顶场优先，则所述第一帧的底场采用根据位移矢量MV从上一帧的底场以及当前帧的底场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块，所述第一帧的顶场采用当前帧的顶场；所述第二帧的底场采用当前帧的底场，所述第二帧的顶场采用根据位移矢量MV从当前帧的顶场和下一帧的顶场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块。
于本发明的一实施例中，检测当前帧场序下获取的补偿图像块是帧图像还是场图像，并输出包含是帧图像的所述补偿图像块的运动字幕区域；若当前帧场序下获取的补偿图像块均是场图像，则所述最终输出图像为所述硬件处理图像。
于本发明的一实施例中，所述图像输出处理子模块中的所述预设逻辑关系为：若所述软件处理模块中检测视频系列中当前帧字幕区域的图像块是场图像时：若所述补偿图像块是帧图像，则无论所述硬件处理模块检测视频系列是帧图像还是场图像，所述最终输出图像为将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像；若所述补偿图像块是场图像，则所述最终输出图像为所述硬件处理图像；若所述软件处理模块中检测视频系列中当前帧字幕区域的图像块是帧图像时：若所述硬件处理模块检测视频系列是场图像，则所述最终输出图像为将所述硬件处理图像的对应运动字幕区域替换为所述软件处理模块中检测的运动字幕区域的图像；若所述硬件处理模块检测视频系列是帧图像，则所述最终输出图像为为所述硬件处理图像。
本发明的实施例还提供一种移动终端，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如上所述的方法中的步骤。
本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的方法中的步骤。
如上所述，本发明的运动字幕解交织方法、系统、移动终端及可读存储介质具有以下有益效果：
1、本发明实施例通过简单的软件处理结合硬件对整幅图像进行解交织的操作，通过软硬件的结合高效的解决运动字幕出现的“锯齿”和“闪烁”等现象。
2、本发明的软件处理过程根据运动字幕区域的特性，可以准确标定出运动字幕区域，并对运动字幕区域进行帧场检测，对检测出来的场模式运动字幕区域进行运动估计，运动估计做了简化但估计结果仍然准确，并根据运动估计结果进行场序检测和运动补偿，完成运动估计后只用原来的估计结果进行补偿，并对补偿后的结果再进行帧场检测，用于快速判断出字幕消失、字幕运动速度变化、运动估计结果不正确等情况。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明的运动字幕解交织方法的流程简易图。
图2显示为本发明的运动字幕解交织方法的具体流程示意图。
图3显示为本发明的运动字幕解交织方法中运动字幕区域处理步骤的简易流程图。
图4显示为本发明的运动字幕解交织方法中运动字幕区域处理步骤的具体流程示意图。
图5显示为本发明的运动字幕解交织方法中检测图像中的运动字幕区域的流程示意图。
图6显示为本发明的运动字幕解交织系统的原理框图。
图7显示为本发明的运动字幕解交织系统中运动字幕区域处理子模块的原理框图。
图8显示为本发明的运动字幕解交织系统中运动字幕区域检测单元的原理框图。
图9显示为本发明的运动字幕解交织系统中运动估计单元的原理框图。
元件标号说明
1 运动字幕解交织系统
10 软件处理模块
100 运动字幕区域处理子模块
110 运动字幕区域检测单元
111 差值获取单元
112 第一判断标记单元
113 像素数量获取单元
114 第二判断标记单元
115 行检测单元
116 运动字幕区域确定单元
120 帧场图像检测单元
130 运动估计单元
131 位移矢量获取单元
1311 搜索子单元
1312 位移矢量获取子单元
132 位移矢量确定单元
140 场序检测单元
150 运动补偿单元
160 补偿检测单元
170 运动字幕区域输出单元
101 图像输出处理子模块
20 硬件处理模块
S10～S20 步骤
S100～S101 步骤
S110～S190 步骤
S111～S1122 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1至图9。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
本实施例的目的在于提供一种运动字幕解交织方法、系统、移动终端及可读存储介质，用于解决现有技术中在运动字幕区域容易出现“锯齿”和“闪烁”的问题。以下将详细阐述本发明的运动字幕解交织方法、系统、移动终端及可读存储介质的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的运动字幕解交织方法、系统、移动终端及可读存储介质。
带运动字幕区域视频的运动字幕区域往往都能保持很长时间不变，同时运动字幕一般是水平匀速运动的。所以可以针对运动字幕的这些特点，如图1所示，通过简单的软件处理结合硬件对整幅图像进行解交织的操作，通过软硬件的结合高效的解决运动字幕出现的“锯齿”和“闪烁”等现象。
实施例1
具体地，如图2所示，本实施例提供了一种运动字幕解交织方法，所述运动字幕解交织方法包括以下步骤：
S10，软件处理步骤，包括：
S100，运动字幕区域处理步骤：检测视频系列中当前帧运动字幕区域图像块是帧图像还是场图像，并在当前帧的图像块为场图像时，进行运动估计获取当前帧相对上一帧的位移矢量MV_F，并根据所述位移矢量MV_F获得当前帧两场之间的位移矢量MV，从相邻帧的场和当前帧的场获取对应匹配的图像块补偿到当前帧的场图像块，输出软件处理的运动字幕区域。
S101，图像输出处理步骤：根据预设逻辑关系确定最终输出图像为所述硬件处理图像还是将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像。
S20，硬件处理步骤，通过视频处理芯片读取视频码流的帧标识和场标识检测视频系列是帧图像还是场图像，并在所述视频系列为场图像时对所述场图像进行解交织处理，输出硬件处理图像；在所述视频系列为帧图像时直接输出所述帧图像。
以下对本实施例中的所述运动字幕解交织方法中的软件处理步骤S10和硬件处理步骤S20进行详细说明。
S100，运动字幕区域处理步骤：检测视频系列中当前帧运动字幕区域图像块是帧图像还是场图像，并在当前帧的图像块为场图像时，进行运动估计并根据运动估计结果和检测的场序，从相邻帧的场和当前帧的场获取对应匹配的图像块补偿到当前帧的场图像块，输出软件处理的运动字幕区域。
于本实施例中，如图3所示，所述运动字幕区域处理步骤S100包括：运动字幕处理开始，检测视频系列中连续的n帧是否大于预设的连续帧数N，若小于，则确定没有字幕区域，若等于，则确定首次出现运动字幕区域，若大于，则确定再次出现运动字幕区域，运动估计采用首次出现运动字幕区域时获取的运动估计。在确定首次出现运动字幕区域后，进行运动字幕区域检测，运动估计，场序检测和运动补偿，最后根据运动补偿的效果是不是很好，确定是否进行运动字幕区域的输出。
具体地，于本实施例中，如图4所示，所述运动字幕区域处理步骤S100具体包括以下步骤：
S110，检测视频系列中的运动字幕区域。
具体地，于本实施例中，如图5所示，所述检测视频系列中的运动字幕区域具体包括以下步骤：
S111，获取当前帧图像的像素与前一帧图像的各个位置像素值差值的绝对值。
S112，判断各所述差值的绝对值是否大于预设的第一阈值，若是，则执行步骤S113，将当前帧图像的像素对应标记为第一数值，若否，则执行步骤S114，将当前帧图像的像素对应标记为第二数值。
S115，获取当前帧图像中每行中像素标记为第一数值的像素数量。
S116，判断所述像素数量是否大于预设的第二阈值，若是，则执行步骤S117，将该行标记为第三数值，若否，则执行步骤S118，将该行标记为第四数值。
S119，检测连续多帧是否有标记为第三数值的连续多行，若有，则执行步骤S1120，继续判断所述连续多行的总高度是否达到预设高度，若没有，则结束处理。若连续多行的总高度达到预设高度，则执行步骤S1121，从当前帧图像的左右两个侧边逐渐向中间区域进行像素扫描，当连续多帧左边出现有多行的列像素由第二数值向第一数值跳变时，确定跳变的列像素为左边界，当连续多帧右边出现有多行的列像素由第二数值向第一数值跳变时，确定跳变的列像素为右边界。
S1122由所述多行、所述左边界和所述右边界组成的矩形区域即为运动字幕区域。
在检测到运动字幕区域后，继续执行步骤S120。
S120，是否连续N帧所述视频系列中均检测到所述运动字幕区域，若否，则确定为步骤S130，没有运动字幕区域，否则，继续执行步骤S140。
S140，若连续N帧所述视频系列中均检测到所述运动字幕区域，则检测当前帧中所述运动字幕区域的图像块是帧图像还是场图像，若为场图像，则继续执行步骤S150，进行运动估计获取当前帧所述图像块的场相对上一帧图像块的场的位移矢量MV，若为帧图像，则直接执行步骤S190，输出包含所述补偿图像块的字幕区域图像。
于本实施例中，所述检测当前帧中所述运动字幕区域的图像块是帧图像还是场图像具体包括：检测图像块中连续多行像素中沿任一方向的列像素的数值是否符合场特征，若是，则所述图像块为场图像，若否，则所述图像块为帧图像。
例如，垂直或斜向的列像素出现0101…或1010…等这样的的数值特征时符合场特征。
于本实施例中，所述获取当前帧所述图像块的场相对上一帧图像块的场的位移矢量MV具体包括：将当前所述图像块分为当前左图像块、当前右图像块和当前中间图像块并获取所述当前左图像块中任一图像子块相对上一帧图像块的位移矢量MV1、所述当前右图像块中任一图像子块相对上一帧图像块的位移矢量MV2以及所述当前中间图像块中任一图像子块相对上一帧图像块的位移矢量MV3；若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值均不相同，则输出硬件处理图像；若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值中至少有两个相同的，则取数值相同且不为0的为位移矢量MV_F，如果位移矢量MV_F为偶数，则MV_F直接除以2得到MV(即所述位移矢量MV_F的一半为位移矢量MV)，如果MV_F为奇数，则分别尝试(MV_F+1)/2和(MV_F-1)/2两个位移矢量，比较这两者中效果较好的赋值给位移矢量MV。
其中，所述获取所述当前左图像块中任一图像子块相对上一帧图像块的位移矢量MV1具体包括：搜索上一帧图像块的左图像块中对应图像子块及其相邻图像子块中像素值与当前左图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配左图像子块；获取所述最匹配左图像子块与当前左图像块中图像子块的位置差，并将该位置差作为位移矢量MV1；获取所述当前右图像块中任一图像子块相对上一帧图像块的位移矢量MV2具体包括：搜索上一帧图像块的右图像块中对应图像子块及其相邻图像子块中像素值与当前右图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配右图像子块；获取所述最匹配右图像子块与当前右图像块中图像子块的位置差，并将该位置差作为位移矢量MV2；获取所述当前中间图像块中任一图像子块相对上一帧图像块的位移矢量MV3具体包括：搜索上一帧图像块的中间图像块中对应图像子块及其相邻图像子块中像素值与当前中间图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配中间图像子块；获取所述最匹配中间图像子块与当前中间图像块中图像子块的位置差，并将该位置差作为位移矢量MV3。
S160，在连续检测所述视频系列中的所述运动字幕区域的帧数大于等于N时，根据所述位移矢量MV和所述场序从相邻帧图像块的场和当前帧图像块的场中获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块的场的对应区域形成补偿图像块。
于本实施例中，在运动字幕区域边界由于运动字幕的运动，当前帧图像块的场的顶场或底场不包含所述运动字幕，若所述场序为顶场优先，且当前帧图像块待恢复的场为顶场，则运动字幕边界区域采用上一帧图像块的底场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；若所述场序为顶场优先，且当前帧图像块待恢复的场为底场，则运动字幕边界区域采用下一帧图像块的顶场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；若所述场序为底场优先，且当前帧图像块待恢复的场为顶场，则运动字幕边界区域采用下一帧图像块的底场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；若所述场序为底场优先，且当前帧图像块待恢复的场为底场，则运动字幕边界区域采用上一帧图像块的顶场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块。
于本实施例中，若连续N帧所述视频系列中均检测到所述运动字幕区域，还包括根据所述位移矢量MV进行场序检测，具体根据补偿效果检测对所述场序进行检测，所述补偿效果检测包括：所述场序的形式为顶场、底场、顶场、底场...或者为底场、顶场、底场、顶场…；在每一种形式的场序下，将当前帧分为第一帧和第二帧：若当前帧的场序为底场优先，则所述第一帧的顶场采用根据位移矢量MV从上一帧的顶场以及当前帧的顶场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块，所述第一帧的底场采用当前帧的底场；所述第二帧的顶场采用当前帧的顶场，所述第二帧的底场采用根据位移矢量MV从当前帧的底场和下一帧的底场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块；若当前帧的场序为顶场优先，则所述第一帧的底场采用根据位移矢量MV从上一帧的底场以及当前帧的底场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块，所述第一帧的顶场采用当前帧的顶场；所述第二帧的底场采用当前帧的底场，所述第二帧的顶场采用根据位移矢量MV从当前帧的顶场和下一帧的顶场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块；检测当前帧场序下获取的补偿图像块是帧图像还是场图像，若为帧图像，则补偿效果检测为帧，若为场图像，则补偿效果检测为场。
于本实施例中，在所述场序的形式为顶场、底场、顶场、底场...时，若补偿效果检测为帧且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为帧，则场序检测失败；在所述场序的形式为顶场、底场、顶场、底场...时，若补偿效果检测为场且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测也为场，则场序检测失败；在所述场序的形式为顶场、底场、顶场、底场...时，补偿效果检测为帧，且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为场，则场序为顶场优先；在所述场序的形式为顶场、底场、顶场、底场...时，补偿效果检测为场，且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为帧，则场序为底场优先。
于本实施例中，如果场序检测失败，在N+1时，重新进行场序检测，当前帧直接输出硬件解交织的结果。
于本实施例中，若连续N帧或N帧以上所述视频系列中均检测到所述运动字幕区域，根据所述位移矢量MV和所述场序从相邻帧图像块的场和当前帧图像块的场中获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块的场的对应区域形成补偿图像块具体包括：
所述场序的形式为顶场、底场、顶场、底场...或者为底场、顶场、底场、顶场…；在每一种形式的场序下，将当前帧分为第一帧和第二帧：若当前帧的场序为底场优先，则所述第一帧的顶场采用根据位移矢量MV从上一帧的顶场以及当前帧的顶场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块，所述第一帧的底场采用当前帧的底场；所述第二帧的顶场采用当前帧的顶场，所述第二帧的底场采用根据位移矢量MV从当前帧的底场和下一帧的底场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块；若当前帧的场序为顶场优先，则所述第一帧的底场采用根据位移矢量MV从上一帧的底场以及当前帧的底场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块，所述第一帧的顶场采用当前帧的顶场；所述第二帧的底场采用当前帧的底场，所述第二帧的顶场采用根据位移矢量MV从当前帧的顶场和下一帧的顶场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块。
然后，检测当前帧场序下获取的补偿图像块是帧图像还是场图像，并输出包含是帧图像的所述补偿图像块的运动字幕区域；若当前帧场序下获取的补偿图像块均是场图像，则所述最终输出图像为所述硬件处理图像。
S170，检测所述补偿图像块是帧图像还是场图像，并在所述补偿图像块为帧图像时，执行步骤S190，输出包含所述补偿图像块的运动字幕区域，在所述补偿图像块为场图像时，执行步骤S180，所述最终输出图像为所述硬件处理图像。
在执行完S100，运动字幕区域处理步骤之后，接着执行S101，图像输出处理步骤。
S101，图像输出处理步骤：根据预设逻辑关系确定最终输出图像为所述硬件处理图像还是将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像。
于本实施例中，所述预设逻辑关系为：若所述软件处理步骤中检测视频系列中当前帧字幕区域的图像块是场图像时：若所述补偿图像块是帧图像，则无论所述硬件处理步骤检测视频系列是帧图像还是场图像，所述最终输出图像为将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像；若所述补偿图像块是场图像，则所述最终输出图像为所述硬件处理图像；若所述软件处理步骤中检测视频系列中当前帧字幕区域的图像块是帧图像时：若所述硬件处理步骤检测视频系列是场图像，则所述最终输出图像为将所述硬件处理图像的对应运动字幕区域替换为所述软件处理步骤中检测的运动字幕区域的图像；若所述硬件处理步骤检测视频系列是帧图像，则所述最终输出图像为为所述硬件处理图像。
实施例2
如图6所示，本实施例提供一种运动字幕解交织系统1，所述运动字幕解交织系统1包括：硬件处理模块20和软件处理模块10，其中，所述软件处理模块10包括运动字幕区域处理子模块100和图像输出处理子模块101。
于本实施例中，所述硬件处理模块20通过视频处理芯片读取视频码流的帧标识和场标识检测视频系列是帧图像还是场图像，并在所述视频系列为场图像时对所述场图像进行解交织处理，输出硬件处理图像；在所述视频系列为帧图像时直接输出所述帧图像。
所述软件处理模块10的运动字幕区域处理子模块100用于检测视频系列中当前帧运动字幕区域图像块是帧图像还是场图像，并在当前帧的图像块为场图像时，进行运动估计并根据运动估计结果和检测的场序，从相邻帧的场和当前帧的场获取对应匹配的图像块补偿到当前帧的场图像块，输出软件处理的运动字幕区域。
所述软件处理模块10的图像输出处理子模块101用于根据预设逻辑关系确定最终输出图像为所述硬件处理图像还是将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像。
于本实施例中，如图7所示，所述运动字幕区域处理子模块100包括：运动字幕区域检测单元110，帧场图像检测单元120，运动估计单元130，所述场序检测单元140，运动补偿单元150，补偿检测单元160以及运动字幕区域输出单元170。
于本实施例中，所述运动字幕区域检测单元110用于检测视频系列中的运动字幕区域。
具体地，于本实施例中，如图8所示，所述运动字幕区域检测单元110包括：差值获取单元111，用于获取当前帧图像的像素与前一帧图像的各个位置像素值差值的绝对值；第一判断标记单元112，用于判断各所述差值的绝对值是否大于预设的第一阈值，若是，则将当前帧图像的像素对应标记为第一数值，若否，则将当前帧图像的像素对应标记为第二数值；像素数量获取单元113，用于获取当前帧图像中每行中像素标记为第一数值的像素数量；第二判断标记单元114，用于判断所述像素数量是否大于预设的第二阈值，若是，则将该行标记为第三数值，若否，则将该行标记为第四数值；行检测单元115，用于检测连续多帧是否有标记为第三数值的连续多行；运动字幕区域确定单元116，用于在检测有标记为第三数值的连续多行时，判断所述连续多行的总高度是否达到预设高度，若是，则从当前帧图像的左右两个侧边逐渐向中间区域进行像素扫描，当连续多帧左边出现有多行的列像素由第二数值向第一数值跳变时，确定跳变的列像素为左边界，当连续多帧右边出现有多行的列像素由第二数值向第一数值跳变时，确定跳变的列像素为右边界，由所述多行、所述左边界和所述右边界组成的矩形区域即为运动字幕区域。
于本实施例中，所述帧场图像检测单元120用于在连续N帧所述视频系列中均检测到所述运动字幕区域时，检测当前帧中所述运动字幕区域的图像块是帧图像还是场图像。
具体地，于本实施例中，所述帧场图像检测单元120检测图像块中连续多行像素中列像素的数值是否符合场特征，若是，则判断所述图像块为场图像，若否，则判断所述图像块为帧图像。
例如，垂直或斜向的列像素出现0101…或1010…等这样的的数值特征时符合场特征。
于本实施例中，所述运动估计单元130用于在所述帧场图像检测单元120检测当前帧中所述运动字幕区域的图像块是场图像时，进行运动估计获取当前帧相对上一帧的位移矢量MV_F，并根据所述位移矢量MV_F获得当前帧两场之间的位移矢量MV。
具体地，于本发实施例中，如图9所示，所述运动估计单元130包括：位移矢量获取单元131和位移矢量确定单元132。
于本实施例中，所述位移矢量获取单元131用于将当前所述图像块分为当前左图像块、当前右图像块和当前中间图像块并获取所述当前左图像块中任一图像子块相对上一帧图像块的位移矢量MV1、所述当前右图像块中任一图像子块相对上一帧图像块的位移矢量MV2以及所述当前中间图像块中任一图像子块相对上一帧图像块的位移矢量MV3。
于本实施例中，所述位移矢量确定单元132，若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值均不相同，则所述图像输出处理子模块101输出硬件处理图像；若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值中至少有两个相同的，则取数值相同且不为0的为位移矢量MV_F，如果位移矢量MV_F为偶数，则MV_F直接除以2得到MV(即所述位移矢量MV_F的一半为位移矢量MV)，如果MV_F为奇数，则分别尝试(MV_F+1)/2和(MV_F-1)/2两个位移矢量，比较这两者中效果较好的赋值给位移矢量MV。
其中，所述位移矢量获取单元131包括：搜索子单元1311，用于搜索上一帧图像块的左图像块中对应图像子块及其相邻图像子块中像素值与当前左图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配左图像子块、搜索上一帧图像块的右图像块中对应图像子块及其相邻图像子块中像素值与当前右图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配右图像子块、以及搜索上一帧图像块的中间图像块中对应图像子块及其相邻图像子块中像素值与当前中间图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配中间图像子块。位移矢量获取子单元1312，用于获取所述最匹配左图像子块与当前左图像块中图像子块的位置差，并将该位置差作为位移矢量MV1、获取所述最匹配右图像子块与当前右图像块中图像子块的位置差，并将该位置差作为位移矢量MV2、以及获取所述最匹配中间图像子块与当前中间图像块中图像子块的位置差，并将该位置差作为位移矢量MV3。
于本实施例中，所述场序检测单元140用于检测视频系列的场序。
于本实施例中，所述运动补偿单元150用于在连续检测所述视频系列中的所述运动字幕区域的帧数大于等于N时，根据所述位移矢量MV和所述场序从相邻帧图像块的场和当前帧图像块的场中获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块的场的对应区域形成补偿图像块。
于本实施例中，在运动字幕区域边界由于运动字幕的运动，当前帧图像块的场的顶场或底场不包含所述运动字幕，若所述场序为顶场优先，且当前帧图像块待恢复的场为顶场，则运动字幕边界区域采用上一帧图像块的底场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；若所述场序为顶场优先，且当前帧图像块待恢复的场为底场，则运动字幕边界区域采用下一帧图像块的顶场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；若所述场序为底场优先，且当前帧图像块待恢复的场为顶场，则运动字幕边界区域采用下一帧图像块的底场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；若所述场序为底场优先，且当前帧图像块待恢复的场为底场，则运动字幕边界区域采用上一帧图像块的顶场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块。
于本实施例中，若连续N帧所述视频系列中均检测到所述运动字幕区域，所述场序检测单元140根据所述位移矢量MV进行场序检测，具体根据补偿效果检测对所述场序进行检测，所述补偿效果检测包括：
所述场序的形式为顶场、底场、顶场、底场...或者为底场、顶场、底场、顶场…；在每一种形式的场序下，将当前帧分为第一帧和第二帧。
若当前帧的场序为底场优先，则所述第一帧的顶场采用根据位移矢量MV从上一帧的顶场以及当前帧的顶场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块，所述第一帧的底场采用当前帧的底场；所述第二帧的顶场采用当前帧的顶场，所述第二帧的底场采用根据位移矢量MV从当前帧的底场和下一帧的底场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块。
若当前帧的场序为顶场优先，则所述第一帧的底场采用根据位移矢量MV从上一帧的底场以及当前帧的底场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块，所述第一帧的顶场采用当前帧的顶场；所述第二帧的底场采用当前帧的底场，所述第二帧的顶场采用根据位移矢量MV从当前帧的顶场和下一帧的顶场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块。
检测当前帧场序下获取的补偿图像块是帧图像还是场图像，若为帧图像，则补偿效果检测为帧，若为场图像，则补偿效果检测为场。
于本实施例中，在所述场序的形式为顶场、底场、顶场、底场...时，若补偿效果检测为帧且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为帧，则场序检测失败。
在所述场序的形式为顶场、底场、顶场、底场...时，若补偿效果检测为场且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测也为场，则场序检测失败。
在所述场序的形式为顶场、底场、顶场、底场...时，补偿效果检测为帧，且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为场，则场序为顶场优先。
在所述场序的形式为顶场、底场、顶场、底场...时，补偿效果检测为场，且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为帧，则场序为底场优先。
于本实施例中，如果场序检测失败，在N+1时，重新进行场序检测，当前帧直接输出硬件解交织的结果。
于本实施例中，若连续N帧或N帧以上所述视频系列中均检测到所述运动字幕区域，所述运动补偿单元150根据所述位移矢量MV和所述场序从相邻帧图像块的场和当前帧图像块的场中获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块的场的对应区域形成补偿图像块具体包括：
所述场序的形式为顶场、底场、顶场、底场...或者为底场、顶场、底场、顶场…；在每一种形式的场序下，将当前帧分为第一帧和第二帧：若当前帧的场序为底场优先，则所述第一帧的顶场采用根据位移矢量MV从上一帧的顶场以及当前帧的顶场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块，所述第一帧的底场采用当前帧的底场；所述第二帧的顶场采用当前帧的顶场，所述第二帧的底场采用根据位移矢量MV从当前帧的底场和下一帧的底场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块；若当前帧的场序为顶场优先，则所述第一帧的底场采用根据位移矢量MV从上一帧的底场以及当前帧的底场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块，所述第一帧的顶场采用当前帧的顶场；所述第二帧的底场采用当前帧的底场，所述第二帧的顶场采用根据位移矢量MV从当前帧的顶场和下一帧的顶场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块。
然后，所述补偿检测单元160检测当前帧场序下获取的补偿图像块是帧图像还是场图像，并输出包含是帧图像的所述补偿图像块的运动字幕区域；若当前帧场序下获取的补偿图像块均是场图像，则所述最终输出图像为所述硬件处理图像。
于本实施例中，所述补偿检测单元160用于检测所述补偿图像块是帧图像还是场图像。
于本实施例中，所述运动字幕区域输出单元170用于在所述补偿图像块为帧图像时，输出包含所述补偿图像块的运动字幕区域；在所述帧场图像检测单元120检测当前帧中所述运动字幕区域的图像块是帧图像时，输出所述帧场图像检测单元120检测的运动字幕区域。
于本实施例中，所述图像输出处理子模块101中的所述预设逻辑关系为：若所述软件处理模块10中检测视频系列中当前帧字幕区域的图像块是场图像时：若所述补偿图像块是帧图像，则无论所述硬件处理模块20检测视频系列是帧图像还是场图像，所述最终输出图像为将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像；若所述补偿图像块是场图像，则所述最终输出图像为所述硬件处理图像；若所述软件处理模块10中检测视频系列中当前帧字幕区域的图像块是帧图像时：若所述硬件处理模块20检测视频系列是场图像，则所述最终输出图像为将所述硬件处理图像的对应运动字幕区域替换为所述软件处理模块10中检测的运动字幕区域的图像；若所述硬件处理模块20检测视频系列是帧图像，则所述最终输出图像为为所述硬件处理图像。
本发明的实施例还提供一种移动终端，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现如上所述的方法中的步骤。
本发明的实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的方法中的步骤。
综上所述，本发明实施例通过简单的软件处理结合硬件对整幅图像进行解交织的操作，通过软硬件的结合高效的解决运动字幕出现的“锯齿”和“闪烁”等现象；本发明的软件处理过程根据运动字幕区域的特性，可以准确标定出运动字幕区域，并对运动字幕区域进行帧场检测，对检测出来的场模式运动字幕区域进行运动估计，运动估计做了简化但估计结果仍然准确，并根据运动估计结果进行场序检测和运动补偿，完成运动估计后只用原来的估计结果进行补偿，并对补偿后的结果再进行帧场检测，用于快速判断出字幕消失、字幕运动速度变化、运动估计结果不正确等情况。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (26)

1.一种运动字幕解交织方法，其特征在于，所述运动字幕解交织方法包括：
硬件处理步骤，通过视频处理芯片读取视频码流的帧标识和场标识检测视频系列是帧图像还是场图像，并在所述视频系列为场图像时对所述场图像进行解交织处理，输出硬件处理图像；在所述视频系列为帧图像时直接输出所述帧图像；
软件处理步骤，包括：
运动字幕区域处理步骤：检测视频系列中当前帧运动字幕区域图像块是帧图像还是场图像，并在当前帧的图像块为场图像时，进行运动估计并根据运动估计结果和检测的场序，从相邻帧的场和当前帧的场获取对应匹配的图像块补偿到当前帧的场图像块，输出软件处理的运动字幕区域；
图像输出处理步骤：根据预设逻辑关系确定最终输出图像为所述硬件处理图像还是将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像；
所述运动字幕区域处理步骤具体包括：
检测视频系列中的运动字幕区域；
若连续N帧所述视频系列中均检测到所述运动字幕区域，则检测当前帧中所述运动字幕区域的图像块是帧图像还是场图像，若为场图像，则进行运动估计获取当前帧相对上一帧的位移矢量MV_F，并根据所述位移矢量MV_F获得当前帧两场之间的位移矢量MV，并在连续检测所述视频系列中的所述运动字幕区域的帧数大于等于N时，根据所述位移矢量MV和所述场序从相邻帧图像块的场和当前帧图像块的场中获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块的场的对应区域形成补偿图像块；
检测所述补偿图像块是帧图像还是场图像，并在所述补偿图像块为帧图像时，输出包含所述补偿图像块的运动字幕区域；
所述预设逻辑关系为：
若所述软件处理步骤中检测视频系列中当前帧字幕区域的图像块是场图像时：若所述补偿图像块是帧图像，则无论所述硬件处理步骤检测视频系列是帧图像还是场图像，所述最终输出图像为将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像；若所述补偿图像块是场图像，则所述最终输出图像为所述硬件处理图像；
若所述软件处理步骤中检测视频系列中当前帧字幕区域的图像块是帧图像时：若所述硬件处理步骤检测视频系列是场图像，则所述最终输出图像为将所述硬件处理图像的对应运动字幕区域替换为所述软件处理步骤中检测的运动字幕区域的图像；若所述硬件处理步骤检测视频系列是帧图像，则所述最终输出图像为为所述硬件处理图像。
2.根据权利要求1所述的运动字幕解交织方法，其特征在于，在运动字幕区域边界由于运动字幕的运动，当前帧图像块的场的顶场或底场不包含所述运动字幕，若所述场序为顶场优先，且当前帧图像块待恢复的场为顶场，则运动字幕边界区域采用上一帧图像块的底场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；
若所述场序为顶场优先，且当前帧图像块待恢复的场为底场，则运动字幕边界区域采用下一帧图像块的顶场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；
若所述场序为底场优先，且当前帧图像块待恢复的场为顶场，则运动字幕边界区域采用下一帧图像块的底场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；
若所述场序为底场优先，且当前帧图像块待恢复的场为底场，则运动字幕边界区域采用上一帧图像块的顶场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块。
3.根据权利要求1所述的运动字幕解交织方法，其特征在于，所述检测视频系列中的运动字幕区域具体包括：
获取当前帧图像的像素与前一帧图像的各个位置像素值差值的绝对值；
判断各所述差值的绝对值是否大于预设的第一阈值，若是，则将当前帧图像的像素对应标记为第一数值，若否，则将当前帧图像的像素对应标记为第二数值；
获取当前帧图像中每行中像素标记为第一数值的像素数量并判断所述像素数量是否大于预设的第二阈值，若是，则将当前帧图像中对应的行标记为第三数值，若否，则将当前帧图像中对应的行标记为第四数值；
检测连续多帧是否有标记为第三数值的连续多行，若有，则判断所述连续多行的总高度是否达到预设高度，若是，则从当前帧图像的左右两个侧边逐渐向中间区域进行像素扫描，当连续多帧左边出现有多行的列像素由第二数值向第一数值跳变时，确定跳变的列像素为左边界，当连续多帧右边出现有多行的列像素由第二数值向第一数值跳变时，确定跳变的列像素为右边界，由所述多行、所述左边界和所述右边界组成的矩形区域即为运动字幕区域。
4.根据权利要求1所述的运动字幕解交织方法，其特征在于，所述检测当前帧中所述运动字幕区域的图像块是帧图像还是场图像具体包括：
检测图像块中连续多行像素中沿任一方向的列像素的数值是否符合场特征，若是，则所述图像块为场图像，若否，则所述图像块为帧图像。
5.根据权利要求1或2所述的运动字幕解交织方法，其特征在于，所述进行运动估计获取当前帧相对上一帧的位移矢量MV_F，并根据所述位移矢量MV_F获得当前帧两场之间的位移矢量MV具体包括：
将当前所述图像块分为当前左图像块、当前右图像块和当前中间图像块并获取所述当前左图像块中任一图像子块相对上一帧图像块的位移矢量MV1、所述当前右图像块中任一图像子块相对上一帧图像块的位移矢量MV2以及所述当前中间图像块中任一图像子块相对上一帧图像块的位移矢量MV3；
若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值均不相同，则输出硬件处理图像；若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值中至少有两个相同的，则取数值相同且不为0的为位移矢量MV_F，所述位移矢量MV_F的一半为位移矢量MV。
6.根据权利要求5所述的运动字幕解交织方法，其特征在于，所述获取所述当前左图像块中任一图像子块相对上一帧图像块的位移矢量MV1具体包括：
搜索上一帧图像块的左图像块中对应图像子块及其相邻图像子块中像素值与当前左图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配左图像子块；
获取所述最匹配左图像子块与当前左图像块中图像子块的位置差，并将该位置差作为位移矢量MV1；
获取所述当前右图像块中任一图像子块相对上一帧图像块的位移矢量MV2具体包括：
搜索上一帧图像块的右图像块中对应图像子块及其相邻图像子块中像素值与当前右图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配右图像子块；
获取所述最匹配右图像子块与当前右图像块中图像子块的位置差，并将该位置差作为位移矢量MV2；
获取所述当前中间图像块中任一图像子块相对上一帧图像块的位移矢量MV3具体包括：
搜索上一帧图像块的中间图像块中对应图像子块及其相邻图像子块中像素值与当前中间图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配中间图像子块；
获取所述最匹配中间图像子块与当前中间图像块中图像子块的位置差，并将该位置差作为位移矢量MV3。
7.根据权利要求6所述的运动字幕解交织方法，其特征在于，若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值均不相同时，运动估计失败，在N+1时，重新进行运动估计获取位移矢量MV，当前帧直接输出硬件解交织的结果。
8.根据权利要求2所述的运动字幕解交织方法，其特征在于，若连续N帧所述视频系列中均检测到所述运动字幕区域，还包括根据所述位移矢量MV进行场序检测，具体根据补偿效果检测对所述场序进行检测，所述补偿效果检测包括：
所述场序的形式为顶场、底场、顶场、底场...或者为底场、顶场、底场、顶场…；
在每一种形式的场序下，将当前帧分为第一帧和第二帧：
若当前帧的场序为底场优先，则所述第一帧的顶场采用根据位移矢量MV从上一帧的顶场以及当前帧的顶场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块，所述第一帧的底场采用当前帧的底场；所述第二帧的顶场采用当前帧的顶场，所述第二帧的底场采用根据位移矢量MV从当前帧的底场和下一帧的底场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块；
若当前帧的场序为顶场优先，则所述第一帧的底场采用根据位移矢量MV从上一帧的底场以及当前帧的底场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块，所述第一帧的顶场采用当前帧的顶场；所述第二帧的底场采用当前帧的底场，所述第二帧的顶场采用根据位移矢量MV从当前帧的顶场和下一帧的顶场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块；
检测当前帧场序下获取的补偿图像块是帧图像还是场图像，若为帧图像，则补偿效果检测为帧，若为场图像，则补偿效果检测为场。
9.根据权利要求8所述的运动字幕解交织方法，其特征在于，在所述场序的形式为顶场、底场、顶场、底场...时，若补偿效果检测为帧且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为帧，则场序检测失败；
在所述场序的形式为顶场、底场、顶场、底场...时，若补偿效果检测为场且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测也为场，则场序检测失败；
在所述场序的形式为顶场、底场、顶场、底场...时，补偿效果检测为帧，且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为场，则场序为顶场优先；
在所述场序的形式为顶场、底场、顶场、底场...时，补偿效果检测为场，且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为帧，则场序为底场优先。
10.根据权利要求9所述的运动字幕解交织方法，其特征在于，如果场序检测失败，在N+1时，重新进行场序检测，当前帧直接输出硬件解交织的结果。
11.根据权利要求8～10任一权利要求所述的运动字幕解交织方法，其特征在于，若连续N帧或N帧以上所述视频系列中均检测到所述运动字幕区域，根据所述位移矢量MV和所述场序从相邻帧图像块的场和当前帧图像块的场中获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块的场的对应区域形成补偿图像块具体包括：
所述场序的形式为顶场、底场、顶场、底场...或者为底场、顶场、底场、顶场…；
在每一种形式的场序下，将当前帧分为第一帧和第二帧：
若当前帧的场序为底场优先，则所述第一帧的顶场采用根据位移矢量MV从上一帧的顶场以及当前帧的顶场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块，所述第一帧的底场采用当前帧的底场；所述第二帧的顶场采用当前帧的顶场，所述第二帧的底场采用根据位移矢量MV从当前帧的底场和下一帧的底场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块；
若当前帧的场序为顶场优先，则所述第一帧的底场采用根据位移矢量MV从上一帧的底场以及当前帧的底场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块，所述第一帧的顶场采用当前帧的顶场；所述第二帧的底场采用当前帧的底场，所述第二帧的顶场采用根据位移矢量MV从当前帧的顶场和下一帧的顶场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块。
12.根据权利要求11所述的运动字幕解交织方法，其特征在于，检测当前帧场序下获取的补偿图像块是帧图像还是场图像，并输出包含是帧图像的所述补偿图像块的运动字幕区域；若当前帧场序下获取的补偿图像块均是场图像，则所述最终输出图像为所述硬件处理图像。
13.一种运动字幕解交织系统，其特征在于，所述运动字幕解交织系统包括：
硬件处理模块，通过视频处理芯片读取视频码流的帧标识和场标识检测视频系列是帧图像还是场图像，并在所述视频系列为场图像时对所述场图像进行解交织处理，输出硬件处理图像；在所述视频系列为帧图像时直接输出所述帧图像；
软件处理模块，包括：
运动字幕区域处理子模块：用于检测视频系列中当前帧运动字幕区域图像块是帧图像还是场图像，并在当前帧的图像块为场图像时，进行运动估计并根据运动估计结果和检测的场序，从相邻帧的场和当前帧的场获取对应匹配的图像块补偿到当前帧的场图像块，输出软件处理的运动字幕区域；
图像输出处理子模块：用于根据预设逻辑关系确定最终输出图像为所述硬件处理图像还是将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像；所述运动字幕区域处理子模块包括：
运动字幕区域检测单元，用于检测视频系列中的运动字幕区域；
帧场图像检测单元，用于在连续N帧所述视频系列中均检测到所述运动字幕区域时，检测当前帧中所述运动字幕区域的图像块是帧图像还是场图像；
运动估计单元，用于在所述帧场图像检测单元检测当前帧中所述运动字幕区域的图像块是场图像时，进行运动估计获取当前帧相对上一帧的位移矢量MV_F，并根据所述位移矢量MV_F获得当前帧两场之间的位移矢量MV；
场序检测单元，用于检测视频系列的场序；
运动补偿单元，用于在连续检测所述视频系列中的所述运动字幕区域的帧数大于等于N时，根据所述位移矢量MV和所述场序从相邻帧图像块的场和当前帧图像块的场中获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块的场的对应区域形成补偿图像块；
补偿检测单元，用于检测所述补偿图像块是帧图像还是场图像；
运动字幕区域输出单元，用于在所述补偿图像块为帧图像时，输出包含所述补偿图像块的运动字幕区域；在所述帧场图像检测单元检测当前帧中所述运动字幕区域的图像块是帧图像时，输出所述帧场图像检测单元检测的运动字幕区域；
所述图像输出处理子模块中的所述预设逻辑关系为：
若所述软件处理模块中检测视频系列中当前帧字幕区域的图像块是场图像时：若所述补偿图像块是帧图像，则无论所述硬件处理模块检测视频系列是帧图像还是场图像，所述最终输出图像为将所述硬件处理图像的对应运动字幕区域替换为所述软件处理的运动字幕区域后的图像；若所述补偿图像块是场图像，则所述最终输出图像为所述硬件处理图像；
若所述软件处理模块中检测视频系列中当前帧字幕区域的图像块是帧图像时：若所述硬件处理模块检测视频系列是场图像，则所述最终输出图像为将所述硬件处理图像的对应运动字幕区域替换为所述软件处理模块中检测的运动字幕区域的图像；若所述硬件处理模块检测视频系列是帧图像，则所述最终输出图像为为所述硬件处理图像。
14.根据权利要求13所述的运动字幕解交织系统，其特征在于，在运动字幕区域边界由于运动字幕的运动，当前帧图像块的场的顶场或底场不包含所述运动字幕，若所述场序为顶场优先，且当前帧图像块待恢复的场为顶场，则运动字幕边界区域采用上一帧图像块的底场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；
若所述场序为顶场优先，且当前帧图像块待恢复的场为底场，则运动字幕边界区域采用下一帧图像块的顶场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；
若所述场序为底场优先，且当前帧图像块待恢复的场为顶场，则运动字幕边界区域采用下一帧图像块的底场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块；
若所述场序为底场优先，且当前帧图像块待恢复的场为底场，则运动字幕边界区域采用上一帧图像块的顶场根据位移矢量MV将该场中像素最匹配的图像块补偿到当前所述图像块的场的对应图像块形成的补偿图像块。
15.根据权利要求13所述的运动字幕解交织系统，其特征在于，所述运动字幕区域检测单元包括：
差值获取单元，用于获取当前帧图像的像素与前一帧图像的各个位置像素值差值的绝对值；
第一判断标记单元，用于判断各所述差值的绝对值是否大于预设的第一阈值，若是，则将当前帧图像的像素对应标记为第一数值，若否，则将当前帧图像的像素对应标记为第二数值；
像素数量获取单元，用于获取当前帧图像中每行中像素标记为第一数值的像素数量；
第二判断标记单元，用于判断所述像素数量是否大于预设的第二阈值，若是，则将当前帧图像中对应的行标记为第三数值，若否，则将当前帧图像中对应的行标记为第四数值；
行检测单元，用于检测连续多帧是否有标记为第三数值的连续多行；
运动字幕区域确定单元，用于在检测有标记为第三数值的连续多行时，判断所述连续多行的总高度是否达到预设高度，若是，则从当前帧图像的左右两个侧边逐渐向中间区域进行像素扫描，当连续多帧左边出现有多行的列像素由第二数值向第一数值跳变时，确定跳变的列像素为左边界，当连续多帧右边出现有多行的列像素由第二数值向第一数值跳变时，确定跳变的列像素为右边界，由所述多行、所述左边界和所述右边界组成的矩形区域即为运动字幕区域。
16.根据权利要求13所述的运动字幕解交织系统，其特征在于，所述帧场图像检测单元检测图像块中连续多行像素中列像素的数值是否符合场特征，若是，则判断所述图像块为场图像，若否，则判断所述图像块为帧图像。
17.根据权利要求13或14所述的运动字幕解交织系统，其特征在于，所述运动估计单元包括：
位移矢量获取单元，用于将当前所述图像块分为当前左图像块、当前右图像块和当前中间图像块并获取所述当前左图像块中任一图像子块相对上一帧图像块的位移矢量MV1、所述当前右图像块中任一图像子块相对上一帧图像块的位移矢量MV2以及所述当前中间图像块中任一图像子块相对上一帧图像块的位移矢量MV3；
位移矢量确定单元，若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值均不相同，则所述图像输出处理子模块输出硬件处理图像；若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值中至少有两个相同的，则取数值相同且不为0的为位移矢量MV_F，所述位移矢量MV_F的一半为位移矢量MV。
18.根据权利要求17所述的运动字幕解交织系统，其特征在于，所述位移矢量获取单元包括：
搜索子单元，用于搜索上一帧图像块的左图像块中对应图像子块及其相邻图像子块中像素值与当前左图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配左图像子块、搜索上一帧图像块的右图像块中对应图像子块及其相邻图像子块中像素值与当前右图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配右图像子块、以及搜索上一帧图像块的中间图像块中对应图像子块及其相邻图像子块中像素值与当前中间图像块中图像子块的像素值差值最小的图像子块，并将该图像子块作为最匹配中间图像子块；
位移矢量获取子单元，用于获取所述最匹配左图像子块与当前左图像块中图像子块的位置差，并将该位置差作为位移矢量MV1、获取所述最匹配右图像子块与当前右图像块中图像子块的位置差，并将该位置差作为位移矢量MV2、以及获取所述最匹配中间图像子块与当前中间图像块中图像子块的位置差，并将该位置差作为位移矢量MV3。
19.据权利要求17所述的运动字幕解交织系统，其特征在于，若位移矢量MV1、位移矢量MV2以及位移矢量MV3的数值均不相同时，运动估计失败，在N+1时，重新进行运动估计获取位移矢量MV，当前帧直接输出硬件解交织的结果。
20.根据权利要求14所述的运动字幕解交织系统，其特征在于，若连续N帧所述视频系列中均检测到所述运动字幕区域，所述场序检测单元根据所述位移矢量MV进行场序检测，具体根据补偿效果检测对所述场序进行检测，所述补偿效果检测包括：
所述场序的形式为顶场、底场、顶场、底场...或者为底场、顶场、底场、顶场…；
在每一种形式的场序下，将当前帧分为第一帧和第二帧：
若当前帧的场序为底场优先，则所述第一帧的顶场采用根据位移矢量MV从上一帧的顶场以及当前帧的顶场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块，所述第一帧的底场采用当前帧的底场；所述第二帧的顶场采用当前帧的顶场，所述第二帧的底场采用根据位移矢量MV从当前帧的底场和下一帧的底场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块；
若当前帧的场序为顶场优先，则所述第一帧的底场采用根据位移矢量MV从上一帧的底场以及当前帧的底场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块，所述第一帧的顶场采用当前帧的顶场；所述第二帧的底场采用当前帧的底场，所述第二帧的顶场采用根据位移矢量MV从当前帧的顶场和下一帧的顶场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块；
检测当前帧场序下获取的补偿图像块是帧图像还是场图像，若为帧图像，则补偿效果检测为帧，若为场图像，则补偿效果检测为场。
21.根据权利要求20所述的运动字幕解交织系统，其特征在于，在所述场序的形式为顶场、底场、顶场、底场...时，若补偿效果检测为帧且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为帧，则场序检测失败；
在所述场序的形式为顶场、底场、顶场、底场...时，若补偿效果检测为场且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测也为场，则场序检测失败；
在所述场序的形式为顶场、底场、顶场、底场...时，补偿效果检测为帧，且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为场，则场序为顶场优先；
在所述场序的形式为顶场、底场、顶场、底场...时，补偿效果检测为场，且在所述场序的形式为底场、顶场、底场、顶场…时，补偿效果检测为帧，则场序为底场优先。
22.根据权利要求21所述的运动字幕解交织系统，其特征在于，如果场序检测失败，在N+1时，重新进行场序检测，当前帧直接输出硬件解交织的结果。
23.根据权利要求20～22任一权利要求所述的运动字幕解交织系统，其特征在于，若连续N帧或N帧以上所述视频系列中均检测到所述运动字幕区域，根据所述位移矢量MV和所述场序从相邻帧图像块的场和当前帧图像块的场中获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块的场的对应区域形成补偿图像块具体包括：
所述场序的形式为顶场、底场、顶场、底场...或者为底场、顶场、底场、顶场…；
在每一种形式的场序下，将当前帧分为第一帧和第二帧：
若当前帧的场序为底场优先，则所述第一帧的顶场采用根据位移矢量MV从上一帧的顶场以及当前帧的顶场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块，所述第一帧的底场采用当前帧的底场；所述第二帧的顶场采用当前帧的顶场，所述第二帧的底场采用根据位移矢量MV从当前帧的底场和下一帧的底场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块；
若当前帧的场序为顶场优先，则所述第一帧的底场采用根据位移矢量MV从上一帧的底场以及当前帧的底场获取像素最匹配的图像块并将所述像素最匹配的图像块补偿到当前帧所述图像块底场的对应区域形成的补偿图像块，所述第一帧的顶场采用当前帧的顶场；所述第二帧的底场采用当前帧的底场，所述第二帧的顶场采用根据位移矢量MV从当前帧的顶场和下一帧的顶场获取像素最匹配的图像块，并将所述像素最匹配的图像块补偿到当前帧所述图像块顶场的对应区域形成的补偿图像块。
24.根据权利要求23所述的运动字幕解交织系统，其特征在于，检测当前帧场序下获取的补偿图像块是帧图像还是场图像，并输出包含是帧图像的所述补偿图像块的运动字幕区域；若当前帧场序下获取的补偿图像块均是场图像，则所述最终输出图像为所述硬件处理图像。
25.一种移动终端，包括处理器和存储器，所述存储器存储有程序指令，其特征在于，所述处理器运行程序指令实现如权利要求1至12任一权利要求所述的方法中的步骤。
26.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至12任一权利要求所述的方法中的步骤。
CN201710308005.4A 2017-05-04 2017-05-04 运动字幕解交织方法、系统、移动终端及可读存储介质 Active CN108810601B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710308005.4A CN108810601B (zh) 2017-05-04 2017-05-04 运动字幕解交织方法、系统、移动终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710308005.4A CN108810601B (zh) 2017-05-04 2017-05-04 运动字幕解交织方法、系统、移动终端及可读存储介质

Publications (2)

Publication Number Publication Date
CN108810601A CN108810601A (zh) 2018-11-13
CN108810601B true CN108810601B (zh) 2020-10-27

Family

ID=64054514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710308005.4A Active CN108810601B (zh) 2017-05-04 2017-05-04 运动字幕解交织方法、系统、移动终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN108810601B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112333401B (zh) * 2019-08-05 2022-11-01 瑞芯微电子股份有限公司 一种运动字幕区域检测方法、装置、系统、介质及设备
CN113645466B (zh) * 2021-06-29 2024-03-08 深圳市迪威码半导体有限公司 一种基于随机概率的图像去块算法
CN113920507B (zh) * 2021-12-13 2022-04-12 成都索贝数码科技股份有限公司 一种针对新闻场景的滚动字幕提取方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2296401A (en) * 1994-10-04 1996-06-26 Kenneth Stanley Jones Motion vector encoder using spatial majority filter
US5784115A (en) * 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
CN1447598A (zh) * 2003-01-24 2003-10-08 杭州国芯科技有限公司 采用误差修正运动补偿解交织的方法和设备
CN1520178A (zh) * 2002-11-22 2004-08-11 ���ǵ�����ʽ���� 能够输出两个连续的解交织的帧的解交织装置和方法
CN1742489A (zh) * 2003-03-03 2006-03-01 Lg电子株式会社 活动图像的编码方法
CN1878282A (zh) * 2006-07-12 2006-12-13 北京中星微电子有限公司 一种用于数字视频解交错及其场序列检测的方法和装置
CN101420615A (zh) * 2008-11-18 2009-04-29 华为技术有限公司 检测视频场序的方法和装置及视频处理系统
CN101534445A (zh) * 2009-04-15 2009-09-16 杭州华三通信技术有限公司 一种视频处理方法和系统以及解交织处理器
CN101588444B (zh) * 2008-05-20 2011-07-20 华为技术有限公司 视频数据的去隔行方法、去隔行装置及视频处理系统
CN102572297A (zh) * 2010-12-27 2012-07-11 新奥特（北京）视频技术有限公司 一种高效高质量的视频特效的渲染方法
US8508661B1 (en) * 2008-02-01 2013-08-13 Zenverge, Inc. Enhanced deinterlacing using predictors from motion estimation engine
CN105282397A (zh) * 2014-07-22 2016-01-27 北京数码视讯科技股份有限公司 运动字幕的去隔行方法及装置
CN105282475A (zh) * 2014-06-27 2016-01-27 澜起科技（上海）有限公司 移动字幕检测与补偿方法及系统
CN105704415A (zh) * 2016-02-02 2016-06-22 福州瑞芯微电子股份有限公司 一种视频去交织处理方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080056349A1 (en) * 2006-08-31 2008-03-06 Ati Technologies, Inc. Method and system for motion compensation method in decoding of video data

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2296401A (en) * 1994-10-04 1996-06-26 Kenneth Stanley Jones Motion vector encoder using spatial majority filter
US5784115A (en) * 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
CN1520178A (zh) * 2002-11-22 2004-08-11 ���ǵ�����ʽ���� 能够输出两个连续的解交织的帧的解交织装置和方法
CN1447598A (zh) * 2003-01-24 2003-10-08 杭州国芯科技有限公司 采用误差修正运动补偿解交织的方法和设备
CN1742489A (zh) * 2003-03-03 2006-03-01 Lg电子株式会社 活动图像的编码方法
CN1878282A (zh) * 2006-07-12 2006-12-13 北京中星微电子有限公司 一种用于数字视频解交错及其场序列检测的方法和装置
US8508661B1 (en) * 2008-02-01 2013-08-13 Zenverge, Inc. Enhanced deinterlacing using predictors from motion estimation engine
CN101588444B (zh) * 2008-05-20 2011-07-20 华为技术有限公司 视频数据的去隔行方法、去隔行装置及视频处理系统
CN101420615A (zh) * 2008-11-18 2009-04-29 华为技术有限公司 检测视频场序的方法和装置及视频处理系统
CN101534445A (zh) * 2009-04-15 2009-09-16 杭州华三通信技术有限公司 一种视频处理方法和系统以及解交织处理器
CN102572297A (zh) * 2010-12-27 2012-07-11 新奥特（北京）视频技术有限公司 一种高效高质量的视频特效的渲染方法
CN105282475A (zh) * 2014-06-27 2016-01-27 澜起科技（上海）有限公司 移动字幕检测与补偿方法及系统
CN105282397A (zh) * 2014-07-22 2016-01-27 北京数码视讯科技股份有限公司 运动字幕的去隔行方法及装置
CN105704415A (zh) * 2016-02-02 2016-06-22 福州瑞芯微电子股份有限公司 一种视频去交织处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于FPGA的视频转换接口的研究与设计》;白宗元;《CNKI优秀硕士学位论文全文库》;20081229;全文 *

Also Published As

Publication number Publication date
CN108810601A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
US8644387B2 (en) Motion estimation method
US8144255B2 (en) Still subtitle detection apparatus and image processing method therefor
CN108810601B (zh) 运动字幕解交织方法、系统、移动终端及可读存储介质
KR20060044912A (ko) 이미지 경계에서 개선된 움직임 벡터 추정
JP4869045B2 (ja) 補間フレーム作成方法および補間フレーム作成装置
US8331689B2 (en) Detecting a border region in an image
US20050259739A1 (en) Image processing apparatus and method, and recording medium and program used therewith
US20090059067A1 (en) Motion vector detection apparatus, method of detecting motion vectors, and image display device
US20060221253A1 (en) Noise reducing apparatus and noise reducing method
KR20070076337A (ko) 에지영역 판단장치 및 에지영역 판단방법
US8830257B2 (en) Image displaying apparatus
US8411974B2 (en) Image processing apparatus, method, and program for detecting still-zone area
US8532189B2 (en) Method for detecting scene change in a video picture sequence
CN107026998B (zh) 一种去隔行方法及设备
US8218075B2 (en) Method and system for efficient de-interlacing
JP2009246735A (ja) 映像信号補間装置、映像表示装置及び映像信号補間方法
JP2009042897A (ja) 画像処理装置及び画像処理方法
JP2008003674A (ja) 動きベクトル検出装置
US8254682B2 (en) Pattern detecting method and related image processing apparatus
US9819900B2 (en) Method and apparatus for de-interlacing television signal
US7315661B2 (en) Directional interpolation method using DCT information and related device
US20130201404A1 (en) Image processing method
US8917354B2 (en) Motion detection in video fields
US7397973B2 (en) Method for controlling interpolation direction and related device
KR20090063101A (ko) 비디오 화상에서 가장자리 방위를 나타내는 거리들을 생성하는 방법, 대응하는 디바이스, 및 디인터레이싱이나 포맷 전환을 위한 방법의 용도

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 350000 building, No. 89, software Avenue, Gulou District, Fujian, Fuzhou 18, China

Patentee after: Ruixin Microelectronics Co., Ltd

Address before: 350003 building, No. 89, software Avenue, Gulou District, Fujian, Fuzhou 18, China

Patentee before: Fuzhou Rockchips Electronics Co.,Ltd.