CN101399950A - 一种基于图像轮廓匹配的帧频加倍的方法 - Google Patents
一种基于图像轮廓匹配的帧频加倍的方法 Download PDFInfo
- Publication number
- CN101399950A CN101399950A CNA2007100467339A CN200710046733A CN101399950A CN 101399950 A CN101399950 A CN 101399950A CN A2007100467339 A CNA2007100467339 A CN A2007100467339A CN 200710046733 A CN200710046733 A CN 200710046733A CN 101399950 A CN101399950 A CN 101399950A
- Authority
- CN
- China
- Prior art keywords
- frame
- profile
- present
- image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
本发明涉及一种基于图像轮廓匹配的帧频加倍的方法，本方法将当前帧与参考帧进行比较，确定当前帧中的运动区域和静止区域；对运动区域进行边缘检测，确定其中图像的当前轮廓；根据确定的当前轮廓，生成包含该轮廓的当前块，匹配出参考帧中的搜索区域，并通过块匹配准则在搜索区域中搜索到与当前块相似的块；采用帧重复或插黑帧的方式进行内插；计算出当前块在内插帧中的图像数据；生成帧频加倍时序，并在一帧的时间内，按照时序，先后输出当前帧的内插帧图像数据和当前帧的图像数据。与现有技术相比，本发明基于图像轮廓匹配，对50帧/秒和60帧/秒的逐行信号进行处理，在100Hz/120Hz的液晶屏幕上有更好的视觉效果，达到去除运动模糊的目的。
Description
技术领域
本发明涉及帧频加倍技术，特别是涉及一种基于图像轮廓匹配的帧频加倍的方法。
背景技术
目前的电视信号分为50Hz(每秒50场)和60Hz(每秒60场)两种，而且采取了隔行扫描的方法(每帧信号由奇场和偶场构成)。
液晶技术，作为平板电视的代表技术之一，采用了逐行扫描技术。因此，隔行的电视信号需要首先经过去隔行(De-interlace)技术，将每秒50场/60场的信号转变为每秒50帧/60帧。
液晶技术，相比较其它的平板电视，也有缺点。其主要的缺点是在显示高速运动画面时，会产生运动模糊。产生这种现象的原因在于液晶的响应时间比较低和液晶的图像保持时间较长。液晶的图像保持时间是和每帧图像的间隔时间相同。
因此，提高液晶显示图像质量的方法，可以通过提高液晶的响应时间和减少液晶的图像保持时间来实现。目前，液晶的响应时间已经提高到8ms以下，这对于液晶显示图像质量的影响已经比较小了。更重要的改善液晶显示图像的办法在于减少液晶的图像保持时间，也即减少每帧图像的间隔时间，或者说，提高帧频的方法。
通常的办法是采用帧频加倍技术，即将每秒50帧或60帧的逐行信号通过图像内插的方法转换为每秒100帧或120帧的逐行视频信号。
比较简单的帧频加倍技术的方法通常有插黑帧方法、帧重复方法。
插黑帧的方法是在两帧信号中间插入一帧全黑的信号，这种方法实现简单，且能有效去除运动模糊，但由于插入了黑帧，会使得图像的整体亮度降低为原来的一半。
帧重复方法是将每一帧信号重复发送一次，这样，每帧信号就被连续发送了两次，从而达到帧频加倍的目的。这种方法在实际上并没有什么效果，因为液晶的图像保持时间实际上并没有减少。
在诸如活动图像专家组(MPEG)标准的视频压缩应用中，视频数据由于其具有高度的信号自相关性而具有冗余，因此，将视频数据之间的冗余去除，就可以对数据进行有效的压缩。
对于时间冗余，通常的办法是采用块匹配的运动估计方法，即对于当前帧中的某一个块，在参考帧中找到和这个块差异最小的参考块，这样只需要传输两者之间的差异，从而大大减少传输的数据量。
因此，在视频压缩领域，运动估计的目的是在于去掉视频中的时间冗余信息，在保持图像质量的同时，尽可能地提高压缩率。
在旨在驱动100Hz/120Hz液晶的帧频加倍领域，需要尽可能地提高内插图像的“真实感”，也就是所谓的“True Motion Estimation”，运动估计的目的是为了搜索到物体运动的方向，这样内插的视频帧数据才会最大程度地逼近真实的图像，从而使得显示的图像更加清晰，并且去掉运动模糊。
专利号为200310120587.1的专利中文件，记载了一种“确定重复图案的方法、帧内插方法和帧内插装置”。
专利号为200410032889.8的专利文件中(在帧速率转换时的帧内插方法及其设备)，记载了“一种在帧速率转换时用于处理重复或周期性重复的视频的帧内插方法及其设备，以避免视频质量降低”。
然而，对于更多的非重复和非周期重复的视频信号，比如图像当中存在物体移动和线性运动时，在帧频加倍时采用这种方法进行处理，就不能获得清晰的内插图像。
发明内容
本发明所要解决的技术问题就是为了克服上述现有技术存在的缺陷而提供一种基于图像轮廓匹配的帧频加倍的方法。
本发明的目的可以通过以下技术方案来实现：一种基于图像轮廓匹配的帧频加倍的方法，其特征在于，该方法包括以下步骤：
(1)将当前帧与参考帧进行比较，确定当前帧中的运动区域和静止区域；
(2)对运动区域进行边缘检测，确定其中图像的当前轮廓；
(3)根据确定的当前轮廓，生成包含该轮廓的当前块，匹配出参考帧中的搜索区域，并通过块匹配准则将搜索区域与当前块进行匹配；
(4)检测是否匹配出与当前块相似的块，若否，则执行步骤(5)，若是，则执行步骤(6)；
(5)采用帧重复或插黑帧的方式进行内插；
(6)计算出当前块在内插帧中的图像数据；
(7)生成帧频加倍时序，并在一帧的时间内，按照时序，先后输出当前帧的内插帧图像数据和当前帧的图像数据。
所述的步骤(3)进一步包括以下步骤：
a.在参考帧中进行轮廓提取和轮廓跟踪，以确定参考帧中存在的物体的轮廓，将该轮廓与当前轮廓相比较，得到最相似的轮廓，该最相似的轮廓所在区域即为搜索区域；
b.根据确定的当前轮廓的位置及边界，生成一个包含该轮廓的最小矩形块；
c.按照自左而右、自上而下的顺序，对当前轮廓进行扫描，并确定包含该轮廓的块的匹配顺序；
d.通过SAD块匹配准则将搜索区域与当前块进行匹配，具有最小SAD的块为匹配块。
所述的边缘检测为采用sobel算子对运动区域进行边缘检测，确定其中图像的轮廓。
与现有技术相比，本发明基于图像轮廓匹配，对50帧/秒和60帧/秒的逐行信号进行处理，估计出“真实”的内插图像信号，使得输出的视频信号实现帧频加倍，并且在100Hz/120Hz的液晶屏幕上有更好的视觉效果，达到去除运动模糊的目的。
附图说明
图1为本发明的流程图；
图2为本发明的实施例的流程图；
图3为本发明的硬件结构示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1～3所示，一种基于图像轮廓匹配的帧频加倍的方法，该方法包括以下步骤：
(1)将当前帧与参考帧进行比较，确定当前帧中的运动区域和静止区域；
(2)对运动区域进行边缘检测，确定其中图像的当前轮廓；
(3)根据确定的当前轮廓，生成包含该轮廓的当前块，匹配出参考帧中的搜索区域，并通过块匹配准则将搜索区域与当前块进行匹配；
(4)检测是否匹配出与当前块相似的块，若否，则执行步骤(5)，若是，则执行步骤(6)；
(5)采用帧重复或插黑帧的方式进行内插；
(6)计算出当前块在内插帧中的图像数据；
(7)在一帧的时间内，按照顺序输出时序，先后输出当前帧的内插帧图像数据和当前帧的图像数据。
所述的步骤(3)进一步包括以下步骤：
a.在参考帧中进行轮廓提取和轮廓跟踪，以确定参考帧中存在的物体的轮廓，将该轮廓与当前轮廓相比较，得到最相似的轮廓，该最相似的轮廓所在区域即为搜索区域；b.根据确定的当前轮廓的位置及边界，生成一个包含该轮廓的最小矩形块；c.按照自左而右、自上而下的顺序，对当前轮廓进行扫描，并确定包含该轮廓的块的匹配顺序；d.通过SAD块匹配准则将搜索区域与当前块进行匹配，具有最小SAD的块为匹配块；所述的边缘检测为采用sobel算子对运动区域进行边缘检测，确定其中图像的轮廓。
本发明主要是基于下述的理解。第一个理解是，任何运动的物体都是由封闭的边界组成的，也就是说，它有自己的轮廓；第二个理解是，在足够短的时间内，物体的运动可以视为线性运动。基于第一种理解，我们可以以物体的轮廓在表示该物体；基于第二种理解，我们可以认为，在两帧之间(足够短的时间内)，物体的轮廓基本保持不变。
基于这两点，我们首先在当前帧当中搜索物体的轮廓，并判断该物体是否处于运动状态；如果物体处于运动状态，我们再到参考帧当中搜索和当前物体匹配的物体，从而确定了物体的运动方向(在运动估计中，这通常被成为运动矢量)。确定了物体在当前帧和参考帧中的位置，我们就可以确定物体在内插帧中的位置，也即可以计算出内插帧中相关图像数据的值。
本发明的要点：确定当前帧的运动区域和静止区域；搜索运动区域内的物体轮廓；使用轮廓跟踪方法，寻找包容物体轮廓的图像块；对物体轮廓进行匹配，确定参考帧的搜索区域；对图像块进行绝对差之和(SAD)准则的图像匹配运算，搜索匹配图像块；根据匹配运算结果，生成内插帧的图像数据；当内插帧的图像数据生成完毕后，生成新的帧频加倍的图像时序；如果不能得到正确的匹配结果，将会选择使用帧重复或者插黑帧的方法进行内插。
本实施例首先通过和参考帧的比较，确定当前帧当中的运动区域和静止区域。对于运动区域，进行图像轮廓的提取，轮廓提取算法采用Sobel算子。本实施例中，我们非常关心轮廓的封闭性。对于当前帧的静止区域，不进行轮廓的提取工作。
然后依据提取的轮廓，与在参考帧搜索的轮廓进行轮廓匹配，确定搜索区域；生成用于比较的块，在确定的搜索区域内，以SAD准则进行匹配搜索，搜索和当前块最相似的块(匹配块)。并将匹配的结果送给内插图像生成单元130。
在搜索时，首先确定参考帧的搜索区域，这通过轮廓匹配的方法来实现：在参考帧当中进行轮廓提取和轮廓跟踪，这样就可确定出在参考帧当中存在的物体的轮廓。把当前轮廓和参考帧当中的轮廓相比较，找到最相似的那个。这个轮廓所在的区域，就被确定为当前块在参考帧中的搜索区域。
在搜索区域确定之后，在当前帧中找到包含轮廓的最小的块，再以SAD准则在参考帧的搜索区域中进行块匹配运算，具有最小SAD的块被成为匹配块。
根据基于轮廓的图像匹配单元的匹配结果，来确定当前块所采用的内插方法。如果在参考帧当中存在匹配块，则采用线性运算的方法，计算出当前块在内插帧当中的位置和图像数据。
帧频加倍单元则提供了当前帧数据和内插帧数据顺序输出的时序，重新设计的时序，在输入当前帧的一帧时间内，先后输出了前一帧的内插帧数据和前一帧的图像数据，从而实现了帧频加倍。
如图3，所述的帧结构分析电路410用于对输入图像的帧结构进行分析，取出其中的图像数据；所述的当前帧轮廓提取电路，用于从当前帧的数据中提取物体的轮廓；所述的当前帧数据读写电路418、前一帧图像读取电路428、内插数据读写电路435、输出数据读取电路440用于读写外部的存储器(SDRAM)；所述的当前帧轮廓暂存电路416，用于存储当前帧的物体轮廓信息；所述的前一帧轮廓提取电路426，用于从前一帧的图像数据中提取运动物体的轮廓；所述的轮廓匹配电路425，用于将当前物体轮廓信息和前一帧物体轮廓信息进行匹配计算；所述的运动估计电路420，用于确定内插数据单元的位置；所述的内插帧生成电路430，用于生成内插帧当中的图像数据；所述的时钟锁相环电路445，用于从输入的时钟当中生成输出的系统时钟；所述的输出帧结构生成电路448，用于在新的帧结构中输出内插帧数据和当前帧数据；所述的存储器450，用于存储前一帧、当前帧和内插帧的图像数据。
Claims (3)
1.一种基于图像轮廓匹配的帧频加倍的方法，其特征在于，该方法包括以下步骤：
(1)将当前帧与参考帧进行比较，确定当前帧中的运动区域和静止区域；
(2)对运动区域进行边缘检测，确定其中图像的当前轮廓；
(3)根据确定的当前轮廓，生成包含该轮廓的当前块，匹配出参考帧中的搜索区域，并通过块匹配准则将搜索区域与当前块进行匹配；
(4)检测是否匹配出与当前块相似的块，若否，则执行步骤(5)，若是，则执行步骤(6)；
(5)采用帧重复或插黑帧的方式进行内插；
(6)计算出当前块在内插帧中的图像数据；
(7)生成帧频加倍时序，并在一帧的时间内，按照时序，先后输出当前帧的内插帧图像数据和当前帧的图像数据。
2.根据权利要求1所述的一种基于图像轮廓匹配的帧频加倍的方法，其特征在于，所述的步骤(3)进一步包括以下步骤：
a.在参考帧中进行轮廓提取和轮廓跟踪，以确定参考帧中存在的物体的轮廓，将该轮廓与当前轮廓相比较，得到最相似的轮廓，该最相似的轮廓所在区域即为搜索区域；
b.根据确定的当前轮廓的位置及边界，生成一个包含该轮廓的最小矩形块；
c.按照自左而右、自上而下的顺序，对当前轮廓进行扫描，并确定包含该轮廓的块的匹配顺序；
d.通过SAD块匹配准则将搜索区域与当前块进行匹配，具有最小SAD的块为匹配块。
3.根据权利要求1或2所述的一种基于图像轮廓匹配的帧频加倍的方法，其特征在于，所述的边缘检测为采用sobel算子对运动区域进行边缘检测，确定其中图像的轮廓。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007100467339A CN101399950A (zh) | 2007-09-30 | 2007-09-30 | 一种基于图像轮廓匹配的帧频加倍的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007100467339A CN101399950A (zh) | 2007-09-30 | 2007-09-30 | 一种基于图像轮廓匹配的帧频加倍的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101399950A true CN101399950A (zh) | 2009-04-01 |
Family
ID=40518164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2007100467339A Pending CN101399950A (zh) | 2007-09-30 | 2007-09-30 | 一种基于图像轮廓匹配的帧频加倍的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101399950A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102685521A (zh) * | 2011-09-29 | 2012-09-19 | 京东方科技集团股份有限公司 | 一种显示方法和显示装置 |
| CN106341592A (zh) * | 2015-07-08 | 2017-01-18 | 宏达国际电子股份有限公司 | 电子装置以及增加电子装置所拍摄的帧速率的方法 |
| CN107945124A (zh) * | 2017-11-17 | 2018-04-20 | 上海大学 | 一种运动路径指引的老电影黑帧修复方法 |
| CN108040217A (zh) * | 2017-12-20 | 2018-05-15 | 深圳岚锋创视网络科技有限公司 | 一种视频解码的方法、装置及相机 |
| WO2019144581A1 (zh) * | 2018-01-29 | 2019-08-01 | 江苏宇特光电科技股份有限公司 | 一种智能化红外图像场景增强方法 |
-
2007
- 2007-09-30 CN CNA2007100467339A patent/CN101399950A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102685521A (zh) * | 2011-09-29 | 2012-09-19 | 京东方科技集团股份有限公司 | 一种显示方法和显示装置 |
| CN106341592A (zh) * | 2015-07-08 | 2017-01-18 | 宏达国际电子股份有限公司 | 电子装置以及增加电子装置所拍摄的帧速率的方法 |
| CN106341592B (zh) * | 2015-07-08 | 2019-04-16 | 宏达国际电子股份有限公司 | 电子装置以及增加电子装置所拍摄的帧速率的方法 |
| CN107945124A (zh) * | 2017-11-17 | 2018-04-20 | 上海大学 | 一种运动路径指引的老电影黑帧修复方法 |
| CN107945124B (zh) * | 2017-11-17 | 2021-12-03 | 上海大学 | 一种运动路径指引的老电影黑帧修复方法 |
| CN108040217A (zh) * | 2017-12-20 | 2018-05-15 | 深圳岚锋创视网络科技有限公司 | 一种视频解码的方法、装置及相机 |
| WO2019120012A1 (zh) * | 2017-12-20 | 2019-06-27 | 深圳岚锋创视网络科技有限公司 | 一种视频解码的方法及相机 |
| CN108040217B (zh) * | 2017-12-20 | 2020-01-24 | 深圳岚锋创视网络科技有限公司 | 一种视频解码的方法、装置及相机 |
| US11509859B2 (en) | 2017-12-20 | 2022-11-22 | Arashi Vision Inc. | Video decoding method and camera |
| WO2019144581A1 (zh) * | 2018-01-29 | 2019-08-01 | 江苏宇特光电科技股份有限公司 | 一种智能化红外图像场景增强方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2419243C1 (ru) | Устройство и способ обработки изображений и устройство и способ отображения изображений | |
| US6940557B2 (en) | Adaptive interlace-to-progressive scan conversion algorithm | |
| US7667773B2 (en) | Apparatus and method of motion-compensation adaptive deinterlacing | |
| US8625673B2 (en) | Method and apparatus for determining motion between video images | |
| JP4438795B2 (ja) | 映像変換装置、映像表示装置、映像変換方法 | |
| US5642170A (en) | Method and apparatus for motion compensated interpolation of intermediate fields or frames | |
| US20090208123A1 (en) | Enhanced video processing using motion vector data | |
| US20100177239A1 (en) | Method of and apparatus for frame rate conversion | |
| CN100385914C (zh) | 具有噪音降低/消除装置的解隔行设备 | |
| US8615036B2 (en) | Generating interpolated frame of video signal with enhancement filter | |
| CN1422074A (zh) | 用于运动补偿内插的像素数据选择设备及其方法 | |
| KR20050057707A (ko) | 적응적 움직임 보상 보간 방법 및 장치 | |
| CN101399950A (zh) | 一种基于图像轮廓匹配的帧频加倍的方法 | |
| JP3842756B2 (ja) | インターレース−プログレッシブ変換用のエッジ適応補間のための方法及びシステム | |
| KR20080008952A (ko) | 초해상도 기술을 이용한 비비월주사의 방법 및 시스템 | |
| KR100510671B1 (ko) | 인터레이스 영상에서의 동일 프레임 검출 장치 | |
| US6243140B1 (en) | Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion | |
| WO2017101348A1 (zh) | 一种隔行视频的去隔行方法及装置 | |
| JP5123643B2 (ja) | 映像処理装置 | |
| CN100349465C (zh) | 基于相位校正场的自适应解隔行方法和设备 | |
| EP0648046B1 (en) | Method and apparatus for motion compensated interpolation of intermediate fields or frames | |
| Lee et al. | Fast one-pass motion compensated frame interpolation in high-definition video processing | |
| JP2009124261A5 (zh) | ||
| KR100382651B1 (ko) | 비디오신호 처리 시스템에서의 영역별 움직임 판단 정보를이용한 움직임 검출 방법 및 장치와 이를 이용한 데이터보간 방법 및 장치 | |
| JP5124008B2 (ja) | 画像表示方法及び画像表示装置並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20090401 |