CN104781846A - 用于补偿与振动相关的动态模糊的方法 - Google Patents

用于补偿与振动相关的动态模糊的方法 Download PDF

Info

Publication number
CN104781846A
CN104781846A CN201380042961.2A CN201380042961A CN104781846A CN 104781846 A CN104781846 A CN 104781846A CN 201380042961 A CN201380042961 A CN 201380042961A CN 104781846 A CN104781846 A CN 104781846A
Authority
CN
China
Prior art keywords
frame
image
readability
reference value
sharpness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380042961.2A
Other languages
English (en)
Other versions
CN104781846B (zh
Inventor
伊曼纽尔·约翰松
奥德·拉松
埃兰·瓦尔德雷乌斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flir Systems AB
Original Assignee
Flir Systems AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Systems AB filed Critical Flir Systems AB
Publication of CN104781846A publication Critical patent/CN104781846A/zh
Application granted granted Critical
Publication of CN104781846B publication Critical patent/CN104781846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种为了稳定记录的图像，在图像记录装置(1)，例如照相机中，补偿与振动相关的动态模糊的方法，其中使用的是参考图像。根据本发明，为了图像稳定而选择记录的图像的一帧(2)，该被选择的帧的清晰程度(3)被评估并与之前已被储存的参考值(4)比较，参考值对应之前被选择的一帧的清晰程度。若后被选中的帧的清晰程度相较对应于之前被选择的帧的清晰程度的参考值被认定为更高(5)或相等，后被选中的帧被用于更新(6)视频序列，且后被选中的帧的清晰程度被储存(7)作为新的参考值。若后被选中的帧的清晰程度相较对应于之前被选择的帧的清晰程度的参考值被认定为更差(5)，则在清晰度值减小(8)的情况下，对应于之前被选择的帧的清晰程度的参考值被储存，且之前被选择的帧被用于视频序列。本发明的结果为提供了一种方法，通过相对简单的操作，就可有效补偿与振动相关的动态模糊。

Description

用于补偿与振动相关的动态模糊的方法
技术领域
本发明涉及为了稳定记录的图像，在图像记录装置，例如照相机中补偿与振动相关的动态模糊的方法，其中使用的是参考图像。
背景技术
通常在照相机中，特别是对于长距离使用的照相机，也称为“远距离照相机”(“long range”cameras)，与振动相关的动态模糊是一种常见的问题。因而有找寻简单的图像稳定方法的需求，该稳定方法可以在由振动造成的检测及识别目标非常困难的困难条件下帮助照相机操作者。一个应用可以实现固定在杆上的记录照相机的图像稳定。
补偿与视频记录相关的振动其本身是之前已知的，在本文中，可以参考公开的美国专利US2011/0025919A1。根据该公布文本，在[0021]段中描述了一种利用参考图像的抖动补偿步骤204。所述的公布文本又给出一种通过估计图像序列的清晰度，并将具有最高清晰度的部分共同结合到可被呈现出的图像中，来降低扰动效果的解决方案。可通过边缘检测滤波器来估计清晰度。
发明内容
本发明的目的在于提供一种方法，通过相对简单的操作，其可有效补偿与振动相关的动态模糊。
本发明的目的通过一个方法实现，该方法的特征在于，为了图像稳定而选择记录的图像的一帧，其中该被选择的帧的清晰程度被评估，并与之前已被储存的参考值比较，该参考值对应之前被选择的一帧的清晰程度，其中，若后被选中的帧的清晰程度相较对应于之前被选择的帧的清晰程度的参考值被认定为更高或相等，后被选中的帧被用于更新视频序列，且后被选中的帧的清晰程度被储存作为新的参考值，其中，若后被选中的帧的清晰程度相较对应于之前被选择的帧的清晰程度的参考值被认定为更差，则在清晰度值减小的情况下，对应于之前被选择的帧的清晰程度的参考值被储存，且之前被选择的帧被用于视频序列。
借助提出的本方法，可实现由振动造成的动态模糊的有效补偿。对每一帧，清晰程度均被评估，且清晰度均与之前储存的值相比较。若清晰度被认定为更高或与对应于储存的新清晰度值相等的同时，该帧被使用，且视频被更新。若相反地，被认定为清晰度为之前的更好，则相反地，之前的帧被使用。然而，为了避免长时间的冻结图像，每次使用旧的帧时，清晰度值必须减小一些。通过这样的方式，仅有对操作者来说确实有意义的信息被使用。本方法的应用结果为真实的图像时钟将能够变化，而对图像记录装置来说目标将更容易识别。在本文中，可强调的是，未聚焦数据不会将任何增加值给予图像。提出的本方法特别适合于在事件进程较慢时使用，以及适合于在小幅度测量中发生的全景拍摄时使用。
借助本方法，仅有用信息会呈现给使用者。通过本方法产生的图像给人感觉更稳定且观察时更舒适，从而使得其更简单地检测并识别目标。
方便的是，形成本发明一部分的操作可实时执行。
根据给出的一个合适的方法，由图像记录设备记录的图像的帧的选择是在图像的中心做出。
根据给出的一个合适的方法，由图像记录设备记录的图像的帧的选择由图像记录装置的使用者做出。
而根据另一个给出的合适的方法，通过图像记录装置的使用者激活图像稳定。借助这类使用者激活功能，其中边缘情形，例如全景拍摄或类似情形可被忽略，在特别困难的条件下被优化以向操作者/使用者显示信息的方法被实现。
在根据以上基本原则的用于补偿模糊的一个方法中，有利于在红外区域内执行图像记录。
当对应于清晰度值的参考值不得不被减小，其可通过多种方式完成。一个给出的简单方法是在每次重复减小的值的百分比实质相同的情况下执行清晰度值的减小。例如，每次可减少大约5％。为了防止图像长时间冻结的情形，另一个变形为选择更渐进的减小/下降。同样也可限制允许清晰度值减小的次数。
为了确定对应于一帧的清晰度值，给出的一个方法的特征在于应用边缘检测滤波器来确定对应于一帧的清晰度值。给出的这种种类的边缘检测滤波器包括Tenengrad算子(tenengrad operator)的使用。另一个给出的边缘检测滤波器包括对应在一帧中所包括的每一像素的简单标准差的计算。
前述方法的结果是，开辟了进一步的使用选项。例如，根据以上所述的方法可结合应用于连续的自动聚焦。通过保存图像聚焦时的清晰度，在不打扰使用者的情况下，可使用更大且更快的搜索算法来寻找最佳聚焦。
附图说明
以下将参考附图，以典型示例的方式更进一步地描述本发明，该附图示出了说明本发明背后的原理的流程示意图。
具体实施方式
流程图始于被指定为图像记录的方框1。此处获得了待被图像处理的图像。为了获取，优选地包括有某种形式的照相机(未详细示出)。照相机可为红外照相机，但不排除其他种类的照相机或传感器的使用。在方框2中，从可向图像记录框1中取得的图像中选择一帧。方便的是，该帧是从该图像的中心部分找取，若图像质量存在差异，图像的中心部分被认为具有平均更好的质量，且通常也包含更有意义及更有用的信息。该帧的选择可由使用者做出。其可通过在图像范围内移动该帧并在合适的位置锁定它，来完成。在另一个选择中，使用者可控制照相机从而所需部分在该图像的中部结束，在这之后，中心帧被找取。
在方框3中，在方框2中被选择的帧的清晰程度被确定。优选地，适用边缘检测滤波器，并且特别给出滤波器，其包括Tenengrad算子的使用，或可选择地，包括对应包含在该帧中的每一个像素的简单标准差的计算。当Tenengrad算子被使用，原则上来说，通过Tenengrad图像范围内的像素值的叠加，获得清晰度值并形成一新的图像。
在方框4中，对应选中的帧的清晰度的参考值被保存。方框4这时假设包含源自之前处理过的帧的参考值，或可选地，在处理的开端，一对应于具有良好清晰度的帧的等级之下的合适的初始值。
方框5被设置为比较在方框2中确定的清晰程度以及在方框4中保存的参考值的清晰程度。当比较显示方框2中确定的清晰程度高于参考值或与其实质相同时，在方框6中视频序列通过在后图像升级。此外，如方框7所示，在方框4中保存的参考值由新的参考值替代。当比较显示方框2中确定的清晰程度低于参考值，则不进行视频序列的更新，然而作为保持未激活的方框6的结果，在先图像保持不变。此外，如方框8所示，保存的参考值经由找寻方框4中的参考值而减小并重新保存减小的参考值。可以以参考值的百分比进行减小。大约5％的百分比值显示出良好的工作情况。有利的是可将范围保持在3％-10％之间。还可包括进一步的功能(图中未示出)，该功能为计算参考值已经被减小的的次数，并仅允许有限数量的减小。也可给出的是参考值的清晰程度的减小可渐进地实现。
以上示意性描述的流程图基本适合于说明本发明的基本规则，然而，并非是以任何方式将本发明的构思限制在描述的方框功能中。
本发明并非限制于以上通过举例形式所述的方法，但可受制于专利权利要求范围中的变体范围内。

Claims (12)

1.一种为了稳定记录的图像，在图像记录装置，例如照相机中，补偿与振动相关的动态模糊的方法，其中使用的是参考图像，且记录的图像的清晰程度与参考图像中的清晰程度相比较，其特征在于，
为了图像稳定而选择记录的图像的一帧，其中所述被选择的帧的清晰程度被评估并与之前已被储存的参考值比较，所述参考值对应之前被选择的一帧的清晰程度，
其中，若后被选中的帧的清晰程度相较对应于之前被选择的帧的清晰程度的参考值被认定为更高或相等，后被选中的帧被用于更新视频序列，且后被选中的帧的清晰程度被储存作为新的参考值，
其中，若后被选中的帧的清晰程度相较对应于之前被选择的帧的清晰程度的参考值被认定为更差，则在清晰度值减小的情况下，对应于之前被选择的帧的清晰程度的参考值被储存，且之前被选择的帧被用于视频序列，
其中，对于每次新选择的帧，其清晰程度相较对应于之前被选择的帧的清晰程度的减小参考值被认定为更差，对应于之前被选择的帧的清晰程度的参考值的减少是重复的。
2.如以上任一权利要求所述的方法，其特征在于，由图像记录设备记录的图像的帧的选择是在图像的中心做出。
3.如以上任一权利要求所述的方法，其特征在于，由图像记录设备记录的图像中的帧的选择由图像记录装置的使用者做出。
4.如以上任一权利要求所述的方法，其特征在于，通过图像记录装置的使用者激活图像稳定。
5.如以上任一权利要求所述的方法，其特征在于，图像存储在红外区域内被执行。
6.如以上任一权利要求所述的方法，其特征在于，在每次重复减小的值的百分比实质相同的情况下执行清晰度值的减小。
7.如权利要求1-5任一项所述的方法，其特征在于，允许清晰度值减小的次数是受限的。
8.如权利要求1-5任一项所述的方法，其特征在于，清晰度值的减小是渐进执行的。
9.如以上任一权利要求所述的方法，其特征在于，使用边缘检测滤波器来确定对应于一帧的清晰度值。
10.如权利要求9所述的方法，其特征在于，所述边缘检测滤波器包括Tenengrad算子的使用。
11.如权利要求9所述的方法，其特征在于，所述边缘检测滤波器包括对应在一帧中所包括的每一像素的简单标准差的计算。
12.以上任一权利要求在自动聚焦中的应用。
CN201380042961.2A 2012-06-20 2013-06-11 用于补偿与振动相关的动态模糊的方法 Active CN104781846B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1230067A SE536619C2 (sv) 2012-06-20 2012-06-20 Förfarande för kompensation av rörelseoskärpa i samband medvibrationer
SE1230067-9 2012-06-20
PCT/SE2013/000096 WO2013191611A2 (en) 2012-06-20 2013-06-11 Method for compensating motion blur in connection with vibrations

Publications (2)

Publication Number Publication Date
CN104781846A true CN104781846A (zh) 2015-07-15
CN104781846B CN104781846B (zh) 2017-05-17

Family

ID=49769642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380042961.2A Active CN104781846B (zh) 2012-06-20 2013-06-11 用于补偿与振动相关的动态模糊的方法

Country Status (5)

Country Link
US (1) US9332186B2 (zh)
EP (1) EP2864960A4 (zh)
CN (1) CN104781846B (zh)
SE (1) SE536619C2 (zh)
WO (1) WO2013191611A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020237644A1 (zh) * 2019-05-31 2020-12-03 深圳市晟视科技有限公司 一种基于fpga架构的实时景深合成算法和系统
WO2022095662A1 (zh) * 2020-11-09 2022-05-12 广景视睿科技（深圳）有限公司 一种调整投影抖动的方法和系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016022525A1 (en) 2014-08-05 2016-02-11 Seek Thermal, Inc. Time based offset correction for imaging systems
WO2016022374A1 (en) 2014-08-05 2016-02-11 Seek Thermal, Inc. Local contrast adjustment for digital images
US9924116B2 (en) 2014-08-05 2018-03-20 Seek Thermal, Inc. Time based offset correction for imaging systems and adaptive calibration control
WO2016028755A1 (en) 2014-08-20 2016-02-25 Seek Thermal, Inc. Adaptive adjustment of operating bias of an imaging system
WO2016073054A2 (en) 2014-08-20 2016-05-12 Seek Thermal, Inc. Gain calibration for an imaging system
US10600164B2 (en) 2014-12-02 2020-03-24 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US9947086B2 (en) 2014-12-02 2018-04-17 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US10467736B2 (en) 2014-12-02 2019-11-05 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US9549130B2 (en) 2015-05-01 2017-01-17 Seek Thermal, Inc. Compact row column noise filter for an imaging system
US10867371B2 (en) 2016-06-28 2020-12-15 Seek Thermal, Inc. Fixed pattern noise mitigation for a thermal imaging system
US11089220B2 (en) 2019-05-02 2021-08-10 Samsung Electronics Co., Ltd. Electronic test device, method and computer-readable medium
US11276152B2 (en) 2019-05-28 2022-03-15 Seek Thermal, Inc. Adaptive gain adjustment for histogram equalization in an imaging system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708477A (en) * 1994-12-01 1998-01-13 Forbes; Scott Jared Video signal identifier for controlling a VCR and television based on the occurrence of commercials
US20080266406A1 (en) * 2007-04-30 2008-10-30 Stmicroelectronics(Research & Development) Limited Image sensors
CN101345824A (zh) * 2007-07-09 2009-01-14 三星电子株式会社 补偿相机的手抖动的方法和设备
US20090086036A1 (en) * 2007-09-27 2009-04-02 Ati Technologies Ulc Method and apparatus for camera shake effect image stabilization

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6747808B2 (en) 2002-10-04 2004-06-08 Hewlett-Packard Development Company, L.P. Electronic imaging device focusing
US7548659B2 (en) * 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
WO2009150696A1 (ja) * 2008-06-10 2009-12-17 富士通株式会社 画像補正装置および画像補正方法
US8611691B2 (en) * 2009-07-31 2013-12-17 The United States Of America As Represented By The Secretary Of The Army Automated video data fusion method
JP2011176542A (ja) * 2010-02-24 2011-09-08 Nikon Corp カメラおよび画像合成プログラム
DE102010019399B4 (de) * 2010-05-04 2019-02-28 Testo Ag Bildaufnahmeverfahren für IR-Bilder und Wärmebildkamera
US8532421B2 (en) * 2010-11-12 2013-09-10 Adobe Systems Incorporated Methods and apparatus for de-blurring images using lucky frames

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708477A (en) * 1994-12-01 1998-01-13 Forbes; Scott Jared Video signal identifier for controlling a VCR and television based on the occurrence of commercials
US20080266406A1 (en) * 2007-04-30 2008-10-30 Stmicroelectronics(Research & Development) Limited Image sensors
CN101345824A (zh) * 2007-07-09 2009-01-14 三星电子株式会社 补偿相机的手抖动的方法和设备
US20090086036A1 (en) * 2007-09-27 2009-04-02 Ati Technologies Ulc Method and apparatus for camera shake effect image stabilization

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020237644A1 (zh) * 2019-05-31 2020-12-03 深圳市晟视科技有限公司 一种基于fpga架构的实时景深合成算法和系统
CN113892126A (zh) * 2019-05-31 2022-01-04 深圳市晟视科技有限公司 一种基于fpga架构的实时景深合成算法和系统
WO2022095662A1 (zh) * 2020-11-09 2022-05-12 广景视睿科技（深圳）有限公司 一种调整投影抖动的方法和系统

Also Published As

Publication number Publication date
CN104781846B (zh) 2017-05-17
SE1230067A1 (sv) 2013-12-21
US9332186B2 (en) 2016-05-03
WO2013191611A3 (en) 2014-01-30
WO2013191611A2 (en) 2013-12-27
EP2864960A2 (en) 2015-04-29
US20150189183A1 (en) 2015-07-02
EP2864960A4 (en) 2016-04-06
SE536619C2 (sv) 2014-04-01

Similar Documents

Publication Publication Date Title
CN104781846A (zh) 用于补偿与振动相关的动态模糊的方法
US10755173B2 (en) Video deblurring using neural networks
US10257450B2 (en) Multi-frame noise reduction method, and terminal
US11558549B2 (en) Methods and devices for capturing high-speed and high-definition videos
CN107396111B (zh) 介导现实中自动视频插帧补偿方法及系统
US8576925B2 (en) Image processing apparatus and image processing method, and program
JP5045674B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP4322904B2 (ja) 補間フレーム作成装置、動きベクトル検出装置、補間フレーム作成方法、動きベクトル検出方法、補間フレーム作成プログラムおよび動きベクトル検出プログラム
JP2006350334A (ja) ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを補償する方法およびシステム
WO2013084782A1 (ja) 画像処理装置
US9648253B2 (en) Procedure for mapping when capturing video streams by means of a camera
WO2011105220A1 (ja) 立体映像処理装置および方法、並びにプログラム
US11610461B2 (en) Video compression stream
WO2013135067A1 (zh) 一种使视频中目标物体图像稳定的方法及装置
JP5319372B2 (ja) フレームレート変換装置及びフレームレート変換方法
WO2014069103A1 (ja) 画像処理装置
KR20110113562A (ko) 입체 이미지를 처리하기 위한 방법 및 대응하는 디바이스
CN104796580B (zh) 一种基于选择集成的实时稳像视频巡检系统
KR101396838B1 (ko) 다수의 모션 모델을 선택적으로 이용하는 영상 안정화 방법 및 시스템
Wang et al. First image then video: a two-stage network for spatiotemporal video denoising
JP6017144B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2007028251A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5644862B2 (ja) 立体視動画像生成装置、立体視動画像生成方法、立体視動画像生成プログラム
CN103700076A (zh) 基于非局部均值法的视频图像快速去噪方法
CN101483726B (zh) 交错式扫描影像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant