JP2005130443A5 - - Google Patents

Download PDF

Info

Publication number
JP2005130443A5
JP2005130443A5 JP2004208580A JP2004208580A JP2005130443A5 JP 2005130443 A5 JP2005130443 A5 JP 2005130443A5 JP 2004208580 A JP2004208580 A JP 2004208580A JP 2004208580 A JP2004208580 A JP 2004208580A JP 2005130443 A5 JP2005130443 A5 JP 2005130443A5
Authority
JP
Japan
Prior art keywords
pixel
image
resolution
low
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004208580A
Other languages
English (en)
Other versions
JP4461937B2 (ja
JP2005130443A (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2004208580A priority Critical patent/JP4461937B2/ja
Priority claimed from JP2004208580A external-priority patent/JP4461937B2/ja
Priority to US10/954,028 priority patent/US7702184B2/en
Publication of JP2005130443A publication Critical patent/JP2005130443A/ja
Publication of JP2005130443A5 publication Critical patent/JP2005130443A5/ja
Priority to US12/658,684 priority patent/US7953297B2/en
Application granted granted Critical
Publication of JP4461937B2 publication Critical patent/JP4461937B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Claims (14)

  1. 第1の解像度を有する複数の低解像度画像から、前記第1の解像度より高解像度の高解像度画像を生成する静止画像生成装置であって、
    前記複数の低解像度画像間の、画像を構成する画素位置のずれを表す位置ずれを補正する補正量を推定する補正量推定部と、
    前記推定した前記補正量に基づいて前記複数の低解像度画像間の前記位置ずれを補正し、前記補正した前記複数の低解像度画像を合成して前記高解像度画像を生成する画像生成部と、を備え、
    前記画像生成部は、
    前記高解像度画像を構成する画素から注目画素を選択し、
    前記複数の低解像度画像それぞれにおける前記注目画素に対する複数の最近傍画素を求め、
    前記複数の低解像度画像のうち、前記注目画素について合成対象となる合成対象画像を前記複数の最近傍画素に基づいて導き出し、前記合成対象画像に基づいて前記注目画素の画素値を算出し、
    前記合成対象画像に基づいて、前記複数の最近傍画素のうち、前記複数の低解像度画像から選択された基準画像に対して、動きがあると判定される画素を含む低解像度画像を、前記注目画素についての前記合成対象画像から除外して前記注目画素の画素値を算出することによって前記高解像度画像を生成する、
    ことを特徴とする、静止画像生成装置。
  2. 前記複数の低解像度画像は、動画像の中から取得された時系列に並ぶ複数の画像である請求項記載の静止画像生成装置。
  3. 請求項または請求項記載の静止画像生成装置であって、
    前記画像生成部は、
    前記複数の最近傍画素のうち、前記基準画像に含まれない画素を、前記注目画素に近い順で選択し、前記選択した画素の前記基準画像に対する動きを判定し、
    前記複数の最近傍画素のうち、前記注目画素との距離が最小となる最短画素を含む前記低解像度画像が前記基準画像である場合には、前記基準画像に基づいて前記注目画素の画素値を算出し、
    前記動きの判定において、前記選択した画素に動きがないと判定された場合には、その判定された画素を含む前記低解像度画像に基づいて前記注目画素の画素値を算出し、
    前記動きの判定において、前記選択した画素のいずれについても動きがあると判定された場合には、前記基準画像に基づいて前記注目画素の画素値を算出する、静止画像生成装置。
  4. 請求項または請求項記載の静止画像生成装置であって、
    前記画像生成部は、
    前記複数の最近傍画素のうち、前記基準画像に含まれない画素を、所定の順に選択し、前記選択した画素の前記基準画像に対する動きを判定し、
    前記動きの判定において、前記選択した画素に動きがあると判定された場合には、前記基準画像に基づいて前記注目画素の画素値を算出し、
    前記動きの判定において、前記選択した画素のいずれについても動きがないと判定された場合には、前記複数の最近傍画素のうち、前記注目画素に最も近い最短画素を含む前記低解像度画像に基づいて前記注目画素の画素値を算出する、静止画像生成装置。
  5. 請求項または請求項記載の静止画像生成装置であって、
    前記画像生成部は、
    前記複数の最近傍画素のうち、前記基準画像を除く特定の低解像度画像に含まれる画素を選択して、前記基準画像に対する動きを判定し、
    前記動きの判定において、前記選択した画素に動きがあると判定された場合には、前記基準画像に基づいて前記注目画素の画素値を算出し、
    前記動きの判定において、前記選択した画素に動きがないと判定された場合には、前記複数の最近傍画素のうち、前記注目画素に最も近い最短画素を含む前記特定の低解像度画像に基づいて前記注目画素の画素値を算出する、静止画像生成装置。
  6. 請求項ないし請求項のいずれかに記載の静止画像生成装置であって、
    前記動きの判定は、
    前記選択した画素の輝度値が、前記基準画像の中で前記選択した画素を囲む複数の画素の輝度値に基づいて生成される推定輝度値に対して、所定の範囲内にある場合には動きがないと判定し、前記所定の範囲外にある場合には動きがあると判定する、静止画像生成装置。
  7. 前記所定の範囲は、前記推定輝度値を中心として設定される一定の範囲である請求項記載の静止画像生成装置。
  8. 前記一定の範囲は、前記選択した画素を含む前記低解像度画像の前記基準画像に対する時間差に応じて変化する請求項記載の静止画像生成装置。
  9. 前記所定の範囲は、前記基準画像の中で前記選択した画素を囲む複数の画素の輝度値のうち最小の輝度値から最大の輝度値までの範囲を含む一定の範囲である請求項記載の静止画像生成装置。
  10. 前記所定の範囲は、前記選択した画素の、前記基準画像の中で前記選択した画素を囲む複数の画素に対する位置に依存して変化する範囲である請求項記載の静止画像生成装置。
  11. 請求項ないし請求項のいずれかに記載の静止画像生成装置であって、
    前記動きの判定は、
    前記基準画像の中で前記選択した画素を囲む複数の画素の輝度値に基づいて生成される輝度値が、前記選択した画素の輝度値に等しくなる画素の推定位置を求め、前記求めた前記推定位置と前記選択した画素の位置との距離が、所定の範囲内にある場合には動きがないと判定し、前記所定の範囲外にある場合には動きがあると判定する、静止画像生成装置。
  12. 前記所定の範囲は、前記位置ずれによって変化しうる前記推定位置の変化量を閾値として設定し、前記推定位置を中心として設定される一定の範囲である請求項11記載の静止画像生成装置。
  13. 第1の解像度を有する複数の低解像度画像から、前記第1の解像度より高解像度の高解像度画像を生成する静止画像生成方法であって、
    前記複数の低解像度画像間の、画像を構成する画素位置のずれを表す位置ずれを補正する補正量を推定する工程と、
    前記推定した前記補正量に基づいて前記複数の低解像度画像間の前記位置ずれを補正する工程と、
    前記補正した前記複数の低解像度画像を合成して前記高解像度画像を生成する工程と、を含み、
    前記高解像度画像を生成する工程は
    前記高解像度画像を構成する画素から注目画素を選択する工程と、
    前記複数の低解像度画像それぞれにおける前記注目画素に対する複数の最近傍画素を求める工程と、
    前記複数の低解像度画像のうち、前記注目画素について合成対象となる合成対象画像を前記複数の最近傍画素に基づいて導き出す工程と、
    前記合成対象画像に基づいて、前記複数の最近傍画素のうち、前記複数の低解像度画像から選択された基準画像に対して、動きがあると判定された画素を含む前記低解像度画像を、前記注目画素についての前記合成対象画像から除外して前記注目画素の画素値を算出する工程と、
    を含むことによって前記高解像度画像を生成することを特徴とする、静止画像生成方法。
  14. 第1の解像度を有する複数の低解像度画像から、前記第1の解像度より高解像度の高解像度画像を生成する静止画像生成プログラムであって、
    前記複数の低解像度画像間の、画像を構成する画素位置のずれを表す位置ずれを補正する補正量を推定する機能と、
    前記推定した前記補正量に基づいて前記複数の低解像度画像間の前記位置ずれを補正する機能と、
    前記補正した前記複数の低解像度画像を合成して前記高解像度画像を生成する機能と、をコンピュータに実現させるための静止画像生成プログラムであり、
    前記高解像度画像を生成する機能は、
    前記高解像度画像を構成する画素から注目画素を選択する機能と、
    前記複数の低解像度画像それぞれにおける前記注目画素に対する複数の最近傍画素を求める機能と、
    前記複数の低解像度画像のうち、前記注目画素について合成対象となる合成対象画像を前記複数の最近傍画素に基づいて導き出す機能と、
    前記合成対象画像に基づいて前記複数の最近傍画素のうち、前記複数の低解像度画像から選択された基準画像に対して、動きがあると判定された画素を含む前記低解像度画像を、前記注目画素についての前記合成対象画像から除外して前記注目画素の画素値を算出する機能と
    を含むことによって前記高解像度画像を生成することを特徴とする静止画像生成プログラム。
JP2004208580A 2003-09-30 2004-07-15 低解像度の複数の画像に基づく高解像度の画像の生成 Expired - Fee Related JP4461937B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004208580A JP4461937B2 (ja) 2003-09-30 2004-07-15 低解像度の複数の画像に基づく高解像度の画像の生成
US10/954,028 US7702184B2 (en) 2003-09-30 2004-09-28 Generation of high-resolution image based on multiple low-resolution images
US12/658,684 US7953297B2 (en) 2003-09-30 2010-02-12 Generation of high-resolution images based on multiple low-resolution images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003339907 2003-09-30
JP2004208580A JP4461937B2 (ja) 2003-09-30 2004-07-15 低解像度の複数の画像に基づく高解像度の画像の生成

Publications (3)

Publication Number Publication Date
JP2005130443A JP2005130443A (ja) 2005-05-19
JP2005130443A5 true JP2005130443A5 (ja) 2007-08-16
JP4461937B2 JP4461937B2 (ja) 2010-05-12

Family

ID=34655605

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004208580A Expired - Fee Related JP4461937B2 (ja) 2003-09-30 2004-07-15 低解像度の複数の画像に基づく高解像度の画像の生成

Country Status (2)

Country Link
US (2) US7702184B2 (ja)
JP (1) JP4461937B2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005046221A1 (ja) * 2003-11-11 2005-05-19 Seiko Epson Corporation 画像処理装置、画像処理方法、そのプログラムおよび記録媒体
JP5160451B2 (ja) * 2006-01-31 2013-03-13 トムソン ライセンシング エッジ・ベースの空間‐時間的フィルタリングの方法および装置
KR20070092582A (ko) 2006-03-09 2007-09-13 삼성전자주식회사 영상 표시 및 저장 장치와 방법
WO2007142109A1 (ja) * 2006-05-31 2007-12-13 Nec Corporation 画像高解像度化装置及び画像高解像度化方法並びにプログラム
JP5055571B2 (ja) * 2006-09-14 2012-10-24 株式会社ニコン 画像処理装置、電子カメラ、および画像処理プログラム
WO2008032441A1 (fr) * 2006-09-14 2008-03-20 Nikon Corporation Dispositif de traitement d'images, caméra électronique et programme de traitement d'images
EP2059027A4 (en) * 2006-09-14 2012-08-08 Nikon Corp IMAGE PROCESSING DEVICE, ELECTRONIC CAMERA, AND IMAGE PROCESSING PROGRAM
JP4861109B2 (ja) * 2006-09-27 2012-01-25 富士通株式会社 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置
JP4646146B2 (ja) * 2006-11-30 2011-03-09 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US9633426B2 (en) 2014-05-30 2017-04-25 General Electric Company Remote visual inspection image capture system and method
US8810636B2 (en) * 2006-12-20 2014-08-19 Ge Inspection Technologies, Lp Inspection apparatus method and apparatus comprising selective frame output
JP4950653B2 (ja) * 2006-12-25 2012-06-13 株式会社東芝 画像表示装置、画像信号処理装置、及び画像信号処理方法
JP2008307184A (ja) * 2007-06-13 2008-12-25 Fujifilm Corp 画像処理装置および画像処理プログラム
CN101520590B (zh) * 2008-02-29 2010-12-08 鸿富锦精密工业(深圳)有限公司 相机及其自拍方法
US20110170784A1 (en) * 2008-06-10 2011-07-14 Tokyo Institute Of Technology Image registration processing apparatus, region expansion processing apparatus, and image quality improvement processing apparatus
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
JP5202279B2 (ja) * 2008-12-19 2013-06-05 任天堂株式会社 動画像生成プログラム、動画像再生プログラム、動画像生成装置、及び、動画像再生装置
WO2010095460A1 (ja) 2009-02-19 2010-08-26 日本電気株式会社 画像処理システム、画像処理方法および画像処理プログラム
US8339470B2 (en) * 2009-11-30 2012-12-25 Indian Institute Of Technology Madras Method and system for generating a high resolution image
JP5047344B2 (ja) * 2009-12-28 2012-10-10 キヤノン株式会社 画像処理装置及び画像処理方法
US8179445B2 (en) * 2010-03-03 2012-05-15 Eastman Kodak Company Providing improved high resolution image
US8577185B2 (en) * 2010-03-17 2013-11-05 Samsung Electronics Co., Ltd. Apparatus and method for interpolating and rendering image on mobile devices
JP5653184B2 (ja) * 2010-11-11 2015-01-14 三菱電機株式会社 画像処理装置及び方法
US8750647B2 (en) 2011-02-03 2014-06-10 Massachusetts Institute Of Technology Kinetic super-resolution imaging
WO2012154154A1 (en) 2011-05-06 2012-11-15 Empire Technology Development Llc Higher resolution still image generation from lower resolution video camera frames
US8594464B2 (en) 2011-05-26 2013-11-26 Microsoft Corporation Adaptive super resolution for video enhancement
JP5821625B2 (ja) 2011-08-29 2015-11-24 カシオ計算機株式会社 画像編集装置およびプログラム
US9183618B2 (en) * 2012-05-09 2015-11-10 Nokia Technologies Oy Method, apparatus and computer program product for alignment of frames
US20150363912A1 (en) * 2014-06-12 2015-12-17 Samsung Electronics Co., Ltd. Rgbw demosaic method by combining rgb chrominance with w luminance
US10319317B2 (en) * 2015-08-31 2019-06-11 Sharp Kabushiki Kaisha Display control device, display device, method for controlling display control device, and storage medium
JP6736282B2 (ja) * 2015-11-16 2020-08-05 オリンパス株式会社 画像処理装置及び画像処理方法
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
EP3803773B1 (en) * 2018-05-24 2024-09-04 International Electronic Machines Corp. Sensitive area management
TWI695622B (zh) * 2018-09-06 2020-06-01 華晶科技股份有限公司 影像處理方法及影像處理裝置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3500751B2 (ja) 1995-01-20 2004-02-23 ソニー株式会社 画像信号処理装置及び撮像装置
US6693666B1 (en) * 1996-12-11 2004-02-17 Interval Research Corporation Moving imager camera for track and range capture
US6122017A (en) 1998-01-22 2000-09-19 Hewlett-Packard Company Method for providing motion-compensated multi-field enhancement of still images from video
US6711278B1 (en) * 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
WO2000024194A1 (fr) 1998-10-20 2000-04-27 Sony Corporation Dispositif et procede de traitement d'images
US6459823B2 (en) * 1998-10-28 2002-10-01 Hewlett-Packard Company Apparatus and method of increasing scanner resolution
JP4371457B2 (ja) 1999-02-18 2009-11-25 キヤノン株式会社 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
US7020351B1 (en) * 1999-10-08 2006-03-28 Sarnoff Corporation Method and apparatus for enhancing and indexing video and audio signals
JP4596226B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7248751B2 (en) * 2004-03-11 2007-07-24 United States Of America As Represented By The Secretary Of The Navy Algorithmic technique for increasing the spatial acuity of a focal plane array electro-optic imaging system
US8036494B2 (en) * 2004-04-15 2011-10-11 Hewlett-Packard Development Company, L.P. Enhancing image resolution
US20060291750A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution)
US20060291751A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution)
US20070171987A1 (en) * 2006-01-20 2007-07-26 Nokia Corporation Method for optical flow field estimation using adaptive Filting
KR20070119879A (ko) * 2006-06-16 2007-12-21 삼성전자주식회사 영상의 해상도 변환 방법 및 그 장치
US20080002909A1 (en) * 2006-07-03 2008-01-03 Siemens Corporate Research, Inc. Reconstructing Blurred High Resolution Images

Similar Documents

Publication Publication Date Title
JP2005130443A5 (ja)
JP5687553B2 (ja) 画像合成装置、画像合成方法及び画像合成プログラム
JP5531194B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5847228B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2014068779A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP2008244846A (ja) フレーム補間装置及びその方法
TW201143431A (en) Frame rate conversion using motion estimation and compensation
US20120093231A1 (en) Image processing apparatus and image processing method
JP6326180B1 (ja) 画像処理装置
JP2011160090A (ja) 画像処理装置、および信号処理方法、並びにプログラム
JP2012129842A5 (ja) フレーム補間装置及び方法
JP2011199786A (ja) 画像処理装置及び画像処理方法並びにプログラム
JP2013074313A5 (ja)
JP5669599B2 (ja) 画像処理装置及びその制御方法
WO2019008692A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
TW201344629A (zh) 影像處理裝置及其處理方法
US10282880B2 (en) Image processing apparatus that performs an alignment process on a plurality of images, a related control method, and a related storage medium that stores a control program
JP5493112B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR20180133394A (ko) 화상 처리 장치와 화상 처리 방법
JP5424068B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP2017126964A (ja) 撮像制御装置、および撮像装置
JP2006159452A5 (ja)
JP6596286B2 (ja) 画像の高解像化システム及び高解像化方法
CN110692235B (zh) 图像处理装置、图像处理程序及图像处理方法
JP5351200B2 (ja) 画像処理装置、画像処理システムおよび画像処理方法