JP2008140012A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP2008140012A
JP2008140012A JP2006324318A JP2006324318A JP2008140012A JP 2008140012 A JP2008140012 A JP 2008140012A JP 2006324318 A JP2006324318 A JP 2006324318A JP 2006324318 A JP2006324318 A JP 2006324318A JP 2008140012 A JP2008140012 A JP 2008140012A
Authority
JP
Japan
Prior art keywords
image
resolution
processing
super
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006324318A
Other languages
English (en)
Other versions
JP4646146B2 (ja
Inventor
Takefumi Nagumo
武文 名雲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006324318A priority Critical patent/JP4646146B2/ja
Priority to US11/934,852 priority patent/US8036488B2/en
Priority to KR1020070113248A priority patent/KR101421624B1/ko
Priority to EP07254517.1A priority patent/EP1944729A3/en
Priority to CN2007101954801A priority patent/CN101192400B/zh
Publication of JP2008140012A publication Critical patent/JP2008140012A/ja
Application granted granted Critical
Publication of JP4646146B2 publication Critical patent/JP4646146B2/ja
Priority to US13/227,581 priority patent/US8346012B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】高解像度の画像を生成する処理を高速化することができるようにする。
【解決手段】超解像処理器５１0により求められたフィードバック値はSR画像バッファ５５に記憶されているSR画像に加算され、そのような１回目の加算処理によって得られたSR画像が次の超解像処理器５１1により求められたフィードバック値に加算され、さらに、そのような２回目の加算処理によって得られたSR画像が次の超解像処理器５１2により求められたフィードバック値に加算されるといったように、ガウスザイデル法を用いた超解像処理によってSR画像が生成される。生成されたSR画像は外部に出力されるとともに、スイッチ５３を介してSR画像バッファ５５に供給され、次の超解像処理において用いられる。本発明は、画像を扱う装置に適用することができる。
【選択図】図８

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、高解像度の画像を生成する処理を高速化することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
低解像度の画像から高解像度の画像を生成する手法として超解像がある。
超解像とは、重なりを持つ複数の低解像度の画像から、１フレームの高解像度の画像におけるそれぞれの画素の画素値を求めることにより、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子が有する解像度以上の解像度の画像を再構成する手法である。例えば、高解像度の衛星写真を生成するときなどに超解像は用いられる。
図１、図２は、超解像の原理を示す図である。
図１、図２の上方に示されるａ，ｂ，ｃ，ｄ，ｅ，ｆは、ある被写体を撮像して得られた低解像度の画像（LR(Low Resolution)画像）から求めようとする高解像度の画像（SR(Super Resolution)画像）の画素値、すなわち、SR画像の解像度と同じ解像度で被写体を画素化したときのそれぞれの画素の画素値を表す。
例えば、撮像素子の１つの画素の幅が、被写体を構成する画素の２つ分の幅だけあり、被写体を、その解像度のまま取り込むことができない場合、図１に示されるように、撮像素子の３つの画素のうちの左側の画素においてはａとｂの画素値を混合したＡの画素値が取り込まれ、中央の画素においてはｃとｄの画素値を混合したＢの画素値が取り込まれる。また、右側の画素においてはｅとｆの画素値を混合したＣの画素値が取り込まれる。Ａ，Ｂ，Ｃは、撮像して得られたLR画像を構成する画素の画素値を表す。
手ぶれなどにより、図１の被写体とともに、図１の被写体の位置を基準として、被写体を構成する画素の０．５画素分の幅だけシフトさせた位置の被写体が図２に示されるようにして取り込まれた場合（シフトさせながら取り込まれた場合）、撮像素子の３つの画素のうちの左側の画素においてはａの半分とｂの全体とｃの半分の画素値を混合したＤの画素値が取り込まれ、中央の画素においてはｃの半分とｄの全体とｅの半分の画素値を混合したＥの画素値が取り込まれる。また、右側の画素においてはｅの半分とｆの全体の画素値を混合したＦの画素値が取り込まれる。Ｄ，Ｅ，Ｆも、撮像して得られたLR画像を構成する画素の画素値を表す。
このようなLR画像の撮像結果から下式（１）が求められる。式（１）からａ，ｂ，ｃ，ｄ，ｅ，ｆをそれぞれ求めることによって、撮像素子が有する解像度より高い解像度の画像を得ることが可能になる。
Figure 2008140012
図３は、バックプロジェクション（Back Projection）による超解像処理によってSR画像を生成する従来の画像処理装置１の構成例を示すブロック図である。
図３の画像処理装置１は例えばデジタルカメラに設けられ、撮像して得られた静止画の処理を行う。
図３に示されるように、画像処理装置１は、超解像処理器１１0乃至１１2、合算回路１２、加算回路１３、およびSR画像バッファ１４から構成される。
撮像して得られたLR画像であるLR0は超解像処理器１１0に入力され、LR1は超解像処理器１１1に入力される。また、LR2は超解像処理器１１2に入力される。LR0乃至LR2は連続して撮像された画像であり、それぞれ撮像範囲に重なりを有している。連続して撮像が行われた場合、通常、撮像結果の画像に写る被写体の範囲はそれぞれ手ぶれなどにより若干ずれたものとなり、完全に一致せずに重なりを一部に有するものとなる。
超解像処理器１１0は、LR0と、SR画像バッファ１４に記憶されているSR画像に基づいて、それらの差分を表す差分画像を生成し、フィードバック値を合算回路１２に出力する。フィードバック値は、SR画像と同じ解像度の差分画像を表す値になっている。
なお、SR画像バッファ１４には、直前に行われた超解像処理によって生成されたSR画像が記憶されている。処理の開始直後であり、SR画像がまだ１フレームも生成されていない場合、例えば、LR0を、SR画像と同じ解像度の画像にアップサンプリングして得られた画像がSR画像バッファ１４に記憶される。
同様に、超解像処理器１１1は、LR1とSR画像バッファ１４に記憶されているSR画像に基づいて、それらの差分を表す差分画像を生成し、生成した差分画像を表すフィードバック値を合算回路１２に出力する。
超解像処理器１１2は、LR2とSR画像バッファ１４に記憶されているSR画像に基づいて、それらの差分を表す差分画像を生成し、生成した差分画像を表すフィードバック値を合算回路１２に出力する。
合算回路１２は、超解像処理器１１0乃至１１2から供給されたフィードバック値を平均化し、平均化して求められた、SR画像と同じ解像度の画像を加算回路１３に出力する。
加算回路１３は、SR画像バッファ１４に記憶されているSR画像と合算回路１２から供給されたSR画像を加算し、加算して得られたSR画像を出力する。加算回路１３の出力は、超解像処理の結果として画像処理装置１の外部に供給されるとともに、SR画像バッファ１４に供給され、記憶される。
図４は、超解像処理器１１n（超解像処理器１１0，１１1，１１2）の構成例を示すブロック図である。
図４に示されるように、超解像処理器１１nは、動きベクトル検出回路２１、動き補償回路２２、ダウンサンプリングフィルタ２３、加算回路２４、アップサンプリングフィルタ２５、逆方向動き補償回路２６から構成される。
SR画像バッファ１４から読み出されたSR画像は動きベクトル検出回路２１と動き補償回路２２に入力され、撮像して得られたLRnは動きベクトル検出回路２１と加算回路２４に入力される。
動きベクトル検出回路２１は、入力されたSR画像とLRnに基づいて、SR画像を基準とした動きベクトルを検出し、検出した動きベクトルを動き補償回路２２と逆方向動き補償回路２６に出力する。
動き補償回路２２は、動きベクトル検出回路２１から供給された動きベクトルに基づいてSR画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリングフィルタ２３に出力する。動き補償を施して得られた画像に写るオブジェクトの位置は、LRnに写るオブジェクトの位置に近い位置になる。
ダウンサンプリングフィルタ２３は、動き補償回路２２から供給された画像をダウンサンプリングすることによってLRnと同じ解像度の画像を生成し、生成した画像を加算回路２４に出力する。SR画像とLRnから動きベクトルを求め、求めた動きベクトルによって動き補償して得られた画像をLR画像と同じ解像度の画像にすることは、撮像して得られる画像を、SR画像バッファ１４に記憶されているSR画像に基づいてシミュレートすることに相当する。
加算回路２４は、LRnと、そのようにしてシミュレートされた画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリングフィルタ２５に出力する。
アップサンプリングフィルタ２５は、加算回路２４から供給された差分画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償回路２６に出力する。
逆方向動き補償回路２６は、動きベクトル検出回路２１から供給された動きベクトルに基づいて、アップサンプリングフィルタ２５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像を表すフィードバック値を合算回路１２に出力する。逆方向の動き補償を施して得られた画像に写るオブジェクトの位置は、SR画像バッファ１４に記憶されているSR画像に写るオブジェクトの位置に近い位置になる。
"Improving Resolution by Image Registration", MICHAL IRANI AND SHMUEL PELEG, Department of Computer Science, The Hebrew University of Jerusalem, 91904 Jerusalem, Israel, Communicated by Rama Chellapa, Received June 16, 1989; accepted May 25, 1990
バックプロジェクションによる超解像処理は、通常、十分な解像度を有する１フレームのSR画像を得るのに複数回繰り返される。例えば、図３の画像処理装置１により生成され、加算回路１３から出力されたSR画像が十分な解像度を有していない場合、そのSR画像は、SR画像バッファ１４に記憶された後、超解像処理器１１0乃至１１2の入力として再度用いられ、超解像処理が繰り返される。
従って、十分な解像度を有するSR画像を得るまでに時間がかかってしまう。
本発明はこのような状況に鑑みてなされたものであり、高解像度の画像を生成する処理を高速化することができるようにするものである。
本発明の一側面の画像処理装置は、入力された第１の解像度の画像と、前記第１の解像度より高い第２の解像度の画像との差分を表す前記第２の解像度の差分画像の画素を、入力された前記第２の解像度の画像の画素として加える加算処理を行う加算手段を複数含み、それぞれ異なる前記第１の解像度の画像と、直前の前記加算処理により得られた前記第２の解像度の画像とを入力として２回目以降の前記加算処理を行い、所定の回数だけ前記加算処理を行うことによって処理結果の前記第２の解像度の画像を生成する画像処理手段を備える。
前記加算処理により得られた前記第２の解像度の画像を入力として次の前記加算処理を行うか否かを、前記加算処理により得られた前記第２の解像度の画像に基づいて制御する制御手段をさらに設けることができる。
前記差分画像を表す信号のゲインの調整を行う調整手段をさらに設けることができる。
前記差分画像を求めるのに用いられる画像として入力された前記第２の解像度の画像を表す信号のゲインの調整と、求められた前記差分画像を表す信号のゲインの調整のうちの少なくともいずれかを行う調整手段をさらに設けることができる。
１回目の前記加算処理の入力となる前記第２の解像度の初期画像を生成する生成手段をさらに設けることができる。撮像されたｎフレーム目の前記第１の解像度の画像を用いて、ｎフレーム目の処理結果の前記第２の解像度の画像を前記画像処理手段が生成する場合、前記生成手段には、ｎ−１フレーム目の処理結果の前記第２の解像度の画像を構成する一部の画素を、ｎフレーム目の前記第１の解像度の画像をアップサンプリングして得られた画像を構成する画素で置き換えた画像を前記初期画像として生成させることができる。
前記生成手段には、撮像して得られたｎフレーム目の前記第１の解像度の画像をアップサンプリングするアップサンプリング処理手段と、ｎ−１フレーム目の処理結果の前記第２の解像度の画像と、前記アップサンプリング処理手段によるアップサンプリングによって得られた画像に基づいて検出した動きベクトルを用いて、ｎ−１フレーム目の処理結果の前記第２の解像度の画像に動き補償を施す補正手段と、前記補正手段により動き補償が施されることによって得られた画像のうち、動き補償によって位置が移動したオブジェクトが表示されていた領域の画素を、対応する位置にある領域の、前記アップサンプリング処理手段によるアップサンプリングによって得られた画像の画素で置き換えることによって前記初期画像を生成する画像生成手段とをさらに設けることができる。
本発明の一側面の画像処理方法またはプログラムは、それぞれ異なる第１の解像度の画像と、直前の加算処理により得られた第２の解像度の画像とを入力として２回目以降の加算処理を行い、所定の回数だけ加算処理を行うことによって処理結果の第２の解像度の画像を生成するステップを含む。
本発明の一側面においては、それぞれ異なる第１の解像度の画像と、直前の加算処理により得られた第２の解像度の画像とを入力として２回目以降の加算処理が行われ、所定の回数だけ加算処理が行われることによって処理結果の第２の解像度の画像が生成される。
本発明の一側面によれば、高解像度の画像を生成する処理を高速化することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理装置（例えば、図５の撮像装置３１）は、入力された第１の解像度の画像と、前記第１の解像度より高い第２の解像度の画像との差分を表す前記第２の解像度の差分画像の画素を、入力された前記第２の解像度の画像の画素として加える加算処理を行う加算手段（例えば、図８の加算回路５２0）を複数含み、それぞれ異なる前記第１の解像度の画像と、直前の前記加算処理により得られた前記第２の解像度の画像とを入力として２回目以降の前記加算処理を行い、所定の回数だけ前記加算処理を行うことによって処理結果の前記第２の解像度の画像を生成する画像処理手段（例えば、図７の画像処理部４２）を備える。
この画像処理装置には、前記加算処理により得られた前記第２の解像度の画像を入力として次の前記加算処理を行うか否かを、前記加算処理により得られた前記第２の解像度の画像に基づいて制御する制御手段（例えば、図１２のループコントロール回路７１0）をさらに設けることができる。
また、前記差分画像を表す信号のゲインの調整を行う調整手段（例えば、図１４のフィードバックゲインコントロール回路８１）をさらに設けることもできる。
前記差分画像を求めるのに用いられる画像として入力された前記第２の解像度の画像を表す信号のゲインの調整と、求められた前記差分画像を表す信号のゲインの調整のうちの少なくともいずれかを行う調整手段（例えば、図１８のテイストコントロール回路１０１，１０２）をさらに設けることもできる。
１回目の前記加算処理の入力となる前記第２の解像度の初期画像を生成する生成手段（例えば、図２５の初期画像生成回路２０６）をさらに設けることもできる。
前記生成手段には、撮像して得られたｎフレーム目の前記第１の解像度の画像をアップサンプリングするアップサンプリング処理手段（例えば、図２６のアップサンプリング処理部２２１）と、ｎ−１フレーム目の処理結果の前記第２の解像度の画像と、前記アップサンプリング処理手段によるアップサンプリングによって得られた画像に基づいて検出した動きベクトルを用いて、ｎ−１フレーム目の処理結果の前記第２の解像度の画像に動き補償を施す補正手段（例えば、図２６の動き補正部２２２）と、前記補正手段により動き補償が施されることによって得られた画像のうち、動き補償によって位置が移動したオブジェクトが表示されていた領域の画素を、対応する位置にある領域の、前記アップサンプリング処理手段によるアップサンプリングによって得られた画像の画素で置き換えることによって前記初期画像を生成する画像生成手段（例えば、図２６の画像生成部２２３）とをさらに設けることができる。
以下、本発明の実施の形態について図を参照して説明する。
図５は、本発明の一実施形態に係る撮像装置３１を示す図である。
撮像装置３１はデジタルカメラであり、ユーザによる操作に応じて静止画を撮像する機能と、所定のフレームレートの動画を撮像する機能を有する。また、撮像装置３１は、そのような撮像機能によって得られたLR画像を用い、解像度の高いSR画像を超解像処理により生成する機能をも有する。
図６は、超解像処理の例を示す図である。
図６の例においては、撮像して得られたLR画像であるLR0乃至LR2に基づいて画像の再構成が行われ、１フレームのSR画像が生成されている。LR0乃至LR2は連続して撮像されたLR画像であり、撮像範囲に重なりを有している。図６のLR0乃至LR2に重ねて示される縦線、横線は説明の便宜上付しているものである。
撮像装置３１においては、SR画像を生成するとき、図６に示されるようなLR画像に加えて、SR画像をも用いて超解像処理が行われる。
図７は、撮像装置３１の構成例を示すブロック図である。
図７に示されるように、撮像装置３１は、撮像部４１、画像処理部４２、および記録部４３から構成される。
撮像部４１は、静止画、動画の撮像を行い、撮像して得られたLR画像を画像処理部４２に出力する。
画像処理部４２は、撮像部４１から供給されたLR画像に基づいて超解像処理を行い、超解像処理によって得られたSR画像を記録部４３に出力する。画像処理部４２による超解像処理は、記録部４３による制御に従って、目標とする解像度を有するSR画像が生成されるまで繰り返される。
記録部４３は、画像処理部４２から供給されたSR画像が十分な解像度を有している場合、そのSR画像をフラッシュメモリなどの所定の記録媒体に記録させるとともに、画像処理部４２を制御して超解像処理を繰り返すのを停止させる。記録媒体に記録されるSR画像の解像度は、撮像部４１に設けられる撮像素子の解像度よりも高くなる。
図８は、図７の画像処理部４２の構成例を示すブロック図である。
図８に示される画像処理部４２の構成は、例えば、静止画の撮像機能を実現するものとして用意され、超解像処理器５１0乃至５１2、加算回路５２0乃至５２2、スイッチ５３、初期画像生成回路５４、およびSR画像バッファ５５から構成される。
図８の例においては、超解像処理器５１0により求められたフィードバック値はSR画像バッファ５５に記憶されているSR画像に加算され、その１回目の加算処理によって得られたSR画像が次の超解像処理器５１1により求められたフィードバック値に加算され、さらに、その２回目の加算処理によって得られたSR画像が次の超解像処理器５１2により求められたフィードバック値に加算されるといったように、ガウスザイデル法を用いた超解像処理によってSR画像が生成されるようになされている。
図３の従来の構成においては、LR画像とSR画像に基づいて求められた複数のフィードバック値が合算回路１２において平均化されてからSR画像に加えられるようになされているが、図８に示されるように、LR画像とSR画像に基づいて求められたフィードバック値によって表されるSR画像に対して、次の超解像処理器によって求められたフィードバック値がすぐに加算されるようにすることにより、フィードバックの回数が多くなり、十分な解像度を有するSR画像を得ることができるまでの時間（収束するまでの時間）を短縮することができる。すなわち、SR画像を得る処理を高速化することができる。
以下、適宜、入力されたLR画像とSR画像を用いて超解像処理器５１0乃至５１2により行われるフィードバック値を求める処理をフィードバック値演算処理といい、フィードバック値により表される画像をSR画像に加算することによって１フレームのSR画像を生成する処理を加算処理という。超解像処理は、フィードバック値演算処理と加算処理が繰り返されることによって実現される。
撮像部４１によって得られたLR画像であるLR0は超解像処理器５１0に入力され、LR1は超解像処理器５１1に入力される。また、LR2は超解像処理器５１2に入力される。LR0乃至LR2は連続して撮像されたLR画像であり、それぞれ撮像範囲に重なりを有している。
超解像処理器５１0は、LR0と、SR画像バッファ５５に記憶されているSR画像に基づいてフィードバック値演算処理を行い、SR画像と同じ解像度の画像を表すフィードバック値を加算回路５２0に出力する。
加算回路５２0は、SR画像バッファ５５に記憶されているSR画像と超解像処理器５１0から供給されたフィードバック値により表されるSR画像を加算し（SR画像バッファ５５に記憶されているSR画像にない画素の画素値として、フィードバック値により表されるSR画像に含まれる画素の画素値を加え）、加算して得られた１フレームのSR画像を１回目の加算処理の結果として出力する。加算回路５２0から出力されたSR画像は超解像処理器５１1と加算回路５２1に入力される。
超解像処理器５１1は、LR1と、加算回路５２0から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２1に出力する。
加算回路５２1は、加算回路５２0から供給されたSR画像と超解像処理器５１1から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を２回目の加算処理の結果として出力する。加算回路５２1から出力されたSR画像は超解像処理器５１2と加算回路５２2に入力される。
超解像処理器５１2は、LR2と、加算回路５２1から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２2に出力する。
加算回路５２2は、加算回路５２1から供給されたSR画像と超解像処理器５１2から供給されたフィードバック値により表されるSR画像を加算し、加算して得られたSR画像を３回目の加算処理の結果、すなわち超解像処理の結果として出力する。加算回路５２2から出力されたSR画像は、記録部４３に入力されるとともに、スイッチ５３を介してSR画像バッファ５５に供給され、記憶される。
スイッチ５３は、初期画像生成回路５４により初期画像が生成されたとき、端子ａに接続し、初期画像をSR画像バッファ５５に記憶させる。また、スイッチ５３は、超解像処理の結果として得られたSR画像が加算回路５２2から供給されたとき、端子ｂに接続し、SR画像をSR画像バッファ５５に記憶させる。
初期画像生成回路５４は、ある１フレームのSR画像を超解像処理によって生成することを開始するとき、例えば、LR0をSR画像と同じ解像度の画像にアップサンプリングすることによって初期画像を生成し、生成した初期画像を、端子ａに接続させたスイッチ５３を介してSR画像バッファ５５に記憶させる。
SR画像バッファ５５は、初期画像生成回路５４により生成された初期画像、または、加算回路５２2から供給されたSR画像を記憶する。
図９は、超解像処理器５１n（超解像処理器５１0，５１1，５１2）の構成例を示すブロック図である。
図９に示されるように、超解像処理器５１nは図４の構成と同様の構成を有しており、動きベクトル検出回路６１、動き補償回路６２、ダウンサンプリングフィルタ６３、加算回路６４、アップサンプリングフィルタ６５、および逆方向動き補償回路６６から構成される。
フィードバック値の演算に用いるものとして供給されたSR画像は動きベクトル検出回路６１と動き補償回路６２に入力され、撮像して得られたLRnは動きベクトル検出回路６１と加算回路６４に入力される。超解像処理器５１1の動きベクトル検出回路６１と動き補償回路６２にはSR画像バッファ５５に記憶されているSR画像が入力され、超解像処理器５１1または超解像処理器５１2の動きベクトル検出回路６１と動き補償回路６２には前段に設けられる加算回路５２0，５２1から出力されたSR画像が入力される。
動きベクトル検出回路６１は、入力されたSR画像とLRnに基づいて、SR画像を基準とした動きベクトルを検出し、検出した動きベクトルを動き補償回路６２と逆方向動き補償回路６６に出力する。
動き補償回路６２は、動きベクトル検出回路６１から供給された動きベクトルに基づいてSR画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリングフィルタ６３に出力する。動き補償を施して得られた画像に写るオブジェクトの位置は、LRnに写るオブジェクトの位置に近い位置になる。
ダウンサンプリングフィルタ６３は、動き補償回路６２から供給された画像をダウンサンプリングすることによってLRnと同じ解像度の画像を生成し、生成した画像を加算回路６４に出力する。SR画像とLRnから動きベクトルを求め、求めた動きベクトルによって動き補償して得られた画像をLR画像と同じ解像度の画像にすることは、撮像して得られる画像をSR画像に基づいてシミュレートすることに相当する。
加算回路６４は、LRnと、そのようにしてシミュレートされた画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリングフィルタ６５に出力する。
アップサンプリングフィルタ６５は、加算回路６４から供給された差分画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償回路６６に出力する。
逆方向動き補償回路６６は、動きベクトル検出回路６１から供給された動きベクトルに基づいて、アップサンプリングフィルタ６５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像を表すフィードバック値を加算回路５２nに出力する。逆方向の動き補償を施して得られた画像に写るオブジェクトの位置は、SR画像に写るオブジェクトの位置に近い位置になる。
ここで、図１０のフローチャートを参照して、図８の構成を有する画像処理部４２により行われる超解像処理について説明する。
この処理は、撮像部４１により静止画の撮像が行われ、LR0が超解像処理器５１0に、LR1が超解像処理器５１1に、LR2が超解像処理器５１2にそれぞれ入力されたときに開始される。
ステップＳ１において、初期画像生成回路５４は、例えば、LR0をSR画像と同じ解像度の画像にアップサンプリングすることによって初期画像を生成し、生成した初期画像をスイッチ５３を介してSR画像バッファ５５に記憶させる。撮像部４１により得られたLR0は初期画像生成回路５４にも入力される。
ステップＳ２において、超解像処理器５１0は、LR0と、SR画像バッファ５５に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２0に出力する。フィードバック値演算処理については図１１のフローチャートを参照して後述する。
ステップＳ３において、加算回路５２0は、SR画像バッファ５５に記憶されているSR画像と、ステップＳ２で行われたフィードバック値演算処理により求められ、超解像処理器５１0から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を１回目の加算処理の結果として出力する。
ステップＳ４において、超解像処理器５１1は、LR1と、加算回路５２0から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２1に出力する。
ステップＳ５において、加算回路５２1は、加算回路５２0から供給されたSR画像と、ステップＳ４で行われたフィードバック値演算処理により求められ、超解像処理器５１1から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を２回目の加算処理の結果として出力する。
ステップＳ６において、超解像処理器５１2は、LR2と、加算回路５２1から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２2に出力する。
ステップＳ７において、加算回路５２2は、加算回路５２1から供給されたSR画像と、ステップＳ６で行われたフィードバック値演算処理により求められ、超解像処理器５１2から供給されたフィードバック値により表されるSR画像を加算する。
ステップＳ８において、加算回路５２2は、加算回路５２1から供給されたSR画像と、超解像処理器５１2から供給されたフィードバック値により表されるSR画像を加算して得られたSR画像を超解像処理の結果として記録部４３に出力するとともに、SR画像バッファ５５に記憶させる。
その後、記録部４３においては、加算回路５２2から出力されたSR画像が十分な解像度を有しているか否かが判断され、十分な解像度を有していないと判断された場合、処理はステップＳ２に戻り、以上の処理が繰り返される。繰り返し行われる超解像処理のうちの１回目のフィードバック値演算処理、加算処理においては、ステップＳ８の処理でSR画像バッファ５５に記憶されたSR画像が用いられる。
一方、加算回路５２2から出力されたSR画像が十分な解像度を有していると判断された場合、超解像処理を繰り返すことは停止され、その十分な解像度を有する画像が記録される。
次に、図１１のフローチャートを参照して、図１０のステップＳ２，Ｓ４，Ｓ６において行われるフィードバック値演算処理について説明する。
ステップＳ１１において、動きベクトル検出回路６１は、入力されたSR画像とLRnに基づいて、SR画像を基準とした動きベクトルを検出し、検出した動きベクトルを動き補償回路６２と逆方向動き補償回路６６に出力する。
ステップＳ１２において、動き補償回路６２は、動きベクトル検出回路６１から供給された動きベクトルに基づいてSR画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリングフィルタ６３に出力する。
ステップＳ１３において、ダウンサンプリングフィルタ６３は、動き補償回路６２から供給された画像をダウンサンプリングすることによってLRnと同じ解像度の画像を生成し、生成した画像を加算回路６４に出力する。
ステップＳ１４において、加算回路６４は、入力されたLRnと、ダウンサンプリング結果としてダウンサンプリングフィルタ６３から供給された画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリングフィルタ６５に出力する。
ステップＳ１５において、アップサンプリングフィルタ６５は、加算回路６４から供給された差分画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償回路６６に出力する。
ステップＳ１６において、逆方向動き補償回路６６は、動きベクトル検出回路６１から供給された動きベクトルに基づいて、アップサンプリング結果としてアップサンプリングフィルタ６５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像を表すフィードバック値を加算回路５２nに出力する。その後、図１０のステップＳ２，Ｓ４，Ｓ６に戻り、それ以降の処理が行われる。
図１２は、画像処理部４２の他の構成例を示すブロック図である。図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１２の画像処理部４２の構成は、ループコントロール回路７１0および７１1、スイッチ７２0および７２1がさらに設けられ、ループコントロール回路７１0によるスイッチ７２0の切り替えとループコントロール回路７１1によるスイッチ７２1の切り替えに応じて、加算処理の結果が記録部４３に出力されるのか、または、次の加算処理に用いられるのかが制御される点が、図８の構成と異なる。
すなわち、図１２の画像処理部４２においては、ループコントロール回路７１0によるスイッチ７２0の切り替えに応じて、加算回路５２0から出力された１回目の加算処理の結果が２回目の加算処理に用いられるのか、または、記録部４３にそのまま出力されるのかが制御され、ループコントロール回路７１1によるスイッチ７２1の切り替えに応じて、加算回路５２1から出力された２回目の加算処理の結果が３回目の加算処理に用いられるのか、または、記録部４３にそのまま出力されるのかが制御されるようになされている。
例えば、１回目の加算処理の結果として十分な解像度のSR画像が得られていない場合にだけ２回目以降のフィードバック値演算処理、加算処理を行い、加算回路５２1から出力された２回目の加算処理の結果として十分な解像度のSR画像が得られていない場合にだけ３回目のフィードバック値演算処理、加算処理を行うといったように、LR0乃至LR2の各LR画像を用いた処理が終了する毎にSR画像の解像度を確認し、十分な解像度が得られていない場合には次のフィードバック値演算処理、加算処理を行い、反対に、十分な解像度が得られている場合にはそこで処理を打ち切ることにより、場合によってはフィードバック値演算処理、加算処理を少ない回数で終わらせることができ、超解像処理を高速化することが可能となる。
超解像処理器５１0は、LR0と、SR画像バッファ５５に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２0に出力する。
加算回路５２0は、SR画像バッファ５５に記憶されているSR画像と超解像処理器５１0から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を１回目の加算処理の結果として出力する。加算回路５２0から出力されたSR画像は、ループコントロール回路７１0とスイッチ７２0に供給される。
ループコントロール回路７１0は、加算回路５２0から供給されたSR画像の解像度（画質）を確認し、十分な解像度が得られている場合には、スイッチ７２0を端子ａに接続させることによって、１回目の加算処理の結果のSR画像を記録部４３に出力させる。また、ループコントロール回路７１0は、十分な解像度が得られていない場合には、スイッチ７２0を端子ｂに接続させることによって、１回目の加算処理の結果のSR画像を超解像処理器５１1と加算回路５２1に出力させる。
ループコントロール回路７１0に対しては、例えば、SR画像の解像度を確認するのに用いられる基準のSR画像が与えられており、その基準のSR画像との差分、最小二乗誤差、共分散などに基づいて、加算処理の結果のSR画像の出力先が判断される。例えば、基準のSR画像との差分が閾値として設定されている差より小さい場合、加算処理の結果のSR画像は記録部４３に出力される。例えば、基準のSR画像としては、SR画像バッファ５５に記録されているSR画像であったり、超解像処理器５２0乃至５２2のいずれかより出力されたSR画像が適宜選択されるようにしてもよい。
超解像処理器５１1は、LR1と、スイッチ７２0を介して加算回路５２0から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２1に出力する。
加算回路５２1は、スイッチ７２0を介して加算回路５２0から供給されたSR画像と超解像処理器５１1から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を２回目の加算処理の結果として出力する。加算回路５２1から出力されたSR画像は、ループコントロール回路７１1とスイッチ７２1に供給される。
ループコントロール回路７１1は、加算回路５２1から供給されたSR画像の解像度を確認し、十分な解像度が得られている場合には、スイッチ７２1を端子ａに接続させることによって、２回目の加算処理の結果のSR画像を記録部４３に出力させる。また、ループコントロール回路７１1は、十分な解像度が得られていない場合には、スイッチ７２1を端子ｂに接続させることによって、２回目の加算処理の結果のSR画像を超解像処理器５１2と加算回路５２2に出力させる。
ループコントロール回路７１1に対しても、SR画像の解像度を確認するのに用いられる基準のSR画像が与えられている。
超解像処理器５１2は、LR2と、スイッチ７２1を介して加算回路５２1から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２2に出力する。
加算回路５２2は、スイッチ７２1を介して加算回路５２1から供給されたSR画像と超解像処理器５１2から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を超解像処理の結果として出力する。加算回路５２2から出力されたSR画像は、記録部４３に供給されるとともに、スイッチ５３を介してSR画像バッファ５５に供給され、記憶される。
なお、図１２の超解像処理器５１0乃至５１2も、それぞれ、図９に示される構成と同じ構成を有している。
ここで、図１３のフローチャートを参照して、図１２の構成を有する画像処理部４２により行われる超解像処理について説明する。
この処理も、撮像部４１により静止画の撮像が行われ、LR0が超解像処理器５１0、LR1が超解像処理器５１1、LR2が超解像処理器５１2にそれぞれ入力されたときに開始される。
ステップＳ２１において、初期画像生成回路５４は、LR0をアップサンプリングするなどして初期画像を生成し、生成した初期画像をスイッチ５３を介してSR画像バッファ５５に記憶させる。
ステップＳ２２において、超解像処理器５１0は、LR0と、SR画像バッファ５５に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２0に出力する。ここでは、図１１を参照して説明した処理と同じ処理が行われる。
ステップＳ２３において、加算回路５２0は、ステップＳ２２で行われたフィードバック値演算処理により求められ、超解像処理器５１0から供給されたフィードバック値により表されるSR画像をSR画像バッファ５５に記憶されているSR画像に加算し、加算して得られた１フレームのSR画像を１回目の加算処理の結果として出力する。
ステップＳ２４において、ループコントロール回路７１0は、加算回路５２0から供給されたSR画像の画質を確認する。
ステップＳ２５において、ループコントロール回路７１0は、フィードバック値演算処理などを繰り返すか否かをSR画像の画質の確認結果に基づいて判定する。
ステップＳ２５においてフィードバック値演算処理を繰り返すと判定された場合、ステップＳ２６において、超解像処理器５１1は、LR1と、スイッチ７２0を介して加算回路５２0から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２1に出力する。
ステップＳ２７において、加算回路５２1は、ステップＳ２６で行われたフィードバック値演算処理により求められ、超解像処理器５１1から供給されたフィードバック値により表されるSR画像を、加算回路５２0から供給されたSR画像に加算し、加算して得られたSR画像を２回目の加算処理の結果として出力する。
ステップＳ２８において、ループコントロール回路７１1は、加算回路５２1から供給されたSR画像の画質を確認する。
ステップＳ２９において、ループコントロール回路７１1は、フィードバック値演算処理などを繰り返すか否かをSR画像の画質の確認結果に基づいて判定する。
ステップＳ２９においてフィードバック値演算処理を繰り返すと判定された場合、ステップＳ３０において、超解像処理器５１2は、LR2と、スイッチ７２1を介して加算回路５２1から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路５２2に出力する。
ステップＳ３１において、加算回路５２2は、ステップＳ３０で行われたフィードバック値演算処理により求められ、超解像処理器５１2から供給されたフィードバック値により表されるSR画像を、加算回路５２1から供給されたSR画像に加算する。
ステップＳ３２において、加算回路５２2は、加算回路５２1から供給されたSR画像と、超解像処理器５１2から供給されたフィードバック値により表されるSR画像を加算して得られたSR画像を超解像処理の結果として記録部４３に出力するとともに、SR画像バッファ５５に記憶させる。その後、処理はステップＳ２２に戻り、以上の処理が繰り返される。
一方、ステップＳ２５，Ｓ２９においてフィードバック値演算処理などを繰り返さないと判定された場合、十分な画質を有していると判断されたSR画像が記録部４３に出力され、処理は終了される。
図１４は、超解像処理器５１nの他の構成例を示すブロック図である。図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１４の超解像処理器５１nの構成は、逆方向動き補償回路６６の後段にフィードバックゲインコントロール回路８１がさらに設けられる点が図９の構成と異なる。
フィードバックゲインコントロール回路８１は、逆方向動き補償回路６６から供給されたフィードバック値のゲインを調整し、ゲインを調整して得られたフィードバック値を加算回路５２nに出力する。逆方向動き補償回路６６からは、LRnとSR画像の差分画像をアップサンプリングした画像に逆方向の動き補償を施すことによって得られた画像がフィードバック値として供給されてくる。
例えば、フィードバックゲインコントロール回路８１は、逆方向動き補償回路６６から供給されたフィードバック値によって表されるSR画像の画像信号の全体の周波数成分を任意倍のものにすることによってゲインを調整したり、周波数成分毎に異なる値を乗算することによってゲインを調整したりする。
また、フィードバックゲインコントロール回路８１は、ゲインを上げてSR画像に加えたときに画質に悪影響を与えそうな周波数成分の信号については、逆にゲインを下げたりする。画質に悪影響を与えるものであるか否かは、例えば、逆方向動き補償回路６６から供給されたフィードバック値に含まれるノイズの量や、動きベクトル検出時に求められるSAD(Sum of Absolute Difference)等の動きベクトルの信頼度に基づいて判断される。なお、ゲインを調整する処理が画像全体に均一に施されるようにしてもよいし、領域毎に施されるようにしてもよい。
図１５Ａ乃至Ｄは、フィードバックゲインコントロール回路８１により実現されるゲイン調整の特性の例を示す図である。
横軸は周波数、縦軸はゲインを表し、図１５Ａに示される特性は、低い周波数成分のゲインを下げ、高い周波数成分のゲインを上げるものになっている。図１５Ｂに示される特性は、低い周波数成分のゲインを上げ、高い周波数成分のゲインを下げるものになっている。図１５Ｃに示される特性は、中間付近の周波数成分のゲインを上げ、それ以外の成分のゲインを下げるものになっている。図１５Ｄに示される特性は、全ての周波数成分のゲインを下げるものになっている。
ここで、図１６のフローチャートを参照して、図１４の構成を有する超解像処理器５１nにより行われるフィードバック値演算処理について説明する。この処理も、図１０のステップＳ２，Ｓ４，Ｓ６において行われる。
図１６に示される処理は、ゲインを調整する処理が加えられている点を除いて図１１を参照して説明した処理と同じである。すなわち、ステップＳ４１において、動きベクトル検出回路６１は、入力されたSR画像とLRnに基づいて動きベクトルを検出し、検出した動きベクトルを動き補償回路６２と逆方向動き補償回路６６に出力する。
ステップＳ４２において、動き補償回路６２は、動きベクトル検出回路６１から供給された動きベクトルに基づいてSR画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリングフィルタ６３に出力する。
ステップＳ４３において、ダウンサンプリングフィルタ６３は、動き補償回路６２から供給された画像をダウンサンプリングすることによってLRnと同じ解像度の画像を生成し、生成した画像を加算回路６４に出力する。
ステップＳ４４において、加算回路６４は、入力されたLRnと、ダウンサンプリング結果としてダウンサンプリングフィルタ６３から供給された画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリングフィルタ６５に出力する。
ステップＳ４５において、アップサンプリングフィルタ６５は、加算回路６４から供給された画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償回路６６に出力する。
ステップＳ４６において、逆方向動き補償回路６６は、動きベクトル検出回路６１から供給された動きベクトルに基づいて、アップサンプリング結果としてアップサンプリングフィルタ６５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像をフィードバックゲインコントロール回路８１に出力する。
ステップＳ４７において、フィードバックゲインコントロール回路８１は、逆方向動き補償回路６６から供給された、逆方向の動き補償の結果である画像を表す信号のゲインを調整し、ゲインを調整して得られたフィードバック値を加算回路５２nに出力する。その後、図１０のステップＳ２，Ｓ４，Ｓ６に戻り、それ以降の処理が行われる。
図１７は、超解像処理器５１nのさらに他の構成例を示すブロック図である。図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１７の超解像処理器５１nの構成は、フィードバックゲインコントロール回路８１が、逆方向動き補償回路６６の後段ではなく加算回路６４とアップサンプリングフィルタ６５の間に設けられる点で図１４の構成と異なる。すなわち、図１７の構成においては、加算回路６４により求められた差分画像がフィードバックゲインコントロール回路８１に供給され、この段階で差分画像に対してゲインの調整が行われるようになされている。
このように、フィードバックゲインコントロール回路８１の挿入位置は逆方向動き補償回路６６の後段の位置に限定されるものではない。図１７に示されるように加算回路６４とアップサンプリングフィルタ６５の間にフィードバックゲインコントロール回路８１を挿入するとした場合、アップサンプリングフィルタ６５の機能とフィードバックゲインコントロール回路８１の機能を１つの回路によって実現するようにしてもよい。
図１８は、超解像処理器５１nの他の構成例を示すブロック図である。図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１８の超解像処理器５１nの構成は、動き補償回路６２の前段にテイストコントロール回路１０１が設けられ、逆方向動き補償回路６６の後段にテイストコントロール回路１０２が設けられる点で図９の構成と異なる。
図１８に示されるように、フィードバック値の演算に用いられるSR画像は動きベクトル検出回路６１とテイストコントロール回路１０１に供給される。テイストコントロール回路１０１に対しては、ユーザによる操作に応じたテイストパラメータも供給される。テイストパラメータはテイストコントロール回路１０２にも供給される。
テイストパラメータは、例えば、図１９に示されるようなGUI(Graphical User Interface)を用いてユーザにより調整された値を表すものであり、この値に応じて、処理に用いられるフィルタが選択され、選択されたフィルタに応じた画質のSR画像が超解像処理器５１nにより生成される。図１９の例においては、ユーザはスライドバー１１１をスライドさせることによって値を調整することができるようになされており、現在の調整値が表示部１１２に表示されている。
図１８の説明に戻り、テイストコントロール回路１０１は、テイストパラメータに応じてフィルタを選択し、選択したフィルタを用いて、SR画像にフィルタリングを施す。テイストコントロール回路１０１は、フィルタリングを施して得られたSR画像を動き補償回路６２に出力する。
後段の回路においては上述した処理と同様の処理が行われる。すなわち、動き補償回路６２においては、テイストコントロール回路１０１から供給されたSR画像に対して動き補償が施され、動き補償を施して得られた画像が、ダウンサンプリングフィルタ６３においてダウンサンプリングされる。加算回路６４においてはLRnとの差分を表す差分画像が生成され、差分画像をアップサンプリングフィルタ６５においてアップサンプリングした画像に対して、逆方向の動き補償が逆方向動き補償回路６６において施される。逆方向の動き補償を施して得られたSR画像はテイストコントロール回路１０２に供給される。
テイストコントロール回路１０２は、テイストパラメータに応じてフィルタを選択し、選択したフィルタを用いて、逆方向動き補償回路６６から供給されたSR画像に対してフィルタリングを施す。テイストコントロール回路１０２は、フィルタリングを施して得られたSR画像をフィードバック値として加算回路５２nに出力する。
図２０Ａ乃至Ｄは、テイストコントロール回路１０１，１０２において選択されるフィルタの特性の例を示す図である。
図２０Ａ乃至Ｄに示される特性は、それぞれ、図１５Ａ乃至Ｄに示される特性と同じものであり、このようなフィルタの特性が、図２０Ａに示されるようにテイストパラメータに応じて調整される。
例えば、加算回路５２nから出力されるSR画像の画質が、ぎらつき感が多いようなものであり、それを少なくするようにユーザが調整した場合、テイストコントロール回路１０２によりLPF(Low Pass Filter)が選択され、加算回路５２nから出力されるSR画像の画質がよりマイルドなものになるように調整される。
ここで、図２１のフローチャートを参照して、図１８の構成を有する超解像処理器５１nにより行われるフィードバック値演算処理について説明する。
図２１に示される処理は、画質を調整する処理が加えられている点を除いて図１１などを参照して説明した処理と同じである。
ステップＳ５１において、テイストコントロール回路１０１は、テイストパラメータに応じてフィルタを選択し、選択したフィルタを用いて、供給されたSR画像に対してフィルタリングを施す（テイストコントロールを施す）。テイストコントロール回路１０１は、フィルタリングを施して得られたSR画像を動き補償回路６２に出力する。
ステップＳ５２において、動きベクトル検出回路６１は、入力されたSR画像とLRnに基づいて動きベクトルを検出し、検出した動きベクトルを動き補償回路６２と逆方向動き補償回路６６に出力する。
ステップＳ５３において、動き補償回路６２は、動きベクトル検出回路６１から供給された動きベクトルに基づいて、テイストコントロールが施され、テイストコントロール回路１０１から供給されたSR画像に動き補償を施し、動き補償を施して得られた画像をダウンサンプリングフィルタ６３に出力する。
ステップＳ５４において、ダウンサンプリングフィルタ６３は、動き補償回路６２から供給された画像をダウンサンプリングすることによってLRnと同じ解像度の画像を生成し、生成した画像を加算回路６４に出力する。
ステップＳ５５において、加算回路６４は、入力されたLRnと、ダウンサンプリング結果としてダウンサンプリングフィルタ６３から供給された画像の差分を表す差分画像を生成し、生成した差分画像をアップサンプリングフィルタ６５に出力する。
ステップＳ５６において、アップサンプリングフィルタ６５は、加算回路６４から供給された画像をアップサンプリングすることによってSR画像と同じ解像度の画像を生成し、生成した画像を逆方向動き補償回路６６に出力する。
ステップＳ５７において、逆方向動き補償回路６６は、動きベクトル検出回路６１から供給された動きベクトルに基づいて、アップサンプリング結果としてアップサンプリングフィルタ６５から供給された画像に逆方向の動き補償を施し、逆方向の動き補償を施して得られた画像をテイストコントロール回路１０２に出力する。
ステップＳ５８において、テイストコントロール回路１０２は、テイストパラメータに応じてフィルタを選択し、選択したフィルタを用いて、逆方向動き補償回路６６から供給されたSR画像に対してフィルタリングを施す。テイストコントロール回路１０２は、フィルタリングを施して得られたSR画像をフィードバック値として加算回路５２nに出力する。その後、図１０のステップＳ２，Ｓ４，Ｓ６に戻り、それ以降の処理が行われる。
図２２は、超解像処理器５１nのさらに他の構成例を示すブロック図である。図１８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２２の超解像処理器５１nの構成は、テイストコントロール回路１０１が、動き補償回路６２の前段ではなくダウンサンプリングフィルタ６３と加算回路６４の間に設けられる点と、テイストコントロール回路１０２が、逆方向動き補償回路６６の後段ではなく加算回路６４とアップサンプリングフィルタ６５の間に設けられる点で図１８の構成と異なる。
すなわち、図２２の構成においては、ダウンサンプリングフィルタ６３により得られた画像がテイストコントロール回路１０１に供給され、LRnと同じ解像度の画像に対してフィルタリングが施されるようになされている。また、加算回路６４により求められた差分画像がテイストコントロール回路１０２に供給され、この段階で差分画像に対してフィルタリングが施されるようになされている。
このように、テイストコントロール回路１０１は、差分画像を求める構成である加算回路６４より前段の位置であれば、超解像処理器５１n内のどの位置に設けられるようにしてもよい。また、テイストコントロール回路１０２は、加算回路６４より後段の位置であれば、超解像処理器５１n内のどの位置に設けられるようにしてもよい。例えば、DSF，USFとの合成フィルタによって、テイストコントロール回路１０１，１０２を実現することも可能である。
なお、テイストコントロール回路１０１とテイストコントロール回路１０２のうち、いずれか一方だけが設けられるようにしてもよい。
次に、動画の撮像機能を実現する構成について説明する。
図２３は、撮像装置３１により行われる動画の撮像の概念を示す図である。
図２３のLRn乃至LRn+5は撮像部４１により撮像されたLR画像であり、超解像処理に用いられる。撮像部４１においては、例えば、３０フレーム／秒のフレームレートでLR画像の撮像が行われる。
図２３に示されるように、それぞれの超解像処理においては、１回目の処理を除いて、連続して撮像された３フレームのLR画像と、１フレームのSR画像が用いられる。例えば、１回目の超解像処理においては、LRn，LRn+1，LRn+2の３フレームのLR画像が用いられ、１フレームのSR画像であるSRnが生成される。
また、２回目の超解像処理においては、LRn+1，LRn+2，LRn+3の３フレームのLR画像と、１回目の超解像処理によって生成されたSR画像であるSRnが用いられ、１フレームのSR画像であるSRn+1が生成される。
３回目の超解像処理においては、LRn+2，LRn+3，LRn+4の３フレームのLR画像と、２回目の超解像処理によって生成されたSR画像であるSRn+1が用いられ、１フレームのSR画像であるSRn+2が生成される。
このように、撮像装置３１においては、超解像処理によって生成されたSR画像が直後の超解像処理にも用いられ、これにより、例えば、図２４に示されるようにLR画像だけを用いて超解像処理を行う場合に較べて、処理を高速化することができるようになされている。
図２４は、超解像処理を用いた従来の動画の撮像機能の概念を示す図であり、それぞれの超解像処理においては、連続して撮像された３フレームのLR画像だけが用いられている。例えば、１回目の超解像処理においては、LRn，LRn+1，LRn+2の３フレームのLR画像が用いられ、１フレームのSR画像であるSRnが生成されている。また、２回目の超解像処理においては、LRn+1，LRn+2，LRn+3の３フレームのLR画像が用いられ、１フレームのSR画像であるSRn+1が生成されている。
図２５は、図２３に示されるように、連続して撮像された３フレームのLR画像と、直前の超解像処理によって得られた１フレームのSR画像を用いて超解像処理を行い、動画の撮像を実現する画像処理部４２の構成例を示すブロック図である。
図２５の画像処理部４２は、基本的に、静止画の撮像を実現する図３の構成を動画の撮像を実現するものとして拡張したものである。
図２５に示されるように、画像処理部４２は、超解像処理器２０１0乃至２０１2、動画適用処理回路２０２1，２０２2、合算回路２０３、加算回路２０４、スイッチ２０５、初期画像生成回路２０６、およびSR画像バッファ２０７から構成される。
撮像して得られたLR画像であるLRnは超解像処理器２０１0、動画適用処理回路２０２1，２０２2、初期画像生成回路２０６に入力され、LRn+1は超解像処理器２０１1と動画適用処理回路２０２1に入力される。LRn+2は超解像処理器２０１2と動画適用処理回路２０２2に入力される。
超解像処理器２０１0は、LRnと、SR画像バッファ２０７に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を合算回路２０３に出力する。超解像処理器２０１0に入力されるLRnとSR画像には写っている内容に大きな差がなく、超解像処理器２０１0によって求められたフィードバック値により表されるSR画像は基本的に全ての画素の情報を加算処理に使うことができると考えられるから、超解像処理器２０１0の出力は、超解像処理器２０１1，２０１2の出力とは異なり、動画適用処理が施されることなく、そのまま合算回路２０３に出力される。
超解像処理器２０１1は、LRn+1とSR画像バッファ２０７に記憶されているSR画像に基づいてフィードバック値演算処理を行い、SR画像を表すフィードバック値を動画適用処理回路２０２1に出力する。
超解像処理器２０１2は、LRn+2とSR画像バッファ２０７に記憶されているSR画像に基づいてフィードバック値演算処理を行い、SR画像を表すフィードバック値を動画適用処理回路２０２2に出力する。
動画適用処理回路２０２1は、超解像処理器２０１1から供給されたSR画像の画素のうち、SR画像バッファ２０７に記憶されているSR画像に加算するのに用いることができると判断した画素の情報だけをフィードバック値として合算回路２０３に出力する。
例えば、SR画像バッファ２０７に記憶されているSR画像に加算したときに画質を落としてしまうと考えられる領域の画素はSR画像に加算するのに用いることができない画素として判断され、加算したときに画質の向上に貢献すると考えられる領域の画素だけが動画適用処理によって抽出される。動画の撮像においては、動きの大きいものが被写体になることが多く、フィードバック値演算処理内の１つの処理として動き補償を行ったときに被写体がぼけて写っている画像が得られてしまうことがあるから、この動画適用処理により、そのようにぼけて写っている領域の画素が除かれる。動画適用処理の詳細については後述する。
動画適用処理回路２０２2は、超解像処理器２０１2から供給されたSR画像の画素のうち、SR画像バッファ２０７に記憶されているSR画像に加算するのに用いることができると判断した画素の情報だけをフィードバック値として合算回路２０３に出力する。
合算回路２０３は、超解像処理器２０１0、動画適用処理回路２０２1，２０２2から供給されたフィードバック値を平均化し、平均化して求められた、SR画像と同じ解像度の画像を加算回路２０４に出力する。
加算回路２０４は、SR画像バッファ２０７に記憶されているSR画像と合算回路２０３から供給されたSR画像を加算し、加算して得られたSR画像を出力する。加算回路２０４の出力は、超解像処理の結果として記録部４３に供給されるとともに、SR画像バッファ２０７に供給され、記憶される。
スイッチ２０５は、初期画像生成回路２０６により初期画像が生成されたとき、端子ａに接続し、初期画像をSR画像バッファ２０７に記憶させる。また、スイッチ２０５は、加算回路２０４からSR画像が供給されたとき、端子ｂに接続し、SR画像をSR画像バッファ２０７に記憶させる。スイッチ２０５は、繰り返される超解像処理のうち、初回の超解像処理が行われるときに端子ａに接続し、２回目以降の超解像処理が行われるときに端子ｂに接続する。
初期画像生成回路２０６は、撮像して得られたLRnと、超解像処理の処理結果として得られた直前のフレームのSR画像であるSRn-1に基づいて初期画像を生成し、生成した初期画像を、端子ａに接続させたスイッチ２０５を介してSR画像バッファ２０７に記憶させる。例えば、２フレーム目のSR画像を超解像処理によって生成しようとするとき、撮像して得られたLR2と、超解像処理の処理結果として得られたSR画像であるSR1が初期画像生成回路２０６に供給され、３フレーム目のSR画像を超解像処理によって生成しようとするとき、撮像して得られたLR3と、超解像処理の処理結果として得られたSR画像であるSR2が供給される。
SR画像バッファ２０７は、初期画像生成回路２０６により生成された初期画像、または、加算回路２０４から出力されたSR画像を記憶する。
図２６は、初期画像生成回路２０６の構成例を示すブロック図である。
図２６に示されるように、初期画像生成回路２０６は、アップサンプリング処理部２２１、動き補正部２２２、および画像生成部２２３から構成される。LRnはアップサンプリング処理部２２１に入力され、SRn-1は動き補正部２２２に入力される。
アップサンプリング処理部２２１は、LRnを、SR画像と同じ解像度の画像にアップサンプリングし、アップサンプリングして得られた画像を動き補正部２２２と画像生成部２２３に出力する。
動き補正部２２２は、SRn-1と、アップサンプリング処理部２２１から供給された、LRnのアップサンプリング結果に基づいて、LRnのアップサンプリング結果を基準として動きベクトルを検出し、検出した動きベクトルを用いてSRn-1に動き補償を施す。動き補正部２２２は、動き補償を施して得られた画像を画像生成部２２３に出力する。
画像生成部２２３は、アップサンプリング処理部２２１から供給されたLRnのアップサンプリング結果と、動き補正部２２２から供給された動き補償の結果に基づいて初期画像を生成し、生成した初期画像をSR画像バッファ２０７に記憶させる。画像生成部２２３は、例えば、動き補正部２２２から供給されたSR画像のうちの動き補償をうまく行うことができない領域の画素を、同じ位置にある領域の、LRnのアップサンプリング結果のSR画像の画素で置き換えることによって初期画像を生成する。
図２７Ａ乃至Ｃは、初期画像の生成の例を示す図である。
図２７Ａの左側に示されるLRnはアップサンプリング処理部２２１に入力されるLR画像であり、右側に示されるSRn-1は動き補正部２２２に入力されるSR画像である。LRnとSRn-1の大きさの違いは解像度の違いを表す。LRnはSRn-1の生成に用いられたLRn-1の後に撮像されたものであるから、LRnに写る自動車の位置は、SRn-1に写る自動車の位置より進行方向に移動した位置になっている。LRnとSRn-1の背景はほぼ同じ風景である。
例えば、このようなLRnがアップサンプリングされ、アップサンプリング結果とSRn-1を用いて動きベクトルが検出される。検出される動きベクトルは、SRn-1に写る自動車の位置から、LRnのアップサンプリング結果に写る自動車の位置に向かうベクトルとなる。そのような動きベクトルを用いてSRn-1に対して動き補償が施された場合、動き補償の結果として、図２７Ｂに示されるようなSR画像が得られる。
図２７Ｂに示されるSR画像は、図２７ＡのSRn-1と較べて自動車の位置が進行方向に移動したものになっている。領域Ａ1は、SRn-1には写っていない背景の領域であり、この領域Ａ1が、動き補償をうまく行うことができない領域として抽出される。
図２７Ｃに示されるSR画像は、図２７Ｂに示されるSR画像のうちの領域Ａ1の画素を、LRnのアップサンプリング結果のうちの領域Ａ1と同じ位置にある領域の画素で置き換えた画像である。このように、動き補償をうまく行うことができない領域の画素を、LRnのアップサンプリング結果の画素によって置き換えたSR画像が初期画像として用いられる。なお、図２７Ｃの初期画像に示される領域Ａ1を表す枠は説明の便宜上付しているものであり、実際に画像に写っているものではない。
このような初期画像の生成が、繰り返し行われる超解像処理のうちの初回の超解像処理の開始時に行われる。
図２８は、動画適用処理回路２０２1の構成例を示すブロック図である。
図２８に示されるように、動画適用処理回路２０２1は、差分画像生成部２３１、二値化処理部２３２、拡大処理部２３３、およびマスク処理部２３４から構成される。
撮像して得られたLRnとLRn+1は差分画像生成部２３１に入力され、超解像処理器２０１1によりフィードバック値演算処理が行われることによって得られたSR画像はマスク処理部２３４に入力される。
差分画像生成部２３１は、LRnとLRn+1の差分を表す差分画像を求め、求めた差分画像を二値化処理部２３２に出力する。
二値化処理部２３２は、差分画像生成部２３１から供給された差分画像に基づいて、例えば、LRnとLRn+1の差分がほとんどない領域を１、差分が閾値よりある領域を０で表す二値化画像を生成し、生成した二値化画像を拡大処理部２３３に出力する。
拡大処理部２３３は、二値化処理部２３２により生成された二値化画像をSR画像と同じ解像度の画像に拡大し、マスク画像としてマスク処理部２３４に出力する。
マスク処理部２３４は、拡大処理部２３３から供給されたマスク画像を用いて、超解像処理器２０１1から供給されたSR画像にマスク処理を施し、マスク処理を施した結果をフィードバック値として合算回路２０３に出力する。
図２９Ａ乃至Ｃは、マスク画像の生成の例を示す図である。
図２９Ａの左側に示されるLRn+1と右側に示されるLRnは差分画像生成部２３１に入力されるLR画像である。例えば、このようなLR画像から差分画像が求められ、二値化される。
図２９Ｂは二値化画像の例を示す図であり、二値化画像全体のうち、領域Ａ11は、LRn+1とLRnのいずれのLR画像にも背景が写っている領域に対応する領域であり、差分がほとんどないから、この領域が１で表される。
一方、領域Ａ12は、LRn+1においては自動車が写っている領域、LRnにおいては背景が写っている領域にそれぞれ対応する領域であるから、差分があり、この領域が０で表される。領域Ａ13は、LRn+1においては背景が写っている領域、LRnにおいては自動車が写っている領域にそれぞれ対応する領域であるから、差分があり、この領域も０で表される。
図２９Ｃに示されるSR画像は、図２９Ｂに示される二値化画像をSR画像と同じ解像度の画像に拡大して得られたマスク画像である。フィードバック値演算処理により得られたSR画像に対して、このようなマスク画像を用いたマスク処理が施される。マスク処理により、フィードバック値演算処理により得られたSR画像のうち、図２９Ｃのマスク画像において黒色で表される領域に対応する領域の画素が０で置き換えられ、そのように一部が０で置き換えられたSR画像がフィードバック値として合算回路２０３に出力される。
このようなマスク処理がフィードバック値演算処理の結果に施されることにより、動きのはげしい被写体の領域の画素の情報がフィードバックされ、SR画像バッファ２０７に記憶されているSR画像に加えられるのを防ぐことができる。動きのはげしい被写体の領域は、被写体ぶれを起こしている可能性があるから、そのような領域の画素の情報がフィードバックされるのを防ぐことにより、SR画像の画質が劣化するのを防ぐことができる。
なお、動画適用処理回路２０２2も図２８の構成と同じ構成を有している。動画適用処理回路２０２2においては、LRn+1に替えてLRn+2が用いられ、上述した処理と同様の処理が行われる。
ここで、図３０のフローチャートを参照して、図２５の構成を有する画像処理部４２により行われる動画撮像時の超解像処理について説明する。
この処理は、撮像部４１により動画の撮像が行われ、LRnが超解像処理器２０１0、動画適用処理回路２０２1，２０２2、および初期画像生成回路２０６に入力され、LRn+1が超解像処理器２０１1と動画適用処理回路２０２1に入力され、LRn+2が超解像処理器２０１2と動画適用処理回路２０２2に入力されたときに開始される。
ステップＳ１０１において、初期画像生成回路２０６は初期画像生成処理を実行し、生成した初期画像をSR画像バッファ２０７に記憶させる。初期画像生成処理については図３１のフローチャートを参照して後述する。
ステップＳ１０２において、超解像処理器２０１0乃至２０１2は、それぞれ、LR画像とSR画像バッファ２０７に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を出力する。
超解像処理器２０１0においてはLRnとSR画像に基づいて、超解像処理器２０１1においてはLRn+1とSR画像に基づいて、超解像処理器２０１2においてはLRn+2とSR画像に基づいて、それぞれ、図１１を参照して説明した処理と同様の処理が行われる。超解像処理器２０１0から出力されたフィードバック値は合算回路２０３に入力され、超解像処理器２０１1から出力されたフィードバック値は動画適用処理回路２０２1に入力される。超解像処理器２０１2から出力されたフィードバック値は動画適用処理回路２０２2に入力される。
ステップＳ１０３において、動画適用処理回路２０２1，２０２2は、それぞれ動画適用処理を行い、動画適用処理によって得られたフィードバック値を合算回路２０３に出力する。動画適用処理については図３２のフローチャートを参照して後述する。
ステップＳ１０４において、合算回路２０３は、超解像処理器２０１0、動画適用処理回路２０２1，２０２2から供給されたフィードバック値を合算し、合算した結果を加算回路２０４に出力する。
ステップＳ１０５において、加算回路２０４は、合算回路２０３から供給されたフィードバック値により表されるSR画像を、SR画像バッファ２０７に記憶されているSR画像に加算する。
ステップＳ１０６において、加算回路２０４は、加算して得られたSR画像を記録部４３に出力するとともに、SR画像バッファ２０７に供給し、記憶させる。
画像処理部４２から出力されたSR画像の解像度が十分な解像度を有していると判断されるまで、ステップＳ１０２以降の処理が繰り返される。
次に、図３１のフローチャートを参照して、図３０のステップＳ１０１において行われる初期画像生成処理について説明する。
ステップＳ１１１において、初期画像生成回路２０６のアップサンプリング処理部２２１は、LRnを、SR画像と同じ解像度の画像にアップサンプリングし、アップサンプリングして得られた画像を動き補正部２２２と画像生成部２２３に出力する。
ステップＳ１１２において、動き補正部２２２は、SRn-1と、アップサンプリング処理部２２１から供給された、LRnのアップサンプリング結果に基づいて動きベクトルを検出する。
ステップＳ１１３において、動き補正部２２２は、検出した動きベクトルを用いてSRn-1に動き補償を施し、得られた画像を画像生成部２２３に出力する。
ステップＳ１１４において、画像生成部２２３は、アップサンプリング処理部２２１から供給されたLRnのアップサンプリング結果のSR画像と、動き補正部２２２から供給された動き補償の結果のSR画像を比較し、動き補償の結果のSR画像のうち、動き補償を行うことができない領域を抽出する。
ステップＳ１１５において、画像生成部２２３は、ステップＳ１１４で抽出した領域の画素を、同じ位置にある領域の、LRnのアップサンプリング結果のSR画像の画素で置き換えることによって初期画像を生成する。その後、図３０のステップＳ１０１に戻り、それ以降の処理が行われる。
次に、図３２のフローチャートを参照して、図３０のステップＳ１０３において行われる動画適用処理について説明する。ここでは、動画適用処理回路２０２1が行う処理について説明する。同様の処理が動画適用処理回路２０２2においても行われる。
ステップＳ１２１において、動画適用処理回路２０２1の差分画像生成部２３１は、LRnとLRn+1の差分を表す差分画像を求め、求めた差分画像を二値化処理部２３２に出力する。
ステップＳ１２２において、二値化処理部２３２は、差分画像生成部２３１から供給された差分画像に基づいて、例えば、LRnとLRn+1の差分がほとんどない領域を１、差分が閾値よりある領域を０で表す二値化画像を生成し、生成した二値化画像を拡大処理部２３３に出力する。
ステップＳ１２３において、拡大処理部２３３は、二値化処理部２３２により生成された二値化画像をSR画像と同じ解像度（サイズ）の画像に拡大し、マスク画像としてマスク処理部２３４に出力する。
ステップＳ１２４において、マスク処理部２３４は、拡大処理部２３３から供給されたマスク画像を用いて、超解像処理器２０１1から供給されたSR画像にマスク処理を施し、マスク処理を施した結果をフィードバック値として合算回路２０３に出力する。
図３３は、動画適用処理回路２０２1の他の構成例を示すブロック図である。
図２５の例においては、動画適用処理に用いられるLR画像として、LRnが動画適用処理回路２０２1，２０２2に、LRn+1が動画適用処理回路２０２1に、LRn+2が動画適用処理回路２０２2にそれぞれ入力されるものとしたが、LRnに替えて、SR画像バッファ２０７に記憶されているSR画像が入力されるようにすることも可能である。
図３３の例においては、動画適用処理回路２０２1は、アップサンプリング処理部２４１、差分画像生成部２４２、二値化処理部２４３、およびマスク処理部２４４から構成されており、撮像して得られたLRn+1はアップサンプリング処理部２４１に入力され、SR画像バッファ２０７に記憶されているSR画像は差分画像生成部２４２に入力される。超解像処理器２０１1によりフィードバック値演算処理が行われることによって得られたSR画像はマスク処理部２４４に入力される。
アップサンプリング処理部２４１は、LRn+1をSR画像と同じ解像度の画像にアップサンプリングし、アップサンプリングして得られた画像を差分画像生成部２４２に出力する。
差分画像生成部２４２は、LRn+1のアップサンプリング結果とSR画像の差分を表す差分画像を求め、求めた差分画像を二値化処理部２４３に出力する。
二値化処理部２４３は、差分画像生成部２４２から供給された差分画像に基づいて、例えば、LRn+1のアップサンプリング結果とSR画像の差分がほとんどない領域を１、差分が閾値よりある領域を０で表す二値化画像を生成し、生成した二値化画像をマスク画像としてマスク処理部２４４に出力する。
マスク処理部２４４は、二値化処理部２４３から供給されたマスク画像を用いて、超解像処理器２０１1から供給されたSR画像に対してマスク処理を施し、マスク処理を施した結果をフィードバック値として合算回路２０３に出力する。
図３４Ａ乃至Ｃは、マスク画像の生成の例を示す図である。
図３４Ａの左側に示されるLRn+1はアップサンプリング処理部２４１に入力されるLR画像であり、右側に示されるSR画像は差分画像生成部２４２に入力されるSR画像である。例えば、このようなLR画像がアップサンプリングされ、アップサンプリングの結果とSR画像から差分画像が求められ、二値化される。
図３４Ｂは二値化画像の例を示す図であり、二値化画像全体のうち、領域Ａ21は、LRn+1のアップサンプリング結果とSR画像のいずれの画像にも背景が写っている領域に対応する領域であり、差分がほとんどないから、この領域が１で表される。
一方、領域Ａ22は、LRn+1のアップサンプリング結果においては自動車が写っている領域、SR画像においては背景が写っている領域にそれぞれ対応する領域であるから、差分があり、この領域が０で表される。領域Ａ23は、LRn+1のアップサンプリング結果においては背景が写っている領域、SR画像においては自動車が写っている領域にそれぞれ対応する領域であるから、差分があり、この領域も０で表される。
図３４Ｃに示されるSR画像は、図３４Ｂに示される二値化画像から得られたマスク画像である。超解像処理器２０１1により得られたSR画像に対して、このようなマスク画像を用いたマスク処理が施される。マスク処理により、フィードバック値演算処理により得られたSR画像のうち、図３４Ｃのマスク画像において黒色で表される領域に対応する領域の画素が０で置き換えられ、そのように一部が０で置き換えられたSR画像がフィードバック値として合算回路２０３に出力される。
このようなマスク処理がフィードバック値演算処理の結果に対して施されることによっても、動きのはげしい被写体の領域の画素の情報がフィードバック値として用いられるのを防ぐことができる。
動画適用処理回路２０２2も図３３の構成と同じ構成を有するようにすることができる。この場合、動画適用処理回路２０２2においては、LRn+1に替えてLRn+2が用いられ、上述した処理と同様の処理が行われる。
次に、図３５のフローチャートを参照して、図３３の構成を有する動画適用処理回路２０２1によって行われる動画適用処理について説明する。
この処理は、図３０のステップＳ１０３において行われる処理である。ここでは、動画適用処理回路２０２1が行う処理について説明する。同様の処理が動画適用処理回路２０２2においても行われる。
ステップＳ１３１において、アップサンプリング処理部２４１は、LRn+1をSR画像と同じ解像度の画像にアップサンプリングし、アップサンプリングして得られた画像を差分画像生成部２４２に出力する。
ステップＳ１３２において、差分画像生成部２４２は、LRn+1のアップサンプリング結果とSR画像の差分を表す差分画像を求め、求めた差分画像を二値化処理部２４３に出力する。
ステップＳ１３３において、二値化処理部２４３は、差分画像生成部２４２から供給された差分画像を二値化することによってマスク画像を生成し、生成したマスク画像をマスク処理部２４４に出力する。
ステップＳ１３４において、マスク処理部２４４は、二値化処理部２４３から供給されたマスク画像を用いて、超解像処理器２０１1から供給されたSR画像にマスク処理を施し、マスク処理を施した結果をフィードバック値として合算回路２０３に出力する。
図３６は、動画の撮像を実現する画像処理部４２の他の構成例を示すブロック図である。
図３６の画像処理部４２においては、連続して撮像された３フレームのLR画像と、直前の加算処理によって得られた１フレームのSR画像を用いてそれぞれの加算処理が行われる。図２５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３６の例においては、画像処理部４２は、超解像処理器２０１0乃至２０１2、動画適用処理回路２０２1，２０２2、加算回路２５１0乃至２５１2、スイッチ２０５、初期画像生成回路２０６、およびSR画像バッファ２０７から構成される。
図３６の画像処理部４２は、ガウスザイデル法を用いた超解像処理によってSR画像を生成する図８の構成を動画の撮像を実現するものとして拡張したものである。
撮像部４１から供給されたLR画像であるLRnは超解像処理器２０１0、動画適用処理回路２０２1，２０２2、および初期画像生成回路２０６に入力され、LRn+1は超解像処理器２０１1と動画適用処理回路２０２1に入力される。また、LRn+2は超解像処理器２０１2と動画適用処理回路２０２2に入力される。LRn乃至LRn+2は連続して撮像されたLR画像である。
超解像処理器２０１0は、LRnと、SR画像バッファ２０７に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を加算回路２５１0に出力する。
加算回路２５１0は、SR画像バッファ２０７に記憶されているSR画像と超解像処理器２０１0から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を１回目の加算処理の結果として出力する。加算回路２５１0から出力されたSR画像は超解像処理器２０１1と加算回路２５１1に入力される。
超解像処理器２０１1は、LRn+1と、加算回路２５１0から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を動画適用処理回路２０２1に出力する。
動画適用処理回路２０２1は、超解像処理器２０１1から供給されたSR画像の画素のうち、SR画像に加算するのに用いることができると判断した画素の情報だけをフィードバック値として加算回路２５１1に出力する。
加算回路２５１1は、加算回路２５１0から供給されたSR画像と動画適用処理回路２０２1から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を２回目の加算処理の結果として出力する。加算回路２５１1から出力されたSR画像は超解像処理器２０１2と加算回路２５１2に入力される。
超解像処理器２０１2は、LRn+2と、加算回路２５１1から供給されたSR画像に基づいてフィードバック値演算処理を行い、フィードバック値を動画適用処理回路２０２2に出力する。
加算回路２５１2は、加算回路２５１1から供給されたSR画像と動画適用処理回路２０２2から供給されたフィードバック値により表されるSR画像を加算し、加算して得られた１フレームのSR画像を超解像処理の結果として出力する。加算回路２５１2から出力されたSR画像は、記録部４３に入力されるとともに、スイッチ２０５を介してSR画像バッファ２０７に供給され、記憶される。
スイッチ２０５は、初期画像生成回路２０６により初期画像が生成されたとき、端子ａに接続し、初期画像をSR画像バッファ２０７に記憶させる。また、スイッチ２０５は、加算回路２５１2からSR画像が供給されたとき、端子ｂに接続し、SR画像をSR画像バッファ２０７に記憶させる。
初期画像生成回路２０６は、超解像処理を開始するとき、例えば、図３１を参照して説明したようにして初期画像を生成し、生成した初期画像を、端子ａに接続させたスイッチ２０５を介してSR画像バッファ２０７に記憶させる。
SR画像バッファ２０７は、初期画像生成回路２０６により生成された初期画像、または、加算回路２５１2から供給されたSR画像を記憶する。
図３６の例においては、１フレームのSR画像と、３フレームのLR画像が用いられて一連の超解像処理が行われるものとしたが、超解像処理に用いられるLR画像の数は任意である。
例えば、それぞれの超解像処理が、図３７に示されるように、直前の超解像処理によって生成された１フレームのSR画像と、２フレームのLR画像が用いられることによって行われるようにすることも可能であるし、図３８に示されるように、直前の超解像処理によって生成された１フレームのSR画像と、１フレームのLR画像が用いられることによって行われるようにすることも可能である。
図３７の例においては、それぞれの超解像処理は、１回目の処理を除いて、連続して撮像された２フレームのLR画像と、１フレームのSR画像が用いられることによって行われている。１回目の超解像処理においては、LRn，LRn+1の２フレームのLR画像が用いられ、１フレームのSR画像であるSRnが生成されている。
また、２回目の超解像処理においては、LRn+1，LRn+2の２フレームのLR画像と、１回目の超解像処理によって得られたSR画像であるSRnが用いられ、１フレームのSR画像であるSRn+1が生成されている。
３回目の超解像処理においては、LRn+2，LRn+3の２フレームのLR画像と、２回目の超解像処理によって得られたSR画像であるSRn+1が用いられ、１フレームのSR画像であるSRn+2が生成されている。
図３８の例においては、それぞれの超解像処理は、１回目の処理を除いて、１フレームのLR画像と、１フレームのSR画像が用いられることによって行われている。１回目の超解像処理においては、LRnの１フレームのLR画像が用いられ、１フレームのSR画像であるSRnが生成されている。例えば、LRnがSR画像と同じ解像度の画像にアップサンプリングされることによってSRnが生成される。
また、２回目の超解像処理においては、LRn+1の１フレームのLR画像と、１回目の超解像処理によって得られたSR画像であるSRnが用いられ、１フレームのSR画像であるSRn+1が生成されている。
３回目の超解像処理においては、LRn+2の１フレームのLR画像と、２回目の超解像処理によって得られたSR画像であるSRn+1が用いられ、１フレームのSR画像であるSRn+2が生成されている。
図３９は、図３８に示されるように、１フレームのLR画像と１フレームのSR画像を用いてそれぞれの超解像処理を行い、動画の撮像を実現する画像処理部４２のさらに他の構成例を示すブロック図である。図３６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図３９の画像処理部４２は、基本的に、２回目のフィードバック値演算処理、加算処理を行うための構成である超解像処理器２０１1、動画適用処理回路２０２1、加算回路２５１1と、３回目のフィードバック値演算処理、加算処理を行うための構成である超解像処理器２０１2、動画適用処理回路２０２2、加算回路２５１2が除かれている点を除いて、図３６の構成と同じ構成を有している。
超解像処理器２０１0は、LRnと、SR画像バッファ２０７に記憶されているSR画像に基づいてフィードバック値演算処理を行い、フィードバック値演算処理の結果を加算回路２５１0に出力する。
加算回路２５１0は、SR画像バッファ２０７に記憶されているSR画像と超解像処理器２０１0から供給されたフィードバック値により表されるSR画像を加算し、加算して得られたSR画像を出力する。加算回路２５１0から出力されたSR画像は、超解像処理の結果として記録部４３に供給されるとともに、スイッチ２０５を介してSR画像バッファ２０７に供給され、記憶される。
このように、１回の超解像処理に用いるLR画像の数を減らすことにより、超解像処理を高速化することが可能となる。
なお、図３７に示されるように、１フレームのSR画像と、２フレームのLR画像を用いて超解像処理を行う画像処理部４２は、図３６の画像処理部４２の構成に対して、３回目のフィードバック値演算処理、加算処理を行うための構成である超解像処理器２０１2、動画適用処理回路２０２2、加算回路２５１2を除いたものになる。
以上においては、LR画像と、直前の超解像処理によって生成されたSR画像が用いられてそれぞれの超解像処理が行われるものとしたが、撮像部４１が、動画の撮像中に静止画の撮像を行うことができる機能を有している場合、LR画像と、それと同じタイミングで撮像された１フレームの静止画を用いて超解像処理が行われるようにしてもよい。この場合、動画の撮像中に撮像された静止画の解像度はLR画像の解像度より大きいものとされる。
図４０は、LR画像と、動画の撮像中に撮像された１フレームの静止画を用いて行われる超解像処理の概念を示す図である。
図４０の例においては、４回目の超解像処理が、LRn+3，LRn+4，LRn+5の３フレームのLR画像と、LRn+3の撮像と同時に撮像された１フレームの静止画である静止画n+3を用いて行われている。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図４１は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。
CPU(Central Processing Unit)３０１は、ROM(Read Only Memory)３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。
CPU３０１にはまた、バス３０４を介して入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図４１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
超解像の原理を示す図である。 超解像の原理を示す他の図である。 従来の画像処理装置の構成例を示すブロック図である。 超解像処理器の構成例を示すブロック図である。 本発明の一実施形態に係る撮像装置を示す図である。 超解像処理の例を示す図である。 撮像装置の構成例を示すブロック図である。 画像処理部の構成例を示すブロック図である。 超解像処理器の構成例を示すブロック図である。 撮像装置の超解像処理について説明するフローチャートである。 図１０のステップＳ２において行われるフィードバック値演算処理について説明するフローチャートである。 画像処理部の他の構成例を示すブロック図である。 撮像装置の他の超解像処理について説明するフローチャートである。 超解像処理器の他の構成例を示すブロック図である。 ゲイン調整の特性の例を示す図である。 他のフィードバック値演算処理について説明するフローチャートである。 超解像処理器のさらに他の構成例を示すブロック図である。 超解像処理器の他の構成例を示すブロック図である。 GUIの例を示す図である。 フィルタの特性の例を示す図である。 さらに他のフィードバック値演算処理について説明するフローチャートである。 超解像処理器の他の構成例を示すブロック図である。 動画の撮像の概念を示す図である。 従来の動画の撮像の概念を示す図である。 画像処理部のさらに他の構成例を示すブロック図である。 初期画像生成回路の構成例を示すブロック図である。 初期画像の生成の例を示す図である。 動画適用処理回路の構成例を示すブロック図である。 マスク画像の生成の例を示す図である。 動画撮像時の超解像処理について説明するフローチャートである。 図３０のステップＳ１０１において行われる初期画像生成処理について説明するフローチャートである。 図３０のステップＳ１０３において行われる動画適用処理について説明するフローチャートである。 動画適用処理回路の他の構成例を示すブロック図である。 マスク画像の生成の他の例を示す図である。 他の動画適用処理について説明するフローチャートである。 画像処理部のさらに他の構成例を示すブロック図である。 超解像処理の例を示す図である。 超解像処理の他の例を示す図である。 画像処理部の他の構成例を示すブロック図である。 超解像処理のさらに他の例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。
符号の説明
３１ 撮像装置， ４１ 撮像部， ４２ 画像処理部， ４３ 記録部， ５１0乃至５１2 超解像処理器， ５２0乃至５２2 加算回路， ５３ スイッチ， ５４ 初期画像生成回路， ５５ SR画像バッファ， ６１ 動きベクトル検出回路， ６２ 動き補償回路， ６３ ダウンサンプリングフィルタ， ６４ 加算回路， ６５ アップサンプリングフィルタ， ６６ 逆方向動き補償回路

Claims (8)

  1. 入力された第１の解像度の画像と、前記第１の解像度より高い第２の解像度の画像との差分を表す前記第２の解像度の差分画像の画素を、入力された前記第２の解像度の画像の画素として加える加算処理を行う加算手段を複数含み、
    それぞれ異なる前記第１の解像度の画像と、直前の前記加算処理により得られた前記第２の解像度の画像とを入力として２回目以降の前記加算処理を行い、所定の回数だけ前記加算処理を行うことによって処理結果の前記第２の解像度の画像を生成する画像処理手段を備える
    画像処理装置。
  2. 前記加算処理により得られた前記第２の解像度の画像を入力として次の前記加算処理を行うか否かを、前記加算処理により得られた前記第２の解像度の画像に基づいて制御する制御手段をさらに備える
    請求項１に記載の画像処理装置。
  3. 前記差分画像を表す信号のゲインの調整を行う調整手段をさらに備える
    請求項１に記載の画像処理装置。
  4. 前記差分画像を求めるのに用いられる画像として入力された前記第２の解像度の画像を表す信号のゲインの調整と、求められた前記差分画像を表す信号のゲインの調整のうちの少なくともいずれかを行う調整手段をさらに備える
    請求項１に記載の画像処理装置。
  5. １回目の前記加算処理の入力となる前記第２の解像度の初期画像を生成する生成手段をさらに備え、
    撮像されたｎフレーム目の前記第１の解像度の画像を用いて、ｎフレーム目の処理結果の前記第２の解像度の画像を前記画像処理手段が生成する場合、
    前記生成手段は、ｎ−１フレーム目の処理結果の前記第２の解像度の画像を構成する一部の画素を、ｎフレーム目の前記第１の解像度の画像をアップサンプリングして得られた画像を構成する画素で置き換えた画像を前記初期画像として生成する
    請求項１に記載の画像処理装置。
  6. 前記生成手段は、
    撮像して得られたｎフレーム目の前記第１の解像度の画像をアップサンプリングするアップサンプリング処理手段と、
    ｎ−１フレーム目の処理結果の前記第２の解像度の画像と、前記アップサンプリング処理手段によるアップサンプリングによって得られた画像に基づいて検出した動きベクトルを用いて、ｎ−１フレーム目の処理結果の前記第２の解像度の画像に動き補償を施す補正手段と、
    前記補正手段により動き補償が施されることによって得られた画像のうち、動き補償によって位置が移動したオブジェクトが表示されていた領域の画素を、対応する位置にある領域の、前記アップサンプリング処理手段によるアップサンプリングによって得られた画像の画素で置き換えることによって前記初期画像を生成する画像生成手段と
    をさらに備える請求項５に記載の画像処理装置。
  7. 入力された第１の解像度の画像と、前記第１の解像度より高い第２の解像度の画像との差分を表す前記第２の解像度の差分画像の画素を、入力された前記第２の解像度の画像の画素として加える加算処理を行う加算手段を複数備える画像処理装置の画像処理方法において、
    それぞれ異なる前記第１の解像度の画像と、直前の前記加算処理により得られた前記第２の解像度の画像とを入力として２回目以降の前記加算処理を行い、所定の回数だけ前記加算処理を行うことによって処理結果の前記第２の解像度の画像を生成するステップを含む
    画像処理方法。
  8. 入力された第１の解像度の画像と、前記第１の解像度より高い第２の解像度の画像との差分を表す前記第２の解像度の差分画像の画素を、入力された前記第２の解像度の画像の画素として加える加算処理を行う加算手段を複数備える画像処理装置の画像処理をコンピュータに行わせるプログラムにおいて、
    それぞれ異なる前記第１の解像度の画像と、直前の前記加算処理により得られた前記第２の解像度の画像とを入力として２回目以降の前記加算処理を行い、所定の回数だけ前記加算処理を行うことによって処理結果の前記第２の解像度の画像を生成するステップを含む
    プログラム。
JP2006324318A 2006-11-30 2006-11-30 画像処理装置、画像処理方法、およびプログラム Expired - Fee Related JP4646146B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2006324318A JP4646146B2 (ja) 2006-11-30 2006-11-30 画像処理装置、画像処理方法、およびプログラム
US11/934,852 US8036488B2 (en) 2006-11-30 2007-11-05 Image processing apparatus, image processing method and program
KR1020070113248A KR101421624B1 (ko) 2006-11-30 2007-11-07 화상 처리 장치, 화상 처리 방법, 및 프로그램
EP07254517.1A EP1944729A3 (en) 2006-11-30 2007-11-20 Image processing apparatus, image processing method and program
CN2007101954801A CN101192400B (zh) 2006-11-30 2007-11-30 图像处理设备、图像处理方法和程序
US13/227,581 US8346012B2 (en) 2006-11-30 2011-09-08 Image processing apparatus, image processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006324318A JP4646146B2 (ja) 2006-11-30 2006-11-30 画像処理装置、画像処理方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009008770A Division JP5024300B2 (ja) 2009-01-19 2009-01-19 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2008140012A true JP2008140012A (ja) 2008-06-19
JP4646146B2 JP4646146B2 (ja) 2011-03-09

Family

ID=39047802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006324318A Expired - Fee Related JP4646146B2 (ja) 2006-11-30 2006-11-30 画像処理装置、画像処理方法、およびプログラム

Country Status (5)

Country Link
US (2) US8036488B2 (ja)
EP (1) EP1944729A3 (ja)
JP (1) JP4646146B2 (ja)
KR (1) KR101421624B1 (ja)
CN (1) CN101192400B (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010122934A (ja) * 2008-11-20 2010-06-03 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2010170340A (ja) * 2009-01-22 2010-08-05 Sony Corp 画像処理装置および方法、並びにプログラム
WO2011018878A1 (ja) * 2009-08-13 2011-02-17 日本電気株式会社 画像処理システム、画像処理方法および画像処理用プログラム
US8254726B2 (en) 2008-11-13 2012-08-28 Sony Corporation Image processing apparatus, image processing method, and program
EP2525320A1 (en) 2011-05-19 2012-11-21 Sony Corporation Learning apparatus and method, image processing apparatus and method, program, and recording medium
US8503828B2 (en) 2010-05-10 2013-08-06 Sony Corporation Image processing device, image processing method, and computer program for performing super resolution
US8620109B2 (en) 2010-05-10 2013-12-31 Sony Corporation Image processing apparatus, image processing method and image processing program
US9531922B2 (en) 2013-10-30 2016-12-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer readable storage medium for improving sharpness
JP2017537403A (ja) * 2014-11-27 2017-12-14 ノキア テクノロジーズ オサケユイチア 超解像画像を生成するための方法、装置およびコンピュータ・プログラム・プロダクト

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4826546B2 (ja) 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US8306121B2 (en) * 2008-03-17 2012-11-06 Ati Technologies Ulc Method and apparatus for super-resolution of images
US20100107126A1 (en) * 2008-10-28 2010-04-29 Hulu Llc Method and apparatus for thumbnail selection and editing
JP4645736B2 (ja) * 2008-12-22 2011-03-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4631966B2 (ja) * 2008-12-22 2011-02-16 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4678061B2 (ja) * 2009-04-02 2011-04-27 株式会社ニコン 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム
KR101722687B1 (ko) 2010-08-10 2017-04-04 삼성전자주식회사 객체간 또는 객체와 유저간에 정보 제공 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
US8994837B2 (en) * 2010-11-26 2015-03-31 Intel Mobile Communications GmbH Image processing devices and image processing methods of moving objects
JP2012230549A (ja) * 2011-04-26 2012-11-22 Sony Corp 画像処理装置、画像処理方法、およびプログラム
TWI479455B (zh) * 2011-05-24 2015-04-01 Altek Corp 全對焦影像之建立方法
US20130169834A1 (en) * 2011-12-30 2013-07-04 Advanced Micro Devices, Inc. Photo extraction from video
CN103514580B (zh) * 2013-09-26 2016-06-08 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
KR102159166B1 (ko) 2014-05-09 2020-09-23 삼성전자주식회사 색분리 소자 및 상기 색분리 소자를 포함하는 이미지 센서
CN104244006B (zh) * 2014-05-28 2019-02-26 北京大学深圳研究生院 一种基于图像超分辨率的视频编解码方法及装置
US9652829B2 (en) * 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
US10152822B2 (en) * 2017-04-01 2018-12-11 Intel Corporation Motion biased foveated renderer
US10319064B2 (en) 2017-04-10 2019-06-11 Intel Corporation Graphics anti-aliasing resolve with stencil mask
CN111724292B (zh) * 2019-03-19 2024-04-05 京东方科技集团股份有限公司 图像处理方法、装置、设备以及计算机可读介质
CN114365472B (zh) * 2019-09-02 2024-05-28 索尼集团公司 成像装置、图像处理装置和图像处理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767987A (en) * 1994-09-26 1998-06-16 Ricoh Corporation Method and apparatus for combining multiple image scans for enhanced resolution
CN1163540A (zh) * 1996-01-11 1997-10-29 三星电子株式会社 推断精细运动的方法和装置
US6718355B2 (en) * 2001-02-05 2004-04-06 Conexant Systems, Inc. Systems and methods for a partial sum digital fir filter
WO2003047234A2 (en) * 2001-11-30 2003-06-05 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for providing multi-sensor super-resolution
TW583603B (en) 2003-02-21 2004-04-11 Inventec Appliances Corp Method for producing enhanced-resolution image by use of a plurality of low-resolution images
JP2004272751A (ja) 2003-03-11 2004-09-30 Seiko Epson Corp 複数のフレーム画像からの静止画像の生成
JP4156419B2 (ja) 2003-03-25 2008-09-24 富士フイルム株式会社 画像処理方法および装置並びにプログラム
JP4461937B2 (ja) * 2003-09-30 2010-05-12 セイコーエプソン株式会社 低解像度の複数の画像に基づく高解像度の画像の生成
JP2005284635A (ja) 2004-03-29 2005-10-13 Seiko Epson Corp 画像形成装置、画像形成方法及び画像形成プログラム
DE102004038110B3 (de) * 2004-08-05 2005-12-29 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
US20060062303A1 (en) * 2004-09-17 2006-03-23 Sony Corporation Hybrid global motion estimator for video encoding
JP3837575B2 (ja) * 2004-10-29 2006-10-25 国立大学法人東京工業大学 超解像処理の高速化方法
JP2006202168A (ja) 2005-01-24 2006-08-03 Seiko Epson Corp 低解像度な複数の画像を用いた高解像度画像の生成
JP4658682B2 (ja) 2005-05-17 2011-03-23 本田技研工業株式会社 電気化学素子
JP4116649B2 (ja) * 2006-05-22 2008-07-09 株式会社東芝 高解像度化装置および方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254726B2 (en) 2008-11-13 2012-08-28 Sony Corporation Image processing apparatus, image processing method, and program
JP2010122934A (ja) * 2008-11-20 2010-06-03 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN101882434B (zh) * 2009-01-22 2013-03-27 索尼公司 图像处理器、图像处理方法和程序
JP2010170340A (ja) * 2009-01-22 2010-08-05 Sony Corp 画像処理装置および方法、並びにプログラム
US8447138B2 (en) 2009-01-22 2013-05-21 Sony Corporation Image processor, image processing method and program
WO2011018878A1 (ja) * 2009-08-13 2011-02-17 日本電気株式会社 画像処理システム、画像処理方法および画像処理用プログラム
JPWO2011018878A1 (ja) * 2009-08-13 2013-01-17 日本電気株式会社 画像処理システム、画像処理方法および画像処理用プログラム
US8712175B2 (en) 2009-08-13 2014-04-29 Nec Corporation Image processing system, image processing method and program for image processing
US8503828B2 (en) 2010-05-10 2013-08-06 Sony Corporation Image processing device, image processing method, and computer program for performing super resolution
US8620109B2 (en) 2010-05-10 2013-12-31 Sony Corporation Image processing apparatus, image processing method and image processing program
EP2525320A1 (en) 2011-05-19 2012-11-21 Sony Corporation Learning apparatus and method, image processing apparatus and method, program, and recording medium
US8913822B2 (en) 2011-05-19 2014-12-16 Sony Corporation Learning apparatus and method, image processing apparatus and method, program, and recording medium
US9531922B2 (en) 2013-10-30 2016-12-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer readable storage medium for improving sharpness
JP2017537403A (ja) * 2014-11-27 2017-12-14 ノキア テクノロジーズ オサケユイチア 超解像画像を生成するための方法、装置およびコンピュータ・プログラム・プロダクト

Also Published As

Publication number Publication date
JP4646146B2 (ja) 2011-03-09
US8346012B2 (en) 2013-01-01
KR20080049618A (ko) 2008-06-04
CN101192400B (zh) 2012-10-03
US8036488B2 (en) 2011-10-11
US20120019725A1 (en) 2012-01-26
EP1944729A2 (en) 2008-07-16
US20080175519A1 (en) 2008-07-24
CN101192400A (zh) 2008-06-04
EP1944729A3 (en) 2013-05-29
KR101421624B1 (ko) 2014-07-22

Similar Documents

Publication Publication Date Title
JP4646146B2 (ja) 画像処理装置、画像処理方法、およびプログラム
Kiku et al. Beyond color difference: Residual interpolation for color image demosaicking
US8369649B2 (en) Image processing apparatus, image processing method, and computer program for performing super-resolution process
US9094648B2 (en) Tone mapping for low-light video frame enhancement
CN102769756A (zh) 图像处理设备、图像处理方法和程序
JP6711396B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US20100123792A1 (en) Image processing device, image processing method and program
JP2007072573A (ja) 画像処理装置及び画像処理方法
JP2013003610A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2009164857A (ja) 画像データ処理方法および画像処理装置
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
JP2010166558A (ja) 撮像装置
JP2010283623A (ja) 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路
JP6087612B2 (ja) 画像処理装置および画像処理方法
US20090079836A1 (en) Image processing apparatus, method, and computer program product
JP4494505B1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2009111596A (ja) 撮像装置
JP2008294950A (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
WO2021070443A1 (ja) 画像処理装置と画像処理方法とプログラムおよび電子機器
JP4942563B2 (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
JP5024300B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2009021756A (ja) ノイズ除去回路、ノイズ除去方法、撮像装置、プログラム
JP5919086B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP5682443B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2008293388A (ja) 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090709

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090723

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101202

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4646146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees