JP2009273072A - High-definition image processing device, high-definition image processing method, and program - Google Patents
High-definition image processing device, high-definition image processing method, and program Download PDFInfo
- Publication number
- JP2009273072A JP2009273072A JP2008124180A JP2008124180A JP2009273072A JP 2009273072 A JP2009273072 A JP 2009273072A JP 2008124180 A JP2008124180 A JP 2008124180A JP 2008124180 A JP2008124180 A JP 2008124180A JP 2009273072 A JP2009273072 A JP 2009273072A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frequency component
- image frame
- frequency
- line direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 226
- 238000003672 processing method Methods 0.000 title claims 3
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000003384 imaging method Methods 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 16
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 claims 7
- 230000006870 function Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 17
- 238000011835 investigation Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
Description
本発明は、画像を高精細化する際に、高精細化に好適な画像を選択可能とする高精細画像処理技術に関する。 The present invention relates to a high-definition image processing technique that enables selection of an image suitable for high definition when the image is high-definition.
最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体等から入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数（解像度）を増やして表示することが一般的に行われている。この際、一般的に知られているｓｉｎｃ関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは高精細な画像を生成することはできない。なお、本明細書では、「高精細」の意味は、単に画素数を増加させるだけでなく、後記するように、画像信号に含まれる高周波成分を復元して細部まで表示すること、として用いる。 Recent television receivers have become larger in screen size, and do not display image signals input from broadcasting, communication, storage media, etc. as they are, but rather the number of pixels (resolution) in the horizontal and vertical directions by digital signal processing. It is generally performed to increase and display. At this time, a high-definition image cannot be generated simply by increasing the number of pixels by an interpolation low-pass filter using a generally known sinc function, a spline function, or the like. In the present specification, the meaning of “high definition” is used not only to increase the number of pixels but also to restore the high-frequency component contained in the image signal and display the details as will be described later.
非特許文献１には、サンプリング位相のずれた複数の画像フレームを用いて、高精細で解像度の高い画像を生成する超解像処理が記載されている。
この非特許文献１に記載されている超解像処理では、（１）位置推定、（２）広帯域補間、（３）加重和、の３つの処理により高精細化を行う。ここで、（１）位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。（２）広帯域補間は、各画像データの画素数(サンプリング点)を、画像信号に含まれる折返し成分である高周波成分を全て透過する帯域の広いローパスフィルタを用いて補間して増やし、画像データの画素数を高解像度化するものである。（３）加重和は、各高解像度化された画像データに対して、サンプリング位相に応じた重み係数を加味して加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、画像信号の高周波成分を復元するものである。
すなわち、非特許文献１に記載の超解像処理は、画像信号の高周波成分を復元して、高精細で解像度の高い画像を生成するものである。
Non-Patent
In the super-resolution processing described in
That is, the super-resolution processing described in
ここで、前記した超解像処理における高周波成分の復元について、模式的に図１５を用いて説明する。図１５は、入力画像の周波数成分と高精細化前の周波数帯域および超解像処理により復元される周波数帯域とを示す図である。
図１５の実線１５０１は、入力画像の周波数成分曲線（周波数スペクトル）を示している。周波数帯域がｆである表示系では、入力画像は、周波数ｆ以上の周波数成分が折返し歪１５０２となった画像として表示される。
非特許文献１に記載の超解像処理は、複数の画像フレームを、前記した（１）位置推定、（２）広帯域補間、（３）加重和、を用いて演算することによって、折返し歪１５０２を復元して、周波数ｆより高い周波数成分を生成することが可能である。
Here, the restoration of the high-frequency component in the super-resolution processing described above will be schematically described with reference to FIG. FIG. 15 is a diagram illustrating a frequency component of an input image, a frequency band before high definition, and a frequency band restored by super-resolution processing.
A solid line 1501 in FIG. 15 indicates a frequency component curve (frequency spectrum) of the input image. In the display system in which the frequency band is f, the input image is displayed as an image in which the frequency component equal to or higher than the frequency f becomes the
The super-resolution processing described in Non-Patent
そして、特許文献１では、前記超解像処理を用いて複数の画像フレームから高精細な静止画像を生成するために、測光変化やホワイトバランス変化の少ない画像フレームの連続している区間に含まれる画像データを選択して用いることが、記載されている。
しかしながら、特許文献１では、前記超解像処理が、高精細化に向いている画像を選定しないと、高精細な画像を生成できないという点までは示唆していない。また、前記超解像処理は、画像フレームの画像データに折返し歪（高周波成分）が含まれていない場合には、元々存在しない高周波成分を復元することはできず、無駄な処理となってしまうだけでなく、かえって有りもしない信号を作り出してしまうという問題がある。
本発明は、以上のような問題に鑑みてなされたものであり、前記超解像処理による画像の高精細化において、高周波成分を含む、高精細化に好適な画像フレームを選択可能とする技術を提供することを目的とする。
However,
The present invention has been made in view of the above-described problems, and a technique that enables selection of an image frame suitable for high definition including a high-frequency component in high definition of an image by the super-resolution processing. The purpose is to provide.
前記課題を解決するため、本発明は、画像の高精細化において、画像信号の画像フレームの高周波成分を算出し、高周波成分を適度に含む高精細化に好適な画像フレームを選択可能とし、高精細画像を生成することを特徴とする。 In order to solve the above-mentioned problems, the present invention calculates a high-frequency component of an image frame of an image signal in high-definition of an image, makes it possible to select an image frame suitable for high-definition that appropriately includes a high-frequency component, A fine image is generated.
本発明によれば、画像の高精細化に好適な画像フレームを選択可能とし、高精細な画像を生成することができる。 According to the present invention, it is possible to select an image frame suitable for high-definition of an image and generate a high-definition image.
次に、本発明を実施するための最良の形態（以降、「実施形態」という）について、適宜図面を用いながら詳細に説明する。 Next, the best mode for carrying out the present invention (hereinafter referred to as “embodiment”) will be described in detail with reference to the drawings as appropriate.
《第１実施形態》
まず、高精細化に適している画像フレームを選択する処理機能の概要について、図１を用いて説明する。図１は、高精細化に適している画像フレームを選択して超解像処理を実行する機能の概要を示す図である。
<< First Embodiment >>
First, an outline of a processing function for selecting an image frame suitable for high definition will be described with reference to FIG. FIG. 1 is a diagram showing an overview of a function for selecting an image frame suitable for high definition and executing super-resolution processing.
図１に示すように、高精細画像処理装置１０は、画像入力部１０１、周波数成分調査部１０２、高周波成分算出部１０３、入力画像選択部１０４、超解像処理部１０５、および画像出力部１０６によって構成される。
As shown in FIG. 1, the high-definition image processing apparatus 10 includes an
画像入力部１０１は、記憶領域を備え、デジタルスチルカメラによって撮影された連続写真やデジタルビデオカメラによって撮影された動画等の空間的に連続な複数の画像フレームの画像データを入力画像信号として受け付けて、記憶領域に格納する。ここで、空間的に連続な画像フレームとは、高精細化する被写体が写っている画像フレームのことをいう。例えば、空間的に連続な画像フレームは、高精細化する被写体に対して、ＭＰＥＧ（Moving Picture Experts Group）４等の画像符号化方式で用いられる動きベクトルを抽出して、その動きベクトルの大きさが小さな区間としてもよい。また、記憶領域は、一時的に記憶可能なものであればよい。
なお、連続写真や動画は、通常、デジタルカメラ（デジタルスチルカメラとデジタルビデオカメラの総称）によって録画される際に、録画ＩＤが関連付けられて、デジタルカメラ内の記憶装置に記憶される。そこで、画像入力部１０１は、入力画像信号を受け付ける際に、連続写真や動画に関連付けられた録画ＩＤを単位として、連続した画像フレームを受け付ける。
The
Note that, when a continuous photograph or a moving image is normally recorded by a digital camera (a generic name of a digital still camera and a digital video camera), a recording ID is associated and stored in a storage device in the digital camera. Therefore, when receiving the input image signal, the
画像入力部１０１は、記憶領域に連続写真や動画等の画像フレームの画像データを格納する際に、画像フレームを識別可能な画像フレームＩＤ（画像フレーム識別情報）を生成する機能を有する。なお、画像フレームＩＤは、連続した画像フレームを単位として管理する管理ＩＤ部分と個々の画像フレームを識別するフレームＩＤ部分とを連結して構成されているものとする。
例えば、フレームＩＤ部分は、連続した画像フレームのうち、先頭の画像フレームの番号を１として、以降順次１ずつ数字を増加させた番号としてもよい。そして、画像入力部１０１は、画像フレームごとに、画像フレームＩＤを関連付けて記憶する。
The
For example, the frame ID portion may be a number in which the number of the first image frame among consecutive image frames is 1, and the number is sequentially incremented by one thereafter. Then, the
次に、画像入力部１０１は、記憶した画像フレームＩＤと画像フレームの画像データとを、周波数成分調査部１０２に出力する。また、画像入力部１０１は、入力画像選択部１０４から画像フレームＩＤを受け付けて、受け付けた画像フレームＩＤに対応する画像フレームの画像データを入力画像選択部１０４に出力する機能を有する。
Next, the
周波数成分調査部１０２は、画像入力部１０１から受信した画像フレームの画像データについて、周波数成分の特性（周波数成分特性）を調査（算出）し、その結果を高周波成分算出部１０３に出力する機能を有する。なお、周波数成分の算出の詳細については、後記する。
高周波成分算出部１０３は、周波数成分調査部１０２から受信した周波数成分特性から、高周波成分がどのくらい含まれているかを算出し、その結果を入力画像選択部１０４に出力する機能を有する。なお、高周波成分の算出の詳細については、後記する。
The frequency
The high frequency
入力画像選択部１０４は、高周波成分算出部１０３から受信した高周波成分の量（大きさ）を、所定値と比較し、所定値以上の高周波成分の量を有する画像フレームを、画像入力部１０１から取得する機能を有する。なお、所定値以上の高周波成分の量を有する画像フレームの選定については、後記する。
超解像処理部１０５は、入力画像選択部１０４が選定した画像フレームの画像データを用いて、前記超解像処理を実行する機能を有する。
画像出力部１０６は、超解像処理部１０５において生成された高精細な画像（静止画）を、出力画像信号として出力する機能を有する。なお、出力先は、光ディスクやＨＤＤ等の記録媒体、インターネット等の通信媒体である。
The input
The
The
なお、周波数成分調査部１０２、高周波成分算出部１０３、入力画像選択部１０４、および超解像処理部１０５は、高精細画像処理装置１０の処理部１１の機能を機能別に表示したものである。すなわち、処理部１１は、例えば、演算処理を実行する図示しないＣＰＵ（Central Processing Unit ）と、このＣＰＵが演算処理に用いる図示しないメモリとで構成される。メモリは、ＲＡＭ等により実現される。そして、アプリケーションプログラムがＲＡＭに展開され、ＣＰＵが、それを実行することにより各部（１０２〜１０５）の機能を具現化する。また、処理部１１は、画像処理部１０１と画像出力部１０６を制御する機能を有する。
Note that the frequency
次に、高精細画像処理装置１０の処理の流れについて、図２を用いて説明する（適宜、図１参照）。図２は、高精細画像処理装置における画像フレームの水平線方向の処理の流れを示す図である。
まず、画像入力部１０１における、画像フレームの水平線方向の処理について説明する。
画像入力部１０１は、空間的に連続な複数の画像フレームの画像データを入力画像信号として受け付けて、記憶領域に格納する。そして、画像入力部１０１は、記憶領域に画像フレームの画像データを格納する際に、画像フレームを識別可能な画像フレームＩＤを生成し、生成した画像フレームＩＤと格納する画像フレームの画像データとを関連付けて記憶する（ステップＳ２０１）。そして、画像入力部１０１は、記憶領域から画像フレームＩＤと画像フレームの画像データとを読み出して、周波数成分調査部１０２に出力する。
Next, the processing flow of the high-definition image processing apparatus 10 will be described with reference to FIG. 2 (see FIG. 1 as appropriate). FIG. 2 is a diagram showing a flow of processing in the horizontal direction of an image frame in the high-definition image processing apparatus.
First, processing in the horizontal direction of an image frame in the
The
次に、ステップＳ２０２〜Ｓ２０５に示す、周波数成分調査部１０２における処理の詳細について、図３，図４も用いながら説明する（適宜、図１参照）。図３（ａ）は、処理対象となる画像フレームの一例を示す図であり、（ｂ）は、水平線方向の輝度信号強度特性の一例を示す図であり、（ｃ）は、輝度信号強度の周波数特性の一例を示す図である。図４は、画像フレームの平均周波数成分特性の一例を示す図である。
Next, details of the processing in the frequency
まず、周波数成分調査部１０２は、画像入力部１０１から、図３（ａ）に示すような、人物と花等が写った画像フレーム３０１の画像データとその画像フレームＩＤとを取得する。図３（ａ）では、画像フレーム３０１の画素の並びを、水平線方向をＸ軸、垂直線方向をＹ軸として示している。
次に、周波数成分調査部１０２は、画像フレーム３０１を水平線３０２の方向（Ｘ軸方向）に走査して、輝度信号強度を取得する（ステップＳ２０２）。その取得された輝度信号強度が、図３（ｂ）には、輝度信号強度曲線３０３として示されている。そして、周波数成分調査部１０２は、輝度信号強度曲線３０３をフーリエ変換して、周波数成分特性を算出する（ステップＳ２０３）。その周波数成分特性が、図３（ｃ）の周波数成分曲線３０４に示される。なお、フーリエ変換の代わりに、ウェーブレット変換を用いてもよい。
First, the frequency
Next, the frequency
次に、周波数成分調査部１０２は、水平線３０２の位置をＹ軸方向に１画素ずらして、次の輝度信号強度曲線３０３を取得し、その周波数成分曲線３０４を算出する。周波数成分調査部１０２は、ステップＳ２０２〜Ｓ２０３の処理が、画像フレーム３０１の全ての水平線３０２について行われたか否かを判定する（ステップＳ２０４）。水平線３０２について処理を行っていないものがある場合（ステップＳ２０４でＮｏ）には、処理は、ステップＳ２０２へ戻る。また、全ての水平線３０２について行われた場合（ステップＳ２０４でＹｅｓ）には、処理は、ステップＳ２０５へ進む。
Next, the frequency
周波数成分調査部１０２は、画像フレーム内の全ての水平線３０２について、周波数ごとに、周波数成分曲線３０４の成分強度を正規化した値を平均する（ステップＳ２０５）。その結果が、図４に示す平均周波数成分曲線４０１である。ここで、正規化とは、平均周波数成分曲線４０１の成分強度を、周波数を変数として積分して求めた面積が１となるように調整することである。
周波数成分調査部１０２は、画像フレーム３０１ごとに、平均周波数成分曲線４０１を求める。
そして、周波数成分調査部１０２は、平均周波数成分曲線４０１の成分強度と画像フレームＩＤとを、高周波成分算出部１０３に出力する。
The frequency
The frequency
Then, the frequency
次に、ステップＳ２０６に示す、高周波成分算出部１０３における処理の詳細について、図５も用いながら説明する（適宜、図１，図３参照）。図５は、画像フレームに含まれる高周波成分の量を算出する一例を示す図である。
図５に示されるように、高周波数閾値５０２は、平均周波数成分曲線５０１によって表される周波数成分特性の高域周波数とみなす領域の境界の値を表す。そして、高周波成分算出部１０３は、この高周波数閾値５０２以上の成分強度について、周波数を変数として積分して高周波成分の量（面積）を求める（ステップＳ２０６）。この高周波成分の量は、図５の斜線で示される領域であり、その面積を高周波成分面積５０３という。
なお、高周波数閾値５０２は、ユーザによって可変とされ、予め記憶されているものとする。例えば、高周波数閾値５０２は、２倍の高精細化を行う場合には、画像フレーム３０１に含まれる周波数成分特性の最高周波数の５０％に設定されると高精細化にとって好適であることが、実験によって得られている。
そして、高周波成分算出部１０３は、画像フレームＩＤと高周波成分面積５０３とを入力画像選択部１０４に出力する。
Next, details of the processing in the high-frequency
As shown in FIG. 5, the high frequency threshold value 502 represents a boundary value of a region regarded as a high frequency of the frequency component characteristic represented by the average frequency component curve 501. And the high frequency
It is assumed that the high frequency threshold 502 is variable by the user and stored in advance. For example, the high frequency threshold 502 is preferably set to 50% of the maximum frequency of the frequency component characteristics included in the image frame 301 when the high definition is doubled. It has been obtained by experiment.
Then, the high frequency
次に、ステップＳ２０７〜Ｓ２１０に示す、入力画像選択部１０４における処理について説明する（適宜、図１，図３，図５，図６参照）。入力画像選択部１０４は、高周波成分算出部１０３から、画像フレームＩＤと高周波成分面積５０３とを受け付ける。そして、入力画像選択部１０４は、予めユーザに設定され記憶されている超解像処理基準値６０１と、受け付けた高周波成分面積５０３とを比較する（ステップＳ２０７）。高周波成分面積５０３が超解像処理基準値６０１以上である場合（ステップＳ２０７でＹｅｓ）、入力画像選択部１０４は、その画像フレームＩＤと高周波成分面積５０３とを関連付けて超解像処理参照画像の候補として記憶する（ステップＳ２０８）。そして、処理は、ステップＳ２０９へ進む。また、高周波成分面積５０３が超解像処理基準値６０１未満である場合（ステップＳ２０７でＮｏ）、処理は、ステップＳ２０９へ進む。
Next, processing in the input
次に、入力画像選択部１０４は、全ての画像フレーム３０１に対して比較処理を行ったか否かを判定する（ステップＳ２０９）。画像フレーム３０１について比較処理を行っていないものがある場合（ステップＳ２０９でＮｏ）、処理は、ステップＳ２０７へ戻る。また、全ての画像フレーム３０１について比較処理を行った場合（ステップＳ２０９でＹｅｓ）、処理は、ステップＳ２１０へ進む。そして、入力画像選択部１０４は、記憶された超解像処理参照画像の候補について、高周波成分面積５０３の大きさを相互に比較することによって、最大の高周波成分面積６０２を有する画像フレーム（超解像処理対象画像）を選択する（ステップＳ２１０）。
Next, the input
ここで、前記したステップＳ２０７〜Ｓ２１０の処理を、模式的に示した図６を用いて説明する（適宜、図１〜図５参照）。図６は、高周波成分面積の大きさを比較して、超解像処理に用いる画像フレームを選択する一例を示す図である。
なお、図６では、空間的に連続な複数の画像フレーム３０１が１１フレームの場合を示している。図６の横軸は、先頭の画像フレーム３０１のフレーム番号（フレームＩＤ部分に相当）を１として、順次それ以降のフレーム番号を表し、縦軸は、画像フレーム３０１の高周波成分面積５０３を表している。そして、それぞれの画像フレーム３０１に対応する高周波成分面積５０３が縦棒で示されている。
Here, the process of above-mentioned step S207-S210 is demonstrated using FIG. 6 which showed typically (refer FIG. 1-FIG. 5 suitably). FIG. 6 is a diagram illustrating an example of selecting an image frame used for super-resolution processing by comparing the sizes of high-frequency component areas.
FIG. 6 shows a case where a plurality of spatially continuous image frames 301 is 11 frames. The horizontal axis in FIG. 6 represents the frame number of the first image frame 301 (corresponding to the frame ID portion) as 1, and sequentially represents the subsequent frame numbers. The vertical axis represents the high-frequency component area 503 of the image frame 301. Yes. A high frequency component area 503 corresponding to each image frame 301 is indicated by a vertical bar.
各高周波成分面積５０３は、超解像処理基準値６０１と比較されて、超解像処理基準値６０１以上のフレーム番号２，４，５，６，９には○印が付けられている。この○印が付けられた画像フレームは、超解像処理に用いられる超解像処理参照画像の候補とされる。そして、○印が付けられたフレーム番号２，４，５，６，９の画像フレームの中で、最大の高周波成分面積６０２となるフレーム番号５が、超解像処理対象画像として選択される（◎印が付されている）。また、◎印以外の○印が付けられたフレーム番号２，４，６，９の画像フレームは、超解像処理参照画像として、超解像処理に用いられる。すなわち、フレーム番号５が超解像処理対象画像フレーム６０３であり、フレーム番号２，４，６，９が超解像処理参照画像フレーム６０４である。
そして、入力画像選択部１０４は、◎印および○印が付けられたフレームの画像フレームＩＤを、画像入力部１０１に出力する。そして、入力画像選択部１０４は、出力した画像フレームＩＤに対応する画像データを取得する。なお、超解像処理参照画像フレーム６０４は、その枚数の最大数が予め決められている場合には、高周波成分面積５０３の大きい方から順に選択されてもよい。
Each high-frequency component area 503 is compared with the super-resolution processing reference value 601, and
Then, the input
図２に戻って（適宜図１，図６参照）、ステップＳ２１１に示すように、超解像処理部１０５は、入力画像選択部１０４から、超解像処理対象画像フレーム６０３および超解像処理参照画像フレーム６０４として選択された画像フレームの画像データを取得し、超解像処理を行う。ただし、超解像処理では、超解像処理対象画像フレーム６０３が高精細化の対象の画像となり、超解像処理参照画像フレーム６０４は高周波成分の復元のために用いられる。なお、超解像処理は、非特許文献１に記載の方法である。
そして、画像出力部１０６は、超解像処理部１０５から取得した処理画像を出力画像信号として、高精細画像処理装置１０から出力する（ステップＳ２１２）。
したがって、高精細画像処理装置１０は、画像フレームの水平線方向に好適に高周波成分を含んでいる画像フレームを選択して超解像処理を行うため、高精細で解像度の高い画像を生成することが可能となる。
Returning to FIG. 2 (see FIGS. 1 and 6 as appropriate), as shown in step S211, the
Then, the
Therefore, since the high-definition image processing apparatus 10 performs super-resolution processing by selecting an image frame that preferably contains a high-frequency component in the horizontal direction of the image frame, it can generate a high-definition and high-resolution image. It becomes possible.
《第２実施形態》
第１実施形態では、画像フレーム全体について超解像処理に好適な画像フレームの選択を行う場合であったが、第２実施形態は、画像フレームの一部（例えば、被写体の顔等）を対象として、超解像処理に好適な画像フレームの選択を行う場合である。
第２実施形態において、超解像処理対象が画像フレームの一部となる場合の処理について、図７を用いて説明する（適宜、図１，図２参照）。図７は、第２実施形態における超解像処理対象を画像フレームの一部（対象領域画像）とした場合の一例を示す図である。
図７に示すように、超解像処理対象となる画像フレーム３０１の一部（対象領域画像７０１）は、矩形の太い線で囲まれた領域の画像のことである。そして、周波数成分調査部１０２は、対象領域画像７０１内を水平線７０３方向に走査して、輝度信号強度を取得する（ステップＳ２０２と同様）。そして、それ以降の処理は、図２に示す処理と同様に行われるので、説明を省略する。
<< Second Embodiment >>
In the first embodiment, an image frame suitable for super-resolution processing is selected for the entire image frame. However, the second embodiment targets a part of the image frame (for example, the face of a subject). In this case, an image frame suitable for super-resolution processing is selected.
In the second embodiment, processing when the super-resolution processing target is a part of an image frame will be described with reference to FIG. 7 (see FIGS. 1 and 2 as appropriate). FIG. 7 is a diagram illustrating an example when the super-resolution processing target in the second embodiment is a part of an image frame (target region image).
As shown in FIG. 7, a part of the image frame 301 (target region image 701) that is a super-resolution processing target is an image of a region surrounded by a thick rectangular line. Then, the frequency
ここで、対象領域画像７０１を設定する構成について、図８を用いて説明する（適宜、図１参照）。図８は、対象領域画像を設定する構成の一例を示す図である。
画像処理部１０１は、制御部８１１、画像フレームＩＤ（画像フレーム識別情報）発生部８１２、入力用バッファ８１３、出力用バッファ８１４、および記憶部８１５によって構成される。そして、制御部８１１は、マウスやキーボード等によって構成される入力部８２１からの入力を受け付け、表示部８２２に、入力部８２１からの指示によって記憶部８１５に格納された画像フレームの画像データを表示したり、マウスポインタやカーソル等を表示したりする。
Here, a configuration for setting the target region image 701 will be described with reference to FIG. 8 (see FIG. 1 as appropriate). FIG. 8 is a diagram illustrating an example of a configuration for setting a target area image.
The
制御部８１１は、各部（８１２〜８１５）の制御を司る。また、制御部８１１は、入力部８２１、表示部８２２、周波数成分調査部１０２、および入力画像選択部１０４との間で、情報の送受信を行う。
画像フレームＩＤ発生部８１２は、入力用バッファ８１３に入力画像信号が入力されたときに、画像フレームＩＤを発生する機能を有する。
入力用バッファ８１３は、入力画像信号を一時的に記憶し、制御部８１１の制御タイミングに合わせて、記憶された画像データが読み出される機能を有する。
出力用バッファ８１４は、記憶部８１５から読み出した画像フレームの画像データを一時的に記憶し、周波数成分調査部１０２および入力画像選択部１０４へ出力する機能を有する。
記憶部８１５は、ＲＡＭ、ＳＤメモリカード、ハードディスク（ＨＤＤ）等の記憶媒体で構成されている。そして、記憶部８１５は、デジタルカメラによって撮影された連続写真や動画等の入力画像信号が制御部８１１によって、画像フレームごとに分解され、画像フレームＩＤに関連付けられた画像フレームの画像データを記憶する。また、記憶部８１５は、制御部８１１によって作成された画像フレームのサムネイルも、画像フレームＩＤと関連付けて記憶する。
The
The image frame
The
The
The
次に、対象領域画像７０１の設定方法について、図８を用いて、説明する（適宜図７参照）。
まず、入力部８２１は、記憶部８１５に記憶されている画像フレームのサムネイルの一覧を表示する指示を、制御部８１１に送信する。制御部８１１は、その指示を受信すると、記憶部８１５に記憶している画像フレームのサムネイルの一覧を表示部８２２に表示する。そして、入力部８２１によって、画面に表示されているマウスポインタを用いて処理対象とするサムネイルがクリックされると、制御部８１１は、クリックされたサムネイルに対応する画像フレーム３０１を表示部８２２に表示する。そして、入力部８２１によって、マウスポインタを用いて、例えば、表示された画像上で矩形の頂点となる左上と右下の位置がクリックされ、処理対象領域の矩形が指定される。制御部８１１は、指定された矩形の座標を読み取って、対象領域画像７０１の画像データを取得する。
さらに、制御部８１１は、この対象領域画像７０１を含む画像フレームの管理ＩＤと同じ管理ＩＤに関連付けられた他の画像フレームから、同じ座標の対象領域画像７０１の画像データを抽出する。あるいは、制御部８１１は、ＭＰＥＧ４等で用いられている動き予測技術を用いて、対象領域画像７０１によって定められた被写体（絵柄）を含む画像データを抽出する。そして、制御部８１１は、抽出した対象領域画像７０１に新たに画像フレームＩＤを関連付けて記憶部８１５に記憶する。
そして、記憶した対象領域画像７０１に対して、図２に示した処理が行われる。
Next, a method for setting the target region image 701 will be described with reference to FIG. 8 (see FIG. 7 as appropriate).
First, the
Further, the
Then, the process shown in FIG. 2 is performed on the stored target area image 701.
《第３実施形態》
第１実施形態は、画像フレームの水平線方向の超解像処理に好適な画像フレームの選択を行う場合であったが、第３実施形態は、垂直線方向の超解像処理に好適な画像フレームの選択を行う場合である。したがって、第３実施形態における処理と第１実施形態における処理との主な相違点は、垂直線方向に高精細化するか、または水平線方向に高精細化するかの違いである。
第３実施形態における高精細画像処理装置１０の処理について、図９を用いて説明する。図９は、高精細画像処理装置における画像フレームの垂直線方向の処理の流れを示す図である。
なお、図９に示した処理について、図２と同様の処理は、説明を省略する。
<< Third Embodiment >>
In the first embodiment, an image frame suitable for super-resolution processing in the horizontal line direction of an image frame is selected. In the third embodiment, an image frame suitable for super-resolution processing in the vertical line direction is used. Is selected. Therefore, the main difference between the processing in the third embodiment and the processing in the first embodiment is the difference between high definition in the vertical line direction or high definition in the horizontal line direction.
The processing of the high-definition image processing apparatus 10 in the third embodiment will be described with reference to FIG. FIG. 9 is a diagram illustrating a process flow in the vertical direction of an image frame in the high-definition image processing apparatus.
Note that the description of the processing shown in FIG. 9 is the same as that of FIG.
ステップＳ９０１の処理は、ステップＳ２０１の処理と同様である。
ステップＳ９０２〜Ｓ９０５に示す、周波数成分調査部１０２における処理について、図１０も用いながら説明する（適宜図１，図２参照）。図１０は、処理対象となる画像フレームと垂直線を示す図である。
図１０では、画像フレーム３０１の画素の並びを、水平線方向をＸ軸、垂直線方向をＹ軸として示している。
周波数成分調査部１０２は、画像入力部１０１から取得した画像フレーム３０１を垂直線１００２の方向（Ｙ軸方向）に走査して、輝度信号強度を取得する（ステップＳ９０２）。そして、周波数成分調査部１０２は、輝度信号強度をフーリエ変換して、周波数成分特性を算出する（ステップＳ９０３）。なお、フーリエ変換の代わりに、ウェーブレット変換を用いてもよい。
次に、周波数成分調査部１０２は、垂直線１００２の位置をＸ軸方向に１画素ずらして、輝度信号強度を取得し、周波数成分特性を算出する。周波数成分調査部１０２は、この処理が、画像フレーム３０１の全ての垂直線１００２にわたって行われたか否かを判定する（ステップＳ９０４）。垂直線１００２について処理を行っていないものがある場合（ステップＳ９０４でＮｏ）には、処理は、ステップＳ９０２へ戻る。また、全ての垂直線１００２にわたって行われた場合（ステップＳ９０４でＹｅｓ）には、処理は、ステップＳ９０５へ進む。
The process in step S901 is the same as the process in step S201.
The processing in the frequency
In FIG. 10, the arrangement of pixels in the image frame 301 is shown with the horizontal line direction as the X axis and the vertical line direction as the Y axis.
The frequency
Next, the frequency
そして、周波数成分調査部１０２は、画像フレーム３０１内の全ての垂直線１００２について、周波数ごとに、周波数成分特性の成分強度を正規化した値を平均する（ステップＳ９０５）。すなわち、画像フレーム３０１ごとに、平均周波数成分曲線（図４の平均周波数成分曲線４０１と同様）が求められる。
そして、周波数成分調査部１０２は、平均周波数成分曲線と画像フレームＩＤとを、高周波成分算出部１０３に出力する。
なお、ステップＳ９０６〜Ｓ９１２における処理の流れは、ステップＳ２０６〜Ｓ２１２における処理の流れと同様であるので、説明を省略する。
また、第３実施形態における高精細画像処理装置１０は、垂直線方向に好適に高周波成分を含んでいる画像フレームを選択して超解像処理を行うため、高精細で解像度の高い画像を生成することが可能となる。
Then, the frequency
Then, the frequency
Note that the processing flow in steps S906 to S912 is the same as the processing flow in steps S206 to S212, and a description thereof will be omitted.
In addition, the high-definition image processing apparatus 10 according to the third embodiment generates a high-definition and high-resolution image by performing super-resolution processing by selecting an image frame that preferably includes a high-frequency component in the vertical line direction. It becomes possible to do.
《第４実施形態》
第３実施形態では、画像フレーム全体について超解像処理に好適な画像フレームの選択を行う場合であったが、第４実施形態は、画像フレームの一部（例えば、被写体の顔等）を対象として、超解像処理に好適な画像フレームの選択を行う場合である。
第４実施形態において、超解像処理対象が画像フレームの一部となる場合の処理について、図１１を用いて説明する（適宜、図１，図９参照）。図１１は、第４実施形態における超解像処理対象を画像フレームの一部（対象領域画像）とした場合の一例を示す図である。
図１１に示すように、超解像処理対象となる画像フレーム３０１の一部（対象領域画像１１０１）とは、矩形の太い線で囲まれた領域の画像のことである。そして、周波数成分調査部１０２は、対象領域画像１１０１内を垂直線１１０３方向（Ｙ軸方向）に走査して、輝度信号強度を取得する（ステップＳ９０２と同様）。そして、それ以降の処理の流れは、図９に示す処理と同様に行われる。また、第４実施形態は、第２実施形態における水平線方向の処理を、垂直線方向に行う場合である。
<< 4th Embodiment >>
In the third embodiment, an image frame suitable for super-resolution processing is selected for the entire image frame. However, the fourth embodiment targets a part of the image frame (for example, the face of a subject). In this case, an image frame suitable for super-resolution processing is selected.
In the fourth embodiment, processing when the super-resolution processing target is a part of an image frame will be described with reference to FIG. 11 (see FIGS. 1 and 9 as appropriate). FIG. 11 is a diagram illustrating an example when the super-resolution processing target in the fourth embodiment is a part of an image frame (target region image).
As shown in FIG. 11, a part of the image frame 301 (target region image 1101) that is a super-resolution processing target is an image of a region surrounded by a rectangular thick line. Then, the frequency
≪第５実施形態≫
第５実施形態では、超解像処理を水平線方向と垂直線方向とに分離して行い、それらを合成して高精細画像を生成する場合の処理について、図１２を用いて説明する（適宜、図１，図５，図６参照）。図１２は、超解像処理を水平線方向と垂直線方向に分離して行い、それらを合成して高精細な画像を生成する場合の処理を示す図である。
図１２に示すように、高精細画像処理装置１２００は、水平線方向の超解像処理（図１２の左側）と垂直線方向の超解像処理（図１２の右側）とを行う機能を備え、それぞれの処理画像を合成して高精細な画像を出力する構成となっている。したがって、超解像処理の対象となる画像フレームが水平線方向の超解像処理と垂直線方向の超解像処理との間で一致するようにするために、超解像処理対象画像フレーム６０３を決定する機能として、対象画像決定部１２０１が備えられている。なお、図１に示した機能と同じ画像処理部１０１、水平線方向周波数成分調査部１０２、垂直線方向周波数成分調査部１０２、および高周波成分算出部１０３には、同じ符号を付し、説明を省略する。
ただし、高周波成分算出部１０３で使用される高周波数閾値５０２は、水平線方向の処理と垂直線方向の処理とで異なっていてもよい。
«Fifth embodiment»
In the fifth embodiment, super-resolution processing is performed separately in a horizontal line direction and a vertical line direction, and a process for generating a high-definition image by combining them is described with reference to FIG. (See FIGS. 1, 5, and 6). FIG. 12 is a diagram showing processing when super-resolution processing is performed separately in the horizontal direction and vertical direction, and these are combined to generate a high-definition image.
As shown in FIG. 12, the high-definition image processing device 1200 has a function of performing super-resolution processing in the horizontal direction (left side in FIG. 12) and super-resolution processing in the vertical direction (right side in FIG. 12). Each processed image is synthesized to output a high-definition image. Therefore, in order to make the image frame subject to the super-resolution processing match between the super-resolution processing in the horizontal direction and the super-resolution processing in the vertical direction, the super-resolution processing target image frame 603 is A target
However, the high frequency threshold value 502 used in the high frequency
次に、入力画像選択部１０４ａ，１０４ｂと対象画像決定部１２０１とにおける処理について説明する。入力画像選択部１０４ａ，１０４ｂは、入力画像選択部１０４（図１参照）と同様に、超解像処理対象画像フレーム６０３と超解像処理参照画像フレーム６０４を選択する機能を有する。さらに、入力画像選択部１０４ａ，１０４ｂは、それぞれが選択した超解像処理対象画像フレーム６０３の高周波成分面積５０３の大きさとその画像フレームＩＤとを対象画像選択部１２０１に出力する。そして、対象画像決定部１２０１は、入力された高周波成分面積５０３の大きさを比較する。次に、対象画像決定部１２０１は、高周波成分面積５０３の大きい方の画像フレームＩＤを入力画像選択部１０４ａ，１０４ｂに出力する。
Next, processing in the input
そして、例えば、入力画像選択部１０４ａが選択した超解像処理対象画像フレーム６０３の高周波成分面積５０３の大きさの方が、入力画像選択部１０４ｂが選択した超解像処理対象画像フレーム６０３の高周波成分面積５０３の大きさより大きい場合には、入力画像選択部１０４ｂは、自身の決めた超解像処理対象画像フレーム６０３を超解像処理参照画像フレーム６０４に変更し、対象画像決定部１２０１から取得した画像フレームＩＤに対応する画像フレームを、超解像処理対象画像フレーム６０３に変更する。
そして、入力画像選択部１０４ａ，１０４ｂは、それぞれ、超解像処理対象画像フレーム６０３および超解像処理参照画像フレーム６０４を、水平線方向超解像処理部１２０２と垂直線方向超解像処理部１２０３とに出力する。
なお、入力画像選択部１０４で使用される超解像処理基準値６０１は、水平線方向の処理と垂直線方向の処理とで異なっていてもよい。
For example, the size of the high-frequency component area 503 of the super-resolution processing target image frame 603 selected by the input
Then, the input
Note that the super-resolution processing reference value 601 used by the input
次に、水平線方向超解像処理部１２０２、垂直線方向超解像処理部１２０３、および合成処理部１２０４について説明する。
水平線方向超解像処理部１２０２は、水平線方向には画素数を増加するが、垂直線方向には画素数を増加しない（第１の出力画像）。また、垂直線方向超解像処理部１２０３は、垂直線方向には画素数を増加するが、水平線方向には画素数を増加しない（第２の出力画像）。
Next, the horizontal line direction
The horizontal line direction
合成処理部１２０４は、水平線方向超解像処理部１２０２から水平線方向の画素数が増加された横長の処理画像を受け付け、また、垂直線方向超解像処理部１２０３から垂直線方向の画素数が増加された縦長の処理画像を受け付ける。そして、合成処理部１２０４は、横長の処理画像に対しては、垂直線方向にスプライン補間処理を行うことによって、縦横の画素数の比率を、元の画像フレーム３０１（図３参照）の縦横の画素数比率と同じになるようにする（第３の出力画像）。同様に、合成処理部１２０４は、縦長の処理画像に対しては、水平線方向にスプライン補間処理を行うことによって、縦横の画素数の比率を、元の画像フレーム３０１の縦横の画素数比率と同じになるようにする（第４の出力画像）。
次に、合成処理部１２０４は、垂直線方向にスプライン補間処理を行った画像、および水平線方向にスプライン補間処理を行った画像の双方から、同じ位置の画素の画素値を取得して平均することによって、合成画像を算出する。
なお、合成処理部１２０４は、前記したように平均する代わりに、同じ位置の画素の各画素値に、重みを付けて加算し、合成画像を求めてもよい。
The
Next, the
Note that, instead of averaging as described above, the
そして、画像出力部１０６は、合成処理部１２０４から取得した合成画像を出力画像信号として、高精細画像処理装置１２００から出力する（図２のステップＳ２１２および図９のステップＳ９１２と同様）。
したがって、高精細画像処理装置１２００は、水平線方向および垂直線方向に好適に高周波成分を含んだ画像フレームを選択して超解像処理を行うため、高精細で解像度の高い画像を生成することが可能となる。
なお、処理対象の画像は、図７，図１１に示す対象領域画像７０１，１１０１であってもよい。
Then, the
Therefore, since the high-definition image processing apparatus 1200 performs super-resolution processing by appropriately selecting an image frame including a high-frequency component in the horizontal line direction and the vertical line direction, a high-definition and high-resolution image can be generated. It becomes possible.
The processing target images may be target area images 701 and 1101 shown in FIGS.
図１３には、合成処理部１２０４における処理の概要を模式的に示した（適宜、図１，図１２参照）。図１３は、合成処理部における処理の概要を模式的に示す図である。
まず、画像入力部１０１に入力された画像フレーム１３０１の画素数が、横ｘ、縦ｙであったとする。水平線方向超解像処理部１２０２によって、画像フレーム１３０２の画素数は、横２ｘ、縦ｙとなる。また、垂直線方向超解像処理１２０３によって、画像フレーム１３０３の画素数は、横ｘ、縦２ｙとなる。そして、合成処理部１２０４によって、画像フレーム１３０２、画像フレーム１３０３はともにスプライン補間されて、画素値が平均され、画像フレーム１３０４の画素数は、横２ｘ、縦２ｙとなる。
そして、画像フレーム１３０４が、合成処理部１２０４から画像出力部１０６に出力される。画像出力部１０６から出力された出力画像信号は、光ディスクやＨＤＤ等の記録媒体に記憶されたり、インターネット等の通信媒体に出力されたりする。
FIG. 13 schematically shows an outline of processing in the synthesis processing unit 1204 (see FIGS. 1 and 12 as appropriate). FIG. 13 is a diagram schematically illustrating an outline of processing in the synthesis processing unit.
First, it is assumed that the number of pixels of the
Then, the
《第６実施形態》
第６実施形態では、前記した高精細画像処理装置１０，１２００を、撮像装置（例えば、デジタルカメラ）に外付けして超解像処理を行う場合の構成について説明する。
図１４は、撮像装置に高精細画像処理装置を外付けした場合の構成を示す図である。
図１４に示すように、撮像装置１４００は、主な機能として、撮像装置制御部１４０１、撮像部１４０２、Ａ／Ｄ（Analog/Digital）変換部１４０３、信号処理部１４０４、記録部１４０５、操作部１４０６、および表示部１４０７を備えている。
<< 6th Embodiment >>
In the sixth embodiment, a configuration in which super resolution processing is performed by attaching the above-described high-definition image processing apparatuses 10 and 1200 to an imaging apparatus (for example, a digital camera) will be described.
FIG. 14 is a diagram illustrating a configuration when a high-definition image processing apparatus is externally attached to the imaging apparatus.
As illustrated in FIG. 14, the imaging device 1400 includes, as main functions, an imaging
撮像装置制御部１４０１は、各部（１４０２〜１４０７）の制御を司る。また、撮像装置制御部１４０１は、外付けされた高精細画像処理装置１０，１２００との入力画像信号および出力画像信号等の送受信を行う（線１４１１，線１４１２）。
撮像部１４０２は、ＣＣＤ（Charge Coupled Device）イメージセンサを備え、光電変換によって光をアナログ電気信号に変換する。
Ａ／Ｄ変換部１４０３は、撮像部１４０２によって生成されたアナログ電気信号を、サンプリングおよび量子化して、デジタル信号に変換する。
信号処理部１４０４は、Ａ／Ｄ変換部１４０３から受け付けたデジタル信号に、信号レベル調整、コントラスト調整、ブライトネス調整、ホワイトバランス調整等の処理を行う。
The imaging
The
The A /
The
記録部１４０５は、信号処理部１４０４から出力される画像データを格納する。記録部１４０５は、例えば、ＨＤＤ、ブルーレイディスク、ＤＶＤ、ＳＤメモリカードである。
操作部１４０６は、撮像装置１４００自身の録画や再生等を可能とするボタンや操作項目を選択可能とするキースイッチ等で構成される。また、操作部１４０６は、高精細画像処理装置１０，１２００を用いた超解像処理の実行を指示する機能を有する。さらに、操作部１４０６は、高周波数閾値５０２（図５参照）および超解像処理基準値６０１（図６参照）を設定する機能を有する。そして、設定した高周波数閾値５０２（図５参照）および超解像処理基準値６０１（図６参照）は、撮像装置制御部１４０１によって、図示しない撮影装置の記憶部または高精細画像処理装置１０，１２００の記憶部に格納され、高周波成分算出のための処理および画像フレーム選択のための処理の際に読み出されて使用される。
表示部１４０７は、録画中の画像や再生する画像を表示する。また、表示部１４０７は、操作部１４０６による操作を誘導する誘導画面を表示する。
The
The
A
そして、高精細画像処理装置１０，１２００と撮像装置１４００とは、相互に通信を可能にするインタフェースを備えているものとする。例えば、撮像装置制御部１４０１から高精細画像処理装置１０，１２００へ接続されている線１４１１は、図８に示す入力部８２１から制御部８１１へ接続されている線や入力画像信号が伝送される線に相当する。また、高精細画像処理装置１０，１２００から撮像装置制御部１４０１へ接続されている線１４１２は、図８に示す制御部８１１から表示部８２２へ接続されている線や図１，図１２に示す出力画像信号が伝送される線に相当する。そして、操作部１４０６は、図８に示す入力部８２１に相当する。また、表示部１４０７は、図８に示す表示部８２２に相当する。
なお、出力画像信号は、高精細画像処理装置１０，１２００から、撮像装置１４００以外の光ディスクやＨＤＤ等の記録媒体に記憶されたり、インターネット等の通信媒体に出力されたりしても構わない。
The high-definition image processing apparatuses 10 and 1200 and the imaging apparatus 1400 are provided with an interface that enables mutual communication. For example, a
The output image signal may be stored in a recording medium such as an optical disk or HDD other than the imaging apparatus 1400 from the high-definition image processing apparatuses 10 and 1200, or may be output to a communication medium such as the Internet.
また、撮像装置１４００が、高精細画像処理装置１０，１２００を内蔵してもかまわない。ただし、高精細画像処理装置１０，１２００を内蔵する場合には、図８に示す制御部８１１の機能を撮像装置制御部１４０１において実現すればよい。
さらに、高精細画像処理装置１０，１２００は、撮像装置１４００ではなく、撮像装置制御部１４０１、記録部１４０５、操作部１４０６、および表示部１４０７と同等の機能を含むプリンタに外付け、または内蔵されてもよい。そして、そのプリンタは、高精細な処理画像を印刷して出力することが可能になる。
Further, the imaging device 1400 may incorporate the high-definition image processing devices 10 and 1200. However, when the high-definition image processing apparatuses 10 and 1200 are incorporated, the function of the
Further, the high-definition image processing apparatuses 10 and 1200 are externally installed or incorporated in a printer including functions equivalent to the imaging
以上説明したように、本実施形態に係る高精細画像処理装置１０，１２００（図１、図１２参照）は、連続写真や動画等の空間的に連続な複数の画像フレームから、超解像処理に好適な画像フレームを選択可能とするため、高精細で解像度の高い画像（静止画）を容易に生成することが可能となる。 As described above, the high-definition image processing apparatuses 10 and 1200 (see FIGS. 1 and 12) according to the present embodiment perform super-resolution processing from a plurality of spatially continuous image frames such as continuous photographs and moving images. Therefore, it is possible to easily generate a high-definition and high-resolution image (still image).
１０，１２００ 高精細画像処理装置（画像処理装置）
１１ 処理部
１０２ 周波数成分調査部
１０３ 高周波成分算出部
１０４，１０４ａ，１０４ｂ 入力画像選択部
１０５ 超解像処理部
３０２ 水平線
３０３ 輝度信号強度曲線
５０１ 平均周波数成分曲線
５０２ 高周波数閾値
５０３ 高周波面積
６０１ 超解像処理基準値
６０３ 超解像処理対象画像フレーム
６０４ 超解像処理参照画像フレーム
７０１ 対象選択画像
１００２ 垂直線
１２０１ 対象画像処理部
１２０４ 合成処理部
１４００ 撮像装置
10,1200 High-definition image processing device (image processing device)
DESCRIPTION OF
Claims (15)
前記制御部は、
前記入力画像に含まれる画像フレームごとに高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上の画像フレームを選択し、
前記選択した前記所定値以上の画像フレームを用いて、所定の処理を行って出力画像を生成すること、
を特徴とする高精細画像処理装置。 A high-definition image processing apparatus including a control unit that performs arithmetic processing on an input image to generate an output image,
The controller is
Calculating the magnitude of the high frequency component for each image frame included in the input image;
The magnitude of the high frequency component is compared with a predetermined value stored in advance in a storage unit,
Select an image frame whose magnitude of the high frequency component is equal to or greater than the predetermined value,
Generating an output image by performing a predetermined process using the selected image frame of the predetermined value or more;
A high-definition image processing apparatus characterized by the above.
前記制御部は、
前記入力画像の画像フレームに画像フレーム識別情報を関連付けて記憶部に記憶し、
前記記憶部から前記画像フレームと前記画像フレーム識別情報とを読み出して、
前記読み出した画像フレームを用いて画像フレームごとに高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上となる画像フレームの前記画像フレーム識別情報を用いて、前記記憶部を参照して、その画像フレーム識別情報に対応する画像フレームを取得し、
前記取得した画像フレームを用いて、所定の処理を行って出力画像を生成すること、
を特徴とする高精細画像処理装置。 A high-definition image processing apparatus including a control unit that performs arithmetic processing on an input image to generate an output image,
The controller is
Storing image frame identification information in association with an image frame of the input image in a storage unit;
Read the image frame and the image frame identification information from the storage unit,
Calculate the magnitude of the high frequency component for each image frame using the read image frame,
The magnitude of the high frequency component is compared with a predetermined value stored in advance in a storage unit,
Using the image frame identification information of an image frame whose magnitude of the high-frequency component is equal to or greater than the predetermined value, refer to the storage unit to obtain an image frame corresponding to the image frame identification information,
Using the acquired image frame to perform a predetermined process to generate an output image;
A high-definition image processing apparatus characterized by the above.
を特徴とする請求項１または請求項２に記載の高精細画像処理装置。 The input image is a partial region of an original image captured by an imaging device;
The high-definition image processing apparatus of Claim 1 or Claim 2 characterized by these.
前記画像フレームごとの前記高周波成分の大きさを、
前記画像フレーム内の画素の輝度値の並びを周波数分析して周波数成分強度を算出し、
前記算出した前記周波数成分強度を、予め記憶部に記憶されている所定の周波数以上について積算して算出すること、
を特徴とする請求項１ないし請求項３のいずれか一項に記載の高精細画像処理装置。 The controller is
The size of the high-frequency component for each image frame,
Analyzing the luminance value sequence of the pixels in the image frame to calculate the frequency component intensity,
Calculating the calculated frequency component strength by integrating the frequency component intensity for a predetermined frequency or more stored in advance in a storage unit;
The high-definition image processing apparatus according to any one of claims 1 to 3.
前記周波数成分強度を、
前記入力画像の画像フレームの水平線方向に並んだ画素の輝度値を周波数分析して水平線方向の周波数成分強度を算出し、前記水平線方向の周波数成分について周波数を変数として積算した値が所定の値となるように正規化し、前記正規化した前記水平線方向の周波数成分を、周波数ごとに、前記画像フレーム内の全ての水平線について平均して算出すること、
を特徴とする請求項４に記載の高精細画像処理装置。 The controller is
The frequency component intensity is
The luminance value of the pixels arranged in the horizontal line direction of the image frame of the input image is subjected to frequency analysis to calculate the frequency component intensity in the horizontal line direction, and a value obtained by integrating the frequency components in the horizontal line direction as a variable is a predetermined value. Normalizing and calculating the normalized frequency component in the horizontal direction for each frequency by averaging for all horizontal lines in the image frame,
The high-definition image processing apparatus according to claim 4.
前記周波数成分強度を、
前記入力画像の画像フレームの垂直線方向に並んだ画素の輝度値を周波数分析して垂直線方向の周波数成分強度を算出し、前記垂直線方向の周波数成分について周波数を変数として積算した値が所定の値となるように正規化し、前記正規化した前記垂直線方向の周波数成分を、周波数ごとに、前記画像フレーム内の全ての垂直線について平均して算出すること、
を特徴とする請求項４に記載の高精細画像処理装置。 The controller is
The frequency component intensity is
The luminance value of the pixels arranged in the vertical line direction of the image frame of the input image is subjected to frequency analysis to calculate the frequency component intensity in the vertical line direction, and a value obtained by integrating the frequency components in the vertical line direction using the frequency as a variable is a predetermined value. And normalizing the normalized frequency component in the vertical direction for each frequency for all the vertical lines in the image frame.
The high-definition image processing apparatus according to claim 4.
を特徴とする請求項５または請求項６に記載の高精細画像処理装置。 The frequency analysis is Fourier transform or wavelet transform;
The high-definition image processing apparatus according to claim 5 or 6, characterized in that:
画素数を２倍にする場合には、前記画像フレームに含まれる周波数成分の最高周波数の５０％であること、
を特徴とする請求項４に記載の高精細画像処理装置。 The predetermined frequency used when calculating the magnitude of the high frequency component is:
When doubling the number of pixels, it is 50% of the maximum frequency of the frequency component included in the image frame,
The high-definition image processing apparatus according to claim 4.
前記制御部は、
前記入力画像に含まれる画像フレームごとに、前記入力画像の画像フレームの水平線方向にサンプリング周波数によって標本化された画素の輝度値を周波数分析して水平線方向の周波数成分強度を算出し、前記水平線方向の周波数成分について周波数を変数として積算した値が所定の値となるように正規化し、前記正規化した前記水平線方向の周波数成分を、周波数ごとに、前記画像フレーム内の全ての水平線について平均して算出し、予め記憶部に記憶されている所定の周波数を読み出して、前記所定の周波数以上の前記平均した成分強度を積算して、高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上の画像フレームを選択し、
前記選択した前記所定値以上の画像フレームに対して、前記サンプリング周波数より大きいサンプリング周波数で標本化して水平線方向の画素数を増加させ、出力画像を生成すること、
を特徴とする高精細画像処理装置。 A high-definition image processing apparatus including a control unit that performs arithmetic processing on an input image to generate an output image,
The controller is
For each image frame included in the input image, the luminance value of the pixel sampled by the sampling frequency in the horizontal line direction of the image frame of the input image is subjected to frequency analysis to calculate the frequency component intensity in the horizontal line direction, and the horizontal line direction And normalizing the frequency component in the horizontal line direction for each horizontal line in the image frame for each frequency. Calculate, read out a predetermined frequency stored in advance in the storage unit, integrate the averaged component intensity equal to or higher than the predetermined frequency, to calculate the magnitude of the high frequency component,
The magnitude of the high frequency component is compared with a predetermined value stored in advance in a storage unit,
Select an image frame whose magnitude of the high frequency component is equal to or greater than the predetermined value,
For the selected image frame of the predetermined value or more, sampling at a sampling frequency higher than the sampling frequency to increase the number of pixels in the horizontal line direction, and generating an output image;
A high-definition image processing apparatus characterized by the above.
前記制御部は、
前記入力画像に含まれる画像フレームごとに、前記入力画像の画像フレームの垂直線方向にサンプリング周波数によって標本化された画素の輝度値を周波数分析して垂直線方向の周波数成分強度を算出し、前記垂直線方向の周波数成分について周波数を変数として積算した値が所定の値となるように正規化し、前記正規化した前記垂直線方向の周波数成分を、周波数ごとに、前記画像フレーム内の全ての垂直線について平均して算出し、予め記憶部に記憶されている所定の周波数を読み出して、前記所定の周波数以上の前記平均した成分強度を積算して、高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上の画像フレームを選択し、
前記選択した前記所定値以上の画像フレームに対して、前記サンプリング周波数より大きいサンプリング周波数で標本化して垂直線方向の画素数を増加させ、出力画像を生成すること、
を特徴とする高精細画像処理装置。 A high-definition image processing apparatus including a control unit that performs arithmetic processing on an input image to generate an output image,
The controller is
For each image frame included in the input image, the frequency value intensity in the vertical line direction is calculated by frequency analysis of the luminance value of the pixel sampled by the sampling frequency in the vertical line direction of the image frame of the input image, The frequency component in the vertical direction is normalized so that a value obtained by integrating the frequency as a variable becomes a predetermined value, and the normalized frequency component in the vertical direction is set to every vertical frequency in the image frame for each frequency. The average is calculated for the line, the predetermined frequency stored in advance in the storage unit is read, the average component intensity equal to or higher than the predetermined frequency is integrated, and the magnitude of the high frequency component is calculated,
The magnitude of the high frequency component is compared with a predetermined value stored in advance in a storage unit,
Select an image frame whose magnitude of the high frequency component is equal to or greater than the predetermined value,
Sampling the image frame with the selected predetermined value or more at a sampling frequency higher than the sampling frequency to increase the number of pixels in the vertical direction, and generating an output image;
A high-definition image processing apparatus characterized by the above.
請求項８に記載の高精細画像処理装置から出力される出力画像である第１の出力画像と、請求項９に記載の高精細画像処理装置から出力される出力画像である第２の出力画像とを取得し、
前記第１の出力画像には、垂直線方向の画素値にスプライン補間を適用して、垂直線方向の画素数を前記第２の出力画像における垂直線方向の画素数に一致させて、第３の処理画像を生成し、
前記第２の出力画像には、水平線方向の画素値にスプライン補間を適用して、水平線方向の画素数を前記第１の出力画像における水平線方向の画素数に一致させ、第４の処理画像を生成し、
前記第３の処理画像と前記第４の処理画像における、同じ位置の画素の画素値を平均し、出力画像を生成すること、
を特徴とする高精細画像処理装置。 A high-definition image processing apparatus including a control unit that performs arithmetic processing on an input image to generate an output image,
A first output image that is an output image output from the high-definition image processing device according to claim 8, and a second output image that is an output image output from the high-definition image processing device according to claim 9. And get the
For the first output image, the spline interpolation is applied to the pixel values in the vertical line direction so that the number of pixels in the vertical line direction matches the number of pixels in the vertical line direction in the second output image. Generate a processed image of
For the second output image, spline interpolation is applied to the pixel values in the horizontal line direction so that the number of pixels in the horizontal line direction matches the number of pixels in the horizontal line direction in the first output image, and the fourth processed image is Generate and
Averaging the pixel values of the pixels at the same position in the third processed image and the fourth processed image to generate an output image;
A high-definition image processing apparatus characterized by the above.
前記制御部は、
（１）前記入力画像に含まれる画像フレームごとに、前記入力画像の画像フレームの水平線方向にサンプリング周波数によって標本化された画素の輝度値を周波数分析して水平線方向の周波数成分強度を算出し、前記水平線方向の周波数成分について周波数を変数として積算した値が所定の値となるように正規化し、前記正規化した前記水平線方向の周波数成分を、周波数ごとに、前記画像フレーム内の全ての水平線について平均して算出し、予め記憶部に記憶されている所定の周波数を読み出して、前記所定の周波数以上の前記平均した成分強度を積算して、高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上の画像フレームを第１の画像フレームとして選択し、
前記第１の画像フレームの中で、最大の高周波成分の大きさとなる第２の画像フレームを決定し、
（２）前記入力画像に含まれる画像フレームごとに、前記入力画像の画像フレームの垂直線方向にサンプリング周波数によって標本化された画素の輝度値を周波数分析して垂直線方向の周波数成分強度を算出し、前記垂直線方向の周波数成分について周波数を変数として積算した値が所定の値となるように正規化し、前記正規化した前記垂直線方向の周波数成分を、周波数ごとに、前記画像フレーム内の全ての垂直線について平均して算出し、予め記憶部に記憶されている所定の周波数を読み出して、前記所定の周波数以上の前記平均した成分強度を積算して、高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上の画像フレームを第３の画像フレームとして選択し、
前記第３の画像フレームの中で、最大の高周波成分の大きさとなる第４の画像フレームを決定し、
（３）前記第２の画像フレームの前記高周波成分の大きさと前記第４の画像フレームの前記高周波成分の大きさとを比較して、大きい方を第５の画像フレームとし、
（４）、前記第１〜第５の画像フレームを用いて、所定の処理を行って出力画像を生成すること、
を特徴とする高精細画像処理装置。 A high-definition image processing apparatus including a control unit that performs arithmetic processing on an input image to generate an output image,
The controller is
(1) For each image frame included in the input image, the luminance value of a pixel sampled at a sampling frequency in the horizontal line direction of the image frame of the input image is subjected to frequency analysis to calculate a frequency component intensity in the horizontal line direction, The frequency component in the horizontal line direction is normalized so that a value obtained by integrating the frequency as a variable becomes a predetermined value, and the normalized frequency component in the horizontal line direction for all horizontal lines in the image frame for each frequency. Calculate the average, read the predetermined frequency stored in advance in the storage unit, integrate the average component intensity above the predetermined frequency, to calculate the magnitude of the high frequency component,
The magnitude of the high frequency component is compared with a predetermined value stored in advance in a storage unit,
Selecting an image frame whose magnitude of the high frequency component is equal to or greater than the predetermined value as a first image frame;
Determining a second image frame having a maximum magnitude of a high-frequency component in the first image frame;
(2) For each image frame included in the input image, the luminance value of the pixel sampled at the sampling frequency in the vertical line direction of the image frame of the input image is subjected to frequency analysis to calculate the frequency component intensity in the vertical line direction. Then, normalization is performed so that a value obtained by integrating the frequency components in the vertical line direction as a variable becomes a predetermined value, and the normalized frequency component in the vertical line direction is included in the image frame for each frequency. Calculates the average of all the vertical lines, reads a predetermined frequency stored in advance in the storage unit, integrates the averaged component intensity equal to or higher than the predetermined frequency, and calculates the magnitude of the high frequency component ,
The magnitude of the high frequency component is compared with a predetermined value stored in advance in a storage unit,
Selecting an image frame whose magnitude of the high frequency component is equal to or greater than the predetermined value as a third image frame;
Determining a fourth image frame having a maximum high-frequency component size among the third image frames;
(3) Compare the magnitude of the high-frequency component of the second image frame with the magnitude of the high-frequency component of the fourth image frame, and set the larger one as the fifth image frame;
(4) performing predetermined processing using the first to fifth image frames to generate an output image;
A high-definition image processing apparatus characterized by the above.
前記撮像装置は、記録部と制御部とを備え、
前記記録部は、撮影した連続写真または動画を記録し、
前記制御部は、
前記記録部に記憶されている前記連続写真または動画を前記高精細画像処理装置への入力画像として取得し、
前記高精細画像処理装置が生成した出力画像を取得すること、
を特徴とする撮像装置。 An imaging device that captures a continuous photograph or a moving image that can communicate with the high-definition image processing device according to any one of claims 1, 2, and 11,
The imaging apparatus includes a recording unit and a control unit,
The recording unit records a taken continuous photograph or a moving image,
The controller is
Acquiring the continuous photograph or moving image stored in the recording unit as an input image to the high-definition image processing apparatus;
Obtaining an output image generated by the high-definition image processing apparatus;
An imaging apparatus characterized by the above.
前記制御部は、
前記入力画像に含まれる画像フレームごとに高周波成分の大きさを算出し、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較し、
前記高周波成分の大きさが前記所定値以上の画像フレームを選択し、
前記選択した前記所定値以上の画像フレームを用いて、所定の処理を行って出力画像を生成すること、
を特徴とする高精細画像処理方法。 A high-definition image processing method used in a high-definition image processing apparatus including a control unit that performs arithmetic processing on an input image to generate an output image,
The controller is
Calculating the magnitude of the high frequency component for each image frame included in the input image;
The magnitude of the high frequency component is compared with a predetermined value stored in advance in a storage unit,
Select an image frame whose magnitude of the high frequency component is equal to or greater than the predetermined value,
Generating an output image by performing a predetermined process using the selected image frame of the predetermined value or more;
A high-definition image processing method.
前記制御部に、
前記入力画像に含まれる画像フレームごとに高周波成分の大きさを算出させ、
前記高周波成分の大きさを、予め記憶部に記憶されている所定値と比較させ、
前記高周波成分の大きさが前記所定値以上の画像フレームを選択させ、
前記選択した前記所定値以上の画像フレームを用いて、所定の処理を行わせて出力画像を生成させること、
を実行させることを特徴とするプログラム。 A program used in a high-definition image processing apparatus including a control unit that performs arithmetic processing on an input image to generate an output image,
In the control unit,
Calculate the size of the high frequency component for each image frame included in the input image,
The magnitude of the high frequency component is compared with a predetermined value stored in advance in a storage unit,
Selecting an image frame in which the magnitude of the high-frequency component is equal to or greater than the predetermined value;
Using a selected image frame equal to or greater than the predetermined value to perform a predetermined process to generate an output image;
A program characterized by having executed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008124180A JP2009273072A (en) | 2008-05-12 | 2008-05-12 | High-definition image processing device, high-definition image processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008124180A JP2009273072A (en) | 2008-05-12 | 2008-05-12 | High-definition image processing device, high-definition image processing method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009273072A true JP2009273072A (en) | 2009-11-19 |
Family
ID=41439195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008124180A Pending JP2009273072A (en) | 2008-05-12 | 2008-05-12 | High-definition image processing device, high-definition image processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009273072A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013532878A (en) * | 2010-08-06 | 2013-08-19 | ヴァレリーヴィチ シムニコ，ドミトリー | Method for generating a super-resolution image and non-linear digital filter for implementing the same |
| CN104954720A (en) * | 2014-03-26 | 2015-09-30 | 扬智科技股份有限公司 | Image conversion method and image conversion system |
| CN116233602A (en) * | 2022-12-15 | 2023-06-06 | 山东大学 | Automatic focusing method, system, medium and equipment of hyperspectral camera |
-
2008
- 2008-05-12 JP JP2008124180A patent/JP2009273072A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013532878A (en) * | 2010-08-06 | 2013-08-19 | ヴァレリーヴィチ シムニコ，ドミトリー | Method for generating a super-resolution image and non-linear digital filter for implementing the same |
| KR101612165B1 (en) * | 2010-08-06 | 2016-04-12 | 알마렌스, 인코포레이티드 | Method for producing super-resolution images and nonlinear digital filter for implementing same |
| CN104954720A (en) * | 2014-03-26 | 2015-09-30 | 扬智科技股份有限公司 | Image conversion method and image conversion system |
| CN104954720B (en) * | 2014-03-26 | 2018-06-15 | 扬智科技股份有限公司 | Image conversion method and system |
| CN116233602A (en) * | 2022-12-15 | 2023-06-06 | 山东大学 | Automatic focusing method, system, medium and equipment of hyperspectral camera |
| CN116233602B (en) * | 2022-12-15 | 2024-06-04 | 山东大学 | Automatic focusing method, system, medium and equipment of hyperspectral camera |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8315481B2 (en) | Image transmitting apparatus, image receiving apparatus, image transmitting and receiving system, recording medium recording image transmitting program, and recording medium recording image receiving program | |
| EP2308236B1 (en) | Improved image formation using different resolution images | |
| JP4720859B2 (en) | Image processing apparatus, image processing method, and program | |
| US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
| EP2161928B1 (en) | Image processing device, image processing method, and program | |
| JP5220777B2 (en) | Image processing apparatus, imaging apparatus, program, and image processing method | |
| JP4327246B2 (en) | Multicolor image processing apparatus and signal processing apparatus | |
| WO2011148760A1 (en) | Image processing device, image capturing device, program and image processing method | |
| US10587892B2 (en) | Image processing apparatus, image processing method, and program for generating motion compensated image data | |
| JP5002738B2 (en) | Image generation device | |
| JPWO2009019823A1 (en) | IMAGING PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM | |
| WO2012147523A1 (en) | Imaging device and image generation method | |
| JP2013162347A (en) | Image processor, image processing method, program, and device | |
| JP5691374B2 (en) | Data compression device | |
| JP2009273072A (en) | High-definition image processing device, high-definition image processing method, and program | |
| JP5113479B2 (en) | Image signal processing apparatus and image signal processing method | |
| JP2013020528A (en) | Image processing device, method, and program | |
| JP5159461B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP2013003339A (en) | Image displaying system and method of controlling the same | |
| JP6082304B2 (en) | Image processing apparatus and processing method thereof | |
| JP2009140393A (en) | Video processing device, video display device, video processing method and video display method | |
| JP2013126123A (en) | Image processing device, imaging apparatus, and image processing method | |
| JP2008072428A (en) | Image processor, electronic camera, and image processing program | |
| WO2012147630A1 (en) | Imaging device and image generation method | |
| JP2013125999A (en) | Image processing device, imaging apparatus, and image processing method |