JP2008268725A - Information processing apparatus and method of increasing resolution of image data - Google Patents
Information processing apparatus and method of increasing resolution of image data Download PDFInfo
- Publication number
- JP2008268725A JP2008268725A JP2007114317A JP2007114317A JP2008268725A JP 2008268725 A JP2008268725 A JP 2008268725A JP 2007114317 A JP2007114317 A JP 2007114317A JP 2007114317 A JP2007114317 A JP 2007114317A JP 2008268725 A JP2008268725 A JP 2008268725A
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- image data
- image
- pixel
- reference frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
Description
この発明は、例えばパーソナルコンピュータなどの情報処理装置に適用して好適な画像データの高解像度化技術に関する。 The present invention relates to a technique for increasing the resolution of image data suitable for application to an information processing apparatus such as a personal computer.
近年、ノートブックタイプやデスクトップタイプ等、様々なタイプのパーソナルコンピュータが広く普及している。この種のパーソナルコンピュータの中には、動画像データをソフトウェアで再生するものも多く、また、最近では、入力された画像データよりも高い解像度の画像データを生成する機能を提供するソフトウェアも出現してきている。 In recent years, various types of personal computers such as a notebook type and a desktop type are widely used. Many of these types of personal computers reproduce moving image data with software. Recently, software that provides a function for generating image data with higher resolution than input image data has also appeared. ing.
例えば複数フレーム劣化逆変換法は、基準フレームに写っている被写体が、別のフレームにも写っていることに注目し、被写体の動きを画素間隔以下の高い精度で検出することにより、被写体の同一の局所部分に対して微小に位置がずれた複数の標本値を求めて高解像度化するものである(例えば特許文献1等参照)。
ところで、複数フレーム劣化逆変換法では、低解像度なフレームが時系列で並んでいる場合に、それらを順次高解像度なフレームに変換することができるが、十分な数の標本値を得るには、多数の低解像度画像が必要であり、メモリ量、処理量が多くなるという問題がある。 By the way, in the multiple frame degradation inverse transformation method, when low resolution frames are arranged in time series, they can be converted into high resolution frames sequentially, but in order to obtain a sufficient number of sample values, A large number of low resolution images are required, and there is a problem that the amount of memory and the amount of processing increase.
特に、パーソナルコンピュータ上で動作するソフトウェアで画像データの高解像度化を行う場合には、例えば占有する資源を所定の範囲内に収めるべく、高解像度化のための処理の内容を動的に制御する必要も生ずる。 In particular, when the resolution of image data is increased by software operating on a personal computer, for example, the contents of the processing for increasing the resolution are dynamically controlled so that the occupied resources fall within a predetermined range. Need also arises.
この発明は、このような事情を考慮してなされたものであり、少ないフレーム参照で高解像度化を行え、かつ、この高解像度化の処理負荷を動的に調整することを可能とした情報処理装置および画像データの高解像度化方法を提供することを目的とする。 The present invention has been made in consideration of such circumstances, and can perform high resolution with few frame references and can dynamically adjust the processing load for high resolution. It is an object to provide an apparatus and a method for increasing the resolution of image data.
前述の目的を達成するために、この発明の情報処理装置は、各画素の輝度が画素値として表される1以上のフレームからなる第1の解像度の画像データを入力する入力手段と、前記画像データ中から基準フレームとして選択された1つのフレーム内または当該基準フレームを含む2以上のフレーム内から隣接する画素間の画素値の差分が閾値以上の注目画像領域を検出する検出手段と、前記検出手段により検出された注目画像領域それぞれについて、各注目画像領域における画素間の画素値の変化パターンに近似する対応画像領域を前記基準フレーム内から探索する探索手段と、前記基準フレームの各画素の画素値と前記探索手段により探索された対応画像領域の情報とに基づき、前記基準フレームに対応する、前記第1の解像度よりも高い第2の解像度の画像データを生成する高解像度化手段と、前記検出手段により検出された注目画像領域の数に応じて、当該注目画像領域それぞれについて前記探索手段に探索させる対応画像領域の数を設定する設定手段と、を具備することを特徴とする。 In order to achieve the above object, an information processing apparatus according to the present invention includes an input unit that inputs image data having a first resolution composed of one or more frames in which the luminance of each pixel is expressed as a pixel value, and the image Detecting means for detecting an attention image area in which a difference in pixel value between adjacent pixels is within a threshold selected from within one frame selected from the data as a reference frame or within two or more frames including the reference frame; Search means for searching for a corresponding image area that approximates a change pattern of pixel values between pixels in each target image area for each target image area detected by the means, and a pixel of each pixel of the reference frame Higher than the first resolution corresponding to the reference frame based on the value and information of the corresponding image area searched by the search means A resolution increasing means for generating image data of two resolutions, and the number of corresponding image areas to be searched by the search means for each of the target image areas according to the number of target image areas detected by the detection means. And setting means.
また、この発明の画像データの高解像度化方法は、データ入力手段、データ出力手段および中央演算処理装置を備える情報処理装置を用いた画像データの高解像度化方法であって、各画素の輝度が画素値として表される1以上のフレームからなる第1の解像度の画像データを前記データ入力手段より入力し、前記画像データ中から基準フレームとして選択された1つのフレーム内または当該基準フレームを含む2以上のフレーム内から隣接する画素間の画素値の差分が閾値以上の注目画像領域を前記中央演算処理装置により検出し、前記検出した注目画像領域の数に応じて、各注目画像領域における画素間の画素値の変化パターンに近似する対応画像領域の探索数を前記中央演算処理装置により設定し、前記検出した注目画像領域それぞれについて、前記設定した数だけ前記対応画像領域を前記基準フレーム中から前記中央演算処理装置により探索し、前記基準フレームの各画素の画素値と前記探索した対応画像領域の情報とに基づき、前記基準フレームに対応する、前記第1の解像度よりも高い第2の解像度の画像データを前記中央演算処理装置により生成して前記データ出力手段より出力する、ことを特徴とする。 The image data resolution increasing method according to the present invention is a method for increasing the resolution of image data using an information processing apparatus including a data input means, a data output means, and a central processing unit. Image data of a first resolution consisting of one or more frames represented as pixel values is input from the data input means, and is included in one frame selected as a reference frame from the image data or including the reference frame 2 A target image area in which the difference in pixel value between adjacent pixels in the frame is equal to or greater than a threshold is detected by the central processing unit, and the pixels in each target image area are determined according to the number of detected target image areas. The number of search for corresponding image areas that approximate the change pattern of pixel values is set by the central processing unit, and each detected image area of interest is set. And searching for the corresponding image area by the central processing unit from the reference frame by the set number, and based on the pixel value of each pixel of the reference frame and the information of the searched corresponding image area Image data having a second resolution higher than the first resolution corresponding to a frame is generated by the central processing unit and output from the data output means.
この発明によれば、少ないフレーム参照で高解像度化を行え、かつ、この高解像度化の処理負荷を動的に調整することを可能とした情報処理装置および画像データの高解像度化方法を提供することができる。 According to the present invention, it is possible to provide an information processing apparatus and a method for increasing the resolution of image data that can increase the resolution with reference to a small number of frames and can dynamically adjust the processing load of the increase in resolution. be able to.
以下、図面を参照して、この発明の一実施形態を説明する。図1には、本実施形態に係る情報処理装置の構成例が示されている。この情報処理装置は、例えばバッテリ駆動可能なノートブック型パーソナルコンピュータ等として実現されている。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a configuration example of the information processing apparatus according to the present embodiment. This information processing apparatus is realized as, for example, a notebook personal computer that can be driven by a battery.
図1に示すように、このコンピュータは、CPU11、ノースブリッジ12、主メモリ13、グラフィックスコントローラ14、VRAM14A、LCD15、サウスブリッジ16、BIOS−ROM17、HDD18、USBコントローラ19、サウンドコントローラ20、スピーカ21、デジタルTVチューナ22、エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)23、キーボード24、タッチパッド25、電源回路26、バッテリ27およびネットワークコントローラ28等を備えている。
As shown in FIG. 1, this computer includes a
CPU11は、本コンピュータ内の各部の動作を制御するプロセッサである。CPU11は、HDD18から主メモリ13にロードされるオペレーティングシステム(OS)100や、このOS100の制御下で動作する、ユーティリティを含む各種アプリケーションプログラムを実行する。この各種アプリケーションプログラムの中には、後述する高解像度化アプリケーション200が含まれている。また、CPU11は、BIOS−ROM17に格納されたBIOSも実行する。BIOSは、各種ハードウェア制御のためのプログラムである。
The
ノースブリッジ12は、CPU11のローカルバスとサウスブリッジ16との間を接続するブリッジデバイスである。ノースブリッジ12は、バスを介してグラフィックスコントローラ14との通信を実行する機能を有しており、また、主メモリ13をアクセス制御するメモリコントローラも内蔵されている。グラフィックスコントローラ14は、本コンピュータのディスプレイモニタとして使用されるLCD15を制御する表示コントローラである。グラフィックスコントローラ14は、VRAM14Aに書き込まれた画像データからLCD15に送出すべき表示信号を生成する。
The
サウスブリッジ16は、PCIバスおよびLPCバス上の各種デバイスを制御するコントローラである。また、このサウスブリッジ16には、BIOS−ROM17、HDD18、USBコントローラ19、サウンドコントローラ20およびデジタルTVチューナ22が直接的に接続され、これらを制御する機能も有している。HDD18は、各種ソフトウェアおよびデータを格納する記憶装置である。USBコントローラ19は、ケーブル接続される各種USBデバイスを制御するコントローラである。サウンドコントローラ20は、スピーカ21を制御する音源コントローラである。また、デジタルTVチューナ22は、デジタルTV放送番組データを外部から受信するための受信装置である。
The
EC/KBC23は、電力管理のためのエンベデッドコントローラと、キーボード24およびタッチパッド25を制御するためのキーボードコントローラとが集積された1チップマイクロコンピュータである。EC/KBC23は、電源回路26と協働して、バッテリ27または外部AC電源からの電力を各部に供給制御する。そして、ネットワークコントローラ28は、例えばインターネットなどの外部ネットワークとの通信を実行する通信装置である。
The EC / KBC 23 is a one-chip microcomputer in which an embedded controller for power management and a keyboard controller for controlling the keyboard 24 and the touch pad 25 are integrated. The EC / KBC 23 cooperates with the
このようなハードウェア構成の本コンピュータ上で動作する高解像度化アプリケーション200は、HDD18、USBコントローラ19、デジタルTVチューナ22、ネットワークコントローラ28等から入力した画像データの解像度を高めてHDD18、USBコントローラ19、LCD15等から出力する、いわゆる画像データの高解像度化を実行するプログラムである。
The
この高解像度化アプリケーション200による画像データの高解像度化には、本コンピュータ1の資源であるCPU11、主メモリ13が用いられる。CPU11に与えられる負荷や主メモリ13上に確保できる作業領域は有限である。そこで、この高解像度化アプリケーション200は、少ないフレーム参照で高解像度化を行え、かつ、この高解像度化の処理負荷を動的に調整することを可能としたものであり、以下、この点について詳述する。図2は、この高解像度化アプリケーション200の機能構成を示す図である。
The
この高解像度化アプリケーション200による高解像度化は、被写体の一部を取り出して、その輝度値の変化パターンを見ると、その近くに同じパターンが存在するという点に新たに着目したものである。つまり、この高解像度化アプリケーション200による高解像度化は、同じ輝度値変化パターンに対する標本値が1つのフレームに複数あり、それらの位置を検出するものである。まず、この高解像度化アプリケーション200が実行する画像データの高解像度化の基本原理について説明する。
The high resolution by the
バッファ部201には、入力した低解像度画像を格納する。なお、低解像度画像は、動画、静止画を問わない。また、処理をエッジ領域の周辺に限定しなくても、目的の効果は得られるが、エッジ以外の領域では、双一次内挿法や3次畳込み内挿法などの低負荷な処理で十分な画像が得られることが多い。このため、ここでは、エッジ検出を行って、処理をエッジ領域周辺に限定することで、低い処理負荷で高画質の画像を得る。
The
エッジ検出部202は、バッファ部201上の低解像度画像からエッジを取得し、エッジについての情報(例えば2値画像)をバッファ部203に格納する。エッジを取得する手法は、例えばSobelフィルタなどを用いることができる。
The
対応点探索部204は、バッファ部203に格納されたエッジとして判断されている領域について、バッファ部201の低解像度画像を参照し、1つの低解像度画素とその周辺の輝度パターンが近いパターンを持つ対応点を複数個探索して、対応点の情報をバッファ部205に格納する。輝度パターンの相関には、例えば、差分絶対値和や差分2乗和を用いることができる。また、複数の対応点を得る探索手法として、X軸またはY軸方向に1画素単位で探索範囲を設定し、他方の軸成分を変化させて対応点を探索する方法も用いることができる。この場合、例えば他方の軸成分を変化させて得た幾つかの点を、相関の高い点の候補として選び、その候補の中からパラボラフィッティングなどの手法により、サブピクセル単位で対応点の座標を推定することができる。
The corresponding
そして、高解像度画素値算出部206は、バッファ部201の低解像度画素値と、バッファ部205の複数の対応点の情報を用いて、高解像度画素値を算出する。この具体的な方法としては、例えばPOCS法(S.Park, et.al. “Super-Resolution Image Reconstruction: A Technical Overview”のP.29参照)を用いることができる。
Then, the high resolution pixel
POCS法では、双一次内挿法や3次畳込み内挿法などで、仮の高解像度画像の画素値を予め求めておく。低解像度画像のある注目画素について、その点の対応点による標本値(サブピクセル単位)が、高解像度画像の1画素単位で並ぶ画素の画素値の集合で再現される必要があるが、仮の画素値は一般にはそれを満たしていない。この標本値により、高解像度画像への画素の写像を行って求めた標本値を仮の標本値とした際に、仮に求めた画素値と仮の標本値が一致していないので、この誤差を求め、差分を無くすように仮の画素値を加減算することで更新する。この更新は、近傍の注目画素においても行われるため、その影響を受け仮の画素値は正しい値から変化する。そこで、この更新処理は、標本点全部に対して数回繰り返す。この反復により、次第に、仮の画素値が正確なものに近づくので、設定した回数反復して得られた画像を高解像度画像として出力する。 In the POCS method, a pixel value of a temporary high-resolution image is obtained in advance by bilinear interpolation or cubic convolution. For a pixel of interest in a low-resolution image, the sample value (sub-pixel unit) at the corresponding point of that point needs to be reproduced as a set of pixel values of pixels arranged in units of one pixel in the high-resolution image. Pixel values generally do not satisfy it. With this sample value, when the sample value obtained by mapping the pixel to the high resolution image is used as the temporary sample value, the temporarily obtained pixel value does not match the temporary sample value. It is obtained and updated by adding and subtracting the temporary pixel value so as to eliminate the difference. Since this update is performed also on the target pixel in the vicinity, the temporary pixel value changes from the correct value under the influence. Therefore, this update process is repeated several times for all sample points. By this repetition, the tentative pixel value gradually approaches an accurate value, so that an image obtained by repeating the set number of times is output as a high resolution image.
図3は、この高解像度化の基本原理の流れを示すフローチャートである。まず、エッジ検出を行い(ステップA1)、続いて、この検出したエッジの輝度パターンと類似する対応点を所定数検出する(ステップA2〜ステップA6)。そして、低解像度画像の画素値と、検出した対応点との情報とを用いて、高解像度画像の画素値を算出する(ステップA7)。 FIG. 3 is a flowchart showing a flow of the basic principle of this high resolution. First, edge detection is performed (step A1), and then a predetermined number of corresponding points similar to the detected luminance pattern of the edge are detected (step A2 to step A6). Then, the pixel value of the high resolution image is calculated by using the pixel value of the low resolution image and the information of the detected corresponding point (step A7).
以上の手順で、高解像度化アプリケーション200は、探索の範囲を自フレーム内などの狭い範囲に限定し、鮮鋭な高解像度画像を得つつ、使用するメモリ量や演算資源を小さく抑えること、即ち、少ないフレーム参照で高解像度化を行うことを実現している。
With the above procedure, the
次に、高解像度化アプリケーション200が、高解像度化の処理負荷を動的に調整するために備える仕組みについて説明する。
Next, a mechanism provided for the
前述のように、高解像度化アプリケーション200は、本コンピュータ上で動作する1プログラムであるので、通常、利用できる計算資源が限定される。1フレームあたりのエッジ検出以外の処理負荷の推定値Lallは、以下の(1)式で表現できる。
As described above, since the
Lall = Nedge * Lsearch + Nedge * Nsearch * Lsharpen … (1)式
ここで、
Nedge:エッジの個数(画像の内容により異なる)
Lsearch:探索の負荷
Lsharpen:高解像度画像の算出の負荷
Nsearch:探索時の対応点の探索範囲
エッジの個数は画像の内容により異なるため、画像の内容により、必要な演算量が異なることがわかる。以下、Nsearchのように、システムに対し設定できるパラメータを設定パラメータと呼ぶことにする。
Lall = Nedge * Lsearch + Nedge * Nsearch * Lsharpen (1) Equation where
Nedge: Number of edges (depends on image content)
Lsearch: Search load
Lsharpen: High resolution image calculation load
Nsearch: search range of corresponding points at the time of search Since the number of edges varies depending on the content of the image, it can be seen that the amount of calculation required varies depending on the content of the image. Hereinafter, parameters that can be set for the system, such as Nsearch, will be referred to as setting parameters.
Lsearch、Lsharpenは、それぞれ探索や高解像度画素の算出のアルゴリズムにより変化する。エッジ探索やこれら探索や高解像度画素の算出について、複数のアルゴリズムを準備しておき、これを入れ替える構成とすることで、探索、高解像度画素の算出の負荷を変動させることが可能となる。但し、Nsearchや探索、高解像度画素の算出のアルゴリズムを変化させることにより、最終的に生成される画像の画質は影響を受ける場合もある。 Lsearch and Lsharpen vary depending on the search algorithm and the high-resolution pixel calculation algorithm, respectively. A plurality of algorithms are prepared for the edge search, the search, and the calculation of the high-resolution pixel, and the load for the search and the calculation of the high-resolution pixel can be changed by replacing the algorithms. However, the image quality of the finally generated image may be affected by changing the algorithm for Nsearch, search, and high-resolution pixel calculation.
以上を踏まえて、再び図2を参照する。エッジ検出部202がエッジについての情報をバッファ部203に格納する際、エッジ計数部211は、フレーム毎に検出したエッジの総数を計数する。そして、このフレーム内エッジの計数結果が得られた後、パラメータ/処理アルゴリズム設定部212は、処理負荷を推定し、パラメータや処理アルゴリズムの変更を適切に実行する。図4は、この処理負荷の動的な調整を考慮した高解像度化の処理の流れを示すフローチャートである。
Based on the above, reference is again made to FIG. When the
例えば、利用可能な計算資源で処理可能な負荷となると推定されるNsearchを、対応点探索部204に設定して、対応点の探索個数を変化させることができる。測定されたNedgeにより、可能な範囲で最大のNsearchを決定する。Lallとして許容される負荷は、システムの状態により決定されるものとする。
For example, Nsearch estimated to be a load that can be processed with available computing resources can be set in the corresponding
ここで、画像の状態(エッジの多少)によりNedgeは変化するため、設定パラメータの変更タイミングは、以下の方法があり得る。これが、パラメータ/処理アルゴリズム設定部212によって実行される、図4のフローチャート中のステップB2(「設定パラメータの変更判断処理」)における具体的な処理内容に該当する。 Here, since Nedge changes depending on the state of the image (the number of edges), there are the following methods for changing the setting parameters. This corresponds to the specific processing contents in step B2 (“setting parameter change determination processing”) in the flowchart of FIG. 4 executed by the parameter / processing algorithm setting unit 212.
(a)1フレームの処理ごとにエッジを計数し、設定パラメータを決定する。 (A) The edge is counted for each processing of one frame, and the setting parameter is determined.
(b)現フレームのエッジの個数では、設定パラメータをより高負荷(即ち高画質)なものに変更できることが推定される場合も、その状態が一定フレームの期間続くまで、設定パラメータの変更を行わない。但し、エッジの個数により、設定パラメータをより低負荷にしないと、本高画質化処理に許容される負荷を超えることが想定される場合は、設定パラメータの変更を即座に行う。 (B) Even when it is estimated that the number of edges of the current frame can be changed to a setting parameter with a higher load (that is, high image quality), the setting parameter is changed until the state continues for a certain frame period. Absent. However, the setting parameter is immediately changed when it is assumed that the load that is permitted for the high image quality processing is exceeded unless the setting parameter is made a lower load depending on the number of edges.
(b)によれば、頻繁な設定パラメータの変更を抑制し、動画像の画質を安定化させることができる。図5を用いて、(b)の抑制を加えた設定パラメータの変更について説明する。 According to (b), it is possible to suppress frequent changes in setting parameters and to stabilize the quality of moving images. The change of the setting parameter with the suppression of (b) will be described with reference to FIG.
Nsearch=2,4,6それぞれに対するによる上限値をそれぞれNsearch[2]、Nsearch[4]、Nsearch[6]とする。T1、T2では、それぞれ上限値Nsearch[6]、Nsearch[4]を超えたため、Nsearchを4、2へと変更する。T3において、Nsearch[4]を下回ったが、すぐにはNsearchを4には変更しない。T4において一定時間を経過した時点で、Nsearchを4に変更する。T5においてNsearch[6]を一時的に下回ったとしても、T6において再度Nsearch[6]を上回り、一定時間を経過していないため、Nsearchを変更しない。Nsearchの変更を決定する方法は、例えば以下のようにすることができる。 The upper limits for Nsearch = 2, 4, 6 are Nsearch [2], Nsearch [4], and Nsearch [6], respectively. At T1 and T2, the upper limit values Nsearch [6] and Nsearch [4] are exceeded, so Nsearch is changed to 4 and 2. In T3, it was lower than Nsearch [4], but Nsearch is not changed to 4 immediately. When a certain amount of time has passed in T4, Nsearch is changed to 4. Even if it temporarily falls below Nsearch [6] at T5, Nsearch [6] is again exceeded at T6, and Nsearch is not changed because a certain time has not passed. The method for determining Nsearch changes can be as follows, for example.
Nsearchは整数値として選択する。そこで、幾つかのNsearchの値について、Lallに許容される処理負荷Lok(システムの状態により決定される)と、関連する処理部の単体の処理負荷により、Nedgeの上限を求めておき、観測されたNedgeがそれらの値に対しどのような値であるかを判定することで、Nsearchを決定することができる。 Nsearch selects as an integer value. Therefore, for some Nsearch values, the upper limit of Nedge is obtained from the processing load Lok allowed by Lall (determined by the system status) and the single processing load of the related processing unit, and observed. Nsearch can be determined by determining what value Nedge is for those values.
図6に、NsearchごとのNedgeの上限値を求めた表の例を示す。ここで、Nsearchを偶数としているが、対応点探索部204が行う処理では、軸方向の探索を対称に行う手法が考えられる。その手法に従う場合には、偶数値を選定すべきである。この表を用い、Nedgeが各Nedgeの上限に対しどの範囲となるかにより、Nsearchを選択することができる。
FIG. 6 shows an example of a table for obtaining the upper limit value of Nedge for each Nsearch. Here, Nsearch is an even number, but in the processing performed by the corresponding
このように、高解像度化アプリケーション200は、フレーム内で観測されたエッジの個数を計数し、推定される処理負荷が許容される処理負荷を超えないように、対応点の探索範囲を決定することで、例えばリアルタイム性を保って、高画質化処理を行うことができる。即ち、高解像度化の処理負荷を動的に調整することを実現する。また、探索範囲を決定するパラメータ設定変更があまり頻繁にならないようにすることで、動画像の画質の安定を得ることができる。特に、探索する対応点の個数(Nsearch)の設定により行うことができる。
As described above, the
ところで、前述したように、高解像度画像の算出にPOCS法を用いる場合、誤差の修正の更新処理を繰り返し行うことで、誤差値をより小さくでき、一般には高画質な画像を得ることができる。但し、誤差の修正の更新処理の反復回数が多くなることで、負荷は高くなる。一方、反復回数を減少させると画質が劣化するため、反復回数を小さくする分1回に誤差値を加減算する値を大きくすることで、画質の劣化をより小さく抑えることができる。 By the way, as described above, when the POCS method is used to calculate a high-resolution image, the error value can be made smaller by repeating the error correction update process, and in general, a high-quality image can be obtained. However, the load increases as the number of iterations of the error correction update process increases. On the other hand, if the number of iterations is decreased, the image quality deteriorates. Therefore, by increasing the value for adding / subtracting the error value to one time for decreasing the number of iterations, the degradation in image quality can be suppressed to a smaller value.
全体の負荷の推定値Lallは、以下の(2)式で表現できる。 The estimated value Lall of the entire load can be expressed by the following equation (2).
Lall = Nedge * Lsearch + Nedge * Nsearch * Nsharpen * Lsharpen0
… (2)式
ここで、
Nedge:エッジの個数(画像の内容により異なる)
Lsearch:探索の負荷
Lsharpen0:POCS法における誤差の修正の更新処理の負荷
Nsearch:探索時の対応点の探索範囲
Nsharpen:POCS法における誤差の修正の更新処理の回数
Nsearch、Nsharpenは、設定パラメータの1つである。そこで、Nedgeを測定し、可能な範囲で最大のNsharpenを選択する。図7に、NsharpenごとのNedgeの上限値を求めた表の例を示す。
Lall = Nedge * Lsearch + Nedge * Nsearch * Nsharpen * Lsharpen0
... (2) where:
Nedge: Number of edges (depends on image content)
Lsearch: Search load
Lsharpen0: Update processing load for error correction in POCS method
Nsearch: search range of corresponding points during search
Nsharpen: Number of error correction update processes in the POCS method
Nsearch and Nsharpen are one of the setting parameters. So measure Nedge and select the largest possible Nsharpen. FIG. 7 shows an example of a table for obtaining the upper limit value of Nedge for each Nsharpen.
設定パラメータの変更タイミングについては、前述のNsearchと同一の方針が取れる。Nsharpenは整数値として選択する。そこで、予め幾つかのNsearchの値について、処理可能なNedgeの上限を求めておき、観測されたNedgeがそれらの値に対しどのような値であるかを判定することで、Nsharpenを決定することができる。 Regarding the timing for changing the setting parameters, the same policy as the above-mentioned Nsearch can be taken. Nsharpen selects as an integer value. Therefore, Nsharpen is determined by determining the upper limit of Nedge that can be processed for some Nsearch values in advance and determining what value the observed Nedge is for those values. Can do.
このように、高解像度化アプリケーション200は、特に、POCS法を用いた際の更新処理の反復回数(Nsharpen)を変更することで、適切に処理負荷の調整が行える。
As described above, the
また、NsearchとNsharpenの双方を、パラメータ/処理アルゴリズム設定部212による調整の対象とする場合、NsearchとNsharpenのいずれのパラメータを優先して変更させるかについては、どちらも行うことができる。Nsearchの変更の影響により、対応点の個数が変わることによる画質劣化が想定される場合は、Nsearchを維持し、Nsharpenの値を変えること等が考えられる。このように、NsearchとNsharpenとの双方をパラメータ/処理アルゴリズム設定部212による調整の対象とすれば、高解像度化アプリケーション200は、許容される処理負荷の変動が激しいシステムや画像のエッジ数の性質が時間的に大きく変動するような場合でも、柔軟な処理負荷の調整が行える。
Further, when both Nsearch and Nsharpen are to be adjusted by the parameter / processing algorithm setting unit 212, either of the Nsearch and Nsharpen parameters can be changed with priority. If image quality degradation is expected due to the change in the number of corresponding points due to the change in Nsearch, it may be possible to maintain Nsearch and change the value of Nsharpen. In this way, if both Nsearch and Nsharpen are targeted for adjustment by the parameter / processing algorithm setting unit 212, the
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
11…CPU、12…ノースブリッジ、13…主メモリ、14…グラフィックスコントローラ、14A…VRAM、15…LCD、16…サウスブリッジ、17…BIOS−ROM、18…HDD、19…USBコントローラ、20…サウンドコントローラ、21…スピーカ、22…TVチューナ、23…エンベデッドコントローラ/キーボードコントローラIC(EC/KBC)、24…キーボード、25…タッチパッド、26…電源回路、27…バッテリ、28…ネットワークコントローラ、100…オペレーティングシステム(OS)、200…高解像度化アプリケーション、201…バッファ部、202…エッジ検出部、203…バッファ部、204…対応点探索部、205…バッファ部、206…高解像度画素値算出部、211…エッジ計数部、212…パラメータ/処理アルゴリズム設定部。
11 ... CPU, 12 ... North Bridge, 13 ... Main Memory, 14 ... Graphics Controller, 14A ... VRAM, 15 ... LCD, 16 ... South Bridge, 17 ... BIOS-ROM, 18 ... HDD, 19 ... USB Controller, 20 ... Sound controller, 21 ... Speaker, 22 ... TV tuner, 23 ... Embedded controller / keyboard controller IC (EC / KBC), 24 ... Keyboard, 25 ... Touchpad, 26 ... Power supply circuit, 27 ... Battery, 28 ... Network controller, 100 DESCRIPTION OF SYMBOLS ... Operating system (OS), 200 ... High resolution application, 201 ... Buffer part, 202 ... Edge detection part, 203 ... Buffer part, 204 ... Corresponding point search part, 205 ... Buffer part, 206 ... High resolution pixel
Claims (8)
前記画像データ中から基準フレームとして選択された1つのフレーム内または当該基準フレームを含む2以上のフレーム内から隣接する画素間の画素値の差分が閾値以上の注目画像領域を検出する検出手段と、
前記検出手段により検出された注目画像領域それぞれについて、各注目画像領域における画素間の画素値の変化パターンに近似する対応画像領域を前記基準フレーム内から探索する探索手段と、
前記基準フレームの各画素の画素値と前記探索手段により探索された対応画像領域の情報とに基づき、前記基準フレームに対応する、前記第1の解像度よりも高い第2の解像度の画像データを生成する高解像度化手段と、
前記検出手段により検出された注目画像領域の数に応じて、当該注目画像領域それぞれについて前記探索手段に探索させる対応画像領域の数を設定する設定手段と、
を具備することを特徴とする情報処理装置。 Input means for inputting image data of a first resolution composed of one or more frames in which the luminance of each pixel is expressed as a pixel value;
Detecting means for detecting an image area of interest in which a difference in pixel value between adjacent pixels is equal to or greater than a threshold value in one frame selected as a reference frame from the image data or in two or more frames including the reference frame;
Search means for searching for a corresponding image area that approximates a change pattern of a pixel value between pixels in each target image area for each target image area detected by the detection unit;
Based on the pixel value of each pixel of the reference frame and information on the corresponding image area searched by the search means, image data having a second resolution higher than the first resolution corresponding to the reference frame is generated. High resolution means to
Setting means for setting the number of corresponding image areas to be searched by the search means for each of the target image areas according to the number of target image areas detected by the detection means;
An information processing apparatus comprising:
前記設定手段は、前記高解像度化手段が実行するPOCS法における誤差の修正の更新処理の反復回数および誤差の加減算値を設定する手段を含むことを特徴とする請求項1記載の情報処理装置。 The high-resolution means increases the resolution of the first resolution image data to the second resolution image data using the POCS method,
2. The information processing apparatus according to claim 1, wherein the setting means includes means for setting the number of iterations of error correction update processing and an error addition / subtraction value in the POCS method executed by the resolution increasing means.
各画素の輝度が画素値として表される1以上のフレームからなる第1の解像度の画像データを前記データ入力手段より入力し、
前記画像データ中から基準フレームとして選択された1つのフレーム内または当該基準フレームを含む2以上のフレーム内から隣接する画素間の画素値の差分が閾値以上の注目画像領域を前記中央演算処理装置により検出し、
前記検出した注目画像領域の数に応じて、各注目画像領域における画素間の画素値の変化パターンに近似する対応画像領域の探索数を前記中央演算処理装置により設定し、
前記検出した注目画像領域それぞれについて、前記設定した数だけ前記対応画像領域を前記基準フレーム中から前記中央演算処理装置により探索し、
前記基準フレームの各画素の画素値と前記探索した対応画像領域の情報とに基づき、前記基準フレームに対応する、前記第1の解像度よりも高い第2の解像度の画像データを前記中央演算処理装置により生成して前記データ出力手段より出力する、
ことを特徴とする画像データの高解像度化方法。 A method for increasing the resolution of image data using an information processing device comprising a data input means, a data output means and a central processing unit,
The image data of the first resolution consisting of one or more frames in which the luminance of each pixel is expressed as a pixel value is input from the data input means,
An attention image area whose pixel value difference between adjacent pixels is equal to or greater than a threshold value in one frame selected as a reference frame from the image data or in two or more frames including the reference frame is determined by the central processing unit. Detect
In accordance with the number of detected target image areas, the central processing unit sets the number of search for corresponding image areas that approximate the pixel value change pattern between pixels in each target image area,
For each of the detected image areas of interest, the central processing unit searches for the corresponding image areas of the set number from the reference frame,
Based on the pixel value of each pixel of the reference frame and the information of the searched corresponding image area, image data of the second resolution higher than the first resolution corresponding to the reference frame is the central processing unit. And output from the data output means,
A method for increasing the resolution of image data.
前記POCS法における誤差の修正の更新処理の反復回数および誤差の加減算値をさらに設定することを特徴とする請求項5記載の画像データの高解像度化方法。 The generation of the image data of the second resolution is performed using the POCS method,
6. The method for increasing the resolution of image data according to claim 5, further comprising setting the number of iterations of error correction update processing and an error addition / subtraction value in the POCS method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007114317A JP2008268725A (en) | 2007-04-24 | 2007-04-24 | Information processing apparatus and method of increasing resolution of image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007114317A JP2008268725A (en) | 2007-04-24 | 2007-04-24 | Information processing apparatus and method of increasing resolution of image data |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008268725A true JP2008268725A (en) | 2008-11-06 |
Family
ID=40048284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007114317A Pending JP2008268725A (en) | 2007-04-24 | 2007-04-24 | Information processing apparatus and method of increasing resolution of image data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008268725A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010124397A (en) * | 2008-11-21 | 2010-06-03 | Toshiba Corp | Resolution enhancement device |
CN109427039A (en) * | 2017-08-30 | 2019-03-05 | 欧姆龙株式会社 | Image processing apparatus, setting householder method and computer-readable recording medium |
CN114267308A (en) * | 2021-12-22 | 2022-04-01 | 深圳创维-Rgb电子有限公司 | Liquid crystal display screen scanning method and device, and liquid crystal display screen |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06308918A (en) * | 1993-04-21 | 1994-11-04 | Fujitsu Ltd | Control method for displaying screen and control device for displaying screen |
JPH0884336A (en) * | 1994-09-09 | 1996-03-26 | Sony Corp | Image signal transmitter |
JPH0974543A (en) * | 1995-06-30 | 1997-03-18 | Sony Corp | Image signal conversion device and method |
JPH10155139A (en) * | 1996-11-21 | 1998-06-09 | Sony Corp | Image processor and image processing method |
JPH1115951A (en) * | 1997-06-24 | 1999-01-22 | Sharp Corp | Deviation detector and image synthesizer |
JP2000112448A (en) * | 1998-10-01 | 2000-04-21 | Nanao Corp | Pixel interpolation processing method and unit therefor, and digital picture display device provided with them |
JP2001148779A (en) * | 1999-09-08 | 2001-05-29 | Sharp Corp | Image processing unit and image composite method |
JP2002197455A (en) * | 2000-12-27 | 2002-07-12 | Seiko Epson Corp | Image processor and image processing method |
JP2004236185A (en) * | 2003-01-31 | 2004-08-19 | Sony Corp | Signal processor and method, recording medium, and program |
JP2004280633A (en) * | 2003-03-18 | 2004-10-07 | Sony Corp | Image processor and method, recording medium and program |
JP2005057742A (en) * | 2003-07-31 | 2005-03-03 | Hewlett-Packard Development Co Lp | Generation and display of spatially offset sub-frames |
JP2005129996A (en) * | 2003-10-21 | 2005-05-19 | Seiko Epson Corp | Efficiency enhancement for generation of high-resolution image from a plurality of low resolution images |
JP2005203880A (en) * | 2004-01-13 | 2005-07-28 | Sony Corp | Image processor and method thereof, recording medium and program |
JP2006039628A (en) * | 2004-07-22 | 2006-02-09 | Seiko Epson Corp | Image processor, image processing method and image processing program |
JP2006127241A (en) * | 2004-10-29 | 2006-05-18 | Tokyo Institute Of Technology | Method for accelerating super-resolution processing |
-
2007
- 2007-04-24 JP JP2007114317A patent/JP2008268725A/en active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06308918A (en) * | 1993-04-21 | 1994-11-04 | Fujitsu Ltd | Control method for displaying screen and control device for displaying screen |
JPH0884336A (en) * | 1994-09-09 | 1996-03-26 | Sony Corp | Image signal transmitter |
JPH0974543A (en) * | 1995-06-30 | 1997-03-18 | Sony Corp | Image signal conversion device and method |
JPH10155139A (en) * | 1996-11-21 | 1998-06-09 | Sony Corp | Image processor and image processing method |
JPH1115951A (en) * | 1997-06-24 | 1999-01-22 | Sharp Corp | Deviation detector and image synthesizer |
JP2000112448A (en) * | 1998-10-01 | 2000-04-21 | Nanao Corp | Pixel interpolation processing method and unit therefor, and digital picture display device provided with them |
JP2001148779A (en) * | 1999-09-08 | 2001-05-29 | Sharp Corp | Image processing unit and image composite method |
JP2002197455A (en) * | 2000-12-27 | 2002-07-12 | Seiko Epson Corp | Image processor and image processing method |
JP2004236185A (en) * | 2003-01-31 | 2004-08-19 | Sony Corp | Signal processor and method, recording medium, and program |
JP2004280633A (en) * | 2003-03-18 | 2004-10-07 | Sony Corp | Image processor and method, recording medium and program |
JP2005057742A (en) * | 2003-07-31 | 2005-03-03 | Hewlett-Packard Development Co Lp | Generation and display of spatially offset sub-frames |
JP2005129996A (en) * | 2003-10-21 | 2005-05-19 | Seiko Epson Corp | Efficiency enhancement for generation of high-resolution image from a plurality of low resolution images |
JP2005203880A (en) * | 2004-01-13 | 2005-07-28 | Sony Corp | Image processor and method thereof, recording medium and program |
JP2006039628A (en) * | 2004-07-22 | 2006-02-09 | Seiko Epson Corp | Image processor, image processing method and image processing program |
JP2006127241A (en) * | 2004-10-29 | 2006-05-18 | Tokyo Institute Of Technology | Method for accelerating super-resolution processing |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010124397A (en) * | 2008-11-21 | 2010-06-03 | Toshiba Corp | Resolution enhancement device |
CN109427039A (en) * | 2017-08-30 | 2019-03-05 | 欧姆龙株式会社 | Image processing apparatus, setting householder method and computer-readable recording medium |
CN109427039B (en) * | 2017-08-30 | 2022-11-25 | 欧姆龙株式会社 | Image processing apparatus, setting support method, and computer-readable recording medium |
CN114267308A (en) * | 2021-12-22 | 2022-04-01 | 深圳创维-Rgb电子有限公司 | Liquid crystal display screen scanning method and device, and liquid crystal display screen |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4384242B1 (en) | Information processing apparatus and image processing method | |
US8873886B2 (en) | Apparatus and method for displaying a region of an image in an enlarged manner, and program therefor | |
JP5269964B2 (en) | Electronic device and video processing method | |
US8213512B2 (en) | Determining an intermediate image | |
US20170031822A1 (en) | Control method and electronic device | |
JP5200788B2 (en) | Video signal processing apparatus, video signal processing method, and video signal processing program | |
US11037268B2 (en) | Method and device for improving image quality by using multi-resolution | |
US10482850B2 (en) | Method and virtual reality device for improving image quality | |
CN114285958A (en) | Image processing circuit, image processing method, and electronic device | |
US8750635B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP2015165385A (en) | Image processing method and image processor | |
US8780120B2 (en) | GPU self throttling | |
JP2008268725A (en) | Information processing apparatus and method of increasing resolution of image data | |
US7916970B2 (en) | Image processing apparatus, method of same, and program for same | |
JP4686624B2 (en) | Information processing apparatus, image processing method, and program | |
US20150235621A1 (en) | Image Processing Method and Device | |
JP4504449B2 (en) | Information processing apparatus and program | |
CN107977923B (en) | Image processing method, image processing device, electronic equipment and computer readable storage medium | |
KR20150081801A (en) | Method for analyzing motion of subject using event based sensor | |
US9684945B2 (en) | Image processing apparatus and image processing method for transferring image data | |
Nebeling et al. | Context-aware and adaptive web interfaces: A crowdsourcing approach | |
JP2011250102A (en) | Image processing apparatus, and method of controlling the same | |
KR20170071173A (en) | Image sensor circuit removing flicker and camera device including the same | |
JP2009010626A (en) | Image processing device and image processing method | |
US8514328B2 (en) | Motion vector based image segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120523 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120605 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121009 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130226 |