JP2014178876A - Image processing device, method and program - Google Patents
Image processing device, method and program Download PDFInfo
- Publication number
- JP2014178876A JP2014178876A JP2013052270A JP2013052270A JP2014178876A JP 2014178876 A JP2014178876 A JP 2014178876A JP 2013052270 A JP2013052270 A JP 2013052270A JP 2013052270 A JP2013052270 A JP 2013052270A JP 2014178876 A JP2014178876 A JP 2014178876A
- Authority
- JP
- Japan
- Prior art keywords
- image
- resolution
- processing unit
- super
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 77
- 239000013598 vector Substances 0.000 claims abstract description 74
- 238000006243 chemical reaction Methods 0.000 claims description 39
- 230000000750 progressive effect Effects 0.000 claims description 15
- 238000003672 processing method Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 51
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
Description
本発明の実施形態は、画像処理装置、方法およびプログラムに関する。 Embodiments described herein relate generally to an image processing apparatus, a method, and a program.
近年、ＴＶ受像機やディスプレイに超解像技術を使った製品が市販されている。超解像技術は、画像の画素サンプリング時に失われる詳細な部分を画像処理によって再現する技術である。 In recent years, products using super-resolution technology for TV receivers and displays are commercially available. The super-resolution technique is a technique for reproducing detailed portions lost during pixel sampling of an image by image processing.
超解像技術にはさまざまな方式が提案されているが、複数フレーム超解像と呼ばれる、複数フレームの低解像度入力画像を位置合わせして高解像度出力画像を生成する画像処理技術がある。複数フレーム超解像処理は、位置合わせ処理、再構成処理、補間拡大処理によって、第１解像度の入力画像を第１解像度より高い第２解像度の出力画像に高解像度化している。 Various schemes have been proposed for the super-resolution technique, but there is an image processing technique called multi-frame super-resolution, which generates a high-resolution output image by aligning a plurality of frames of low-resolution input images. In the multi-frame super-resolution processing, the resolution of the first resolution input image is increased to the second resolution output image higher than the first resolution by alignment processing, reconstruction processing, and interpolation enlargement processing.
また、近年、一つの入力画像から複数のフォーマットの画像や複数の解像度の画像を生成するニーズが高まってきている。 In recent years, there has been an increasing need to generate images of a plurality of formats and images of a plurality of resolutions from one input image.
しかしながら、このような従来の超解像処理では、位置合わせ処理と再構成処理の処理量が増大している。特に、一つの入力画像から複数の解像度の画像を生成する場合には、位置合わせ処理、再構成処理、補間拡大処理を行って第１解像度の入力画像を第２解像度に高解像度化し、さらに、位置合わせ処理、再構成処理、補間拡大処理を行って第２解像度の画像から第３解像度の出力画像に高解像度化しているため、超解像処理の処理量がさらに増大してしまう。 However, in such conventional super-resolution processing, the amount of processing for alignment processing and reconstruction processing is increasing. In particular, when generating an image having a plurality of resolutions from a single input image, the registration process, the reconstruction process, and the interpolation enlargement process are performed to increase the resolution of the input image of the first resolution to the second resolution. Since the registration processing, reconstruction processing, and interpolation enlargement processing are performed to increase the resolution from the second resolution image to the third resolution output image, the processing amount of the super-resolution processing further increases.
実施形態の画像処理装置は、第１画像処理部と、第２画像処理部とを備える。第１画像処理部は、入力画像の処理対象フレームの時間的に前後の参照フレームにおいて対応点を探索し、前記対応点の移動量である動きベクトルを算出する位置合わせ処理部を備え、前記入力画像に対して第１の画像処理を行う。第２画像処理部は、位置合わせ処理部で算出された動きベクトルに基づいて、第２の画像処理を行い、出力画像を出力する。 The image processing apparatus according to the embodiment includes a first image processing unit and a second image processing unit. The first image processing unit includes a registration processing unit that searches for a corresponding point in a reference frame temporally before and after a processing target frame of the input image, and calculates a motion vector that is a movement amount of the corresponding point. First image processing is performed on the image. The second image processing unit performs second image processing based on the motion vector calculated by the alignment processing unit, and outputs an output image.
以下に添付図面を参照して、画像処理装置、方法およびプログラムの実施形態を詳細に説明する。 Exemplary embodiments of an image processing apparatus, method, and program will be described below in detail with reference to the accompanying drawings.
（実施形態１）
図１は、実施形態１の画像処理装置１００の機能的構成を示すブロック図である。図１に示すように、本実施形態の画像処理装置１００は、第１画像処理部としての第１超解像処理部１１０と、第２画像処理部としての第２超解像処理部１５０とを備えている。
(Embodiment 1)
FIG. 1 is a block diagram illustrating a functional configuration of the
第１超解像処理部１１０は、第１解像度の入力画像を入力し、当該入力画像に超解像処理を施して、第１解像度より解像度の高い第２解像度の画像を出力する。第２超解像処理部１５０は、第１超解像処理部１１０から出力された第２解像度の画像から、第２解像度より高い第３解像度の出力画像を出力する。この結果、本実施形態の画像処理装置１００は、第２解像度の出力画像と第３解像度の出力画像という異なる解像度の出力画像を出力する。
The first
ここで、解像度としては、例えば、第１解像度をＨＤＴＶの解像度（画素数１９２０×１０８０）、第２解像度を４Ｋ（画素数３８４０×２１６０）、第３解像度を８Ｋ（画素数７６８０×４３２０）とすることができるが、これらに限定されるものではない。 Here, as the resolution, for example, the first resolution is HDTV resolution (pixel number 1920 × 1080), the second resolution is 4K (pixel number 3840 × 2160), and the third resolution is 8K (pixel number 7680 × 4320). However, the present invention is not limited to these.
また、超解像処理とは、画像の画素サンプリング時（例えば、撮像素子による光電変換時や縮小処理時）に失われる詳細な部分（ナイキスト周波数以上の成分）を画像処理によって再現する技術である。例えば、低解像度のＮＴＳＣ方式のビデオカメラやＤＶＤの画像を大画面液晶ＴＶに表示する場合の高解像度化する際に超解像処理が用いられ、詳細な部分を再現して、解像度が高い鮮明な画像を得ることができる。 The super-resolution processing is a technique for reproducing detailed portions (components higher than the Nyquist frequency) lost during image pixel sampling (for example, during photoelectric conversion or reduction processing by an image sensor) by image processing. . For example, super-resolution processing is used to increase the resolution when displaying images from a low-resolution NTSC video camera or DVD on a large-screen LCD TV. Can be obtained.
本実施形態では、超解像処理の方式として、特に画像の詳細部分の再現率が高く高性能な複数フレーム超解像方式を採用している。この複数フレーム超解像方式では、処理対象の基準フレームに対して、時間的に前後する複数の参照フレームから、同じ物体の同じ部分を対応点として検出して基準フレーム上に重ね合わせ、単一フレームよりも情報量が多くなった状態から１フレームの高解像フレームを生成している。そして、当該処理を、１フレームずつ進めながら連続して行うことにより高解像の映像が生成される。 In this embodiment, as a super-resolution processing method, a high-performance multi-frame super-resolution method with a high reproducibility of a detailed portion of an image is employed. In this multi-frame super-resolution method, the same part of the same object is detected as a corresponding point from a plurality of reference frames that are temporally related to the reference frame to be processed and superimposed on the reference frame. A high-resolution frame of one frame is generated from a state in which the amount of information is larger than that of the frame. A high-resolution video is generated by performing the processing continuously while proceeding frame by frame.
第１超解像処理部１１０は、入力画像に対して超解像処理を行い、図１に示すように、位置合わせ処理部１１１と、再構成処理部１１２と、補間拡大処理部１１３とを備えている。
The first
位置合わせ処理部１１１は、入力画像の処理対象フレームである基準フレームの時間的に前後の参照フレームにおいて基準フレーム上の点と同一部分と見なせる点である対応点を探索し、２つの点の移動量を動きベクトルとして算出する。
The
補間拡大処理部１１３は、バイリニアやバイキュービックアルゴリズム等の補間アルゴリズムによって、第１解像度の入力画像を、第２解像度を表すことが可能な画素数に増加して初期画像を生成する補間拡大処理を行う。ここで、解像度は画像がどれだけ細かな部分を表現しているかを示すパラメータであり、画素数はどれだけ詳細な部分を表現可能なフォーマットかを示すパラメータである。補間拡大処理では、画素数は増加するが、解像度は増加しない。
The interpolation
再構成処理部１１２は、入力画像、位置合わせ処理部１１１で算出された動きベクトル、補間拡大処理部１１３で出力される初期画像とを入力し、これら３つに基づき、画素数が増加した初期画像の解像度を増加させて出力する再構成処理をフレーム単位に連続的に行う。これにより、再構成処理部１１２からは、第２解像度の出力画像が出力される。
The
第２超解像処理部１５０は、第１超解像処理部１１０の再構成処理部１１２から出力された第２解像度の出力画像に対して超解像処理を行うものであり、図１に示すように、再構成処理部１５２と、補間拡大処理部１５３とを備えている。
The second
補間拡大処理部１５３は、第１超解像処理部１１０の再構成処理部１１２から出力された第２解像度の出力画像に対して上記補間拡大処理を行い、第２解像度の出力画像を第３解像度を表すことが可能な画素数に増加した初期画像を生成する。
The interpolation
再構成処理部１５２は、第２解像度の出力画像、第１超解像処理部１１０の位置合わせ処理部１１１で算出された動きベクトル、補間拡大処理部１５３で出力される初期画像とを入力し、これら３つに基づき、フレーム単位で連続的に上記再構成処理を行って、画素数が増加した初期画像の解像度を増加させた第３解像度の出力画像を生成して出力する。
The
ここで、本実施形態では、第２超解像処理部１５０に、第１超解像処理部１１０のような位置合わせ処理部１１１を設けていない。すなわち、第２超解像処理部１５０の再構成処理部１５２は、第２解像度の出力画像から算出される動きベクトルを用いるのではなく、第１超解像処理部１１０の位置合わせ処理部１１１で第１解像度の入力画像から算出された動きベクトルを用いて再構成処理をおこなっている。
Here, in the present embodiment, the second
これは、本来、動きベクトルは、解像度が異なっても同一であるため、第１超解像処理部１１０において第１解像度の入力画像から求めた動きベクトルを、第２超解像処理部１５０の再構成処理部１５２でも用いることにより、第２超解像処理部１５０での超解像処理における位置合わせ処理を省略し、これによって超解像処理の処理量の削減を図っている。
This is because the motion vector is essentially the same regardless of the resolution, so the first
次に、再構成処理部１１２，１５２の詳細について説明する。図２は、実施形態１の再構成処理部１１２，１５２の機能的構成を示すブロック図である。第１超解像処理部１１０の再構成処理部１１２と第２超解像処理部１５０の再構成処理部１５２は同じ構成をしているため、あわせて説明する。
Next, details of the
再構成処理部１１２，１５２は、図２に示すように、画像バッファ２０１と、予測画像生成部２０２と、誤差計算部２０３と、誤差補正部２０４とを備えている。
As shown in FIG. 2, the
画像バッファ２０１は、補間拡大処理部１１３，１５３から出力された初期画像を一時的に保存する。予測画像生成部２０２は、画像バッファ２０１から初期画像を読み出し、初期画像と、位置合わせ処理部１１１から出力された動きベクトルとから予測画像を生成する。ここで、補間拡大処理の拡大率に応じて動きベクトルがスケーリングして用いられる。
The
誤差計算部２０３は、予測画像と、再構成処理部１１２の場合に第１解像度の入力画像、再構成処理部１５２の場合に第２解像度の出力画像との誤差を計算して誤差画像を生成する。
The
誤差補正部２０４は、生成された誤差画像で画像バッファ２０１の初期画像を補正して出力画像が生成される。
The
次に以上のように構成された本実施形態の超解像処理について説明する。図３は、実施形態１の超解像処理の手順を示すフローチャートである。 Next, the super-resolution processing of the present embodiment configured as described above will be described. FIG. 3 is a flowchart illustrating a procedure of super-resolution processing according to the first embodiment.
まず、第１超解像処理部１１０は、第１解像度の入力画像を取得し（ステップＳ１１）、位置合わせ処理部１１１が入力画像に対して位置合わせ処理を行って動きベクトルを算出する（ステップＳ１２）。
First, the first
次に、第１超解像処理部１１０の補間拡大処理部１１３は、入力画像に対して補間拡大処理を行って初期画像を生成する（ステップＳ１３）。そして、第１超解像処理部１１０の再構成処理部１１２は、位置合わせ処理部１１１で算出された動きベクトルと、補間拡大処理部１１３で求めた初期画像と、入力画像とを用いて再構成処理を行って、第２解像度の出力画像を出力する（ステップＳ１４）。
Next, the interpolation
次に、第２超解像処理部１５０の補間拡大処理部１５３は、第２解像度の出力画像に対して補間拡大処理を行って初期画像を生成する（ステップＳ１５）。そして、第２超解像処理部１５０の再構成処理部１５２は、位置合わせ処理部１１１で算出された動きベクトルと、補間拡大処理部１５３で求めた初期画像と、第２解像度の出力画像とを用いて再構成処理を行って、第３解像度の出力画像を出力する（ステップＳ１６）。
Next, the interpolation
ここで、図４は、実施形態１の再構成処理（ステップＳ１４，Ｓ１６）の手順を示すフローチャートである。まず、予測画像生成部２０２は、画像バッファ２０１の初期画像と位置合わせ処理部１１１で算出された動きベクトルとから予測画像を生成する（ステップＳ２１）。
Here, FIG. 4 is a flowchart showing the procedure of the reconstruction process (steps S14 and S16) of the first embodiment. First, the predicted
そして、誤差計算部２０３は、予測画像と入力画像（再構成処理部１１２の場合）あるいは第２解像度の出力画像（再構成処理部１５２の場合）との誤差を計算して誤差画像を生成する（ステップＳ２２）。
Then, the
そして、誤差補正部２０４は画像バッファ２０１の初期画像を誤差画像で補正する（ステップＳ２３）。そして、再構成処理部１１２，１５２は、誤差が所定の閾値以下となったか否かを判断し（ステップＳ２４）、所定の閾値以下でない場合には（ステップＳ２４：Ｎｏ）、ステップＳ２１からＳ２３までの処理を繰り返す。
Then, the
一方、ステップＳ２４で誤差が所定の閾値以下となった場合には（ステップＳ２４：Ｙｅｓ）、処理を終了する。これにより、再構成処理部１１２では第２解像度の出力画像が、再構成処理部１５２では第３解像度の出力画像がそれぞれ生成される。
On the other hand, when the error is equal to or smaller than the predetermined threshold value in step S24 (step S24: Yes), the process is terminated. As a result, the
このように本実施形態では、第２超解像処理部１５０の再構成処理部１５２において、第１超解像処理部１１０において第１解像度の入力画像から求めた動きベクトルを用いることにより、第２超解像処理部１５０での超解像処理における位置合わせ処理を省略し、これによって超解像処理の処理量の削減を図ることができる。
As described above, in the present embodiment, the
（実施形態２）
実施形態１では、第１解像度の入力画像から第２解像度の出力画像を超解像処理で求め、第２解像度の出力画像から第３解像度の出力画像を超解像処理で求めるという２段階の超解像処理を行っていた。この実施形態２では、第１超解像処理部１１０による超解像処理と第２超解像処理部５５０による超解像処理とを並行して行い、第１解像度の入力画像から第２解像度の出力画像を超解像処理で求め、第１解像度の出力画像から第３解像度の出力画像を超解像処理で求めている。
(Embodiment 2)
In the first embodiment, a second resolution output image is obtained from the first resolution input image by super-resolution processing, and a third resolution output image is obtained from the second resolution output image by super-resolution processing. Super-resolution processing was performed. In the second embodiment, the super-resolution processing by the first
図５は、実施形態２の画像処理装置５００の機能的構成を示すブロック図である。図５に示すように、本実施形態の画像処理装置５００は、第１画像処理部としての第１超解像処理部１１０と、第２画像処理部としての第２超解像処理部５５０とを備えている。ここで、第１超解像処理部１１０の構成は実施形態１と同様である。すなわち、第１超解像処理部１１０は、第１解像度の入力画像を入力し、当該入力画像に超解像処理を施して、第１解像度より解像度の高い第２解像度の画像を出力する。
FIG. 5 is a block diagram illustrating a functional configuration of the
第２超解像処理部５５０は、第１解像度の入力画像から、第２解像度より高い第３解像度の出力画像を出力する。この結果、本実施形態の画像処理装置５００は、第２解像度の出力画像と第３解像度の出力画像という異なる解像度の出力画像を出力する。
The second
第２超解像処理部５５０は、図５に示すように、再構成処理部５５２と、補間拡大処理部５５３とを備えている。
As shown in FIG. 5, the second
補間拡大処理部５５３は、第１解像度の入力画像に対して上記補間拡大処理を行い、第１解像度の入力画像を第３解像度を表すことが可能な画素数に増加した初期画像を生成する。
The interpolation
再構成処理部５５２は、第１解像度の入力画像、第１超解像処理部１１０の位置合わせ処理部１１１で算出された動きベクトル、補間拡大処理部５５３で出力される初期画像を入力し、これら３つに基づき、フレーム単位で連続的に上記再構成処理を行って、画素数が増加した初期画像の解像度を増加させた第３解像度の出力画像を生成して出力する。
The
ここで、本実施形態でも、実施形態１と同様に、第２超解像処理部５５０に、第１超解像処理部１１０のような位置合わせ処理部１１１を設けていない。すなわち、第２超解像処理部５５０の再構成処理部５５２は、第２解像度の出力画像から算出される動きベクトルを用いるのではなく、第１超解像処理部１１０の位置合わせ処理部１１１で第１解像度の入力画像から算出された動きベクトルを用いて再構成処理をおこなっている。これにより、第２超解像処理部５５０での超解像処理における位置合わせ処理を省略し、超解像処理の処理量の削減を図っている。
Here, also in the present embodiment, as in the first embodiment, the second
次に以上のように構成された本実施形態の超解像処理について説明する。図６は、実施形態２の超解像処理の手順を示すフローチャートである。 Next, the super-resolution processing of the present embodiment configured as described above will be described. FIG. 6 is a flowchart illustrating a procedure of super-resolution processing according to the second embodiment.
まず、第１超解像処理部１１０は、第１解像度の入力画像を取得し（ステップＳ３１）、位置合わせ処理部１１１が入力画像に対して位置合わせ処理を行って動きベクトルを算出する（ステップＳ３２）。
First, the first
次に、第１超解像処理部１１０の補間拡大処理部１１３は、入力画像に対して補間拡大処理を行って初期画像を生成する（ステップＳ３３）。そして、第１超解像処理部１１０の再構成処理部１１２は、位置合わせ処理部１１１で算出された動きベクトルと、補間拡大処理部１１３で求めた初期画像と、入力画像とを用いて再構成処理を行って、第２解像度の出力画像を出力する（ステップＳ３４）。
Next, the interpolation
ステップＳ３３、Ｓ３４と並行して、第２超解像処理部５５０の補間拡大処理部５５３は、第１解像度の入力画像に対して補間拡大処理を行って初期画像を生成する（ステップＳ３５）。そして、第２超解像処理部５５０の再構成処理部５５２は、位置合わせ処理部１１１で算出された動きベクトルと、補間拡大処理部５５３で求めた初期画像と、第１解像度の入力画像とを用いて再構成処理を行って、第３解像度の出力画像を出力する（ステップＳ３６）。
In parallel with steps S33 and S34, the interpolation
このように本実施形態では、第２超解像処理部５５０の再構成処理部５５２において、第１超解像処理部１１０において第１解像度の入力画像から求めた動きベクトルを用いることにより、第１超解像処理部１１０による超解像処理と第２超解像処理部５５０による超解像処理とを並行して行う場合においても、第２超解像処理部５５０での超解像処理における位置合わせ処理を省略し、これによって超解像処理の処理量の削減を図ることができる。
As described above, in this embodiment, the
なお、本実施形態では、第１超解像処理部１１０による超解像処理と第２超解像処理部５５０による超解像処理とを並行して行っていたが、これに限定されるものではなく、第１超解像処理部１１０による超解像処理と第２超解像処理部５５０による超解像処理とを順番に行うように構成してもよい。具体的には、図６において、ステップＳ３３、Ｓ３４の処理の後に、ステップＳ３５、Ｓ３６の処理を行うように構成してもよい。
In this embodiment, the super-resolution processing by the first
（実施形態３）
実施形態３では、第１解像度の入力画像に対して超解像処理を行って、第２解像度の出力画像と第３解像度の出力画像とを生成する際の再構成処理において、第１解像度の入力画像から算出された動きベクトルから生成された予測画像を用いて第２解像度の出力画像と第３解像度の出力画像とを生成している。
(Embodiment 3)
In the third embodiment, the super-resolution processing is performed on the input image having the first resolution to generate the output image having the second resolution and the output image having the third resolution. A second resolution output image and a third resolution output image are generated using a predicted image generated from a motion vector calculated from the input image.
図７は、実施形態３の画像処理装置７００の機能的構成を示すブロック図である。図７に示すように、本実施形態の画像処理装置７００は、位置合わせ処理部１１１と、第１補間拡大処理部１１３−１と、第２補間拡大処理部１１３−２と、再構成処理部７１２とを備え、第１解像度の入力画像に対して超解像処理を行って、第２解像度の出力画像と第３解像度の出力画像とを生成する。ここで、位置合わせ処理部１１１、第１補間拡大処理部１１３−１、第２補間拡大処理部１１３−２が第１画像処理部に相当し、再構成処理部７１２が第２画像処理部に相当する。また、位置合わせ処理部１１１の機能は、実施形態１と同様である。
FIG. 7 is a block diagram illustrating a functional configuration of the
第１補間拡大処理部１１３−１は、第１解像度の入力画像を、第２解像度を表すことが可能な画素数に増加した第１初期画像を生成する補間拡大処理を行う。第２補間拡大処理部１１３−２は、第１解像度の入力画像を、第３解像度を表すことが可能な画素数に増加した第２初期画像を生成する補間拡大処理を行う。 The first interpolation enlargement processing unit 113-1 performs an interpolation enlargement process for generating a first initial image in which the input image having the first resolution is increased to the number of pixels that can represent the second resolution. The second interpolation enlargement processing unit 113-2 performs an interpolation enlargement process for generating a second initial image in which the input image having the first resolution is increased to the number of pixels that can represent the third resolution.
再構成処理部７１２は、第１解像度の入力画像、位置合わせ処理部１１１で算出された動きベクトル、第１補間拡大処理部１１３−１で出力される第１初期画像、第２補間拡大処理部１１３−２で出力される第２初期画像を入力し、これらに基づき、フレーム単位で連続的に上記再構成処理を行って、画素数が増加した第１初期画像の解像度を増加させた第２解像度の出力画像、画素数が増加した第２初期画像の解像度を増加させた第３解像度の出力画像を生成して出力する。
The
再構成処理部７１２は、図７に示すように、第１画像バッファ２０１−１と、第２画像バッファ２０１−２と、予測画像生成部２０２と、誤差計算部２０３と、第１誤差補正部２０４−１と、第２誤差補正部２０４−２とを備えている。
As shown in FIG. 7, the
第１画像バッファ２０１−１は、第１補間拡大処理部１１３−１から出力された第１初期画像を一時的に保存する。第２画像バッファ２０１−２は、第２補間拡大処理部１１３−２から出力された第２初期画像を一時的に保存する。 The first image buffer 201-1 temporarily stores the first initial image output from the first interpolation enlargement processing unit 113-1. The second image buffer 201-2 temporarily stores the second initial image output from the second interpolation enlargement processing unit 113-2.
予測画像生成部２０２は、第２画像バッファ２０１−２から第２初期画像を読み出し、第２初期画像と、位置合わせ処理部１１１から出力された動きベクトルとから予測画像を生成する。
The predicted
誤差計算部２０３は、予測画像と、第１解像度の入力画像との誤差を計算して誤差画像を生成する。
The
第１誤差補正部２０４−１は、誤差計算部２０３で生成された誤差画像で第１画像バッファ２０１−１の第１初期画像を補正して第２解像度の出力画像を生成する。第２誤差補正部２０４−２は、誤差計算部２０３で生成された誤差画像で第２画像バッファ２０１−２の第２初期画像を補正して第３解像度の出力画像を生成する。
The first error correction unit 204-1 corrects the first initial image in the first image buffer 201-1 with the error image generated by the
次に以上のように構成された本実施形態の超解像処理について説明する。図８は、実施形態３の超解像処理の手順を示すフローチャートである。 Next, the super-resolution processing of the present embodiment configured as described above will be described. FIG. 8 is a flowchart illustrating a procedure of super-resolution processing according to the third embodiment.
まず、位置合わせ処理部１１１は第１解像度の入力画像を取得し（ステップＳ４１）、入力画像に対して位置合わせ処理を行って動きベクトルを算出する（ステップＳ４２）。
First, the
次に、第１補間拡大処理部１１３−１は、入力画像に対して補間拡大処理を行って、第１初期画像を生成する（ステップＳ４３）。また、第２補間拡大処理部１１３−２は、入力画像に対して補間拡大処理を行って第２初期画像を生成する（ステップＳ４４）。 Next, the first interpolation enlargement processing unit 113-1 performs an interpolation enlargement process on the input image to generate a first initial image (step S43). Further, the second interpolation enlargement processing unit 113-2 performs an interpolation enlargement process on the input image to generate a second initial image (step S44).
再構成処理部７１２は、位置合わせ処理部１１１で算出された動きベクトルと、第１補間拡大処理部１１３−１で求めた第１初期画像と、第２補間拡大処理部１１３−２で求めた第２初期画像と、入力画像とを用いて再構成処理を行って、第２解像度の出力画像および第３解像度の出力画像を出力する（ステップＳ４５）。
The
ここで、図９は、実施形態３の再構成処理（ステップＳ４５）の手順を示すフローチャートである。まず、予測画像生成部２０２は、第２画像バッファ２０１−２の第２初期画像と位置合わせ処理部１１１で算出された動きベクトルとから予測画像を生成する（ステップＳ５１）。
Here, FIG. 9 is a flowchart showing the procedure of the reconstruction process (step S45) of the third embodiment. First, the predicted
そして、誤差計算部２０３は、予測画像と入力画像との誤差を計算して誤差画像を生成する（ステップＳ５２）。
Then, the
そして、第１誤差補正部２０４−１は第１画像バッファ２０１−１の第１初期画像を誤差画像で補正する（ステップＳ５３）。そして、再構成処理部７１２は、誤差が所定の閾値以下となったか否かを判断し（ステップＳ５４）、所定の閾値以下でない場合には（ステップＳ５４：Ｎｏ）、ステップＳ５１からＳ５３までの処理を繰り返す。
Then, the first error correction unit 204-1 corrects the first initial image in the first image buffer 201-1 with an error image (step S53). Then, the
一方、ステップＳ５４で誤差が所定の閾値以下となった場合には（ステップＳ５４：Ｙｅｓ）、処理を終了する。これにより、第２解像度の出力画像が生成されて出力される。 On the other hand, when the error is equal to or smaller than the predetermined threshold value in step S54 (step S54: Yes), the process is terminated. Thereby, an output image of the second resolution is generated and output.
一方、第１誤差補正部２０４−２は第２画像バッファ２０１−２の第２初期画像を誤差画像で補正する（ステップＳ５５）。そして、再構成処理部７１２は、誤差が所定の閾値以下となったか否かを判断し（ステップＳ５６）、所定の閾値以下でない場合には（ステップＳ５６：Ｎｏ）、ステップＳ５１、Ｓ５２、Ｓ５５の処理を繰り返す。
On the other hand, the first error correction unit 204-2 corrects the second initial image in the second image buffer 201-2 with an error image (step S55). Then, the
一方、ステップＳ５６で誤差が所定の閾値以下となった場合には（ステップＳ５６：Ｙｅｓ）、処理を終了する。これにより、第３解像度の出力画像が生成されて出力される。 On the other hand, when the error is equal to or smaller than the predetermined threshold value in step S56 (step S56: Yes), the process is terminated. Thereby, an output image of the third resolution is generated and output.
このように本実施形態では、第１解像度の入力画像に対して超解像処理を行って、第２解像度の出力画像と第３解像度の出力画像とを生成する際の再構成処理において、第１解像度の入力画像から算出された動きベクトルから生成された予測画像を用いて第２解像度の出力画像と第３解像度の出力画像とを生成しているので、超解像処理における処理量を削減することができる。 As described above, in the present embodiment, the super-resolution processing is performed on the first resolution input image to generate the second resolution output image and the third resolution output image. Since the output image of the second resolution and the output image of the third resolution are generated using the prediction image generated from the motion vector calculated from the input image of 1 resolution, the processing amount in the super-resolution processing is reduced. can do.
なお、本実施形態では、第２画像バッファ２０１−２の第２初期画像を用いて予測画像を生成しているが、第１画像バッファ２０１−１の第１初期画像を用いて予測画像を生成するように予測画像生成部２０２を構成してもよい。
In the present embodiment, the predicted image is generated using the second initial image of the second image buffer 201-2. However, the predicted image is generated using the first initial image of the first image buffer 201-1. The predicted
（実施形態４）
実施形態４では、第１解像度の入力画像から複数の異なる解像度を表現可能な画素数の初期画像を複数生成し、当該複数の初期画像から、互いに異なる解像度の複数の出力画像からなる出力画像群を生成し、この際、各解像度の出力画像の生成においてすべて入力画像から求めた動きベクトルを用いている。
(Embodiment 4)
In the fourth embodiment, a plurality of initial images having the number of pixels capable of expressing a plurality of different resolutions are generated from an input image having a first resolution, and an output image group including a plurality of output images having different resolutions from the plurality of initial images. In this case, all the motion vectors obtained from the input image are used in the generation of the output image of each resolution.
図１０は、実施形態４の画像処理装置１０００の機能的構成を示すブロック図である。図１０に示すように、本実施形態の画像処理装置１０００は、位置合わせ処理部１１１と、補間拡大処理部１１１３と、再構成処理部１０１２と、画像切り出し部１０１５とを備え、第１解像度の入力画像に対して超解像処理を行って第２〜５解像度の出力画像を生成し、第２〜５解像度の出力画像から第２解像度の出力画像を生成する。ここで、位置合わせ処理部１１１、補間拡大処理部１１１３が第１画像処理部に相当し、再構成処理部１０１２、画像切り出し部１０１５が第２画像処理部に相当する。また、位置合わせ処理部１１１の機能は、実施形態１と同様である。
FIG. 10 is a block diagram illustrating a functional configuration of the
補間拡大処理部１１１３は、第１解像度の入力画像を互いに異なる第２〜５解像度を表すことが可能な画素数に増加した初期画像群を生成する補間拡大処理を行う。図１１は、実施形態４の初期画像群の一例を示す図である。図１１に示すように、初期画像群が、第２〜５解像度のそれぞれを表現可能な画素数に増加した初期画像１１０１〜１１０４から構成される。
The interpolation
図１０に戻り、再構成処理部１０１２は、第１解像度の入力画像、位置合わせ処理部１１１で算出された動きベクトル、補間拡大処理部１１１３で出力される初期画像群を入力し、これらに基づき、フレーム単位で連続的に上記再構成処理を行って、初期画像群の各初期画像の解像度を増加させた第２〜５解像度の出力画像からなる出力画像群を生成して出力する。
Returning to FIG. 10, the
再構成処理部１０１２は、図１０に示すように、画像バッファ２０１と、予測画像生成部２０２と、誤差計算部２０３と、誤差補正部２０４とを備えている。これらの各部の機能は実施形態１と同様である。但し、本実施形態では、再構成処理部１０１２は、画像バッファ２０１の初期画像群の各初期画像に対応して各解像度の出力画像を生成し、出力画像群として出力する。
As illustrated in FIG. 10, the
画像切り出し部１０１５は、再構成処理部１０１２から出力される第２〜５解像度の出力画像からなる出力画像群から、所望の解像度の出力画像を切り出す。本例では、第２解像度の出力画像を切り出しているが、これに限定されるものではない。また、図１１の形式の画像を用いる顔画像認識装置や文字認識装置の入力画像とすることもできる。
The
次に以上のように構成された本実施形態の超解像処理について説明する。図１２は、実施形態４の超解像処理の手順を示すフローチャートである。 Next, the super-resolution processing of the present embodiment configured as described above will be described. FIG. 12 is a flowchart illustrating a procedure of super-resolution processing according to the fourth embodiment.
まず、位置合わせ処理部１１１は第１解像度の入力画像を取得し（ステップＳ６１）、入力画像に対して位置合わせ処理を行って動きベクトルを算出する（ステップＳ６２）。
First, the
次に、補間拡大処理部１１１３は、入力画像に対して補間拡大処理を行って、第２〜５解像度のそれぞれを表現可能な画素数を増加させた複数の初期画像からなる初期画像群を生成する（ステップＳ６３）。
Next, the interpolation
再構成処理部１０１２は、位置合わせ処理部１１１で算出された動きベクトルと、補間拡大処理部１１１３で求めた初期画像群と、入力画像とを用いて再構成処理を行って、第２〜５解像度の出力画像からなる出力画像群を出力する（ステップＳ６４）。ここで、再構成処理は、初期画像群の各初期画像に対して実施形態１の再構成処理が実行される。
The
次に、画像切り出し部１０１５は、出力画像群の中から、例えば、第２解像度の出力画像を切り出して出力する（ステップＳ６５）。
Next, the
このように本実施形態では、第１解像度の入力画像から複数の異なる解像度を表現可能な画素数の初期画像を複数生成し、当該複数の初期画像から、互いに異なる解像度の複数の出力画像からなる出力画像群を生成し、この際、各解像度の出力画像の生成においてすべて入力画像から求めた動きベクトルを用いているので、各解像度の出力画像の生成ごとに異なる動きベクトルを算出する必要がなく、超解像処理の処理量の削減を図ることができる。 As described above, in this embodiment, a plurality of initial images having the number of pixels capable of expressing a plurality of different resolutions are generated from an input image having the first resolution, and a plurality of output images having different resolutions are formed from the plurality of initial images. The output image group is generated. At this time, since the motion vector obtained from the input image is used in the generation of the output image of each resolution, there is no need to calculate a different motion vector for each generation of the output image of each resolution. The amount of super-resolution processing can be reduced.
（実施形態５）
この実施形態５では、入力画像に対しフレームレート変換を行った後に、超解像処理を行い、フレームレート変換の際に算出した動きベクトルを超解像処理で用いている。
(Embodiment 5)
In the fifth embodiment, after performing frame rate conversion on the input image, super-resolution processing is performed, and the motion vector calculated at the time of frame rate conversion is used in the super-resolution processing.
図１３は、実施形態５の画像処理装置１３００の機能的構成を示すブロック図である。図１３に示すように、本実施形態の画像処理装置１３００は、第１画像処理部としてのフレームレート変換部１３１０と、第２画像処理部としての超解像処理部１３５０およびフレーム選択部１３５５とを備えている。
FIG. 13 is a block diagram illustrating a functional configuration of an
フレームレート変換部１３１０は、第１フレームレートの第１解像度の入力画像を、第２フレームレートの第１解像度の画像に変換する。ここで、本実施形態では、一例として、第１フレームレートを３０ｆｐｓ、第２フレームレートを６０ｆｐｓとするが、これに限定されるものではなく、第２フレームレートが第１フレームレートよりも高ければよい。フレームレート変換部１３１０は、図１３に示すように、フレーム遅延部１３０１と、フレーム補間部１３１２と、位置合わせ処理部１３１１と、フレーム選択部１３１４とを備えている。
The frame
フレーム遅延部１３０１は、入力画像のフレームを時間的に遅らせる。位置合わせ処理部１３１１は、実施形態１と同様の機能を有し、時間的に前のフレームと位置合わせを行う。フレーム補間部１３１２は、フレーム遅延部１３０１によって時間的に遅らされた前のフレームと現在のフレームとの間に新たなフレームを生成して挿入することによりフレーム補間を行って補間画像を生成する。かかるフレーム補間を、入力画像の各フレーム間で行うことにより、第１フレームレートが２倍の第２フレームレートに変換されることになる。フレーム選択部１３１４は、入力画像と、フレーム補間部１３１２で生成された補間画像とを時間的に正しく出力されるように切り替える。
The
超解像処理部１３５０は、フレームレート変換部１３１０で生成された補間画像（第１解像度）を、超解像処理により第２解像度の出力画像に変換して高解像度化する。超解像処理部１３５０は、実施形態１の第２超解像処理部と同様に、補間拡大処理部１５３と、再構成処理部１５２とを備えている。ここで、補間拡大処理部１５３、再構成処理部１５２の機能は実施形態１と同様である。
The
ここで、本実施形態では、実施形態１と同様に、超解像処理部１３５０に、位置合わせ処理部を設けておらず、フレームレート変換部１３１０の位置合わせ処理部１３１１で第１解像度の入力画像から算出された動きベクトルを用いて再構成処理をおこなっている。
Here, in the present embodiment, as in the first embodiment, the
これは、仮に、超解像処理部１３５０に、補間画像から動きベクトルを求める位置合わせ処理部を設けると、補間画像は、フレーム間にフレームを補間した画像であり、このような補間フレームのある補間画像から動きベクトルを求めると画質が劣化してしまう可能性がある。このため、本実施形態の超解像処理部１３５０では、入力画像から算出された動きベクトルを用いて再構成処理を行って、出力画像の高画質化を図ると共に超解像処理の処理量の削減を図っている。
This is because if the
フレーム選択部１３５５は、再構成処理部１５２から出力される第２フレームレートで第２解像度の出力画像からフレームを間引いて、第２フレームレートより低い第３フレームレートで第２解像度の出力画像を選択して出力する。
The
次に以上のように構成された本実施形態の画像処理について説明する。図１４は、実施形態５の画像処理の手順を示すフローチャートである。 Next, the image processing of the present embodiment configured as described above will be described. FIG. 14 is a flowchart illustrating an image processing procedure according to the fifth embodiment.
まず、位置合わせ処理部１３１１は第１解像度の入力画像を取得し（ステップＳ７１）、入力画像に対して位置合わせ処理を行って動きベクトルを算出する（ステップＳ７２）。
First, the
次に、フレーム遅延部１３０１は、入力画像のフレームを時間的に遅らせる（ステップＳ７３）。そして、フレーム補間部１３１２は、フレーム遅延部１３０１によって時間的に遅らされた前のフレームと現在のフレームとの間にフレーム補間を行う（ステップＳ７４）。
Next, the
次に、フレーム選択部１３１４は、第１フレームレートと第２フレームレートとに基づき補間タイミングか否かを判断する（ステップＳ７５）。例えば、変換後の第２フレームレートが入力画像の第１フレームレートの２倍である場合には、１フレームおきに補間タイミングとなる。
Next, the
そして、補間タイミングである場合には（ステップＳ７５：Ｙｅｓ）、フレーム選択部１３１４は補間画像を出力する（ステップＳ７６）。一方、補間タイミングでない場合には（ステップＳ７５：Ｎｏ）、フレーム選択部１３１４は入力画像を出力する（ステップＳ７７）。
If it is the interpolation timing (step S75: Yes), the
次に、超解像処理部１３５０の補間拡大処理部１５３は補間画像を入力して補間拡大処理を行い、第１解像度の補間画像を第２解像度の表現可能な画素数に増加した初期画像を生成する（ステップＳ７８）。次に、再構成処理部１５２は、位置合わせ処理部１３１１で算出された動きベクトルと、補間拡大処理部１５３で求めた初期画像と、補間画像とを用いて再構成処理を行って、第２フレームレートで第２解像度の出力画像を出力する（ステップＳ７９）。
Next, the interpolation
次に、フレーム選択部１３５５は、再構成処理部１５２から出力される第２フレームレートで第２解像度の出力画像を間引いて第３フレームレートで第２解像度の出力画像を出力する（ステップＳ８０）。
Next, the
このように本実施形態では、入力画像に対しフレームレート変換を行った後に、超解像処理を行い、フレームレート変換の際に算出した動きベクトルを超解像処理で用いているので、出力画像の高画質化を図ると共に超解像処理の処理量の削減を図ることができる。 As described above, in the present embodiment, after the frame rate conversion is performed on the input image, the super-resolution processing is performed, and the motion vector calculated at the frame rate conversion is used in the super-resolution processing. The image quality can be improved and the amount of super-resolution processing can be reduced.
（実施形態６）
実施形態６では、入力画像に対し超解像処理を行った後に、インターレース・プログレッシブ変換を行い、超解像処理の際に算出した動きベクトルをインターレース・プログレッシブ変換で用いている。
(Embodiment 6)
In the sixth embodiment, after super-resolution processing is performed on an input image, interlace / progressive conversion is performed, and a motion vector calculated in the super-resolution processing is used in the interlace / progressive conversion.
図１５は、実施形態６の画像処理装置１５００の機能的構成を示すブロック図である。図１５に示すように、本実施形態の画像処理装置１５００は、第１画像処理部としての超解像処理部１５１０と、第２画像処理部としての第２補間拡大処理部１５１５およびインターレース・プログレッシブ変換部１５１６（以下、「ＩＰ変換部１５１６」という。）とを備えている。本実施形態の画像処理装置１５００は、インターレース形式の画像で第１解像度の入力画像に超解像処理を行って第２解像度のインターレース形式の画像を出力し、さらに、第２解像度のインターレース形式の画像をプログレッシブ形式の画像に変換して出力する。
FIG. 15 is a block diagram illustrating a functional configuration of an
超解像処理部１５１０は、図１５に示すように、位置合わせ処理部１５１１と、再構成処理部１５１２と、第１補間拡大処理部１５１３とを備えている。
As shown in FIG. 15, the
位置合わせ処理部１５１１は、入力画像の処理対象フレームである基準フレームの時間的に前後の参照フレームにおいて、インターレース形式の偶数フィールドと奇数フィールドに各フィールド単位で、基準フレーム上の点と同一箇所を示す参照フレーム上の点である対応点を探索し、２つの点の移動量を動きベクトルとして算出する。
The
第１補間拡大処理部１５１３は、バイリニアやバイキュービックアルゴリズム等の補間アルゴリズムによって、第１解像度のインターレース形式の入力画像を、第２解像度を表すことが可能な画素数に増加して初期画像を生成する補間拡大処理を行う。
The first interpolation
再構成処理部１５１２は、入力画像、位置合わせ処理部１５１１で算出された動きベクトル、第１補間拡大処理部１５１３で出力される初期画像とを入力し、これら３つに基づき、画素数が増加した初期画像の解像度を増加させて出力する再構成処理をフレーム単位に連続的に行う。これにより、再構成処理部１５１２からは、第２解像度のインターレース形式の画像が出力される。
The
第２補間拡大処理部１５１５は、第２解像度のインターレース形式の画像を、２倍の解像度を表すことが可能な画素数に増加して初期画像を生成する。
The second interpolation
ＩＰ変換部１５１６は、入力画像、位置合わせ処理部１５１１で算出された動きベクトル、第２補間拡大処理部１５１５で出力される初期画像とを入力し、これら３つに基づき、インターレース形式の初期画像をプログレッシブ形式の出力画像に変換する。
The
ここで、ＩＰ変換は、画像の垂直方向の解像度を２倍とする超解像処理を行うことと等価であるため、本実施形態のＩＰ変換部１５１６は、図２を用いて説明した実施形態１の再構成処理部１５２と同様の構成を有している。すなわち、ＩＰ変換部１５１６は、動きベクトルと初期画像とから予測画像を生成し、予測画像と入力画像との誤差計算を行って誤差画像を生成し、初期画像に対して誤差補正を行うことでＩＰ変換の結果を高解像化する。
Here, since IP conversion is equivalent to performing super-resolution processing in which the vertical resolution of an image is doubled, the
次に以上のように構成された本実施形態の画像処理について説明する。図１６は、実施形態６の画像処理の手順を示すフローチャートである。 Next, the image processing of the present embodiment configured as described above will be described. FIG. 16 is a flowchart illustrating an image processing procedure according to the sixth embodiment.
まず、位置合わせ処理部１５１１は第１解像度のインターレース形式の入力画像を取得し（ステップＳ１００１）、インターレース形式の入力画像に対して位置合わせ処理を行って動きベクトルを算出する（ステップＳ１００２）。
First, the
次に、第１補間拡大処理部１５１３は、入力画像に対して補間拡大処理を行って、初期画像を生成する（ステップＳ１００３）。
Next, the first interpolation
次に、再構成処理部１５１２は、位置合わせ処理部１５１１で算出された動きベクトルと、第１補間拡大処理部１５１３で求めた初期画像と、入力画像とを用いて再構成処理を行って、第２解像度のインターレース形式の画像を出力する（ステップＳ１００４）。
Next, the
次に、第２補間拡大処理部１５１５は、第２解像度のインターレース形式の画像に対して補間拡大処理を行って、インターレース形式の初期画像を生成する（ステップＳ１００５）。そして、ＩＰ変換部１５１６は、入力画像、位置合わせ処理部１５１１で算出された動きベクトル、第２補間拡大処理部１５１５で出力される初期画像とを入力し、これら３つに基づき、インターレース形式の画像である初期画像をプログレッシブ形式の出力画像に変換する（ステップＳ１００６）。
Next, the second interpolation
このように本実施形態では、入力画像に対し超解像処理を行った後に、インターレース・プログレッシブ変換を行い、超解像処理の際に算出した動きベクトルをインターレース・プログレッシブ変換で用いているので、ＩＰ変換処理で位置合わせ処理を省略することで、ＩＰ変換処理の処理量の削減を図ることができる。 As described above, in the present embodiment, after performing the super-resolution processing on the input image, the interlace / progressive conversion is performed, and the motion vector calculated in the super-resolution processing is used in the interlace / progressive conversion. By omitting the alignment process in the IP conversion process, the processing amount of the IP conversion process can be reduced.
また、本実施形態では、ＩＰ変換部１５１６は、超解像処理部１５１０で実行される画素単位の位置合わせ処理の結果としての動きベクトルを用いてＩＰ変換処理を行っている。さらに、ＩＰ変換部１５１６は、超解像処理が行われる前の入力画像を入力して、この入力画像を用いてＩＰ変換処理を行っている。このため、領域単位の動きベクトルを用いて通常のＩＰ変換処理を行ったり、超解像処理前の入力画像を用いないで通常のＩＰ変換処理を行う場合に比べて、ＩＰ変換処理結果としてのプログレッシブ形式の出力画像の高画質化を図ることができる。
In this embodiment, the
なお、本実施形態では、ＩＰ変換部１５１６として再構成処理部と同一の構成としているが、これに限定されるものではなく、通常のＩＰ変換処理を行うようにＩＰ変換部１５１６を構成してもよい。この場合には、位置合わせ処理部１５１１において画素レベルまでの対応点検出ではなく、ブロック等の領域での対応点の探索や位置合わせを行えばよいので、それほどの高画質化を望まない場合に、装置構成を簡易化することができるというメリットがある。
In this embodiment, the
また、位置合わせ処理、再構成処理、補間拡大処理を、インターレース形式の画像のフィールドごとではなく、画面のアクティビティに応じてフレームごとに処理した結果と切り替えたり、ブレンディングしたり適応的に処理内容を変えるように構成してもよい。 In addition, the alignment processing, reconstruction processing, and interpolation enlargement processing are switched to the processing results for each frame according to the screen activity, not for each field of the interlaced image, and blending or adaptive processing content is changed. It may be configured to change.
上記実施形態では、画像処理装置の第１画像処理部に相当する部位と第２画像処理部に相当する部位とにより、第２解像度の出力画像と第３解像度の出力画像や第２フレームレートの出力画像と第３フレームレートの出力画像あるいはインターレース形式の出力画像とプログレッシブ形式の出力画像等のように、複数の出力画像を出力しているが、これに限定されるものではなく、第２画像処理部に相当する部位だけが、出力画像を出力するように構成してもよい。 In the above-described embodiment, the output image of the second resolution, the output image of the third resolution, the second frame rate, and the like, by the part corresponding to the first image processing unit and the part corresponding to the second image processing unit of the image processing apparatus. A plurality of output images are output, such as an output image and an output image of a third frame rate, or an output image of an interlace format and an output image of a progressive format, but the present invention is not limited to this. Only a portion corresponding to the processing unit may be configured to output an output image.
上記実施形態の画像処理装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。 The image processing apparatus according to the embodiment includes a control device such as a CPU, a storage device such as a ROM (Read Only Memory) and a RAM, an external storage device such as an HDD and a CD drive device, a display device such as a display device, It has an input device such as a keyboard and a mouse, and has a hardware configuration using a normal computer.
上記実施形態の画像処理装置で実行される画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。 The image processing program executed by the image processing apparatus of the above embodiment is a file in an installable format or an executable format, such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk), or the like. The program is provided by being recorded on a computer-readable recording medium.
また、上記実施形態の画像処理装置で実行される画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上記実施形態の画像処理装置で実行される画像処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。 Further, the image processing program executed by the image processing apparatus of the above-described embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. Further, the image processing program executed by the image processing apparatus of the above embodiment may be provided or distributed via a network such as the Internet.
また、上記実施形態の画像処理装置で実行される画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。 Further, the image processing program executed by the image processing apparatus according to the above-described embodiment may be provided by being incorporated in advance in a ROM or the like.
上記実施形態の画像処理装置で実行される画像処理プログラムは、上述した各部（位置合わせ処理部、補間拡大処理部、第１補間拡大処理部、第２補間拡大処理部、再構成処理部、フレーム遅延部、フレーム補間部、フレーム選択部、ＩＰ変換部等）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記記憶媒体から画像処理プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、位置合わせ処理部、補間拡大処理部、第１補間拡大処理部、第２補間拡大処理部、再構成処理部、フレーム遅延部、フレーム補間部、フレーム選択部、ＩＰ変換部等がＲＡＭ上に生成されるようになっている。 The image processing program executed by the image processing apparatus according to the embodiment includes the above-described units (positioning processing unit, interpolation expansion processing unit, first interpolation expansion processing unit, second interpolation expansion processing unit, reconstruction processing unit, frame The module configuration includes a delay unit, a frame interpolation unit, a frame selection unit, an IP conversion unit, etc.) As the actual hardware, the CPU reads out the image processing program from the storage medium and executes the image processing program. Loaded on the main memory, alignment processing unit, interpolation expansion processing unit, first interpolation expansion processing unit, second interpolation expansion processing unit, reconstruction processing unit, frame delay unit, frame interpolation unit, frame selection unit, IP A conversion unit or the like is generated on the RAM.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
１００，５００，７００，１０００，１３００，１５００ 画像処理装置
１１０ 第１超解像処理部
１５０，５５０ 第２超解像処理部
１１１，１３１１，１５１１ 位置合わせ処理部
１１２，１５２，５５２，７１２，１０１２，１５１２ 再構成処理部
１１３，１５３，５５３，１１１３ 補間拡大処理部
１０１５ 画像切り出し部
１５１６ ＩＰ変換部
100, 500, 700, 1000, 1300, 1500
Claims (12)
前記位置合わせ処理部で算出された動きベクトルに基づいて、第２の画像処理を行い、出力画像を出力する第２画像処理部と、
を備えた画像処理装置。 A registration processing unit that searches for a corresponding point in a reference frame temporally before and after the processing target frame of the input image and calculates a motion vector that is a movement amount of the corresponding point; A first image processing unit for performing image processing;
A second image processing unit that performs second image processing based on the motion vector calculated by the alignment processing unit and outputs an output image;
An image processing apparatus.
前記第２画像処理部は、第２解像度の出力画像を、前記超解像処理により、前記第２解像度より高い第３解像度の出力画像に変換する第２超解像処理部、を備え、
前記第１超解像処理部は、前記位置合わせ処理部を備え、
前記第２超解像処理部は、前記位置合わせ処理部で算出された動きベクトルに基づいて、前記第２解像度の出力画像を前記第３解像度の出力画像に変換する、
請求項１に記載の画像処理装置。 The first image processing unit includes a first super-resolution processing unit that converts the input image having the first resolution into an output image having a second resolution higher than the first resolution by super-resolution processing;
The second image processing unit includes a second super-resolution processing unit that converts an output image of the second resolution into an output image of a third resolution higher than the second resolution by the super-resolution processing,
The first super-resolution processing unit includes the alignment processing unit,
The second super-resolution processing unit converts the output image of the second resolution into the output image of the third resolution based on the motion vector calculated by the alignment processing unit;
The image processing apparatus according to claim 1.
前記第２画像処理部は、前記第１解像度の出力画像を前記第２解像度より高い第３解像度の出力画像に変換する第２超解像処理部、を備え、
前記第１超解像処理部は、前記位置合わせ処理部、を備え、
前記第２超解像処理部は、前記位置合わせ処理部で算出された動きベクトルに基づいて、前記第１解像度の出力画像を前記第３解像度の出力画像に変換する、
請求項１に記載の画像処理装置。 The first image processing unit includes a first super-resolution processing unit that converts an input image having a first resolution into an output image having a second resolution higher than the first resolution. The second image processing unit includes the first image processing unit. A second super-resolution processing unit that converts an output image with a resolution into an output image with a third resolution higher than the second resolution;
The first super-resolution processing unit includes the alignment processing unit,
The second super-resolution processing unit converts the output image of the first resolution into the output image of the third resolution based on the motion vector calculated by the alignment processing unit;
The image processing apparatus according to claim 1.
第１解像度の入力画像の画素を、第２解像度を表すことが可能な画素数に増加して第１初期画像を生成する第１補間拡大処理部と、
前記入力画像の画素を、第３解像度を表すことが可能な画素数に増加して第２初期画像を生成する第２補間拡大処理部と、
前記位置合わせ処理部と、を備え、
前記第２画像処理部は、
前記第１初期画像と前記第２初期画像と前記入力画像と前記動きベクトルとに基づいて、前記第２解像度の出力画像と前記第３解像度の出力画像とを生成する再構成処理部、
を備えた請求項１に記載の画像処理装置。 The first image processing unit
A first interpolation enlargement processing unit that generates a first initial image by increasing the number of pixels of the input image having the first resolution to a number of pixels that can represent the second resolution;
A second interpolation enlargement processing unit for generating a second initial image by increasing the number of pixels of the input image to a number of pixels capable of representing a third resolution;
The alignment processing unit,
The second image processing unit
A reconstruction processing unit that generates the output image of the second resolution and the output image of the third resolution based on the first initial image, the second initial image, the input image, and the motion vector;
The image processing apparatus according to claim 1, further comprising:
前記第２初期画像と前記動きベクトルから予測画像を生成する予測画像生成部と、
前記予測画像と前記入力画像との誤差を計算し誤差画像を生成する誤差計算部と、
前記誤差画像で前記第１初期画像を補正して、前記第２解像度の出力画像を得る第１誤差補正部と、
前記誤差画像で前記第２初期画像を補正して、前記第３解像度の出力画像を得る第２誤差補正部と、
を備えた請求項４に記載の画像処理装置。 The reconstruction processing unit
A predicted image generation unit that generates a predicted image from the second initial image and the motion vector;
An error calculator that calculates an error between the predicted image and the input image and generates an error image;
A first error correction unit that corrects the first initial image with the error image to obtain an output image of the second resolution;
A second error correction unit that corrects the second initial image with the error image to obtain an output image of the third resolution;
An image processing apparatus according to claim 4, comprising:
第１解像度の入力画像の画素を、前記第１解像度より高い複数の解像度を表すことが可能な画素数に増加して、解像度の異なる複数の初期画像からなる初期画像群を生成する補間拡大処理部と、
前記位置合わせ処理部と、を備え、
前記第２画像処理部は、
前記初期画像群と前記入力画像と前記動きベクトルとに基づいて、前記複数の解像度の出力画像からなる出力画像群を生成する再構成処理部と、
前記出力画像群から、所定の解像度の出力画像を切り出す画像切り出し部と、
を備えた請求項１に記載の画像処理装置。 The first image processing unit
Interpolation enlargement processing for generating an initial image group composed of a plurality of initial images having different resolutions by increasing the number of pixels of the input image having the first resolution to a number of pixels capable of expressing a plurality of resolutions higher than the first resolution. And
The alignment processing unit,
The second image processing unit
Based on the initial image group, the input image, and the motion vector, a reconstruction processing unit that generates an output image group composed of output images of the plurality of resolutions;
An image cutout unit for cutting out an output image of a predetermined resolution from the output image group;
The image processing apparatus according to claim 1, further comprising:
前記初期画像群の各初期画像と前記動きベクトルから予測画像を生成する予測画像生成部と、
前記予測画像と前記入力画像との誤差を計算し誤差画像を生成する誤差計算部と、
前記誤差画像で前記初期画像群の複数の初期画像を補正して、複数の解像度の出力画像を得る誤差補正部と、
を備えた請求項６に記載の画像処理装置。 The reconstruction processing unit
A predicted image generating unit that generates a predicted image from each initial image of the initial image group and the motion vector;
An error calculator that calculates an error between the predicted image and the input image and generates an error image;
An error correction unit that corrects a plurality of initial images of the initial image group with the error image to obtain output images of a plurality of resolutions;
An image processing apparatus according to claim 6, comprising:
前記第２画像処理部は、
前記第２フレームレートの画像を、超解像処理により、前記第１解像度より高い第２解像度の出力画像に変換する超解像処理部と、
前記第２フレームレートの画像からフレームを選択して、前記第２フレームレートより低い第３フレームレートの出力画像を出力するフレーム選択部と、を備え、
前記フレームレート変換部は、
前記入力画像の処理対象フレームの時間的に前後の参照フレームにおいて対応点を探索し、前記対応点の移動量である動きベクトルを算出する位置合わせ処理部を備え、
前記超解像処理部は、前記フレームレート変換部の前記位置合わせ処理部で算出された動きベクトルに基づいて、前記第１解像度の出力画像を前記第２解像度の出力画像に変換する、
請求項１に記載の画像処理装置。 The first image processing unit includes a frame rate conversion unit that converts an input image of a first frame rate at a first resolution into an image of a second frame rate,
The second image processing unit
A super-resolution processing unit that converts the image at the second frame rate into an output image having a second resolution higher than the first resolution by super-resolution processing;
A frame selection unit that selects a frame from the image at the second frame rate and outputs an output image at a third frame rate lower than the second frame rate;
The frame rate converter
A registration processing unit that searches for a corresponding point in a reference frame temporally before and after the processing target frame of the input image and calculates a motion vector that is a movement amount of the corresponding point;
The super-resolution processing unit converts the output image of the first resolution into the output image of the second resolution based on the motion vector calculated by the alignment processing unit of the frame rate conversion unit;
The image processing apparatus according to claim 1.
第１解像度のインターレース形式の入力画像を、超解像処理により、前記第１解像度より高い第２解像度のインターレース形式の画像に変換する超解像処理部、を備え、
前記第２画像処理部は、
前記第２解像度のインターレース形式の画像を、プログレッシブ形式の出力画像に変換するインターレース・プログレッシブ変換部、を備え、
前記超解像処理部は、
前記入力画像の処理対象フレームの時間的に前後の参照フレームにおいて対応点を探索し、前記対応点の移動量である動きベクトルを算出する位置合わせ処理部、を備え、
前記インターレース・プログレッシブ変換部は、前記位置合わせ処理部で算出された動きベクトルに基づいて、前記第２解像度のインターレース形式の画像を、プログレッシブ形式の出力画像に変換する、
請求項１に記載の画像処理装置。 The first image processing unit
A super-resolution processing unit that converts an interlaced input image having a first resolution into a second resolution interlaced image that is higher than the first resolution by super-resolution processing;
The second image processing unit
An interlace / progress conversion unit that converts the second resolution interlace format image into a progressive output image;
The super-resolution processor
A registration processing unit that searches for a corresponding point in a reference frame temporally before and after the processing target frame of the input image and calculates a motion vector that is a movement amount of the corresponding point;
The interlace / progressive converter converts the interlaced image of the second resolution into an output image of a progressive format based on the motion vector calculated by the alignment processing unit;
The image processing apparatus according to claim 1.
前記第２解像度の画像の画素を、第３解像度を表すことが可能な画素数に増加して初期画像を生成する補間拡大処理部、をさらに備え、
前記インターレース・プログレッシブ変換部は、
前記初期画像と前記動きベクトルから予測画像を生成する予測画像生成部と、
前記予測画像と前記入力画像との誤差を計算し誤差画像を生成する誤差計算部と、
前記誤差画像で前記初期画像を補正して、前記プログレッシブ形式の出力画像を得る誤差補正部と、
を備えた請求項９に記載の画像処理装置。 The second image processing unit
An interpolation enlargement processing unit that generates an initial image by increasing the number of pixels of the second resolution image to the number of pixels that can represent the third resolution;
The interlace progressive converter is
A predicted image generation unit that generates a predicted image from the initial image and the motion vector;
An error calculator that calculates an error between the predicted image and the input image and generates an error image;
An error correction unit that corrects the initial image with the error image to obtain an output image in the progressive format;
An image processing apparatus according to claim 9, comprising:
算出された動きベクトルに基づいて、第２の画像処理を行い、出力画像を出力するステップと、
を含む画像処理方法。 Searching for a corresponding point in a reference frame temporally before and after the processing target frame of the input image, calculating a motion vector that is a movement amount of the corresponding point, and performing a first image processing on the input image; ,
Performing second image processing based on the calculated motion vector and outputting an output image;
An image processing method including:
算出された動きベクトルに基づいて、第２の画像処理を行い、出力画像を出力するステップと、
をコンピュータに実行させるためのプログラム。 Searching for a corresponding point in a reference frame temporally before and after the processing target frame of the input image, calculating a motion vector that is a movement amount of the corresponding point, and performing a first image processing on the input image; ,
Performing second image processing based on the calculated motion vector and outputting an output image;
A program that causes a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013052270A JP5937031B2 (en) | 2013-03-14 | 2013-03-14 | Image processing apparatus, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013052270A JP5937031B2 (en) | 2013-03-14 | 2013-03-14 | Image processing apparatus, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014178876A true JP2014178876A (en) | 2014-09-25 |
| JP5937031B2 JP5937031B2 (en) | 2016-06-22 |
Family
ID=51698759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013052270A Active JP5937031B2 (en) | 2013-03-14 | 2013-03-14 | Image processing apparatus, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5937031B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007318193A (en) * | 2006-05-23 | 2007-12-06 | Hitachi Ltd | Image processing apparatus |
| JP2008092297A (en) * | 2006-10-02 | 2008-04-17 | Olympus Corp | Image processor, image processing program, image manufacturing method, and recording medium |
| JP2009147767A (en) * | 2007-12-17 | 2009-07-02 | Hitachi Ltd | Image converting apparatus, and image display apparatus |
| JP2009239698A (en) * | 2008-03-27 | 2009-10-15 | Hitachi Ltd | Video image converting device, and video image converting method |
| JP2009296080A (en) * | 2008-06-03 | 2009-12-17 | Hitachi Ltd | Super-resolution image generation system |
| JP2011188376A (en) * | 2010-03-10 | 2011-09-22 | Toshiba Corp | Image processing apparatus and image processing method |
-
2013
- 2013-03-14 JP JP2013052270A patent/JP5937031B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007318193A (en) * | 2006-05-23 | 2007-12-06 | Hitachi Ltd | Image processing apparatus |
| JP2008092297A (en) * | 2006-10-02 | 2008-04-17 | Olympus Corp | Image processor, image processing program, image manufacturing method, and recording medium |
| JP2009147767A (en) * | 2007-12-17 | 2009-07-02 | Hitachi Ltd | Image converting apparatus, and image display apparatus |
| JP2009239698A (en) * | 2008-03-27 | 2009-10-15 | Hitachi Ltd | Video image converting device, and video image converting method |
| JP2009296080A (en) * | 2008-06-03 | 2009-12-17 | Hitachi Ltd | Super-resolution image generation system |
| JP2011188376A (en) * | 2010-03-10 | 2011-09-22 | Toshiba Corp | Image processing apparatus and image processing method |
Non-Patent Citations (1)
| Title |
|---|
| JPN6015051574; 合志 清一: '"超解像技術の現状と将来"' 映像情報メディア学会技術報告 Ｖｏｌ．３７， Ｎｏ．１５, 20130307, ｐｐ．９-１４, （一社）映像情報メディア学会 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5937031B2 (en) | 2016-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4564564B2 (en) | Moving picture reproducing apparatus, moving picture reproducing method, and moving picture reproducing program | |
| JP2008312163A (en) | Image processing apparatus, image processing method, and program | |
| WO2011067870A1 (en) | Image processing device and image processing method | |
| JP2008312162A (en) | Image processing apparatus, image processing method, and program | |
| US8615036B2 (en) | Generating interpolated frame of video signal with enhancement filter | |
| JP2010278871A (en) | Image processing apparatus and image processing method | |
| JP5100495B2 (en) | Image processing device | |
| JP2006352611A (en) | Picture interpolator, frame rate changer and picture display | |
| JP5208381B2 (en) | Moving picture frame rate conversion apparatus and moving picture frame rate conversion method | |
| JP4552691B2 (en) | Moving picture conversion apparatus, moving picture restoration apparatus and method, and computer program | |
| JP2009207192A (en) | Device for imaging, method of imaging, program and storage medium | |
| JP5937031B2 (en) | Image processing apparatus, method, and program | |
| JP5015089B2 (en) | Frame rate conversion device, frame rate conversion method, television receiver, frame rate conversion program, and recording medium recording the program | |
| KR20110048252A (en) | Method and apparatus for image conversion based on sharing of motion vector | |
| JP5448983B2 (en) | Resolution conversion apparatus and method, scanning line interpolation apparatus and method, and video display apparatus and method | |
| JP2009239698A (en) | Video image converting device, and video image converting method | |
| JP2003289511A (en) | Image scan converting method and apparatus | |
| JP2007288483A (en) | Image converting apparatus | |
| US8698954B2 (en) | Image processing method, image processing apparatus and image processing program | |
| JP4915018B2 (en) | Video processing device, video processing method, program, recording medium, portable terminal, and receiving device | |
| JP2006217486A (en) | Motion compensation type ip conversion processor and processing method | |
| JP2014027405A (en) | Frame interpolation apparatus and program | |
| KR20050015189A (en) | Apparatus for de-interlacing based on phase corrected field and method therefor, and recording medium for recording programs for realizing the same | |
| JP2013030838A (en) | Motion vector derivation device and method | |
| JP5371682B2 (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150305 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20151102 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160511 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5937031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |