JP2009267446A

JP2009267446A - Motion image information processing method and apparatus

Info

Publication number: JP2009267446A
Application number: JP2008110651A
Authority: JP
Inventors: Takahiro Iwata; 貴弘岩田; Masahiro Kageyama; 昌広影山; Hideki Sakao; 秀樹坂尾
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2008-04-21
Filing date: 2008-04-21
Publication date: 2009-11-12

Abstract

<P>PROBLEM TO BE SOLVED: To provide a motion image information processing apparatus capable of acquiring more highly precise motion image content from motion image information inputted into the apparatus and improving usability. <P>SOLUTION: An ultra-resolution processing structure controlling section 13 determines an order of executing ultra-resolution processing, determination processing and interpolation processing, and controls the driving of an ultra-resolution processing section 15, an image frame interpolation determining section 17 and an image frame interpolation processing section 19. An overall processing sequence can be changed. In starting interpolation processing and ultra-resolution processing of an image frame, a header base image frame and a header reference image frame are set as initial image frames. The image frame interpolation determining section 17 determines conditions used in determining whether or not an interpolation image frame should be inserted between a base image frame to be a target and a reference image frame. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、入力した動画像情報に超解像処理を施して高解像度化された前記動画像情報を出力する動画像情報処理方法、及び装置に関する。 The present invention relates to a moving image information processing method and apparatus for outputting the moving image information that has been subjected to super-resolution processing on the input moving image information to increase the resolution.

近年、動画像合成の技術分野において、動画像の連続する複数のフレーム（画像フレームのこと。以下同じ）をサンプリングし、高精細な合成フレームを作成することを目的とした提案がなされている。 In recent years, in the technical field of moving image synthesis, proposals have been made for sampling a plurality of continuous frames of moving images (image frames; hereinafter the same) to create a high-definition synthesized frame.

該提案では、動画像データ、及び合成フレームの画像特性に基づいてサンプリングした、基準フレームを含む複数枚の画像フレームの内、基準フレームに近い画像フレームから順に、該基準フレームとの対応関係を求める。そして、上記フレームと基準フレームとの相関が、所定の閾値より高いフレームを用いて、合成フレームが作成されるようになっている（例えば特許文献１参照）。 In this proposal, the correspondence relationship with the reference frame is obtained in order from the image frame closest to the reference frame among a plurality of image frames including the reference frame sampled based on the image characteristics of the moving image data and the composite frame. . A composite frame is created using a frame in which the correlation between the frame and the reference frame is higher than a predetermined threshold (see, for example, Patent Document 1).

特開2004-120626号公報JP 2004-120626 A

ところで、上述した特許文献１に開示されている技術では、ユーザが、より高精細な高解像度の画像フレームの出力を所望する場合には、該ユーザが、上記装置の画像表示部に表示されるユーザインタフェースを通じて、上記装置に入力される画像情報に含まれる複数の画像フレーム中から、超解像処理の対象となる画像フレームを選択するという作業が必要不可欠であった。 By the way, in the technique disclosed in Patent Document 1 described above, when the user desires to output a higher-definition, high-resolution image frame, the user is displayed on the image display unit of the apparatus. The operation of selecting an image frame to be subjected to super-resolution processing from a plurality of image frames included in image information input to the device through the user interface is indispensable.

上記超解像処理の対象となる画像情報が、例えば、放送された画像情報の録画情報に含まれる動画像コンテンツ等のユーザが所持する画像コンテンツである場合には、該画像コンテンツから、より高精細な高解像度の画像フレームを出力する際に、上記作業に加えて、更に、該動画コンテンツに対する事前編集処理のような作業が要求されることになる。その為、高解像度の動画像コンテンツを、極簡単な操作で視聴することを希望するユーザにとっては、上記操作が負担になるという問題がある。 When the image information to be subjected to the super-resolution processing is, for example, an image content possessed by the user such as a moving image content included in the recording information of the broadcasted image information, When outputting a fine high-resolution image frame, in addition to the above work, a work such as a pre-editing process for the moving image content is required. Therefore, there is a problem that the above operation becomes a burden for a user who desires to view high-resolution moving image content with an extremely simple operation.

しかも、動画像コンテンツ（動画像情報）に含まれる複数の画像フレーム同士の間における同一画像の動きを示す情報（例えば、動きベクトルに係わる情報）が一定であるものは少ないと想定されるので、上記複数の画像フレーム中の時間的に隣接する画像フレーム同士の間における同一画像の動きが大きい場合には、より高精細な高解像の画像フレームを得るための画像フレームが、入力された画像情報（動画像コンテンツ）中には、存在しないと思料される。 In addition, since it is assumed that there is little information indicating the motion of the same image between a plurality of image frames included in the moving image content (moving image information) (for example, information related to the motion vector) is constant. When the movement of the same image between temporally adjacent image frames in the plurality of image frames is large, an image frame for obtaining a higher-definition, high-resolution image frame is input image It is considered that there is no information (moving image content).

従って本発明の目的は、動画像処理装置において、該装置に入力された動画像情報から、より高精細な動画像コンテンツを得ることができ、かつ、使い勝手の向上を図ることができるようにすることにある。 Accordingly, an object of the present invention is to enable a moving image processing apparatus to obtain higher-definition moving image content from moving image information input to the apparatus and to improve usability. There is.

本発明の第１の観点に従う動画像情報処理装置は、入力した動画像情報に超解像処理を施して高解像度化された上記動画像情報を出力するもので、上記動画像情報に含まれる画像の、時間的に隣接する画像フレーム同士の間における変位量を検出する変位量検出部と、上記変位量検出部により検出された上記画像の変位量が、所定値を超えているかどうか判断する判断部と、上記判断部が、上記画像の変位量が上記所定値を超えていると判断した場合にのみ、上記時間的に隣接する画像フレームから、上記画像フレーム同士の間に挿入する補間画像フレームを生成する補間画像フレーム生成部と、を備える。 The moving image information processing apparatus according to the first aspect of the present invention outputs the moving image information that has been subjected to super-resolution processing on the input moving image information and has been increased in resolution, and is included in the moving image information. A displacement amount detection unit that detects a displacement amount between temporally adjacent image frames of the image, and determines whether or not the displacement amount of the image detected by the displacement amount detection unit exceeds a predetermined value. An interpolated image inserted between the image frames from the temporally adjacent image frames only when the determination unit and the determination unit determine that the displacement amount of the image exceeds the predetermined value. An interpolated image frame generation unit for generating a frame.

本発明の第１の観点に係る好適な実施形態では、上記変位量検出部が、上記画像を構成する個々の画素の、上記画像フレーム同士の間における変位量を検出する。 In a preferred embodiment according to the first aspect of the present invention, the displacement amount detection unit detects a displacement amount between the image frames of individual pixels constituting the image.

上記とは別の実施形態では、上記変位量検出部が、上記画像を構成する個々の画素の幾つかを含むブロックの、上記画像フレーム同士の間における変位量を検出する。 In an embodiment different from the above, the displacement amount detection unit detects a displacement amount between the image frames of a block including some of the individual pixels constituting the image.

また、上記とは別の実施形態では、上記画像フレーム同士の間への、補間画像フレームの挿入の必要性を評価する評価部、を更に備え、上記評価部が、上記補間画像フレームの挿入が必要であると評価し、且つ、上記判断部が、上記画像の変位量が上記所定値を超えていないと判断した場合には、上記補間画像フレーム生成部が、上記補間画像フレーム生成におけるよりも、演算処理量の少ないアルゴリズムで補間画像フレームを生成するようにしている。 In an embodiment different from the above, the image processing apparatus further includes an evaluation unit that evaluates the necessity of inserting an interpolated image frame between the image frames, and the evaluation unit inserts the interpolated image frame. If the evaluation unit determines that it is necessary, and the determination unit determines that the displacement amount of the image does not exceed the predetermined value, the interpolation image frame generation unit is more than in the interpolation image frame generation. The interpolated image frame is generated with an algorithm having a small calculation processing amount.

また、上記とは別の実施形態では、上記評価部による評価が、単位時間当たりの画像フレーム数を一定にする必要性があるかどうかをチェックすることにより行われる。 In an embodiment different from the above, the evaluation by the evaluation unit is performed by checking whether or not it is necessary to make the number of image frames per unit time constant.

また、上記とは別の実施形態では、上記演算処理量の少ないアルゴリズムによる補間画像フレームの生成方法が、補間画像フレームの挿入に係わる上記両画像フレームのうちの一方を利用する方法を含む。 In another embodiment, the method for generating an interpolated image frame using an algorithm with a small amount of calculation processing includes a method of using one of the two image frames related to the insertion of the interpolated image frame.

また、上記とは別の実施形態では、上記演算処理量の少ないアルゴリズムによる補間画像フレームの生成方法が、補間画像フレームの挿入に係わる上記両画像フレームの双方、又は少なくとも一方に係わる全部の画素情報と全て同一の画素情報を持つ画像フレームを補間画像フレームとする方法を含む。 In an embodiment different from the above, the method for generating an interpolated image frame using an algorithm with a small amount of computation processing may include all pixel information related to both or at least one of both the image frames related to insertion of the interpolated image frame. And an image frame having the same pixel information as an interpolated image frame.

また、上記とは別の実施形態では、上記両画像フレームの双方、又は少なくとも一方に係わる全部の画素情報が、輝度値が一定であることを示す画素情報を含む。 In an embodiment different from the above, all the pixel information relating to both or at least one of the two image frames includes pixel information indicating that the luminance value is constant.

更に、上記とは別の実施形態では、上記変位量検出部による変位量の検出が、超解像処理が施されることにより高解像度化された後の動画像情報の画像フレームに対して行われる。 Furthermore, in an embodiment different from the above, the detection of the displacement amount by the displacement amount detection unit is performed on the image frame of the moving image information after the resolution is increased by performing the super-resolution processing. Is called.

本発明の第２の観点に従う動画像情報処理方法は、入力した動画像情報に超解像処理を施して高解像度化された上記動画像情報を出力するもので、上記動画像情報に含まれる画像の、時間的に隣接する画像フレーム同士の間における変位量を検出する第１のステップと、上記第１のステップにおいて検出された上記画像の変位量が、所定値を超えているかどうか判断する第２のステップと、上記第２のステップにおいて上記画像の変位量が上記所定値を超えていると判断された場合にのみ、上記時間的に隣接する画像フレームから、上記画像フレーム同士の間に挿入する補間画像フレームを生成する第３のステップと、を備える。 The moving picture information processing method according to the second aspect of the present invention outputs the moving picture information that has been subjected to super-resolution processing on the inputted moving picture information and has been increased in resolution, and is included in the moving picture information. A first step of detecting a displacement amount between temporally adjacent image frames of the image, and determining whether or not the displacement amount of the image detected in the first step exceeds a predetermined value. Only when it is determined in the second step and the second step that the amount of displacement of the image exceeds the predetermined value, from the temporally adjacent image frames to the interval between the image frames. And a third step of generating an interpolated image frame to be inserted.

本発明によれば、動画像処理装置において、該装置に入力された動画像情報から、より高精細な動画像コンテンツを得ることができ、かつ、使い勝手の向上を図ることができるようになる。 According to the present invention, in a moving image processing apparatus, it is possible to obtain higher-definition moving image content from moving image information input to the apparatus, and to improve usability.

以下、本発明の実施形態を、図面により詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本発明の第１の実施形態に係る、動画像処理システムの全体構成を示すブロック図である。 FIG. 1 is a block diagram showing the overall configuration of a moving image processing system according to the first embodiment of the present invention.

上記動画像処理システムは、図１に示すように、動画像処理装置１と、動画像取得部３と、動画像格納部５と、動画像提示部７と、を備える。動画像処理装置１は、画像フレーム入力部９と、画像フレーム一時格納部１１と、超解像処理構成管理部１３と、超解像処理部１５と、画像フレーム補間判定部１７と、画像フレーム補間処理部１９と、画像フレーム出力部２１と、を内蔵する。 As shown in FIG. 1, the moving image processing system includes a moving image processing apparatus 1, a moving image acquisition unit 3, a moving image storage unit 5, and a moving image presentation unit 7. The moving image processing apparatus 1 includes an image frame input unit 9, an image frame temporary storage unit 11, a super-resolution processing configuration management unit 13, a super-resolution processing unit 15, an image frame interpolation determination unit 17, an image frame An interpolation processing unit 19 and an image frame output unit 21 are incorporated.

動画像取得部３は、例えば、所定の通信ネットワーク（図示しない）を通じて放送局（図示しない）から送信される動画像情報（動画像コンテンツ）や、録画装置（図示しない）において録画された動画像情報や、動画像格納部５から出力される高解像度化された動画像情報等を取得して、該動画像情報を、画像フレーム入力部９に出力する。 The moving image acquisition unit 3 is, for example, moving image information (moving image content) transmitted from a broadcasting station (not shown) through a predetermined communication network (not shown) or a moving image recorded in a recording device (not shown). The information, the high-resolution moving image information output from the moving image storage unit 5 and the like are acquired, and the moving image information is output to the image frame input unit 9.

動画像提示部７は、動画像処理装置１から出力される、動画像処理装置１において画像フレーム補間処理、及び超解像処理が施されることにより高解像度化された後の動画像情報（動画像コンテンツ）を、可視画像として表示する。 The moving image presentation unit 7 outputs the moving image information (from the moving image processing device 1 after the resolution is increased by performing image frame interpolation processing and super-resolution processing in the moving image processing device 1). Moving image content) is displayed as a visible image.

動画像格納部５は、例えば動画像処理装置１において、画像フレーム補間処理、及び超解像処理が施されることにより高解像度化された後の動画像情報（動画像コンテンツ）が動画像処理装置１から出力される毎に、該高解像度化された後の動画像情報を格納する。該動画像情報は、例えば、動画像取得部３からの動画像情報の読み込み要求に起因して（或いは適宜のタイミングで）、動画像格納部５より、動画像取得部３に出力される。 For example, in the moving image processing unit 1, the moving image storage unit 5 performs moving image processing (moving image content) after moving image information (moving image content) having been increased in resolution by performing image frame interpolation processing and super-resolution processing. Each time it is output from the apparatus 1, the moving image information after the resolution is stored. The moving image information is output from the moving image storage unit 5 to the moving image acquisition unit 3 due to, for example, a moving image information reading request from the moving image acquisition unit 3 (or at an appropriate timing).

動画像処理装置１において、画像フレーム入力部９は、動画像取得部３から出力される上記動画像情報を読み込み、該動画像情報から、該動画像情報を構成する画像フレームを取得する。該画像フレームは、画像フレーム入力部９から、画像フレーム一時格納部１１、及び超解像処理構成管理部１３に夫々出力される。 In the moving image processing apparatus 1, the image frame input unit 9 reads the moving image information output from the moving image acquisition unit 3, and acquires image frames constituting the moving image information from the moving image information. The image frame is output from the image frame input unit 9 to the image frame temporary storage unit 11 and the super-resolution processing configuration management unit 13, respectively.

画像フレーム一時格納部１１は、画像フレーム入力部９から出力される、動画像取得部３が取得した動画像情報を構成する複数の画像フレームを一時的に格納する。画像フレーム一時格納部１１は、超解像処理構成管理部１３からの画像フレーム読み出し要求に応じて、一時的に格納している画像フレームを超解像処理構成管理部１３に出力すると共に、超解像処理構成管理部１３から、後述する超解像処理のために必要なベース画像フレーム、及び参照画像フレームとして出力される画像フレームについても、一時的に格納する。これらの画像フレーム（ベース画像フレーム、及び参照画像フレーム）についても、超解像処理構成管理部１３からの読み出し要求に応じて画像フレーム一時格納部１１から超解像処理構成管理部１３に出力される。なお、上記ベース画像フレーム、及び参照画像フレームとして画像フレーム一時格納部１１に格納されている画像フレームは、夫々新たにベース画像フレーム、及び参照画像フレームとして設定された画像フレームにより更新される。 The image frame temporary storage unit 11 temporarily stores a plurality of image frames included in the moving image information acquired by the moving image acquisition unit 3 and output from the image frame input unit 9. The image frame temporary storage unit 11 outputs the temporarily stored image frame to the super-resolution processing configuration management unit 13 in response to an image frame read request from the super-resolution processing configuration management unit 13, and The resolution processing configuration management unit 13 also temporarily stores a base image frame necessary for super resolution processing described later and an image frame output as a reference image frame. These image frames (base image frame and reference image frame) are also output from the image frame temporary storage unit 11 to the super-resolution processing configuration management unit 13 in response to a read request from the super-resolution processing configuration management unit 13. The Note that the base image frame and the image frame stored in the image frame temporary storage unit 11 as the reference image frame are updated with the base image frame and the image frame newly set as the reference image frame, respectively.

超解像処理部１５は、上記ベース画像フレーム、及び参照画像フレームとして、画像フレーム一時格納部１１に一時的に格納されている画像フレームを、超解像処理構成管理部１３を通じて入力する。そして、該ベース画像フレーム、及び参照画像フレームを利用して超解像処理を実行することにより、高解像度化された（拡大された）画像フレームを生成する。該高解像度化された画像フレームは、超解像処理構成管理部１３に出力される。なお、超解像処理部１５において採用される超解像処理のアルゴリズムは、特定のものに限定されない。 The super-resolution processing unit 15 inputs the image frames temporarily stored in the image frame temporary storage unit 11 as the base image frame and the reference image frame through the super-resolution processing configuration management unit 13. Then, a super-resolution process is executed using the base image frame and the reference image frame, thereby generating a high-resolution (enlarged) image frame. The high-resolution image frame is output to the super-resolution processing configuration management unit 13. Note that the super-resolution algorithm employed in the super-resolution processor 15 is not limited to a specific algorithm.

画像フレーム補間判定部１７は、画像フレーム一時格納部１１に格納されている上記ベース画像フレーム、及び参照画像フレームを超解像処理構成管理部１３を通じて読み込む。そして、上記ベース画像フレームと上記参照画像フレームとを利用して、上記ベース画像フレームと上記参照画像フレームとの間に、補間画像フレームを挿入すべきかどうか判定するための処理を実行する。画像フレーム補間判定部１７による上記判定の基準（条件）は、以下に説明するように、超解像処理構成管理部１３により決定される。上記判定結果は、画像フレーム補間判定部１７から画像フレーム補間処理部１９に出力される。 The image frame interpolation determination unit 17 reads the base image frame and the reference image frame stored in the image frame temporary storage unit 11 through the super-resolution processing configuration management unit 13. Then, using the base image frame and the reference image frame, a process for determining whether an interpolation image frame should be inserted between the base image frame and the reference image frame is executed. The criterion (condition) for the determination by the image frame interpolation determination unit 17 is determined by the super-resolution processing configuration management unit 13 as described below. The determination result is output from the image frame interpolation determination unit 17 to the image frame interpolation processing unit 19.

画像フレーム補間処理部１９は、画像フレーム補間判定部１７において、補間画像フレームを挿入すべきであると判定されたベース画像フレーム、及び参照画像フレームを利用して、上記ベース画像フレームと、上記参照画像フレームとの間に挿入すべき補間画像フレームを生成する。上記生成された補間画像フレームは、画像フレーム補間処理部１９から、例えば超解像処理部１５に出力される。なお、画像フレーム補間処理部１９において採用される画像フレーム補間処理のアルゴリズムは、特定のものに限定されない。 The image frame interpolation processing unit 19 uses the base image frame and the reference image frame determined by the image frame interpolation determination unit 17 to insert the interpolation image frame, and uses the base image frame and the reference image frame. An interpolated image frame to be inserted between the image frames is generated. The generated interpolated image frame is output from the image frame interpolation processing unit 19 to, for example, the super-resolution processing unit 15. The image frame interpolation algorithm employed in the image frame interpolation processing unit 19 is not limited to a specific algorithm.

超解像処理構成管理部１３は、超解像処理部１５による超解像処理、画像フレーム補間判定部１７による判定処理、及び画像フレーム補間処理部１９による補間処理を、どのような順序で実行するかを決定すると共に、決定した順序に従って、超解像処理部１５、画像フレーム補間判定部１７、及び画像フレーム補間処理部１９の駆動を管理する。即ち、超解像処理構成管理部１３は、画像フレームの補間判定、画像フレームの補間処理、及び超解像処理に係わる全体的な処理シーケンスを、その管理下に置く。なお、該全体的な処理シーケンスは、超解像処理構成管理部１３により変更が可能である。 The super-resolution processing configuration management unit 13 executes the super-resolution processing by the super-resolution processing unit 15, the determination processing by the image frame interpolation determination unit 17, and the interpolation processing by the image frame interpolation processing unit 19 in any order. In addition, the driving of the super-resolution processing unit 15, the image frame interpolation determination unit 17, and the image frame interpolation processing unit 19 is managed in accordance with the determined order. That is, the super-resolution processing configuration management unit 13 puts an overall processing sequence related to the image frame interpolation determination, the image frame interpolation processing, and the super-resolution processing under the management. The overall processing sequence can be changed by the super-resolution processing configuration management unit 13.

超解像処理構成管理部１３は、画像フレームの補間処理、及び超解像処理を開始するに際しての先頭のベース画像フレーム、及び先頭の参照画像フレームを、初期画像フレームとして設定する。そして、（画像フレーム入力部９を通じて）入力した動画像情報を構成する複数の画像フレーム中から、初期画像フレームとして設定されたベース画像フレーム、及び参照画像フレームを入力すると共に、それらの画像フレームを、夫々初期画像フレームとしてのベース画像フレーム、及び初期画像フレームとしての参照画像フレームとして、画像フレーム一時格納部１１に格納する。超解像処理構成管理部１３は、画像フレーム補間判定部１７が、対象となるベース画像フレーム、及び参照画像フレームの間に、補間画像フレームを挿入すべきか否かを判定するに際しての基準（条件）を決定すると共に、決定した基準（条件）を、画像フレーム補間判定部１７に通知する。超解像処理構成管理部１３は、画像フレーム補間処理、及び超解像処理が施されることにより動画像情報を高解像度化すると、該高解像度化された動画像情報を、画像フレーム出力部２１に出力する。 The super-resolution processing configuration management unit 13 sets the top base image frame and the top reference image frame at the start of the image frame interpolation processing and super-resolution processing as initial image frames. Then, the base image frame set as the initial image frame and the reference image frame are input from among a plurality of image frames constituting the input moving image information (through the image frame input unit 9). The base image frame as the initial image frame and the reference image frame as the initial image frame are stored in the image frame temporary storage unit 11, respectively. The super-resolution processing configuration management unit 13 uses criteria (conditions) when the image frame interpolation determination unit 17 determines whether or not an interpolation image frame should be inserted between the target base image frame and the reference image frame. ) And the determined reference (condition) is notified to the image frame interpolation determination unit 17. When the resolution of the moving image information is increased by performing image frame interpolation processing and super-resolution processing, the super-resolution processing configuration management unit 13 converts the increased-resolution moving image information into an image frame output unit. To 21.

画像フレーム出力部２１は、上記高解像度化された動画像情報が、超解像処理構成管理部１３から出力されると、上記動画像情報を一時的に保持する。そして、該動画像情報を、適宜のタイミングで動画像提示部７、及び動画像格納部５に出力する。 When the high-resolution moving image information is output from the super-resolution processing configuration management unit 13, the image frame output unit 21 temporarily holds the moving image information. Then, the moving image information is output to the moving image presentation unit 7 and the moving image storage unit 5 at an appropriate timing.

図２は、図１に記載の動画像処理装置１において実行される、画像フレームの補間処理から超解像処理に至る処理手順の一例を示す説明図である。 FIG. 2 is an explanatory diagram showing an example of a processing procedure from image frame interpolation processing to super-resolution processing executed in the moving image processing apparatus 1 shown in FIG.

図２において、画像フレーム補間処理部３１は、画像フレーム入力部９から連続的に入力される個々の画像フレームを参照して、各々の画像フレーム同士の間に挿入する補間画像フレームを生成するための処理動作を実行するもので、図１に記載の画像フレーム補間判定部１７の機能と、画像フレーム補間処理部１９の機能とを合わせ持つ。 In FIG. 2, an image frame interpolation processing unit 31 refers to individual image frames continuously input from the image frame input unit 9 and generates an interpolated image frame to be inserted between the image frames. The processing operation of the image frame interpolation determination unit 17 shown in FIG. 1 and the function of the image frame interpolation processing unit 19 are combined.

なお、図２に記載の超解像処理部は、図１に記載の超解像処理部１５と同一であるので同一符号を付す。 2 is the same as the super-resolution processing unit 15 illustrated in FIG. 1, and thus is denoted by the same reference numeral.

図２において、時間軸（t）には、図１で示した動画像処理装置１に入力される動画像情報３１を構成する複数の画像フレームの入力タイミング（入力時刻）がプロットされる。 In FIG. 2, on the time axis (t), input timings (input times) of a plurality of image frames constituting the moving image information 31 input to the moving image processing apparatus 1 shown in FIG. 1 are plotted.

時間軸（t）上において、入力時刻t₂が最も早い画像フレームの入力時刻を示しており、該入力時刻t₂では、画像フレーム３５が入力される。 In the time axis on the (t), it shows the input time of the earliest image frame input time t _2, the at input time t _2, the image frames 35 are input.

次に、上記入力時刻t₂に続く入力時刻t₁では、次の画像フレーム３７が入力される。更に、上記入力時刻t₁に続く入力時刻t₀では、次の画像フレーム３９が入力される。 Then, the input time t ₁ following the input time t _2, the next image frame 37 is input. Furthermore, the input time t ₀ following the input time t _1, the next image frame 39 is input.

なお、動画像情報３３は、実際には、多数の画像フレームを含むものであるが、図２においては、図示と説明の都合上、画像フレーム３５、３７、３９の３つの画像フレームのみを記載することとした（以下の図４についても同様である）。 Note that the moving image information 33 actually includes a large number of image frames, but in FIG. 2, only three image frames 35, 37, and 39 are described for convenience of illustration and explanation. (The same applies to FIG. 4 below).

上記各画像フレーム（３５、３７、３９）は、画像フレーム３５、３７、３９の順に、画像フレーム補間処理部３１によって読み込まれる。既述のように、画像フレーム補間処理部３１は、入力した個々の画像フレームを参照して、各々の画像フレーム同士の間に挿入する補間画像フレームを生成するものであるが、図２に示した例では、画像フレーム補間処理部３１が生成する補間画像フレームは、上記画像フレーム３７、３９の間に挿入される、補間画像フレームのみに限られる。 The image frames (35, 37, 39) are read by the image frame interpolation processing unit 31 in the order of the image frames 35, 37, 39. As described above, the image frame interpolation processing unit 31 refers to each input image frame and generates an interpolated image frame to be inserted between the image frames. In this example, the interpolation image frame generated by the image frame interpolation processing unit 31 is limited to only the interpolation image frame inserted between the image frames 37 and 39.

なお、補間画像フレーム生成処理部３１における処理動作の詳細については、例えば、本願出願人の特許出願に係る、特開2007-316293号公報を参照されたい。 For details of the processing operation in the interpolated image frame generation processing unit 31, refer to, for example, Japanese Patent Application Laid-Open No. 2007-316293 related to the patent application of the present applicant.

補間画像フレーム生成処理部３１は、上記補間画像フレーム生成処理を行った結果として、動画像情報４１を超解像処理部１５に出力する。該動画像情報４１には、既述の画像フレーム３５、３７、及び画像フレーム３９に加えて、補間画像フレーム生成処理部３１により生成された補間画像フレーム４３が含まれている。 The interpolated image frame generation processing unit 31 outputs moving image information 41 to the super-resolution processing unit 15 as a result of performing the interpolated image frame generation processing. The moving image information 41 includes an interpolated image frame 43 generated by the interpolated image frame generation processing unit 31 in addition to the image frames 35 and 37 and the image frame 39 described above.

超解像処理部１５は、補間画像フレーム生成処理部３１から出力される上記動画像情報４１を読み込み、該動画像情報４１に対し超解像処理を施すことによって得られた動画像情報４５を出力する。超解像処理部１５から出力される上記動画像情報４５には、何れも超解像処理が施された後の画像フレーム４７、４９、５１、５３が含まれる。上記画像フレーム４７乃至５３は、いずれも高解像度化（拡大）された画像フレームである。 The super-resolution processing unit 15 reads the moving image information 41 output from the interpolated image frame generation processing unit 31, and uses the moving image information 45 obtained by performing super-resolution processing on the moving image information 41. Output. The moving image information 45 output from the super-resolution processing unit 15 includes image frames 47, 49, 51, and 53 that have been subjected to super-resolution processing. The image frames 47 to 53 are all image frames that have been increased in resolution (enlarged).

図３は、図１に記載の動画像処理装置１において実行される、画像フレームの補間処理から超解像処理に至る処理手順の一例を示すフローチャートである。 FIG. 3 is a flowchart illustrating an example of a processing procedure from the image frame interpolation processing to the super-resolution processing, which is executed in the moving image processing apparatus 1 illustrated in FIG. 1.

図３において、まず、超解像処理構成管理部１３が、一連の処理動作を開始するに際して、動画像情報を構成する先頭のベース画像フレーム、及び参照画像フレームを、初期画像フレームとして設定する（ステップS６１）。次に、超解像処理構成管理部１３は、ステップS６１において初期画像フレームとして設定したベース画像フレームを、画像フレームデータ入力部９を介して動画像取得部３が取得した動画像情報から入力する（ステップS６２）。ステップS６２で示した処理動作が終了すると、超解像処理構成管理部１３は、ステップS６１において初期画像フレームとして設定した参照画像フレームを、画像フレームデータ入力部９を介して動画像取得部３が取得した動画像情報から入力する（ステップS６３）。 In FIG. 3, first, when the super-resolution processing configuration management unit 13 starts a series of processing operations, the first base image frame and reference image frame constituting the moving image information are set as initial image frames ( Step S61). Next, the super-resolution processing configuration management unit 13 inputs the base image frame set as the initial image frame in step S61 from the moving image information acquired by the moving image acquisition unit 3 via the image frame data input unit 9. (Step S62). When the processing operation shown in step S62 is completed, the super-resolution processing configuration management unit 13 causes the moving image acquisition unit 3 to transmit the reference image frame set as the initial image frame in step S61 via the image frame data input unit 9. Input from the acquired moving image information (step S63).

次に、ステップS６１で入力したベース画像フレーム、及びステップS６２で入力した参照画像フレームに基づき、画像フレーム補間判定部１７が、それら画像フレーム同士の間における同一画像の動きの大きさ（即ち、動きベクトル）を算出する。この動きの大きさ（動きベクトル）の算出は、例えば、ベース画像フレーム中の各々のピクセルと、該各々のピクセルに夫々対応する参照画像フレーム中の各々のピクセルとの間の変位量、即ち、動きベクトルを算出することにより、行っても良いし、ベース画像フレーム中の一定の大きさの画像ブロックと、該ブロックに対応する参照画像フレーム中の画像ブロックとの間の動きベクトルを算出することにより、行っても良い（ステップS６４）。 Next, based on the base image frame input in step S61 and the reference image frame input in step S62, the image frame interpolation determination unit 17 performs the magnitude of motion of the same image between the image frames (that is, motion). Vector). The calculation of the magnitude of motion (motion vector) is performed by, for example, the amount of displacement between each pixel in the base image frame and each pixel in the reference image frame corresponding to each pixel, that is, It may be performed by calculating a motion vector, or calculating a motion vector between an image block of a certain size in a base image frame and an image block in a reference image frame corresponding to the block (Step S64).

次に、画像フレーム補間判定部１７は、ステップS６４で算出した動きの大きさ（動きベクトル）と、予め設定されている動きの大きさに係わる基準値とを比較する処理を行う。この処理は、例えば、ステップS６４で算出した動きの大きさ（動きベクトル）の平均値と、上記基準値との間における単純な差分を求めることにより、行ってもよいし、ステップS６４で算出した動きの大きさ（動きベクトル）の最大値と、上記基準値とを比較することにより、行ってもよい（ステップS６５）。該比較の結果、算出された動きの大きさ（動きベクトル）が、上記基準値よりも大きいと判断されれば（ステップS６５でYES）、画像フレーム補間判定部１７は、（時間的に隣接する）画像フレーム（例えば、ベース画像フレームと参照画像フレーム）同士の間における同一画像の動き量が大きいと認識し、画像フレームの補間処理（時間的に隣接する画像フレーム同士の間に、新たに生成した画像フレームを挿入するための処理）が必要であると判断する。そして、ステップS６６で示す処理動作に移行する。一方、算出された動きの大きさ（動きベクトル）が、上記基準値よりも小さいと判断されれば（ステップS６５でNO）、画像フレーム補間判定部１７は、（時間的に隣接する）画像フレーム（例えば、ベース画像フレームと参照画像フレーム）同士の間における同一画像の動き量が小さいと認識し、上述した画像フレームの補間処理が不要であると判断する。そして、ステップS６８で示す処理動作に移行する。 Next, the image frame interpolation determination unit 17 performs a process of comparing the magnitude of motion (motion vector) calculated in step S64 with a reference value related to a preset magnitude of motion. This processing may be performed, for example, by calculating a simple difference between the average value of the motion magnitude (motion vector) calculated in step S64 and the reference value, or calculated in step S64. This may be done by comparing the maximum value of the magnitude of motion (motion vector) with the reference value (step S65). As a result of the comparison, if it is determined that the calculated motion magnitude (motion vector) is larger than the reference value (YES in step S65), the image frame interpolation determination unit 17 (adjacent in time) ) Recognizing that the amount of motion of the same image between image frames (for example, base image frame and reference image frame) is large, and interpolating image frames (newly generated between temporally adjacent image frames) It is determined that the processing for inserting the image frame is necessary. And it transfers to the processing operation shown by step S66. On the other hand, if it is determined that the calculated magnitude of motion (motion vector) is smaller than the reference value (NO in step S65), the image frame interpolation determination unit 17 determines that the image frame (temporally adjacent) It recognizes that the motion amount of the same image between (for example, the base image frame and the reference image frame) is small, and determines that the above-described interpolation processing of the image frame is unnecessary. Then, the processing proceeds to step S68.

上記のように、画像フレーム補間判定部１７が、画像フレームの補間処理が必要であると判断すると、画像フレーム補間処理部１９は、該判断の対象となったベース画像フレーム、及び参照画像フレーム中の同一画像が、各々の画像フレームにおける該画像の位置に対し、それらの中間の位置に位置付けられるような画像フレームを補間画像フレームとして生成する（ステップS６６）。そして、超解像処理構成管理部１３が、該生成された補間画像フレームを、新たな参照画像フレームとして設定すると共に、該新たな参照画像フレームで、従前の参照画像フレームを更新する（ステップS６７）。次に、超解像処理部１５が、ステップS６７で設定した新たな参照画像フレームと、ベース画像フレームとを利用して、超解像処理を実行することにより、高解像度の（拡大された）画像フレーム（即ち、超解像処理が施された後の画像フレーム）を生成する（ステップS６８）。該高解像度の画像フレームは、超解像処理部１５から超解像処理構成管理部１３、及び画像フレーム出力部２１を通じて動画像提示部７と、動画像格納部５とに夫々出力される（ステップS６９）。 As described above, when the image frame interpolation determination unit 17 determines that the image frame interpolation processing is necessary, the image frame interpolation processing unit 19 determines whether the base image frame or the reference image frame that is the object of the determination is included. An image frame is generated as an interpolated image frame such that the same image is positioned at an intermediate position with respect to the position of the image in each image frame (step S66). Then, the super-resolution processing configuration management unit 13 sets the generated interpolated image frame as a new reference image frame, and updates the previous reference image frame with the new reference image frame (step S67). ). Next, the super-resolution processing unit 15 performs super-resolution processing using the new reference image frame and the base image frame set in step S67, thereby achieving high resolution (enlarged). An image frame (that is, an image frame after being subjected to super-resolution processing) is generated (step S68). The high-resolution image frame is output from the super-resolution processing unit 15 to the moving image presentation unit 7 and the moving image storage unit 5 through the super-resolution processing configuration management unit 13 and the image frame output unit 21 ( Step S69).

次に、超解像処理構成管理部１３が、上述した新たな参照画像フレームを、新たなベース画像フレームとして設定する。該新たなベース画像フレームは、更なる新たな参照画像フレームが設定されると、該更なる新たな参照画像フレームにより更新されることになる（ステップS７０）。次に、ステップS７１で示す処理動作に移行する。ステップS６５で、画像フレーム補間判定部１７により画像フレームの補間処理が不要であると判断された場合には、超解像処理構成管理部１３は、ステップS６３において動画像取得部３が取得した動画像情報中から、次に動画像提示部７を通じて表示出力すべき画像フレームを、画像フレーム入力部９を通じて取得する。そして、該取得した画像フレームを、新たな参照画像フレームとして設定する（ステップS７１）。次に、超解像処理構成管理部１３は、ステップS６３において動画像取得部３が取得した動画像情報中から画像フレーム入力部９を通じて入力した画像フレームが、上記動画像情報中の最終画像フレームかどうかチェックする。換言すれば、上記動画像情報中の最終画像フレームについて、上述した一連の処理が完了したかどうかをチェックすることになる（ステップS７２）。該チェックの結果、最終画像フレームであると判断すれば（ステップS７２でYES）、図３で示した超解像処理構成管理部１３等による一連の処理動作は終了する。一方、最終画像フレームでないと判断した場合には（ステップS７２でNO）、ステップS６２で示した処理動作に復帰し、ステップS７２で最終画像フレームであると判断されるまでの間、ステップS６２乃至ステップS７１で夫々示した処理動作が繰り返されることになる。 Next, the super-resolution processing configuration management unit 13 sets the above-described new reference image frame as a new base image frame. The new base image frame is updated by the further new reference image frame when a further new reference image frame is set (step S70). Next, the process proceeds to the processing operation shown in step S71. In step S65, when the image frame interpolation determination unit 17 determines that the image frame interpolation process is unnecessary, the super-resolution processing configuration management unit 13 acquires the moving image acquired by the moving image acquisition unit 3 in step S63. From the image information, an image frame to be displayed and output next through the moving image presentation unit 7 is acquired through the image frame input unit 9. Then, the acquired image frame is set as a new reference image frame (step S71). Next, the super-resolution processing configuration management unit 13 determines that the image frame input through the image frame input unit 9 from the moving image information acquired by the moving image acquisition unit 3 in step S63 is the final image frame in the moving image information. Check if it is. In other words, it is checked whether or not the above-described series of processing has been completed for the final image frame in the moving image information (step S72). If it is determined as a result of the check that the frame is the final image frame (YES in step S72), the series of processing operations by the super-resolution processing configuration management unit 13 shown in FIG. On the other hand, if it is determined that the frame is not the final image frame (NO in step S72), the process returns to the processing operation shown in step S62, and the process from step S62 to step S72 is performed until it is determined in step S72 that the frame is the final image frame. The processing operations shown in S71 are repeated.

以上説明したように、本発明の第１の実施形態に係る動画像処理装置１によれば、動画像取得部３を通じて取得した動画像情報に含まれる複数の画像フレームを、画像フレーム入力部９を通じて入力する。次に、画像フレーム補間判定部１７により算出された画像フレーム同士の間における同一画像の動きの大きさが所定の基準値を超えている場合には、画像フレーム補間処理部１９により生成した補間画像フレームを、時間的に隣接する画像フレーム（例えば、ベース画像フレームと参照画像フレーム）同士の間に挿入する。そして、超解像処理部１５において、上記画像フレームと上記補間画像フレームとに基づき、超解像処理が施された後の画像フレーム（即ち、高解像度化された後の画像フレーム）を生成すると共に、該生成した高解像度の画像フレームを、画像フレーム出力部２１を通じて動画像提示部７へ出力するようにしている。 As described above, according to the moving image processing apparatus 1 according to the first embodiment of the present invention, a plurality of image frames included in the moving image information acquired through the moving image acquisition unit 3 are input to the image frame input unit 9. Enter through. Next, when the magnitude of the motion of the same image between the image frames calculated by the image frame interpolation determination unit 17 exceeds a predetermined reference value, the interpolation image generated by the image frame interpolation processing unit 19 Frames are inserted between temporally adjacent image frames (eg, base image frame and reference image frame). Then, the super-resolution processing unit 15 generates an image frame after being subjected to the super-resolution processing (that is, an image frame having been increased in resolution) based on the image frame and the interpolated image frame. At the same time, the generated high-resolution image frame is output to the moving image presentation unit 7 through the image frame output unit 21.

換言すれば、本発明の第1の実施形態では、動画像情報中の、時間的に隣接する画像フレーム（例えば、ベース画像フレームと参照画像フレーム）同士の間における同一画像の動きの大きさが所定の基準値を超えている場合には、補間画像フレームを生成すると共に、該生成した補間画像フレームと、上記動画像情報中の画像フレームとから超解像処理を施すことにより、高解像度の画像フレームを生成することとしたので、超解像処理の対象となる画像フレーム同士の間における同一画像の動きの大きさを、相対的に小さくする（或いは、所定値以下にする）ことができる。そのため、必要最低限の画像フレーム補間処理を行うだけで、動画像情報中の超解像処理が施された高解像度の画像フレームを、画質を損なわずに、且つ、滑らかな状態で再生することができる。 In other words, in the first embodiment of the present invention, the magnitude of the movement of the same image between temporally adjacent image frames (for example, the base image frame and the reference image frame) in the moving image information is determined. When the predetermined reference value is exceeded, an interpolated image frame is generated, and super-resolution processing is performed from the generated interpolated image frame and the image frame in the moving image information, thereby achieving high resolution. Since the image frame is generated, the magnitude of the motion of the same image between the image frames that are the targets of the super-resolution processing can be relatively reduced (or less than a predetermined value). . Therefore, it is possible to reproduce a high-resolution image frame subjected to super-resolution processing in moving image information in a smooth state without impairing the image quality by performing only the minimum necessary image frame interpolation processing. Can do.

ところで、上述した本発明の第１の実施形態では、例えば、図２で示した画像フレーム３５、３７のような、画像フレーム同士の間における同一画像の動きの大きさが所定の基準値以下である場合には、補間画像フレーム生成処理部３１は、画像フレーム３５、３７間に挿入する補間画像フレームを生成しない。そのため、補間画像フレーム生成処理部３１から出力される動画像情報４１では、画像フレーム３５、３７間には、画像フレーム３７、３９間と相違して、補間画像フレームが挿入されていない。しかし、補間画像フレーム生成処理部３１から出力される動画像情報を構成する画像フレームの（単位時間当たりの）数を一定数にする等の目的で、既存の画像フレーム間に画像フレームを挿入したい場合も想定し得る。このような場合には、既述のような画像フレーム同士の間における同一画像の動きの大きさが所定の基準値を超えているときに採用する補間画像フレーム生成処理のアルゴリズムに加えて、該アルゴリズムよりも演算処理量の少ない簡易な補間画像フレーム生成処理のアルゴリズムをも採用することになる。 By the way, in the first embodiment of the present invention described above, the magnitude of the movement of the same image between the image frames such as the image frames 35 and 37 shown in FIG. 2 is not more than a predetermined reference value. In some cases, the interpolation image frame generation processing unit 31 does not generate an interpolation image frame to be inserted between the image frames 35 and 37. Therefore, in the moving image information 41 output from the interpolated image frame generation processing unit 31, an interpolated image frame is not inserted between the image frames 35 and 37, unlike the image frames 37 and 39. However, for the purpose of setting the number of image frames (per unit time) constituting the moving image information output from the interpolated image frame generation processing unit 31 to a certain number, it is desired to insert an image frame between existing image frames. Cases can also be envisaged. In such a case, in addition to the algorithm of the interpolated image frame generation process employed when the magnitude of the motion of the same image between the image frames as described above exceeds a predetermined reference value, A simple interpolation image frame generation processing algorithm having a smaller calculation processing amount than the algorithm is also employed.

例えば、図３に記載のフローチャートにおいて、ステップS６６で示す処理動作を実行するに際し、図２に記載の例では生成されていない補間画像フレームを、それよりも時間的に前に位置付けられる画像フレームである画像フレーム３５や、それよりも時間的に後に位置付けられる画像フレームである画像フレーム３７等で代用することも想到され得る。また、輝度値が一定である等の、画像フレーム上のピクセルに係わる情報が全て同一の画像フレームを、補間画像フレームとして採用する手法も想到され得る。更には、図２に記載の超解像処理部１５では、入力した動画像情報４１が画像フレーム３５、３７間に補間画像フレームが挿入されていないため、該超解像処理部１５から出力される動画像情報（動画像コンテンツ）４５においても、上記（動画像情報４１の）補間画像フレームに対応する高解像度の画像フレームが生成されていないが、この場合にも、上述した簡易な補間画像フレーム生成処理のアルゴリズムを介して生成した補間画像フレームを利用して、その高解像度の画像フレームを取得することが可能である。 For example, in the flowchart shown in FIG. 3, when executing the processing operation shown in step S66, an interpolated image frame that has not been generated in the example shown in FIG. 2 is an image frame positioned earlier in time than that. It is conceivable to substitute a certain image frame 35 or an image frame 37 that is an image frame positioned later in time. In addition, a method may be conceived in which an image frame having the same information regarding all pixels related to an image frame, such as a constant luminance value, is adopted as an interpolation image frame. Furthermore, in the super-resolution processing unit 15 shown in FIG. 2, the input moving image information 41 is output from the super-resolution processing unit 15 because no interpolated image frame is inserted between the image frames 35 and 37. Even in the moving image information (moving image content) 45, a high-resolution image frame corresponding to the above-described interpolated image frame (of the moving image information 41) has not been generated. The interpolated image frame generated through the frame generation processing algorithm can be used to acquire the high-resolution image frame.

上記のような手法を採用すれば、通常の補間画像フレーム生成処理における演算処理量よりも少ない処理量で生成した補間画像フレームを、動画像情報（動画像コンテンツ）中の補間画像フレームの挿入が不要とされた箇所に挿入することにより、該動画像情報における単位時間当たりの画像フレーム数を一定数に設定することができ、それにより、動画像情報を滑らかな状態で再生することができる。 If the method as described above is adopted, an interpolated image frame generated with a processing amount smaller than a calculation processing amount in a normal interpolated image frame generating process can be inserted into the interpolated image frame in the moving image information (moving image content). By inserting it in an unnecessary portion, the number of image frames per unit time in the moving image information can be set to a fixed number, and thereby the moving image information can be reproduced in a smooth state.

図４は、図１に記載の動画像処理装置１において実行される、超解像処理から画像フレームの補間処理に至る処理手順の一例を示す説明図である。 FIG. 4 is an explanatory diagram showing an example of a processing procedure from the super-resolution processing to the image frame interpolation processing executed in the moving image processing apparatus 1 shown in FIG.

図４に示す処理手順は、動画像処理装置１に入力された動画像情報３１に対し、まず超解像処理部１５が超解像処理を行い、次いで補間画像フレーム生成処理部３１が補間画像フレームの生成処理を行うようにした点、換言すれば、補間画像フレーム生成処理に先んじて超解像処理を行うようにした点で、図２に示す処理手順と相違する。その他の点については、図２で示したものと同一であるので、図４において、図２で示した物と同一物には、同一符号を付してそれらの詳細な説明を省略する。 In the processing procedure shown in FIG. 4, the super-resolution processing unit 15 first performs super-resolution processing on the moving image information 31 input to the moving image processing apparatus 1, and then the interpolated image frame generation processing unit 31 performs interpolation image processing. 2 is different from the processing procedure shown in FIG. 2 in that the frame generation processing is performed, in other words, the super-resolution processing is performed prior to the interpolation image frame generation processing. Since the other points are the same as those shown in FIG. 2, in FIG. 4, the same parts as those shown in FIG.

図４では、動画像処理装置１に入力される動画像情報３１の画像フレーム３５が入力時刻（入力タイミング）t₂で超画像処理部１５に入力されて、超解像処理が施されることにより、高解像度化（拡大）された動画像情報８１を構成する、高解像度の画像フレーム８３に生成される。また、上記動画像情報３１の画像フレーム３７が入力時刻（入力タイミング）t_１で超画像処理部１５に入力されて、超解像処理が施されることにより、高解像度化（拡大）された上記動画像情報８１を構成する、高解像度の画像フレーム８５に生成される。更に、上記動画像情報３１の画像フレーム３９が入力時刻（入力タイミング）t_０で超画像処理部１５に入力されて、超解像処理が施されることにより、高解像度化（拡大）された上記動画像情報８１を構成する、高解像度の画像フレーム８７に生成される。 In FIG. 4, the image frame 35 of the moving image information 31 input to the moving image processing apparatus 1 is input to the super image processing unit 15 at the input time (input timing) t ₂ and subjected to super resolution processing. As a result, the high-resolution image frame 83 constituting the high-resolution (enlarged) moving image information 81 is generated. In addition, the image frame 37 of the moving image information 31 is input to the super image processing unit 15 at the input time (input timing) t ₁ and subjected to super resolution processing, so that the resolution is increased (enlarged). The moving image information 81 is generated into a high-resolution image frame 85. Furthermore, the image frame 39 of the moving image information 31 is input to the super image processing unit 15 at the input time (input timing) t ₀ and subjected to super resolution processing, thereby increasing the resolution (enlarging). The moving image information 81 is generated in a high-resolution image frame 87.

そして、上記高解像度化（拡大）された動画像情報８１が、超画像処理部１５から補間画像フレーム生成処理部３１に出力されると、補間画像フレーム生成処理部３１において、該動画像情報８１に対し、既述のような補間画像フレームの生成処理が施される。それにより、高解像度化された画像フレーム８５、８７に基づいて生成処理された補間画像フレーム９１が上記高解像度化された画像フレーム８５、８７間に挿入された動画像情報、即ち、高解像度化（拡大）された動画像情報８９が、補間画像フレーム生成処理部３１から出力されることになる。 When the high resolution (enlarged) moving image information 81 is output from the super image processing unit 15 to the interpolated image frame generation processing unit 31, the interpolated image frame generation processing unit 31 executes the moving image information 81. On the other hand, the interpolation image frame generation processing as described above is performed. Thereby, the interpolated image frame 91 generated and processed based on the high-resolution image frames 85 and 87 is the moving image information inserted between the high-resolution image frames 85 and 87, that is, the high-resolution image. The (enlarged) moving image information 89 is output from the interpolation image frame generation processing unit 31.

図５は、図１に記載の動画像処理装置１において実行される、超解像処理から画像フレームの補間処理に至る処理手順の一例を示すフローチャートである。 FIG. 5 is a flowchart illustrating an example of a processing procedure executed in the moving image processing apparatus 1 illustrated in FIG. 1 from the super-resolution processing to the image frame interpolation processing.

図５において、まず、超解像処理構成管理部１３が、一連の処理動作を開始するに際して、動画像情報を構成する先頭のベース画像フレーム、及び参照画像フレームを、初期画像フレームとして設定する。該処理動作は、図３におけるステップS６１で示した処理動作に対応している（ステップS１１１）。次に、超解像処理構成管理部１３は、ステップS１１１において初期画像フレームとして設定したベース画像フレームを、画像フレームデータ入力部９を介して動画像取得部３が取得した動画像情報から入力する。該処理動作は、図３におけるステップS６２で示した処理動作に対応している（ステップS１１２）。次に、ステップS１１２で示した処理動作が終了すると、超解像処理構成管理部１３は、ステップS１１１において初期画像フレームとして設定した参照画像フレームを、画像フレームデータ入力部９を介して動画像取得部３が取得した動画像情報から入力する。該処理動作は、図３におけるステップS６３で示した処理動作に対応している（ステップS１１３）。 In FIG. 5, first, the super-resolution processing configuration management unit 13 sets the first base image frame and reference image frame constituting the moving image information as initial image frames when starting a series of processing operations. The processing operation corresponds to the processing operation shown in step S61 in FIG. 3 (step S111). Next, the super-resolution processing configuration management unit 13 inputs the base image frame set as the initial image frame in step S111 from the moving image information acquired by the moving image acquisition unit 3 via the image frame data input unit 9. . The processing operation corresponds to the processing operation shown in step S62 in FIG. 3 (step S112). Next, when the processing operation shown in step S112 is completed, the super-resolution processing configuration management unit 13 acquires the reference image frame set as the initial image frame in step S111 via the image frame data input unit 9 as a moving image. Input from the moving image information acquired by the unit 3. The processing operation corresponds to the processing operation shown in step S63 in FIG. 3 (step S113).

次に、超解像処理部１５が、ステップS１１２で設定したベース画像フレームと、ステップS１１３で設定した参照画像フレームと、を利用して、超解像処理を実行することにより、高解像度の（拡大された）画像フレーム（即ち、超解像処理が施された後の画像フレーム）を生成する。該処理動作は、図３におけるステップS６８で示した処理動作に対応している（ステップS１１４）。次に、画像フレーム補間判定部１７が、高解像度化処理が施された後のベース画像フレーム、及び高解像度化処理が施された後の参照画像フレーム同士の間における同一画像の動きの大きさ（即ち、動きベクトル）を算出する。該処理動作は、図３におけるステップS６４で示した処理動作に対応している（ステップS１１５）。次に、画像フレーム補間判定部１７が、ステップS１１５において算出した動きの大きさ（即ち、動きベクトル））と、予め設定されている動きの大きさ（動きベクトル）に係わる基準値とを比較する処理を行う。該処理動作は、図３におけるステップS６５で示した処理動作に対応している（ステップS１１６）。 Next, the super-resolution processing unit 15 executes the super-resolution processing using the base image frame set in step S112 and the reference image frame set in step S113, so that the high resolution ( An enlarged image frame (that is, an image frame after being subjected to super-resolution processing) is generated. The processing operation corresponds to the processing operation shown in step S68 in FIG. 3 (step S114). Next, the image frame interpolation determination unit 17 performs the magnitude of the motion of the same image between the base image frame after the high resolution processing and the reference image frame after the high resolution processing. (Ie, motion vector) is calculated. This processing operation corresponds to the processing operation shown in step S64 in FIG. 3 (step S115). Next, the image frame interpolation determination unit 17 compares the motion magnitude (ie, motion vector) calculated in step S115 with a reference value related to a preset motion magnitude (motion vector). Process. This processing operation corresponds to the processing operation shown in step S65 in FIG. 3 (step S116).

該比較の結果、算出された動きの大きさ（動きベクトル）が、上記基準値よりも大きいと判断されれば（ステップS１１６でYES）、画像フレーム補間処理部１９が、（時間的に隣接する）画像フレーム（例えば、ベース画像フレームと参照画像フレ−ム。以下同じ）同士の間における同一画像の動き量が大きいと認識し、既述のような画像フレームの補間処理が必要であると判断する。そして、ステップS１１７で示す処理動作に移行する。一方、算出された動きの大きさ（動きベクトル）が、上記基準値よりも小さいと判断されれば（ステップS１１６でNO）、画像フレーム補間処理部１９は、（時間的に隣接する）画像フレーム同士の間における同一画像の動き量が小さいと認識し、上述した画像フレームの補間処理が不要であると判断する。そして、ステップS１１９で示す処理動作に移行する。 As a result of the comparison, if it is determined that the calculated motion magnitude (motion vector) is larger than the reference value (YES in step S116), the image frame interpolation processing unit 19 (temporarily adjacent) ) Recognizing that the amount of motion of the same image between image frames (for example, a base image frame and a reference image frame; the same applies hereinafter) is large, and determining that the interpolation processing of the image frame as described above is necessary. To do. Then, the process proceeds to the processing operation shown in step S117. On the other hand, if it is determined that the calculated magnitude of motion (motion vector) is smaller than the reference value (NO in step S116), the image frame interpolation processing unit 19 determines whether the image frame is (temporally adjacent). It is recognized that the amount of motion of the same image between them is small, and it is determined that the above-described image frame interpolation processing is unnecessary. Then, the process proceeds to the processing operation shown in step S119.

上記のように、画像フレームの補間処理が必要であると判断すると、画像フレーム補間処理部１９が、該判断の対象となった（超解像処理が施された後の）ベース画像フレーム、及び（超解像処理が施された後の）参照画像フレーム中の同一画像が、各々の画像フレームにおける該画像の位置に対し、それらの中間の位置に位置付けられるような画像フレームを補間画像フレームとして生成する。該処理動作は、図３におけるステップS６６で示した処理動作に対応している（ステップS１１７）。ステップS１１７において生成された上記補間画像フレームは、画像フレーム補間処理部１９から超解像処理構成管理部１３、及び画像フレーム出力部２１を通じて動画像提示部７と動画像格納部５とに夫々出力される（ステップS１１８）。次に、ステップS１１４において生成された上記補間画像フレームが、画像フレーム補間処理部１９から超解像処理構成管理部１３、及び画像フレーム出力部２１を通じて動画像提示部７と動画像格納部５とに夫々出力される。該処理動作は、図３におけるステップS６９で示した処理動作に対応している（ステップS１１９）。 As described above, when it is determined that the image frame interpolation processing is necessary, the image frame interpolation processing unit 19 determines the base image frame that has been subjected to the determination (after the super-resolution processing), and As an interpolated image frame, an image frame in which the same image in the reference image frame (after being subjected to super-resolution processing) is positioned at an intermediate position with respect to the position of the image in each image frame. Generate. The processing operation corresponds to the processing operation shown in step S66 in FIG. 3 (step S117). The interpolated image frame generated in step S117 is output from the image frame interpolation processing unit 19 to the moving image presentation unit 7 and the moving image storage unit 5 through the super-resolution processing configuration management unit 13 and the image frame output unit 21, respectively. (Step S118). Next, the interpolated image frame generated in step S114 is transmitted from the image frame interpolation processing unit 19 through the super-resolution processing configuration management unit 13 and the image frame output unit 21 to the moving image presentation unit 7 and the moving image storage unit 5. Are output respectively. The processing operation corresponds to the processing operation shown in step S69 in FIG. 3 (step S119).

次に、超解像処理構成管理部１３が、ステップS１１４において超解像処理が施された後の参照画像フレームを、新たな参照画像フレームとして設定すると共に、該新たな参照画像フレームで、従前のベース画像フレームを更新する。該処理動作は、図３におけるステップS７０で示した処理動作に対応している（ステップS１２０）。該処理動作が終了すると、超解像処理構成管理部１３は、ステップS１１３において動画像取得部３が取得した動画像情報中から、次に動画像提示部７を通じて表示出力すべき画像フレームを、画像フレーム入力部９を通じて取得する。そして、該取得した画像フレームを、新たな参照画像フレームとして設定する。該処理動作は、図３におけるステップS７１で示した処理動作に対応している（ステップS１２１）。 Next, the super-resolution processing configuration management unit 13 sets the reference image frame that has been subjected to the super-resolution processing in step S114 as a new reference image frame, and uses the new reference image frame as before. Update base image frame of. The processing operation corresponds to the processing operation shown in step S70 in FIG. 3 (step S120). When the processing operation ends, the super-resolution processing configuration management unit 13 selects an image frame to be displayed and output next through the moving image presentation unit 7 from the moving image information acquired by the moving image acquisition unit 3 in step S113. Obtained through the image frame input unit 9. Then, the acquired image frame is set as a new reference image frame. The processing operation corresponds to the processing operation shown in step S71 in FIG. 3 (step S121).

次に、超解像処理構成管理部１３は、ステップS６３において動画像取得部３が取得した動画像情報中から画像フレーム入力部９を通じて入力した画像フレームが、上記動画像情報中の最終画像フレームかどうかチェックする（ステップS１２２）。該チェックの結果、最終画像フレームであると判断すれば（ステップS１２２でYES）、図３で示した超解像処理構成管理部１３による一連の処理動作は終了する。一方、最終画像フレームでないと判断した場合には（ステップS１２２でNO）、ステップS１１２で示した処理動作に復帰し、ステップS１２２で最終画像フレームであると判断されるまでの間、ステップS１１２乃至ステップS１２１で夫々示した処理動作が繰り返されることになる。該処理動作は、図３におけるステップS７２で示した処理動作に対応している。 Next, the super-resolution processing configuration management unit 13 determines that the image frame input through the image frame input unit 9 from the moving image information acquired by the moving image acquisition unit 3 in step S63 is the final image frame in the moving image information. It is checked whether or not (step S122). If it is determined as a result of the check that the frame is the final image frame (YES in step S122), the series of processing operations by the super-resolution processing configuration management unit 13 shown in FIG. On the other hand, if it is determined that the frame is not the final image frame (NO in step S122), the process returns to the processing operation shown in step S112, and steps S112 to S112 are performed until it is determined in step S122 that the frame is the final image frame. The processing operations shown in S121 are repeated. The processing operation corresponds to the processing operation shown in step S72 in FIG.

上述した図５に記載の処理手順によれば、動画像取得部３、及び画像フレーム入力部９を通じて取得した動画像情報に含まれる複数の画像フレームに対し、超解像処理部１５が超解像処理を施すことにより上記複数の画像フレームを高解像度の画像フレームに変換すると共に、該変換後の高解像度の画像フレーム同士の間における同一画像の動きの大きさが所定の基準値を超えている場合には、画像フレーム補間処理部１９において生成された高解像度の画像フレームを、時間的に隣接する上記高解像度の画像フレーム（例えば、ベース画像フレームと参照画像フレーム）同士の間に挿入することとした。即ち、図５に記載の処理手順では、補間画像フレームの生成処理よりも前に超解像処理を行うため、図３に記載の処理手順と比較して、超解像処理の対象となる画像フレームの数が全体的に少なくなるので、超解像処理に際しての演算処理量を削減することができる。 According to the processing procedure shown in FIG. 5 described above, the super-resolution processing unit 15 performs super-resolution on a plurality of image frames included in the moving image information acquired through the moving image acquisition unit 3 and the image frame input unit 9. By performing image processing, the plurality of image frames are converted into high-resolution image frames, and the magnitude of movement of the same image between the high-resolution image frames after the conversion exceeds a predetermined reference value If there is, the high resolution image frame generated in the image frame interpolation processing unit 19 is inserted between the temporally adjacent high resolution image frames (for example, the base image frame and the reference image frame). It was decided. That is, in the processing procedure shown in FIG. 5, since the super-resolution processing is performed before the interpolation image frame generation processing, the image to be subjected to the super-resolution processing is compared with the processing procedure shown in FIG. Since the number of frames is reduced as a whole, it is possible to reduce the amount of calculation processing in super-resolution processing.

図６は、本発明の第２の実施形態に係る、動画像処理システムの全体構成を示すブロック図である。 FIG. 6 is a block diagram showing an overall configuration of a moving image processing system according to the second embodiment of the present invention.

本実施形態に係る動画像処理システムは、図６に記載の動画像処理装置１３１が、図１に記載の動画像処理装置１が備える構成に加えて、共通動き検出処理部１３３を新たに備える点と、図１に記載の動画像処理装置１が備える超解像処理部１５、画像フレーム補間判定部１７、及び画像フレーム補間処理部１９に替えて、超解像基本処理部１３５、画像フレーム補間基本判定部１３７、及び画像フレーム補間基本処理部１３９を動画像処理装置１３１が備える点において、図１に記載の動画像処理装置１と相違する。その他の構成については、図１に記載の構成と同一であるので、図６において、図１に記載の物と同一物には、同一符号を付してそれらの詳細な説明を省略する。 In the moving image processing system according to the present embodiment, the moving image processing device 131 illustrated in FIG. 6 newly includes a common motion detection processing unit 133 in addition to the configuration included in the moving image processing device 1 illustrated in FIG. In place of the super-resolution processing unit 15, the image frame interpolation determination unit 17, and the image frame interpolation processing unit 19 included in the moving image processing apparatus 1 illustrated in FIG. 1, a super-resolution basic processing unit 135, an image frame 1 is different from the moving image processing apparatus 1 illustrated in FIG. 1 in that the moving image processing apparatus 131 includes an interpolation basic determination unit 137 and an image frame interpolation basic processing unit 139. Since the other configuration is the same as that shown in FIG. 1, in FIG. 6, the same components as those shown in FIG.

図１に記載の動画像処理装置１では、超解像処理部１５、画像フレーム補間判定部１７、画像フレーム補間処理部１９が、夫々、時間的に隣接する画像フレーム（例えば、ベース画像フレームと参照画像フレーム）同士の間におけるピクセル（画素）、又は（画像フレーム中の）ブロック毎の動き（ベクトル）情報の算出や、該算出結果を利用した処理を実行する。上記各々の処理中には、動き（ベクトルの）検出処理が含まれている。そこで、本実施形態では、該動き（ベクトルの）検出処理を、一括して実行するために、共通動き検出処理部１３３を設けることとした。共通動き検出処理部１３３による上記処理以外の処理動作については、夫々、超解像基本処理部１３５、画像フレーム補間基本判定部１３７、及び画像フレーム補間基本処理部１３９において実行することとなる。 In the moving image processing apparatus 1 illustrated in FIG. 1, the super-resolution processing unit 15, the image frame interpolation determination unit 17, and the image frame interpolation processing unit 19 each include temporally adjacent image frames (for example, a base image frame and a base image frame). Calculation of motion (vector) information for each pixel (pixel) or block (in the image frame) between the reference image frames) and processing using the calculation result are executed. Each of the above processes includes a motion (vector) detection process. Therefore, in the present embodiment, the common motion detection processing unit 133 is provided in order to collectively execute the motion (vector) detection processing. Processing operations other than the above processing performed by the common motion detection processing unit 133 are executed by the super-resolution basic processing unit 135, the image frame interpolation basic determination unit 137, and the image frame interpolation basic processing unit 139, respectively.

図６において、超解像処理構成管理部１３は、例えば、図２、及び図３で示した処理手順、即ち、まず画像フレームの補間処理を実行した後に超解像処理を実行する手順か、それとも図４、及び図５で示した処理手順、即ち、まず超解像処理を実行した後に画像フレームの補間処理を実行する手順の何れか一方を選択する。超解像処理構成管理部１３が、前者を選択した場合には、図３のステップS６４において、画像フレーム補間基本判定部１３７、及び共通動き検出処理部１３３が、協働して上述した動き判定処理を実行し、共通動き検出処理部１３３が、該実行結果を保持する。次に、図３のステップS６６において、画像フレーム補間基本処理部１３９が、共通動き検出処理部１３３による（画像の）動き検出処理の結果を利用して、超解像処理を実行する。 In FIG. 6, the super-resolution processing configuration management unit 13 is, for example, the processing procedure shown in FIGS. 2 and 3, that is, the procedure of executing the super-resolution processing after first performing the interpolation processing of the image frame, Alternatively, one of the processing procedures shown in FIGS. 4 and 5, that is, the procedure for executing the image frame interpolation processing after first performing the super-resolution processing is selected. When the super-resolution processing configuration management unit 13 selects the former, in step S64 in FIG. 3, the image frame interpolation basic determination unit 137 and the common motion detection processing unit 133 cooperate to determine the motion determination described above. The process is executed, and the common motion detection processing unit 133 holds the execution result. Next, in step S <b> 66 of FIG. 3, the image frame interpolation basic processing unit 139 executes the super-resolution processing using the result of the (image) motion detection processing by the common motion detection processing unit 133.

上記何れかの処理手順の選択において、超解像処理構成管理部１３が、後者を選択した場合には、超解像基本処理部が、図５のステップS１１４において、超解像基本処理部１３５、及び共通動き検出処理部１３３が、協働して上述した超解像処理を実行し、共通動き検出処理部１３３が、該実行結果を保持する。次に、図５のステップS１１７において、画像フレーム補間基本判定部１３７、及び画像フレーム補間基本処理部１３９が、共通動き検出処理部１３３が保持している超解像処理の実行結果を利用して、補間画像フレームの生成処理を実行する。 In the selection of any of the above processing procedures, when the super-resolution processing configuration management unit 13 selects the latter, the super-resolution basic processing unit selects the super-resolution basic processing unit 135 in step S114 of FIG. The common motion detection processing unit 133 cooperates to execute the above-described super-resolution processing, and the common motion detection processing unit 133 holds the execution result. Next, in step S117 of FIG. 5, the image frame interpolation basic determination unit 137 and the image frame interpolation basic processing unit 139 use the execution result of the super-resolution processing held by the common motion detection processing unit 133. Then, an interpolation image frame generation process is executed.

上記のように、超解像処理、及び画像フレーム補間処理に共通する動き検出に係わる処理を、共通動き検出処理部１３３において一括して実行すると共に、共通動き検出処理部１３３における処理結果を、超解像基本処理部１３５、画像フレーム補間基本判定部１３７、及び画像フレーム補間基本処理部１３９で共有することとすれば、動き（ベクトル）検出処理に係わる演算処理量の削減を図ることが可能になる。 As described above, the processing related to motion detection common to the super-resolution processing and the image frame interpolation processing is collectively executed in the common motion detection processing unit 133, and the processing result in the common motion detection processing unit 133 is If shared by the super-resolution basic processing unit 135, the image frame interpolation basic determination unit 137, and the image frame interpolation basic processing unit 139, it is possible to reduce the amount of calculation processing related to motion (vector) detection processing. become.

上述した各々の実施形態によれば、ユーザが、低解像度の状態で配信される動画像情報（動画像コンテンツ）を、滑らかで高精細な表示態様での視聴を欲する場合に、時間的に隣接する画像フレーム同士の間における同一画像の動きに係わる情報（動きベクトル情報）に基づいて、画像フレーム補間処理と超解像処理とを併用することにより、単純な処理の組合せによって演算処理量が増大するのを抑制することが可能となる。そして、これにより、効率の良い超解像処理と使い勝手の向上とを図ることが可能になる。 According to each of the embodiments described above, when a user desires to view moving image information (moving image content) distributed in a low-resolution state in a smooth and high-definition display mode, it is temporally adjacent. By combining image frame interpolation processing and super-resolution processing based on information (motion vector information) related to the motion of the same image between image frames to be executed, the amount of calculation processing increases by a combination of simple processing It is possible to suppress this. This makes it possible to achieve efficient super-resolution processing and improved usability.

なお、本発明は、例えば、動画像情報の蓄積が可能な装置や、超解像処理が施された後の動画像情報の表示が可能な装置である、TV、PC、DVD/HDDレコーダ等のレコーダ、STB等に適用が可能である。 The present invention is, for example, a device capable of storing moving image information or a device capable of displaying moving image information after being subjected to super-resolution processing, such as a TV, PC, DVD / HDD recorder, etc. It can be applied to other recorders, STBs, etc.

以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。 The preferred embodiments of the present invention have been described above, but these are merely examples for explaining the present invention, and the scope of the present invention is not limited to these embodiments. The present invention can be implemented in various other forms.

本発明の第１の実施形態に係る、動画像処理システムの全体構成を示すブロック図。1 is a block diagram showing an overall configuration of a moving image processing system according to a first embodiment of the present invention. 図１に記載した動画像処理装置において実行される、画像フレームの補間処理から超解像処理に至る処理手順の一例を示す説明図。FIG. 3 is an explanatory diagram illustrating an example of a processing procedure from image frame interpolation processing to super-resolution processing, which is executed in the moving image processing apparatus illustrated in FIG. 1. 図１に記載した動画像処理装置において実行される、画像フレームの補間処理から超解像処理に至る処理手順の一例を示すフローチャート。3 is a flowchart illustrating an example of a processing procedure from an image frame interpolation process to a super-resolution process, which is executed in the moving image processing apparatus illustrated in FIG. 1. 図１に記載した動画像処理装置において実行される、超解像処理から画像フレームの補間処理に至る処理手順の一例を示す説明図。Explanatory drawing which shows an example of the process sequence from the super-resolution process performed by the moving image processing apparatus described in FIG. 1 to the interpolation process of an image frame. 図１に記載した動画像処理装置において実行される、超解像処理から画像フレームの補間処理に至る処理手順の一例を示すフローチャート。2 is a flowchart showing an example of a processing procedure from super-resolution processing to image frame interpolation processing executed in the moving image processing apparatus shown in FIG. 1. 本発明の第２の実施形態に係る、動画像処理システムの全体構成を示すブロック図。The block diagram which shows the whole structure of the moving image processing system based on the 2nd Embodiment of this invention.

Explanation of symbols

１、１３１動画像処理装置
３動画像取得部
５動画像格納部
７動画像提示部
９画像フレーム入力部
１１画像フレーム一時格納部
１３超解像処理構成管理部
１５超解像処理部
１７画像フレーム補間判定部
１９画像フレーム補間処理部
２１画像フレーム出力部
１３３共通動き検出処理部
１３５超解像基本処理部
１３７画像フレーム補間基本判定部
１３９画像フレーム補間基本処理部 DESCRIPTION OF SYMBOLS 1,131 Moving image processing apparatus 3 Moving image acquisition part 5 Moving image storage part 7 Moving image presentation part 9 Image frame input part 11 Image frame temporary storage part 13 Super-resolution processing structure management part 15 Super-resolution processing part 17 Image frame Interpolation determination unit 19 Image frame interpolation processing unit 21 Image frame output unit 133 Common motion detection processing unit 135 Super-resolution basic processing unit 137 Image frame interpolation basic determination unit 139 Image frame interpolation basic processing unit

Claims

In the moving image information processing apparatus that outputs the moving image information that has been subjected to super-resolution processing to the input moving image information to increase the resolution,
A displacement amount detection unit for detecting a displacement amount between temporally adjacent image frames of the image included in the moving image information;
A determination unit that determines whether or not a displacement amount of the image detected by the displacement amount detection unit exceeds a predetermined value;
Only when the determination unit determines that the displacement amount of the image exceeds the predetermined value, generates an interpolated image frame to be inserted between the image frames from the temporally adjacent image frames. An interpolation image frame generation unit;
A moving image information processing apparatus comprising:

The moving image information processing apparatus according to claim 1,
The moving image information processing apparatus in which the displacement amount detection unit detects the displacement amount between the image frames of individual pixels constituting the image.

The moving image information processing apparatus according to claim 1,
The moving image information processing apparatus in which the displacement amount detection unit detects a displacement amount between the image frames of a block including some of the individual pixels constituting the image.

The moving image information processing apparatus according to claim 1,
An evaluation unit that evaluates the necessity of inserting an interpolated image frame between the image frames;
When the evaluation unit evaluates that the interpolation image frame needs to be inserted, and the determination unit determines that the displacement amount of the image does not exceed the predetermined value, the interpolation image frame A moving image information processing apparatus in which a generation unit generates an interpolated image frame with an algorithm having a smaller calculation processing amount than in the interpolated image frame generation.

The moving image information processing apparatus according to claim 4,
A moving image information processing apparatus in which the evaluation by the evaluation unit is performed by checking whether or not the number of image frames per unit time needs to be constant.

The moving image information processing apparatus according to claim 5.
A moving image information processing apparatus, wherein the method for generating an interpolated image frame using an algorithm with a small amount of calculation processing includes a method of using one of the two image frames related to insertion of an interpolated image frame.

The moving image information processing apparatus according to claim 5.
The method for generating an interpolated image frame using an algorithm with a small amount of calculation processing is an image frame having all the same pixel information as all the pixel information related to both or at least one of the image frames related to insertion of the interpolated image frame A moving image information processing apparatus including a method for obtaining an interpolated image frame.

The moving image information processing apparatus according to claim 7.
A moving image information processing apparatus in which all pixel information relating to both or at least one of both image frames includes pixel information indicating that a luminance value is constant.

The moving image information processing apparatus according to claim 1,
A moving image information processing apparatus in which displacement amount detection by the displacement amount detection unit is performed on an image frame of moving image information after the resolution is increased by performing super-resolution processing.

In the moving picture information processing method for outputting the moving picture information that has been subjected to super-resolution processing on the inputted moving picture information to increase the resolution,
A first step of detecting a displacement amount between temporally adjacent image frames of an image included in the moving image information;
A second step of determining whether a displacement amount of the image detected in the first step exceeds a predetermined value;
Only when it is determined in the second step that the displacement amount of the image exceeds the predetermined value, an interpolated image frame inserted between the image frames from the temporally adjacent image frames is inserted. A third step of generating,
A moving picture information processing method comprising: