JP2009171020A - Image processor, image processing method, and image processing program - Google Patents

Image processor, image processing method, and image processing program Download PDF

Info

Publication number
JP2009171020A
JP2009171020A JP2008004374A JP2008004374A JP2009171020A JP 2009171020 A JP2009171020 A JP 2009171020A JP 2008004374 A JP2008004374 A JP 2008004374A JP 2008004374 A JP2008004374 A JP 2008004374A JP 2009171020 A JP2009171020 A JP 2009171020A
Authority
JP
Japan
Prior art keywords
image
analysis
information
sequence
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008004374A
Other languages
Japanese (ja)
Other versions
JP5012521B2 (en
Inventor
Satoshi Sakazume
智 坂爪
Original Assignee
Victor Co Of Japan Ltd
日本ビクター株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Co Of Japan Ltd, 日本ビクター株式会社 filed Critical Victor Co Of Japan Ltd
Priority to JP2008004374A priority Critical patent/JP5012521B2/en
Publication of JP2009171020A publication Critical patent/JP2009171020A/en
Application granted granted Critical
Publication of JP5012521B2 publication Critical patent/JP5012521B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To extract an image similar to an image desired by a user and appreciable as a still image when a still image is extracted from a moving image. <P>SOLUTION: An image processor includes a stored image array management means 102 for storing a predetermined number of sheets of inputted image arrays and then specifying and supplying an image array becoming an object of analysis, a forward inter-image analysis means 103 for acquiring an image array for analysis, performing forward inter-image analysis and generating evaluation information based on the forward inter-image analysis, a reverse inter-image analysis means 104 for acquiring an image array for analysis, performing reverse inter-image analysis and generating evaluation information based on the reverse inter-image analysis, a means 105 for acquiring evaluation information based on the forward inter-image analysis and evaluation information based on the reverse inter-image analysis and determining which evaluation information is effective, and a control means 106 for extracting at least one still image out of an image array for analysis stored in the stored image array management means 102 based on the determination result. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、動画像データのうちから所望の画像フレームを抽出する画像処理装置、画像処理方法および画像処理プログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, and an image processing program for extracting a desired image frame from moving image data.
従来技術として、例えば、動画像を撮影する際に、撮影者がカメラを操作したカメラ操作情報と、撮影した画像を処理して得られた画像処理情報と、センサーからの信号を処理して得られた撮影中の撮影状態情報とを利用して、動画像データから静止画像に抽出するものがある(例えば、特許文献1参照。)。
特許3525493号公報
As a conventional technique, for example, when shooting a moving image, camera operation information obtained by a photographer operating the camera, image processing information obtained by processing the taken image, and a signal from a sensor are obtained. There is one that extracts moving image data to a still image using the obtained shooting state information during shooting (see, for example, Patent Document 1).
Japanese Patent No. 3525493
ところで、動画像の撮影中に、ユーザからの静止画像取得要求があった場合、従来法ではユーザからの取得要求があった時刻と同時刻、もしくは最も近い過去の時刻に対応する動画像中の画像フレームを静止画像として抽出し、ユーザからの要求に応じて表示や記録を行うのが通常である。   By the way, when there is a still image acquisition request from the user during the shooting of the moving image, in the conventional method, in the moving image corresponding to the past time that is the same time as the acquisition request from the user or the closest time Usually, an image frame is extracted as a still image and displayed or recorded in response to a request from the user.
しかし、上記従来技術では、動画像中のシーンを代表するような代表静止画像を抽出する際に、カメラ操作情報等の各種カメラパラメータを用い静止画像を抽出しているが、抽出した代表画像は、動画像のあるシーンを表現した代表画像であることから、必ずしも静止画像として鑑賞に堪えられる品質の画像データが抽出されるとは限らない、という問題がある。   However, in the above prior art, when extracting a representative still image that represents a scene in a moving image, a still image is extracted using various camera parameters such as camera operation information. Since this is a representative image representing a scene with a moving image, there is a problem in that image data with a quality that can be appreciated as a still image is not necessarily extracted.
特に、ユーザが所望している静止画像は、必ずしもユーザからの要求があった時刻、例えば、撮影機器がユーザからの静止画像取得要求を検知した時刻と同時刻もしくは最も近い過去の画像フレームであるとは限らない。   In particular, the still image desired by the user is a past image frame that is not necessarily the same as or closest to the time when the request from the user is received, for example, the time when the photographing device detects the request for acquiring the still image from the user. Not necessarily.
つまり、ユーザは動画像の撮影を行っている際に、ユーザが気に入った情景や被写体を認知した後、シャッターボタンの押下といった、静止画像取得要求を行うために、多少なりとも時間的な差異が生じることに起因する。このような時間的な差異は、ユーザ毎に個人差があることから、一意的に静止画像取得要求の時刻を修正することは困難である。   In other words, when shooting a moving image, the user recognizes a scene or subject that the user likes and then makes a still image acquisition request such as pressing the shutter button. Due to what happens. Since such a temporal difference has individual differences for each user, it is difficult to uniquely correct the time of the still image acquisition request.
また、動画像の再生中に、ユーザからの静止画像取得要求があった場合も同様に、ユーザが所望している静止画像は、必ずしもユーザからの要求があった時刻、例えば、再生機器がユーザからの静止画像取得要求を検知した時刻と同時刻もしくは最も近接した画像フレームであるとは限らない。   Similarly, when there is a still image acquisition request from the user during playback of a moving image, the still image desired by the user is not necessarily the time when the user requests it, for example, the playback device The image frame is not necessarily the same time or the closest image frame to the time when the still image acquisition request is detected.
また、動画像の撮影を行う一般的なカメラにおいて、動画像の画像フレームは、CCDやCMOS等のような撮像素子を用いて撮像した映像信号から生成される。比較的安価な撮像素子を利用して動画像撮影を行おうとすると、撮影時の明るさやシャッタースピードといった撮影条件が十分ではない場合には、ノイズや、手ブレや被写体の動きボケなどが撮影された動画像の画像フレーム内に混入してしまう。このような動画像からユーザから指定された時刻の画像フレームを静止画像として単純に抽出してしまうと、ノイズやブレなどを多く含む、鑑賞に堪え難い静止画像を抽出することになってしまう。   In a general camera that captures a moving image, an image frame of the moving image is generated from a video signal imaged using an imaging element such as a CCD or a CMOS. If you try to shoot a moving image using a relatively inexpensive image sensor, noise, camera shake, blurring of the subject's motion, etc. will be shot if the shooting conditions such as brightness and shutter speed are not sufficient. Mixed into the image frame of the moving image. If an image frame at a time designated by the user is simply extracted as a still image from such a moving image, a still image that is unbearable for viewing, including many noises and blurs, will be extracted.
そこで、本発明は、動画像から静止画像を抽出する際に、ユーザからの静止画像取得要求を考慮するとともに、鑑賞に堪えうる品質を有するような静止画像を抽出することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。   Therefore, the present invention considers a still image acquisition request from a user when extracting a still image from a moving image, and an image processing apparatus capable of extracting a still image having a quality that can be appreciated. An object is to provide an image processing method and an image processing program.
前記課題を解決するため、本発明の画像処理装置および画像処理方法では、複数の連続した画像列により構成される動画像から、少なくとも1枚の静止画像を抽出する画像処理装置および画像処理方法であって、入力される画像列を所定の枚数分蓄積し、解析対象となる画像列の特定および供給を行い、前記解析対象画像列を取得し、時間が順方向の画像間解析を行い、順方向の画像間解析に基づく評価情報を生成し、前記解析対象画像列を取得し、時間が逆方向の画像間解析を行い、逆方向の画像間解析に基づく評価情報を生成し、順方向の画像間解析に基づく前記評価情報と、逆方向の画像間解析に基づく前記評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定し、前記判定結果に基づいて画像処理動作を制御する。   In order to solve the above problems, in the image processing apparatus and the image processing method of the present invention, there is provided an image processing apparatus and an image processing method for extracting at least one still image from a moving image composed of a plurality of continuous image sequences. Therefore, a predetermined number of input image sequences are accumulated, the image sequence to be analyzed is specified and supplied, the image sequence to be analyzed is acquired, the time-to-image analysis is performed in the forward direction, Generating evaluation information based on analysis between images in the direction, obtaining the analysis target image sequence, performing analysis between images in the reverse time direction, generating evaluation information based on analysis between images in the reverse direction, Based on the evaluation information based on the inter-image analysis and the evaluation information based on the reverse inter-image analysis, it is determined whether the inter-image analysis in the forward direction or the reverse direction is effective, and the determination Based on the results To control the processing operation.
ここで、画像処理動作を制御する際、ユーザが実際に要求を行った第1静止画像取得要求の時刻から、所定の時間間隔の分だけ過去にさかのぼった時点を、ユーザからの第2静止画像取得要求とし、その時刻に最も近い動画像フレームの位置を解析開始位置として特定する際、前記所定の時間間隔には、所定の初期値、ユーザが指定した時間間隔、または学習結果から特定された時間間隔のいずれかを用いて前記解析開始位置を特定し、特定した前記解析開始位置に基づいて前記蓄積画像列管理手段から前記順方向画像間解析手段および前記順方向画像間解析手段への前記解析対象画像列の供給を制御する、ようにしても良い。   Here, when controlling the image processing operation, the second still image from the user is a point in time that goes back by a predetermined time interval from the time of the first still image acquisition request actually requested by the user. When the acquisition request is made and the position of the moving image frame closest to the time is specified as the analysis start position, the predetermined time interval is specified from a predetermined initial value, a time interval specified by the user, or a learning result. The analysis start position is specified using any one of the time intervals, and the accumulated image sequence management unit to the forward image inter-analysis unit and the forward image inter-analysis unit based on the specified analysis start position The supply of the analysis target image sequence may be controlled.
また、画像処理動作を制御する際、所定の指定領域であるクロッピング領域に基づいて、前記解析対象画像列に対して切抜き処理を行った後に、前記解析対象画像列を供給するように前記蓄積画像列管理手段から前記順方向画像間解析手段および前記順方向画像間解析手段への前記解析対象画像列の供給を制御する、ようにしても良い。   Further, when controlling the image processing operation, the accumulated image is supplied so as to supply the analysis target image sequence after performing a clipping process on the analysis target image sequence based on a cropping region which is a predetermined designated region. You may make it control supply of the said analysis object image sequence from the row | line | column management means to the said forward direction image analysis means and the said forward direction image analysis means.
また、前記画像処理動作を制御する際、蓄積されている画像列に対し時間方向の階層の概念を導入し、階層が1つ下がる毎にフレームレートが半分になるように、画像列の組を構成するとともに、解析対象となる動画像の画像列を2枚1組として扱い、組となった画像の片方のフレーム位置の画像を次の階層の解析対象として選定しながら、解析処理の階層が下がるにつれて不等間隔部分を有する動画像の画像列となる前記解析対象画像列を特定するよう前記蓄積画像列管理手段から前記順方向画像間解析手段および前記順方向画像間解析手段への前記解析対象画像列の供給を制御する、ようにしても良い。   In addition, when controlling the image processing operation, the concept of the hierarchy in the time direction is introduced to the stored image sequence, and the set of image sequences is set so that the frame rate is halved every time the hierarchy is lowered by one. In addition to the configuration, the image sequence of the moving image to be analyzed is handled as one set, and the image of one frame position of the set image is selected as the analysis target of the next hierarchy, and the analysis processing hierarchy is The analysis from the stored image sequence management means to the forward image inter-analysis means and the forward image inter-analysis means so as to identify the analysis target image sequence that becomes an image sequence of a moving image having unequal intervals as it goes down The supply of the target image sequence may be controlled.
また、前記順方向および逆方向の画像間解析を行う際は、それぞれ、前記解析対象画像列から、対象画像を基準として参照画像内を所定の動きベクトル探索を行い、動きベクトル情報を生成し、前記参照画像と、前記動き推定部によって生成された動きベクトル情報とから予測画像を生成し、前記予測画像から、前記予測画像の低周波数成分情報を生成し、前記予測画像から、前記予測画像の高周波数成分情報を生成し、前記解析対象画像列から、対象画像の低周波数成分情報を生成し、前記解析対象画像列から、対象画像の高周波数成分情報を生成し、前記予測画像低周波数成分情報と、前記対象画像低周波数成分情報とを評価し、低周波数成分の評価情報を生成し、前記予測画像高周波数成分情報と、前記対象画像高周波数成分情報とを評価し、高周波数成分の評価情報を生成し、かつ、前記順方向の画像間解析を行うステップは、さらに、時間が順方向の画像間解析を行うために、時間的に過去側にある画像を参照画像、時間的に未来側にある画像を対象画像として、解析対象となる画像列を取得する一方、前記逆方向の画像間解析を行うステップは、さらに、時間が逆方向の画像間解析を行うために、時間的に過去側にある画像を対象画像、時間的に未来側にある画像を参照画像として、解析対象となる画像列を取得し、前記判定する際は、前記順方向における前記低周波数成分の評価情報および前記高周波数成分の評価情報と、前記逆方向における前記低周波数成分の評価情報および前記高周波数成分の評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定する、ようにしても良い。   Further, when performing the inter-image analysis in the forward direction and the reverse direction, respectively, by performing a predetermined motion vector search in the reference image with reference to the target image from the analysis target image sequence, to generate motion vector information, A prediction image is generated from the reference image and the motion vector information generated by the motion estimation unit, low frequency component information of the prediction image is generated from the prediction image, and the prediction image of the prediction image is generated from the prediction image. Generate high frequency component information, generate low frequency component information of the target image from the analysis target image sequence, generate high frequency component information of the target image from the analysis target image sequence, and generate the predicted image low frequency component Information and the target image low-frequency component information, generating low-frequency component evaluation information, and the predicted image high-frequency component information and the target image high-frequency component information. The step of generating the evaluation information of the high-frequency component and performing the forward inter-image analysis further includes an image that is temporally in the past in order to perform the forward inter-image analysis. The reference image, the image on the future side in time as the target image, the image sequence to be analyzed is acquired, and the step of performing the inter-image analysis in the reverse direction further includes the inter-image analysis in the reverse direction. In order to perform the determination, an image sequence to be analyzed is acquired using an image that is temporally in the past as a target image, and an image that is temporally in the future is a reference image. Based on the evaluation information of the low frequency component and the evaluation information of the high frequency component, and the evaluation information of the low frequency component and the evaluation information of the high frequency component in the reverse direction, either the forward direction or the reverse direction Image of Determines whether the analysis is valid, it may be so.
また、本発明の画像処理プログラムは、複数の連続した画像列により構成される動画像から、少なくとも1枚の静止画像を抽出する画像処理をコンピュータに実現させるための画像処理プログラムであって、コンピュータが、上述の画像処理装置の機能または画像処理方法を実行するようにプログラミングされたものである。   The image processing program of the present invention is an image processing program for causing a computer to perform image processing for extracting at least one still image from a moving image composed of a plurality of continuous image sequences. Are programmed to perform the functions of the image processing apparatus or the image processing method described above.
本発明では、ユーザが実際に要求を行った第1静止画像取得要求の時刻から、ユーザがあらかじめ指定した時刻の分だけ過去にさかのぼった時点を、ユーザからの第2静止画像取得要求とし、その時刻に直近の動画像フレームを解析開始位置とすることで、ユーザが本来静止画像として取得したかった内容に近いものを取得することができる。   In the present invention, a time point that goes back in the past by the time specified in advance by the user from the time of the first still image acquisition request actually requested by the user is set as the second still image acquisition request from the user. By setting the moving image frame nearest to the time as the analysis start position, it is possible to acquire a content close to what the user originally wanted to acquire as a still image.
ここで、第2静止画像取得要求の決定する際に、ユーザが実際に要求を行った第1静止画像取得要求の時刻と、ユーザが実際に所望している静止画像を含む時刻との時間的なズレを設定した場合、ユーザ毎の個人差を解消するとともに、解析開始位置をユーザが実際に所望した静止画像の時刻位置に近づけることが可能となり、解析開始位置の周囲を本発明により解析することによって、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出することができる。   Here, when determining the second still image acquisition request, the time between the time of the first still image acquisition request actually requested by the user and the time including the still image actually desired by the user is determined. When the misalignment is set, it is possible to eliminate individual differences for each user and to bring the analysis start position closer to the time position of the still image actually desired by the user, and the periphery of the analysis start position is analyzed by the present invention. Thus, it is possible to extract a still image that is closer to the actually desired still image by the user and has a quality that can be appreciated as a still image.
また、第2静止画像取得要求の決定する際に、ユーザが実際に要求を行った第1静止画像取得要求の時刻と、ユーザが実際に所望している静止画像を含む時刻との時間的なズレを、ユーザ毎に学習した場合、ユーザ毎の個人差を解消するとともに、解析開始位置をユーザが実際に所望した静止画像の時刻位置に近づけることが可能となり、解析開始位置の周囲を本発明により解析することによって、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出することができる。   Further, when determining the second still image acquisition request, the time between the time of the first still image acquisition request actually requested by the user and the time including the still image actually desired by the user is determined. When the deviation is learned for each user, it is possible to eliminate individual differences for each user and to bring the analysis start position closer to the time position of the still image actually desired by the user. Thus, it is possible to extract a still image that is closer to the actually desired still image by the user and that has a quality that can be appreciated as a still image.
また、ユーザからの静止画像取得要求を考慮した解析開始位置を利用して行われる画像間解析処理では、解析対象となる動画像の画像列を2枚1組として扱い、組となった画像の片方のフレーム位置の画像を次の階層の解析対象として選定しながら、解析処理の階層が下がるにつれて必ずしも等間隔ではない動画像、すなわち不等間隔部分を有する動画像(不等間隔動画像)の画像列となるように動画像内の解析対象を制御し、解析対象となっている2枚の画像列に対し、どちらのフレーム位置の画像を次の階層の解析対象とすべきかを判断し、過去から未来への順方向の予測によって画像の類似度を評価する一方、未来から過去への逆方向の予測によって画像の類似度を評価した場合、解析開始位置から過去の動画像フレームに対して、順方向および逆方向の類似度の評価を行い、抽出すべき静止画像の候補を選択する処理を、類似度がある一定の値を下回って、比較する参照画像と対象画像との類似度が低いと評価された時点で処理を終了し、処理を終了した時点で選択されている動画像フレームを抽出すべき静止画像として出力できる。その結果、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出することができる。   Further, in the inter-image analysis process performed using the analysis start position in consideration of the still image acquisition request from the user, the image sequence of the moving images to be analyzed is treated as a set of two images, and While selecting an image at one frame position as an analysis target of the next layer, moving images that are not necessarily equally spaced as the analysis processing layer is lowered, that is, moving images having unequally spaced portions (unequally spaced moving images) The analysis target in the moving image is controlled so as to be an image sequence, and the image of which frame position should be the analysis target of the next hierarchy for the two image sequences to be analyzed, When image similarity is evaluated by forward prediction from the past to the future, while image similarity is evaluated by backward prediction from the future to the past, the analysis starts from the analysis start position to the past moving image frame. ,order If the similarity between the reference image to be compared and the target image is low when the similarity is below a certain value, the evaluation of the similarity in the forward and reverse directions and the selection of the still image candidate to be extracted are selected. When the evaluation is completed, the processing is completed, and the moving image frame selected at the time of completion of the processing can be output as a still image to be extracted. As a result, it is possible to extract a still image that has a quality that is closer to the still image actually desired by the user and that can be appreciated as a still image.
また、順方向および逆方向に画像間解析を行う際、解析対象となっている2枚の画像列を、順方向の場合には時間方向として過去のフレーム位置のものを参照画像、未来のフレーム位置のものを対象画像とし、逆方向の場合には時間方向として未来のフレーム位置のものを参照画像、過去のフレーム位置のものを対象画像となるように、処理対象となっている画像を取得し、参照画像と対象画像との間の動き推定を行い、動き推定によって得られる動きベクトル情報に基づいて参照画像から予測画像を生成する動き補償を行い、得られた予測画像から低周波数成分を抽出して予測画像低周波数成分情報を生成し、得られた予測画像と予測画像低周波数成分情報との差分によって高周波数成分を抽出して予測画像高周波数成分情報を生成し、対象画像から低周波数成分を抽出して対象画像低周波数成分情報を生成し、対象画像と対象画像低周波数成分情報との差分によって高周波数成分を抽出して対象画像高周波数成分情報を生成し、得られた予測画像高周波数成分情報と対象画像高周波数成分情報との類似度を評価するようにした場合、ノイズや、手ブレ、動きボケなどがどの程度含まれているかを容易に評価することが可能となり、これらの評価結果に基づいて抽出候補となる画像を選定することで、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出することができる。   In addition, when performing inter-image analysis in the forward direction and the reverse direction, two image sequences to be analyzed are used as reference images for the previous frame position as the time direction in the case of the forward direction, and future frames. The target image is acquired so that the image at the position is the target image, and in the reverse direction, the image at the future frame position is the reference image in the time direction, and the image at the past frame position is the target image. Then, motion estimation is performed between the reference image and the target image, motion compensation is performed to generate a predicted image from the reference image based on motion vector information obtained by motion estimation, and low frequency components are obtained from the obtained predicted image. To generate predicted image low frequency component information, extract a high frequency component based on a difference between the obtained predicted image and the predicted image low frequency component information, generate predicted image high frequency component information, Extract low frequency components from the image to generate target image low frequency component information, extract high frequency components by the difference between the target image and target image low frequency component information to generate target image high frequency component information, When the similarity between the predicted image high frequency component information and the target image high frequency component information is evaluated, it is easy to evaluate how much noise, camera shake, motion blur, etc. are included By selecting an image that is a candidate for extraction based on these evaluation results, it is possible to extract a still image that is closer to the actually desired still image and has a quality that can be appreciated as a still image. Can do.
また、予測画像高周波数成分情報を生成する際、予測画像から高周波数成分を抽出して予測画像高周波数成分情報を生成し、対象画像高周波数成分情報を生成する際、対象画像から高周波数成分を抽出して対象画像高周波数成分情報を生成するようにした場合、処理の依存関係を排除して処理の並列度を高めることで、より高速な処理を可能とする。   Also, when generating the predicted image high frequency component information, the high frequency component is extracted from the predicted image to generate the predicted image high frequency component information, and when generating the target image high frequency component information, the high frequency component is extracted from the target image. When the target image high-frequency component information is generated by extracting, the processing parallelism is eliminated to increase the parallelism of the processing, thereby enabling higher-speed processing.
また、順方向および逆方向に画像間解析をする際、生成された予測画像高周波数成分情報に対してノイズ除去を行い、生成された対象画像高周波数成分情報に対してノイズ除去を行う場合、画像高周波数成分情報の類似度を評価する際の評価精度が向上し、ノイズや、手ブレ、動きボケなどがどの程度含まれているかを評価する際に、より正確に評価することが可能となり、これらの評価結果に基づいて抽出候補となる画像を選定することで、ユーザが実際に所望した静止画像により近く、また静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出することができる。   In addition, when performing inter-image analysis in the forward direction and the reverse direction, when performing noise removal on the generated predicted image high frequency component information and performing noise removal on the generated target image high frequency component information, The evaluation accuracy when evaluating the similarity of image high-frequency component information is improved, and it becomes possible to evaluate more accurately when evaluating how much noise, camera shake, motion blur, etc. are included. By selecting an image as a candidate for extraction based on these evaluation results, it is possible to extract a still image that is closer to the actually desired still image and has a quality that can be appreciated as a still image. .
実施形態1. Embodiment 1. FIG.
図1に、本発明の実施形態を適用した画像処理装置の構成例を示す。ここでは、説明を簡単にするため、動画像の撮影中に、ユーザからの静止画像取得要求があった場合を考える。   FIG. 1 shows a configuration example of an image processing apparatus to which an embodiment of the present invention is applied. Here, in order to simplify the explanation, consider a case where there is a still image acquisition request from the user during moving image shooting.
図1において、実施形態の画像処理装置は、少なくとも蓄積画像列管理器102、順方向画像間解析器103、逆方向画像間解析器104、判定器105、制御器106を有している。   In FIG. 1, the image processing apparatus according to the embodiment includes at least a stored image sequence manager 102, a forward inter-image analyzer 103, a reverse inter-image analyzer 104, a determiner 105, and a controller 106.
蓄積画像列管理器102は、制御器106からの制御情報に応じて、動画像として撮影された画像フレームを画像列入力101として順次取得する機能を有する。所定の枚数の画像フレームを蓄積し、蓄積時の時刻情報、蓄積された画像フレームを管理する機能を有する。蓄積されている画像フレームの枚数が所定の枚数を満たしている場合には、画像フレームを新たに蓄積する際に、蓄積されている画像列のうち、最も古い画像フレームから破棄し、新たに画像列入力として取得した画像フレームを、蓄積されている画像列の最後尾の位置に追加するといったFIFO方式で画像列の蓄積状態を管理するような機能を備えていると良い。蓄積画像列管理器102は、蓄積画像列管理情報に基づいて格納されている画像列の状態を管理する機能を有するとともに、必要に応じて、制御器106に対して蓄積画像列管理情報を供給する機能を有する。ここで、蓄積画像列管理情報には、処理の進捗状況を把握し、次に処理すべき画像列に関する情報や、現状で出力候補となっている代表画像のフレーム位置や、現在処理している階層の情報や、判定器105によって選択された順方向や逆方向の判定情報などが含まれると良い。更に、ユーザが実際に要求を行った第1静止画像取得要求の時刻に対応するフレーム位置、およびこの位置から、所定の時刻、またはユーザがあらかじめ指定した時刻、または学習結果から特定された時刻のいずれかの分だけ過去にさかのぼった時点を、ユーザからの第2静止画像取得要求とし、その時刻に直近の動画像フレームを解析の開始位置とした解析開始位置などが含まれると更に良い構成となる。また、画像間解析の処理量を軽減するために、画像のクロッピング領域情報を含むと更に良い構成となる。   The stored image sequence manager 102 has a function of sequentially acquiring image frames captured as moving images as the image sequence input 101 in accordance with control information from the controller 106. It has a function of storing a predetermined number of image frames, managing time information at the time of storage, and stored image frames. When the number of stored image frames satisfies a predetermined number, when an image frame is newly stored, the oldest image frame in the stored image sequence is discarded, and a new image is stored. It is preferable to have a function of managing the storage state of the image sequence by the FIFO method, such as adding the image frame acquired as the column input to the last position of the stored image sequence. The accumulated image sequence management unit 102 has a function of managing the state of the image sequence stored based on the accumulated image sequence management information, and supplies the accumulated image sequence management information to the controller 106 as necessary. Has the function of Here, the accumulated image sequence management information grasps the progress of processing, information on the image sequence to be processed next, the frame position of the representative image that is currently an output candidate, and the current processing It is preferable that the information of the hierarchy, the determination information in the forward direction and the reverse direction selected by the determination unit 105, and the like are included. Furthermore, the frame position corresponding to the time of the first still image acquisition request actually requested by the user, and the predetermined time, the time specified in advance by the user, or the time specified from the learning result from this position. The time point that goes back in the past is used as the second still image acquisition request from the user, and the analysis start position or the like with the latest moving image frame as the analysis start position is included at that time. Become. Further, in order to reduce the processing amount of the inter-image analysis, it is further improved if image cropping area information is included.
また、蓄積画像列管理器102は、制御情報、蓄積画像列管理情報に基づいて供給すべき対象となっている画像列を特定し、必要に応じて順方向画像間解析器103、逆方向画像間解析器104に特定した少なくとも2枚の画像列を供給する機能を有する。ここで、蓄積画像列管理器102は、順方向画像間解析器103に対しては、供給すべき画像列のうち、時間的に過去側のフレーム位置の画像を参照画像、時間的に未来側のフレーム位置の画像を対象画像として供給する機能を有する。また、蓄積画像列管理器102は、逆方向画像間解析器104に対しては、供給すべき画像列のうち、時間的に未来側のフレーム位置の画像を参照画像、時間的に過去側のフレーム位置の画像を対象画像として供給する機能を有する。ここで、画像間解析の処理量を軽減するために、制御器106からの制御情報に応じて、供給する画像列に対し、画像のクロッピング領域情報に基づいて画像の切り抜き領域を特定し、切り抜き処理を行った上で、順方向画像間解析器103および逆方向画像間解析器104に供給する機能を備えると良い。   The accumulated image sequence manager 102 identifies an image sequence to be supplied based on the control information and the accumulated image sequence management information, and if necessary, the forward image analyzer 103 and the backward image. The inter-analyzer 104 has a function of supplying at least two specified image sequences. Here, the accumulated image sequence management unit 102 sends, to the forward inter-image analyzer 103, an image at a frame position on the past side of the image sequence to be supplied as a reference image and a future side in terms of time. A function of supplying an image at the frame position as a target image. In addition, the accumulated image sequence management unit 102 sends an image at the frame position on the future side of the image sequence to be supplied to the backward image inter-analyzer 104 as a reference image, and temporally on the past side. A function of supplying an image at a frame position as a target image; Here, in order to reduce the processing amount of the inter-image analysis, in accordance with the control information from the controller 106, an image clipping region is specified based on the cropping region information of the image for the supplied image sequence, and the clipping is performed. It is preferable to provide a function to supply the forward direction inter-image analyzer 103 and the reverse direction inter-image analyzer 104 after processing.
また、蓄積画像列管理器102は、制御情報、蓄積画像列管理情報に基づいて、出力対象となっている画像を画像列出力107として供給する機能を有する。また、制御器106から制御情報を取得し、要求に基づいて現状で出力候補となっている代表画像が、動画像内のどの範囲の画像列から抽出されたものかを示す画像列の範囲情報を特定し、代表画像の画像列出力とともに画像列の範囲情報を出力する機能を有すると更に良い構成となる。   The accumulated image sequence manager 102 has a function of supplying an image to be output as an image sequence output 107 based on the control information and accumulated image sequence management information. Further, image sequence range information indicating from which range of image sequences in the moving image the representative image that is currently output as a candidate based on the request is extracted from the controller 106. And a function for outputting range information of the image sequence together with the output of the image sequence of the representative image.
順方向画像間解析器103は、蓄積画像列管理器102から解析対象となっている少なくとも2枚の画像列を参照画像および対象画像として取得する機能を有する。取得した参照画像および対象画像に対して所定の画像間解析を行い、画像間の類似度を評価する機能を有する。また、評価結果である類似度情報を判定器105に供給する機能を有する。   The forward inter-image analyzer 103 has a function of acquiring at least two image sequences to be analyzed from the stored image sequence manager 102 as reference images and target images. A predetermined inter-image analysis is performed on the acquired reference image and target image, and a similarity between images is evaluated. In addition, it has a function of supplying similarity information, which is an evaluation result, to the determiner 105.
逆方向画像間解析器104は、蓄積画像列管理器102から解析対象となっている少なくとも2枚の画像列を参照画像および対象画像として取得する機能を有する。取得した参照画像および対象画像に対して所定の画像間解析を行い、画像間の類似度を評価する機能を有する。また、評価結果である類似度情報を判定器105に供給する機能を有する。   The backward image analyzer 104 has a function of acquiring at least two image sequences to be analyzed from the accumulated image sequence manager 102 as reference images and target images. A predetermined inter-image analysis is performed on the acquired reference image and target image, and a similarity between images is evaluated. In addition, it has a function of supplying similarity information, which is an evaluation result, to the determiner 105.
判定器105は、順方向画像間解析器103及び逆方向画像間解析器104から供給される順方向の類似度情報および逆方向の類似度情報を取得する機能を有する。取得した順方向の類似度情報と逆方向の類似度情報とを比較し、順方向と逆方向のどちらの画像間解析が有効であったかを判定する機能を有する。類似度情報の判定結果である判定情報を制御器106に供給する機能を有する。ここで判定情報は、順方向が選択されたか、逆方向が選択されたかを特定することができる情報であれば良い。例えば、順方向と逆方向をそれぞれ+と−、または1と0などのフラグ情報で表現されたものが望ましい。   The determination unit 105 has a function of acquiring forward similarity information and reverse similarity information supplied from the forward image analyzer 103 and the backward image analyzer 104. It has a function of comparing the acquired forward similarity information and backward similarity information to determine which analysis between images in the forward direction or the backward direction was effective. It has a function of supplying determination information, which is a determination result of similarity information, to the controller 106. Here, the determination information may be information that can specify whether the forward direction is selected or the reverse direction is selected. For example, it is desirable that the forward direction and the reverse direction are represented by flag information such as + and-, or 1 and 0, respectively.
制御器106は、蓄積画像列管理器102に対して制御情報を供給する機能を有する。ここで、制御情報は、蓄積画像列管理器102に対して画像列入力の制御、画像列出力の制御、蓄積画像列管理情報の更新制御に関する情報を少なくとも含むと良い。ここで、制御器106は、ユーザからの直接的な解析開始要求である第1静止画像取得要求があった時刻に基づいて、ユーザが実際に要求を行った第1静止画像取得要求の時刻と、ユーザが実際に所望している静止画像を含む時刻との時間的なズレの時刻分だけ、第1静止画像取得要求があった時刻から過去にさかのぼった時刻を、ユーザからの第2静止画像取得要求として解析開始位置を特定する機能を有する。   The controller 106 has a function of supplying control information to the accumulated image sequence manager 102. Here, it is preferable that the control information includes at least information regarding control of image sequence input, control of image sequence output, and update control of stored image sequence management information for the accumulated image sequence manager 102. Here, the controller 106 determines the time of the first still image acquisition request that the user actually requested based on the time when the first still image acquisition request that is a direct analysis start request from the user was made. The time that goes back in the past from the time when the first still image acquisition request was made by the amount of time difference from the time including the still image that the user actually desires is the second still image from the user. It has a function of specifying the analysis start position as an acquisition request.
次に動作を説明する。   Next, the operation will be described.
図2は、本実施形態の画像処理装置の制御器106による解析開始位置の導出例を示す概念図である。   FIG. 2 is a conceptual diagram showing an example of deriving the analysis start position by the controller 106 of the image processing apparatus according to the present embodiment.
例えば、図2のように、動画像の撮影中のある時刻において、ユーザが静止画像を取得したいと考えて、カメラのシャッターボタンを押下したとする。しかし、ユーザが静止画像を取得したいと考えたシャッターボタンを押そうと思ったフレーム位置1401と、実際にユーザがシャッターボタンを押下した時刻のフレーム位置1402との間には、静止画像を認識して実際にシャッターボタンを操作するまでの時間差が少なからず生じる。   For example, as shown in FIG. 2, it is assumed that at a certain time during moving image shooting, the user presses the shutter button of the camera in order to acquire a still image. However, the still image is recognized between the frame position 1401 where the user wants to press the shutter button that he / she wants to acquire the still image and the frame position 1402 at the time when the user actually pressed the shutter button. There is a considerable time difference until the shutter button is actually operated.
この操作までの時間差を、図2に示す矢印1403の補正によって、できる限りユーザがシャッターボタンを押そうと思った位置1401に近づける。そのため、制御器106は、ユーザが実際にシャッターボタンを押したフレーム位置である第1静止画像取得要求の時刻に対応するフレーム位置1402から、所定の時刻、またはユーザからあらかじめ指定した時刻、または学習結果から特定された時刻のいずれかの分だけ過去にさかのぼった時点を、ユーザからの第2静止画像取得要求とし、その時刻に直近の動画像フレームを解析の開始位置とした解析開始位置1404として求める。   The time difference until this operation is made as close as possible to the position 1401 at which the user wanted to press the shutter button by correcting the arrow 1403 shown in FIG. Therefore, the controller 106 determines a predetermined time from the frame position 1402 corresponding to the time of the first still image acquisition request that is the frame position at which the user actually pressed the shutter button, a time designated in advance by the user, or learning. A time point that goes back in the past by any one of the times specified from the result is set as a second still image acquisition request from the user, and an analysis start position 1404 having the latest moving image frame at that time as the analysis start position Ask.
このようにして、制御器106は、解析開始位置1404を特定する機能を有する。このような解析開始位置1404を特定し、図2の1405のように所定の画像間解析によって特定することで、ユーザが所望していた位置である画像1401に近く、また、静止画像として鑑賞に堪えうる品質を備えた画像1406を特定する。つまり、この特定された画像1406を静止画像1410として出力することで、第1静止画像取得要求があった時刻のフレーム位置1402に対応する画像を出力として得られる静止画像1408や、解析開始位置1404に対応する画像を出力として得られる静止画像1409よりも、画像内に含まれるノイズや、手ブレ、動きボケ等が少なく、より情報量が多い画像を得ることが可能となる。   In this way, the controller 106 has a function of specifying the analysis start position 1404. By specifying such an analysis start position 1404 and specifying it by a predetermined inter-image analysis as indicated by reference numeral 1405 in FIG. 2, it is close to the image 1401 that is the position desired by the user, and can be viewed as a still image. An image 1406 with acceptable quality is identified. In other words, by outputting the specified image 1406 as a still image 1410, a still image 1408 obtained as an output corresponding to the frame position 1402 at the time when the first still image acquisition request was made, or an analysis start position 1404 Compared to a still image 1409 obtained by outputting an image corresponding to 1), it is possible to obtain an image with less information, noise, camera shake, motion blur, and the like, and a larger amount of information.
また、このような機能の他に、制御器106は、特定した解析開始位置に関する情報を制御情報として蓄積画像列管理器102に供給する機能と、判定器105からの判定情報を取得する機能と、取得した判定情報を制御情報として蓄積画像列管理器102に通知する機能と、蓄積画像列管理器102から蓄積画像列管理情報を取得し、現在の蓄積画像列管理器102内の画像列の格納状況を把握し、本発明の画像処理装置の動作状況を制御する機能を有する。つまり、制御器106は、蓄積画像列管理情報から、処理の進捗状況を把握し、次に処理すべき画像列の特定や、現状で出力候補となっている代表画像のフレーム位置や、処理の階層や、判定器105によって選択された順方向や逆方向の判定情報などを把握する機能を有する。   In addition to such functions, the controller 106 has a function of supplying information relating to the specified analysis start position to the stored image sequence manager 102 as control information, and a function of acquiring determination information from the determiner 105. , The function of notifying the stored image sequence manager 102 of the acquired determination information as control information, and acquiring the stored image sequence management information from the stored image sequence manager 102, and the image sequence in the current stored image sequence manager 102 It has a function of grasping the storage status and controlling the operation status of the image processing apparatus of the present invention. That is, the controller 106 grasps the processing progress status from the accumulated image sequence management information, specifies the image sequence to be processed next, the frame position of the representative image that is the current output candidate, It has a function of grasping the hierarchy, the determination information in the forward direction and the reverse direction selected by the determination unit 105, and the like.
なお、制御器106は、現状で出力候補となっている代表画像が、動画像内のどの範囲の画像列から抽出されたものかを示す画像列の範囲情報を特定し、必要に応じて蓄積画像列管理器102に画像列出力とともに画像列の範囲情報を出力するように要求する制御情報を供給する機能を有すると更に良い構成となる。   The controller 106 specifies range information of the image sequence indicating from which range of image sequences in the moving image the representative image that is currently an output candidate is extracted, and accumulates it as necessary. It is further preferable to have a function of supplying control information for requesting the image sequence manager 102 to output image sequence range information together with image sequence output.
また、制御器106は、必要に応じて画像間解析の処理量を軽減するために、蓄積画像列管理器102が画像列を供給する際に、供給する画像列に対し、切り抜き領域であるクロッピング領域に基づいて画面の切り抜き処理を行った上で供給するように制御するために、クロッピング領域に関する情報を伴った制御情報を蓄積画像列管理器102に供給する機能を有すると良い。ここで、クロッピング領域情報は、所定の領域をあらかじめ設定しておくようにしても構わない。また、例えば、図3の1501、1502、1503のように、フォーカスなどのカメラパラメータに連動してクロッピング領域の大きさや位置を変更することができるようにしても構わない。   In addition, the controller 106 crops a cropped area of the supplied image sequence when the accumulated image sequence management unit 102 supplies the image sequence in order to reduce the processing amount of the inter-image analysis as necessary. In order to perform control so as to be supplied after performing a screen clipping process based on the area, it is preferable to have a function of supplying control information with information on the cropping area to the accumulated image sequence manager 102. Here, for the cropping area information, a predetermined area may be set in advance. Further, for example, as in 1501, 1502, and 1503 in FIG. 3, the size and position of the cropping area may be changed in conjunction with camera parameters such as focus.
図3は、本実施形態の画像処理装置における、クロッピング領域の設定例を示す概念図である。   FIG. 3 is a conceptual diagram illustrating an example of setting a cropping area in the image processing apparatus of the present embodiment.
ここで、図3(a)の1501は蓄積されている画像の全体、1502はクロッピング領域、1503はフォーカス位置を表している。また、フォーカス位置とクロッピング領域との関係は、図3の1502と1503のように、クロッピング領域の中央にフォーカス位置がくるような位置関係であっても構わない。また、図3(b)の蓄積されている画像の全体1504、クロッピング領域1505、フォーカス位置1506のように、フォーカス位置1506とクロッピング領域1505との関係が所定の関係であっても構わない。   Here, 1501 in FIG. 3A indicates the entire accumulated image, 1502 indicates the cropping area, and 1503 indicates the focus position. Further, the relationship between the focus position and the cropping area may be such that the focus position is at the center of the cropping area, such as 1502 and 1503 in FIG. Further, the relationship between the focus position 1506 and the cropping region 1505 may be a predetermined relationship, such as the entire accumulated image 1504, the cropping region 1505, and the focus position 1506 in FIG.
次に、図4を用いて本発明の図1の構成の動作について説明する。   Next, the operation of the configuration of FIG. 1 according to the present invention will be described with reference to FIG.
図4は、図1に示す本実施形態の画像処理装置の動作を説明したフローチャートである。   FIG. 4 is a flowchart for explaining the operation of the image processing apparatus according to the present embodiment shown in FIG.
まず、制御器106は、画像列の蓄積を開始させるための制御情報を蓄積画像列管理器102に供給する。動画像の撮影が開始されると、画像列入力101として順次撮影された画像列が蓄積画像列管理器102に供給される。   First, the controller 106 supplies control information for starting accumulation of an image sequence to the accumulated image sequence manager 102. When shooting of a moving image is started, an image sequence sequentially captured as an image sequence input 101 is supplied to the accumulated image sequence manager 102.
蓄積画像列管理器102は、画像列入力101として供給される画像列であるそれぞれの画像フレームを取得し、所定の枚数になるまで蓄積を行う。所定の枚数を超える場合には、FIFO方式で最も古い時刻に格納された画像フレームを破棄し、新たに取得した画像フレームを最後尾に追加する。このような処理により、入力された画像列を蓄積する(ステップS101)。   The accumulated image sequence manager 102 acquires each image frame, which is an image sequence supplied as the image sequence input 101, and accumulates it until a predetermined number is reached. When the number exceeds the predetermined number, the image frame stored at the oldest time in the FIFO method is discarded, and the newly acquired image frame is added at the end. Through such processing, the input image sequence is accumulated (step S101).
制御器106は、例えば動画像の撮影中にユーザが静止画像を記録したいと考えてシャッターボタンを押すなどの動作によって生じる、ユーザからの解析開始要求の有無を監視する。ユーザからの解析開始要求があった場合(ステップS102 YES)は、ステップS103に進む。また、ユーザからの解析開始要求がない場合(ステップS102 NO)は、ステップS101に戻り、画像列の蓄積が継続される。   The controller 106 monitors the presence or absence of an analysis start request from the user, for example, caused by an operation such as pressing the shutter button when the user wants to record a still image while shooting a moving image. If there is an analysis start request from the user (YES in step S102), the process proceeds to step S103. When there is no analysis start request from the user (NO in step S102), the process returns to step S101 and the image sequence is continuously accumulated.
制御器106は、ユーザからの解析開始要求があったことを確認すると、画像列の蓄積を中断させるための制御情報を蓄積画像列管理器102に供給する。すると、蓄積画像列管理器102は、取得した制御情報に応じて画像列の蓄積を中断し、蓄積画像列管理情報に対して初期化を行うことで解析処理の準備を行う。   When the controller 106 confirms that there is an analysis start request from the user, the controller 106 supplies control information for interrupting the accumulation of the image sequence to the accumulated image sequence manager 102. Then, the accumulated image sequence manager 102 suspends image sequence accumulation according to the acquired control information, and prepares for analysis processing by initializing the accumulated image sequence management information.
また、制御器106は、ユーザからの直接的な解析開始要求である第1静止画像取得要求があった時刻に基づいて、ユーザが実際に要求を行った第1静止画像取得要求の時刻と、ユーザが実際に所望している静止画像を含む時刻との時間的なズレの時刻分だけ、第1静止画像取得要求があった時刻から過去にさかのぼった時刻を、ユーザからの第2静止画像取得要求として解析開始位置を特定し、特定した解析開始位置を蓄積画像列管理器102に供給する。すると、蓄積画像列管理器102は、取得した解析開始位置を蓄積画像列管理情報に反映する。これにより、解析開始位置をユーザが実際に所望した静止画像の時刻位置に近づけた上で、解析を開始することができる。   Further, the controller 106, based on the time when there is a first still image acquisition request that is a direct analysis start request from the user, the time of the first still image acquisition request that the user actually requested, The second still image acquisition from the user is performed for a time that goes back in the past from the time when the first still image acquisition request has been made, by the time difference from the time including the still image that the user actually desires. The analysis start position is specified as a request, and the specified analysis start position is supplied to the accumulated image sequence manager 102. Then, the stored image sequence manager 102 reflects the acquired analysis start position in the stored image sequence management information. Accordingly, the analysis can be started after the analysis start position is brought close to the time position of the still image actually desired by the user.
次に、制御器106は、解析処理の実行を制御するために、蓄積画像列管理器102から蓄積画像列管理情報を取得し、次に処理すべき画像列を特定する。特定した画像列の情報に基づいて制御情報を蓄積画像列管理器102に供給する。   Next, the controller 106 acquires accumulated image sequence management information from the accumulated image sequence manager 102 in order to control execution of analysis processing, and specifies an image sequence to be processed next. Control information is supplied to the stored image sequence manager 102 based on the specified image sequence information.
蓄積画像列管理器102は、制御器106から次に処理すべき画像列に関する制御情報を取得し、解析対象となる少なくとも2枚の画像フレームを画像列として特定する。特定した画像列を、順方向画像間解析器103および逆方向画像間解析器104に供給する。特定した画像列を供給する際に、順方向画像間解析器103に対しては、供給すべき画像列のうち、時間的に過去側のフレーム位置の画像を参照画像、時間的に未来側のフレーム位置の画像を対象画像として供給する。また、逆方向画像間解析器104に対しては、供給すべき画像列のうち、時間的に未来側のフレーム位置の画像を参照画像、時間的に過去側のフレーム位置の画像を対象画像として供給する。   The accumulated image sequence manager 102 acquires control information regarding the next image sequence to be processed from the controller 106, and specifies at least two image frames to be analyzed as image sequences. The identified image sequence is supplied to the forward inter-image analyzer 103 and the reverse inter-image analyzer 104. When supplying the specified image sequence, the forward inter-image analyzer 103 is configured to supply the image of the frame position on the past side of the image sequence to be supplied as the reference image, and temporally on the future side. An image at the frame position is supplied as a target image. Also, for the backward image analyzer 104, an image at a future frame position in time is a reference image and an image at a past frame position in time is a target image in an image sequence to be supplied. Supply.
その後、順方向画像間解析器103および逆方向画像間解析器104は、それぞれ参照画像および対象画像を蓄積画像列管理部102から取得することで、解析対象となる画像列を取得する(ステップS103)。その後のステップS104およびステップS105は、並列動作を行うように構成されているが、ステップS104およびステップS105をどちらか一方ずつ順次動作によって処理を行うように構成することも可能であり、これらの構成によって特に限定されるものではないことに注意する。   Thereafter, the forward inter-image analyzer 103 and the reverse inter-image analyzer 104 respectively acquire a reference image and a target image from the accumulated image sequence management unit 102, thereby acquiring an image sequence to be analyzed (step S103). ). Subsequent steps S104 and S105 are configured to perform a parallel operation. However, it is also possible to configure steps S104 and S105 so that either one of the steps S104 and S105 is sequentially performed. Note that there is no particular limitation.
解析対象となる画像列が取得されると、順方向画像間解析器103は、取得した参照画像および対象画像に対して所定の順方向画像間解析を行い(ステップS104)、画像間の類似度を評価し、評価結果である類似度情報を判定器105に供給する。   When the image sequence to be analyzed is acquired, the forward inter-image analyzer 103 performs a predetermined forward inter-image analysis on the acquired reference image and target image (step S104), and the similarity between the images And the similarity information, which is the evaluation result, is supplied to the determiner 105.
同様に、逆方向画像間解析器104は、取得した参照画像および対象画像に対して所定の順方向画像間解析を行い(ステップS104)、画像間の類似度を評価し、評価結果である類似度情報を判定器105に供給する。   Similarly, the backward inter-image analyzer 104 performs a predetermined forward inter-image analysis on the acquired reference image and target image (step S104), evaluates the similarity between the images, and determines the similarity as an evaluation result. The degree information is supplied to the determination unit 105.
判定器105は、順方向画像間解析器103および逆方向画像間解析器104から順方向の類似度情報および逆方向の類似度情報を取得すると、それぞれの類似度情報を比較して順方向と逆方向のどちらの画像間解析が有効であったかを判定する。この判定により、解析対象となっていた画像列から有効な画像フレームを選定し(ステップS106)、類似度情報の判定結果である判定情報を制御器106に供給する。   When the determination unit 105 acquires the forward similarity information and the backward similarity information from the forward image analyzer 103 and the backward image analyzer 104, the determination unit 105 compares the similarity information and compares the forward information with the forward direction information. It is determined which image analysis in the opposite direction was effective. By this determination, an effective image frame is selected from the image sequence that has been analyzed (step S106), and determination information that is a determination result of similarity information is supplied to the controller 106.
制御器106は、判定器105から取得した判定情報に基づき、解析対象となっていた画像列の判定情報を制御情報として蓄積画像列管理器102に供給する。   Based on the determination information acquired from the determiner 105, the controller 106 supplies determination information of the image sequence that has been the analysis target to the accumulated image sequence manager 102 as control information.
蓄積画像列管理器102では、取得した判定情報に関する制御情報に基づいて、蓄積画像列管理情報に対して判定情報を反映させるとともに、現状において出力対象となる画像の位置情報を更新する(ステップS107)。その後、次の解析に備えるために、蓄積画像列管理情報を更新することで、画像列の管理情報を更新する(ステップS108)。   Based on the control information related to the acquired determination information, the stored image sequence manager 102 reflects the determination information on the stored image sequence management information, and updates the position information of the image that is currently the output target (step S107). ). Thereafter, in order to prepare for the next analysis, the management information of the image sequence is updated by updating the accumulated image sequence management information (step S108).
次に、制御器106は、蓄積画像列管理器102から蓄積画像列管理情報を取得し、次の解析対象となる画像列が存在するか否かを判定する(ステップS109)。   Next, the controller 106 acquires accumulated image sequence management information from the accumulated image sequence manager 102, and determines whether or not there is an image sequence to be analyzed next (step S109).
ここで、次の解析対象の画像列が存在する場合(ステップS109 YES)、制御器106は、ステップS103に戻り、上述のように解析処理を継続する。   If there is an image sequence to be analyzed next (YES in step S109), the controller 106 returns to step S103 and continues the analysis processing as described above.
これに対し、次の解析対象の画像列が存在しない場合(ステップS109 NO)、制御器106は、蓄積画像列管理情報から、出力候補となっている代表画像のフレーム位置を特定するとともに、その代表画像が、動画像内のどの範囲の画像列から抽出されたものかを示す画像列の範囲情報を特定し、必要に応じて蓄積画像列管理器102に画像列出力とともに画像列の範囲情報を出力するように要求する制御情報を供給する。   On the other hand, when the next image sequence to be analyzed does not exist (NO in step S109), the controller 106 specifies the frame position of the representative image that is an output candidate from the accumulated image sequence management information, and The range information of the image sequence indicating the range of the image sequence extracted from the moving image in the moving image is specified, and the range information of the image sequence is output to the stored image sequence manager 102 together with the output of the image sequence as necessary. The control information requesting to output is supplied.
その後、蓄積画像列管理器102は、制御器106から画像出力に関する制御情報を取得することで、出力すべき画像を特定し、画像を出力する(ステップS110)。また、画像列の範囲情報も必要に応じて出力する。   Thereafter, the accumulated image sequence manager 102 acquires control information related to image output from the controller 106, thereby specifying an image to be output, and outputs the image (step S110). Also, the range information of the image sequence is output as necessary.
このように、本実施形態1では、図4に一例として示す画像処理を行うことで、ユーザからの静止画像取得要求があった時刻から、必要に応じてユーザが実際に所望した静止画像が存在する時刻までのずれを補正して解析開始位置を特定し、順方向および逆方向の所定の画像間の解析処理を行うことにより、ユーザが実際に所望した静止画像により近く、静止画像として鑑賞に堪えうる品質を備えた静止画像を抽出することが可能となる。   As described above, in the first embodiment, by performing the image processing shown as an example in FIG. 4, there is a still image that the user actually desires as necessary from the time when the user requested to obtain a still image. By correcting the deviation up to the specified time and specifying the analysis start position, and performing the analysis process between the predetermined images in the forward and reverse directions, the image is closer to the actually desired still image and can be viewed as a still image It is possible to extract a still image having a quality that can be withstood.
実施形態2.
次に、本発明の実施形態2として、図1に示す実施形態1の画像処理装置における順方向画像間解析器233および逆方向画像間解析器234を、詳細に構成した図5、図6および図7について説明する。
Embodiment 2. FIG.
Next, as Embodiment 2 of the present invention, FIG. 5, FIG. 6, and FIG. 6 in which the forward image analyzer 233 and the backward image analyzer 234 in the image processing apparatus of Embodiment 1 shown in FIG. FIG. 7 will be described.
図5は、実施形態2の画像処理装置における順方向画像間解析器233および逆方向画像間解析器234の構成例を示す図である。   FIG. 5 is a diagram illustrating a configuration example of the forward inter-image analyzer 233 and the reverse inter-image analyzer 234 in the image processing apparatus according to the second embodiment.
図5において、順方向画像間解析器233は、第1画像列取得器203、第1ME器204、第1MC器205、第1A LPF器206、差分器207a、第1B LPF器208、差分器209a、第1L成分類似度評価器210、第1H成分類似度評価器211を有している。   In FIG. 5, the forward inter-image analyzer 233 includes a first image sequence acquisition unit 203, a first ME unit 204, a first MC unit 205, a first A LPF unit 206, a subtractor 207a, a first B LPF unit 208, and a subtractor 209a. , A first L component similarity evaluator 210 and a first H component similarity evaluator 211.
また、図5において、逆方向画像間解析器234は、第2画像列取得器212、第2ME器213、第2MC器214、第2A LPF器215、差分器216a、第2B LPF器217、差分器218a、第2L成分類似度評価器219、第2H成分類似度評価器220を有している。   In FIG. 5, the backward image analyzer 234 includes a second image sequence acquisition unit 212, a second ME unit 213, a second MC unit 214, a second A LPF unit 215, a differentiator 216a, a second B LPF unit 217, and a difference. 218a, second L component similarity evaluator 219, and second H component similarity evaluator 220.
なお、図5に示す本実施形態2の場合、図1と異なり、制御器222から順方向画像間解析器233および逆方向画像間解析器234へ制御信号が入力しているのは、本実施形態2の順方向画像間解析器233および逆方向画像間解析器234がそれぞれ第1画像列取得器203または第2画像列取得器212を有しており、それらを制御する必要があり、図1に示す実施形態1では、第1画像列取得器203または第2画像列取得器212の機能を蓄積画像列管理器102が有していたからである。従って、本実施形態2でも、第1画像列取得器203または第2画像列取得器212の機能を蓄積画像列管理器202が有するように構成した場合、制御器222から順方向画像間解析器233および逆方向画像間解析器234へ入力する制御信号は不要となる。   In the second embodiment shown in FIG. 5, unlike FIG. 1, the control signal is input from the controller 222 to the forward image analyzer 233 and the reverse image analyzer 234. The forward direction inter-image analyzer 233 and the reverse direction inter-image analyzer 234 of the mode 2 have the first image sequence acquisition unit 203 or the second image sequence acquisition unit 212, respectively, and they need to be controlled. This is because in the first embodiment shown in FIG. 1, the accumulated image sequence manager 102 has the function of the first image sequence acquisition unit 203 or the second image sequence acquisition unit 212. Accordingly, also in the second embodiment, when the accumulated image sequence manager 202 has the function of the first image sequence acquisition unit 203 or the second image sequence acquisition unit 212, the controller 222 forwards the forward image analysis unit. The control signal input to 233 and the reverse direction inter-image analyzer 234 is not necessary.
図6は、実施形態2の画像処理装置における順方向画像間解析器233および逆方向画像間解析器234の他の構成例を示す図である。   FIG. 6 is a diagram illustrating another configuration example of the forward inter-image analyzer 233 and the reverse inter-image analyzer 234 in the image processing apparatus according to the second embodiment.
図6の構成では、図5における差分器207aを第1A HPF器207b、差分器209aを第1B HPF器209b、差分器216aを第2A HPF器216b、差分器218aを第2B HPF器218bの構成要素によって代替したものである。これらは共に、供給された画像情報から高周波数成分を抽出し、H成分情報を生成するためのものである。本発明においてこれらの構成要素は、H成分情報を生成するための構成要素であれば良い。   In the configuration of FIG. 6, the differencer 207a in FIG. 5 is the first A HPF unit 207b, the differencer 209a is the first B HPF unit 209b, the differencer 216a is the second A HPF unit 216b, and the differencer 218a is the secondB HPF unit 218b. Substituted by element. Both of these are for extracting high frequency components from the supplied image information and generating H component information. In the present invention, these constituent elements may be constituent elements for generating H component information.
図7は、実施形態2の画像処理装置における順方向画像間解析器233および逆方向画像間解析器234の、さらに他の構成例を示す図である。   FIG. 7 is a diagram illustrating still another configuration example of the forward inter-image analyzer 233 and the reverse inter-image analyzer 234 in the image processing apparatus according to the second embodiment.
図7は、図5における差分器207aの後段に第1Aノイズ除去器401、差分器209aの後段に第1Bノイズ除去器402、差分器216aの後段に第2Aノイズ除去器403、差分器218aの後段に第2Bノイズ除去器404の構成要素を追加した構成となっている。   FIG. 7 shows the first A noise remover 401 after the differencer 207a in FIG. 5, the first B noise remover 402 after the differencer 209a, the second A noise remover 403 and the differencer 218a after the differencer 216a. The second B noise remover 404 is added to the subsequent stage.
以後、本発明の詳細に関する説明は図7に基づいて進めるものとする。また、図1の構成要素と同等の機能を有する場合には説明を省略する。   Hereinafter, the details of the present invention will be described with reference to FIG. In addition, the description is omitted when it has the same function as the component of FIG.
図7において、制御器222は、図1に示す実施形態1の制御器106の機能を有していると共に、さらに第1画像列取得器203および第2画像列取得器212に関する動作を制御するために、それぞれに対して画像列を取得するための制御情報を供給する機能を有する。   In FIG. 7, the controller 222 has the function of the controller 106 of the first embodiment shown in FIG. 1 and further controls operations related to the first image sequence acquisition unit 203 and the second image sequence acquisition unit 212. Therefore, it has a function of supplying control information for acquiring an image sequence to each.
蓄積画像列管理器202は、図1に示す実施形態1の蓄積画像列管理器102の機能を有していると共に、順方向画像間解析器233を構成する第1画像列取得器203と、逆方向画像間解析器234を構成する第2画像列取得器212とに、処理対象となる画像列を供給する機能を有する。   The accumulated image sequence manager 202 has the function of the accumulated image sequence manager 102 of the first embodiment shown in FIG. 1 and also includes a first image sequence acquisition unit 203 that constitutes a forward inter-image analyzer 233, and It has a function of supplying an image sequence to be processed to the second image sequence acquisition unit 212 constituting the backward image analyzer 234.
第1画像列取得器203は、制御器222からの制御情報に応じて、蓄積画像列管理器202から、順方向の画像間解析処理を行うための参照画像、対象画像の画像列を取得する機能を有する。つまり、取得した画像列において、参照画像のフレーム位置は対象画像のフレーム位置よりも過去側の画像が得られている。取得した参照画像および対象画像を第1ME器204に供給する機能を有する。第1画像列取得器203は、参照画像を第1MC器205に供給する機能を有する。また、取得した対象画像を第1B LPF器208および差分器209aに供給する機能を有する。   The first image sequence acquisition unit 203 acquires a reference image for performing forward inter-image analysis processing and an image sequence of the target image from the accumulated image sequence management unit 202 in accordance with control information from the controller 222. It has a function. That is, in the acquired image sequence, the frame position of the reference image is obtained in the past with respect to the frame position of the target image. A function of supplying the acquired reference image and target image to the first ME unit 204; The first image sequence acquisition unit 203 has a function of supplying a reference image to the first MC unit 205. In addition, it has a function of supplying the acquired target image to the first B LPF unit 208 and the differentiator 209a.
第1ME器204は、第1画像列取得器203から参照画像および対象画像を取得すると共に、所定の動き推定を行い、動きベクトル情報を生成する機能を有する。この所定の動き推定においては、例えばMPEG−1,MPEG−2,MPEG−4,同AVC/SVC等といった画像間相関を利用した動画像符号化において用いられるような、対象画像を重複なく所定の矩形領域に分割し、対応する動きベクトル情報を参照画像内から特定するような動き推定方法によるものであっても構わない。また、対象画像の領域分割を行う際に、所定の任意形状の領域分割を行った後に、対応する任意形状領域の動きベクトル情報を参照画像内から特定するような動き推定方法によるものであれば更に良い構成となる。第1ME器204は、生成した動きベクトル情報を第1MC器205に供給する機能を有する。   The first ME unit 204 has a function of acquiring a reference image and a target image from the first image sequence acquisition unit 203, performing a predetermined motion estimation, and generating motion vector information. In this predetermined motion estimation, for example, the target image is used in a predetermined manner without duplication, such as used in moving image encoding using correlation between images such as MPEG-1, MPEG-2, MPEG-4, and AVC / SVC. It may be based on a motion estimation method that divides into rectangular regions and identifies the corresponding motion vector information from the reference image. In addition, when the target image is segmented, if the segmentation of a predetermined arbitrary shape is performed and then the motion vector information of the corresponding arbitrary shape region is specified from the reference image, the motion estimation method is used. Further, the configuration is better. The first ME device 204 has a function of supplying the generated motion vector information to the first MC device 205.
第1MC器205は、第1画像列取得器203から参照画像を取得するとともに、第1ME器204から、動きベクトル情報を取得する機能を有する。取得した参照画像および動きベクトル情報に基づいて、所定の動き補償を行い、予測画像を生成する機能を有する。この所定の動き補償においては、動き推定と同様に、例えばMPEG−1,MPEG−2,MPEG−4,同AVC/SVC等といった画像間相関を利用した動画像符号化において用いられるような、動きベクトル情報を用いて参照画像から特定された領域を利用して予測画像を生成するような動き補償方法によるものであっても構わない。また、任意形状の領域分割情報と、任意形状領域に対応する動きベクトル情報によって、参照画像から対応する任意形状領域を特定し、このような領域を利用して予測画像を生成するような動き補償方法によるものであれば更に良い構成となる。また、領域分割情報は、第1ME器204から供給されるように構成しても良いし、また、第1画像列取得器203から対象画像を取得して、再度任意形状の領域分割処理を行うことで、生成しても良い。第1MC器は、生成した予測画像を第1A LPF器206および差分器207aに供給する機能を有する。   The first MC unit 205 has a function of acquiring a reference image from the first image sequence acquisition unit 203 and acquiring motion vector information from the first ME unit 204. Based on the acquired reference image and motion vector information, it has a function of performing predetermined motion compensation and generating a predicted image. In this predetermined motion compensation, as in motion estimation, for example, motion such as that used in moving image coding using inter-image correlation such as MPEG-1, MPEG-2, MPEG-4, and AVC / SVC is used. It may be based on a motion compensation method in which a predicted image is generated using an area specified from a reference image using vector information. Also, motion compensation that identifies a corresponding arbitrary shape region from a reference image based on region division information of an arbitrary shape and motion vector information corresponding to the arbitrary shape region, and generates a predicted image using such a region. If it is based on a method, it will become a still better structure. Further, the region division information may be configured to be supplied from the first ME unit 204. Alternatively, the target image is acquired from the first image sequence acquisition unit 203, and the region dividing process having an arbitrary shape is performed again. It may be generated. The first MC unit has a function of supplying the generated predicted image to the first A LPF unit 206 and the difference unit 207a.
第1A LPF器206は、第1MC器205から予測画像を取得し、所定の低周波数帯域通過特性を持つフィルタを用いて予測画像に対してフィルタリング処理を行い、予測画像の低周波数成分情報(L成分情報)を生成する機能を有する。第1A LPF器206は、生成した予測画像のL成分情報を、差分器207aおよび第1L成分類似度評価器210に供給する機能を有する。   The first A LPF unit 206 acquires a predicted image from the first MC unit 205, performs a filtering process on the predicted image using a filter having a predetermined low frequency band pass characteristic, and performs low frequency component information (L Component information). The first A LPF unit 206 has a function of supplying the L component information of the generated predicted image to the difference unit 207a and the first L component similarity evaluator 210.
差分器207aは、第1MC器205から予測画像を取得するとともに、第1A LPF器206から予測画像のL成分情報を取得し、予測画像から予測画像のL成分情報を減算することで予測画像に含まれる高周波数成分情報(H成分情報)を生成する機能を有する。この差分器207aは、図6で示される第1A HPF器207bのような、所定の高周波数帯域通過特性を持つフィルタを用いて予測画像に対してフィルタリング処理を行い、予測画像のH成分情報を生成する機能を有するような構成要素によって代用するような構成とすることもできる。差分器207aは、生成した予測画像のH成分情報を第1Aノイズ除去器401に供給する機能を有する。ここで、生成した予測画像のH成分情報を第1H成分類似度評価器211に供給するような構成とすることで、図5と同等の構成とすることができる。   The differentiator 207a acquires the predicted image from the first MC unit 205, acquires the L component information of the predicted image from the first A LPF unit 206, and subtracts the L component information of the predicted image from the predicted image to the predicted image. It has a function of generating included high frequency component information (H component information). The differentiator 207a performs a filtering process on the predicted image using a filter having a predetermined high frequency band pass characteristic, such as the first A HPF device 207b shown in FIG. 6, and obtains H component information of the predicted image. It can also be set as the structure substituted by the component which has the function to produce | generate. The differentiator 207a has a function of supplying H component information of the generated predicted image to the first A noise remover 401. Here, by configuring the H component information of the generated predicted image to be supplied to the first H component similarity evaluator 211, a configuration equivalent to FIG. 5 can be obtained.
第1Aノイズ除去器401は、差分器207aから予測画像のH成分情報を取得し、所定のノイズ除去処理を行った後に、ノイズ除去後の予測画像のH成分情報を、第1H成分類似度評価器211に供給する機能を有する。ここで、ノイズ除去処理は、所定の範囲を閾値とした、H成分情報に含まれる微小ノイズの除去ができることが望ましい。   The first A noise remover 401 acquires the H component information of the predicted image from the subtractor 207a, performs a predetermined noise removal process, and then uses the H component information of the predicted image after noise removal to evaluate the first H component similarity. The function of supplying to the device 211 is provided. Here, it is desirable that the noise removal processing can remove minute noise included in the H component information with a predetermined range as a threshold.
第1B LPF器208は、第1画像列取得器203から対象画像を取得し、所定の低周波数帯域通過特性を持つフィルタを用いて対象画像に対してフィルタリング処理を行い、対象画像のL成分情報を生成する機能を有する。第1B LPF器208は、生成した対象画像のL成分情報を、差分器209aおよび第1L成分類似度評価器210に供給する機能を有する。   The first B LPF unit 208 acquires the target image from the first image sequence acquisition unit 203, performs a filtering process on the target image using a filter having a predetermined low frequency band pass characteristic, and performs L component information on the target image. It has the function to generate. The first B LPF unit 208 has a function of supplying the generated L component information of the target image to the difference unit 209a and the first L component similarity evaluator 210.
差分器209aは、第1画像列取得器203から対象画像を取得するとともに、第1B LPF器208から対象画像のL成分情報を取得し、対象画像から対象画像のL成分情報を減算することで対象画像に含まれるH成分情報を生成する機能を有する。この差分器209aは、図6で示される第1B HPF器209bのような、所定の高周波数帯域通過特性を持つフィルタを用いて対象画像に対してフィルタリング処理を行い、対象画像のH成分情報を生成する機能を有するような構成要素によって代用するような構成とすることもできる。差分器209aは、生成した対象画像のH成分情報を第1Bノイズ除去器402に供給する機能を有する。ここで、生成した対象画像のH成分情報を第1H成分類似度評価器211に供給するような構成とすることで、図5と同等の構成とすることができる。   The differentiator 209a acquires the target image from the first image sequence acquisition unit 203, acquires the L component information of the target image from the first B LPF unit 208, and subtracts the L component information of the target image from the target image. A function of generating H component information included in the target image; The differentiator 209a performs a filtering process on the target image using a filter having a predetermined high frequency band pass characteristic, such as the 1B HPF unit 209b shown in FIG. 6, and obtains H component information of the target image. It can also be set as the structure substituted by the component which has the function to produce | generate. The differentiator 209 a has a function of supplying the generated H component information of the target image to the first B noise remover 402. Here, by providing the H component information of the generated target image to the first H component similarity evaluator 211, a configuration equivalent to FIG. 5 can be obtained.
第1Bノイズ除去器402は、差分器209aから対象画像のH成分情報を取得し、所定のノイズ除去処理を行った後に、ノイズ除去後の対象画像のH成分情報を、第1H成分類似度評価器211に供給する機能を有する。ここで、ノイズ除去処理は、所定の範囲を閾値とした、H成分情報に含まれる微小ノイズの除去ができることが望ましい。   The first B noise remover 402 acquires the H component information of the target image from the subtractor 209a, performs a predetermined noise removal process, and then uses the H component information of the target image after noise removal to evaluate the first H component similarity. The function of supplying to the device 211 is provided. Here, it is desirable that the noise removal processing can remove minute noise included in the H component information with a predetermined range as a threshold.
第1L成分類似度評価器210は、第1A LPF器206から予測画像のL成分情報を取得するとともに、第1B LPF器208から対象画像のL成分情報を取得する機能を有する。取得した予測画像のL成分情報と、対象画像のL成分情報とを、所定の類似度評価方法に基づいて、順方向におけるL成分情報の類似度情報(順方向L成分類似度情報)を生成し、判定器221に供給する機能を有する。ここで、所定の類似度評価方法としては、例えば予測画像のL成分情報と対象画像のL成分情報との差分値dLの二乗平均平方根(RMSE: Root Mean Squared Error)によって評価するようにすると良い。これは、差分値dLを二乗した上で相加平均し、平方根をとったものである。この値が大きいほど、類似度は低くなる。また、計算を簡単にする必要がある場合には、誤差の絶対値和(SAD: Sum of Absolute Differences)によって評価するようにしても構わない。SADにおいても、値が大きいほど類似度は低くなる。これらの誤差の評価値を類似度情報とすると良い構成となる。また、必要に応じて、予測画像のL成分情報および対象画像のL成分情報のRMSEもしくはSADによって評価し、順方向予測L成分誤差情報、順方向対象L成分誤差情報として判定器221に供給するようにすると更に良い構成となる。ここで、予測画像のL成分情報および対象画像のL成分情報のRMSEもしくはSADによって評価を行う際に、予測画像のL成分情報と対象画像のL成分情報との平均画像を生成し、この平均画像と予測画像のL成分情報との差分画像に対してRMSEもしくはSADによって評価し、順方向予測L成分平均誤差情報を生成し、判定器221に供給するようにすると更に良い構成となる。同様に、この平均画像と対象画像のL成分情報との差分画像に対してRMSEもしくはSADによって評価し、順方向対象L成分平均誤差情報を生成し、判定器221に供給するようにすると更に良い構成となる。   The first L component similarity evaluator 210 has a function of acquiring L component information of the predicted image from the first A LPF unit 206 and acquiring L component information of the target image from the first B LPF unit 208. Based on the L component information of the acquired predicted image and the L component information of the target image, the similarity information of the L component information in the forward direction (forward L component similarity information) is generated based on a predetermined similarity evaluation method. And has a function of supplying to the determiner 221. Here, as a predetermined similarity evaluation method, for example, the evaluation may be performed based on a root mean squared error (RMSE) of a difference value dL between the L component information of the predicted image and the L component information of the target image. . This is an arithmetic mean obtained by squaring the difference value dL and taking a square root. The greater this value, the lower the similarity. In addition, when it is necessary to simplify the calculation, the evaluation may be performed based on the sum of absolute values of errors (SAD: Sum of Absolute Differences). Also in SAD, the greater the value, the lower the similarity. It is a good configuration if these error evaluation values are used as similarity information. If necessary, evaluation is performed by RMSE or SAD of the L component information of the predicted image and the L component information of the target image, and the result is supplied to the determiner 221 as forward predicted L component error information and forward target L component error information. By doing so, the configuration becomes even better. Here, when evaluation is performed by RMSE or SAD of the L component information of the predicted image and the L component information of the target image, an average image of the L component information of the predicted image and the L component information of the target image is generated. It is further preferable that the difference image between the image and the L component information of the predicted image is evaluated by RMSE or SAD, and the forward predicted L component average error information is generated and supplied to the determiner 221. Similarly, the difference image between the average image and the L component information of the target image is evaluated by RMSE or SAD, and forward target L component average error information is generated and supplied to the determiner 221. It becomes composition.
ここで、L成分情報の類似度情報を生成する際の、各成分情報に関する詳細を示す一例として、図8を参照しながら説明する。   Here, an example showing details regarding each component information when generating similarity information of the L component information will be described with reference to FIG.
図8(a)は、予測画像のL成分情報の例を示す。この図8(a)で示される例では、解析対象となっている画像列には円形の動物体が含まれている。この図8(a)では、予測画像が生成される際に、動きベクトル情報に基づいて動き補償が行われることで、対象画像との画面内の空間的な位相差が抑えられている。しかし、この例では、参照画像内の物体の輪郭に動きブレが生じていたため、801の部分のように輪郭が不明瞭になっている。   FIG. 8A shows an example of L component information of a predicted image. In the example shown in FIG. 8A, the image sequence to be analyzed includes a circular moving object. In FIG. 8A, when a predicted image is generated, motion compensation is performed based on the motion vector information, thereby suppressing a spatial phase difference in the screen from the target image. However, in this example, motion blur has occurred in the contour of the object in the reference image, so that the contour is unclear as in the portion 801.
図8(b)は、対象画像のL成分情報の例を示す。この図8(b)で示される例では、対象画像内の物体は、803の部分のようにブレの少ない輪郭になっている。このような予測画像のL成分情報と、対象画像のL成分情報との間で差分を行うと、図8(c)のような状態となる。   FIG. 8B shows an example of L component information of the target image. In the example shown in FIG. 8B, the object in the target image has a contour with little blur like the portion 803. When a difference is performed between the L component information of the predicted image and the L component information of the target image, a state as illustrated in FIG.
図8(c)のような差分画像は、RMSEやSADによる評価を行う際に用いられる。図8(a)、図8(b)、および図8(c)における成分情報の推移を確認するため、同じ空間位置808、810、812の領域内における同一ラインの成分情報をそれぞれ示したものが、図8(d)、図8(e)、図8(f)である。   The difference image as shown in FIG. 8C is used when evaluation is performed by RMSE or SAD. In order to confirm the transition of the component information in FIG. 8A, FIG. 8B, and FIG. 8C, the component information of the same line in the region of the same spatial position 808, 810, 812 is shown, respectively. 8 (d), FIG. 8 (e), and FIG. 8 (f).
図8(d)に示す成分情報809は予測画像のL成分情報における領域808内の1ライン分であり、図8(e)に示す成分情報811は対象画像のL成分情報における領域810内の1ライン分であり、図8(f)に示す成分情報813は、差分画像における領域812内の1ライン分を表している。   The component information 809 shown in FIG. 8D is for one line in the region 808 in the L component information of the predicted image, and the component information 811 shown in FIG. 8E is in the region 810 in the L component information of the target image. The component information 813 shown in FIG. 8F represents one line in the region 812 in the difference image.
図8(d)に示す成分情報809は、動きボケ等を多く含んでいることから、輪郭周辺の信号が急峻ではなく、また全体的に信号成分が低くなっている。図8(e)に示す成分情報811は、動きボケが少ないため、輪郭部分の信号が比較的急峻であり、信号成分も比較的高い。このような図8(d)に示す成分情報809と、図8(e)に示す成分情報811との間で差分を行うことで、図8(f)に示す成分情報813を得る。成分情報813では、図8(f)に示すように、成分情報同士がより近い値であれば、得られる差分の成分情報の絶対値も小さくなる。この例のように、参照画像に動きボケや、動物体の変形や新たな物体の出現・消失などによる動き補償の失敗により成分情報が劣化しているものと差分を行うと、得られる差分の成分情報の絶対値は大きくなる。   Since the component information 809 shown in FIG. 8D includes a lot of motion blur and the like, the signal around the contour is not steep, and the signal component is low overall. In the component information 811 shown in FIG. 8E, since the motion blur is small, the signal of the contour portion is relatively steep and the signal component is also relatively high. By performing a difference between the component information 809 shown in FIG. 8D and the component information 811 shown in FIG. 8E, the component information 813 shown in FIG. 8F is obtained. In the component information 813, as shown in FIG. 8F, if the component information is a closer value, the absolute value of the obtained component information of the difference is also reduced. As in this example, if the difference between the reference image and the component information is degraded due to motion compensation failure due to motion blur, the deformation of the moving object or the appearance / disappearance of a new object, the difference The absolute value of the component information increases.
したがって、予測画像のL成分情報および対象画像のL成分情報との類似度評価を行うことによって、手ブレや動きボケ、動物体の変形や新たな物体の出現・消失などによって生じる、画面内の大局的な変化を評価することを可能にする。   Therefore, by performing similarity evaluation between the L component information of the predicted image and the L component information of the target image, an in-screen generated due to camera shake, motion blur, deformation of a moving object, appearance / disappearance of a new object, and the like. Enables assessment of global changes.
仮に、このL成分情報の類似度評価において、解析対象となっている画像間の類似度があまり高くないと判断された場合、予測画像のL成分情報から順方向予測L成分誤差情報もしくは順方向予測L成分平均誤差情報、対象画像のL成分情報から順方向対象L成分誤差情報もしくは順方向対象L成分平均誤差情報に基づいて、解析対象となっている画像列から、次の解析対象として重要となる画像を選択するようにすることが望ましい。   If it is determined in the similarity evaluation of the L component information that the similarity between the images to be analyzed is not so high, the forward prediction L component error information or the forward direction is determined from the L component information of the predicted image. Based on the predicted L component average error information, the L component information of the target image, and the forward target L component error information or the forward target L component average error information, it is important as the next analysis target from the image sequence being analyzed It is desirable to select an image to become.
図7に戻り、第1H成分類似度評価器211は、第1Aノイズ除去器401からノイズ除去後の予測画像のH成分情報を取得するとともに、第1Bノイズ除去器402からノイズ除去後の対象画像のH成分情報を取得する機能を有する。取得したノイズ除去後の予測画像のH成分情報と、ノイズ除去後の対象画像のH成分情報とを、所定の類似度評価方法に基づいて、順方向におけるH成分情報の類似度情報(順方向H成分類似度情報)を生成し、判定器221に供給する機能を有する。ここで、所定の類似度評価方法としては、例えば、ノイズ除去後の予測画像のH成分情報とノイズ除去後の対象画像のH成分情報との差分値dHの二乗平均平方根(RMSE: Root Mean Squared Error)によって評価するようにすると良い。これは、差分値dHを二乗した上で相加平均し、平方根をとったものである。この値が大きいほど、類似度は低くなる。また、計算を簡単にする必要がある場合には、誤差の絶対値和(SAD: Sum of Absolute Differences)によって評価するようにしても構わない。SADにおいても、値が大きいほど類似度は低くなる。これらの誤差の評価値を類似度情報とすると良い構成となる。また、必要に応じて、予測画像のH成分情報および対象画像のH成分情報のRMSEもしくはSADによって評価し、順方向予測H成分誤差情報、順方向対象H成分誤差情報として判定器221に供給するようにすると更に良い構成となる。ここで、予測画像のH成分情報および対象画像のH成分情報のRMSEもしくはSADによって評価を行う際に、予測画像のH成分情報と対象画像のH成分情報との平均画像を生成し、この平均画像と予測画像のH成分情報との差分画像に対してRMSEもしくはSADによって評価し、順方向予測H成分平均誤差情報を生成し、判定器221に供給するような構成でも構わない。同様に、この平均画像と対象画像のH成分情報との差分画像に対してRMSEもしくはSADによって評価し、順方向対象H成分平均誤差情報を生成し、判定器221に供給するような構成でも構わない。   Returning to FIG. 7, the first H component similarity evaluator 211 acquires the H component information of the predicted image after noise removal from the first A noise remover 401, and the target image after noise removal from the first B noise remover 402. It has the function to acquire H component information. Based on a predetermined similarity evaluation method, the H component information of the predicted image after noise removal and the H component information of the target image after noise removal are based on similarity information (forward direction) of the H component information in the forward direction. H component similarity information) is generated and supplied to the determiner 221. Here, as a predetermined similarity evaluation method, for example, the root mean squared (RMSE) of the difference value dH between the H component information of the predicted image after noise removal and the H component information of the target image after noise removal is used. It is better to evaluate by (Error). This is an arithmetic mean obtained by squaring the difference value dH and taking a square root. The greater this value, the lower the similarity. In addition, when it is necessary to simplify the calculation, the evaluation may be performed based on the sum of absolute values of errors (SAD: Sum of Absolute Differences). Also in SAD, the greater the value, the lower the similarity. It is a good configuration if these error evaluation values are used as similarity information. Further, if necessary, the H component information of the predicted image and the RMS component or SAD of the H component information of the target image are evaluated and supplied to the determiner 221 as forward predicted H component error information and forward target H component error information. By doing so, the configuration becomes even better. Here, when the evaluation is performed by RMSE or SAD of the H component information of the predicted image and the H component information of the target image, an average image of the H component information of the predicted image and the H component information of the target image is generated. The difference image between the image and the H component information of the predicted image may be evaluated by RMSE or SAD, and forward prediction H component average error information may be generated and supplied to the determiner 221. Similarly, a difference image between the average image and the H component information of the target image is evaluated by RMSE or SAD, and forward target H component average error information is generated and supplied to the determiner 221. Absent.
ここで、H成分情報の類似度情報を生成する際の、各成分情報に関する詳細を示す一例として、図9を参照しながら説明する。   Here, an example showing details regarding each component information when generating similarity information of H component information will be described with reference to FIG.
図9(a)は、予測画像のH成分情報の例を示す。この図9(a)で示される例では、解析対象となっている画像列には円形の動物体が含まれている。この図9(a)では、予測画像が生成される際に、動きベクトル情報に基づいて動き補償が行われることで、対象画像との画面内の空間的な位相差が抑えられている。しかし、この例では、参照画像内の物体の輪郭に動きブレが生じていたため、901の部分のように輪郭が不明瞭になっている。   FIG. 9A shows an example of H component information of a predicted image. In the example shown in FIG. 9A, the image sequence to be analyzed includes a circular moving object. In FIG. 9A, when a predicted image is generated, motion compensation is performed based on motion vector information, so that a spatial phase difference in the screen with the target image is suppressed. However, in this example, since motion blur has occurred in the contour of the object in the reference image, the contour is unclear like the portion 901.
図9(b)は、対象画像のH成分情報の例を示す。この図9(b)で示される例では、対象画像内の物体は、903の部分のようにブレの少ない輪郭になっている。このような予測画像のH成分情報と、対象画像のH成分情報との間で差分を行うと、図9(c)のような状態となる。図9(c)のような差分画像は、RMSEやSADによる評価を行う際に用いられる。   FIG. 9B shows an example of H component information of the target image. In the example shown in FIG. 9B, the object in the target image has a contour with little blur like the portion 903. When a difference is performed between the H component information of the predicted image and the H component information of the target image, a state as illustrated in FIG. 9C is obtained. The difference image as shown in FIG. 9C is used when evaluation is performed by RMSE or SAD.
図9(a)、図9(b)、および図9(c)における成分情報の推移を確認するため、同じ空間位置908、910、912の領域内における同一ラインの成分情報をそれぞれ示したものが、図9(d)、図9(e)、図9(f)である。   In order to confirm the transition of the component information in FIG. 9A, FIG. 9B, and FIG. 9C, the component information of the same line in the region of the same spatial position 908, 910, 912 is shown respectively. 9 (d), FIG. 9 (e), and FIG. 9 (f).
図9(d)に示す成分情報909は予測画像のH成分情報における領域908内の1ライン分であり、図9(e)に示す成分情報911は対象画像のH成分情報における領域910内の1ライン分であり、図9(f)に示す成分情報913は差分画像における領域912内の1ライン分を表している。   The component information 909 shown in FIG. 9D is for one line in the region 908 in the H component information of the predicted image, and the component information 911 shown in FIG. 9E is in the region 910 in the H component information of the target image. The component information 913 shown in FIG. 9F represents one line in the region 912 in the difference image.
図9(d)に示す成分情報909は、動きボケ等を多く含んでいることから、輪郭周辺の信号が急峻ではなく、また信号成分が輪郭周辺に広く分布している。   Since the component information 909 shown in FIG. 9D includes many motion blurs and the like, the signal around the contour is not steep, and the signal component is widely distributed around the contour.
図9(e)に示す成分情報911は、動きボケが少ないため、輪郭部分の信号が比較的急峻であり、信号成分も大きく、また輪郭部分に集中している。   In the component information 911 shown in FIG. 9 (e), since the motion blur is small, the signal of the contour portion is relatively steep, the signal component is large, and is concentrated on the contour portion.
このような成分情報909と成分情報911との間で差分を行うことで、図9(f)に示す成分情報913を得る。成分情報913では、図9(f)に示すように、成分情報同士がより近い値であれば、得られる差分の成分情報の絶対値も小さくなる。この例のように、参照画像に動きボケや、動物体の変形や新たな物体の出現・消失などによる動き補償の失敗により成分情報が劣化しているものと差分を行うと、得られる差分の成分情報の絶対値は大きくなる。特に、この例のように図9(d)に示す成分情報909の最大値と、図9(e)に示す成分情報911の最大値の位置がずれていると、差分を行った際に信号成分が十分相殺されず、得られる差分の成分情報の絶対値はより大きくなる。また、動きボケ等により、輪郭部分が不鮮明であると、図9(d)に示す成分情報909のようなH成分情報となる傾向が強い。   By performing a difference between such component information 909 and component information 911, component information 913 shown in FIG. 9F is obtained. In the component information 913, as shown in FIG. 9F, if the component information is a closer value, the absolute value of the obtained component information of the difference is also reduced. As in this example, if the difference between the reference image and the component information is degraded due to motion compensation failure due to motion blur, the deformation of the moving object or the appearance / disappearance of a new object, the difference The absolute value of the component information increases. In particular, if the position of the maximum value of the component information 909 shown in FIG. 9D and the maximum value of the component information 911 shown in FIG. The components are not sufficiently canceled out, and the absolute value of the obtained difference component information becomes larger. Further, if the contour portion is unclear due to motion blur or the like, there is a strong tendency to become H component information such as the component information 909 shown in FIG.
このような成分情報909,911との差分によって得られる図9(f)に示す成分情報913は、大きな値が比較的広い範囲に渡って分布する傾向が強い。このような特徴から、このH成分情報に対して類似度を評価することによって、画像間でどの程度手ブレや動きボケ、画面内のテクスチャ情報が変化しているかを判断することが可能である。   In the component information 913 shown in FIG. 9F obtained by the difference from the component information 909 and 911, a large value tends to be distributed over a relatively wide range. From such characteristics, it is possible to determine how much camera shake, motion blur, and texture information in the screen changes between images by evaluating the similarity to the H component information. .
したがって、予測画像のH成分情報および対象画像のH成分情報との類似度評価を行うことによって、手ブレや動きボケ、動物体の変形や新たな物体の出現・消失などによって生じる、輪郭部分のズレや、動物体の変化といった、画面内の局所的な変化を評価することを可能にする。   Therefore, by evaluating the similarity between the H component information of the predicted image and the H component information of the target image, the contour portion generated due to camera shake, motion blur, deformation of the moving object, appearance / disappearance of a new object, or the like. This makes it possible to evaluate local changes in the screen, such as displacement and changes in the animal body.
仮に、このH成分情報の類似度評価において、解析対象となっている画像間の類似度があまり高くないと判断された場合、予測画像のH成分情報から順方向予測H成分誤差情報もしくは順方向予測H成分平均誤差情報、対象画像のH成分情報から順方向対象H成分誤差情報もしくは順方向対象H成分平均誤差情報に基づいて、解析対象となっている画像列から、次の解析対象として重要となる画像を選択するようにすることが望ましい。   If it is determined that the similarity between the images to be analyzed is not very high in the similarity evaluation of the H component information, the forward prediction H component error information or the forward direction is determined from the H component information of the predicted image. Based on the predicted H component average error information, the H component information of the target image, the forward target H component error information, or the forward target H component average error information, the analysis target image sequence is important as the next analysis target. It is desirable to select an image to become.
また、重要となる画像を選択する際には、輪郭部分や画面内のテクスチャ情報がより鮮明なものを選択することが、静止画像としてより品質の高いものを選択することにつながる。   Further, when selecting an important image, selecting an image with clearer contour information or texture information in the screen leads to selecting a higher quality image as a still image.
よって、例えば順方向予測H成分誤差情報と順方向対象H成分誤差情報とを比較することによって画像を選択しなければならない場合には、これらの値が高い方を選択するように構成すると良い構成となる。   Therefore, for example, when it is necessary to select an image by comparing the forward prediction H component error information and the forward target H component error information, it is preferable that the higher one of these values be selected. It becomes.
図7に戻り、第2画像列取得器212は、第1画像列取得器203と同等の機能を有する。
第2画像列取得器212は、制御器222からの制御情報に応じて、蓄積画像列管理器202から、逆方向の画像間解析処理を行うための参照画像、対象画像の画像列を取得する機能を有する。つまり、取得した画像列において、参照画像のフレーム位置は対象画像のフレーム位置よりも未来側の画像が得られている。取得した参照画像および対象画像を第2ME器213に供給する機能を有する。第2画像列取得器212は、参照画像を第2MC器214に供給する機能を有する。また、取得した対象画像を第2B LPF器217および差分器218aに供給する機能を有する。
Returning to FIG. 7, the second image sequence acquisition unit 212 has the same function as the first image sequence acquisition unit 203.
The second image sequence acquisition unit 212 acquires, from the accumulated image sequence management unit 202, a reference image for performing inter-image analysis processing in the reverse direction and an image sequence of the target image, in accordance with control information from the controller 222. It has a function. In other words, in the acquired image sequence, the frame position of the reference image is a future image with respect to the frame position of the target image. It has a function of supplying the acquired reference image and target image to the second ME device 213. The second image sequence acquisition unit 212 has a function of supplying a reference image to the second MC unit 214. In addition, it has a function of supplying the acquired target image to the second B LPF unit 217 and the differentiator 218a.
第2ME器213は、第1ME器204と同等の機能を有する。第2ME器213は、第2画像列取得器212から参照画像と対象画像を取得し、所定の動き推定を行うことにより動きベクトル情報を生成する機能を有する。また、生成した動きベクトル情報を第2MC器214に供給する機能を有する。   The second ME device 213 has a function equivalent to that of the first ME device 204. The second ME unit 213 has a function of acquiring a reference image and a target image from the second image sequence acquisition unit 212 and generating motion vector information by performing predetermined motion estimation. Further, it has a function of supplying the generated motion vector information to the second MC unit 214.
第2MC器214は、第1MC器205と同等の機能を有する。第2MC器214は、第2画像列取得器212から参照画像を取得するとともに、第2ME器213から動きベクトル情報を取得し、所定の動き補償を行うことにより、予測画像を生成する機能を有する。また、生成した予測画像を第2A LPF器215および差分器216aに供給する機能を有する。   The second MC unit 214 has the same function as the first MC unit 205. The second MC unit 214 has a function of generating a prediction image by acquiring a reference image from the second image sequence acquisition unit 212, acquiring motion vector information from the second ME unit 213, and performing predetermined motion compensation. . In addition, it has a function of supplying the generated predicted image to the second A LPF unit 215 and the difference unit 216a.
第2A LPF器215は、第1A LPF器206と同等の機能を有する。第2A LPF器215は、第2MC器214から予測画像を取得し、所定のフィルタリング処理を行うことで、予測画像のL成分情報を生成する機能を有する。また、生成したL成分情報を、差分器216aおよび第2L成分類似度評価器219に供給する機能を有する。   The second A LPF unit 215 has a function equivalent to that of the first A LPF unit 206. The second A LPF unit 215 has a function of acquiring the predicted image from the second MC unit 214 and performing predetermined filtering processing to generate L component information of the predicted image. In addition, it has a function of supplying the generated L component information to the differentiator 216a and the second L component similarity evaluator 219.
差分器216aは、差分器207aと同等の機能を有する。差分器216aは、第2MC器214から予測画像を取得するとともに、第2A LPF器215から予測画像のL成分情報を取得する機能を有する。また、取得した予測画像から予測画像のL成分情報を減算することで、予測画像のH成分情報を生成し、第2Aノイズ除去器403に供給する機能を有する。ここで、生成した予測画像のH成分情報を第2H成分類似度評価器220に供給するような構成とすることで、図5と同等の構成とすることができる。   The differentiator 216a has a function equivalent to that of the differentiator 207a. The differentiator 216 a has a function of acquiring a predicted image from the second MC unit 214 and acquiring L component information of the predicted image from the second A LPF unit 215. Moreover, it has a function of generating the H component information of the predicted image by subtracting the L component information of the predicted image from the acquired predicted image and supplying it to the second A noise remover 403. Here, by configuring the H component information of the generated predicted image to be supplied to the second H component similarity evaluator 220, a configuration equivalent to FIG. 5 can be obtained.
第2Aノイズ除去器403は、第1Aノイズ除去器401と同等の機能を有する。差分器216aから予測画像のH成分情報を取得し、所定のノイズ除去処理を行った後、ノイズ除去後の予測画像のH成分情報を第2H成分類似度判定器220に供給する機能を有する。   The second A noise remover 403 has a function equivalent to that of the first A noise remover 401. After obtaining the H component information of the predicted image from the differentiator 216a and performing a predetermined noise removal process, the H component information of the predicted image after noise removal is supplied to the second H component similarity determination unit 220.
第2B LPF器217は、第1B LPF器208と同等の機能を有する。第2B LPF器217は、第2画像列取得器212から対象画像を取得し、所定のフィルタリング処理を行うことで対象画像のL成分情報を生成する機能を有する。また、生成した対象画像のL成分情報を差分器218aおよび第2L成分類似度評価器219に供給する機能を有する。   The second B LPF unit 217 has a function equivalent to that of the first B LPF unit 208. The second B LPF unit 217 has a function of acquiring the target image from the second image sequence acquiring unit 212 and generating L component information of the target image by performing a predetermined filtering process. Further, it has a function of supplying the L component information of the generated target image to the differentiator 218a and the second L component similarity evaluator 219.
差分器218aは、差分器209aと同等の機能を有する。差分器218aは、第2画像列取得器212から対象画像を取得するとともに、第2B LPF器217から対象画像のL成分情報を取得する機能を有する。また、取得した対象画像から対象画像のL成分情報を減算することで、対象画像のH成分情報を生成し、第2Bノイズ除去器404に供給する機能を有する。ここで、生成した対象画像のH成分情報を第2H成分類似度評価器220に供給するような構成とすることで、図5と同等の構成とすることができる。   The differencer 218a has a function equivalent to that of the differencer 209a. The differentiator 218 a has a function of acquiring the target image from the second image sequence acquisition unit 212 and acquiring L component information of the target image from the second B LPF unit 217. Further, it has a function of generating H component information of the target image by subtracting the L component information of the target image from the acquired target image and supplying the H component information to the second B noise remover 404. Here, by providing the H component information of the generated target image to the second H component similarity evaluator 220, a configuration equivalent to FIG. 5 can be obtained.
第2Bノイズ除去器404は、第1Bノイズ除去器402と同等の機能を有する。第2Bノイズ除去器404は、差分器218aから対象画像のH成分情報を取得し、所定のノイズ除去処理を行った後、ノイズ除去後の対象画像のH成分情報を第2H成分類似度評価器220に供給する機能を有する。   The second B noise remover 404 has a function equivalent to that of the first B noise remover 402. The second B noise remover 404 acquires the H component information of the target image from the differentiator 218a, performs a predetermined noise removal process, and then uses the H component information of the target image after the noise removal as a second H component similarity evaluator. 220.
第2L成分類似度評価器219は、第1L成分類似度評価器210と同等の機能を有する。第2L成分類似度評価器219は、第2A LPF器215から予測画像のL成分情報を取得するとともに、第2B LPF器217から対象画像のL成分情報を取得する機能を有する。また、取得した予測画像のL成分情報と、対象画像のL成分情報とを、所定の類似度評価方法に基づいて、逆方向におけるL成分情報の類似度情報(逆方向L成分類似度情報)を生成し、判定器221に供給する機能を有する。   The second L component similarity evaluator 219 has a function equivalent to that of the first L component similarity evaluator 210. The second L component similarity evaluator 219 has a function of acquiring the L component information of the predicted image from the second A LPF unit 215 and the L component information of the target image from the second B LPF unit 217. Further, the L component information of the predicted image and the L component information of the target image, based on a predetermined similarity evaluation method, the similarity information of the L component information in the reverse direction (reverse L component similarity information) Is generated and supplied to the determiner 221.
第2H成分類似度評価器220は、第1H成分類似度評価器211と同等の機能を有する。第2H成分類似度評価器220は、第2Aノイズ除去器403からノイズ除去後の予測画像のH成分情報を取得するとともに、第2Bノイズ除去器404からノイズ除去後の対象画像のH成分情報を取得する機能を有する。また、取得したノイズ除去後の予測画像のH成分情報と、ノイズ除去後の対象画像のH成分情報とを、所定の類似度評価方法に基づいて、逆方向におけるH成分情報の類似度情報(逆方向H成分類似度情報)を生成し、判定器221に供給する機能を有する。   The second H component similarity evaluator 220 has a function equivalent to that of the first H component similarity evaluator 211. The second H component similarity evaluator 220 acquires the H component information of the predicted image after noise removal from the second A noise remover 403, and the H component information of the target image after noise removal from the second B noise remover 404. Has a function to acquire. Further, the H component information of the predicted image after noise removal and the H component information of the target image after noise removal are based on similarity information of H component information in the reverse direction based on a predetermined similarity evaluation method ( The reverse direction H component similarity information) is generated and supplied to the determiner 221.
判定器221は、第1L成分類似度評価器210から順方向L成分類似度情報、第1H成分類似度評価器211から順方向H成分類似度情報、第2L成分類似度評価器219から逆方向L成分類似度情報、第2H成分類似度評価器220から逆方向H成分類似度情報を取得する機能を有する。また、判定器221は、必要に応じて、第1L成分類似度評価器210から順方向予測L成分誤差情報もしくは順方向予測L成分平均誤差情報、順方向対象L成分誤差情報もしくは順方向対象L成分平均誤差情報を取得する機能を有する。また、判定器221は、必要に応じて、第1H成分類似度評価器211から順方向予測H成分誤差情報もしくは順方向予測H成分平均誤差情報、順方向対象H成分誤差情報もしくは順方向対象H成分平均誤差情報を取得する機能を有する。また、判定器221は、必要に応じて、第2L成分類似度評価器219から逆方向予測L成分誤差情報もしくは逆方向予測L成分平均誤差情報、逆方向対象L成分誤差情報もしくは逆方向対象L成分平均誤差情報を取得する機能を有する。また、判定器221は、必要に応じて、第2H成分類似度評価器220から逆方向予測H成分誤差情報もしくは逆方向予測H成分平均誤差情報、逆方向対象H成分誤差情報もしくは逆方向対象H成分平均誤差情報を取得する機能を有する。判定器221は、取得した順方向のL成分およびH成分の類似度情報と、逆方向のL成分およびH成分の類似度情報とを比較し、順方向と逆方向の画像間解析のどちらが有効であったかを判定する機能を有する。   The determiner 221 includes forward L component similarity information from the first L component similarity evaluator 210, forward H component similarity information from the first H component similarity evaluator 211, and reverse direction from the second L component similarity evaluator 219. It has a function of acquiring backward component H similarity information from the L component similarity information and the second H component similarity evaluator 220. In addition, the determiner 221 receives the forward prediction L component error information or the forward prediction L component average error information, the forward target L component error information, or the forward target L as necessary from the first L component similarity evaluator 210. It has a function to acquire component average error information. In addition, the determiner 221 receives the forward prediction H component error information or the forward prediction H component average error information, the forward target H component error information, or the forward target H from the first H component similarity evaluator 211 as necessary. It has a function to acquire component average error information. Further, the determiner 221 receives the backward predicted L component error information or the backward predicted L component average error information, the backward target L component error information or the backward target L from the second L component similarity evaluator 219 as necessary. It has a function to acquire component average error information. Also, the determiner 221 receives the backward prediction H component error information or the backward prediction H component average error information, the backward target H component error information, or the backward target H from the second H component similarity evaluator 220 as necessary. It has a function to acquire component average error information. The determiner 221 compares the acquired forward L component and H component similarity information with the reverse L component and H component similarity information, and which of the forward and reverse image analysis is effective It has a function to determine whether or not.
ここで、判定器221における判定方法は、例えば、L成分類似度情報とH成分類似度情報に対して所定の重み付け係数を乗算した後に加算することで、方向別の類似度情報を生成し、その後、生成した順方向の類似度情報と、逆方向の類似度情報とを比較することで有効な方向を判定する。   Here, the determination method in the determiner 221 is, for example, to generate the similarity information for each direction by multiplying the L component similarity information and the H component similarity information by multiplying by a predetermined weighting coefficient, After that, the effective direction is determined by comparing the generated forward similarity information and the backward similarity information.
また、判定器221は、類似度情報の判定結果である判定情報を制御器222に供給する機能を有する。ここで判定情報は、順方向が選択されたか、逆方向が選択されたかを特定することができる情報であれば良い。例えば、順方向と逆方向をそれぞれ+と−、または1と0などのフラグ情報で表現されたものが望ましい。また、生成した類似度情報を用いて順方向と逆方向の類似度情報を比較する際に、所定の閾値と比較して類似度が高くないと判断された場合には、必要に応じて取得した、順方向側の処理から得られる、順方向予測L成分誤差情報もしくは順方向予測L成分平均誤差情報、順方向対象L成分誤差情報もしくは順方向対象L成分平均誤差情報、および、順方向予測H成分誤差情報もしくは順方向予測H成分平均誤差情報、順方向対象H成分誤差情報もしくは順方向対象H成分平均誤差情報、そして逆方向側の処理から得られる、逆方向予測L成分誤差情報もしくは逆方向予測L成分平均誤差情報、逆方向対象L成分誤差情報もしくは逆方向対象L成分平均誤差情報、および、逆方向予測H成分誤差情報もしくは逆方向予測H成分平均誤差情報、逆方向対象H成分誤差情報もしくは逆方向対象H成分平均誤差情報、に対して所定の重み付け係数を乗算した後に加算することで、方向別の誤差情報もしくは平均誤差情報を生成し、その後、生成した順方向の誤差情報もしくは平均誤差情報と、逆方向の誤差情報もしくは平均誤差情報と、を比較することで有効な方向を判定するような方法であると良い。   Further, the determiner 221 has a function of supplying determination information, which is a determination result of similarity information, to the controller 222. Here, the determination information may be information that can specify whether the forward direction is selected or the reverse direction is selected. For example, it is desirable that the forward direction and the reverse direction are represented by flag information such as + and-, or 1 and 0, respectively. In addition, when comparing the similarity information in the forward direction and the backward direction using the generated similarity information, if it is determined that the similarity is not high compared to a predetermined threshold, it is acquired as necessary. The forward prediction L component error information or the forward prediction L component average error information, the forward target L component error information or the forward target L component average error information, and the forward prediction obtained from the processing on the forward direction side. H component error information or forward prediction H component average error information, forward target H component error information or forward target H component average error information, and reverse prediction L component error information or reverse obtained from processing on the reverse side Direction prediction L component average error information, reverse direction target L component error information or reverse direction target L component average error information, and reverse direction prediction H component error information or reverse direction prediction H component average error information, The direction target H component error information or the reverse direction target H component average error information is multiplied by a predetermined weighting coefficient and then added to generate direction-specific error information or average error information. It is preferable that the effective direction is determined by comparing the error information or average error information of the direction with the error information or average error information of the reverse direction.
次に、図10を用いて、図7に示すように構成された実施形態2の順方向画像間解析器233および逆方向画像間解析器234の各構成要素の動作について説明する。   Next, the operation of each component of the forward image analyzer 233 and the backward image analyzer 234 according to the second embodiment configured as shown in FIG. 7 will be described with reference to FIG.
図10は、図7に示す順方向画像間解析器233および逆方向画像間解析器234における画像間解析を行う際の動作を説明したフローチャートである。   FIG. 10 is a flowchart for explaining the operation when the inter-image analysis is performed in the forward inter-image analyzer 233 and the reverse inter-image analyzer 234 shown in FIG.
以下の説明では、順方向の画像間解析に関する動作の説明を行う。逆方向の画像間解析に関する動作に関しては、第2画像列取得器212が取得する画像列である参照画像と対象画像が異なるものの、それ以外の処理動作に関しては、順方向の画像間解析と同様であることから、説明を省略する。   In the following description, operations related to forward inter-image analysis will be described. Regarding the operation related to the inter-image analysis in the reverse direction, the reference image, which is the image sequence acquired by the second image sequence acquiring unit 212, is different from the target image. Therefore, the description is omitted.
まず、制御器222は、解析処理の実行を制御するために、蓄積画像列管理器202から蓄積画像列管理情報を取得し、次に処理すべき画像列を特定し、特定した画像列の情報に基づいて制御情報を蓄積画像列管理器202に供給する。また、第1画像列取得器203および第2画像列取得器212に対して、制御情報を供給することで、動作開始の制御を行う。   First, in order to control execution of analysis processing, the controller 222 acquires accumulated image sequence management information from the accumulated image sequence manager 202, specifies an image sequence to be processed next, and information on the identified image sequence Based on the control information, the control information is supplied to the stored image sequence manager 202. In addition, control of operation start is performed by supplying control information to the first image sequence acquisition unit 203 and the second image sequence acquisition unit 212.
蓄積画像列管理器202は、制御器222から次に処理すべき画像列に関する制御情報を取得し、解析対象となる少なくとも2枚の画像フレームを画像列として特定する。特定した画像列を、第1画像列取得器203および第2画像列取得器212に供給する。特定した画像列を供給する際に、順方向である第1画像列取得器203に対しては、供給すべき画像列のうち、時間的に過去側のフレーム位置の画像を参照画像、時間的に未来側のフレーム位置の画像を対象画像として供給する。また、逆方向である第2画像列取得器212に対しては、供給すべき画像列のうち、時間的に未来側のフレーム位置の画像を参照画像、時間的に過去側のフレーム位置の画像を対象画像として供給する。   The accumulated image sequence manager 202 acquires control information regarding the next image sequence to be processed from the controller 222, and specifies at least two image frames to be analyzed as image sequences. The identified image sequence is supplied to the first image sequence acquisition unit 203 and the second image sequence acquisition unit 212. When supplying the specified image sequence, the first image sequence acquisition unit 203 that is in the forward direction, among the image sequences to be supplied, the image of the frame position on the past side in time is referred to as the reference image, temporal The image at the future frame position is supplied as the target image. In addition, for the second image sequence acquisition unit 212 in the reverse direction, an image at a temporally future frame position among the image sequences to be supplied is a reference image, and an temporally past frame position image. Is supplied as a target image.
すると、実施形態2における順方向画像間解析器233内では、第1画像列取得器203は、制御器222からの要求に応じて、蓄積画像列管理器202から、参照画像および対象画像を取得し(ステップS201)、取得した参照画像および対象画像を第1ME器204に供給する。また、取得した参照画像を少なくとも第1MC器205に供給する。更に、取得した対象画像を第1B LPF器208および差分器209aに供給する。   Then, in the forward inter-image analyzer 233 in the second embodiment, the first image sequence acquisition unit 203 acquires the reference image and the target image from the accumulated image sequence management unit 202 in response to a request from the controller 222. In step S201, the acquired reference image and target image are supplied to the first ME device 204. Further, the acquired reference image is supplied to at least the first MC unit 205. Further, the acquired target image is supplied to the 1B LPF unit 208 and the difference unit 209a.
次に、第1ME器204が第1画像列取得器203から参照画像および対象画像を取得すると、これらの画像列を利用して所定の動き推定を行い(ステップS202)、動きベクトル情報を生成し、第1MC器205に供給する。   Next, when the first ME unit 204 acquires the reference image and the target image from the first image sequence acquisition unit 203, predetermined motion estimation is performed using these image sequences (step S202), and motion vector information is generated. , And supplied to the first MC device 205.
第1MC器205は、第1画像列取得器203から少なくとも参照画像を取得するとともに、第1ME器204から動きベクトル情報を取得する。取得した参照画像と動きベクトル情報を利用して、所定の動き補償を行って(ステップS203)、予測画像を生成し、第1A LPF器206および差分器207aに供給する。   The first MC unit 205 acquires at least a reference image from the first image sequence acquisition unit 203 and acquires motion vector information from the first ME unit 204. Predetermined motion compensation is performed using the acquired reference image and motion vector information (step S203), a predicted image is generated, and supplied to the first A LPF unit 206 and the difference unit 207a.
予測画像の生成が終わると、第1A LPF器206は、第1MC器205から予測画像を取得し、取得した予測画像に対して所定のフィルタリング処理を行い、予測画像のL成分情報を生成することで、予測画像の低周波数成分を抽出する(ステップS204)。その後、生成した予測画像のL成分情報を差分器207aおよび第1L成分類似度評価器210に供給する。   When the generation of the predicted image ends, the first A LPF unit 206 acquires the predicted image from the first MC unit 205, performs a predetermined filtering process on the acquired predicted image, and generates L component information of the predicted image. Thus, the low frequency component of the predicted image is extracted (step S204). Thereafter, the L component information of the generated predicted image is supplied to the differentiator 207a and the first L component similarity evaluator 210.
その後、差分器207aは、第1MC器205から予測画像を取得するとともに、第1A LPF器206から予測画像のL成分情報を取得する。取得した予測画像から予測画像のL成分情報を減算し、予測画像のH成分情報を生成することで、対象画像の高周波数成分を抽出する(ステップS207)。その後、生成した予測画像のH成分情報を第1ノイズ除去器401に供給する。   Thereafter, the differentiator 207 a acquires the prediction image from the first MC unit 205 and also acquires the L component information of the prediction image from the first A LPF unit 206. The high frequency component of the target image is extracted by subtracting the L component information of the predicted image from the acquired predicted image to generate H component information of the predicted image (step S207). Thereafter, the H component information of the generated predicted image is supplied to the first noise remover 401.
すると、第1Aノイズ除去器401は、予測画像のH成分情報を取得し、所定のノイズ除去を行う(ステップS208)ことで、ノイズ除去後の予測画像のH成分情報を生成し、第1H成分類似度評価器211に供給する。   Then, the first A noise remover 401 acquires the H component information of the predicted image and performs predetermined noise removal (step S208), thereby generating H component information of the predicted image after noise removal, and the first H component. This is supplied to the similarity evaluation unit 211.
以上のような予測画像に対する処理と並列して、以下の対象画像に対する処理が行われる。   In parallel with the process for the predicted image as described above, the following process for the target image is performed.
つまり、まず、第1B LPF器208では、第1画像列取得器203から対象画像を取得し、所定のフィルタリング処理を行うことにより対象画像のL成分情報を生成することで、対象画像の低周波数成分を抽出する(ステップS205)。その後、生成した対象成分のL成分情報を差分器209aおよび第1L成分類似度評価器210に供給する。   That is, first, the 1B LPF unit 208 acquires the target image from the first image sequence acquisition unit 203, and generates L component information of the target image by performing a predetermined filtering process, thereby reducing the low frequency of the target image. Components are extracted (step S205). Thereafter, the generated L component information of the target component is supplied to the subtractor 209a and the first L component similarity evaluator 210.
すると、差分器209aは、第1画像列取得器203から対象画像を取得するとともに、第1B LPF器208から対象画像のL成分情報を取得して、取得した対象画像から対象画像のL成分情報を減算し、対象画像のH成分情報を生成することで、対象画像の高周波数成分を抽出する(ステップS209)。その後、差分器209aは、生成した対象画像のH成分情報を第1Bノイズ除去器402に供給する。   Then, the differentiator 209a acquires the target image from the first image sequence acquisition unit 203, acquires the L component information of the target image from the first B LPF unit 208, and acquires the L component information of the target image from the acquired target image. Is subtracted to generate H component information of the target image, thereby extracting a high frequency component of the target image (step S209). Thereafter, the differentiator 209 a supplies the generated H component information of the target image to the first B noise remover 402.
次に、第1Bノイズ除去器402は、対象画像のH成分情報を取得し、所定のノイズ除去を行う(ステップS210)ことで、ノイズ除去後の対象画像のH成分情報を生成し、第1H成分類似度評価器211に供給する。   Next, the 1B noise remover 402 acquires the H component information of the target image and performs predetermined noise removal (step S210), thereby generating the H component information of the target image after noise removal. This is supplied to the component similarity evaluator 211.
それぞれのL成分情報が生成されると、第1L成分類似度評価器210は、第1A LPF器206から予測画像のL成分情報を取得するとともに、第1B LPF器208から対象画像のL成分情報を取得し、所定の類似度評価方法に基づいて、低周波数成分の類似度を評価する(ステップS206)。その後、評価結果である順方向のL成分類似度情報は、判定器221に供給される。   When the respective L component information is generated, the first L component similarity evaluator 210 acquires the L component information of the predicted image from the first A LPF unit 206 and the L component information of the target image from the first B LPF unit 208. And the similarity of the low frequency component is evaluated based on a predetermined similarity evaluation method (step S206). Thereafter, forward L component similarity information, which is an evaluation result, is supplied to the determiner 221.
同様に、それぞれのH成分情報が生成されると、第1H成分類似度評価器211は、第1Aノイズ除去器401からノイズ除去後の予測画像のH成分情報を取得するとともに、第1Bノイズ除去器402からノイズ除去後の対象画像のH成分情報を取得し、所定の類似度判定方法に基づいて、高周波数成分の類似度を評価する(ステップS211)。その後、評価結果である順方向のH成分類似度情報は、判定器221に供給される。   Similarly, when each H component information is generated, the first H component similarity evaluator 211 obtains the H component information of the predicted image after noise removal from the first A noise remover 401 and removes the first B noise. The H component information of the target image after noise removal is acquired from the device 402, and the similarity of the high frequency component is evaluated based on a predetermined similarity determination method (step S211). Thereafter, the forward direction H component similarity information, which is the evaluation result, is supplied to the determiner 221.
このように、本実施形態の画像処理装置では、上述のような画像間解析処理を行うことにより、順方向における類似度情報を生成し、また、同様に逆方向の画像間解析を行うことで、逆方向における類似度情報を生成し、これらの順方向および逆方向の類似度情報に基づいて、判定器221は所定の判定を行うことで、解析対象となっている画像列の、どちら側からの画像間相関が高いかを特定し、どちらの画像を後の解析対象とすべきかを判断することができる。   As described above, the image processing apparatus according to the present embodiment generates the similarity information in the forward direction by performing the inter-image analysis process as described above, and similarly performs the inter-image analysis in the reverse direction. Then, similarity information in the reverse direction is generated, and based on the forward direction and reverse direction similarity information, the determiner 221 makes a predetermined determination, so which side of the image sequence to be analyzed is determined. It is possible to determine whether the correlation between the images from is high and to determine which image should be the later analysis target.
次に、本実施形態の画像処理方法によって出力候補となる代表画像が特定されていく手順をより詳細に説明するため、図11、図12、図13を用いて以下に説明する。   Next, in order to describe in more detail a procedure for specifying a representative image that is an output candidate by the image processing method of the present embodiment, a description will be given below with reference to FIGS. 11, 12, and 13.
図11において、501は、図7の蓄積画像列管理器202で保持されている画像列の状態の一例を示している。   In FIG. 11, reference numeral 501 denotes an example of the state of the image sequence held by the accumulated image sequence manager 202 of FIG.
蓄積画像列管理器202は、画像列入力を蓄積しておくための手段として、所定の枚数の画像列を格納できるフレームバッファ(図示せず)を備え、制御器222の制御に応じて入力画像列を蓄積する。フレームバッファは、フレームバッファ内の格納位置を特定するためのフレーム位置に関する情報、すなわちフレーム位置情報もしくは単にフレーム位置に基づいて、格納された画像を管理する。   The accumulated image sequence manager 202 includes a frame buffer (not shown) that can store a predetermined number of image sequences as means for accumulating image sequence inputs, and an input image is controlled according to the control of the controller 222. Accumulate columns. The frame buffer manages the stored image based on the information on the frame position for specifying the storage position in the frame buffer, that is, the frame position information or simply the frame position.
図11の画像列501では、便宜上、解析開始位置に対応する画像をフレーム位置0とし、この画像よりも一つ前の過去の画像をフレーム位置1とするように、格納された時刻が過去に進むほど、順次フレーム位置の番号が増加するように番号付けされているものとする。   In the image sequence 501 in FIG. 11, for the sake of convenience, the stored time is stored in the past so that the image corresponding to the analysis start position is the frame position 0 and the previous image before this image is the frame position 1. It is assumed that the number of frame positions is sequentially increased as the process proceeds.
また、格納されている画像は、フレーム位置による管理の他に、画像が生成された時刻に関する情報、すなわち時刻情報と関連付けられているものとする。つまり、蓄積画像列管理器202では、入力される画像列は、それぞれの時刻情報とともに蓄積される。   Further, it is assumed that the stored image is associated with information related to the time when the image is generated, that is, time information, in addition to management based on the frame position. That is, in the accumulated image sequence manager 202, the input image sequence is accumulated together with each time information.
図11における画像列501では、はじめに、解析開始位置に対応するフレーム位置の画像が、代表画像の候補として設定される。図11では、黒く塗りつぶしたフレーム501aで表現されている。ここでは、フレーム位置0の画像が代表画像の候補として選択される。   In the image sequence 501 in FIG. 11, first, an image at a frame position corresponding to the analysis start position is set as a representative image candidate. In FIG. 11, it is represented by a black frame 501a. Here, the image at frame position 0 is selected as a representative image candidate.
次に、蓄積されている画像列において、時間方向に対して階層の概念を導入する。例えば、現在蓄積されている画像列は、毎秒30フレーム(以後、30fpsという。)のフレームレートで撮影されたものであるとする。この30fpsの時間間隔の階層を、ここでは0階層とする。このような画像列に対して、図11の画像列501のように画像を2枚ずつ1組として扱い、この時間間隔で1枚分の画像を表現した場合には、15fpsの時間間隔で表現されることになる。   Next, the concept of hierarchy is introduced in the time direction in the stored image sequence. For example, it is assumed that the currently accumulated image sequence is taken at a frame rate of 30 frames per second (hereinafter referred to as 30 fps). The hierarchy of the time interval of 30 fps is assumed to be 0 hierarchy here. For such an image sequence, when two images are handled as one set as in the image sequence 501 of FIG. 11 and one image is expressed at this time interval, it is expressed at a time interval of 15 fps. Will be.
このような時間間隔の階層を−1階層とする。つまり、このように階層が1つ下がる毎にフレームレートが半分になるように、画像列の組を構成することを、ここでは時間方向に対するディアディック(dyadic)な階層構造と称することにする。このようなディアディックな階層構造を実現するためには、時間間隔の階層を1つ下げてフレームレートを半分にする際に、組となっていた2枚の画像のうち、時間的に過去側の画像、もしくは時間的に未来側の画像のどちらか一方の対応する時刻の画像を残すことによって、この2枚分の時間間隔を表現することになる。この画像の残し方によって、フレームレートが半分になった後の画像列は、画像間の時間間隔が等間隔の画像列になったり、不等間隔の画像列になったりする。例えば、フレームレートを半分にする際に、常に過去側の画像を残すようにした場合には、画像間の時間間隔が等間隔の画像列となる。未来側の画像を残すようにした場合も同様に時間間隔が等間隔の画像列となる。また、画像の残し方が一定でない場合、例えば、所定の判定方法に基づいて残す画像を切り替えるような場合には、時間間隔が不等間隔の画像列となる。ただし、所定の判定方法に基づいて残す画像を切り替えるような場合であっても、判定の結果、常に一方の画像を残すような処理が行われた場合には、時間間隔が等間隔の画像列となる。本実施形態の画像処理装置における画像間解析では、この画像の残し方を、順方向の画像間解析と逆方向の画像間解析の結果から得られる類似度によって制御することから、一般に、画像間の時間間隔が不等間隔の画像列が生成される。ただし、類似度による判定の結果、常に一方の画像を残すような処理が行われた場合には、時間間隔が等間隔の画像列が生成される場合もある。よって、本発明では、画像間の時間間隔が等間隔の画像列も、不等間隔の画像列、不等間隔部分を一部に有する画像列も対象とする。   Such a hierarchy of time intervals is set to -1. That is, in this case, configuring a set of image sequences so that the frame rate is halved every time one layer is lowered is referred to as a dyadic hierarchical structure in the time direction. In order to realize such a diadic hierarchical structure, when the time interval hierarchy is lowered by one and the frame rate is halved, among the two images that were paired, the past side in time The time interval for the two images is expressed by leaving the image at the time corresponding to either the image of the image or the image of the future side in time. Depending on how the images are left, the image sequence after the frame rate is halved may be an image sequence with equal time intervals between images or an image sequence with unequal intervals. For example, when the image on the past side is always left when the frame rate is halved, the time interval between the images is an equally spaced image sequence. Similarly, when an image on the future side is left, the image sequence is equally spaced. In addition, when the way of leaving the image is not constant, for example, when switching the image to be left based on a predetermined determination method, the image sequence has an unequal time interval. However, even if the image to be left is switched based on a predetermined determination method, if a process that always leaves one image is performed as a result of the determination, an image sequence with an equal time interval is used. It becomes. In the inter-image analysis in the image processing apparatus of the present embodiment, since how to leave this image is controlled by the similarity obtained from the results of the inter-image analysis in the forward direction and the inter-image analysis in the reverse direction, An image sequence with unequal intervals is generated. However, when processing that always leaves one image is performed as a result of determination based on the degree of similarity, an image sequence with equal time intervals may be generated. Therefore, in the present invention, an image sequence in which time intervals between images are equally spaced, an image sequence having unequal intervals, and an image sequence having part of unequal intervals are also targeted.
本実施形態の画像処理装置における画像間解析では、まず、解析対象となる少なくとも2枚の画像列を特定する必要があるため、まず、フレームバッファ内に保持されている画像列に対して、−1階層となるように、画像列の組を考える。   In the inter-image analysis in the image processing apparatus of the present embodiment, it is necessary to first specify at least two image sequences to be analyzed. Therefore, first, for an image sequence held in the frame buffer, − Consider a set of image sequences so as to be one layer.
最初の解析対象となる2枚の画像列は、図11の画像列502で示されるフレーム位置0と、フレーム位置1である。この解析対象となっている画像列において、順方向の画像間解析を行う場合には、過去側のフレームであるフレーム位置1の画像を参照画像とし、未来側のフレームであるフレーム位置0の画像を対象画像とする。   The two image sequences to be analyzed first are the frame position 0 and the frame position 1 indicated by the image sequence 502 in FIG. In the case of performing an inter-image analysis in the forward direction in the image sequence to be analyzed, an image at frame position 1 that is a past frame is used as a reference image, and an image at frame position 0 that is a future frame. Is the target image.
そして、これらの順方向の画像列に対して順方向の動き推定(ME)および動き補償(MC)を行うことで、図11の503aのような成分情報を得る。   Then, by performing forward motion estimation (ME) and motion compensation (MC) on these forward image sequences, component information such as 503a in FIG. 11 is obtained.
ここで、対象画像に対しては解析方向の特定を容易にするために、順方向を意味する「+」記号を付している。また、逆方向の画像間解析を行う場合には、未来側のフレームであるフレーム位置0の画像を参照画像とし、過去側のフレームであるフレーム位置1の画像を対象画像とする。そして、これらの逆方向の画像列に対して逆方向のMEおよびMCを行うことで、図11の503bのような成分情報を得る。ここで、対象画像に対しては解析方向の特定を容易にするために、逆方向を意味する「−」記号を付している。   Here, in order to make it easy to specify the analysis direction, a “+” sign indicating a forward direction is attached to the target image. Further, when performing inter-image analysis in the reverse direction, an image at frame position 0, which is a future frame, is used as a reference image, and an image at frame position 1, which is a past frame, is used as a target image. And component information like 503b of FIG. 11 is obtained by performing reverse ME and MC with respect to these reverse image sequences. Here, in order to easily specify the analysis direction, a “−” symbol indicating the reverse direction is attached to the target image.
その後、図11の503aおよび503bに対して所定の類似度評価および判定により、出力候補となる代表画像として有効な画像が含まれる方向の画像列を選択する。   Thereafter, an image sequence in a direction including an effective image as a representative image to be an output candidate is selected by predetermined similarity evaluation and determination with respect to 503a and 503b in FIG.
図11の504では、順方向の画像間解析が有効であったと判断されている。その後、参照画像として設定されたフレーム位置1の画像を、次の解析対象の画像とする。ここでは、参照画像側のフレーム位置を次の解析対象の画像としている。これは、参照画像に対してMCを行った予測画像との類似度比較においても、十分対象画像との類似度が高いということから、より情報量が多く含まれていると考えられる参照画像側のフレーム位置の画像を選択する構成をとっている。しかし、MCによる影響を受けていない対象画像側のフレーム位置を重視した構成とし、対象画像側のフレーム位置の画像を選択するような構成としても構わない。また、今回の組には、代表画像の候補となるフレーム位置が含まれているため、この代表画像候補位置を更新する。ここでは、フレーム位置1が新たな代表画像候補位置として新たに設定される。同様の処理を図11の画像列506,510、514の画像列に対しても行う。   In 504 of FIG. 11, it is determined that the forward inter-image analysis is effective. Thereafter, the image at frame position 1 set as the reference image is set as the next image to be analyzed. Here, the frame position on the reference image side is set as the next analysis target image. This is because the reference image side which is considered to contain a larger amount of information because the similarity with the target image is sufficiently high in the similarity comparison with the prediction image obtained by performing MC on the reference image. The image is selected at the frame position. However, the configuration may be such that the frame position on the target image side that is not affected by the MC is emphasized, and the image at the frame position on the target image side is selected. Further, since the current set includes frame positions that are candidates for representative images, the representative image candidate positions are updated. Here, frame position 1 is newly set as a new representative image candidate position. Similar processing is performed for the image sequences 506, 510, and 514 in FIG.
ここで、図11の画像列502に隣接している画像列506以外の画像列は、代表画像候補位置の画像との画像間解析を行う必要が生じた時点で解析をするように動作を制御すると、処理に無駄のない、より良い構成となる。ここでは、説明を簡単にするため、同一階層の解析処理は全て行ったものとすると、図11の画像列505,509,513,517のような、−1階層の画像列が得られる。   Here, the operation is controlled so that an image sequence other than the image sequence 506 adjacent to the image sequence 502 in FIG. 11 is analyzed when it becomes necessary to perform an inter-image analysis with the image at the representative image candidate position. Then, it becomes a better configuration without waste in processing. Here, in order to simplify the description, assuming that all the analysis processing of the same layer is performed, an image sequence of −1 layer such as the image sequences 505, 509, 513, and 517 of FIG. 11 is obtained.
図12は、−2階層の画像列を得るための処理を示すための図である。   FIG. 12 is a diagram for illustrating a process for obtaining an image sequence of the −2 hierarchy.
−2階層では、−1階層の画像列として得られた画像列で2枚ずつ1組として扱うことから、組となった2枚の画像列は、0階層においては4枚の画像列から選別された画像列となる。この様子を示したものが図12の画像列601である。   In the -2 hierarchy, the image sequence obtained as the -1 hierarchy image sequence is handled as a set of 2 images, so the 2 image sequences in the set are selected from the 4 image sequences in the 0 hierarchy. The resulting image sequence. This is shown by an image sequence 601 in FIG.
つまり、フレーム位置1とフレーム位置2の画像列は、フレーム位置0からフレーム位置3までの4枚の画像列から選別されたものであり、この画像列の範囲がフレーム位置1とフレーム位置2の画像列の影響範囲、つまり類似度が高いグループと考えることができる。   That is, the image sequence at the frame position 1 and the frame position 2 is selected from the four image sequences from the frame position 0 to the frame position 3, and the range of the image sequence is the frame position 1 and the frame position 2. It can be considered as a group having a high influence range of an image sequence, that is, a similarity.
−2階層の画像列を得るための処理は、図11と同様であり、−1階層の画像列において、2枚ずつ1組として扱い、図12の画像列602が示すような解析対象となる画像列を特定する。画像列602では、フレーム位置1およびフレーム位置2の画像列が解析対象となる。その後、同様の画像間解析を行い、順方向の解析結果が選択され、順方向の参照画像に対応するフレーム位置の画像が選択される。また、今回の組には、代表画像の候補となるフレーム位置が含まれているため、この代表画像候補位置を更新する。ここでは、フレーム位置2が新たな代表画像候補位置として新たに設定される。同様の処理を図12の画像列606の画像列に対しても行う。   The process for obtaining the -2 layer image sequence is the same as that shown in FIG. 11. In the -1 layer image sequence, two images are treated as one set, and the analysis target is as shown by the image sequence 602 in FIG. Specify the image sequence. In the image sequence 602, the image sequences at the frame position 1 and the frame position 2 are to be analyzed. Thereafter, the same inter-image analysis is performed, the analysis result in the forward direction is selected, and the image at the frame position corresponding to the reference image in the forward direction is selected. Further, since the current set includes frame positions that are candidates for representative images, the representative image candidate positions are updated. Here, frame position 2 is newly set as a new representative image candidate position. Similar processing is performed on the image sequence 606 in FIG.
図13は、−3階層の画像列を得るための処理を示すための図である。   FIG. 13 is a diagram for illustrating a process for obtaining a -3 layer image sequence.
−3階層では、−2階層の画像列として得られた画像列で2枚ずつ1組として扱うことから、組となった2枚の画像列は、0階層においては8枚の画像列から選別された画像列となる。この様子を示したものが図13の画像列701である。つまり、フレーム位置2とフレーム位置7の画像列は、フレーム位置0からフレーム位置7までの8枚の画像列から選別されたものであり、この画像列の範囲がフレーム位置2とフレーム位置7の画像列の影響範囲、つまり類似度が高いグループと考えることができる。   In the −3 hierarchy, the image sequence obtained as the −2 hierarchy image sequence is handled as a set of 2 images, so that the 2 image sequences in the set are selected from the 8 image sequences in the 0 hierarchy. The resulting image sequence. This is shown by an image sequence 701 in FIG. In other words, the image sequence at the frame position 2 and the frame position 7 is selected from the eight image sequences from the frame position 0 to the frame position 7, and the range of the image sequence is the range of the frame position 2 and the frame position 7. It can be considered as a group having a high influence range of an image sequence, that is, a similarity.
−3階層の画像列を得るための処理は、図11および図12と同様であり、−2階層の画像列において、2枚ずつ1組として扱い、図13の画像列702が示すような解析対象となる画像列を特定する。画像列702では、フレーム位置2およびフレーム位置7の画像列が解析対象となる。その後、同様の画像間解析を行い、順方向の解析結果が選択され、順方向の参照画像に対応するフレーム位置の画像が選択される。また、今回の組には、代表画像の候補となるフレーム位置が含まれているため、この代表画像候補位置を更新する。ここでは、前の階層、つまりここでは−2階層における代表画像候補位置がフレーム位置2と同じであるため、この代表画像候補位置を維持する。   The process for obtaining the -3 layer image sequence is the same as in FIG. 11 and FIG. 12, and in the -2 layer image sequence, two images are treated as one set, and the analysis shown by the image sequence 702 in FIG. The target image sequence is specified. In the image sequence 702, the image sequences at the frame position 2 and the frame position 7 are to be analyzed. Thereafter, the same inter-image analysis is performed, the analysis result in the forward direction is selected, and the image at the frame position corresponding to the reference image in the forward direction is selected. Further, since the current set includes frame positions that are candidates for representative images, the representative image candidate positions are updated. Here, since the representative image candidate position in the previous hierarchy, that is, the −2 hierarchy here is the same as the frame position 2, this representative image candidate position is maintained.
ここで、本実施形態の画像処理装置による画像間解析処理では、フレームバッファ内の画像列に対して画像間解析を行い、1枚の代表画像が特定された時点で少なくとも終了し、特定された代表画像と、必要に応じて代表画像の影響範囲である画像列の範囲に関する情報を出力する。そのため、図13では、代表画像はフレーム位置2の画像である。また、画像列の範囲は、現在の階層である−3階層よりも一つ上、つまりここでは−2階層の、フレーム位置2が属する画像列の範囲を特定し、必要に応じて代表画像とともに出力するようにすると良い。   Here, in the inter-image analysis processing by the image processing apparatus of the present embodiment, the inter-image analysis is performed on the image sequence in the frame buffer, and at least when one representative image is specified, the processing is completed. Information about the representative image and, if necessary, the range of the image sequence that is the influence range of the representative image is output. Therefore, in FIG. 13, the representative image is an image at frame position 2. Further, the range of the image sequence is one level higher than the current level −3, that is, the level −2 in this case, and the range of the image sequence to which the frame position 2 belongs is specified. It is good to output.
そして、図13の画像列706が示すように、最終的に出力される代表画像のフレーム位置は、最初に設定されたフレーム位置である解析開始位置からずれた位置となっている。これは、本実施形態の画像処理装置の画像間解析処理によって、最初の解析開始位置の画像が静止画像として十分な品質ではないと判断されて、より静止画像としてふさわしい、静止画像として鑑賞に堪えうる品質を備えた静止画像としてフレーム2の位置の画像が抽出された結果と言える。   As shown in the image row 706 in FIG. 13, the frame position of the representative image that is finally output is shifted from the analysis start position that is the frame position that is initially set. This is because the image at the first analysis start position is determined not to have sufficient quality as a still image by the inter-image analysis processing of the image processing apparatus according to the present embodiment, and is suitable for still image viewing. It can be said that the image at the position of the frame 2 is extracted as a still image having high quality.
実施形態3.
実施形態3は、図1、図5、図6、図7により示す実施形態1,2の画像処理装置の機能を、図14および図15に示すコンピュータである中央処理制御装置1203、1303がプログラムの実行により実現するようにしたものである。
Embodiment 3. FIG.
In the third embodiment, the functions of the image processing apparatuses according to the first and second embodiments shown in FIGS. 1, 5, 6, and 7 are programmed by the central processing control devices 1203 and 1303, which are computers shown in FIGS. This is realized by executing.
図14は、本実施形態3の画像処理プログラムにより動作する情報処理装置の一例の構成図を示す。   FIG. 14 is a configuration diagram of an example of an information processing apparatus that operates according to the image processing program of the third embodiment.
同図において、情報処理装置1200は、各種の情報を入力するための入力装置1201と、各種の情報を出力するための出力装置1202と、本発明の画像処理プログラムにより動作する中央処理制御装置1203と、外部記憶装置1204と、中央処理制御装置1203による演算処理の際の作業領域など用いる一時記憶装置1205と、外部と通信するための通信装置1206とが、双方向のバス1207により接続された構成とされている。   In the figure, an information processing device 1200 includes an input device 1201 for inputting various types of information, an output device 1202 for outputting various types of information, and a central processing control device 1203 that operates according to the image processing program of the present invention. A two-way bus 1207 is connected to the external storage device 1204, a temporary storage device 1205 used for a work area in arithmetic processing by the central processing control device 1203, and a communication device 1206 for communicating with the outside. It is configured.
中央処理制御装置1203は、本発明の画像処理プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置1206により取り込まれ、蓄積画像列管理器102に相当する蓄積画像列管理手段1208、順方向画像間解析器103,233に相当する順方向画像間解析手段1209、逆方向画像間解析器104,234に相当する逆方向画像間解析手段1210、判定器105に相当する判定手段1211、制御器106に相当する制御手段1212、の各機能を少なくとも有し、図1に示す画像処理装置と同様の動作をソフトウェア処理により実行する。   The central processing control device 1203 receives the image processing program of the present invention from a recording medium or via a communication network and is taken in by the communication device 1206, and stores stored image sequence management means 1208 corresponding to the stored image sequence manager 102, Forward image analysis unit 1209 corresponding to forward image analyzers 103 and 233, reverse image analysis unit 1210 corresponding to backward image analyzers 104 and 234, determination unit 1211 corresponding to determination unit 105, It has at least each function of the control means 1212 corresponding to the controller 106, and executes the same operation as that of the image processing apparatus shown in FIG. 1 by software processing.
図15は、実施形態3の画像処理プログラムにより動作する情報処理装置の別の一例の構成図を示す。   FIG. 15 is a configuration diagram of another example of an information processing apparatus that operates according to the image processing program of the third embodiment.
同図において、情報処理装置1300は、各種の情報を入力するための入力装置1301と、各種の情報を出力するための出力装置1302と、本発明の画像処理プログラムにより動作する中央処理制御装置1303と、外部記憶装置1304と、中央処理制御装置1303による演算処理の際の作業領域など用いる一時記憶装置1305と、外部と通信するための通信装置1306とが、双方向のバス1307により接続された構成とされている。   In the figure, an information processing device 1300 includes an input device 1301 for inputting various types of information, an output device 1302 for outputting various types of information, and a central processing control device 1303 that operates according to the image processing program of the present invention. And an external storage device 1304, a temporary storage device 1305 used as a work area for arithmetic processing by the central processing control device 1303, and a communication device 1306 for communicating with the outside are connected by a bidirectional bus 1307. It is configured.
中央処理制御装置1303は、本発明の画像処理プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置1306により取り込まれ、蓄積画像列管理器202に相当する蓄積画像列管理手段1308、判定器221に相当する判定手段1311、制御器222に相当する制御手段1312、を備え、更に順方向画像解析手段1309を構成する、第1画像列取得器203に対応する第1画像取得手段1321、逆方向画像解析手段1310を構成する、第2画像列取得器212に対応する第2画像列取得手段1322、また、順方向画像解析手段1309および逆方向画像解析手段1310を構成する、第1ME器204、第2ME器213を代用するためのME手段1313、第1MC器205、第2MC器214を代用するためのMC手段1314、第1A LPF器206、第1B LPF器208、第2A LPF器215、第2B LPF器217を代用するためのLPF手段1315、図6の構成と同等の動作をするための手段として、第1A HPF器207b、第1B HPF器209b、第2A HPF器216b、第2B HPF器218bを代用するためのHPF手段1316、図5および図7の構成と同等の動作をするための手段として、差分器207a、差分器209a、差分器216a、差分器218aを代用するための差分手段1317、図7の構成と同等の動作をするための手段として、第1Aノイズ除去器401、第1Bノイズ除去器402、第2Aノイズ除去器403、第2Bノイズ除去器404を代用するためのノイズ除去手段1318、第1L成分類似度評価器210、第2L成分類似度評価器219を代用するためのL成分類似度評価手段1319、第1H成分類似度評価器211、第2H成分類似度評価器220を代用するためのH成分類似度評価手段1320、の各機能を少なくとも有し、図5、図6、図7に示す画像処理装置と同様の動作をソフトウェア処理により実行する。   The central processing control device 1303 receives the image processing program of the present invention from a recording medium or via a communication network and is taken in by the communication device 1306, and stores stored image sequence management means 1308 corresponding to the stored image sequence management unit 202. A first image acquisition unit 1321 corresponding to the first image sequence acquisition unit 203, which includes a determination unit 1311 corresponding to the determination unit 221 and a control unit 1312 corresponding to the controller 222, and further constitutes a forward image analysis unit 1309. The second image sequence acquisition unit 1322 corresponding to the second image sequence acquisition unit 212 constituting the backward image analysis unit 1310, and the first ME constituting the forward image analysis unit 1309 and the backward image analysis unit 1310 204, ME means 1313 for substituting second ME device 213, first MC device 205, second MC device 2 MC means 1314 for substituting 4, 1A LPF unit 206, 1B LPF unit 208, 2A LPF unit 215, LPF unit 1315 for substituting 2B LPF unit 217, operation equivalent to the configuration of FIG. As the means for performing the operation, the first A HPF device 207b, the first B HPF device 209b, the second A HPF device 216b, the HPF device 1316 for substituting the second B HPF device 218b, and an operation equivalent to the configuration of FIG. 5 and FIG. As a means for performing the same operation, the difference unit 207a, the difference unit 209a, the difference unit 216a, the difference unit 1317 for substituting the difference unit 218a, and the means for performing the same operation as the configuration of FIG. , A noise for substituting the first B noise remover 402, the second A noise remover 403, and the second B noise remover 404. An L component similarity evaluation unit 1319, a first H component similarity evaluation unit 211, and a second H component similarity evaluation unit for substituting the removing unit 1318, the first L component similarity evaluation unit 210, and the second L component similarity evaluation unit 219. At least the functions of the H component similarity evaluation means 1320 for substituting 220 are executed, and the same operations as those of the image processing apparatus shown in FIGS. 5, 6, and 7 are executed by software processing.
従って、本実施形態3の画像処理装置でも、上記実施形態1,2と同様の画像間解析処理を、プログラムの実行により行うことにより、順方向における類似度情報を生成し、また、同様に逆方向の画像間解析を行うことで、逆方向における類似度情報を生成し、これらの順方向および逆方向の類似度情報に基づいて判定器が所定の判定を行うことで、解析対象となっている画像列の、どちら側からの画像間相関が高いかを特定し、どちらの画像を後の解析対象とすべきかを判断することができる。   Therefore, the image processing apparatus according to the third embodiment also generates the similarity information in the forward direction by performing the inter-image analysis process similar to the first and second embodiments by executing the program, and similarly reverses the same. By performing the inter-image analysis of the direction, the similarity information in the reverse direction is generated, and the determinator performs a predetermined determination based on the similarity information in the forward direction and the reverse direction. It is possible to identify which side of the image sequence from which the correlation between the images is high and to determine which image should be the later analysis target.
本発明の実施形態1に係る画像処理装置の基本構成を示すブロック図である。1 is a block diagram showing a basic configuration of an image processing apparatus according to Embodiment 1 of the present invention. 実施形態1の画像処理装置における、解析開始位置の導出例を示す概念図である。6 is a conceptual diagram illustrating an example of deriving an analysis start position in the image processing apparatus according to the first embodiment. FIG. 実施形態1の画像処理装置における、クロッピング領域の設定例を示す概念図である。FIG. 3 is a conceptual diagram illustrating an example of setting a cropping area in the image processing apparatus according to the first embodiment. 図1に示す実施形態1の画像処理装置の動作を示すフローチャートである。2 is a flowchart illustrating an operation of the image processing apparatus according to the first exemplary embodiment illustrated in FIG. 1. 実施形態2の画像処理装置における順方向画像間解析器および逆方向画像間解析器の構成例を示す図である。It is a figure which shows the structural example of the forward direction image analyzer and reverse direction image analyzer in the image processing apparatus of Embodiment 2. FIG. 実施形態2の画像処理装置における順方向画像間解析器および逆方向画像間解析器の他の構成例を示す図である。FIG. 10 is a diagram illustrating another configuration example of a forward inter-image analyzer and a reverse inter-image analyzer in the image processing apparatus according to the second embodiment. 実施形態2の画像処理装置における順方向画像間解析器および逆方向画像間解析器の他の構成例を示す図である。FIG. 10 is a diagram illustrating another configuration example of a forward inter-image analyzer and a reverse inter-image analyzer in the image processing apparatus according to the second embodiment. 実施形態2の画像処理方法における低周波数成分の変化を示す概念図である。It is a conceptual diagram which shows the change of the low frequency component in the image processing method of Embodiment 2. 実施形態2の画像処理方法における高周波数成分の変化を示す概念図である。It is a conceptual diagram which shows the change of the high frequency component in the image processing method of Embodiment 2. 図7に示す実施形態1の画像処理装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the image processing apparatus of Embodiment 1 shown in FIG. 実施形態2の画像処理方法によって代表画像が特定される−1階層の場合の手順を示す説明図である。FIG. 10 is an explanatory diagram illustrating a procedure in a case of a −1 hierarchy in which a representative image is specified by the image processing method according to the second embodiment. 実施形態2の画像処理方法によって代表画像が特定される−2階層の場合の手順を示す説明図である。FIG. 10 is an explanatory diagram illustrating a procedure in a case of -2 layers in which a representative image is specified by the image processing method according to the second embodiment. 実施形態2の画像処理方法によって代表画像が特定される−3階層の場合の手順を示す説明図である。FIG. 10 is an explanatory diagram illustrating a procedure in a case of −3 layers in which a representative image is specified by the image processing method according to the second embodiment. 実施形態3の画像処理プログラムを実行する情報処理装置の一例を示すブロック図である。FIG. 10 is a block diagram illustrating an example of an information processing apparatus that executes an image processing program according to a third embodiment. 実施形態3の画像処理プログラムを実行する情報処理装置の別の一例を示すブロック図である。FIG. 10 is a block diagram illustrating another example of an information processing apparatus that executes an image processing program according to a third embodiment.
符号の説明Explanation of symbols
101、201 画像列入力
102、202 蓄積画像列管理器
103、233 順方向画像間解析器
104、234 逆方向画像間解析器
105、221 判定器
106、222 制御器
107、223 画像列出力
101, 201 Image sequence input 102, 202 Accumulated image sequence manager 103, 233 Forward inter-image analyzer 104, 234 Reverse inter-image analyzer 105, 221 Determination unit 106, 222 Controller 107, 223 Image sequence output

Claims (11)

  1. 複数の連続した画像列により構成される動画像から、少なくとも1枚の静止画像を抽出する画像処理装置であって、
    入力される画像列を所定の枚数分蓄積し、解析対象画像列の特定および供給を行う蓄積画像列管理手段と、
    前記蓄積画像列管理手段から供給された前記解析対象画像列を取得し、時間が順方向の画像間解析を行い、順方向の画像間解析に基づく評価情報を生成する順方向画像間解析手段と、
    前記蓄積画像列管理手段から供給された前記解析対象画像列を取得し、時間が逆方向の画像間解析を行い、逆方向の画像間解析に基づく評価情報を生成する逆方向画像間解析手段と、
    前記順方向画像間解析手段からの順方向の画像間解析に基づく前記評価情報と、前記逆方向画像間解析手段からの逆方向の画像間解析に基づく前記評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定する判定手段と、
    前記判定手段の判定結果に基づいて前記蓄積画像列管理手段から前記順方向画像間解析手段および前記順方向画像間解析手段への前記解析対象画像列の供給を制御する制御手段と、
    を少なくとも有する画像処理装置。
    An image processing apparatus for extracting at least one still image from a moving image composed of a plurality of continuous image sequences,
    Accumulated image sequence management means for accumulating a predetermined number of input image sequences and specifying and supplying an analysis target image sequence;
    A forward inter-image analysis unit that acquires the analysis target image sequence supplied from the accumulated image sequence management unit, performs time-to-forward image analysis, and generates evaluation information based on the forward image analysis; ,
    Obtaining the analysis target image sequence supplied from the accumulated image sequence management means, performing an inter-image analysis in a reverse direction, and generating evaluation information based on the reverse inter-image analysis; ,
    Based on the evaluation information based on the forward image analysis from the forward image analysis means and the evaluation information based on the reverse image analysis from the backward image analysis means, the forward direction or A determination means for determining whether the inter-image analysis in the opposite direction is effective;
    Control means for controlling the supply of the analysis target image sequence from the stored image sequence management means to the forward image analysis means and the forward image analysis means based on the determination result of the determination means;
    An image processing apparatus.
  2. 請求項1記載の画像処理装置において、
    前記制御手段は、
    ユーザが実際に要求を行った第1静止画像取得要求の時刻から、所定の時間間隔の分だけ過去にさかのぼった時点を、ユーザからの第2静止画像取得要求とし、その時刻に最も近い動画像フレームの位置を解析開始位置として特定する際、前記所定の時間間隔には、所定の初期値、ユーザが指定した時間間隔、または学習結果から特定された時間間隔のいずれかを用いて前記解析開始位置を特定し、特定した前記解析開始位置に基づいて前記蓄積画像列管理手段から前記順方向画像間解析手段および前記順方向画像間解析手段への前記解析対象画像列の供給を制御する、画像処理装置。
    The image processing apparatus according to claim 1.
    The control means includes
    A time point that goes back in the past by a predetermined time interval from the time of the first still image acquisition request that the user actually requested is the second still image acquisition request from the user, and the moving image closest to that time When the position of the frame is specified as the analysis start position, the analysis is started by using a predetermined initial value, a time interval specified by the user, or a time interval specified from the learning result as the predetermined time interval. An image that specifies a position and controls the supply of the analysis target image sequence from the accumulated image sequence management unit to the forward image inter-analysis unit and the forward image inter-analysis unit based on the identified analysis start position Processing equipment.
  3. 請求項1または請求項2記載の画像処理装置において、
    前記制御手段は、
    所定の指定領域であるクロッピング領域に基づいて、前記解析対象画像列に対して切抜き処理を行った後に、前記解析対象画像列を供給するように前記蓄積画像列管理手段を制御する、画像処理装置。
    The image processing apparatus according to claim 1 or 2,
    The control means includes
    An image processing apparatus that controls the stored image sequence management means to supply the analysis target image sequence after performing a clipping process on the analysis target image sequence based on a cropping region that is a predetermined designated region .
  4. 請求項1〜請求項3のいずれか一の請求項に記載の画像処理装置において、
    前記制御手段は、
    前記蓄積画像列管理手段に蓄積されている画像列に対し時間方向の階層の概念を導入し、階層が1つ下がる毎にフレームレートが半分になるように、画像列の組を構成するとともに、解析対象となる動画像の画像列を2枚1組として扱い、組となった画像の片方のフレーム位置の画像を次の階層の解析対象として選定しながら、解析処理の階層が下がるにつれて不等間隔部分を有する動画像の画像列となる前記解析対象画像列を特定するよう前記蓄積画像列管理手段を制御する、画像処理装置。
    In the image processing device according to any one of claims 1 to 3,
    The control means includes
    Introducing the concept of a hierarchy in the time direction for the image sequence stored in the stored image sequence management means, and configuring a set of image sequences so that the frame rate is halved every time the hierarchy is lowered, The image sequence of moving images to be analyzed is treated as a set of two images, and the image at one frame position of the paired images is selected as the analysis target of the next hierarchy. An image processing apparatus that controls the accumulated image sequence management means to specify the analysis target image sequence that is an image sequence of a moving image having an interval portion.
  5. 請求項1〜請求項4のいずれか一の請求項に記載の画像処理装置において、
    前記順方向画像間解析手段および前記逆方向画像間解析手段は、それぞれ、
    前記蓄積画像列管理手段から供給された前記解析対象画像列から、対象画像を基準として参照画像内を所定の動きベクトル探索を行い、動きベクトル情報を生成する動き推定部と、
    前記参照画像と、前記動き推定部によって生成された動きベクトル情報とから予測画像を生成する動き補償部と、
    前記動き推定部によって生成された前記予測画像から、前記予測画像の低周波数成分情報を生成する予測画像低周波数成分生成部と、
    前記動き推定部によって生成された前記予測画像から、前記予測画像の高周波数成分情報を生成する予測画像高周波数成分生成部と、
    前記蓄積画像列管理部から供給された前記解析対象画像列から、対象画像の低周波数成分情報を生成する対象画像低周波数成分情報生成部と、
    前記蓄積画像列管理部から供給された前記解析対象画像列から、対象画像の高周波数成分情報を生成する対象画像高周波数成分情報生成部と、
    前記予測画像低周波数成分情報と、前記対象画像低周波数成分情報とを評価し、低周波数成分の評価情報を生成する低周波数成分評価情報生成部と、
    前記予測画像高周波数成分情報と、前記対象画像高周波数成分情報とを評価し、高周波数成分の評価情報を生成する高周波数成分評価情報生成部と、を有し、かつ、
    前記順方向画像間解析手段は、さらに、時間が順方向の画像間解析を行うために、時間的に過去側にある画像を参照画像、時間的に未来側にある画像を対象画像として、解析対象となる画像列を取得する第1の画像列取得部を有する一方、
    前記逆方向画像間解析手段は、さらに、時間が逆方向の画像間解析を行うために、時間的に過去側にある画像を対象画像、時間的に未来側にある画像を参照画像として、解析対象となる画像列を取得する第2の画像列取得部を有し、
    前記判定手段は、
    前記順方向における前記低周波数成分の評価情報および前記高周波数成分の評価情報と、前記逆方向における前記低周波数成分の評価情報および前記高周波数成分の評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定する、画像処理装置。
    In the image processing apparatus according to any one of claims 1 to 4,
    The forward direction image analyzing unit and the backward direction image analyzing unit are respectively
    A motion estimation unit that performs a predetermined motion vector search in a reference image based on the target image from the analysis target image sequence supplied from the accumulated image sequence management unit, and generates motion vector information;
    A motion compensation unit that generates a predicted image from the reference image and the motion vector information generated by the motion estimation unit;
    A predicted image low frequency component generation unit that generates low frequency component information of the predicted image from the predicted image generated by the motion estimation unit;
    A predicted image high frequency component generation unit that generates high frequency component information of the predicted image from the predicted image generated by the motion estimation unit;
    A target image low frequency component information generating unit that generates low frequency component information of the target image from the analysis target image sequence supplied from the accumulated image sequence management unit;
    A target image high frequency component information generating unit that generates high frequency component information of the target image from the analysis target image sequence supplied from the accumulated image sequence management unit;
    A low frequency component evaluation information generating unit that evaluates the predicted image low frequency component information and the target image low frequency component information and generates evaluation information of the low frequency component;
    A high-frequency component evaluation information generating unit that evaluates the predicted image high-frequency component information and the target image high-frequency component information and generates high-frequency component evaluation information; and
    The forward image inter-analysis unit further analyzes an image that is temporally in the past side as a reference image and an image that is temporally in the future side as a target image in order to perform forward-time inter-image analysis. While having a first image sequence acquisition unit that acquires the target image sequence,
    The backward direction image analysis means further analyzes an image that is temporally in the past side as a target image and an image that is temporally in the future side as a reference image in order to perform an inter-image analysis in the reverse direction. A second image sequence acquisition unit that acquires a target image sequence;
    The determination means includes
    Based on the evaluation information of the low frequency component and the evaluation information of the high frequency component in the forward direction, and the evaluation information of the low frequency component and the evaluation information of the high frequency component in the reverse direction, the forward direction or the reverse direction An image processing device that determines which direction of image analysis is effective.
  6. 複数の連続した画像列により構成される動画像から、少なくとも1枚の静止画像を抽出する画像処理方法であって、
    入力される画像列を所定の枚数分蓄積し、解析対象となる画像列の特定および供給を行うステップと、
    前記解析対象画像列を取得し、時間が順方向の画像間解析を行い、順方向の画像間解析に基づく評価情報を生成するステップと、
    前記解析対象画像列を取得し、時間が逆方向の画像間解析を行い、逆方向の画像間解析に基づく評価情報を生成するステップと、
    順方向の画像間解析に基づく前記評価情報と、逆方向の画像間解析に基づく前記評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定するステップと、
    前記判定結果に基づいて画像処理動作を制御するステップと、
    を少なくとも有する画像処理方法。
    An image processing method for extracting at least one still image from a moving image composed of a plurality of continuous image sequences,
    A step of accumulating a predetermined number of input image sequences and specifying and supplying an image sequence to be analyzed;
    Obtaining the analysis object image sequence, performing time-to-image analysis in the forward direction, and generating evaluation information based on the image analysis in the forward direction;
    Obtaining the analysis target image sequence, performing an inter-image analysis in a reverse direction, and generating evaluation information based on the reverse inter-image analysis;
    Based on the evaluation information based on the forward inter-image analysis and the evaluation information based on the reverse inter-image analysis, it is determined whether the inter-image analysis in the forward direction or the reverse direction is effective. Steps,
    Controlling an image processing operation based on the determination result;
    An image processing method.
  7. 請求項6記載の画像処理方法において、
    前記画像処理動作を制御するステップでは、
    ユーザが実際に要求を行った第1静止画像取得要求の時刻から、所定の時間間隔の分だけ過去にさかのぼった時点を、ユーザからの第2静止画像取得要求とし、その時刻に最も近い動画像フレームの位置を解析開始位置として特定する際、前記所定の時間間隔には、所定の初期値、ユーザが指定した時間間隔、または学習結果から特定された時間間隔のいずれかを用いて前記解析開始位置を特定し、特定した前記解析開始位置に基づいて前記蓄積画像列管理手段から前記順方向画像間解析手段および前記順方向画像間解析手段への前記解析対象画像列の供給を制御する、画像処理方法。
    The image processing method according to claim 6.
    In the step of controlling the image processing operation,
    A time point that goes back in the past by a predetermined time interval from the time of the first still image acquisition request that the user actually requested is the second still image acquisition request from the user, and the moving image closest to that time When the position of the frame is specified as the analysis start position, the analysis is started by using a predetermined initial value, a time interval specified by the user, or a time interval specified from the learning result as the predetermined time interval. An image that specifies a position and controls the supply of the analysis target image sequence from the accumulated image sequence management unit to the forward image inter-analysis unit and the forward image inter-analysis unit based on the identified analysis start position Processing method.
  8. 請求項6または請求項7記載の画像処理方法において、
    前記画像処理動作を制御するステップでは、
    所定の指定領域であるクロッピング領域に基づいて、前記解析対象画像列に対して切抜き処理を行った後に、前記解析対象画像列を供給するように前記蓄積画像列管理手段から前記順方向画像間解析手段および前記順方向画像間解析手段への前記解析対象画像列の供給を制御する、画像処理方法。
    The image processing method according to claim 6 or 7,
    In the step of controlling the image processing operation,
    Based on the cropping area that is a predetermined designated area, the forward image analysis is performed from the accumulated image sequence management means so as to supply the analysis target image sequence after performing the clipping process on the analysis target image sequence. And an image processing method for controlling the supply of the analysis target image sequence to the forward image inter-analysis unit.
  9. 請求項6〜請求項8のいずれか一の請求項に記載の画像処理方法において、
    前記画像処理動作を制御するステップでは、
    蓄積されている画像列に対し時間方向の階層の概念を導入し、階層が1つ下がる毎にフレームレートが半分になるように、画像列の組を構成するとともに、解析対象となる動画像の画像列を2枚1組として扱い、組となった画像の片方のフレーム位置の画像を次の階層の解析対象として選定しながら、解析処理の階層が下がるにつれて不等間隔部分を有する動画像の画像列となる前記解析対象画像列を特定するよう前記蓄積画像列管理手段から前記順方向画像間解析手段および前記順方向画像間解析手段への前記解析対象画像列の供給を制御する、画像処理方法。
    In the image processing method according to any one of claims 6 to 8,
    In the step of controlling the image processing operation,
    Introduce the concept of time hierarchy to the stored image sequence, and configure the set of image sequences so that the frame rate is halved every time one layer is lowered, and the moving image to be analyzed An image sequence is handled as a set of two images, and an image at one frame position of the paired image is selected as an analysis target of the next layer, and a moving image having unequal intervals as the analysis processing layer is lowered. Image processing for controlling the supply of the analysis target image sequence from the accumulated image sequence management unit to the forward image inter-analysis unit and the forward image inter-analysis unit so as to specify the analysis target image sequence serving as an image sequence Method.
  10. 請求項6〜請求項9のいずれか一の請求項に記載の画像処理方法において、
    前記順方向および逆方向の画像間解析を行うステップでは、それぞれ、
    前記解析対象画像列から、対象画像を基準として参照画像内を所定の動きベクトル探索を行い、動きベクトル情報を生成し、
    前記参照画像と、前記動き推定部によって生成された動きベクトル情報とから予測画像を生成し、
    前記予測画像から、前記予測画像の低周波数成分情報を生成し、
    前記予測画像から、前記予測画像の高周波数成分情報を生成し、
    前記解析対象画像列から、対象画像の低周波数成分情報を生成し、
    前記解析対象画像列から、対象画像の高周波数成分情報を生成し、
    前記予測画像低周波数成分情報と、前記対象画像低周波数成分情報とを評価し、低周波数成分の評価情報を生成し、
    前記予測画像高周波数成分情報と、前記対象画像高周波数成分情報とを評価し、高周波数成分の評価情報を生成し、かつ、
    前記順方向の画像間解析を行うステップは、さらに、時間が順方向の画像間解析を行うために、時間的に過去側にある画像を参照画像、時間的に未来側にある画像を対象画像として、解析対象となる画像列を取得する一方、前記逆方向の画像間解析を行うステップは、さらに、時間が逆方向の画像間解析を行うために、時間的に過去側にある画像を対象画像、時間的に未来側にある画像を参照画像として、解析対象となる画像列を取得し、
    前記判定するステップでは、
    前記順方向における前記低周波数成分の評価情報および前記高周波数成分の評価情報と、前記逆方向における前記低周波数成分の評価情報および前記高周波数成分の評価情報とに基づいて、順方向または逆方向のいずれの方向の画像間解析が有効であるかを判定する、画像処理方法。
    In the image processing method according to any one of claims 6 to 9,
    In the step of performing the inter-image analysis in the forward direction and the reverse direction,
    A predetermined motion vector search is performed in the reference image based on the target image from the analysis target image sequence, and motion vector information is generated,
    Generating a prediction image from the reference image and the motion vector information generated by the motion estimation unit;
    Generating low frequency component information of the predicted image from the predicted image;
    From the predicted image, generating high frequency component information of the predicted image,
    Generate low frequency component information of the target image from the analysis target image sequence,
    Generate high frequency component information of the target image from the analysis target image sequence,
    Evaluating the predicted image low frequency component information and the target image low frequency component information, generating evaluation information of the low frequency component,
    Evaluating the predicted image high frequency component information and the target image high frequency component information, generating evaluation information of the high frequency component, and
    The step of performing the inter-image analysis in the forward direction further includes a reference image for an image that is temporally in the past and a target image for an image that is temporally in the future in order to perform an inter-image analysis in time. The step of performing the inter-image analysis in the reverse direction while acquiring the image sequence to be analyzed is further applied to the image that is temporally in the past in order to perform the inter-image analysis in the reverse direction. The image, the image on the future side in time is used as a reference image, and the image sequence to be analyzed is acquired.
    In the determining step,
    Based on the evaluation information of the low frequency component and the evaluation information of the high frequency component in the forward direction, and the evaluation information of the low frequency component and the evaluation information of the high frequency component in the reverse direction, the forward direction or the reverse direction An image processing method for determining in which direction the inter-image analysis is effective.
  11. 複数の連続した画像列により構成される動画像から、少なくとも1枚の静止画像を抽出する画像処理をコンピュータに実現させるための画像処理プログラムであって、
    前記コンピュータが、請求項6〜請求項10のいずれか一の請求項に記載された画像処理方法を実行するようにプログラミングされた画像処理プログラム。
    An image processing program for causing a computer to perform image processing for extracting at least one still image from a moving image composed of a plurality of continuous image sequences,
    An image processing program programmed to execute the image processing method according to any one of claims 6 to 10.
JP2008004374A 2008-01-11 2008-01-11 Image processing apparatus, image processing method, and image processing program Active JP5012521B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008004374A JP5012521B2 (en) 2008-01-11 2008-01-11 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008004374A JP5012521B2 (en) 2008-01-11 2008-01-11 Image processing apparatus, image processing method, and image processing program

Publications (2)

Publication Number Publication Date
JP2009171020A true JP2009171020A (en) 2009-07-30
JP5012521B2 JP5012521B2 (en) 2012-08-29

Family

ID=40971764

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008004374A Active JP5012521B2 (en) 2008-01-11 2008-01-11 Image processing apparatus, image processing method, and image processing program

Country Status (1)

Country Link
JP (1) JP5012521B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0336886A (en) * 1989-07-04 1991-02-18 Konica Corp Still video camera
JPH0799628A (en) * 1993-09-28 1995-04-11 Hitachi Ltd Image pickup device
JPH09149367A (en) * 1995-11-22 1997-06-06 Sony Corp Picture recording device
JPH11136557A (en) * 1997-08-26 1999-05-21 Nikon Corp Electronic camera
JPH11317904A (en) * 1998-05-01 1999-11-16 Canon Inc Image pickup device and its control method
JP2005117144A (en) * 2003-10-03 2005-04-28 Nec Access Technica Ltd Portable terminal and imaging recording method
JP2007266662A (en) * 2006-03-27 2007-10-11 Sanyo Electric Co Ltd Thumbnail generating device and imaging apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0336886A (en) * 1989-07-04 1991-02-18 Konica Corp Still video camera
JPH0799628A (en) * 1993-09-28 1995-04-11 Hitachi Ltd Image pickup device
JPH09149367A (en) * 1995-11-22 1997-06-06 Sony Corp Picture recording device
JPH11136557A (en) * 1997-08-26 1999-05-21 Nikon Corp Electronic camera
JPH11317904A (en) * 1998-05-01 1999-11-16 Canon Inc Image pickup device and its control method
JP2005117144A (en) * 2003-10-03 2005-04-28 Nec Access Technica Ltd Portable terminal and imaging recording method
JP2007266662A (en) * 2006-03-27 2007-10-11 Sanyo Electric Co Ltd Thumbnail generating device and imaging apparatus

Also Published As

Publication number Publication date
JP5012521B2 (en) 2012-08-29

Similar Documents

Publication Publication Date Title
JP4570244B2 (en) An automatic stabilization method for digital image sequences.
JP4666784B2 (en) Video sequence key frame extraction method and video sequence key frame extraction device
US8248480B2 (en) Imaging apparatus provided with panning mode for taking panned image
US8131014B2 (en) Object-tracking computer program product, object-tracking device, and camera
RU2433563C1 (en) Apparatus and method of estimating displacement due to arm shake and device using said method and apparatus to obtain images
JP2007134991A (en) Image signal processor, imaging apparatus, and image signal processing method
JP2007053767A (en) Method and apparatus for iteratively calculating set of global motion parameters from motion vectors allocated to blocks into which each image is divided for image or image sequence
JP2012257198A (en) Stereoscopic image encoding apparatus, method therefor, and image pickup apparatus having stereoscopic image encoding apparatus
JP2005150903A (en) Image processing apparatus, noise elimination method, and noise elimination program
US7978223B2 (en) Image capturing apparatus with suppression of image blur and method thereof for suppressing image blur
JP2007122232A (en) Image processor and program
US8194141B2 (en) Method and apparatus for producing sharp frames with less blur
WO2010116400A1 (en) Object movement detection device and method
JP5044922B2 (en) Imaging apparatus and program
JP2003061038A (en) Video contents edit aid device and video contents video aid method
JP4894018B2 (en) Image processing apparatus, image processing method, and image processing program
JP4898415B2 (en) Moving picture coding apparatus and moving picture coding method
JP4393341B2 (en) Moving picture coding apparatus and moving picture coding method
JP5012521B2 (en) Image processing apparatus, image processing method, and image processing program
JP2006279413A (en) Motion vector detector, image display, image photographing apparatus, motion vector detecting method, program, and recording medium
JP2010081421A (en) Digital camera
JP2008141354A (en) Image coding apparatus and imaging apparatus
US8125527B2 (en) Motion detection apparatus
JP2003061112A (en) Camerawork detector and camerawork detection method
JP2012123721A (en) Image processing device and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100617

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100909

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120508

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120521

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5012521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150