【特許請求の範囲】
【請求項１】 解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、注目フレーム中の第１の領域と上記注目フレームに対して所定フレーム前に出力したフレーム中の第２の領域との間で差分をとり、上記差分に基づいて上記第１の領域が静止画部分／動画部分の何れであるかを判定する静動判定手段と、
上記第１の領域内のアクティビティの尺度となる量を計算する第１の計算手段と、
上記第２の領域内のアクティビティの尺度となる量を計算する第２の計算手段と、
上記静動判定手段によって上記第１の領域が動画部分であると判定される場合に上記第１の領域内の画像データを出力し、上記静動判定手段によって上記第１の領域が静止画部分であると判定される場合に、上記第１の計算手段の出力と上記第２の計算手段の出力とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定手段とを有することを特徴とする画像処理装置。
【請求項２】 請求項１において、
上記画像信号は、
フレーム間相関を利用してなされる符号化方法によって符号化されたディジタル信号から復号される画像信号であることを特徴とする画像処理装置。
【請求項３】 請求項１において、
上記第１および第２の計算手段は、
上記アクティビティの尺度となる量として、上記第１および第２の領域内の分散を計算することを特徴とする画像処理装置。
【請求項４】 請求項１において、
上記第１のおよび第２の計算手段は、
上記アクティビティの尺度となる量として、上記第１および第２の領域内のダイナミックレンジを計算することを特徴とする画像処理装置。
【請求項５】 請求項１において、
上記出力画像決定手段は、
上記静動判定手段によって上記第１の領域が動画部分であると判定される場合に、上記第１の領域内の注目画素を出力することを特徴とする画像処理装置。
【請求項６】 請求項１において、
上記出力画像決定手段は、
上記静動判定手段によって上記第１の領域が動画部分であると判定される場合に、上記第１の領域を出力することを特徴とする画像処理装置。
【請求項７】 請求項１において、
上記出力画像決定手段は、
上記静動判定手段によって上記第１の領域が静止画部分であると判定される場合に、上記第１の計算手段の出力と上記第２の計算手段の出力とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域の内でアクティビティがより大きいと判定される領域内の注目画素または上記注目画素と同一位置の画素を出力することを特徴とする画像処理装置。
【請求項８】 請求項１において、
上記出力画像決定手段は、
上記静動判定手段によって上記第１の領域が静止画部分であると判定される場合に、上記第１の計算手段の出力と上記第２の計算手段の出力とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域の内でアクティビティがより大きいと判定される領域を出力することを特徴とする画像処理装置。
【請求項９】 解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、注目フレームと上記注目フレームに対して所定フレーム前に出力したフレームとの間で動きを検出する動き検出手段と、
上記注目フレーム中の第１の領域内のアクティビティの尺度となる量を計算する第１の計算手段と、
上記動き検出手段の出力に基づいて、上記注目フレームに対して所定フレーム前に出力したフレームに対する画素位置補整処理を施し、上記画素位置補整処理が施されてなる画像信号中の第２の領域内のアクティビティの尺度となる量を計算する第２の計算手段と、
上記第１の計算手段の出力と上記第２の計算手段の出力とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定手段とを有することを特徴とする画像処理装置。
【請求項１０】 請求項９において、
上記画像信号は、
フレーム間相関を利用してなされる符号化方法によって符号化されたディジタル信号から復号される画像信号であることを特徴とする画像処理装置。
【請求項１１】 請求項９において、
上記第１のおよび第２の計算手段は、
上記アクティビティの尺度となる量として、上記第１および第２の領域内の分散を計算することを特徴とする画像処理装置。
【請求項１２】 請求項９において、
上記第１のおよび第２の計算手段は、
上記アクティビティの尺度となる量として、上記第１および第２の領域内のダイナミックレンジを計算することを特徴とする画像処理装置。
【請求項１３】 請求項９において、
上記出力画像決定手段は、
上記第１の計算手段の出力と上記第２の出力とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域内の注目画素または上記注目画素と同一位置の画素を出力することを特徴とする画像処理装置。
【請求項１４】 請求項９において、
上記出力画像決定手段は、
上記第１の計算手段の出力と上記第２の計算手段の出力とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域を出力することを特徴とする画像処理装置。
【請求項１５】 解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、注目フレーム中の第１の領域と上記注目フレームに対して所定フレーム前に出力したフレーム中の第２の領域との間で差分をとり、上記差分に基づいて上記第１の領域が静止画部分／動画部分の何れであるかを判定する静動判定ステップと、
上記第１の領域内のアクティビティの尺度となる量を計算する第１の計算ステップと、
上記第２の領域内のアクティビティの尺度となる量を計算する第２の計算ステップと、
上記静動判定ステップによって上記第１の領域が動画部分であると判定される場合に上記第１の領域内の画像データを出力し、上記静動判定ステップによって上記第１の領域が静止画部分であると判定される場合に、上記第１の計算ステップの結果と上記第２の計算ステップの結果とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定ステップとを有することを特徴とする画像処理方法。
【請求項１６】 解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、注目フレームと上記注目フレームに対して所定フレーム前に出力したフレームとの間で動きを検出する動き検出ステップと、
上記注目フレーム中の第１の領域内のアクティビティの尺度となる量を計算する第１の計算ステップと、
上記動き検出ステップの結果に基づいて、上記注目フレームに対して所定フレーム前に出力したフレームに対する画素位置補整処理を施し、上記画素位置補整処理が施されてなる画像信号中の第２の領域内のアクティビティの尺度となる量を計算する第２の計算ステップと、
上記第１の計算ステップの結果と上記第２の計算ステップの結果とを比較し、比較結果に基づいて、上記第１の領域と上記第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定ステップとを有することを特徴とする画像処理方法。
[Claims]
1. For image signals having different degrees of deterioration in resolution or image quality in the time direction, a first region in a frame of interest and a second region in a frame output before a predetermined frame with respect to the frame of interest. A static motion determination means for determining whether the first region is a still image portion or a moving image portion based on the difference.
A first calculation means for calculating a measure of activity in the first area,
A second calculation means for calculating a measure of activity in the second area,
When the static determination means determines that the first region is a moving image portion, the image data in the first region is output, and the static determination means determines that the first region is a still image portion. When it is determined that, the output of the first calculation means and the output of the second calculation means are compared, and based on the comparison result, the first region and the second region are combined. An image processing apparatus comprising: an output image determining means for outputting image data in an area where activity is determined to be greater.
2. In claim 1,
The above image signal is
An image processing apparatus characterized in that it is an image signal decoded from a digital signal encoded by a coding method performed by utilizing inter-frame correlation.
3. In claim 1,
The first and second calculation means are
An image processing apparatus characterized in that the variance within the first and second regions is calculated as a measure of the activity.
4. In claim 1,
The first and second calculation means are
An image processing apparatus characterized in that the dynamic range in the first and second regions is calculated as a measure of the activity.
5. In claim 1,
The output image determination means is
An image processing device characterized by outputting a pixel of interest in the first region when the static determination means determines that the first region is a moving image portion.
6. In claim 1,
The output image determination means is
An image processing apparatus characterized in that when the static determination means determines that the first region is a moving image portion, the first region is output.
7. In claim 1,
The output image determination means is
When the static motion determination means determines that the first region is a still image portion, the output of the first calculation means and the output of the second calculation means are compared, and based on the comparison result. The image processing apparatus is characterized in that it outputs a pixel of interest in the region where the activity is determined to be greater in the first region and the second region, or a pixel at the same position as the pixel of interest.
8. In claim 1,
The output image determination means is
When the static motion determination means determines that the first region is a still image portion, the output of the first calculation means and the output of the second calculation means are compared, and based on the comparison result. The image processing apparatus is characterized in that it outputs a region within the first region and the second region where it is determined that the activity is larger.
9. A motion detecting means for detecting motion between a frame of interest and a frame output before a predetermined frame with respect to the frame of interest for an image signal in which the degree of deterioration in resolution or image quality differs in the time direction. ,
A first calculation means for calculating a measure of activity in the first region in the frame of interest, and a first calculation means.
Based on the output of the motion detecting means, the pixel position correction processing is performed on the frame output before a predetermined frame with respect to the attention frame, and the pixel position correction processing is performed in the second region in the image signal. A second means of calculating the amount of activity that measures
The output of the first calculation means is compared with the output of the second calculation means, and based on the comparison result, it is determined that the activity is larger in the first area and the second area. An image processing apparatus including an output image determining means for outputting image data in a region.
10. In claim 9,
The above image signal is
An image processing apparatus characterized in that it is an image signal decoded from a digital signal encoded by a coding method performed by utilizing inter-frame correlation.
11. In claim 9,
The first and second calculation means are
An image processing apparatus characterized in that the variance within the first and second regions is calculated as a measure of the activity.
12. In claim 9,
The first and second calculation means are
An image processing apparatus characterized in that the dynamic range in the first and second regions is calculated as a measure of the activity.
13. In claim 9,
The output image determination means is
The output of the first calculation means is compared with the second output, and based on the comparison result, the activity is determined to be larger in the first region and the second region. An image processing device characterized by outputting a pixel of interest or a pixel at the same position as the pixel of interest.
14. In claim 9,
The output image determination means is
The output of the first calculation means is compared with the output of the second calculation means, and based on the comparison result, it is determined that the activity is larger in the first area and the second area. An image processing device characterized by outputting a region.
15. For image signals having different degrees of deterioration in resolution or image quality in the time direction, a first region in a frame of interest and a second region in a frame output before a predetermined frame with respect to the frame of interest. A static motion determination step for determining whether the first region is a still image portion or a moving image portion based on the difference.
The first calculation step to calculate the amount that measures the activity in the first area,
A second calculation step to calculate a measure of activity in the second area,
When it is determined by the static determination step that the first region is a moving image portion, the image data in the first region is output, and the first region is a still image portion by the static determination step. When it is determined that, the result of the first calculation step and the result of the second calculation step are compared, and based on the comparison result, the first region and the second region are combined. An image processing method comprising: an output image determination step that outputs image data in an area determined to have greater activity within.
16. A motion detection step of detecting motion between a frame of interest and a frame output before a predetermined frame with respect to the frame of interest for an image signal in which the degree of deterioration in resolution or image quality differs in the time direction. ,
A first calculation step of calculating a measure of activity in the first region in the frame of interest, and a first calculation step.
Based on the result of the motion detection step, the pixel position correction processing is performed on the frame output before a predetermined frame for the attention frame, and the pixel position correction processing is performed in the second region in the image signal. A second calculation step to calculate the amount that measures the activity of
The result of the first calculation step is compared with the result of the second calculation step, and based on the comparison result, it is determined that the activity is larger in the first area and the second area. An image processing method characterized by having an output image determination step for outputting image data in a region.
【０００７】
【課題を解決するための手段】
請求項１の発明は、解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、注目フレーム中の第１の領域と注目フレームに対して所定フレーム前に出力したフレーム中の第２の領域との間で差分をとり、差分に基づいて第１の領域が静止画部分／動画部分の何れであるかを判定する静動判定手段と、
第１の領域内のアクティビティの尺度となる量を計算する第１の計算手段と、
第２の領域内のアクティビティの尺度となる量を計算する第２の計算手段と、
静動判定手段によって第１の領域が動画部分であると判定される場合に第１の領域内の画像データを出力し、静動判定手段によって第１の領域が静止画部分であると判定される場合に、第１の計算手段の出力と第２の計算手段の出力とを比較し、比較結果に基づいて、第１の領域と第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定手段とを有することを特徴とする画像処理装置である。
0007
[Means for solving problems]
According to the first aspect of the present invention, for an image signal in which the degree of deterioration of resolution or image quality differs in the time direction, a first region in the frame of interest and a second region in the frame output before a predetermined frame with respect to the frame of interest. A static motion determination means that takes a difference from the region and determines whether the first region is a still image portion or a moving image portion based on the difference.
A first calculation method for calculating a measure of activity in the first area, and
A second calculation method that calculates a measure of activity in the second area, and
When the static motion determining means determines that the first region is a moving image portion, the image data in the first region is output, and the static motion determining means determines that the first region is a still image portion. In this case, the output of the first calculation means and the output of the second calculation means are compared, and based on the comparison result, it is determined that the activity is larger in the first area and the second area. It is an image processing apparatus characterized by having an output image determining means for outputting image data in a region.
請求項９の発明は、解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、注目フレームと注目フレームに対して所定フレーム前に出力したフレームとの間で動きを検出する動き検出手段と、
注目フレーム中の第１の領域内のアクティビティの尺度となる量を計算する第１の計算手段と、
動き検出手段の出力に基づいて、注目フレームに対して所定フレーム前に出力したフレームに対する画素位置補整処理を施し、画素位置補整処理が施されてなる画像信号中の第２の領域内のアクティビティの尺度となる量を計算する第２の計算手段と、
第１の計算手段の出力と第２の計算手段の出力とを比較し、比較結果に基づいて、第１の領域と第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定手段とを有することを特徴とする画像処理装置である。
The invention of claim 9 is a motion detecting means for detecting motion between a frame of interest and a frame output before a predetermined frame with respect to the frame of interest for an image signal in which the degree of deterioration of resolution or image quality differs in the time direction. When,
A first computational means of calculating a measure of activity in a first region in a frame of interest, and a first computational means.
Based on the output of the motion detection means , the pixel position correction processing is performed on the frame output before a predetermined frame for the frame of interest, and the pixel position correction processing is performed on the activity in the second region in the image signal. A second means of calculating a measure of quantity,
The output of the first calculation means is compared with the output of the second calculation means, and based on the comparison result, the activity in the first area and the second area is determined to be greater. It is an image processing apparatus characterized by having an output image determining means for outputting image data.
請求項１５の発明は、解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、注目フレーム中の第１の領域と注目フレームに対して所定フレーム前に出力したフレーム中の第２の領域との間で差分をとり、差分に基づいて第１の領域が静止画部分／動画部分の何れであるかを判定する静動判定ステップと、
第１の領域内のアクティビティの尺度となる量を計算する第１の計算ステップと、
第２の領域内のアクティビティの尺度となる量を計算する第２の計算ステップと、
静動判定ステップによって第１の領域が動画部分であると判定される場合に第１の領域内の画像データを出力し、静動判定ステップによって第１の領域が静止画部分であると判定される場合に、第１の計算ステップの結果と第２の計算ステップの結果とを比較し、比較結果に基づいて、第１の領域と第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定ステップとを有することを特徴とする画像処理方法である。
The invention of claim 15 is the first region in the frame of interest and the second region in the frame output before a predetermined frame with respect to the frame of interest for image signals having different degrees of deterioration in resolution or image quality in the time direction. A static motion determination step of taking a difference from the region and determining whether the first region is a still image portion or a moving image portion based on the difference.
The first calculation step, which calculates a measure of activity in the first area,
A second calculation step to calculate a measure of activity in the second area,
When the static motion determination step determines that the first region is a moving image portion, the image data in the first region is output, and the static motion determination step determines that the first region is a still image portion. In this case, the result of the first calculation step and the result of the second calculation step are compared, and based on the comparison result, it is determined that the activity is larger in the first area and the second area. It is an image processing method characterized by having an output image determination step for outputting image data in a region.
請求項１６の発明は、解像度または画質の劣化の程度が時間方向に異なる画像信号に対し、注目フレームと注目フレームに対して所定フレーム前に出力したフレームとの間で動きを検出する動き検出ステップと、
注目フレーム中の第１の領域内のアクティビティの尺度となる量を計算する第１の計算ステップと、
動き検出ステップの結果に基づいて、注目フレームに対して所定フレーム前に出力したフレームに対する画素位置補整処理を施し、画素位置補整処理が施されてなる画像信号中の第２の領域内のアクティビティの尺度となる量を計算する第２の計算ステップと、
第１の計算ステップの結果と第２の計算ステップの結果とを比較し、比較結果に基づいて、第１の領域と第２の領域との内でアクティビティがより大きいと判定される領域内の画像データを出力する出力画像決定ステップとを有することを特徴とする画像処理方法である。
The invention of claim 16 is a motion detection step of detecting motion between a frame of interest and a frame output before a predetermined frame with respect to the frame of interest for image signals having different degrees of deterioration in resolution or image quality in the time direction. When,
A first calculation step that calculates a measure of activity in the first area in the frame of interest, and
Based on the result of the motion detection step , the pixel position correction processing is performed on the frame output before a predetermined frame for the frame of interest, and the activity in the second region in the image signal obtained by the pixel position correction processing is performed. A second calculation step to calculate the measure amount,
The result of the first calculation step is compared with the result of the second calculation step, and based on the comparison result, in the area in which the activity is determined to be larger in the first area and the second area. It is an image processing method characterized by having an output image determination step for outputting image data.