JP2006109361A - Cyclic moving image processing apparatus - Google Patents
Cyclic moving image processing apparatus Download PDFInfo
- Publication number
- JP2006109361A JP2006109361A JP2004296670A JP2004296670A JP2006109361A JP 2006109361 A JP2006109361 A JP 2006109361A JP 2004296670 A JP2004296670 A JP 2004296670A JP 2004296670 A JP2004296670 A JP 2004296670A JP 2006109361 A JP2006109361 A JP 2006109361A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- motion vector
- motion
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、複数の静止画像を動画像として再生するとき、再生される動画像になめらかさを与えて、動画像を高画質化するのに適した巡回型動画像処理装置に関する。 The present invention relates to a cyclic moving image processing apparatus suitable for giving smoothness to a reproduced moving image and improving the image quality of the moving image when reproducing a plurality of still images as moving images.
撮像装置として、撮像素子の撮像面上に結像した被写体像を光電変換し、得られた画像データを記録媒体に記録するものが一般に知られている。
また、撮像装置として、記録媒体として用いられるメモリの容量増大と画像処理速度の向上に伴い、単一の撮像系を用いて、静止画像の撮像のみでなく、動画像の撮像が可能なものが開発されている。
2. Description of the Related Art Generally, an imaging apparatus is known that photoelectrically converts a subject image formed on an imaging surface of an imaging element and records the obtained image data on a recording medium.
In addition, as an imaging device, a device capable of capturing not only a still image but also a moving image by using a single imaging system as the capacity of a memory used as a recording medium increases and the image processing speed improves. Has been developed.
特に、報道分野等においては、このような撮像装置を用いて撮像された静止画像、動画像の両方の画像を鑑賞用として使用したいという要望がある。
例えば、単一の撮像系を用いて動画像を撮像して記録する際に、動画像の撮像が行われている状態でレリーズスイッチを押下して静止画像の撮像を指示すると、記録媒体に記録される動画中の対応する静止画にフラグが設定され、フラグが設定された画像のみを静止画像として再生可能な電子カメラが提案されている(特許文献1参照)。
For example, when a moving image is captured and recorded using a single imaging system, if a release switch is pressed and a still image is instructed while the moving image is being captured, recording is performed on the recording medium. There has been proposed an electronic camera in which a flag is set for a corresponding still image in a moving image and only an image with the flag set can be reproduced as a still image (see Patent Document 1).
しかし、前記した従来技術には次のような問題点がある。
すなわち、単一の撮像系で静止画像として使用される画像と、動画像として使用される画像とを同時に撮像する場合、通常の動画撮像条件で撮像された動画像の中から抽出された再生静止画像は、ぼけた画像となり静止画像として鑑賞に耐えない。
逆に、単一の撮像系で静止画像として使用される画像と、動画像として使用される画像とを同時に撮像する場合、通常の静止画撮像条件で撮像された動画像は、再生の際に動きのなめらかさがなく、動画像として鑑賞に耐えない。
However, the prior art described above has the following problems.
That is, in the case of simultaneously capturing an image used as a still image and an image used as a moving image in a single imaging system, a playback still image extracted from a moving image captured under normal moving image capturing conditions The image is blurred and cannot be viewed as a still image.
Conversely, when simultaneously capturing an image used as a still image and an image used as a moving image in a single imaging system, a moving image captured under normal still image capturing conditions is There is no smooth movement, and it cannot stand as a moving image.
本発明は、静止画像として用いられる画像に対して、動画像としても利用可能な画像処理を施し、動画像に動きのなめらかさを与える巡回型動画像処理装置を提供することを目的とする。 An object of the present invention is to provide a cyclic moving image processing apparatus that performs image processing that can also be used as a moving image on an image that is used as a still image, and gives the moving image smoothness.
請求項1に記載の発明は、入力される画像データの動き領域を抽出し、動き領域について時間的に異なる複数フィールドの画像データ又は複数フレームの画像データから動きベクトルを算出する動きベクトル算出手段と、入力される画像データをフィールド又はフレーム単位で記憶可能な記憶手段と、入力された画像データをK(0≦K≦1)倍すると共に、記憶手段から出力される少なくとも1フィールド分前の画像データ又は少なくとも1フレーム分前の画像データを(1−K)倍し、K倍された画像データと記憶手段から出力され(1−K)倍された画像データとを加算演算する巡回演算を行う演算手段と、動きベクトル算出手段で算出された動きベクトルの大きさが大きいほど係数Kの値を小さくなるように変更制御する係数制御手段とを有することを特徴とする。 According to the first aspect of the present invention, there is provided a motion vector calculating means for extracting a motion region of input image data and calculating a motion vector from image data of a plurality of fields or a plurality of frames of temporally different motion regions. , Storage means capable of storing input image data in field or frame units, input image data multiplied by K (0 ≦ K ≦ 1), and at least one field previous image output from the storage means Data or image data of at least one frame before is multiplied by (1-K), and a cyclic operation is performed to add the K-folded image data and the (1-K) -multiplied image data output from the storage means. Coefficient control means for performing change control so that the value of the coefficient K decreases as the magnitude of the motion vector calculated by the calculation means and the motion vector calculation means increases. Characterized in that it has and.
請求項2に記載の発明は、請求項1記載の巡回型動画像処理装置において、係数制御手段は、抽出された動き領域を含む領域について、動きベクトルの大きさが大きいほど係数Kの値を小さくなるように変更制御することを特徴とする。
請求項3に記載の発明は、請求項1記載の巡回型動画像処理装置において、係数制御手段は、抽出された複数の動き領域を各々に含む各領域について、動きベクトルの大きさが大きいほど係数Kの値を小さくなるように変更制御することを特徴とする。
According to a second aspect of the present invention, in the cyclic moving image processing apparatus according to the first aspect, the coefficient control means sets the value of the coefficient K for the region including the extracted motion region as the size of the motion vector increases. It is characterized in that change control is performed so as to be small.
According to a third aspect of the present invention, in the cyclic moving image processing apparatus according to the first aspect, the coefficient control means increases the magnitude of the motion vector for each of the regions each including the plurality of extracted motion regions. The change control is performed so that the value of the coefficient K is reduced.
請求項4に記載の発明は、請求項1乃至請求項3の何れか1つに記載の巡回型動画像処理装置において、動きベクトル算出手段は、動き領域の大きさ、及び算出された動きベクトルの大きさと方向に応じて、入力された画像データのシーンチェンジを検出し、係数制御手段は、動きベクトル算出手段によって、シーンチェンジが検出されたとき、動きベクトルの大きさにかかわらず、Kの値を1にすることを特徴とする。 According to a fourth aspect of the present invention, in the cyclic moving image processing apparatus according to any one of the first to third aspects, the motion vector calculating means includes the size of the motion region and the calculated motion vector. The coefficient control means detects the scene change of the input image data in accordance with the magnitude and direction of the image data, and the coefficient control means detects the scene change by the motion vector calculation means regardless of the magnitude of the motion vector. The value is set to 1.
本発明の巡回型動画像処理装置は、次の原理に基づくものである。すなわち、演算手段を用いて画像データに巡回加算処理(低域通過フィルタ処理)を施すとき、係数Kの値を小さくすることにより、意図的に残像の量を大きくすることで、なめらかな動きの動画を得る。 The cyclic moving image processing apparatus of the present invention is based on the following principle. That is, when cyclic addition processing (low-pass filter processing) is performed on image data using an arithmetic means, the amount of afterimage is intentionally increased by decreasing the value of the coefficient K, so that smooth movement can be achieved. Get a video.
本発明によれば、静止画像として利用可能な画像を動画像として再生する際に、動きのなめらかな動画像を得て、動画像の鑑賞を可能にする。 According to the present invention, when an image that can be used as a still image is reproduced as a moving image, a moving image with smooth movement is obtained, and the moving image can be viewed.
以下、本発明の実施形態について、添付の図面を用いて説明する。
図1は、本発明の巡回型動画像処理装置を用いた画像処理システムの一例を示すブロック図である。この実施形態は全ての請求項に対応する。
図1に示す画像処理システムは、撮像素子1と、撮像レンズ2と、撮像素子駆動回路3と、処理回路4と、圧縮回路5と、記録媒体6と、操作部7と、撮影モード設定部8と、動き処理回路9と、制御回路10と、動きベクトル算出回路11と、表示部12と、絞り装置13と、絞り駆動回路14と、レンズ駆動回路15と、ズーム操作部16とから構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
FIG. 1 is a block diagram showing an example of an image processing system using the cyclic moving image processing apparatus of the present invention. This embodiment corresponds to all the claims.
The image processing system shown in FIG. 1 includes an
図1において、図示していない被写体の像は、撮像レンズ2によって、撮像素子1の撮像面上に結像する。なお、図1では簡単のため、拡大光学系を含む複数枚のレンズで構成される撮像レンズ2を1枚のレンズとして示している。撮像レンズ2は、レンズ駆動回路15によって駆動される。すなわち、ズーム操作部16の操作に基づいて、制御回路10の制御のもと、レンズ駆動回路15によって撮像レンズ2が駆動され、光学ズーム機能が実現される。
In FIG. 1, an image of a subject (not shown) is formed on the imaging surface of the
また、撮像素子1と撮像レンズ2の間には、絞り駆動回路14によって駆動される絞り装置13が配置されている。
撮像素子1は電子シャッタ動作が可能であり、制御回路10の制御のもとで、撮像素子駆動回路3によって駆動される。すなわち、撮像素子駆動回路3の出力する駆動信号によって撮像素子1より読み出された画像データは、処理回路4に入力されて直流再生、A/D変換、ホワイトバランス、ガンマ変換、電子ズーム等の信号処理が施される。
A
The
なお、撮像素子1の電子シャッタ動作にかえて、機械的シャッタを用いるものであっても、両者を併用するものであってもよい。
処理回路4から出力される画像データは、圧縮回路5と表示部12とに入力されるとともに、動き処理回路9と動きベクトル算出回路11とに入力される。
圧縮回路5は入力された画像データに圧縮処理を施し、圧縮された画像データは当該画像データに関連する付帯データ(撮像素子1の蓄積時間情報、圧縮回路5による圧縮動作の圧縮率情報等)とともに記録媒体6に記録される。
Note that, instead of the electronic shutter operation of the
The image data output from the
The
表示部12には、処理回路4より出力された画像データに対応する画面、又は動き処理回路9より出力された画像データに対応する画面が、制御回路10の制御によって選択的に表示される。また、表示部12の表示画像は、制御回路10の制御によって、必要に応じて固定化(フリーズ)される。
なお、圧縮回路5に、圧縮された画像データを復号化する機能を付加し、制御回路10の制御に基づいて、記録媒体6に記録された圧縮画像データに対応する画像を表示部12に表示可能な構成としてもよい。
A screen corresponding to the image data output from the
A function for decoding the compressed image data is added to the
動き処理回路9は、動きベクトル算出回路11の出力に基づいて、入力される画像データに対して後述する動き処理を行い、動き処理の施された画像データを圧縮回路5、表示部12に出力する。圧縮回路5は、動き処理の施された画像データを圧縮し、記録媒体6に記録する。また、表示部12は、動き処理の施された画像データを制御回路10の制御により表示する。
The
図1において、操作部7は連続画像の撮像開始や記録開始を指示するものである。また、撮影モード設定部8は、撮像モードを設定するものである。操作者は、撮影モード設定部8の操作によって、動画撮像モードと、静止画撮像モードと、静止画像として用いられる画像であって、かつ動画像としても利用可能なブレの少ない連続画像を撮像する撮像モード(以下、静止画・動画撮像モードと称する)の中から1つの撮像モードを選択し、操作部7の操作によって撮像の開始を指示する。ここで、本発明が対象とするのは、静止画・動画撮像モードである。
In FIG. 1, the
なお、図1に示される表示部12や記録媒体6等の各ユニットは、個別の装置として設けられるものであっても構わない。例えば、表示部12や記録媒体6が、個別の装置として設けられる場合、表示部12や記録媒体6との電気的接続を実現するため、接続コネクタ(無線接続の場合にはアンテナ)が設けられる。
以下、撮影モード設定部8の操作によって静止画・動画撮像モードが選択された場合、図1に示す画像処理システムの動作について説明する。
Each unit such as the
The operation of the image processing system shown in FIG. 1 will be described below when the still image / moving image capturing mode is selected by the operation of the shooting
撮影モード設定部8の操作によって静止画、動画撮像モードが選択され、操作部7によって連続撮像の開始、記録が指示される。これによって、制御回路10は、撮像素子1の電子シャッタ時間(電荷蓄積時間)を、像ブレが少なくなるように短く設定する。これによって、静止画像として用いられる画像の取得が可能となる。
撮像素子1より出力された画像データは、処理回路4で上述のような所定の処理(直流再生、A/D変換等)が施される。
A still image / moving image capturing mode is selected by operating the shooting
The image data output from the
処理回路4から出力された画像データは、連続する複数の静止画像データとして圧縮回路5に入力されてデータ圧縮処理が施された後、記録媒体6に入力される。このようにして、記録媒体6には、連続する複数フレームの、像ブレの少ない高画質の静止画像が記録される。
また、処理回路4より出力された画像データは、動画像画像データとして動きベクトル算出回路11、動き処理回路9に入力され、動き処理が施される。
The image data output from the
The image data output from the
動きベクトル算出回路11は、時間的に連続して入力される複数の画像データをもとに、画像領域における動き領域を抽出し、動きベクトルを算出し、抽出された動き領域の動きの速さ(動きベクトルの大きさ)を求める。
次に、動きベクトル算出回路11が行う動き領域の抽出、動きベクトル算出処理について説明する。
The motion vector calculation circuit 11 extracts a motion region in the image region based on a plurality of image data input continuously in time, calculates a motion vector, and calculates the motion speed of the extracted motion region. Determine the magnitude of the motion vector.
Next, motion region extraction and motion vector calculation processing performed by the motion vector calculation circuit 11 will be described.
最初に、画面内の時間的に移動する領域の抽出について説明する。具体的には、対象フレームと、対象フレームより時間的に前のフレームとの差分、及び対象フレームと、対象フレームより時間的に後のフレームとの差分をとって、時間的に前後する2フレーム間で、変化のある領域を算出し、両差分の論理積をとることによって算出される。
図2は、動き領域の抽出原理を説明するための図である。
First, extraction of a region that moves with time in the screen will be described. Specifically, the difference between the target frame and a frame temporally prior to the target frame, and the difference between the target frame and a frame temporally subsequent to the target frame, and two frames preceding and following in time It is calculated by calculating an area having a change between them and calculating the logical product of both differences.
FIG. 2 is a diagram for explaining the principle of extracting a motion region.
図2(a)は、時間的に連続するtx−1,tx、tx+1の3つのフレームFにおいて、被写体17が、画面内を右方向に一定の速度で移動する様子を示したものである。
動き領域を抽出するために、時刻tx−1の画像データと時刻txの画像データとの差分の絶対値、及び時刻txの画像データと時刻tx+1の画像データとの差分の絶対値を算出し、所定レベルと比較して、連続するフレームF間で変化のあった領域18,19を抽出する(図2(b)参照)。以上の処理は画素毎に行われる。また、所定レベルとは、例えば画像データに通常含まれているノイズ成分を超える値が考えられる。これにより、明らかに、当該画素に変化があったこと(移動したこと)が判明するからである。
FIG. 2A shows a state in which the subject 17 moves in the right direction on the screen at a constant speed in three frames F of tx−1, tx, and tx + 1 that are temporally continuous.
In order to extract the motion region, the absolute value of the difference between the image data at time tx-1 and the image data at time tx, and the absolute value of the difference between the image data at time tx and the image data at time tx + 1 are calculated. Compared with a predetermined level,
このようにして抽出された、時間的に連続する2つの変化のあった領域の重複領域をアンド演算により求めることによって、動き領域20が抽出される(図2(c)参照)。言うまでもなく、この処理も画素毎に行われる。
抽出された動き領域20のフレームF内の位置は、図2(a)に示す時刻txにおける被写体17の位置と一致していることがわかる。
The motion region 20 is extracted by obtaining an overlap region of two regions that have been changed in time extracted in this way by AND operation (see FIG. 2C). Needless to say, this processing is also performed for each pixel.
It can be seen that the position of the extracted motion region 20 within the frame F matches the position of the subject 17 at time tx shown in FIG.
なお、動きベクトル算出回路11は、このようにして抽出された動き領域と静止領域との境界を含むように、上記の抽出された動き領域20より若干広い領域を新たな動き領域20として判断する。
上記の処理が、動きベクトル算出回路11に入力される動画像データに対して連続して施され、動画像を構成する各フレームF毎に、動き領域20が抽出される。
The motion vector calculation circuit 11 determines a region slightly wider than the extracted motion region 20 as a new motion region 20 so as to include the boundary between the motion region extracted in this way and the still region. .
The above processing is continuously performed on the moving image data input to the motion vector calculation circuit 11, and the moving region 20 is extracted for each frame F constituting the moving image.
このようにして抽出された動き領域20は、各フレームF内で複数のブロックに分割され、隣接するフレームF間で、各ブロック毎にパターンマッチングを行うことによって、各ブロック毎に動きベクトルが算出される。
以下、図3に示す動き処理回路9について説明する。なお、動き処理回路9は、図1に示す動きベクトル算出回路11とともに、本実施形態の特徴的な部分である。
The motion region 20 thus extracted is divided into a plurality of blocks in each frame F, and pattern matching is performed for each block between adjacent frames F, thereby calculating a motion vector for each block. Is done.
Hereinafter, the
図3に示す動き処理回路9は、入力される画像データXiをK倍(但し、0≦K≦1)したものと、1フレーム遅延した画像データYi-1を(1−K)倍したものとを加算して、順次遅延メモリに書き込む構成(Yi=K*Xi+(1−K)*Yi-1)である。
図3に示すように、動き処理回路9は、動きベクトル算出回路11から端子93を介して入力される動き情報(各分割ブロックの動きベクトル情報、動き領域情報)をもとに、端子91から入力される連続した静止画像の画像データに対して時間軸方向の低域通過フィルタ処理(巡回加算処理)を施した上で、端子92から時間軸方向に低域通過フィルタ処理を施した動画像データを出力する。以下、図3に基づいて、時間軸方向の低域通過フィルタ処理の実行について説明する。
The
As shown in FIG. 3, the
端子91より入力される連続した静止画像の画像データ(画素毎)は、乗算器95でK倍(ここで、Kの値は、0≦K≦1である)され、乗算器96の出力と、加算器97で加算される。加算器97の出力は、端子92から出力されるとともに、フレームメモリ98に入力される。フレームメモリ98は、端子99を介して入力される制御回路10(図1参照)によるフレームメモリ98の読み出し、書き込みの制御信号に基づいて、入力された画像データを所定期間保持した後に、乗算器96に出力する。
The image data (for each pixel) of continuous still images input from the terminal 91 is multiplied by K by a multiplier 95 (where K is 0 ≦ K ≦ 1), and the output of the multiplier 96 is Are added by an
乗算器96では、フレームメモリ98の出力する画像データに対して(1−K)倍の乗算が施され、この乗算結果が加算器97に出力されて、乗算器95の出力する動画像データと画素毎に順次巡回加算される。
フレームメモリ98の保持期間は、乗算器95の出力する画像データと乗算器96の出力する画像データとの画面上の画素の位置が同じになるように制御される。
The multiplier 96 multiplies (1−K) times the image data output from the
The holding period of the
ここで、乗算器95の係数Kの値と、乗算器96の係数(1−K)の値とは、係数制御回路94によって画素位置、あるいは領域位置毎に制御可能な構成とされる。係数制御回路94は、端子93から入力される動き情報に基づいて、前述の係数Kの値を制御する。
以上の動作において、図3に示すように、乗算器96と加算器97とフレームメモリ98は、巡回フィルタを構成している。
Here, the value of the coefficient K of the
In the above operation, as shown in FIG. 3, the multiplier 96, the
次に、請求項との対応関係を説明する。すなわち、請求項に記載する動きベクトル算出手段が動きベクトル算出回路11に対応し、記憶手段がフレームメモリ98に対応し、演算手段が乗算器95、96、加算器97等に対応し、係数制御手段が係数制御回路94に対応する。なお、前記した請求項と実施形態との対応関係は解釈の一例を示したもので、これに限定されるものではない。
Next, the correspondence with the claims will be described. That is, the motion vector calculation means described in the claims corresponds to the motion vector calculation circuit 11, the storage means corresponds to the
次に、上記巡回フィルタの動作について具体例を用いて説明する。
図4は、撮像素子1の撮像面上を、被写体像の右端に高輝度部(図4(a)(b)の太線部分)を有する被写体像X、Yが右方向に移動する様子を示したものである。ここでは、tx−2、tx−1、tx、tx+1、tx+2は、撮像素子1により連続撮像がなされた時刻を示し、簡単のため、その時間間隔が一定である場合について説明する。
Next, the operation of the cyclic filter will be described using a specific example.
FIG. 4 shows how the subject images X and Y having a high-intensity part (thick line portions in FIGS. 4A and 4B) move rightward on the imaging surface of the
図4(a)は、撮像素子1の撮像面上を、被写体像Xが高速で等速移動する様子を示す。また、図4(b)は、撮像素子1の撮像面上を、被写体像Yが低速で等速移動する様子を示す。なお、図4(a)(b)においては、各時刻における被写体X、Yの識別を容易にするため、各時刻における被写体像を紙面縦方向に若干ずらして示している。
動きベクトル算出回路11(図1参照)は、各撮像時刻において得られた画像データを用いて動き領域の抽出を行う。前述の動き領域の抽出原理から容易にわかるように、各撮像時刻において得られた画像中の動き領域の位置は、図4(a)(b)に示される被写体像X、Yの位置と同じものとなる。
FIG. 4A shows a state in which the subject image X moves at a constant speed on the imaging surface of the
The motion vector calculation circuit 11 (see FIG. 1) extracts a motion region using image data obtained at each imaging time. As can be easily understood from the above-described principle of motion region extraction, the position of the motion region in the image obtained at each imaging time is the same as the positions of the subject images X and Y shown in FIGS. It will be a thing.
動きベクトル算出回路11は、抽出された画面内の動き領域を含む領域を複数のブロックに分割し、各ブロックについて動きベクトルを算出するが(図2(c)参照)、図4(a)(b)の例では、被写体像X、Yが、等速で同方向に移動するので、被写体像X、Yの移動量と移動方向は、移動中の各時刻において変化しない。すなわち、動きベクトルの向きと大きさは、移動中の各時刻において抽出された動き領域の各ブロック内で同じものとなる。 The motion vector calculation circuit 11 divides a region including the extracted motion region in the screen into a plurality of blocks and calculates a motion vector for each block (see FIG. 2C), but FIG. In the example of b), since the subject images X and Y move in the same direction at a constant speed, the movement amount and the movement direction of the subject images X and Y do not change at each moving time. That is, the direction and the magnitude of the motion vector are the same in each block of the motion area extracted at each moving time.
このようにして算出された被写体像X,Yの各時刻の動きベクトルを、図4(a)(b)の各々に矢印で示す。ここでは、仮に図4(a)(b)に示される動きベクトルの大きさを、各々200、100とする。すなわち、図4(a)では、連続して撮像されたフレーム間において、被写体像Xが画面上右方向に200画素移動し、図4(b)では連続して撮像されたフレームの間において、被写体像Yが画面上右方向に100画素移動している。 The motion vectors at each time of the subject images X and Y calculated in this way are indicated by arrows in FIGS. 4 (a) and 4 (b). Here, it is assumed that the magnitudes of the motion vectors shown in FIGS. 4A and 4B are 200 and 100, respectively. That is, in FIG. 4 (a), the subject image X moves 200 pixels in the right direction on the screen between consecutively captured frames, and in FIG. 4 (b), between consecutively captured frames, The subject image Y has moved 100 pixels in the right direction on the screen.
図4(a)(b)の画面横方向の画素数を各々1024画素、同じく縦方向の画素数を各々768画素、被写体像X、Yの横方向の画素数を各々200画素、同じく縦方向の画素数を320画素とし、被写体像X、Y部のデータ値を8、高輝度部のデータ値を16、静止部(背景部)のデータ値を0と仮定する。ここで、データ値とは、画像データを8ビット(0〜255)の輝度で表したときの値である。 4 (a) and 4 (b), the number of pixels in the horizontal direction of the screen is 1024 pixels, the number of pixels in the vertical direction is 768 pixels, the number of horizontal pixels of the subject images X and Y is 200 pixels, and the vertical direction is the same. , The data value of the subject image X, Y portion is 8, the data value of the high luminance portion is 16, and the data value of the still portion (background portion) is 0. Here, the data value is a value when the image data is represented by 8-bit (0 to 255) luminance.
係数制御回路94は、動きベクトルの大きさが大きいほど、係数Kの値を小さくするように制御する。すなわち、動きが大きいほどKの値を小さくし、残像を付加してなめらかな動きを実現する。
例えば、係数制御回路94は、係数Kの値を、時刻tx−2〜tx+2において、動き領域として抽出された領域を含む領域について、動きベクトルの大きさが200のときには1/4、動きベクトルの大きさが100のときには1/2に制御するものとすると、図4(a)(b)の各時刻における図1の表示部12に表示される画像は、各々図5の左側、図6の左側に示すものとなる。
The
For example, the
また、図5の左側に表示される画像、及び図6の左側に表示される画像おいて、併記される数字は各領域のデータ値(輝度レベル)であり、小数点以下第3位を四捨五入した値を示している。
なお、図5の右側、図6の右側には、各時刻における画像に対応させて、画面中央水平方向におけるデータ値(輝度レベル)の変化をあわせて示している。
Further, in the image displayed on the left side of FIG. 5 and the image displayed on the left side of FIG. 6, the numbers written together are the data values (luminance levels) of each region, and the third decimal place is rounded off. The value is shown.
The right side of FIG. 5 and the right side of FIG. 6 also show the change in the data value (luminance level) in the horizontal direction at the center of the screen, corresponding to the image at each time.
ここでは、簡単のため、図4(a)(b)の各々において、時刻tx−2以前、時刻tx+2以降の被写体像Xの位置は、各々時刻tx−2、時刻tx+2の被写体像X、Yの位置と同じであるものとする。
比較のために、係数制御回路94が、係数Kの値を、動きベクトルの大きさが200のときには1/2、動きベクトルの大きさが100のときには1/4に制御した際の、図4(a)(b)の各時刻における画像と画面中央水平方向におけるデータ値(輝度レベル)の変化を、図5、図6の場合と同様に、各々図7、図8に示す。
Here, for simplicity, in FIGS. 4A and 4B, the positions of the subject images X before time tx-2 and after time tx + 2 are the subject images X and Y at time tx-2 and time tx + 2, respectively. It shall be the same as the position of.
For comparison, when the
例えば、図5の時刻tx+1の輝度レベルをみると、図7の時刻tx+1の輝度レベルと比較して、被写体像の残像効果が大きいことがわかる。すなわち、図5の時刻tx+1の輝度レベルは画像位置左後部において大きくなり、図7の時刻tx+1の輝度レベルは画像位置左後部において小さくなる。これは、図5の時刻tx+1では、動いている被写体について残像効果が大きく、時間方向の解像度が劣化しており、これによって動きのなめらかな動画像を得ることができることを意味する。 For example, looking at the luminance level at time tx + 1 in FIG. 5, it can be seen that the afterimage effect of the subject image is greater than the luminance level at time tx + 1 in FIG. That is, the luminance level at time tx + 1 in FIG. 5 increases at the rear left portion of the image position, and the luminance level at time tx + 1 in FIG. 7 decreases at the rear left portion of the image position. This means that at time tx + 1 in FIG. 5, the afterimage effect is large for the moving subject and the resolution in the time direction is deteriorated, whereby a moving image with smooth motion can be obtained.
一方、図6の時刻tx+1の輝度レベルをみると、図8の時刻tx+1の輝度レベルと比較して、被写体像の残像効果が少ない反面(図6の時刻tx+1の輝度レベルは画像位置左後部において小さい)、動被写体像の輝度レベルが大きいことがわかる(図6の時刻tx+1の輝度レベルは画像位置右前部において大きい)。すなわち、被写体の動きが小さい場合には、動被写体像の画面内解像度の劣化を少なくするように、残像効果が付与される。 On the other hand, when looking at the luminance level at time tx + 1 in FIG. 6, the afterimage effect of the subject image is small compared to the luminance level at time tx + 1 in FIG. 8, but the luminance level at time tx + 1 in FIG. Small), it can be seen that the luminance level of the moving subject image is large (the luminance level at time tx + 1 in FIG. 6 is large at the right front portion of the image position). That is, when the movement of the subject is small, an afterimage effect is provided so as to reduce deterioration of the resolution of the moving subject image in the screen.
なお、非特許文献1によれば、対象が動いているときには、視覚解像度が低下する旨が示されている。また、非特許文献1の図2.14では、時間周波数が高いほど、高い空間周波数で相対感度が低くなる様子が示されている。換言すれば、被写体の移動速度が速いと、視覚解像度が低下するので、画像自体の解像度が低くてもなめらかな動画像として認識することができる。逆に、被写体の移動速度が遅いと、視覚解像度は低下しないので、画像の解像度を高くしないとぼけた動画像として認識されることとなる。
Note that
図5と図6を比較すると、図5の高輝度部のレベルは図6の高輝度部のレベルと比較して小さいものの、動きの大きい図5の方が動きの小さい図6と比較して、大きい残像効果を得ていることがわかる。
一方、動きの小さい図6の方が、動きの大きい図5と比較して、残像効果は小さいものの、高輝度部のレベルが大きく、画面内の解像度特性がよくなっていることがわかる。
Comparing FIG. 5 and FIG. 6, the level of the high luminance portion of FIG. 5 is smaller than the level of the high luminance portion of FIG. It can be seen that a large afterimage effect is obtained.
On the other hand, it can be seen that FIG. 6 where the motion is small is smaller in the afterimage effect than FIG. 5 where the motion is large, but the level of the high luminance portion is large and the resolution characteristics in the screen are improved.
このように、動きの大きい画像に対しては画像自体の解像度が低くてなめらかな動画像を得ることができ、動きの小さい画像に対しては動きの大きい画像の場合に比較して、視覚解像度が改善された動画像を得ることができる。
上記のように、被写体像の動きの大きさに応じて、係数Kの値を変更することによって、動きの大きい場合にもなめらかな動画像を得ることが可能となるとともに、動きの小さい場合にも、画面内解像度の劣化を防止しつつ、動きのなめらかな動画像を得ることができる。
In this way, a smooth moving image can be obtained with a low-resolution image for a large-motion image, and a visual resolution for a small-motion image compared to a large-motion image. Can improve the moving image.
As described above, by changing the value of the coefficient K according to the magnitude of the movement of the subject image, it is possible to obtain a smooth moving image even when the movement is large, and when the movement is small. However, it is possible to obtain a moving image with smooth movement while preventing deterioration of the resolution within the screen.
なお、上記説明においては、動き処理回路9として、図3に示される例を用いて説明したが、これにかえて、例えば図9に示される構成や図10に示すルックアップテーブルを用いる構成としてもよい。
図9に示す動き処理回路9は、入力画像データと1フレーム遅延画像データとの差分をとって、その差分を(1−K)倍して、入力画像データから減算する構成としたものであり、図3に示すものと同じ機能が実現できる。すなわち、次式により動き処理回路9を実現する回路である。
In the above description, the
The
Yi=Xi−(1−K)*(Xi−Yi-1)
また、図10に示す動き処理回路9は、前記した演算を行うことなく、あらかじめ入力画像データの値と1フレーム遅延画像データの関係からルックアップテーブル100を構成し、入力画像データの値と1フレーム遅延画像データに応じて出力を読み出すものである。
Y i = X i - (1 -K) * (X i -Y i-1)
Further, the
また、上記説明においては、撮像素子1の撮像面上を単一の被写体像(X、又はY)が移動する例について説明した。しかし、本発明はこれに限定されるものではなく、例えば被写体像Xが撮像面上の上部を図4(a)に示す速度で移動し、被写体像Yが撮像面上の下部を図4(b)に示す速度で移動するというように、複数の被写体像が撮像面上を移動する場合においても適用することができる。この場合でも、動きの速い被写体像の動き領域を含む領域についての係数Kの値は、動きの遅い被写体像の動き領域を含む領域についての係数Kよりも小さく設定される。
In the above description, an example in which a single subject image (X or Y) moves on the imaging surface of the
なお、前記した実施形態において、動き処理回路9は入力画像データと1フレーム遅延した画像データとに基づいて低域通過フィルタ処理(巡回加算処理)を実行した。しかし、本発明は1フレーム遅延した画像データを用いることに限定されるものではなく、複数フレーム分だけ遅延した画像データを用いても実現することができる。
また、前記した実施形態においては、フレーム単位に動き処理回路9を動作させたが、本発明はこれに限定されるものではなく、フィールド単位に動き処理回路9を動作させてもよい。ここで、フィールドとは、1フレームを互いに1本おきの走査線で走査した2面のフィールドで画面を構成することを意味する。フィールドを用いる場合、図3、図9に示すフレームメモリ98の代わりに、フィールドメモリが用いられることになる。この場合においても、本発明は複数フィールド分だけ遅延した画像データを用いて実現することができる。
In the above-described embodiment, the
In the above-described embodiment, the
また、前記した実施形態においては、Kの値を1/2と1/4の2つの値に設定したが、本発明はこれに限定されるものではなく、Kの値としては、0≦K≦1の範囲で任意の値を取ることができる。また、Kの値を設定する場合においても、設定するKの値は2つに限定されるものではない。
また、前記した実施形態においては、巡回型動画像処理装置を、撮像装置に適用した例について示したが、本発明はこれに限定されるものではなく、画像記録装置、画像再生装置等に対しても同様に適用できる。
In the above-described embodiment, the value of K is set to two values of 1/2 and 1/4. However, the present invention is not limited to this, and the value of K is 0 ≦ K. An arbitrary value can be taken in the range of ≦ 1. Further, even when the value of K is set, the value of K to be set is not limited to two.
In the above-described embodiment, an example in which the cyclic moving image processing apparatus is applied to an imaging apparatus has been described. However, the present invention is not limited to this, and the present invention is not limited to this. However, the same applies.
このような装置においては、1フレームの画像を複数のブロックに分割して、各ブロックで動きベクトルを算出し、各ブロックの動きベクトルの大きさ、方向をもとに、画像のパンニング、被写体の動き、シーンチェンジを判別する。
ここで、一般的なシーンチェンジ時の動き領域は画面全体となり、動きベクトルの大きさ及び方向は、算出不能(算出できたとしても、各ブロックでランダム)となる。このような場合には、入力画像がシーンチェンジ状態であると判別し、動きベクトルの大きさに関係なく、上記係数Kの値を1として、巡回型動画像処理を行わない。すなわち、入力された画像データに何の演算も施されることなく、入力された画像データがそのまま出力される。これは、請求項4に対応する。
In such an apparatus, an image of one frame is divided into a plurality of blocks, a motion vector is calculated for each block, and based on the magnitude and direction of the motion vector of each block, panning of the image, Determine movements and scene changes.
Here, the motion area at the time of a general scene change is the entire screen, and the magnitude and direction of the motion vector cannot be calculated (even if it can be calculated, it is random in each block). In such a case, it is determined that the input image is in the scene change state, the value of the coefficient K is set to 1 regardless of the magnitude of the motion vector, and cyclic moving image processing is not performed. That is, the input image data is output as it is without any calculation being performed on the input image data. This corresponds to claim 4.
一方、画像のパンニングの場合には、動き領域は画面全体となり、各ブロックの動きベクトルは、大きさ、向きともほぼ一定となる。このような場合には、上述したとおり、動きの量が大きいほど、係数Kの値を小さくする。
被写体が動く場合は、前記実施形態において説明したとおりである。
さらに、画像の拡大、縮小がなされた場合にも、動き領域は画面全体となり、動きベクトルの向きは、拡大、縮小の中心点を中心として、拡散又は集中する。動きベクトルの向きにより、画像の拡大、縮小を判別し、動き量が大きい場合には、上記実施形態における説明と同様に、係数Kの値を小さくする。
On the other hand, in the case of panning an image, the motion area is the entire screen, and the motion vector of each block is almost constant in both size and direction. In such a case, as described above, the value of the coefficient K is decreased as the amount of motion is increased.
The case where the subject moves is as described in the above embodiment.
Further, even when the image is enlarged or reduced, the motion region is the entire screen, and the direction of the motion vector is diffused or concentrated around the center point of enlargement or reduction. Whether the image is enlarged or reduced is determined based on the direction of the motion vector, and when the amount of motion is large, the value of the coefficient K is decreased as in the description of the above embodiment.
また、動き量の判定は、所定の閾値と動きベクトルの大きさとを比較することによって行う構成としてもよい。動きベクトルの大きさが所定の閾値より大きくなった場合、係数Kの値を小さくする。また、係数Kの値は動きベクトルの大きさによって連続的に変化するものであってもよい。動き領域の範囲、動きベクトルの向き及び大きさによって、シーンチェンジを判別し、この場合には、上述の説明と同様に、動きベクトルの大きさにかからず、係数Kの値を1として巡回型動画像処理を行わない。 The determination of the motion amount may be performed by comparing a predetermined threshold value with the magnitude of the motion vector. When the magnitude of the motion vector becomes larger than a predetermined threshold, the value of the coefficient K is decreased. Further, the value of the coefficient K may be continuously changed depending on the magnitude of the motion vector. The scene change is discriminated based on the range of the motion region and the direction and size of the motion vector. In this case, as in the above description, the value of the coefficient K is set to 1 regardless of the size of the motion vector. Do not perform type moving image processing.
これらの画像の動きの形態判別は、図1に示す動きベクトル算出回路11において行われる。 The motion form determination of these images is performed in the motion vector calculation circuit 11 shown in FIG.
本発明は、撮像装置、画像記録装置、画像再生装置等の静止画像と動画像を扱う各分野で、産業上大いに利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used industrially in various fields that handle still images and moving images, such as imaging devices, image recording devices, and image playback devices.
1 撮像素子
2 撮像レンズ
3 撮像素子駆動回路
4 処理回路
5 圧縮回路
6 記録媒体
7 操作部
8 撮影モード設定部
9 動き処理回路
10 制御回路
11 動きベクトル算出回路
12 表示部
13 絞り装置
14 絞り駆動回路
15 レンズ駆動回路
16 ズーム操作部
17 被写体
18、19 連続フレーム間で変化した領域
20 動き領域
94 係数制御回路
98 フレームメモリ
100 ルックアップテーブル
F フレーム
K 係数
DESCRIPTION OF
Claims (4)
前記入力される画像データをフィールド又はフレーム単位で記憶可能な記憶手段と、
前記入力された画像データをK(0≦K≦1)倍すると共に、前記記憶手段から出力される少なくとも1フィールド分前の画像データ又は少なくとも1フレーム分前の画像データを(1−K)倍し、前記K倍された画像データと前記記憶手段から出力され(1−K)倍された画像データとを加算演算する巡回演算を行う演算手段と、
前記動きベクトル算出手段で算出された動きベクトルの大きさが大きいほど前記係数Kの値を小さくなるように変更制御する係数制御手段と
を有することを特徴とする巡回型動画像処理装置。 A motion vector calculating means for extracting a motion region of input image data and calculating a motion vector from image data of a plurality of fields or a plurality of frames temporally different for the motion region;
Storage means capable of storing the input image data in field or frame units;
The input image data is multiplied by K (0 ≦ K ≦ 1), and at least one field previous image data or at least one frame previous image data output from the storage means is (1−K) times. And a calculation means for performing a cyclic calculation for adding the K-folded image data and the (1-K) -folded image data output from the storage means,
And a coefficient control means for controlling the change so that the value of the coefficient K becomes smaller as the magnitude of the motion vector calculated by the motion vector calculation means becomes larger.
前記係数制御手段は、前記抽出された動き領域を含む領域について、動きベクトルの大きさが大きいほど前記係数Kの値を小さくなるように変更制御することを特徴とする巡回型動画像処理装置。 The cyclic moving image processing apparatus according to claim 1,
The cyclic control unit, wherein the coefficient control unit performs change control so that the value of the coefficient K decreases as the size of a motion vector increases for a region including the extracted motion region.
前記係数制御手段は、
抽出された複数の前記動き領域を各々に含む各領域について、動きベクトルの大きさが大きいほど前記係数Kの値を小さくなるように変更制御することを特徴とする巡回型動画像処理装置。 The cyclic moving image processing apparatus according to claim 1,
The coefficient control means includes
A cyclic moving image processing apparatus, wherein a change control is performed so that the value of the coefficient K decreases as the size of a motion vector increases for each of the plurality of extracted motion regions.
前記動きベクトル算出手段は、前記動き領域の大きさ、及び算出された前記動きベクトルの大きさと方向に応じて、前記入力された画像データのシーンチェンジを検出し、
前記係数制御手段は、前記動きベクトル算出手段によって、前記シーンチェンジが検出されたとき、前記動きベクトルの大きさにかかわらず、前記Kの値を1にすることを特徴とする巡回型動画像処理装置。
In the cyclic | annular moving image processing apparatus as described in any one of Claims 1 thru | or 3,
The motion vector calculation means detects a scene change of the input image data according to the size of the motion region and the size and direction of the calculated motion vector,
The coefficient control means sets the value of K to 1 regardless of the magnitude of the motion vector when the scene change is detected by the motion vector calculation means. apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004296670A JP2006109361A (en) | 2004-10-08 | 2004-10-08 | Cyclic moving image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004296670A JP2006109361A (en) | 2004-10-08 | 2004-10-08 | Cyclic moving image processing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006109361A true JP2006109361A (en) | 2006-04-20 |
Family
ID=36378516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004296670A Withdrawn JP2006109361A (en) | 2004-10-08 | 2004-10-08 | Cyclic moving image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006109361A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101841654A (en) * | 2009-03-06 | 2010-09-22 | 卡西欧计算机株式会社 | Image processing apparatus and image processing method |
JP2018148260A (en) * | 2017-03-01 | 2018-09-20 | キヤノン株式会社 | Image processing apparatus, control method of image processing apparatus, and program |
-
2004
- 2004-10-08 JP JP2004296670A patent/JP2006109361A/en not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101841654A (en) * | 2009-03-06 | 2010-09-22 | 卡西欧计算机株式会社 | Image processing apparatus and image processing method |
JP2010212781A (en) * | 2009-03-06 | 2010-09-24 | Casio Computer Co Ltd | Image processing apparatus and image processing program |
US8345110B2 (en) | 2009-03-06 | 2013-01-01 | Casio Computer Co., Ltd. | Image processing apparatus and storage medium |
KR101248024B1 (en) * | 2009-03-06 | 2013-03-27 | 가시오게산키 가부시키가이샤 | Image processing apparatus and storage medium |
TWI420899B (en) * | 2009-03-06 | 2013-12-21 | Casio Computer Co Ltd | Image processing apparatus and image processing method and storage medium |
JP2018148260A (en) * | 2017-03-01 | 2018-09-20 | キヤノン株式会社 | Image processing apparatus, control method of image processing apparatus, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8692896B2 (en) | Image quality evaluation device, terminal device, image quality evaluation system, image quality evaluation method and computer-readable recording medium for storing programs | |
US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
JP3530907B2 (en) | Digital camera | |
KR20150108774A (en) | Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable medium | |
JP4674620B2 (en) | Image processing apparatus, image processing method, and program | |
EP1783686A1 (en) | Image stabilization | |
JP2014021928A (en) | Image processor, image processing method and program | |
JP5490236B2 (en) | Image processing apparatus and method, image display apparatus and method | |
JP2005286677A (en) | Image pickup device | |
JP5642348B2 (en) | Display device driving method and display device driving circuit using the same | |
JP2000134549A (en) | Solid-state image pickup device | |
JP5092536B2 (en) | Image processing apparatus and program thereof | |
WO2016152358A1 (en) | Image processing device, image processing method and image processing program | |
JP5300413B2 (en) | Motion vector detection device, motion vector detection method, imaging device, and program | |
JP2013258537A (en) | Imaging apparatus and image display method of the same | |
US10348957B2 (en) | Image capturing apparatus, method of controlling the same, and storage medium for shooting a still image without interrupting shooting of moving images | |
JP2003069859A (en) | Moving image processing adapting to motion | |
JP2007202050A (en) | Image generating apparatus and program | |
JP2006197096A (en) | Television telephone | |
JP2006109361A (en) | Cyclic moving image processing apparatus | |
JP4175729B2 (en) | Electronic imaging device | |
JP5213604B2 (en) | Imaging device | |
JP4936816B2 (en) | Imaging apparatus and simultaneous display control method | |
JP7110985B2 (en) | Image processing device, image processing method, and program | |
JP2011135537A (en) | Imaging apparatus and control method of the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080108 |