JP2006109361A - Cyclic moving image processing apparatus - Google Patents

Cyclic moving image processing apparatus Download PDF

Info

Publication number
JP2006109361A
JP2006109361A JP2004296670A JP2004296670A JP2006109361A JP 2006109361 A JP2006109361 A JP 2006109361A JP 2004296670 A JP2004296670 A JP 2004296670A JP 2004296670 A JP2004296670 A JP 2004296670A JP 2006109361 A JP2006109361 A JP 2006109361A
Authority
JP
Japan
Prior art keywords
image
image data
motion vector
motion
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004296670A
Other languages
Japanese (ja)
Inventor
Keiichi Nitta
啓一 新田
Yoshizo Mori
吉造 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2004296670A priority Critical patent/JP2006109361A/en
Publication of JP2006109361A publication Critical patent/JP2006109361A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a cyclic moving image processing apparatus in which smoothness of motion is given to a moving image by applying image processing to an image that is to be used as a still image, so as to utilize the image also as a moving image. <P>SOLUTION: The cyclic moving image processing apparatus comprises: a motion vector calculation means (11) for extracting a motion region of inputted image data and calculating a motion vector of image data of a plurality of frames which are temporally different for the motion region; a storage means (98) capable of storing the inputted image data frame by frame; arithmetic means (96, 97, 98) for performing predetermined cyclic operation using the inputted image data, image data, preceding for at least one frame, outputted from the storage means and a coefficient K; and a coefficient control means (94) for performing control to reduce a value of the coefficient K less as a size of the motion vector becomes greater, based on the size of the motion vector calculated in the motion vector calculation means. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、複数の静止画像を動画像として再生するとき、再生される動画像になめらかさを与えて、動画像を高画質化するのに適した巡回型動画像処理装置に関する。   The present invention relates to a cyclic moving image processing apparatus suitable for giving smoothness to a reproduced moving image and improving the image quality of the moving image when reproducing a plurality of still images as moving images.

撮像装置として、撮像素子の撮像面上に結像した被写体像を光電変換し、得られた画像データを記録媒体に記録するものが一般に知られている。
また、撮像装置として、記録媒体として用いられるメモリの容量増大と画像処理速度の向上に伴い、単一の撮像系を用いて、静止画像の撮像のみでなく、動画像の撮像が可能なものが開発されている。
2. Description of the Related Art Generally, an imaging apparatus is known that photoelectrically converts a subject image formed on an imaging surface of an imaging element and records the obtained image data on a recording medium.
In addition, as an imaging device, a device capable of capturing not only a still image but also a moving image by using a single imaging system as the capacity of a memory used as a recording medium increases and the image processing speed improves. Has been developed.

特に、報道分野等においては、このような撮像装置を用いて撮像された静止画像、動画像の両方の画像を鑑賞用として使用したいという要望がある。
例えば、単一の撮像系を用いて動画像を撮像して記録する際に、動画像の撮像が行われている状態でレリーズスイッチを押下して静止画像の撮像を指示すると、記録媒体に記録される動画中の対応する静止画にフラグが設定され、フラグが設定された画像のみを静止画像として再生可能な電子カメラが提案されている(特許文献1参照)。
特開2000−295568号公報 吹抜敬彦著「画像のディジタル信号処理(増補版)」日刊工業新聞社 昭和61年7月30日初版7刷(増補版)発行(第25頁参照)
In particular, in the news report field, there is a desire to use both still images and moving images captured using such an imaging device for viewing.
For example, when a moving image is captured and recorded using a single imaging system, if a release switch is pressed and a still image is instructed while the moving image is being captured, recording is performed on the recording medium. There has been proposed an electronic camera in which a flag is set for a corresponding still image in a moving image and only an image with the flag set can be reproduced as a still image (see Patent Document 1).
JP 2000-295568 A Published by Takahiko Fukiki, "Digital signal processing of images (enlarged version)", Nikkan Kogyo Shimbun, Ltd. July 30, 1986 First edition 7 prints (enlarged version) (see page 25)

しかし、前記した従来技術には次のような問題点がある。
すなわち、単一の撮像系で静止画像として使用される画像と、動画像として使用される画像とを同時に撮像する場合、通常の動画撮像条件で撮像された動画像の中から抽出された再生静止画像は、ぼけた画像となり静止画像として鑑賞に耐えない。
逆に、単一の撮像系で静止画像として使用される画像と、動画像として使用される画像とを同時に撮像する場合、通常の静止画撮像条件で撮像された動画像は、再生の際に動きのなめらかさがなく、動画像として鑑賞に耐えない。
However, the prior art described above has the following problems.
That is, in the case of simultaneously capturing an image used as a still image and an image used as a moving image in a single imaging system, a playback still image extracted from a moving image captured under normal moving image capturing conditions The image is blurred and cannot be viewed as a still image.
Conversely, when simultaneously capturing an image used as a still image and an image used as a moving image in a single imaging system, a moving image captured under normal still image capturing conditions is There is no smooth movement, and it cannot stand as a moving image.

本発明は、静止画像として用いられる画像に対して、動画像としても利用可能な画像処理を施し、動画像に動きのなめらかさを与える巡回型動画像処理装置を提供することを目的とする。   An object of the present invention is to provide a cyclic moving image processing apparatus that performs image processing that can also be used as a moving image on an image that is used as a still image, and gives the moving image smoothness.

請求項1に記載の発明は、入力される画像データの動き領域を抽出し、動き領域について時間的に異なる複数フィールドの画像データ又は複数フレームの画像データから動きベクトルを算出する動きベクトル算出手段と、入力される画像データをフィールド又はフレーム単位で記憶可能な記憶手段と、入力された画像データをK(0≦K≦1)倍すると共に、記憶手段から出力される少なくとも1フィールド分前の画像データ又は少なくとも1フレーム分前の画像データを(1−K)倍し、K倍された画像データと記憶手段から出力され(1−K)倍された画像データとを加算演算する巡回演算を行う演算手段と、動きベクトル算出手段で算出された動きベクトルの大きさが大きいほど係数Kの値を小さくなるように変更制御する係数制御手段とを有することを特徴とする。   According to the first aspect of the present invention, there is provided a motion vector calculating means for extracting a motion region of input image data and calculating a motion vector from image data of a plurality of fields or a plurality of frames of temporally different motion regions. , Storage means capable of storing input image data in field or frame units, input image data multiplied by K (0 ≦ K ≦ 1), and at least one field previous image output from the storage means Data or image data of at least one frame before is multiplied by (1-K), and a cyclic operation is performed to add the K-folded image data and the (1-K) -multiplied image data output from the storage means. Coefficient control means for performing change control so that the value of the coefficient K decreases as the magnitude of the motion vector calculated by the calculation means and the motion vector calculation means increases. Characterized in that it has and.

請求項2に記載の発明は、請求項1記載の巡回型動画像処理装置において、係数制御手段は、抽出された動き領域を含む領域について、動きベクトルの大きさが大きいほど係数Kの値を小さくなるように変更制御することを特徴とする。
請求項3に記載の発明は、請求項1記載の巡回型動画像処理装置において、係数制御手段は、抽出された複数の動き領域を各々に含む各領域について、動きベクトルの大きさが大きいほど係数Kの値を小さくなるように変更制御することを特徴とする。
According to a second aspect of the present invention, in the cyclic moving image processing apparatus according to the first aspect, the coefficient control means sets the value of the coefficient K for the region including the extracted motion region as the size of the motion vector increases. It is characterized in that change control is performed so as to be small.
According to a third aspect of the present invention, in the cyclic moving image processing apparatus according to the first aspect, the coefficient control means increases the magnitude of the motion vector for each of the regions each including the plurality of extracted motion regions. The change control is performed so that the value of the coefficient K is reduced.

請求項4に記載の発明は、請求項1乃至請求項3の何れか1つに記載の巡回型動画像処理装置において、動きベクトル算出手段は、動き領域の大きさ、及び算出された動きベクトルの大きさと方向に応じて、入力された画像データのシーンチェンジを検出し、係数制御手段は、動きベクトル算出手段によって、シーンチェンジが検出されたとき、動きベクトルの大きさにかかわらず、Kの値を1にすることを特徴とする。   According to a fourth aspect of the present invention, in the cyclic moving image processing apparatus according to any one of the first to third aspects, the motion vector calculating means includes the size of the motion region and the calculated motion vector. The coefficient control means detects the scene change of the input image data in accordance with the magnitude and direction of the image data, and the coefficient control means detects the scene change by the motion vector calculation means regardless of the magnitude of the motion vector. The value is set to 1.

本発明の巡回型動画像処理装置は、次の原理に基づくものである。すなわち、演算手段を用いて画像データに巡回加算処理(低域通過フィルタ処理)を施すとき、係数Kの値を小さくすることにより、意図的に残像の量を大きくすることで、なめらかな動きの動画を得る。   The cyclic moving image processing apparatus of the present invention is based on the following principle. That is, when cyclic addition processing (low-pass filter processing) is performed on image data using an arithmetic means, the amount of afterimage is intentionally increased by decreasing the value of the coefficient K, so that smooth movement can be achieved. Get a video.

本発明によれば、静止画像として利用可能な画像を動画像として再生する際に、動きのなめらかな動画像を得て、動画像の鑑賞を可能にする。   According to the present invention, when an image that can be used as a still image is reproduced as a moving image, a moving image with smooth movement is obtained, and the moving image can be viewed.

以下、本発明の実施形態について、添付の図面を用いて説明する。
図1は、本発明の巡回型動画像処理装置を用いた画像処理システムの一例を示すブロック図である。この実施形態は全ての請求項に対応する。
図1に示す画像処理システムは、撮像素子1と、撮像レンズ2と、撮像素子駆動回路3と、処理回路4と、圧縮回路5と、記録媒体6と、操作部7と、撮影モード設定部8と、動き処理回路9と、制御回路10と、動きベクトル算出回路11と、表示部12と、絞り装置13と、絞り駆動回路14と、レンズ駆動回路15と、ズーム操作部16とから構成されている。
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
FIG. 1 is a block diagram showing an example of an image processing system using the cyclic moving image processing apparatus of the present invention. This embodiment corresponds to all the claims.
The image processing system shown in FIG. 1 includes an imaging device 1, an imaging lens 2, an imaging device driving circuit 3, a processing circuit 4, a compression circuit 5, a recording medium 6, an operation unit 7, and a shooting mode setting unit. 8, a motion processing circuit 9, a control circuit 10, a motion vector calculation circuit 11, a display unit 12, an aperture device 13, an aperture drive circuit 14, a lens drive circuit 15, and a zoom operation unit 16. Has been.

図1において、図示していない被写体の像は、撮像レンズ2によって、撮像素子1の撮像面上に結像する。なお、図1では簡単のため、拡大光学系を含む複数枚のレンズで構成される撮像レンズ2を1枚のレンズとして示している。撮像レンズ2は、レンズ駆動回路15によって駆動される。すなわち、ズーム操作部16の操作に基づいて、制御回路10の制御のもと、レンズ駆動回路15によって撮像レンズ2が駆動され、光学ズーム機能が実現される。   In FIG. 1, an image of a subject (not shown) is formed on the imaging surface of the imaging device 1 by the imaging lens 2. In FIG. 1, for the sake of simplicity, the imaging lens 2 including a plurality of lenses including the magnifying optical system is shown as a single lens. The imaging lens 2 is driven by a lens driving circuit 15. That is, the imaging lens 2 is driven by the lens driving circuit 15 under the control of the control circuit 10 based on the operation of the zoom operation unit 16, and the optical zoom function is realized.

また、撮像素子1と撮像レンズ2の間には、絞り駆動回路14によって駆動される絞り装置13が配置されている。
撮像素子1は電子シャッタ動作が可能であり、制御回路10の制御のもとで、撮像素子駆動回路3によって駆動される。すなわち、撮像素子駆動回路3の出力する駆動信号によって撮像素子1より読み出された画像データは、処理回路4に入力されて直流再生、A/D変換、ホワイトバランス、ガンマ変換、電子ズーム等の信号処理が施される。
A diaphragm device 13 driven by a diaphragm driving circuit 14 is disposed between the image sensor 1 and the imaging lens 2.
The image sensor 1 can perform an electronic shutter operation, and is driven by the image sensor drive circuit 3 under the control of the control circuit 10. That is, the image data read from the image sensor 1 by the drive signal output from the image sensor drive circuit 3 is input to the processing circuit 4 and is used for DC reproduction, A / D conversion, white balance, gamma conversion, electronic zoom, etc. Signal processing is performed.

なお、撮像素子1の電子シャッタ動作にかえて、機械的シャッタを用いるものであっても、両者を併用するものであってもよい。
処理回路4から出力される画像データは、圧縮回路5と表示部12とに入力されるとともに、動き処理回路9と動きベクトル算出回路11とに入力される。
圧縮回路5は入力された画像データに圧縮処理を施し、圧縮された画像データは当該画像データに関連する付帯データ(撮像素子1の蓄積時間情報、圧縮回路5による圧縮動作の圧縮率情報等)とともに記録媒体6に記録される。
Note that, instead of the electronic shutter operation of the image sensor 1, a mechanical shutter may be used or both may be used in combination.
The image data output from the processing circuit 4 is input to the compression circuit 5 and the display unit 12, and is input to the motion processing circuit 9 and the motion vector calculation circuit 11.
The compression circuit 5 performs compression processing on the input image data, and the compressed image data includes incidental data related to the image data (accumulation time information of the image sensor 1, compression rate information of the compression operation by the compression circuit 5, etc.). At the same time, it is recorded on the recording medium 6.

表示部12には、処理回路4より出力された画像データに対応する画面、又は動き処理回路9より出力された画像データに対応する画面が、制御回路10の制御によって選択的に表示される。また、表示部12の表示画像は、制御回路10の制御によって、必要に応じて固定化(フリーズ)される。
なお、圧縮回路5に、圧縮された画像データを復号化する機能を付加し、制御回路10の制御に基づいて、記録媒体6に記録された圧縮画像データに対応する画像を表示部12に表示可能な構成としてもよい。
A screen corresponding to the image data output from the processing circuit 4 or a screen corresponding to the image data output from the motion processing circuit 9 is selectively displayed on the display unit 12 under the control of the control circuit 10. Further, the display image of the display unit 12 is fixed (frozen) as necessary under the control of the control circuit 10.
A function for decoding the compressed image data is added to the compression circuit 5, and an image corresponding to the compressed image data recorded on the recording medium 6 is displayed on the display unit 12 based on the control of the control circuit 10. It is good also as a possible structure.

動き処理回路9は、動きベクトル算出回路11の出力に基づいて、入力される画像データに対して後述する動き処理を行い、動き処理の施された画像データを圧縮回路5、表示部12に出力する。圧縮回路5は、動き処理の施された画像データを圧縮し、記録媒体6に記録する。また、表示部12は、動き処理の施された画像データを制御回路10の制御により表示する。   The motion processing circuit 9 performs a later-described motion process on the input image data based on the output of the motion vector calculation circuit 11 and outputs the image data subjected to the motion process to the compression circuit 5 and the display unit 12. To do. The compression circuit 5 compresses the image data that has been subjected to the motion processing and records it on the recording medium 6. The display unit 12 displays the image data on which the motion process has been performed under the control of the control circuit 10.

図1において、操作部7は連続画像の撮像開始や記録開始を指示するものである。また、撮影モード設定部8は、撮像モードを設定するものである。操作者は、撮影モード設定部8の操作によって、動画撮像モードと、静止画撮像モードと、静止画像として用いられる画像であって、かつ動画像としても利用可能なブレの少ない連続画像を撮像する撮像モード(以下、静止画・動画撮像モードと称する)の中から1つの撮像モードを選択し、操作部7の操作によって撮像の開始を指示する。ここで、本発明が対象とするのは、静止画・動画撮像モードである。   In FIG. 1, the operation unit 7 instructs to start capturing and recording continuous images. The shooting mode setting unit 8 sets the shooting mode. By operating the shooting mode setting unit 8, the operator captures a moving image capturing mode, a still image capturing mode, and a continuous image that is used as a still image and that can be used as a moving image with little blurring. One imaging mode is selected from the imaging modes (hereinafter referred to as a still image / moving image imaging mode), and the start of imaging is instructed by operating the operation unit 7. Here, the present invention is directed to a still image / moving image capturing mode.

なお、図1に示される表示部12や記録媒体6等の各ユニットは、個別の装置として設けられるものであっても構わない。例えば、表示部12や記録媒体6が、個別の装置として設けられる場合、表示部12や記録媒体6との電気的接続を実現するため、接続コネクタ(無線接続の場合にはアンテナ)が設けられる。
以下、撮影モード設定部8の操作によって静止画・動画撮像モードが選択された場合、図1に示す画像処理システムの動作について説明する。
Each unit such as the display unit 12 and the recording medium 6 shown in FIG. 1 may be provided as an individual device. For example, when the display unit 12 and the recording medium 6 are provided as individual devices, a connection connector (an antenna in the case of wireless connection) is provided to realize electrical connection with the display unit 12 and the recording medium 6. .
The operation of the image processing system shown in FIG. 1 will be described below when the still image / moving image capturing mode is selected by the operation of the shooting mode setting unit 8.

撮影モード設定部8の操作によって静止画、動画撮像モードが選択され、操作部7によって連続撮像の開始、記録が指示される。これによって、制御回路10は、撮像素子1の電子シャッタ時間(電荷蓄積時間)を、像ブレが少なくなるように短く設定する。これによって、静止画像として用いられる画像の取得が可能となる。
撮像素子1より出力された画像データは、処理回路4で上述のような所定の処理(直流再生、A/D変換等)が施される。
A still image / moving image capturing mode is selected by operating the shooting mode setting unit 8, and the start and recording of continuous imaging are instructed by the operation unit 7. As a result, the control circuit 10 sets the electronic shutter time (charge accumulation time) of the image sensor 1 so as to reduce image blur. As a result, an image used as a still image can be acquired.
The image data output from the image sensor 1 is subjected to the predetermined processing (DC reproduction, A / D conversion, etc.) as described above in the processing circuit 4.

処理回路4から出力された画像データは、連続する複数の静止画像データとして圧縮回路5に入力されてデータ圧縮処理が施された後、記録媒体6に入力される。このようにして、記録媒体6には、連続する複数フレームの、像ブレの少ない高画質の静止画像が記録される。
また、処理回路4より出力された画像データは、動画像画像データとして動きベクトル算出回路11、動き処理回路9に入力され、動き処理が施される。
The image data output from the processing circuit 4 is input to the compression circuit 5 as a plurality of continuous still image data, subjected to data compression processing, and then input to the recording medium 6. In this way, a high-quality still image with a few image blurs is recorded on the recording medium 6.
The image data output from the processing circuit 4 is input to the motion vector calculation circuit 11 and the motion processing circuit 9 as moving image image data, and subjected to motion processing.

動きベクトル算出回路11は、時間的に連続して入力される複数の画像データをもとに、画像領域における動き領域を抽出し、動きベクトルを算出し、抽出された動き領域の動きの速さ(動きベクトルの大きさ)を求める。
次に、動きベクトル算出回路11が行う動き領域の抽出、動きベクトル算出処理について説明する。
The motion vector calculation circuit 11 extracts a motion region in the image region based on a plurality of image data input continuously in time, calculates a motion vector, and calculates the motion speed of the extracted motion region. Determine the magnitude of the motion vector.
Next, motion region extraction and motion vector calculation processing performed by the motion vector calculation circuit 11 will be described.

最初に、画面内の時間的に移動する領域の抽出について説明する。具体的には、対象フレームと、対象フレームより時間的に前のフレームとの差分、及び対象フレームと、対象フレームより時間的に後のフレームとの差分をとって、時間的に前後する2フレーム間で、変化のある領域を算出し、両差分の論理積をとることによって算出される。
図2は、動き領域の抽出原理を説明するための図である。
First, extraction of a region that moves with time in the screen will be described. Specifically, the difference between the target frame and a frame temporally prior to the target frame, and the difference between the target frame and a frame temporally subsequent to the target frame, and two frames preceding and following in time It is calculated by calculating an area having a change between them and calculating the logical product of both differences.
FIG. 2 is a diagram for explaining the principle of extracting a motion region.

図2(a)は、時間的に連続するtx−1,tx、tx+1の3つのフレームFにおいて、被写体17が、画面内を右方向に一定の速度で移動する様子を示したものである。
動き領域を抽出するために、時刻tx−1の画像データと時刻txの画像データとの差分の絶対値、及び時刻txの画像データと時刻tx+1の画像データとの差分の絶対値を算出し、所定レベルと比較して、連続するフレームF間で変化のあった領域18,19を抽出する(図2(b)参照)。以上の処理は画素毎に行われる。また、所定レベルとは、例えば画像データに通常含まれているノイズ成分を超える値が考えられる。これにより、明らかに、当該画素に変化があったこと(移動したこと)が判明するからである。
FIG. 2A shows a state in which the subject 17 moves in the right direction on the screen at a constant speed in three frames F of tx−1, tx, and tx + 1 that are temporally continuous.
In order to extract the motion region, the absolute value of the difference between the image data at time tx-1 and the image data at time tx, and the absolute value of the difference between the image data at time tx and the image data at time tx + 1 are calculated. Compared with a predetermined level, areas 18 and 19 that have changed between consecutive frames F are extracted (see FIG. 2B). The above processing is performed for each pixel. The predetermined level may be a value exceeding the noise component normally included in the image data, for example. This is because it is apparent that the pixel has changed (moved).

このようにして抽出された、時間的に連続する2つの変化のあった領域の重複領域をアンド演算により求めることによって、動き領域20が抽出される(図2(c)参照)。言うまでもなく、この処理も画素毎に行われる。
抽出された動き領域20のフレームF内の位置は、図2(a)に示す時刻txにおける被写体17の位置と一致していることがわかる。
The motion region 20 is extracted by obtaining an overlap region of two regions that have been changed in time extracted in this way by AND operation (see FIG. 2C). Needless to say, this processing is also performed for each pixel.
It can be seen that the position of the extracted motion region 20 within the frame F matches the position of the subject 17 at time tx shown in FIG.

なお、動きベクトル算出回路11は、このようにして抽出された動き領域と静止領域との境界を含むように、上記の抽出された動き領域20より若干広い領域を新たな動き領域20として判断する。
上記の処理が、動きベクトル算出回路11に入力される動画像データに対して連続して施され、動画像を構成する各フレームF毎に、動き領域20が抽出される。
The motion vector calculation circuit 11 determines a region slightly wider than the extracted motion region 20 as a new motion region 20 so as to include the boundary between the motion region extracted in this way and the still region. .
The above processing is continuously performed on the moving image data input to the motion vector calculation circuit 11, and the moving region 20 is extracted for each frame F constituting the moving image.

このようにして抽出された動き領域20は、各フレームF内で複数のブロックに分割され、隣接するフレームF間で、各ブロック毎にパターンマッチングを行うことによって、各ブロック毎に動きベクトルが算出される。
以下、図3に示す動き処理回路9について説明する。なお、動き処理回路9は、図1に示す動きベクトル算出回路11とともに、本実施形態の特徴的な部分である。
The motion region 20 thus extracted is divided into a plurality of blocks in each frame F, and pattern matching is performed for each block between adjacent frames F, thereby calculating a motion vector for each block. Is done.
Hereinafter, the motion processing circuit 9 shown in FIG. 3 will be described. The motion processing circuit 9 is a characteristic part of this embodiment together with the motion vector calculation circuit 11 shown in FIG.

図3に示す動き処理回路9は、入力される画像データXiをK倍(但し、0≦K≦1)したものと、1フレーム遅延した画像データYi-1を(1−K)倍したものとを加算して、順次遅延メモリに書き込む構成(Yi=K*Xi+(1−K)*Yi-1)である。
図3に示すように、動き処理回路9は、動きベクトル算出回路11から端子93を介して入力される動き情報(各分割ブロックの動きベクトル情報、動き領域情報)をもとに、端子91から入力される連続した静止画像の画像データに対して時間軸方向の低域通過フィルタ処理(巡回加算処理)を施した上で、端子92から時間軸方向に低域通過フィルタ処理を施した動画像データを出力する。以下、図3に基づいて、時間軸方向の低域通過フィルタ処理の実行について説明する。
The motion processing circuit 9 shown in FIG. 3 multiplies input image data X i by K times (where 0 ≦ K ≦ 1) and image data Y i-1 delayed by one frame by (1−K) times. In this configuration, the data are added together and sequentially written in the delay memory (Y i = K * X i + (1−K) * Y i−1 ).
As shown in FIG. 3, the motion processing circuit 9 is connected to a terminal 91 based on motion information (motion vector information and motion area information of each divided block) input from the motion vector calculation circuit 11 via a terminal 93. A moving image in which low-pass filter processing (cyclic addition processing) in the time axis direction is performed on image data of continuous still images that are input, and then low-pass filter processing is performed in the time axis direction from the terminal 92 Output data. Hereinafter, execution of the low-pass filter process in the time axis direction will be described with reference to FIG.

端子91より入力される連続した静止画像の画像データ(画素毎)は、乗算器95でK倍(ここで、Kの値は、0≦K≦1である)され、乗算器96の出力と、加算器97で加算される。加算器97の出力は、端子92から出力されるとともに、フレームメモリ98に入力される。フレームメモリ98は、端子99を介して入力される制御回路10(図1参照)によるフレームメモリ98の読み出し、書き込みの制御信号に基づいて、入力された画像データを所定期間保持した後に、乗算器96に出力する。   The image data (for each pixel) of continuous still images input from the terminal 91 is multiplied by K by a multiplier 95 (where K is 0 ≦ K ≦ 1), and the output of the multiplier 96 is Are added by an adder 97. The output of the adder 97 is output from the terminal 92 and also input to the frame memory 98. The frame memory 98 holds the input image data for a predetermined period based on the read / write control signals of the frame memory 98 by the control circuit 10 (see FIG. 1) input via the terminal 99, and then the multiplier Output to 96.

乗算器96では、フレームメモリ98の出力する画像データに対して(1−K)倍の乗算が施され、この乗算結果が加算器97に出力されて、乗算器95の出力する動画像データと画素毎に順次巡回加算される。
フレームメモリ98の保持期間は、乗算器95の出力する画像データと乗算器96の出力する画像データとの画面上の画素の位置が同じになるように制御される。
The multiplier 96 multiplies (1−K) times the image data output from the frame memory 98, outputs the multiplication result to the adder 97, and the moving image data output from the multiplier 95 Cyclic addition is sequentially performed for each pixel.
The holding period of the frame memory 98 is controlled so that the image data output from the multiplier 95 and the image data output from the multiplier 96 have the same pixel position on the screen.

ここで、乗算器95の係数Kの値と、乗算器96の係数(1−K)の値とは、係数制御回路94によって画素位置、あるいは領域位置毎に制御可能な構成とされる。係数制御回路94は、端子93から入力される動き情報に基づいて、前述の係数Kの値を制御する。
以上の動作において、図3に示すように、乗算器96と加算器97とフレームメモリ98は、巡回フィルタを構成している。
Here, the value of the coefficient K of the multiplier 95 and the value of the coefficient (1-K) of the multiplier 96 are configured to be controllable for each pixel position or area position by the coefficient control circuit 94. The coefficient control circuit 94 controls the value of the coefficient K described above based on the motion information input from the terminal 93.
In the above operation, as shown in FIG. 3, the multiplier 96, the adder 97, and the frame memory 98 form a recursive filter.

次に、請求項との対応関係を説明する。すなわち、請求項に記載する動きベクトル算出手段が動きベクトル算出回路11に対応し、記憶手段がフレームメモリ98に対応し、演算手段が乗算器95、96、加算器97等に対応し、係数制御手段が係数制御回路94に対応する。なお、前記した請求項と実施形態との対応関係は解釈の一例を示したもので、これに限定されるものではない。   Next, the correspondence with the claims will be described. That is, the motion vector calculation means described in the claims corresponds to the motion vector calculation circuit 11, the storage means corresponds to the frame memory 98, the calculation means corresponds to the multipliers 95 and 96, the adder 97, etc., and the coefficient control Means correspond to the coefficient control circuit 94. The correspondence relationship between the above-described claims and the embodiments shows an example of interpretation and is not limited to this.

次に、上記巡回フィルタの動作について具体例を用いて説明する。
図4は、撮像素子1の撮像面上を、被写体像の右端に高輝度部(図4(a)(b)の太線部分)を有する被写体像X、Yが右方向に移動する様子を示したものである。ここでは、tx−2、tx−1、tx、tx+1、tx+2は、撮像素子1により連続撮像がなされた時刻を示し、簡単のため、その時間間隔が一定である場合について説明する。
Next, the operation of the cyclic filter will be described using a specific example.
FIG. 4 shows how the subject images X and Y having a high-intensity part (thick line portions in FIGS. 4A and 4B) move rightward on the imaging surface of the image sensor 1. It is a thing. Here, tx−2, tx−1, tx, tx + 1, and tx + 2 indicate times when continuous image capturing is performed by the image sensor 1, and a case where the time interval is constant will be described for simplicity.

図4(a)は、撮像素子1の撮像面上を、被写体像Xが高速で等速移動する様子を示す。また、図4(b)は、撮像素子1の撮像面上を、被写体像Yが低速で等速移動する様子を示す。なお、図4(a)(b)においては、各時刻における被写体X、Yの識別を容易にするため、各時刻における被写体像を紙面縦方向に若干ずらして示している。
動きベクトル算出回路11(図1参照)は、各撮像時刻において得られた画像データを用いて動き領域の抽出を行う。前述の動き領域の抽出原理から容易にわかるように、各撮像時刻において得られた画像中の動き領域の位置は、図4(a)(b)に示される被写体像X、Yの位置と同じものとなる。
FIG. 4A shows a state in which the subject image X moves at a constant speed on the imaging surface of the imaging device 1. FIG. 4B shows a state where the subject image Y moves at a constant speed on the imaging surface of the imaging device 1 at a low speed. In FIGS. 4A and 4B, the subject images at each time are shown slightly shifted in the vertical direction of the paper in order to easily identify the subjects X and Y at each time.
The motion vector calculation circuit 11 (see FIG. 1) extracts a motion region using image data obtained at each imaging time. As can be easily understood from the above-described principle of motion region extraction, the position of the motion region in the image obtained at each imaging time is the same as the positions of the subject images X and Y shown in FIGS. It will be a thing.

動きベクトル算出回路11は、抽出された画面内の動き領域を含む領域を複数のブロックに分割し、各ブロックについて動きベクトルを算出するが(図2(c)参照)、図4(a)(b)の例では、被写体像X、Yが、等速で同方向に移動するので、被写体像X、Yの移動量と移動方向は、移動中の各時刻において変化しない。すなわち、動きベクトルの向きと大きさは、移動中の各時刻において抽出された動き領域の各ブロック内で同じものとなる。   The motion vector calculation circuit 11 divides a region including the extracted motion region in the screen into a plurality of blocks and calculates a motion vector for each block (see FIG. 2C), but FIG. In the example of b), since the subject images X and Y move in the same direction at a constant speed, the movement amount and the movement direction of the subject images X and Y do not change at each moving time. That is, the direction and the magnitude of the motion vector are the same in each block of the motion area extracted at each moving time.

このようにして算出された被写体像X,Yの各時刻の動きベクトルを、図4(a)(b)の各々に矢印で示す。ここでは、仮に図4(a)(b)に示される動きベクトルの大きさを、各々200、100とする。すなわち、図4(a)では、連続して撮像されたフレーム間において、被写体像Xが画面上右方向に200画素移動し、図4(b)では連続して撮像されたフレームの間において、被写体像Yが画面上右方向に100画素移動している。   The motion vectors at each time of the subject images X and Y calculated in this way are indicated by arrows in FIGS. 4 (a) and 4 (b). Here, it is assumed that the magnitudes of the motion vectors shown in FIGS. 4A and 4B are 200 and 100, respectively. That is, in FIG. 4 (a), the subject image X moves 200 pixels in the right direction on the screen between consecutively captured frames, and in FIG. 4 (b), between consecutively captured frames, The subject image Y has moved 100 pixels in the right direction on the screen.

図4(a)(b)の画面横方向の画素数を各々1024画素、同じく縦方向の画素数を各々768画素、被写体像X、Yの横方向の画素数を各々200画素、同じく縦方向の画素数を320画素とし、被写体像X、Y部のデータ値を8、高輝度部のデータ値を16、静止部(背景部)のデータ値を0と仮定する。ここで、データ値とは、画像データを8ビット(0〜255)の輝度で表したときの値である。   4 (a) and 4 (b), the number of pixels in the horizontal direction of the screen is 1024 pixels, the number of pixels in the vertical direction is 768 pixels, the number of horizontal pixels of the subject images X and Y is 200 pixels, and the vertical direction is the same. , The data value of the subject image X, Y portion is 8, the data value of the high luminance portion is 16, and the data value of the still portion (background portion) is 0. Here, the data value is a value when the image data is represented by 8-bit (0 to 255) luminance.

係数制御回路94は、動きベクトルの大きさが大きいほど、係数Kの値を小さくするように制御する。すなわち、動きが大きいほどKの値を小さくし、残像を付加してなめらかな動きを実現する。
例えば、係数制御回路94は、係数Kの値を、時刻tx−2〜tx+2において、動き領域として抽出された領域を含む領域について、動きベクトルの大きさが200のときには1/4、動きベクトルの大きさが100のときには1/2に制御するものとすると、図4(a)(b)の各時刻における図1の表示部12に表示される画像は、各々図5の左側、図6の左側に示すものとなる。
The coefficient control circuit 94 performs control so that the value of the coefficient K decreases as the magnitude of the motion vector increases. That is, the larger the movement, the smaller the value of K and the afterimage is added to realize a smooth movement.
For example, the coefficient control circuit 94 sets the value of the coefficient K to 1/4 when the magnitude of the motion vector is 200 for the area including the area extracted as the motion area at the times tx−2 to tx + 2. Assuming that the size is controlled to ½ when the size is 100, the images displayed on the display unit 12 in FIG. 1 at the respective times in FIGS. 4A and 4B are the left side of FIG. Shown on the left.

また、図5の左側に表示される画像、及び図6の左側に表示される画像おいて、併記される数字は各領域のデータ値(輝度レベル)であり、小数点以下第3位を四捨五入した値を示している。
なお、図5の右側、図6の右側には、各時刻における画像に対応させて、画面中央水平方向におけるデータ値(輝度レベル)の変化をあわせて示している。
Further, in the image displayed on the left side of FIG. 5 and the image displayed on the left side of FIG. 6, the numbers written together are the data values (luminance levels) of each region, and the third decimal place is rounded off. The value is shown.
The right side of FIG. 5 and the right side of FIG. 6 also show the change in the data value (luminance level) in the horizontal direction at the center of the screen, corresponding to the image at each time.

ここでは、簡単のため、図4(a)(b)の各々において、時刻tx−2以前、時刻tx+2以降の被写体像Xの位置は、各々時刻tx−2、時刻tx+2の被写体像X、Yの位置と同じであるものとする。
比較のために、係数制御回路94が、係数Kの値を、動きベクトルの大きさが200のときには1/2、動きベクトルの大きさが100のときには1/4に制御した際の、図4(a)(b)の各時刻における画像と画面中央水平方向におけるデータ値(輝度レベル)の変化を、図5、図6の場合と同様に、各々図7、図8に示す。
Here, for simplicity, in FIGS. 4A and 4B, the positions of the subject images X before time tx-2 and after time tx + 2 are the subject images X and Y at time tx-2 and time tx + 2, respectively. It shall be the same as the position of.
For comparison, when the coefficient control circuit 94 controls the value of the coefficient K to 1/2 when the magnitude of the motion vector is 200 and 1/4 when the magnitude of the motion vector is 100, FIG. Changes in the image at each time of (a) and (b) and the data value (luminance level) in the horizontal direction in the center of the screen are shown in FIGS. 7 and 8, respectively, as in FIGS.

例えば、図5の時刻tx+1の輝度レベルをみると、図7の時刻tx+1の輝度レベルと比較して、被写体像の残像効果が大きいことがわかる。すなわち、図5の時刻tx+1の輝度レベルは画像位置左後部において大きくなり、図7の時刻tx+1の輝度レベルは画像位置左後部において小さくなる。これは、図5の時刻tx+1では、動いている被写体について残像効果が大きく、時間方向の解像度が劣化しており、これによって動きのなめらかな動画像を得ることができることを意味する。   For example, looking at the luminance level at time tx + 1 in FIG. 5, it can be seen that the afterimage effect of the subject image is greater than the luminance level at time tx + 1 in FIG. That is, the luminance level at time tx + 1 in FIG. 5 increases at the rear left portion of the image position, and the luminance level at time tx + 1 in FIG. 7 decreases at the rear left portion of the image position. This means that at time tx + 1 in FIG. 5, the afterimage effect is large for the moving subject and the resolution in the time direction is deteriorated, whereby a moving image with smooth motion can be obtained.

一方、図6の時刻tx+1の輝度レベルをみると、図8の時刻tx+1の輝度レベルと比較して、被写体像の残像効果が少ない反面(図6の時刻tx+1の輝度レベルは画像位置左後部において小さい)、動被写体像の輝度レベルが大きいことがわかる(図6の時刻tx+1の輝度レベルは画像位置右前部において大きい)。すなわち、被写体の動きが小さい場合には、動被写体像の画面内解像度の劣化を少なくするように、残像効果が付与される。   On the other hand, when looking at the luminance level at time tx + 1 in FIG. 6, the afterimage effect of the subject image is small compared to the luminance level at time tx + 1 in FIG. 8, but the luminance level at time tx + 1 in FIG. Small), it can be seen that the luminance level of the moving subject image is large (the luminance level at time tx + 1 in FIG. 6 is large at the right front portion of the image position). That is, when the movement of the subject is small, an afterimage effect is provided so as to reduce deterioration of the resolution of the moving subject image in the screen.

なお、非特許文献1によれば、対象が動いているときには、視覚解像度が低下する旨が示されている。また、非特許文献1の図2.14では、時間周波数が高いほど、高い空間周波数で相対感度が低くなる様子が示されている。換言すれば、被写体の移動速度が速いと、視覚解像度が低下するので、画像自体の解像度が低くてもなめらかな動画像として認識することができる。逆に、被写体の移動速度が遅いと、視覚解像度は低下しないので、画像の解像度を高くしないとぼけた動画像として認識されることとなる。   Note that Non-Patent Document 1 shows that the visual resolution decreases when the object is moving. Further, FIG. 2.14 of Non-Patent Document 1 shows that the higher the temporal frequency, the lower the relative sensitivity at a higher spatial frequency. In other words, if the moving speed of the subject is high, the visual resolution decreases, so that even if the resolution of the image itself is low, it can be recognized as a smooth moving image. On the contrary, if the moving speed of the subject is slow, the visual resolution does not decrease. Therefore, if the resolution of the image is not increased, it is recognized as a blurred moving image.

図5と図6を比較すると、図5の高輝度部のレベルは図6の高輝度部のレベルと比較して小さいものの、動きの大きい図5の方が動きの小さい図6と比較して、大きい残像効果を得ていることがわかる。
一方、動きの小さい図6の方が、動きの大きい図5と比較して、残像効果は小さいものの、高輝度部のレベルが大きく、画面内の解像度特性がよくなっていることがわかる。
Comparing FIG. 5 and FIG. 6, the level of the high luminance portion of FIG. 5 is smaller than the level of the high luminance portion of FIG. It can be seen that a large afterimage effect is obtained.
On the other hand, it can be seen that FIG. 6 where the motion is small is smaller in the afterimage effect than FIG. 5 where the motion is large, but the level of the high luminance portion is large and the resolution characteristics in the screen are improved.

このように、動きの大きい画像に対しては画像自体の解像度が低くてなめらかな動画像を得ることができ、動きの小さい画像に対しては動きの大きい画像の場合に比較して、視覚解像度が改善された動画像を得ることができる。
上記のように、被写体像の動きの大きさに応じて、係数Kの値を変更することによって、動きの大きい場合にもなめらかな動画像を得ることが可能となるとともに、動きの小さい場合にも、画面内解像度の劣化を防止しつつ、動きのなめらかな動画像を得ることができる。
In this way, a smooth moving image can be obtained with a low-resolution image for a large-motion image, and a visual resolution for a small-motion image compared to a large-motion image. Can improve the moving image.
As described above, by changing the value of the coefficient K according to the magnitude of the movement of the subject image, it is possible to obtain a smooth moving image even when the movement is large, and when the movement is small. However, it is possible to obtain a moving image with smooth movement while preventing deterioration of the resolution within the screen.

なお、上記説明においては、動き処理回路9として、図3に示される例を用いて説明したが、これにかえて、例えば図9に示される構成や図10に示すルックアップテーブルを用いる構成としてもよい。
図9に示す動き処理回路9は、入力画像データと1フレーム遅延画像データとの差分をとって、その差分を(1−K)倍して、入力画像データから減算する構成としたものであり、図3に示すものと同じ機能が実現できる。すなわち、次式により動き処理回路9を実現する回路である。
In the above description, the motion processing circuit 9 has been described using the example shown in FIG. 3, but instead of this, for example, the configuration shown in FIG. 9 or the configuration using the lookup table shown in FIG. Also good.
The motion processing circuit 9 shown in FIG. 9 is configured to take a difference between input image data and 1-frame delayed image data, multiply the difference by (1−K), and subtract from the input image data. The same function as shown in FIG. 3 can be realized. That is, it is a circuit that realizes the motion processing circuit 9 by the following equation.

i=Xi−(1−K)*(Xi−Yi-1
また、図10に示す動き処理回路9は、前記した演算を行うことなく、あらかじめ入力画像データの値と1フレーム遅延画像データの関係からルックアップテーブル100を構成し、入力画像データの値と1フレーム遅延画像データに応じて出力を読み出すものである。
Y i = X i - (1 -K) * (X i -Y i-1)
Further, the motion processing circuit 9 shown in FIG. 10 constructs the lookup table 100 from the relationship between the value of the input image data and the one-frame delayed image data in advance without performing the above-described calculation. The output is read according to the frame delay image data.

また、上記説明においては、撮像素子1の撮像面上を単一の被写体像(X、又はY)が移動する例について説明した。しかし、本発明はこれに限定されるものではなく、例えば被写体像Xが撮像面上の上部を図4(a)に示す速度で移動し、被写体像Yが撮像面上の下部を図4(b)に示す速度で移動するというように、複数の被写体像が撮像面上を移動する場合においても適用することができる。この場合でも、動きの速い被写体像の動き領域を含む領域についての係数Kの値は、動きの遅い被写体像の動き領域を含む領域についての係数Kよりも小さく設定される。   In the above description, an example in which a single subject image (X or Y) moves on the imaging surface of the imaging device 1 has been described. However, the present invention is not limited to this. For example, the subject image X moves on the upper part of the imaging surface at the speed shown in FIG. 4A, and the subject image Y moves on the lower part of the imaging surface in FIG. The present invention can also be applied when a plurality of subject images move on the imaging surface, such as moving at the speed shown in b). Even in this case, the value of the coefficient K for the area including the moving area of the fast-moving subject image is set smaller than the coefficient K for the area including the moving area of the slow-moving subject image.

なお、前記した実施形態において、動き処理回路9は入力画像データと1フレーム遅延した画像データとに基づいて低域通過フィルタ処理(巡回加算処理)を実行した。しかし、本発明は1フレーム遅延した画像データを用いることに限定されるものではなく、複数フレーム分だけ遅延した画像データを用いても実現することができる。
また、前記した実施形態においては、フレーム単位に動き処理回路9を動作させたが、本発明はこれに限定されるものではなく、フィールド単位に動き処理回路9を動作させてもよい。ここで、フィールドとは、1フレームを互いに1本おきの走査線で走査した2面のフィールドで画面を構成することを意味する。フィールドを用いる場合、図3、図9に示すフレームメモリ98の代わりに、フィールドメモリが用いられることになる。この場合においても、本発明は複数フィールド分だけ遅延した画像データを用いて実現することができる。
In the above-described embodiment, the motion processing circuit 9 performs low-pass filter processing (cyclic addition processing) based on input image data and image data delayed by one frame. However, the present invention is not limited to using image data delayed by one frame, and can be realized by using image data delayed by a plurality of frames.
In the above-described embodiment, the motion processing circuit 9 is operated in units of frames. However, the present invention is not limited to this, and the motion processing circuit 9 may be operated in units of fields. Here, the field means that the screen is composed of two fields obtained by scanning one frame with every other scanning line. When a field is used, a field memory is used instead of the frame memory 98 shown in FIGS. Even in this case, the present invention can be realized using image data delayed by a plurality of fields.

また、前記した実施形態においては、Kの値を1/2と1/4の2つの値に設定したが、本発明はこれに限定されるものではなく、Kの値としては、0≦K≦1の範囲で任意の値を取ることができる。また、Kの値を設定する場合においても、設定するKの値は2つに限定されるものではない。
また、前記した実施形態においては、巡回型動画像処理装置を、撮像装置に適用した例について示したが、本発明はこれに限定されるものではなく、画像記録装置、画像再生装置等に対しても同様に適用できる。
In the above-described embodiment, the value of K is set to two values of 1/2 and 1/4. However, the present invention is not limited to this, and the value of K is 0 ≦ K. An arbitrary value can be taken in the range of ≦ 1. Further, even when the value of K is set, the value of K to be set is not limited to two.
In the above-described embodiment, an example in which the cyclic moving image processing apparatus is applied to an imaging apparatus has been described. However, the present invention is not limited to this, and the present invention is not limited to this. However, the same applies.

このような装置においては、1フレームの画像を複数のブロックに分割して、各ブロックで動きベクトルを算出し、各ブロックの動きベクトルの大きさ、方向をもとに、画像のパンニング、被写体の動き、シーンチェンジを判別する。
ここで、一般的なシーンチェンジ時の動き領域は画面全体となり、動きベクトルの大きさ及び方向は、算出不能(算出できたとしても、各ブロックでランダム)となる。このような場合には、入力画像がシーンチェンジ状態であると判別し、動きベクトルの大きさに関係なく、上記係数Kの値を1として、巡回型動画像処理を行わない。すなわち、入力された画像データに何の演算も施されることなく、入力された画像データがそのまま出力される。これは、請求項4に対応する。
In such an apparatus, an image of one frame is divided into a plurality of blocks, a motion vector is calculated for each block, and based on the magnitude and direction of the motion vector of each block, panning of the image, Determine movements and scene changes.
Here, the motion area at the time of a general scene change is the entire screen, and the magnitude and direction of the motion vector cannot be calculated (even if it can be calculated, it is random in each block). In such a case, it is determined that the input image is in the scene change state, the value of the coefficient K is set to 1 regardless of the magnitude of the motion vector, and cyclic moving image processing is not performed. That is, the input image data is output as it is without any calculation being performed on the input image data. This corresponds to claim 4.

一方、画像のパンニングの場合には、動き領域は画面全体となり、各ブロックの動きベクトルは、大きさ、向きともほぼ一定となる。このような場合には、上述したとおり、動きの量が大きいほど、係数Kの値を小さくする。
被写体が動く場合は、前記実施形態において説明したとおりである。
さらに、画像の拡大、縮小がなされた場合にも、動き領域は画面全体となり、動きベクトルの向きは、拡大、縮小の中心点を中心として、拡散又は集中する。動きベクトルの向きにより、画像の拡大、縮小を判別し、動き量が大きい場合には、上記実施形態における説明と同様に、係数Kの値を小さくする。
On the other hand, in the case of panning an image, the motion area is the entire screen, and the motion vector of each block is almost constant in both size and direction. In such a case, as described above, the value of the coefficient K is decreased as the amount of motion is increased.
The case where the subject moves is as described in the above embodiment.
Further, even when the image is enlarged or reduced, the motion region is the entire screen, and the direction of the motion vector is diffused or concentrated around the center point of enlargement or reduction. Whether the image is enlarged or reduced is determined based on the direction of the motion vector, and when the amount of motion is large, the value of the coefficient K is decreased as in the description of the above embodiment.

また、動き量の判定は、所定の閾値と動きベクトルの大きさとを比較することによって行う構成としてもよい。動きベクトルの大きさが所定の閾値より大きくなった場合、係数Kの値を小さくする。また、係数Kの値は動きベクトルの大きさによって連続的に変化するものであってもよい。動き領域の範囲、動きベクトルの向き及び大きさによって、シーンチェンジを判別し、この場合には、上述の説明と同様に、動きベクトルの大きさにかからず、係数Kの値を1として巡回型動画像処理を行わない。   The determination of the motion amount may be performed by comparing a predetermined threshold value with the magnitude of the motion vector. When the magnitude of the motion vector becomes larger than a predetermined threshold, the value of the coefficient K is decreased. Further, the value of the coefficient K may be continuously changed depending on the magnitude of the motion vector. The scene change is discriminated based on the range of the motion region and the direction and size of the motion vector. In this case, as in the above description, the value of the coefficient K is set to 1 regardless of the size of the motion vector. Do not perform type moving image processing.

これらの画像の動きの形態判別は、図1に示す動きベクトル算出回路11において行われる。   The motion form determination of these images is performed in the motion vector calculation circuit 11 shown in FIG.

本発明は、撮像装置、画像記録装置、画像再生装置等の静止画像と動画像を扱う各分野で、産業上大いに利用することができる。   INDUSTRIAL APPLICABILITY The present invention can be used industrially in various fields that handle still images and moving images, such as imaging devices, image recording devices, and image playback devices.

本発明の巡回型動画像処理装置を用いた画像処理システムの一例を示すブロック図である。It is a block diagram which shows an example of the image processing system using the cyclic | annular moving image processing apparatus of this invention. 動き領域の抽出原理を説明するための図である。It is a figure for demonstrating the extraction principle of a motion area. 動き処理回路の例を示す図である。It is a figure which shows the example of a motion processing circuit. (a)は撮像素子の撮像面上を被写体像Xが高速で等速移動する様子を示し、(b)は撮像素子の撮像面上を被写体像Yが低速で等速移動する様子を示す図である。(A) shows a state where the subject image X moves at a high speed on the imaging surface of the imaging device, and (b) shows a state where the subject image Y moves at a low speed on the imaging surface of the imaging device. It is. 各時刻における画像に対応させ、画面中央水平方向における輝度レベルの変化を示す図である。It is a figure which shows the change of the luminance level in the screen center horizontal direction corresponding to the image in each time. 各時刻における画像に対応させ、画面中央水平方向における輝度レベルの変化を示す図である。It is a figure which shows the change of the luminance level in the screen center horizontal direction corresponding to the image in each time. 各時刻における画像に対応させ、画面中央水平方向における輝度レベルの変化を示す図である。It is a figure which shows the change of the luminance level in the screen center horizontal direction corresponding to the image in each time. 各時刻における画像に対応させ、画面中央水平方向における輝度レベルの変化を示す図である。It is a figure which shows the change of the luminance level in the screen center horizontal direction corresponding to the image in each time. 動き処理回路の他の例を示す図である。It is a figure which shows the other example of a motion processing circuit. 動き処理回路の他の例を示す図である。It is a figure which shows the other example of a motion processing circuit.

符号の説明Explanation of symbols

1 撮像素子
2 撮像レンズ
3 撮像素子駆動回路
4 処理回路
5 圧縮回路
6 記録媒体
7 操作部
8 撮影モード設定部
9 動き処理回路
10 制御回路
11 動きベクトル算出回路
12 表示部
13 絞り装置
14 絞り駆動回路
15 レンズ駆動回路
16 ズーム操作部
17 被写体
18、19 連続フレーム間で変化した領域
20 動き領域
94 係数制御回路
98 フレームメモリ
100 ルックアップテーブル
F フレーム
K 係数
DESCRIPTION OF SYMBOLS 1 Imaging device 2 Imaging lens 3 Imaging device drive circuit 4 Processing circuit 5 Compression circuit 6 Recording medium 7 Operation part 8 Shooting mode setting part 9 Motion processing circuit 10 Control circuit 11 Motion vector calculation circuit 12 Display part 13 Aperture device 14 Aperture drive circuit DESCRIPTION OF SYMBOLS 15 Lens drive circuit 16 Zoom operation part 17 Subject | subject 18,19 The area | region changed between continuous frames 20 Motion area 94 Coefficient control circuit 98 Frame memory 100 Look-up table F Frame K coefficient

Claims (4)

入力される画像データの動き領域を抽出し、前記動き領域について時間的に異なる複数フィールドの画像データ又は複数フレームの画像データから動きベクトルを算出する動きベクトル算出手段と、
前記入力される画像データをフィールド又はフレーム単位で記憶可能な記憶手段と、
前記入力された画像データをK(0≦K≦1)倍すると共に、前記記憶手段から出力される少なくとも1フィールド分前の画像データ又は少なくとも1フレーム分前の画像データを(1−K)倍し、前記K倍された画像データと前記記憶手段から出力され(1−K)倍された画像データとを加算演算する巡回演算を行う演算手段と、
前記動きベクトル算出手段で算出された動きベクトルの大きさが大きいほど前記係数Kの値を小さくなるように変更制御する係数制御手段と
を有することを特徴とする巡回型動画像処理装置。
A motion vector calculating means for extracting a motion region of input image data and calculating a motion vector from image data of a plurality of fields or a plurality of frames temporally different for the motion region;
Storage means capable of storing the input image data in field or frame units;
The input image data is multiplied by K (0 ≦ K ≦ 1), and at least one field previous image data or at least one frame previous image data output from the storage means is (1−K) times. And a calculation means for performing a cyclic calculation for adding the K-folded image data and the (1-K) -folded image data output from the storage means,
And a coefficient control means for controlling the change so that the value of the coefficient K becomes smaller as the magnitude of the motion vector calculated by the motion vector calculation means becomes larger.
請求項1記載の巡回型動画像処理装置において、
前記係数制御手段は、前記抽出された動き領域を含む領域について、動きベクトルの大きさが大きいほど前記係数Kの値を小さくなるように変更制御することを特徴とする巡回型動画像処理装置。
The cyclic moving image processing apparatus according to claim 1,
The cyclic control unit, wherein the coefficient control unit performs change control so that the value of the coefficient K decreases as the size of a motion vector increases for a region including the extracted motion region.
請求項1記載の巡回型動画像処理装置において、
前記係数制御手段は、
抽出された複数の前記動き領域を各々に含む各領域について、動きベクトルの大きさが大きいほど前記係数Kの値を小さくなるように変更制御することを特徴とする巡回型動画像処理装置。
The cyclic moving image processing apparatus according to claim 1,
The coefficient control means includes
A cyclic moving image processing apparatus, wherein a change control is performed so that the value of the coefficient K decreases as the size of a motion vector increases for each of the plurality of extracted motion regions.
請求項1乃至請求項3の何れか1つに記載の巡回型動画像処理装置において、
前記動きベクトル算出手段は、前記動き領域の大きさ、及び算出された前記動きベクトルの大きさと方向に応じて、前記入力された画像データのシーンチェンジを検出し、
前記係数制御手段は、前記動きベクトル算出手段によって、前記シーンチェンジが検出されたとき、前記動きベクトルの大きさにかかわらず、前記Kの値を1にすることを特徴とする巡回型動画像処理装置。
In the cyclic | annular moving image processing apparatus as described in any one of Claims 1 thru | or 3,
The motion vector calculation means detects a scene change of the input image data according to the size of the motion region and the size and direction of the calculated motion vector,
The coefficient control means sets the value of K to 1 regardless of the magnitude of the motion vector when the scene change is detected by the motion vector calculation means. apparatus.
JP2004296670A 2004-10-08 2004-10-08 Cyclic moving image processing apparatus Withdrawn JP2006109361A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004296670A JP2006109361A (en) 2004-10-08 2004-10-08 Cyclic moving image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004296670A JP2006109361A (en) 2004-10-08 2004-10-08 Cyclic moving image processing apparatus

Publications (1)

Publication Number Publication Date
JP2006109361A true JP2006109361A (en) 2006-04-20

Family

ID=36378516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004296670A Withdrawn JP2006109361A (en) 2004-10-08 2004-10-08 Cyclic moving image processing apparatus

Country Status (1)

Country Link
JP (1) JP2006109361A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841654A (en) * 2009-03-06 2010-09-22 卡西欧计算机株式会社 Image processing apparatus and image processing method
JP2018148260A (en) * 2017-03-01 2018-09-20 キヤノン株式会社 Image processing apparatus, control method of image processing apparatus, and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841654A (en) * 2009-03-06 2010-09-22 卡西欧计算机株式会社 Image processing apparatus and image processing method
JP2010212781A (en) * 2009-03-06 2010-09-24 Casio Computer Co Ltd Image processing apparatus and image processing program
US8345110B2 (en) 2009-03-06 2013-01-01 Casio Computer Co., Ltd. Image processing apparatus and storage medium
KR101248024B1 (en) * 2009-03-06 2013-03-27 가시오게산키 가부시키가이샤 Image processing apparatus and storage medium
TWI420899B (en) * 2009-03-06 2013-12-21 Casio Computer Co Ltd Image processing apparatus and image processing method and storage medium
JP2018148260A (en) * 2017-03-01 2018-09-20 キヤノン株式会社 Image processing apparatus, control method of image processing apparatus, and program

Similar Documents

Publication Publication Date Title
US8692896B2 (en) Image quality evaluation device, terminal device, image quality evaluation system, image quality evaluation method and computer-readable recording medium for storing programs
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
JP3530907B2 (en) Digital camera
KR20150108774A (en) Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable medium
JP4674620B2 (en) Image processing apparatus, image processing method, and program
EP1783686A1 (en) Image stabilization
JP2014021928A (en) Image processor, image processing method and program
JP5490236B2 (en) Image processing apparatus and method, image display apparatus and method
JP2005286677A (en) Image pickup device
JP5642348B2 (en) Display device driving method and display device driving circuit using the same
JP2000134549A (en) Solid-state image pickup device
JP5092536B2 (en) Image processing apparatus and program thereof
WO2016152358A1 (en) Image processing device, image processing method and image processing program
JP5300413B2 (en) Motion vector detection device, motion vector detection method, imaging device, and program
JP2013258537A (en) Imaging apparatus and image display method of the same
US10348957B2 (en) Image capturing apparatus, method of controlling the same, and storage medium for shooting a still image without interrupting shooting of moving images
JP2003069859A (en) Moving image processing adapting to motion
JP2007202050A (en) Image generating apparatus and program
JP2006197096A (en) Television telephone
JP2006109361A (en) Cyclic moving image processing apparatus
JP4175729B2 (en) Electronic imaging device
JP5213604B2 (en) Imaging device
JP4936816B2 (en) Imaging apparatus and simultaneous display control method
JP7110985B2 (en) Image processing device, image processing method, and program
JP2011135537A (en) Imaging apparatus and control method of the same

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080108