JP2006166256A - Image conversion apparatus - Google Patents
Image conversion apparatus Download PDFInfo
- Publication number
- JP2006166256A JP2006166256A JP2004357268A JP2004357268A JP2006166256A JP 2006166256 A JP2006166256 A JP 2006166256A JP 2004357268 A JP2004357268 A JP 2004357268A JP 2004357268 A JP2004357268 A JP 2004357268A JP 2006166256 A JP2006166256 A JP 2006166256A
- Authority
- JP
- Japan
- Prior art keywords
- image
- field
- input
- output
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、画像変換装置に関し、特に画像の更新速度と画素数の変換処理を行う画像変換装置に関するものである。 The present invention relates to an image conversion apparatus, and more particularly to an image conversion apparatus that performs conversion processing of an image update speed and the number of pixels.
画像の高精細化への要求が高まっており、1フレーム100万画素程度の動画カメラが実用化されている。 The demand for higher definition of images is increasing, and a moving image camera having about 1 million pixels per frame has been put into practical use.
一般的な固体撮像素子であるCCD(Charge Coupled Device,電荷結合素子)は、駆動速度を無制限に上げられないので、画像の画素数を多くする場合、画像更新速度を下げなければならない。48万画素程度であれば、現行テレビジョン(以下TV)規格に従った画像更新速度で出力することも可能だが、画素数が100万画素を超えると困難である。CCDの信号読み出し経路を増やす、といった工夫によって画像更新速度を向上させることは可能だが、回路量等とのトレードオフとなる。 A CCD (Charge Coupled Device), which is a general solid-state imaging device, cannot increase the driving speed indefinitely. Therefore, when the number of pixels of an image is increased, the image update speed must be decreased. If it is about 480,000 pixels, it is possible to output at an image update speed according to the current television (hereinafter referred to as TV) standard, but it is difficult if the number of pixels exceeds 1 million pixels. Although it is possible to improve the image update speed by increasing the signal readout path of the CCD, it is a trade-off with the circuit amount and the like.
また、撮像系の高精細化が進んではいるが、表示系も同時に高精細化するわけではなく、現行TV規格対応表示機器も使用したい、といった要求が存在する。 In addition, although the resolution of the imaging system is increasing, there is a demand that the display system does not increase in resolution at the same time, and it is desired to use a display device compliant with the current TV standard.
NTSCやPALといったTV規格によってライン数とフレームレートは決まっている。よって、例えば1フレームを構成する画素数はTV規格より多いが、画像更新速度は遅いような画像を、現行TV規格に対応した表示機器に表示する場合には、画像の画素数と画像更新速度をTV規格に合うように変換する必要がある。 The number of lines and the frame rate are determined by TV standards such as NTSC and PAL. Therefore, for example, when displaying an image having a larger number of pixels constituting one frame than the TV standard but a slower image update speed on a display device compliant with the current TV standard, the number of pixels of the image and the image update speed. Must be converted to meet the TV standard.
従来の画像変換装置としては、例えば特許文献1に開示されたものがある。図8は同文献に示されている従来の画像変換装置を示している。
An example of a conventional image conversion apparatus is disclosed in
図8の画像変換装置は、CCD12、A/D変換部14、信号処理部16、圧縮/伸張部18、クロック19、内蔵メモリ20、メモリ制御回路22、メモリカード24、ビデオエンコーダ26、D/A変換部28、スイッチ30、内蔵モニター(NTSC)32、時間軸変換部33、端子34、接続ケーブル35、外部モニター(PAL)36、カメラ制御回路38、CPU40、システムコントローラ42および操作スイッチ44を備えている。
8 includes a
CCD12はカメラ制御回路38によって制御され、被写体からの光を電気信号に変換することにより、フレーム画像信号を1秒間に30枚(30fps)又は1秒間に15枚(15fps)のいずれかの記録フレームレートで出力する。カメラはPAL仕様であるが、カメラ制御回路38はNTSCに準じて動作する。
The
出力されるフレーム画像信号は、1枚毎にA/D変換回路14にてデジタル信号に変換され、信号処理回路16にてホワイトバランスやガンマ補正等が施され、メモリ制御回路22によって制御される内蔵メモリ20にフレーム画像データとして一旦蓄えられる。
The output frame image signal is converted into a digital signal by the A / D conversion circuit 14 for each frame, subjected to white balance and gamma correction by the
内蔵メモリ20は、データ記録領域(A)(B)、圧縮データ記憶領域(C)およびその他の領域(D)からなる。
The built-in
データ記録領域(A)に蓄えられたフレーム画像データは圧縮/伸長回路18にてデータ圧縮され、内蔵メモリ20の圧縮データ記録領域(C)に蓄えられる。以上の動作を繰り返し、内蔵メモリ20の圧縮データ記録領域C)に複数枚のフレーム圧縮画像データを蓄えながら、並行して圧縮データ記録領域(C)より順次メモリカード24にデータを記録することにより、30fps又は15fpsの複数のフレーム圧縮画像データが得られる。
The frame image data stored in the data recording area (A) is compressed by the compression /
メモリ制御回路22はクロック19からのクロック信号に基づいて駆動される。クロック信号は、メモリ制御回路22において所望の記録フレームレートが得られるように、30fpsの場合と15fpsの場合とで周波数が切り換えられる構成となっている。
The
そして、15fpsで記録された動画ファイルを50フィールド毎秒で出力する場合、再生されるフレーム画像データの順番を示すカウンタNの値を3で除算した余に応じて、1枚のフレーム画像データより4枚のフィールド画像データを作成するか、3枚のフィールド画像データを作成するかを選択することによって、画像更新速度の変換を実現している。
しかしながら、従来の画像変換装置では、あくまで元になる画像はフレーム画像であり、そのため、入力としてインターレース画像を用いた場合には従来の画像変換装置は対応できないという問題があった。 However, in the conventional image conversion apparatus, the original image is a frame image. Therefore, when an interlaced image is used as an input, the conventional image conversion apparatus cannot cope.
本発明は従来の問題を解決するためになされたものであり、その目的は、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を得ることのできる画像変換装置を提供することにある。 The present invention has been made to solve the conventional problems, and an object thereof is to provide an image conversion apparatus capable of obtaining an interlaced image having a high image update speed from an interlaced image having a low image update speed. is there.
本発明の画像変換装置は、1フレームが複数のフィールド画像から構成されている画像データを入力する画像入力手段と、前記画像データを構成する各々のフィールド画像から複数の異なるフィールド画像を生成する画像信号演算手段とを備えている。 The image conversion apparatus according to the present invention includes an image input means for inputting image data in which one frame is composed of a plurality of field images, and an image for generating a plurality of different field images from each field image constituting the image data. Signal calculating means.
この構成により、入出力画像データ共に1フレームが複数フィールドから構成される画像データであり、そして、入力画像のひとつのフィールド画像から複数の異なるフィールド画像が生成されるので、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を得ることができる。 With this configuration, both input and output image data are image data in which one frame is composed of a plurality of fields, and a plurality of different field images are generated from one field image of the input image. An interlaced image with a high image update rate can be obtained from the image.
本発明の画像変換装置は、前記画像信号演算手段は、FIRフィルタを備え、インターレース形式の画像信号を構成するそれぞれの片方フィールドの画像信号から両方フィールドの画像信号を算出する。この構成により、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を好適に得ることができる。 In the image conversion apparatus of the present invention, the image signal calculation means includes an FIR filter, and calculates the image signals of both fields from the image signals of one of the fields constituting the interlaced image signal. With this configuration, an interlaced image with a high image update rate can be suitably obtained from an interlaced image with a low image update rate.
さらに、本発明の画像変換装置は、入力された1フィールドにおける入力ライン数対出力ライン数がm対nになるように、ブランキングを含むmライン期間で、nライン分の有効画像を前記画像信号演算手段にて演算し出力させる処理スケジューリングを行うためのスケジューラを備えている。 Furthermore, the image conversion apparatus according to the present invention provides an effective image for n lines in the m line period including blanking so that the number of input lines versus the number of output lines in one input field is m: n. A scheduler is provided for performing processing scheduling that is calculated and output by the signal calculation means.
この構成により、画像入力が連続的であり、画像変換によって作成するライン数が入力画像ライン数よりある程度多い場合においても、演算やメモリアクセスの処理速度を上げることなく、更新レートが高いインターレース画像を得ることができる。 With this configuration, even when image input is continuous and the number of lines created by image conversion is somewhat larger than the number of input image lines, an interlaced image with a high update rate can be obtained without increasing the processing speed of computation and memory access. Obtainable.
また、本発明の画像変換処理方法は、インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する。この方法により、上述の画像変換装置の態様と同様、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を得ることができる。 Also, the image conversion processing method of the present invention acquires an interlaced image signal, and calculates an image signal of both fields from an image signal of one field constituting the acquired image signal. With this method, an interlaced image with a high image update rate can be obtained from an interlaced image with a low image update rate, as in the above-described aspect of the image conversion apparatus.
また、本発明の別態様はプログラムであり、本プログラムは、インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する画像変換処理をコンピュータに実行させる。このプログラムにより、MPU、DSP等で本発明の画像変換の機能を実現できる。 Another aspect of the present invention is a program. The program acquires an interlaced image signal, and calculates an image signal of both fields from an image signal of one field constituting the acquired image signal. Is executed on the computer. With this program, the image conversion function of the present invention can be realized by an MPU, DSP, or the like.
また、本発明の別態様はコンピュータ読取り可能な記録媒体であり、本記録媒体は、インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する画像変換処理プログラムを記録している。この記録媒体により、記録媒体のプログラムをコンピュータで読み取って実行することで、MPU、DSP等で本発明の画像変換の機能を実現できる。 Another aspect of the present invention is a computer-readable recording medium, which acquires an interlaced image signal, and from both of the image signals of one field constituting the acquired image signal. Is recorded. With this recording medium, the program of the recording medium is read and executed by a computer, whereby the image conversion function of the present invention can be realized by an MPU, DSP, or the like.
本発明によれば、入出力画像データ共に1フレームが複数フィールドから構成される画像データであり、そして、入力画像のひとつのフィールド画像から複数の異なるフィールド画像が生成されるので、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を得ることができるという効果が得られる。 According to the present invention, both the input and output image data are image data in which one frame is composed of a plurality of fields, and a plurality of different field images are generated from one field image of the input image. An effect is obtained that an interlaced image having a high image update speed can be obtained from a slow interlaced image.
以下、本発明の実施の形態の画像変換装置について、図面を用いて説明する。 Hereinafter, an image conversion apparatus according to an embodiment of the present invention will be described with reference to the drawings.
本発明の第1の実施の形態の画像変換装置を図1に示す。図1において、画像変換装置100は、画像入力部110、画像信号演算部111および画像蓄積部112で構成されている。
An image conversion apparatus according to a first embodiment of the present invention is shown in FIG. In FIG. 1, the image conversion apparatus 100 includes an
画像入力部110は、インターレース形式の画像データを入力する。入力される画像データは、例えば、CCDで生成されたデータである。入力されるインターレース形式の画像データでは、1フレームが複数のフィールド画像で構成されている。
The
画像信号演算部111は、入力された画像データを構成する各々のフィールド画像から複数の異なるフィールド画像を生成する。すなわち、画像信号演算部111は、片方フィールドの画像信号から両方フィールドの画像を算出する。画像信号演算部111は、専用LSIやASICなどで構成されている。画像信号演算部111の処理は後述にて詳細に説明する。
The image
画像蓄積部112は、画像信号演算部111から出力されたデータを蓄える。画像蓄積部112は、画像信号演算部111で算出されたデータを並び替える機能をもっている。すなわち、画像蓄積部112は、メモリ制御部に制御されて、画像信号演算部111の演算結果の画像データを蓄積し、異なる順番で出力する。これにより、画像データがフィールド毎に出力される。画像蓄積部112はフレームメモリで構成されている。
The
画像変換装置100は、MPU、DSP等がプログラムを実行することで実現されてもよい。この場合、画像変換装置100の機能を実現するプログラムがMPU等で実行される。このプログラムは、コンピュータ読取り可能な記録媒体からコンピュータで読み取られてよい。 The image conversion apparatus 100 may be realized by an MPU, DSP, or the like executing a program. In this case, a program that realizes the function of the image conversion apparatus 100 is executed by the MPU or the like. This program may be read by a computer from a computer-readable recording medium.
次に、画像変換装置100による画像変換の処理について、図1、図2、図3を用いて説明する。ここでは、説明が分かりやすいように、下記のような具体例を用いる。 Next, image conversion processing by the image conversion apparatus 100 will be described with reference to FIGS. 1, 2, and 3. Here, for the sake of easy understanding, the following specific example is used.
本実施の形態における具体例では、入力画像を以下の形式とする。
総画素数 1525.3水平×1575垂直
有効画素数 1280水平×960垂直
画素縦横比 1:1
画像アスペクト比 4:3
画像更新速度 29.97フィールド毎秒
サンプリングレート 1525.3×787.5×29.97≒36.00MHz
In the specific example of the present embodiment, the input image has the following format.
Total number of pixels 1525.3 horizontal x 1575 vertical Effective number of pixels 1280 horizontal x 960 vertical Pixel aspect ratio 1: 1
Image aspect ratio 4: 3
Image update rate 29.97 fields per second Sampling rate 1525.3 × 787.5 × 29.97≈36.00 MHz
また、出力画像はNTSCを想定し、以下の形式とする。
総画素数 910水平×525垂直
有効画素数 768水平×480垂直
画素縦横比 1:1
画像アスペクト比 4:3
画像更新速度 59.94フィールド毎秒
サンプリングレート 910×525×29.97≒14.32MHz
The output image is assumed to be NTSC and has the following format.
Total number of pixels 910 horizontal x 525 vertical Effective number of pixels 768 horizontal x 480 vertical Pixel aspect ratio 1: 1
Image aspect ratio 4: 3
Image update rate 59.94 fields per second Sampling rate 910 × 525 × 29.97≈14.32 MHz
このとき、以下の画像変換が必要である。
(1)垂直方向は、有効画素換算(1/2)にする
(2)水平方向は、有効画素換算(3/5)にする
(3)画像更新速度は、(2/1)にする
以下では、まず(1)と(3)について詳細に説明する。画像入力部110によって得られる画像信号は、上に示した入力画像形式に従うものとする。
At this time, the following image conversion is required.
(1) The vertical direction is converted into effective pixels (1/2). (2) The horizontal direction is converted into effective pixels (3/5). (3) The image update speed is set to (2/1). First, (1) and (3) will be described in detail. The image signal obtained by the
入力画像は、インターレース形式である。1フレームを構成する2フィールドをAフィールド、Bフィールドとすれば、両フィールドの位置関係は、図2の入力信号150に示されるとおりである。入力信号150では、A/Bフィールドが混合されている。"A"および"B"と記入されている部分が画像データであり、"−"を記載している部分は、後述するサンプリングレート変換のアップサンプルのために挿入したダミーデータであり、値としては0である。入力ライン番号1,3,5,7,9,11,13がAフィールド、入力ライン番号2,4,6,8,10,12,14がBフィールドであり、A,B両フィールドを合せてはじめて1枚のフレーム画像となる。フィールド読み出し形式なので、AフィールドとBフィールドは(1/29.97)秒毎に交互に画像入力部110より入力される。つまり、図2におけるAフィールドの入力信号151とBフィールドの入力信号154が交互に入力される。
The input image is in an interlace format. If two fields constituting one frame are an A field and a B field, the positional relationship between the two fields is as shown in the
このような入力画像の垂直方向画素数すなわちライン数と画像更新速度とを、本実施の形態の具体例における出力画像のライン数と画像更新速度に変換する場合、ライン数は(1/2)、つまり半分にすることが求められる。画像更新速度は2倍、すなわち入力1フィールドから2フィールドを作成する。よって、入力1フィールドから作成するライン数は(2/2)、つまり等倍になる。1フィールド画像として作成する画像のライン数は半分だが、合計2フィールドを作成するので、出力するライン数と入力ライン数は等しいことになる。
When the number of pixels in the vertical direction of the input image, that is, the number of lines and the image update speed are converted into the number of lines of the output image and the image update speed in the specific example of this embodiment, the number of lines is (1/2). In other words, it is required to be halved. The image update speed is double, that is, two fields are created from one input field. Therefore, the number of lines created from the
さて、一般に画像の拡大・縮小は、サンプリングレートの変換として与えられる。倍率がm/n(m,nは整数、m<n)である縮小を行うとき、画像データを表すサンプル点の間ごとに(m−1)個の0を挿入することによってサンプリングレートを上げ(アップサンプル)、画像縮小後に折り返しひずみが発生しないように出力周波数の半分で帯域制限し、帯域制限されたサンプル列をn個ごとにリサンプル(ダウンサンプル)することによって倍率m/nの縮小を行うことができる。 Generally, enlargement / reduction of an image is given as a conversion of a sampling rate. When performing reduction with a magnification of m / n (m, n is an integer, m <n), the sampling rate is increased by inserting (m−1) zeros between sample points representing image data. (Up-sampling), band reduction at half the output frequency so that aliasing distortion does not occur after image reduction, and re-sampling (down-sampling) the band-limited sample sequence every n pieces to reduce the magnification m / n It can be performed.
ここで、帯域制限フィルタはローパスフィルタである。周波数特性と、処理量・回路量とのトレードオフによって係数等は決定される。 Here, the band limiting filter is a low-pass filter. Coefficients and the like are determined by a trade-off between the frequency characteristics and the processing amount / circuit amount.
画像信号のフィルタリングでは、直線位相・系の安定性からFIRフィルタが好んで用いられる。FIRフィルタにおいて、急峻な減衰特性と通過帯域の平坦性を高いレベルで両立させるには多タップ構成にすることが有効である。しかし、画像信号処理において、垂直方向のFIRフィルタのタップ数は、同数のラインメモリの必要性を意味する。回路量の観点から、ラインメモリを無制限に増やすことはできない。 In image signal filtering, an FIR filter is preferably used because of the stability of the linear phase and system. In an FIR filter, it is effective to use a multi-tap configuration in order to achieve both a steep attenuation characteristic and passband flatness at a high level. However, in the image signal processing, the number of taps of the FIR filter in the vertical direction means the necessity of the same number of line memories. From the viewpoint of circuit amount, the line memory cannot be increased without limit.
以上に述べたフィルタリングに必要な画像信号が、画像信号入力部110より入力されるものとする。ラインメモリで実現されていても良いし、フレームメモリで実現されていても良い。本実施の形態では、画像入力部110から4ラインのデータが得られるものとする。そして、画像信号演算部111の処理は以下のようにして行われる。
It is assumed that the image signal necessary for the filtering described above is input from the image
有効画素数としての入力画像は、1280×480画素のフィールド画像データであり、(1/29.97)秒毎に更新される。画像の空間的位相は、図2にAフィールドの入力信号151とBフィールドの入力信号154で示されている。
The input image as the number of effective pixels is field image data of 1280 × 480 pixels, and is updated every (1 / 29.97) seconds. The spatial phase of the image is shown in FIG. 2 by an A
ここで、本明細書では、適宜、入力信号のフィールドを入力フィールド、入力Aフィールド、入力Bフィールドなどといい、出力信号のフィールドを出力フィールド、出力Aフィールド、出力Bフィールドなどという。 Here, in this specification, the field of the input signal is appropriately referred to as an input field, the input A field, the input B field, and the like, and the field of the output signal is referred to as an output field, an output A field, and an output B field.
本実施の形態では、入力Aフィールドの入力信号151からも、入力Bフィールドの入力信号154からも、出力A/Bの2フィールドを生成する。
In the present embodiment, two fields of output A / B are generated from the
入力Aフィールドの入力信号151から生成する出力A/Bフィールドは、図2に示す出力Aフィールドの出力信号152と出力Bフィールドの出力信号153である。本実施の形態における具体例では、入力Aフィールドから生成する出力Aフィールドおよび出力Bフィールドの空間的位相は、二つの入力ラインから見たとき、距離3:1の位置に設定している。
The output A / B field generated from the
一方、入力Bフィールドの入力信号154から生成する出力A/Bフィールドは、図2に示す出力Aフィールドの出力信号155と出力Bフィールドの出力信号156である。本実施の形態における具体例では、入力Bフィールドから生成する出力Aフィールドおよび出力Bフィールドの空間的位相は、二つの入力ラインから見たとき、距離1:3の位置に設定している。
On the other hand, the output A / B fields generated from the
入力A/Bフィールドは、互いに空間的位相が異なるが、入力Aフィールドの入力信号151から生成した出力Aフィールドの出力信号152と、入力Bフィールドの入力信号154から生成した出力Aフィールドの出力信号155の空間的位相は等しい。同じように、入力Aフィールドの入力信号151から生成した出力Bフィールドの出力信号153と、入力Bフィールドの入力信号154から生成した出力Bフィールドの出力信号156の空間的位相も等しい。なお、入出力信号の相対的な空間的位相は上記に限定されるものではない。
The input A / B fields have different spatial phases, but the
本実施の形態における具体例として、ライン方向のサンプリングレート変換で帯域制限を行うために、適当なカットオフ周波数を持つよう設計した17タップFIRフィルタを使用することを考える。フィルタ係数FIRcoefを、
FIRcoef = (K0,K1,K2,K3,K4,K5,
K6,K7,K8,K9,K10,K11,
K12,K13,K14,K15,K16)
とする。センタータップに対応する係数はK8である。このとき、図2の出力信号152の出力ライン番号3におけるAフィールドデータを出力A3(A)とすると、出力A3(A)は、入力信号151の入力ライン番号3,5,7,9におけるAフィールドデータであるA3,A5,A7,A9とFIRcoefを用いて以下のように算出される。
As a specific example in the present embodiment, it is considered to use a 17-tap FIR filter designed to have an appropriate cut-off frequency in order to limit the band by sampling rate conversion in the line direction. Filter coefficient FIRcoef
FIRcoef = (K0, K1, K2, K3, K4, K5
K6, K7, K8, K9, K10, K11,
(K12, K13, K14, K15, K16)
And The coefficient corresponding to the center tap is K8. At this time, if the A field data in the
出力A3(A) = K1*A3 + K5*A5 + K9*A7 + K13*A9 Output A3 (A) = K1 * A3 + K5 * A5 + K9 * A7 + K13 * A9
演算内容から明らかだが、アップサンプルのために信号間に挿入したダミーデータは、値としては0なので、実際の演算には現れない。 As is apparent from the calculation contents, the dummy data inserted between the signals for up-sampling does not appear in the actual calculation because the value is 0.
また、同様に図2の出力信号155の出力ライン番号3におけるAフィールドデータを出力A3(B)とすると、出力A3(B)は、入力信号154の入力ライン番号4,6,8,10におけるBフィールドデータであるB4,B6,B8,B10とFIRcoefを用いて以下のように算出される。
Similarly, assuming that the A field data in the
出力A3(B) = K3*B4 + K7*B6 + K11*B8 + K15*B10 Output A3 (B) = K3 * B4 + K7 * B6 + K11 * B8 + K15 * B10
こちらも演算内容から明らかだが、アップサンプルのために信号間に挿入したダミーデータは、値としては0なので、実際の演算には現れない。しかし、入力画像信号のフィールドよって、係数を切り換える必要ある。 This is also clear from the calculation contents, but the dummy data inserted between the signals for upsampling has a value of 0, so it does not appear in the actual calculation. However, it is necessary to switch the coefficient depending on the field of the input image signal.
画像信号演算部111の演算結果の画像データは、画像蓄積部112に供給され、画像蓄積部112での画像蓄積を介して、画像更新速度の変換された画像データとして出力される。画像蓄積部112は前述のようにフレームメモリ等であり、フレーム単位で画像を蓄積する。
The image data of the calculation result of the image
画像蓄積部112の処理概要を図3に示す。図3ではライン数を省略して、入力1フィールド10ライン、出力1フィールド5ラインとしている。
An outline of the processing of the
図3には、画像蓄積部112の入力信号162および出力信号163を、入力信号用垂直同期信号(VD)160、入力信号用水平同期信号(HD)161、出力信号用垂直同期信号(VD)164、出力信号用水平同期信号(HD)165と共に示している。
In FIG. 3, the
画像蓄積部112の入力信号162は、すなわち、画像信号演算部111の出力信号である。画像信号演算部111から出力されるデータでは、Aフィールド用出力とBフィールド用出力が交互に現れており、その結果、入力信号162では、(a,f,b,g,c,h,d,i,e)の順にデータが入力されている(a,b,c・・・は、1ラインのデータである)。
The
これに対して、出力信号163では、Aフィールド用データは、(a,b,c,d,e)であり、Bフィールド用データは、(f,g,h,i)である。このような処理を実現するように、画像データをフレームメモリに一旦格納することによって、並べ替えた画像データを出力する。これにより、Aフィールド、Bフィールドの順データフレーム毎に画像信号が得られる。並べ替え出力について、図3の出力信号163では、入力1フレーム後に出力を行っているが、このタイミングに限定されるものではない。
On the other hand, in the
上記の画像蓄積部に関して、本実施の形態においては、フレームメモリが処理の最後段に位置するものとして説明をおこなったが、最前段に置いて容量を増やし、画像出力速度を倍にすることによって入力画像を2回すなわち1回目と2回目で異なるフィールドを出力する処理を行うようにすることでも、本件の目的とする効果を得ることができる。このような画像蓄積部は、画像信号演算部111の一部として、演算処理の前に蓄積処理を行うように設けられてもよい。画像信号演算部111がLSI等の回路である場合に、回路の一部が画像蓄積部であってもよい。
In the present embodiment, the above-described image storage unit has been described on the assumption that the frame memory is located at the last stage of processing. However, by increasing the capacity at the front stage and doubling the image output speed, The target effect of the present case can also be obtained by performing processing for outputting different fields in the input image twice, that is, in the first time and the second time. Such an image storage unit may be provided as a part of the image
上記の説明では、垂直方向の画像変換について説明した。水平方向の画像変換については、水平方向有効画素である1280画素から768画素への縮小は信号処理のどの時点でおこなってもよい。画像入力部110の直後で処理すれば、全体の処理速度の面から好ましい。この場合に、水平方向の画像変換部は、画像信号演算部111の一部であってよい。画像信号演算部111がLSI等の回路である場合に、回路の一部が水平方向の画像変換部であってよい。水平方向縮小処理は、間引き処理でもよく、この場合には画質劣化の容認が求められる。また、高い画質を目指して、水平複数画素を用いたサンプリングレート変換で縮小処理を行ってもよい。このように、縮小処理は画質と処理量のトレードオフになる。
In the above description, the image conversion in the vertical direction has been described. For horizontal image conversion, reduction from 1280 pixels, which are effective pixels in the horizontal direction, to 768 pixels may be performed at any point in the signal processing. Processing immediately after the
なお、本実施の形態では、入力画像の大きさ、フィルタタップ数などに具体的数値を挙げて説明を行ったが、これら値に限定されるものではない。 In this embodiment, specific numerical values are given for the size of the input image, the number of filter taps, etc., but the present invention is not limited to these values.
以上に本発明の第1の実施の形態に係る画像変換装置について説明した。上述したように、本実施の形態によれば、入出力画像データ共に1フレームが複数フィールドから構成される画像データであり、そして、入力画像のひとつのフィールド画像から複数の異なるフィールド画像が生成されるので、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を、十分に良好な画質でもって得ることができる。 The image conversion apparatus according to the first embodiment of the present invention has been described above. As described above, according to the present embodiment, both input and output image data is image data in which one frame is composed of a plurality of fields, and a plurality of different field images are generated from one field image of the input image. Therefore, an interlaced image with a high image update speed can be obtained with sufficiently good image quality from an interlaced image with a low image update speed.
次に、本発明の第2の実施の形態の画像変換装置を図4に示す。図4の画像変換装置200は、図1に示した第1の実施の形態の画像変換装置100とほぼ同様の構成を有しており、すなわち、画像変換装置200の画像入力部210、画像信号演算部211および画像蓄積部212は、図1の画像変換装置100の画像入力部110、画像信号演算部111および画像蓄積部112とそれぞれ同様の構成を有している。以下の説明において、第1の実施の形態と重複する事項の説明は適宜省略する。
Next, an image conversion apparatus according to a second embodiment of the present invention is shown in FIG. 4 has substantially the same configuration as that of the image conversion apparatus 100 according to the first embodiment shown in FIG. 1, that is, the
第2の実施の形態の画像変換装置200は、第1の実施の形態の画像変換装置100との相違点として、図4に示されるように、上記構成に加えて、スケジューラ215を備えている。スケジューラ215は、画像信号演算部211での画像信号演算の実行タイミング信号を生成し、タイミングの信号を画像信号演算部211に供給する。より詳細には、スケジューラ215は、下記に具体例を用いて説明するように、画像信号演算部211がブランキングを含むmライン期間で、nライン分の有効画像を演算し出力するための処理スケジューリングを行うように構成されており、これにより、入力された1フィールドにおける入力ライン数対出力ライン数がm対nになる。
As shown in FIG. 4, the image conversion apparatus 200 according to the second embodiment includes a
次に、画像変換装置200による画像変換の処理について、図4、図5、図6、図7を用いて説明する。本実施の形態の説明では下記の具体例を用いる。 Next, image conversion processing by the image conversion apparatus 200 will be described with reference to FIGS. 4, 5, 6, and 7. In the description of this embodiment, the following specific example is used.
まず、本実施の形態における入力画像を以下の形式とする。
総画素数 1536水平×1875垂直
有効画素数 1280水平×960垂直
画素縦横比 1:1
画像アスペクト比 4:3
画像更新速度 25フィールド毎秒
サンプリングレート 1536×1875×12.5=36.00MHz
First, the input image in the present embodiment has the following format.
Total number of pixels 1536 horizontal x 1875 vertical Effective number of pixels 1280 horizontal x 960 vertical Pixel aspect ratio 1: 1
Image aspect ratio 4: 3
Image update rate 25 fields per second Sampling rate 1536 x 1875 x 12.5 = 36.00 MHz
また、出力画像はPALを想定し、以下の形式とする。
総画素数 908水平×625垂直
有効画素数 768水平×576垂直
画素縦横比 1:1
画像アスペクト比 4:3
画像更新速度 50フィールド毎秒
サンプリングレート 908×625×25=14.1875MHz
The output image is assumed to be PAL, and has the following format.
Total number of pixels 908 horizontal x 625 vertical Effective number of pixels 768 horizontal x 576 vertical Pixel aspect ratio 1: 1
Image aspect ratio 4: 3
Image update rate 50 fields per second Sampling rate 908 × 625 × 25 = 14.1875 MHz
このとき、以下の画像変換が必要である。
(1)垂直方向は、有効画素換算(3/5)にする
(2)水平方向は、有効画素換算(3/5)にする
(3)画像更新速度は、(2/1)にする
以下では、まず(1)と(3)について詳細に説明する。
At this time, the following image conversion is required.
(1) The vertical direction is converted into effective pixels (3/5). (2) The horizontal direction is converted into effective pixels (3/5). (3) The image update speed is set to (2/1). First, (1) and (3) will be described in detail.
入力画像は、インターレース形式である。1フレームを構成する2フィールドをAフィールド、Bフィールドとすれば、両フィールドの位置関係は、図5の入力信号250に示される通りである。入力信号250では、A/Bフィールドが混合されている。"A"および"B"と記入されている部分が画像データであり、"−"を記載している部分は、サンプリングレート変換のアップサンプルのために挿入したダミーデータであり、値としては0である。入力ライン番号1,3,5,7,9,11,13がAフィールド、入力ライン番号2,4,6,8,10,12がBフィールドであり、A,B両フィールドを合せてはじめて1枚のフレーム画像となる。フィールド読み出し形式なので、AフィールドとBフィールドは(1/25)秒毎に交互に画像入力部210より入力される。つまり図5におけるAフィールドの入力信号251とBフィールドの入力信号254が交互に入力される。
The input image is in an interlace format. If two fields constituting one frame are an A field and a B field, the positional relationship between both fields is as shown in the
このような入力画像の垂直方向画素数すなわちライン数と画像更新速度とを、本実施の形態の具体例における出力画像のライン数と画像更新速度に変換する場合、ライン数は(3/5)にすることが求められる。画像更新速度は2倍であり、すなわち入力1フィールドからA,B合計2フィールドを作成する。よって、入力1フィールドから作成するライン数は(6/5)になる。作成するライン数が入力ライン数より多いことに対応しなければならない。入力画像データを変換する演算処理は、画像信号演算部211によって下記のようにして行われる。
When the number of pixels in the vertical direction of the input image, that is, the number of lines and the image update speed are converted into the number of lines of the output image and the image update speed in the specific example of this embodiment, the number of lines is (3/5). Is required. The image update rate is double, that is, two fields A and B are created from one input field. Therefore, the number of lines created from the
有効画素数としての入力画像は、1280×480画素のフィールドデータであり、(1/25)秒毎に更新される。画像の空間的位相は、図5にAフィールドの入力信号251とBフィールドの入力信号254で示されている。
The input image as the number of effective pixels is field data of 1280 × 480 pixels and is updated every (1/25) seconds. The spatial phase of the image is shown in FIG. 5 by the A
ここで、第1の実施の形態と同様、本実施の形態でも、適宜、入力信号のフィールドを入力フィールド、入力Aフィールド、入力Bフィールドなどといい、出力信号のフィールドを出力フィールド、出力Aフィールド、出力Bフィールドなどという。 As in the first embodiment, in this embodiment, the input signal field is appropriately referred to as an input field, an input A field, an input B field, and the like, and the output signal field is an output field and an output A field. This is called an output B field.
本実施の形態では、入力Aフィールドの入力信号251からも、入力Bフィールドの入力信号254からも、出力A/Bの2フィールドを生成する。
In the present embodiment, two fields of output A / B are generated from the
入力Aフィールドの入力信号251から生成する出力A/Bフィールドは、図5に示す出力Aフィールドの出力信号252と出力Bフィールドの出力信号253である。
The output A / B fields generated from the
入力Bフィールドの入力信号254から生成する出力A/Bフィールドは、図5に示す出力Aフィールドの出力信号255と出力Bフィールドの出力信号256である。
The output A / B field generated from the
入力A/Bフィールドは、互いに空間的位相が異なるが、入力Aフィールドの入力信号251から生成した出力Aフィールドの出力信号252と、入力Bフィールドの入力信号254から生成した出力Aフィールドの出力信号255との空間的位相は等しい。同じように、入力Aフィールドの入力信号251から生成した出力Bフィールドの出力信号253と、入力Bフィールドの入力信号254から生成した出力Bフィールドの出力信号256の空間的位相も等しい。
The input A / B fields have different spatial phases, but the
空間的位相の調整は、サンプリングレート変換に使用する帯域制限フィルタの適用方法によって実現する。サンプリングレート変換で帯域制限を行うために、23タップFIRフィルタを使用することを考える。フィルタ係数FIRcoefを、
FIRcoef = (K0,K1,K2,K3,K4,K5,
K6,K7,K8,K9,K10,K11,
K12,K13,K14,K15,K16,
K17,K18,K19,K20,K21,K22)
とする。センタータップに対応する係数はK11である。このとき、図5の出力信号252に示される出力ライン番号A3、A5、A7の出力Aフィールドデータを出力A3(A)、出力A5(A)、出力A7(A)とし、同じく出力信号253に示される出力ライン番号4、6、8の出力Bフィールドデータを出力B4(A)、出力B6(A)、出力B8(A)とすると、これらデータは、入力信号251の入力AフィールドデータとFIRcoefを用いて以下のように算出される(A13以降の入力は図示せず)。A3、A5、A7・・・は、入力信号251の入力ライン番号3、5、7・・・における入力Aフィールドデータである。
Spatial phase adjustment is realized by applying a band-limiting filter used for sampling rate conversion. Consider using a 23-tap FIR filter to limit the bandwidth with sampling rate conversion. Filter coefficient FIRcoef
FIRcoef = (K0, K1, K2, K3, K4, K5
K6, K7, K8, K9, K10, K11,
K12, K13, K14, K15, K16,
(K17, K18, K19, K20, K21, K22)
And The coefficient corresponding to the center tap is K11. At this time, the output A field data of the output line numbers A3, A5, and A7 shown in the
出力A3(A)= K5*A3 +K11*A5 +K17*A7
出力A5(A)= K1*A5 +K7 *A7 +K13*A9 +K19*A11
出力A7(A)= K3*A9 +K9 *A11 +K15*A13 +K21*A15
出力B4(A)= K0*A3 +K6 *A5 +K12*A7 +K18*A9
出力B6(A)= K2*A7 +K8 *A9 +K14*A11 +K20*A13
出力B8(A)= K4*A11+K10*A13 +K16*A15 +K22*A17
Output A3 (A) = K5 * A3 + K11 * A5 + K17 * A7
Output A5 (A) = K1 * A5 + K7 * A7 + K13 * A9 + K19 * A11
Output A7 (A) = K3 * A9 + K9 * A11 + K15 * A13 + K21 * A15
Output B4 (A) = K0 * A3 + K6 * A5 + K12 * A7 + K18 * A9
Output B6 (A) = K2 * A7 + K8 * A9 + K14 * A11 + K20 * A13
Output B8 (A) = K4 * A11 + K10 * A13 + K16 * A15 + K22 * A17
演算内容から明らかだが、アップサンプルのために信号間に挿入したダミーデータは、値としては0なので、実際の演算には現れない。 As is apparent from the calculation contents, the dummy data inserted between the signals for up-sampling does not appear in the actual calculation because the value is 0.
また、同様に図5の出力信号255に示される出力ライン番号3、5、7の出力Aフィールドデータを出力A3(B),出力A5(B),出力A7(B)とし、同じく出力信号256に示される出力ライン番号4、6、8の出力Bフィールドデータを出力B4(B),出力B6(B),出力B8(B)とすると、これらデータは、入力信号254の入力BフィールドデータとFIRcoefの用いて以下のように算出される。B2、B4、B6・・・は、入力信号254の入力ライン番号2、4、6・・・における入力Bフィールドデータである。
Similarly, the output A field data of
出力A3(B)= K2*B2 +K8 *B4 +K12*B6 +K18*B8
出力A5(B)= K4*B6 +K10*B8 +K16*B10 +K22*B12
出力A7(B)= K0*B8 +K6 *B10 +K12*B12 +K18*B14
出力B4(B)= K3*B4 +K9 *B6 +K15*B8 +K21*B10
出力B6(B)= K5*B8 +K11*B10 +K17*B12
出力B8(B)= K1*B10+K7 *B12 +K13*B14 +K19*B16
Output A3 (B) = K2 * B2 + K8 * B4 + K12 * B6 + K18 * B8
Output A5 (B) = K4 * B6 + K10 * B8 + K16 * B10 + K22 * B12
Output A7 (B) = K0 * B8 + K6 * B10 + K12 * B12 + K18 * B14
Output B4 (B) = K3 * B4 + K9 * B6 + K15 * B8 + K21 * B10
Output B6 (B) = K5 * B8 + K11 * B10 + K17 * B12
Output B8 (B) = K1 * B10 + K7 * B12 + K13 * B14 + K19 * B16
こちらも演算内容から明らかだが、アップサンプルのために信号間に挿入したダミーデータは、値としては0なので、実際の演算には現れない。 This is also clear from the calculation contents, but the dummy data inserted between the signals for upsampling has a value of 0, so it does not appear in the actual calculation.
ここで、上記式に示したとおり、あるフィールド出力を得るために3種類の係数の組み合わせが発生している。つまり、入力画像信号のフィールドとライン番号よって、係数を切り換える必要ある。 Here, as shown in the above equation, three kinds of combinations of coefficients are generated in order to obtain a certain field output. That is, the coefficients need to be switched according to the field and line number of the input image signal.
次に、スケジューラ215の機能について説明する。本実施の形態では、入力1フィールドから作成するライン数は(6/5)であり、入力ライン数より作成する出力ライン数が多い。つまり、入力1ラインに対し2ラインを作成しなければならない場合がある。処理概要を図6および図7を用いて説明する。
Next, the function of the
まず、図6は、画像蓄積部212の入力信号262、263および出力信号264を、入力信号用垂直同期信号(VD)260、入力信号用水平同期信号(HD)261、出力信号用垂直同期信号(VD)265、出力信号用水平同期信号(HD)266と共に示している。図6ではライン数を省略して、入力1フィールド12ライン、出力1フィールド6ラインとしている。
First, in FIG. 6, the input signals 262 and 263 and the
画像蓄積部212は、画像をフレーム単位で蓄積するフレームメモリであり、画像信号演算部211から画像蓄積部212にデータが出力される。図6に示すように、画像蓄積部212の入力信号262が(a,b,c,d,e,f)であり、入力信号263が(g,h,i,j,k)となっており、入力信号262、263は、すなわち、画像信号演算部211の出力信号であり、そして、図示のように、bとh、eとjの生成タイミングが同時である。
The
このような処理を実現するため、画像蓄積部212へデータを出力するタイミングが調整される。図7に示すように、水平同期信号270とは異なる画像信号演算実行タイミング信号273(または出力画像処理実行タイミング信号)を設け、画像信号演算実行タイミング273のタイミングで画像入力部210はデータを入力し、同タイミングで画像信号演算部211はデータを取り込んでフィルタ係数を切り換える。
In order to realize such processing, the timing of outputting data to the
このタイミング信号によって、画像信号演算部211は、1または複数の水平有効期間と水平ブランキング期間に渡って演算を行う。
Based on this timing signal, the image
図6の入力信号262および入力信号263は前述のように画像信号演算部211で生成されるデータである。図示のデータは、図7の出力画像信号272のタイミングで処理され、フレームメモリへ格納されて、図6における出力信号264の順番で出力される。Aフィールド用出力とBフィールド用出力が交互に現れており、こうしてフレーム画像の蓄積を介して画像更新速度が変換されている。
The
なお、本実施の形態においては、フレームメモリが処理の最後段に位置するものとして説明をおこなったが、本発明はこれに限定されず、この点は第1の実施の形態で説明した通りである。 In the present embodiment, the description has been made assuming that the frame memory is located at the last stage of the processing. However, the present invention is not limited to this, and this point is as described in the first embodiment. is there.
また、上記の説明では、垂直方向の画像変換について説明した。水平方向の画像変換については、水平方向有効画素である1280画素から768画素への縮小は信号処理のどの時点でおこなってもよい。水平方向の処理については、第1の実施の形態で説明した通りである。 In the above description, the image conversion in the vertical direction has been described. For horizontal image conversion, reduction from 1280 pixels, which are effective pixels in the horizontal direction, to 768 pixels may be performed at any point in the signal processing. The processing in the horizontal direction is as described in the first embodiment.
また、本実施の形態では、入力画像の大きさ、フィルタタップ数などに具体的数値を挙げて説明を行ったが、これら値に限定されるものではなく、この点も第1の実施の形態で説明した通りである。 In the present embodiment, specific numerical values are given for the size of the input image, the number of filter taps, and the like. However, the present invention is not limited to these values, and this point is also the first embodiment. As explained in.
以上に本発明の第2の実施の形態に係る画像変換装置200について説明した。本実施の形態によれば、第1の実施の形態の効果が得られ、さらに、画像入力が連続的であり、画像変換によって作成するライン数が入力画像ライン数よりある程度多い場合においても、演算やメモリアクセスの処理速度を上げることなく、更新レートが高いインターレース画像を得ることができる。 The image conversion apparatus 200 according to the second embodiment of the present invention has been described above. According to the present embodiment, the effects of the first embodiment can be obtained, and even when the image input is continuous and the number of lines created by image conversion is somewhat larger than the number of input image lines, the calculation is performed. In addition, an interlaced image with a high update rate can be obtained without increasing the processing speed of memory access.
上述の第1および第2の実施の形態において、画像変換装置の機能は,磁気ディスク、光磁気ディスク,ROM等の記録媒体にプログラムとして記録することができる。よって、この記録媒体をコンピュータで読み取ってMPU、DSP等で実行することにより画像変換装置の機能を実現することができる。 In the first and second embodiments described above, the function of the image conversion apparatus can be recorded as a program on a recording medium such as a magnetic disk, a magneto-optical disk, or a ROM. Therefore, the function of the image conversion apparatus can be realized by reading this recording medium with a computer and executing it with an MPU, DSP, or the like.
その他、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。 In addition, this invention is not limited to the above-mentioned embodiment, Of course, those skilled in the art can modify the above-mentioned embodiment within the scope of the present invention.
以上のように、本発明にかかる画像変換装置は、画像更新速度の遅いインターレース画像から画像更新速度の速いインターレース画像を好適に得ることができるという効果を有し、撮像装置等の画像変換装置として有用である。 As described above, the image conversion apparatus according to the present invention has an effect that an interlace image with a high image update speed can be suitably obtained from an interlace image with a low image update speed, and is an image conversion apparatus such as an imaging apparatus. Useful.
100 画像変換装置
110 画像入力部
111 画像信号演算部
112 画像蓄積部
DESCRIPTION OF SYMBOLS 100
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004357268A JP2006166256A (en) | 2004-12-09 | 2004-12-09 | Image conversion apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004357268A JP2006166256A (en) | 2004-12-09 | 2004-12-09 | Image conversion apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006166256A true JP2006166256A (en) | 2006-06-22 |
Family
ID=36667726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004357268A Pending JP2006166256A (en) | 2004-12-09 | 2004-12-09 | Image conversion apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006166256A (en) |
-
2004
- 2004-12-09 JP JP2004357268A patent/JP2006166256A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2946583B2 (en) | Slow motion video signal generating apparatus and slow motion video signal generating method | |
JP5317825B2 (en) | Image processing apparatus and image processing method | |
JP2009010821A (en) | Imaging device and imaging method, recording medium, and program | |
US20050012826A1 (en) | Image input apparatus | |
JP2003338988A (en) | Imaging device | |
JPWO2012053139A1 (en) | Image processing apparatus and image processing method | |
JP4883772B2 (en) | Image processing apparatus and method | |
JP4475225B2 (en) | Video signal transmission system, imaging device, signal processing device, and video signal transmission method | |
JP2009010823A (en) | Image processing device and image processing method, recording medium, and program | |
JP2009044538A (en) | Monitoring system and imaging device employed therefor | |
JP3962928B2 (en) | Image data conversion method, conversion circuit, and imaging apparatus | |
JP2002359824A (en) | Method of decreasing delay through frame based on format converter | |
JP2006166256A (en) | Image conversion apparatus | |
JP4697094B2 (en) | Image signal output apparatus and control method thereof | |
JPH08317295A (en) | Digital image recording device and digital image reproducing device | |
JP2010251882A (en) | Image capturing apparatus and image reproducing device | |
US8698907B2 (en) | Image capture apparatus | |
US20030016389A1 (en) | Image processing device | |
JP4489760B2 (en) | Device for generating a 3D video signal | |
JP2004228775A (en) | Frame conversion method, frame conversion circuit, and electronic camera | |
JP4035542B2 (en) | Imaging device | |
JP2006303693A (en) | Electronic camera provided with function of generating reduced picture | |
JP2007288559A (en) | Reproduction method and reproduction apparatus | |
JP3106759B2 (en) | Imaging device | |
JP4042106B2 (en) | Image signal conversion method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090728 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090925 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091201 |