JP2006166256A - Image conversion apparatus - Google Patents

Image conversion apparatus Download PDF

Info

Publication number
JP2006166256A
JP2006166256A JP2004357268A JP2004357268A JP2006166256A JP 2006166256 A JP2006166256 A JP 2006166256A JP 2004357268 A JP2004357268 A JP 2004357268A JP 2004357268 A JP2004357268 A JP 2004357268A JP 2006166256 A JP2006166256 A JP 2006166256A
Authority
JP
Japan
Prior art keywords
image
field
input
output
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004357268A
Other languages
Japanese (ja)
Inventor
Taro Hizume
太郎 樋爪
Manabu Yada
学 矢田
Kazunori Sumitani
一徳 隅谷
Makoto Sube
信 須部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004357268A priority Critical patent/JP2006166256A/en
Publication of JP2006166256A publication Critical patent/JP2006166256A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image conversion apparatus which obtains an interlace image of a high image updating speed from an interlace image of a low image updating speed. <P>SOLUTION: An image input unit 110 inputs image data of which one frame is constituted of a plurality of field images. An image signal arithmetic unit 111 generates a plurality of different field images from each of field images constituting the image data. Images of both fields are calculated from an interlaced image signal of one field. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、画像変換装置に関し、特に画像の更新速度と画素数の変換処理を行う画像変換装置に関するものである。   The present invention relates to an image conversion apparatus, and more particularly to an image conversion apparatus that performs conversion processing of an image update speed and the number of pixels.

画像の高精細化への要求が高まっており、1フレーム100万画素程度の動画カメラが実用化されている。   The demand for higher definition of images is increasing, and a moving image camera having about 1 million pixels per frame has been put into practical use.

一般的な固体撮像素子であるCCD(Charge Coupled Device,電荷結合素子)は、駆動速度を無制限に上げられないので、画像の画素数を多くする場合、画像更新速度を下げなければならない。48万画素程度であれば、現行テレビジョン(以下TV)規格に従った画像更新速度で出力することも可能だが、画素数が100万画素を超えると困難である。CCDの信号読み出し経路を増やす、といった工夫によって画像更新速度を向上させることは可能だが、回路量等とのトレードオフとなる。   A CCD (Charge Coupled Device), which is a general solid-state imaging device, cannot increase the driving speed indefinitely. Therefore, when the number of pixels of an image is increased, the image update speed must be decreased. If it is about 480,000 pixels, it is possible to output at an image update speed according to the current television (hereinafter referred to as TV) standard, but it is difficult if the number of pixels exceeds 1 million pixels. Although it is possible to improve the image update speed by increasing the signal readout path of the CCD, it is a trade-off with the circuit amount and the like.

また、撮像系の高精細化が進んではいるが、表示系も同時に高精細化するわけではなく、現行TV規格対応表示機器も使用したい、といった要求が存在する。   In addition, although the resolution of the imaging system is increasing, there is a demand that the display system does not increase in resolution at the same time, and it is desired to use a display device compliant with the current TV standard.

NTSCやPALといったTV規格によってライン数とフレームレートは決まっている。よって、例えば1フレームを構成する画素数はTV規格より多いが、画像更新速度は遅いような画像を、現行TV規格に対応した表示機器に表示する場合には、画像の画素数と画像更新速度をTV規格に合うように変換する必要がある。   The number of lines and the frame rate are determined by TV standards such as NTSC and PAL. Therefore, for example, when displaying an image having a larger number of pixels constituting one frame than the TV standard but a slower image update speed on a display device compliant with the current TV standard, the number of pixels of the image and the image update speed. Must be converted to meet the TV standard.

従来の画像変換装置としては、例えば特許文献1に開示されたものがある。図8は同文献に示されている従来の画像変換装置を示している。   An example of a conventional image conversion apparatus is disclosed in Patent Document 1. FIG. 8 shows a conventional image conversion apparatus disclosed in the document.

図8の画像変換装置は、CCD12、A/D変換部14、信号処理部16、圧縮/伸張部18、クロック19、内蔵メモリ20、メモリ制御回路22、メモリカード24、ビデオエンコーダ26、D/A変換部28、スイッチ30、内蔵モニター(NTSC)32、時間軸変換部33、端子34、接続ケーブル35、外部モニター(PAL)36、カメラ制御回路38、CPU40、システムコントローラ42および操作スイッチ44を備えている。   8 includes a CCD 12, an A / D conversion unit 14, a signal processing unit 16, a compression / decompression unit 18, a clock 19, a built-in memory 20, a memory control circuit 22, a memory card 24, a video encoder 26, a D / D A conversion unit 28, switch 30, built-in monitor (NTSC) 32, time axis conversion unit 33, terminal 34, connection cable 35, external monitor (PAL) 36, camera control circuit 38, CPU 40, system controller 42 and operation switch 44 I have.

CCD12はカメラ制御回路38によって制御され、被写体からの光を電気信号に変換することにより、フレーム画像信号を1秒間に30枚(30fps)又は1秒間に15枚(15fps)のいずれかの記録フレームレートで出力する。カメラはPAL仕様であるが、カメラ制御回路38はNTSCに準じて動作する。   The CCD 12 is controlled by the camera control circuit 38, and converts the light from the subject into an electrical signal, thereby recording one frame image signal at 30 frames (30 fps) or 15 frames per second (15 fps). Output at the rate. Although the camera has PAL specifications, the camera control circuit 38 operates according to NTSC.

出力されるフレーム画像信号は、1枚毎にA/D変換回路14にてデジタル信号に変換され、信号処理回路16にてホワイトバランスやガンマ補正等が施され、メモリ制御回路22によって制御される内蔵メモリ20にフレーム画像データとして一旦蓄えられる。   The output frame image signal is converted into a digital signal by the A / D conversion circuit 14 for each frame, subjected to white balance and gamma correction by the signal processing circuit 16, and controlled by the memory control circuit 22. The image data is temporarily stored in the built-in memory 20 as frame image data.

内蔵メモリ20は、データ記録領域(A)(B)、圧縮データ記憶領域(C)およびその他の領域(D)からなる。   The built-in memory 20 includes data recording areas (A) and (B), a compressed data storage area (C), and other areas (D).

データ記録領域(A)に蓄えられたフレーム画像データは圧縮/伸長回路18にてデータ圧縮され、内蔵メモリ20の圧縮データ記録領域(C)に蓄えられる。以上の動作を繰り返し、内蔵メモリ20の圧縮データ記録領域C)に複数枚のフレーム圧縮画像データを蓄えながら、並行して圧縮データ記録領域(C)より順次メモリカード24にデータを記録することにより、30fps又は15fpsの複数のフレーム圧縮画像データが得られる。   The frame image data stored in the data recording area (A) is compressed by the compression / decompression circuit 18 and stored in the compressed data recording area (C) of the built-in memory 20. By repeating the above operation and recording data to the memory card 24 sequentially from the compressed data recording area (C) while storing a plurality of frame compressed image data in the compressed data recording area C) of the built-in memory 20. , 30 fps or 15 fps frame compressed image data is obtained.

メモリ制御回路22はクロック19からのクロック信号に基づいて駆動される。クロック信号は、メモリ制御回路22において所望の記録フレームレートが得られるように、30fpsの場合と15fpsの場合とで周波数が切り換えられる構成となっている。   The memory control circuit 22 is driven based on the clock signal from the clock 19. The frequency of the clock signal is switched between 30 fps and 15 fps so that a desired recording frame rate can be obtained in the memory control circuit 22.

そして、15fpsで記録された動画ファイルを50フィールド毎秒で出力する場合、再生されるフレーム画像データの順番を示すカウンタNの値を3で除算した余に応じて、1枚のフレーム画像データより4枚のフィールド画像データを作成するか、3枚のフィールド画像データを作成するかを選択することによって、画像更新速度の変換を実現している。
特開2001−313896号公報(第2−3ページ、図1)
When a moving image file recorded at 15 fps is output at 50 fields per second, 4 frames are obtained from one frame image data according to the remainder obtained by dividing the value of the counter N indicating the order of the frame image data to be reproduced by 3. Conversion of the image update rate is realized by selecting whether to generate one field image data or three field image data.
JP 2001-313896 A (page 2-3, FIG. 1)

しかしながら、従来の画像変換装置では、あくまで元になる画像はフレーム画像であり、そのため、入力としてインターレース画像を用いた場合には従来の画像変換装置は対応できないという問題があった。   However, in the conventional image conversion apparatus, the original image is a frame image. Therefore, when an interlaced image is used as an input, the conventional image conversion apparatus cannot cope.

本発明は従来の問題を解決するためになされたものであり、その目的は、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を得ることのできる画像変換装置を提供することにある。   The present invention has been made to solve the conventional problems, and an object thereof is to provide an image conversion apparatus capable of obtaining an interlaced image having a high image update speed from an interlaced image having a low image update speed. is there.

本発明の画像変換装置は、1フレームが複数のフィールド画像から構成されている画像データを入力する画像入力手段と、前記画像データを構成する各々のフィールド画像から複数の異なるフィールド画像を生成する画像信号演算手段とを備えている。   The image conversion apparatus according to the present invention includes an image input means for inputting image data in which one frame is composed of a plurality of field images, and an image for generating a plurality of different field images from each field image constituting the image data. Signal calculating means.

この構成により、入出力画像データ共に1フレームが複数フィールドから構成される画像データであり、そして、入力画像のひとつのフィールド画像から複数の異なるフィールド画像が生成されるので、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を得ることができる。   With this configuration, both input and output image data are image data in which one frame is composed of a plurality of fields, and a plurality of different field images are generated from one field image of the input image. An interlaced image with a high image update rate can be obtained from the image.

本発明の画像変換装置は、前記画像信号演算手段は、FIRフィルタを備え、インターレース形式の画像信号を構成するそれぞれの片方フィールドの画像信号から両方フィールドの画像信号を算出する。この構成により、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を好適に得ることができる。   In the image conversion apparatus of the present invention, the image signal calculation means includes an FIR filter, and calculates the image signals of both fields from the image signals of one of the fields constituting the interlaced image signal. With this configuration, an interlaced image with a high image update rate can be suitably obtained from an interlaced image with a low image update rate.

さらに、本発明の画像変換装置は、入力された1フィールドにおける入力ライン数対出力ライン数がm対nになるように、ブランキングを含むmライン期間で、nライン分の有効画像を前記画像信号演算手段にて演算し出力させる処理スケジューリングを行うためのスケジューラを備えている。   Furthermore, the image conversion apparatus according to the present invention provides an effective image for n lines in the m line period including blanking so that the number of input lines versus the number of output lines in one input field is m: n. A scheduler is provided for performing processing scheduling that is calculated and output by the signal calculation means.

この構成により、画像入力が連続的であり、画像変換によって作成するライン数が入力画像ライン数よりある程度多い場合においても、演算やメモリアクセスの処理速度を上げることなく、更新レートが高いインターレース画像を得ることができる。   With this configuration, even when image input is continuous and the number of lines created by image conversion is somewhat larger than the number of input image lines, an interlaced image with a high update rate can be obtained without increasing the processing speed of computation and memory access. Obtainable.

また、本発明の画像変換処理方法は、インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する。この方法により、上述の画像変換装置の態様と同様、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を得ることができる。   Also, the image conversion processing method of the present invention acquires an interlaced image signal, and calculates an image signal of both fields from an image signal of one field constituting the acquired image signal. With this method, an interlaced image with a high image update rate can be obtained from an interlaced image with a low image update rate, as in the above-described aspect of the image conversion apparatus.

また、本発明の別態様はプログラムであり、本プログラムは、インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する画像変換処理をコンピュータに実行させる。このプログラムにより、MPU、DSP等で本発明の画像変換の機能を実現できる。   Another aspect of the present invention is a program. The program acquires an interlaced image signal, and calculates an image signal of both fields from an image signal of one field constituting the acquired image signal. Is executed on the computer. With this program, the image conversion function of the present invention can be realized by an MPU, DSP, or the like.

また、本発明の別態様はコンピュータ読取り可能な記録媒体であり、本記録媒体は、インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する画像変換処理プログラムを記録している。この記録媒体により、記録媒体のプログラムをコンピュータで読み取って実行することで、MPU、DSP等で本発明の画像変換の機能を実現できる。   Another aspect of the present invention is a computer-readable recording medium, which acquires an interlaced image signal, and from both of the image signals of one field constituting the acquired image signal. Is recorded. With this recording medium, the program of the recording medium is read and executed by a computer, whereby the image conversion function of the present invention can be realized by an MPU, DSP, or the like.

本発明によれば、入出力画像データ共に1フレームが複数フィールドから構成される画像データであり、そして、入力画像のひとつのフィールド画像から複数の異なるフィールド画像が生成されるので、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を得ることができるという効果が得られる。   According to the present invention, both the input and output image data are image data in which one frame is composed of a plurality of fields, and a plurality of different field images are generated from one field image of the input image. An effect is obtained that an interlaced image having a high image update speed can be obtained from a slow interlaced image.

以下、本発明の実施の形態の画像変換装置について、図面を用いて説明する。   Hereinafter, an image conversion apparatus according to an embodiment of the present invention will be described with reference to the drawings.

本発明の第1の実施の形態の画像変換装置を図1に示す。図1において、画像変換装置100は、画像入力部110、画像信号演算部111および画像蓄積部112で構成されている。   An image conversion apparatus according to a first embodiment of the present invention is shown in FIG. In FIG. 1, the image conversion apparatus 100 includes an image input unit 110, an image signal calculation unit 111, and an image storage unit 112.

画像入力部110は、インターレース形式の画像データを入力する。入力される画像データは、例えば、CCDで生成されたデータである。入力されるインターレース形式の画像データでは、1フレームが複数のフィールド画像で構成されている。   The image input unit 110 inputs interlaced image data. The input image data is, for example, data generated by a CCD. In the input interlaced image data, one frame is composed of a plurality of field images.

画像信号演算部111は、入力された画像データを構成する各々のフィールド画像から複数の異なるフィールド画像を生成する。すなわち、画像信号演算部111は、片方フィールドの画像信号から両方フィールドの画像を算出する。画像信号演算部111は、専用LSIやASICなどで構成されている。画像信号演算部111の処理は後述にて詳細に説明する。   The image signal calculation unit 111 generates a plurality of different field images from each field image constituting the input image data. That is, the image signal calculation unit 111 calculates the images of both fields from the image signal of one field. The image signal calculation unit 111 is configured by a dedicated LSI, ASIC, or the like. The processing of the image signal calculation unit 111 will be described in detail later.

画像蓄積部112は、画像信号演算部111から出力されたデータを蓄える。画像蓄積部112は、画像信号演算部111で算出されたデータを並び替える機能をもっている。すなわち、画像蓄積部112は、メモリ制御部に制御されて、画像信号演算部111の演算結果の画像データを蓄積し、異なる順番で出力する。これにより、画像データがフィールド毎に出力される。画像蓄積部112はフレームメモリで構成されている。   The image storage unit 112 stores the data output from the image signal calculation unit 111. The image storage unit 112 has a function of rearranging the data calculated by the image signal calculation unit 111. That is, the image storage unit 112 is controlled by the memory control unit, stores the image data of the calculation result of the image signal calculation unit 111, and outputs the image data in a different order. Thereby, image data is output for each field. The image storage unit 112 is composed of a frame memory.

画像変換装置100は、MPU、DSP等がプログラムを実行することで実現されてもよい。この場合、画像変換装置100の機能を実現するプログラムがMPU等で実行される。このプログラムは、コンピュータ読取り可能な記録媒体からコンピュータで読み取られてよい。   The image conversion apparatus 100 may be realized by an MPU, DSP, or the like executing a program. In this case, a program that realizes the function of the image conversion apparatus 100 is executed by the MPU or the like. This program may be read by a computer from a computer-readable recording medium.

次に、画像変換装置100による画像変換の処理について、図1、図2、図3を用いて説明する。ここでは、説明が分かりやすいように、下記のような具体例を用いる。   Next, image conversion processing by the image conversion apparatus 100 will be described with reference to FIGS. 1, 2, and 3. Here, for the sake of easy understanding, the following specific example is used.

本実施の形態における具体例では、入力画像を以下の形式とする。
総画素数 1525.3水平×1575垂直
有効画素数 1280水平×960垂直
画素縦横比 1:1
画像アスペクト比 4:3
画像更新速度 29.97フィールド毎秒
サンプリングレート 1525.3×787.5×29.97≒36.00MHz
In the specific example of the present embodiment, the input image has the following format.
Total number of pixels 1525.3 horizontal x 1575 vertical Effective number of pixels 1280 horizontal x 960 vertical Pixel aspect ratio 1: 1
Image aspect ratio 4: 3
Image update rate 29.97 fields per second Sampling rate 1525.3 × 787.5 × 29.97≈36.00 MHz

また、出力画像はNTSCを想定し、以下の形式とする。
総画素数 910水平×525垂直
有効画素数 768水平×480垂直
画素縦横比 1:1
画像アスペクト比 4:3
画像更新速度 59.94フィールド毎秒
サンプリングレート 910×525×29.97≒14.32MHz
The output image is assumed to be NTSC and has the following format.
Total number of pixels 910 horizontal x 525 vertical Effective number of pixels 768 horizontal x 480 vertical Pixel aspect ratio 1: 1
Image aspect ratio 4: 3
Image update rate 59.94 fields per second Sampling rate 910 × 525 × 29.97≈14.32 MHz

このとき、以下の画像変換が必要である。
(1)垂直方向は、有効画素換算(1/2)にする
(2)水平方向は、有効画素換算(3/5)にする
(3)画像更新速度は、(2/1)にする
以下では、まず(1)と(3)について詳細に説明する。画像入力部110によって得られる画像信号は、上に示した入力画像形式に従うものとする。
At this time, the following image conversion is required.
(1) The vertical direction is converted into effective pixels (1/2). (2) The horizontal direction is converted into effective pixels (3/5). (3) The image update speed is set to (2/1). First, (1) and (3) will be described in detail. The image signal obtained by the image input unit 110 conforms to the input image format shown above.

入力画像は、インターレース形式である。1フレームを構成する2フィールドをAフィールド、Bフィールドとすれば、両フィールドの位置関係は、図2の入力信号150に示されるとおりである。入力信号150では、A/Bフィールドが混合されている。"A"および"B"と記入されている部分が画像データであり、"−"を記載している部分は、後述するサンプリングレート変換のアップサンプルのために挿入したダミーデータであり、値としては0である。入力ライン番号1,3,5,7,9,11,13がAフィールド、入力ライン番号2,4,6,8,10,12,14がBフィールドであり、A,B両フィールドを合せてはじめて1枚のフレーム画像となる。フィールド読み出し形式なので、AフィールドとBフィールドは(1/29.97)秒毎に交互に画像入力部110より入力される。つまり、図2におけるAフィールドの入力信号151とBフィールドの入力信号154が交互に入力される。   The input image is in an interlace format. If two fields constituting one frame are an A field and a B field, the positional relationship between the two fields is as shown in the input signal 150 of FIG. In the input signal 150, the A / B field is mixed. The portion where "A" and "B" are written is image data, and the portion where "-" is written is dummy data inserted for up-sampling of sampling rate conversion, which will be described later. Is 0. Input line numbers 1, 3, 5, 7, 9, 11, and 13 are A fields, and input line numbers 2, 4, 6, 8, 10, 12, and 14 are B fields. The first frame image is obtained. Since the field readout format is used, the A field and the B field are alternately input from the image input unit 110 every (1 / 29.97) seconds. That is, the A field input signal 151 and the B field input signal 154 in FIG. 2 are alternately input.

このような入力画像の垂直方向画素数すなわちライン数と画像更新速度とを、本実施の形態の具体例における出力画像のライン数と画像更新速度に変換する場合、ライン数は(1/2)、つまり半分にすることが求められる。画像更新速度は2倍、すなわち入力1フィールドから2フィールドを作成する。よって、入力1フィールドから作成するライン数は(2/2)、つまり等倍になる。1フィールド画像として作成する画像のライン数は半分だが、合計2フィールドを作成するので、出力するライン数と入力ライン数は等しいことになる。   When the number of pixels in the vertical direction of the input image, that is, the number of lines and the image update speed are converted into the number of lines of the output image and the image update speed in the specific example of this embodiment, the number of lines is (1/2). In other words, it is required to be halved. The image update speed is double, that is, two fields are created from one input field. Therefore, the number of lines created from the input 1 field is (2/2), that is, equal magnification. The number of lines of an image created as one field image is half, but since a total of two fields are created, the number of output lines is equal to the number of input lines.

さて、一般に画像の拡大・縮小は、サンプリングレートの変換として与えられる。倍率がm/n(m,nは整数、m<n)である縮小を行うとき、画像データを表すサンプル点の間ごとに(m−1)個の0を挿入することによってサンプリングレートを上げ(アップサンプル)、画像縮小後に折り返しひずみが発生しないように出力周波数の半分で帯域制限し、帯域制限されたサンプル列をn個ごとにリサンプル(ダウンサンプル)することによって倍率m/nの縮小を行うことができる。   Generally, enlargement / reduction of an image is given as a conversion of a sampling rate. When performing reduction with a magnification of m / n (m, n is an integer, m <n), the sampling rate is increased by inserting (m−1) zeros between sample points representing image data. (Up-sampling), band reduction at half the output frequency so that aliasing distortion does not occur after image reduction, and re-sampling (down-sampling) the band-limited sample sequence every n pieces to reduce the magnification m / n It can be performed.

ここで、帯域制限フィルタはローパスフィルタである。周波数特性と、処理量・回路量とのトレードオフによって係数等は決定される。   Here, the band limiting filter is a low-pass filter. Coefficients and the like are determined by a trade-off between the frequency characteristics and the processing amount / circuit amount.

画像信号のフィルタリングでは、直線位相・系の安定性からFIRフィルタが好んで用いられる。FIRフィルタにおいて、急峻な減衰特性と通過帯域の平坦性を高いレベルで両立させるには多タップ構成にすることが有効である。しかし、画像信号処理において、垂直方向のFIRフィルタのタップ数は、同数のラインメモリの必要性を意味する。回路量の観点から、ラインメモリを無制限に増やすことはできない。   In image signal filtering, an FIR filter is preferably used because of the stability of the linear phase and system. In an FIR filter, it is effective to use a multi-tap configuration in order to achieve both a steep attenuation characteristic and passband flatness at a high level. However, in the image signal processing, the number of taps of the FIR filter in the vertical direction means the necessity of the same number of line memories. From the viewpoint of circuit amount, the line memory cannot be increased without limit.

以上に述べたフィルタリングに必要な画像信号が、画像信号入力部110より入力されるものとする。ラインメモリで実現されていても良いし、フレームメモリで実現されていても良い。本実施の形態では、画像入力部110から4ラインのデータが得られるものとする。そして、画像信号演算部111の処理は以下のようにして行われる。   It is assumed that the image signal necessary for the filtering described above is input from the image signal input unit 110. It may be realized by a line memory or a frame memory. In the present embodiment, it is assumed that 4-line data is obtained from the image input unit 110. And the process of the image signal calculating part 111 is performed as follows.

有効画素数としての入力画像は、1280×480画素のフィールド画像データであり、(1/29.97)秒毎に更新される。画像の空間的位相は、図2にAフィールドの入力信号151とBフィールドの入力信号154で示されている。   The input image as the number of effective pixels is field image data of 1280 × 480 pixels, and is updated every (1 / 29.97) seconds. The spatial phase of the image is shown in FIG. 2 by an A field input signal 151 and a B field input signal 154.

ここで、本明細書では、適宜、入力信号のフィールドを入力フィールド、入力Aフィールド、入力Bフィールドなどといい、出力信号のフィールドを出力フィールド、出力Aフィールド、出力Bフィールドなどという。   Here, in this specification, the field of the input signal is appropriately referred to as an input field, the input A field, the input B field, and the like, and the field of the output signal is referred to as an output field, an output A field, and an output B field.

本実施の形態では、入力Aフィールドの入力信号151からも、入力Bフィールドの入力信号154からも、出力A/Bの2フィールドを生成する。   In the present embodiment, two fields of output A / B are generated from the input signal 151 of the input A field and the input signal 154 of the input B field.

入力Aフィールドの入力信号151から生成する出力A/Bフィールドは、図2に示す出力Aフィールドの出力信号152と出力Bフィールドの出力信号153である。本実施の形態における具体例では、入力Aフィールドから生成する出力Aフィールドおよび出力Bフィールドの空間的位相は、二つの入力ラインから見たとき、距離3:1の位置に設定している。   The output A / B field generated from the input signal 151 in the input A field is the output signal 152 in the output A field and the output signal 153 in the output B field shown in FIG. In the specific example in the present embodiment, the spatial phase of the output A field and the output B field generated from the input A field is set at a distance of 3: 1 when viewed from two input lines.

一方、入力Bフィールドの入力信号154から生成する出力A/Bフィールドは、図2に示す出力Aフィールドの出力信号155と出力Bフィールドの出力信号156である。本実施の形態における具体例では、入力Bフィールドから生成する出力Aフィールドおよび出力Bフィールドの空間的位相は、二つの入力ラインから見たとき、距離1:3の位置に設定している。   On the other hand, the output A / B fields generated from the input signal 154 in the input B field are the output signal 155 in the output A field and the output signal 156 in the output B field shown in FIG. In the specific example in the present embodiment, the spatial phase of the output A field and the output B field generated from the input B field is set at a position of a distance 1: 3 when viewed from two input lines.

入力A/Bフィールドは、互いに空間的位相が異なるが、入力Aフィールドの入力信号151から生成した出力Aフィールドの出力信号152と、入力Bフィールドの入力信号154から生成した出力Aフィールドの出力信号155の空間的位相は等しい。同じように、入力Aフィールドの入力信号151から生成した出力Bフィールドの出力信号153と、入力Bフィールドの入力信号154から生成した出力Bフィールドの出力信号156の空間的位相も等しい。なお、入出力信号の相対的な空間的位相は上記に限定されるものではない。   The input A / B fields have different spatial phases, but the output signal 152 of the output A field generated from the input signal 151 of the input A field and the output signal of the output A field generated from the input signal 154 of the input B field The spatial phase of 155 is equal. Similarly, the spatial phase of the output signal 153 of the output B field generated from the input signal 151 of the input A field and the output signal 156 of the output B field generated from the input signal 154 of the input B field are also equal. The relative spatial phase of the input / output signals is not limited to the above.

本実施の形態における具体例として、ライン方向のサンプリングレート変換で帯域制限を行うために、適当なカットオフ周波数を持つよう設計した17タップFIRフィルタを使用することを考える。フィルタ係数FIRcoefを、
FIRcoef = (K0,K1,K2,K3,K4,K5,
K6,K7,K8,K9,K10,K11,
K12,K13,K14,K15,K16)
とする。センタータップに対応する係数はK8である。このとき、図2の出力信号152の出力ライン番号3におけるAフィールドデータを出力A3(A)とすると、出力A3(A)は、入力信号151の入力ライン番号3,5,7,9におけるAフィールドデータであるA3,A5,A7,A9とFIRcoefを用いて以下のように算出される。
As a specific example in the present embodiment, it is considered to use a 17-tap FIR filter designed to have an appropriate cut-off frequency in order to limit the band by sampling rate conversion in the line direction. Filter coefficient FIRcoef
FIRcoef = (K0, K1, K2, K3, K4, K5
K6, K7, K8, K9, K10, K11,
(K12, K13, K14, K15, K16)
And The coefficient corresponding to the center tap is K8. At this time, if the A field data in the output line number 3 of the output signal 152 in FIG. 2 is the output A3 (A), the output A3 (A) is the A in the input line numbers 3, 5, 7, and 9 of the input signal 151. Using field data A3, A5, A7, A9 and FIRcoef, calculation is performed as follows.

出力A3(A) = K1*A3 + K5*A5 + K9*A7 + K13*A9   Output A3 (A) = K1 * A3 + K5 * A5 + K9 * A7 + K13 * A9

演算内容から明らかだが、アップサンプルのために信号間に挿入したダミーデータは、値としては0なので、実際の演算には現れない。   As is apparent from the calculation contents, the dummy data inserted between the signals for up-sampling does not appear in the actual calculation because the value is 0.

また、同様に図2の出力信号155の出力ライン番号3におけるAフィールドデータを出力A3(B)とすると、出力A3(B)は、入力信号154の入力ライン番号4,6,8,10におけるBフィールドデータであるB4,B6,B8,B10とFIRcoefを用いて以下のように算出される。   Similarly, assuming that the A field data in the output line number 3 of the output signal 155 in FIG. 2 is the output A3 (B), the output A3 (B) is in the input line numbers 4, 6, 8, and 10 of the input signal 154. It is calculated as follows using B field data B4, B6, B8, B10 and FIRcoef.

出力A3(B) = K3*B4 + K7*B6 + K11*B8 + K15*B10   Output A3 (B) = K3 * B4 + K7 * B6 + K11 * B8 + K15 * B10

こちらも演算内容から明らかだが、アップサンプルのために信号間に挿入したダミーデータは、値としては0なので、実際の演算には現れない。しかし、入力画像信号のフィールドよって、係数を切り換える必要ある。   This is also clear from the calculation contents, but the dummy data inserted between the signals for upsampling has a value of 0, so it does not appear in the actual calculation. However, it is necessary to switch the coefficient depending on the field of the input image signal.

画像信号演算部111の演算結果の画像データは、画像蓄積部112に供給され、画像蓄積部112での画像蓄積を介して、画像更新速度の変換された画像データとして出力される。画像蓄積部112は前述のようにフレームメモリ等であり、フレーム単位で画像を蓄積する。   The image data of the calculation result of the image signal calculation unit 111 is supplied to the image storage unit 112, and is output as image data with the image update speed converted through the image storage in the image storage unit 112. As described above, the image storage unit 112 is a frame memory or the like, and stores images in units of frames.

画像蓄積部112の処理概要を図3に示す。図3ではライン数を省略して、入力1フィールド10ライン、出力1フィールド5ラインとしている。   An outline of the processing of the image storage unit 112 is shown in FIG. In FIG. 3, the number of lines is omitted, and one input field is 10 lines and one output field is 5 lines.

図3には、画像蓄積部112の入力信号162および出力信号163を、入力信号用垂直同期信号(VD)160、入力信号用水平同期信号(HD)161、出力信号用垂直同期信号(VD)164、出力信号用水平同期信号(HD)165と共に示している。   In FIG. 3, the input signal 162 and the output signal 163 of the image storage unit 112 are divided into an input signal vertical synchronization signal (VD) 160, an input signal horizontal synchronization signal (HD) 161, and an output signal vertical synchronization signal (VD). 164, together with an output signal horizontal synchronizing signal (HD) 165.

画像蓄積部112の入力信号162は、すなわち、画像信号演算部111の出力信号である。画像信号演算部111から出力されるデータでは、Aフィールド用出力とBフィールド用出力が交互に現れており、その結果、入力信号162では、(a,f,b,g,c,h,d,i,e)の順にデータが入力されている(a,b,c・・・は、1ラインのデータである)。   The input signal 162 of the image storage unit 112 is an output signal of the image signal calculation unit 111. In the data output from the image signal calculation unit 111, the output for the A field and the output for the B field appear alternately. As a result, in the input signal 162, (a, f, b, g, c, h, d , i, e) in this order (a, b, c... are data for one line).

これに対して、出力信号163では、Aフィールド用データは、(a,b,c,d,e)であり、Bフィールド用データは、(f,g,h,i)である。このような処理を実現するように、画像データをフレームメモリに一旦格納することによって、並べ替えた画像データを出力する。これにより、Aフィールド、Bフィールドの順データフレーム毎に画像信号が得られる。並べ替え出力について、図3の出力信号163では、入力1フレーム後に出力を行っているが、このタイミングに限定されるものではない。   On the other hand, in the output signal 163, the A field data is (a, b, c, d, e), and the B field data is (f, g, h, i). In order to realize such processing, the image data is temporarily stored in the frame memory, and the rearranged image data is output. Thereby, an image signal is obtained for each forward data frame of the A field and the B field. Regarding the rearrangement output, the output signal 163 in FIG. 3 is output after one frame of input, but is not limited to this timing.

上記の画像蓄積部に関して、本実施の形態においては、フレームメモリが処理の最後段に位置するものとして説明をおこなったが、最前段に置いて容量を増やし、画像出力速度を倍にすることによって入力画像を2回すなわち1回目と2回目で異なるフィールドを出力する処理を行うようにすることでも、本件の目的とする効果を得ることができる。このような画像蓄積部は、画像信号演算部111の一部として、演算処理の前に蓄積処理を行うように設けられてもよい。画像信号演算部111がLSI等の回路である場合に、回路の一部が画像蓄積部であってもよい。   In the present embodiment, the above-described image storage unit has been described on the assumption that the frame memory is located at the last stage of processing. However, by increasing the capacity at the front stage and doubling the image output speed, The target effect of the present case can also be obtained by performing processing for outputting different fields in the input image twice, that is, in the first time and the second time. Such an image storage unit may be provided as a part of the image signal calculation unit 111 so as to perform a storage process before the calculation process. When the image signal calculation unit 111 is a circuit such as an LSI, a part of the circuit may be an image storage unit.

上記の説明では、垂直方向の画像変換について説明した。水平方向の画像変換については、水平方向有効画素である1280画素から768画素への縮小は信号処理のどの時点でおこなってもよい。画像入力部110の直後で処理すれば、全体の処理速度の面から好ましい。この場合に、水平方向の画像変換部は、画像信号演算部111の一部であってよい。画像信号演算部111がLSI等の回路である場合に、回路の一部が水平方向の画像変換部であってよい。水平方向縮小処理は、間引き処理でもよく、この場合には画質劣化の容認が求められる。また、高い画質を目指して、水平複数画素を用いたサンプリングレート変換で縮小処理を行ってもよい。このように、縮小処理は画質と処理量のトレードオフになる。   In the above description, the image conversion in the vertical direction has been described. For horizontal image conversion, reduction from 1280 pixels, which are effective pixels in the horizontal direction, to 768 pixels may be performed at any point in the signal processing. Processing immediately after the image input unit 110 is preferable from the viewpoint of overall processing speed. In this case, the horizontal image conversion unit may be a part of the image signal calculation unit 111. When the image signal calculation unit 111 is a circuit such as an LSI, a part of the circuit may be a horizontal image conversion unit. The horizontal reduction process may be a thinning process. In this case, acceptance of image quality deterioration is required. Further, reduction processing may be performed by sampling rate conversion using a plurality of horizontal pixels, aiming at high image quality. Thus, the reduction process is a trade-off between image quality and processing amount.

なお、本実施の形態では、入力画像の大きさ、フィルタタップ数などに具体的数値を挙げて説明を行ったが、これら値に限定されるものではない。   In this embodiment, specific numerical values are given for the size of the input image, the number of filter taps, etc., but the present invention is not limited to these values.

以上に本発明の第1の実施の形態に係る画像変換装置について説明した。上述したように、本実施の形態によれば、入出力画像データ共に1フレームが複数フィールドから構成される画像データであり、そして、入力画像のひとつのフィールド画像から複数の異なるフィールド画像が生成されるので、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を、十分に良好な画質でもって得ることができる。   The image conversion apparatus according to the first embodiment of the present invention has been described above. As described above, according to the present embodiment, both input and output image data is image data in which one frame is composed of a plurality of fields, and a plurality of different field images are generated from one field image of the input image. Therefore, an interlaced image with a high image update speed can be obtained with sufficiently good image quality from an interlaced image with a low image update speed.

次に、本発明の第2の実施の形態の画像変換装置を図4に示す。図4の画像変換装置200は、図1に示した第1の実施の形態の画像変換装置100とほぼ同様の構成を有しており、すなわち、画像変換装置200の画像入力部210、画像信号演算部211および画像蓄積部212は、図1の画像変換装置100の画像入力部110、画像信号演算部111および画像蓄積部112とそれぞれ同様の構成を有している。以下の説明において、第1の実施の形態と重複する事項の説明は適宜省略する。   Next, an image conversion apparatus according to a second embodiment of the present invention is shown in FIG. 4 has substantially the same configuration as that of the image conversion apparatus 100 according to the first embodiment shown in FIG. 1, that is, the image input unit 210 and the image signal of the image conversion apparatus 200. The calculation unit 211 and the image storage unit 212 have the same configurations as the image input unit 110, the image signal calculation unit 111, and the image storage unit 112 of the image conversion apparatus 100 in FIG. In the following description, description of matters overlapping with those of the first embodiment will be omitted as appropriate.

第2の実施の形態の画像変換装置200は、第1の実施の形態の画像変換装置100との相違点として、図4に示されるように、上記構成に加えて、スケジューラ215を備えている。スケジューラ215は、画像信号演算部211での画像信号演算の実行タイミング信号を生成し、タイミングの信号を画像信号演算部211に供給する。より詳細には、スケジューラ215は、下記に具体例を用いて説明するように、画像信号演算部211がブランキングを含むmライン期間で、nライン分の有効画像を演算し出力するための処理スケジューリングを行うように構成されており、これにより、入力された1フィールドにおける入力ライン数対出力ライン数がm対nになる。   As shown in FIG. 4, the image conversion apparatus 200 according to the second embodiment includes a scheduler 215 as a difference from the image conversion apparatus 100 according to the first embodiment. . The scheduler 215 generates an execution timing signal for image signal calculation in the image signal calculation unit 211, and supplies the timing signal to the image signal calculation unit 211. More specifically, the scheduler 215 performs processing for the image signal calculation unit 211 to calculate and output an effective image for n lines in an m line period including blanking, as will be described below using a specific example. Thus, the number of input lines versus the number of output lines in one input field becomes m: n.

次に、画像変換装置200による画像変換の処理について、図4、図5、図6、図7を用いて説明する。本実施の形態の説明では下記の具体例を用いる。   Next, image conversion processing by the image conversion apparatus 200 will be described with reference to FIGS. 4, 5, 6, and 7. In the description of this embodiment, the following specific example is used.

まず、本実施の形態における入力画像を以下の形式とする。
総画素数 1536水平×1875垂直
有効画素数 1280水平×960垂直
画素縦横比 1:1
画像アスペクト比 4:3
画像更新速度 25フィールド毎秒
サンプリングレート 1536×1875×12.5=36.00MHz
First, the input image in the present embodiment has the following format.
Total number of pixels 1536 horizontal x 1875 vertical Effective number of pixels 1280 horizontal x 960 vertical Pixel aspect ratio 1: 1
Image aspect ratio 4: 3
Image update rate 25 fields per second Sampling rate 1536 x 1875 x 12.5 = 36.00 MHz

また、出力画像はPALを想定し、以下の形式とする。
総画素数 908水平×625垂直
有効画素数 768水平×576垂直
画素縦横比 1:1
画像アスペクト比 4:3
画像更新速度 50フィールド毎秒
サンプリングレート 908×625×25=14.1875MHz
The output image is assumed to be PAL, and has the following format.
Total number of pixels 908 horizontal x 625 vertical Effective number of pixels 768 horizontal x 576 vertical Pixel aspect ratio 1: 1
Image aspect ratio 4: 3
Image update rate 50 fields per second Sampling rate 908 × 625 × 25 = 14.1875 MHz

このとき、以下の画像変換が必要である。
(1)垂直方向は、有効画素換算(3/5)にする
(2)水平方向は、有効画素換算(3/5)にする
(3)画像更新速度は、(2/1)にする
以下では、まず(1)と(3)について詳細に説明する。
At this time, the following image conversion is required.
(1) The vertical direction is converted into effective pixels (3/5). (2) The horizontal direction is converted into effective pixels (3/5). (3) The image update speed is set to (2/1). First, (1) and (3) will be described in detail.

入力画像は、インターレース形式である。1フレームを構成する2フィールドをAフィールド、Bフィールドとすれば、両フィールドの位置関係は、図5の入力信号250に示される通りである。入力信号250では、A/Bフィールドが混合されている。"A"および"B"と記入されている部分が画像データであり、"−"を記載している部分は、サンプリングレート変換のアップサンプルのために挿入したダミーデータであり、値としては0である。入力ライン番号1,3,5,7,9,11,13がAフィールド、入力ライン番号2,4,6,8,10,12がBフィールドであり、A,B両フィールドを合せてはじめて1枚のフレーム画像となる。フィールド読み出し形式なので、AフィールドとBフィールドは(1/25)秒毎に交互に画像入力部210より入力される。つまり図5におけるAフィールドの入力信号251とBフィールドの入力信号254が交互に入力される。   The input image is in an interlace format. If two fields constituting one frame are an A field and a B field, the positional relationship between both fields is as shown in the input signal 250 of FIG. In the input signal 250, the A / B field is mixed. The portion where “A” and “B” are written is image data, and the portion where “−” is written is dummy data inserted for up-sampling of sampling rate conversion, and the value is 0 It is. Input line numbers 1, 3, 5, 7, 9, 11, and 13 are the A field, and input line numbers 2, 4, 6, 8, 10, and 12 are the B field. It becomes a frame image. Since the field readout format is used, the A field and the B field are alternately input from the image input unit 210 every (1/25) seconds. That is, the A field input signal 251 and the B field input signal 254 in FIG. 5 are alternately input.

このような入力画像の垂直方向画素数すなわちライン数と画像更新速度とを、本実施の形態の具体例における出力画像のライン数と画像更新速度に変換する場合、ライン数は(3/5)にすることが求められる。画像更新速度は2倍であり、すなわち入力1フィールドからA,B合計2フィールドを作成する。よって、入力1フィールドから作成するライン数は(6/5)になる。作成するライン数が入力ライン数より多いことに対応しなければならない。入力画像データを変換する演算処理は、画像信号演算部211によって下記のようにして行われる。   When the number of pixels in the vertical direction of the input image, that is, the number of lines and the image update speed are converted into the number of lines of the output image and the image update speed in the specific example of this embodiment, the number of lines is (3/5). Is required. The image update rate is double, that is, two fields A and B are created from one input field. Therefore, the number of lines created from the input 1 field is (6/5). It must cope with the number of lines to be created being larger than the number of input lines. The calculation process for converting the input image data is performed by the image signal calculation unit 211 as follows.

有効画素数としての入力画像は、1280×480画素のフィールドデータであり、(1/25)秒毎に更新される。画像の空間的位相は、図5にAフィールドの入力信号251とBフィールドの入力信号254で示されている。   The input image as the number of effective pixels is field data of 1280 × 480 pixels and is updated every (1/25) seconds. The spatial phase of the image is shown in FIG. 5 by the A field input signal 251 and the B field input signal 254.

ここで、第1の実施の形態と同様、本実施の形態でも、適宜、入力信号のフィールドを入力フィールド、入力Aフィールド、入力Bフィールドなどといい、出力信号のフィールドを出力フィールド、出力Aフィールド、出力Bフィールドなどという。   As in the first embodiment, in this embodiment, the input signal field is appropriately referred to as an input field, an input A field, an input B field, and the like, and the output signal field is an output field and an output A field. This is called an output B field.

本実施の形態では、入力Aフィールドの入力信号251からも、入力Bフィールドの入力信号254からも、出力A/Bの2フィールドを生成する。   In the present embodiment, two fields of output A / B are generated from the input signal 251 in the input A field and the input signal 254 in the input B field.

入力Aフィールドの入力信号251から生成する出力A/Bフィールドは、図5に示す出力Aフィールドの出力信号252と出力Bフィールドの出力信号253である。   The output A / B fields generated from the input signal 251 in the input A field are the output signal 252 in the output A field and the output signal 253 in the output B field shown in FIG.

入力Bフィールドの入力信号254から生成する出力A/Bフィールドは、図5に示す出力Aフィールドの出力信号255と出力Bフィールドの出力信号256である。   The output A / B field generated from the input signal 254 in the input B field is the output signal 255 in the output A field and the output signal 256 in the output B field shown in FIG.

入力A/Bフィールドは、互いに空間的位相が異なるが、入力Aフィールドの入力信号251から生成した出力Aフィールドの出力信号252と、入力Bフィールドの入力信号254から生成した出力Aフィールドの出力信号255との空間的位相は等しい。同じように、入力Aフィールドの入力信号251から生成した出力Bフィールドの出力信号253と、入力Bフィールドの入力信号254から生成した出力Bフィールドの出力信号256の空間的位相も等しい。   The input A / B fields have different spatial phases, but the output signal 252 of the output A field generated from the input signal 251 of the input A field and the output signal of the output A field generated from the input signal 254 of the input B field The spatial phase with 255 is equal. Similarly, the spatial phase of the output signal 253 of the output B field generated from the input signal 251 of the input A field and the output signal 256 of the output B field generated from the input signal 254 of the input B field are also equal.

空間的位相の調整は、サンプリングレート変換に使用する帯域制限フィルタの適用方法によって実現する。サンプリングレート変換で帯域制限を行うために、23タップFIRフィルタを使用することを考える。フィルタ係数FIRcoefを、
FIRcoef = (K0,K1,K2,K3,K4,K5,
K6,K7,K8,K9,K10,K11,
K12,K13,K14,K15,K16,
K17,K18,K19,K20,K21,K22)
とする。センタータップに対応する係数はK11である。このとき、図5の出力信号252に示される出力ライン番号A3、A5、A7の出力Aフィールドデータを出力A3(A)、出力A5(A)、出力A7(A)とし、同じく出力信号253に示される出力ライン番号4、6、8の出力Bフィールドデータを出力B4(A)、出力B6(A)、出力B8(A)とすると、これらデータは、入力信号251の入力AフィールドデータとFIRcoefを用いて以下のように算出される(A13以降の入力は図示せず)。A3、A5、A7・・・は、入力信号251の入力ライン番号3、5、7・・・における入力Aフィールドデータである。
Spatial phase adjustment is realized by applying a band-limiting filter used for sampling rate conversion. Consider using a 23-tap FIR filter to limit the bandwidth with sampling rate conversion. Filter coefficient FIRcoef
FIRcoef = (K0, K1, K2, K3, K4, K5
K6, K7, K8, K9, K10, K11,
K12, K13, K14, K15, K16,
(K17, K18, K19, K20, K21, K22)
And The coefficient corresponding to the center tap is K11. At this time, the output A field data of the output line numbers A3, A5, and A7 shown in the output signal 252 of FIG. If the output B field data of the output line numbers 4, 6, and 8 shown are output B4 (A), output B6 (A), and output B8 (A), these data are the input A field data of the input signal 251 and the FIRcoef. Is calculated as follows (inputs after A13 are not shown). A3, A5, A7,... Are input A field data in input line numbers 3, 5, 7,.

出力A3(A)= K5*A3 +K11*A5 +K17*A7
出力A5(A)= K1*A5 +K7 *A7 +K13*A9 +K19*A11
出力A7(A)= K3*A9 +K9 *A11 +K15*A13 +K21*A15
出力B4(A)= K0*A3 +K6 *A5 +K12*A7 +K18*A9
出力B6(A)= K2*A7 +K8 *A9 +K14*A11 +K20*A13
出力B8(A)= K4*A11+K10*A13 +K16*A15 +K22*A17
Output A3 (A) = K5 * A3 + K11 * A5 + K17 * A7
Output A5 (A) = K1 * A5 + K7 * A7 + K13 * A9 + K19 * A11
Output A7 (A) = K3 * A9 + K9 * A11 + K15 * A13 + K21 * A15
Output B4 (A) = K0 * A3 + K6 * A5 + K12 * A7 + K18 * A9
Output B6 (A) = K2 * A7 + K8 * A9 + K14 * A11 + K20 * A13
Output B8 (A) = K4 * A11 + K10 * A13 + K16 * A15 + K22 * A17

演算内容から明らかだが、アップサンプルのために信号間に挿入したダミーデータは、値としては0なので、実際の演算には現れない。   As is apparent from the calculation contents, the dummy data inserted between the signals for up-sampling does not appear in the actual calculation because the value is 0.

また、同様に図5の出力信号255に示される出力ライン番号3、5、7の出力Aフィールドデータを出力A3(B),出力A5(B),出力A7(B)とし、同じく出力信号256に示される出力ライン番号4、6、8の出力Bフィールドデータを出力B4(B),出力B6(B),出力B8(B)とすると、これらデータは、入力信号254の入力BフィールドデータとFIRcoefの用いて以下のように算出される。B2、B4、B6・・・は、入力信号254の入力ライン番号2、4、6・・・における入力Bフィールドデータである。   Similarly, the output A field data of output line numbers 3, 5, and 7 shown in the output signal 255 of FIG. 5 are output A3 (B), output A5 (B), and output A7 (B). If the output B field data of output line numbers 4, 6, and 8 shown in FIG. 5 are output B4 (B), output B6 (B), and output B8 (B), these data are the same as the input B field data of the input signal 254. It is calculated as follows using FIRcoef. B2, B4, B6,... Are input B field data in input line numbers 2, 4, 6,.

出力A3(B)= K2*B2 +K8 *B4 +K12*B6 +K18*B8
出力A5(B)= K4*B6 +K10*B8 +K16*B10 +K22*B12
出力A7(B)= K0*B8 +K6 *B10 +K12*B12 +K18*B14
出力B4(B)= K3*B4 +K9 *B6 +K15*B8 +K21*B10
出力B6(B)= K5*B8 +K11*B10 +K17*B12
出力B8(B)= K1*B10+K7 *B12 +K13*B14 +K19*B16
Output A3 (B) = K2 * B2 + K8 * B4 + K12 * B6 + K18 * B8
Output A5 (B) = K4 * B6 + K10 * B8 + K16 * B10 + K22 * B12
Output A7 (B) = K0 * B8 + K6 * B10 + K12 * B12 + K18 * B14
Output B4 (B) = K3 * B4 + K9 * B6 + K15 * B8 + K21 * B10
Output B6 (B) = K5 * B8 + K11 * B10 + K17 * B12
Output B8 (B) = K1 * B10 + K7 * B12 + K13 * B14 + K19 * B16

こちらも演算内容から明らかだが、アップサンプルのために信号間に挿入したダミーデータは、値としては0なので、実際の演算には現れない。   This is also clear from the calculation contents, but the dummy data inserted between the signals for upsampling has a value of 0, so it does not appear in the actual calculation.

ここで、上記式に示したとおり、あるフィールド出力を得るために3種類の係数の組み合わせが発生している。つまり、入力画像信号のフィールドとライン番号よって、係数を切り換える必要ある。   Here, as shown in the above equation, three kinds of combinations of coefficients are generated in order to obtain a certain field output. That is, the coefficients need to be switched according to the field and line number of the input image signal.

次に、スケジューラ215の機能について説明する。本実施の形態では、入力1フィールドから作成するライン数は(6/5)であり、入力ライン数より作成する出力ライン数が多い。つまり、入力1ラインに対し2ラインを作成しなければならない場合がある。処理概要を図6および図7を用いて説明する。   Next, the function of the scheduler 215 will be described. In the present embodiment, the number of lines created from one input field is (6/5), and the number of output lines created is larger than the number of input lines. That is, it may be necessary to create two lines for one input line. An outline of the processing will be described with reference to FIGS.

まず、図6は、画像蓄積部212の入力信号262、263および出力信号264を、入力信号用垂直同期信号(VD)260、入力信号用水平同期信号(HD)261、出力信号用垂直同期信号(VD)265、出力信号用水平同期信号(HD)266と共に示している。図6ではライン数を省略して、入力1フィールド12ライン、出力1フィールド6ラインとしている。   First, in FIG. 6, the input signals 262 and 263 and the output signal 264 of the image storage unit 212 are converted into an input signal vertical synchronization signal (VD) 260, an input signal horizontal synchronization signal (HD) 261, and an output signal vertical synchronization signal. (VD) 265 and an output signal horizontal synchronizing signal (HD) 266 are shown. In FIG. 6, the number of lines is omitted, and the input 1 field is 12 lines and the output 1 field is 6 lines.

画像蓄積部212は、画像をフレーム単位で蓄積するフレームメモリであり、画像信号演算部211から画像蓄積部212にデータが出力される。図6に示すように、画像蓄積部212の入力信号262が(a,b,c,d,e,f)であり、入力信号263が(g,h,i,j,k)となっており、入力信号262、263は、すなわち、画像信号演算部211の出力信号であり、そして、図示のように、bとh、eとjの生成タイミングが同時である。   The image storage unit 212 is a frame memory that stores images in units of frames, and data is output from the image signal calculation unit 211 to the image storage unit 212. As shown in FIG. 6, the input signal 262 of the image storage unit 212 is (a, b, c, d, e, f), and the input signal 263 is (g, h, i, j, k). The input signals 262 and 263 are output signals of the image signal calculation unit 211, and the generation timings of b and h and e and j are simultaneous as shown in the figure.

このような処理を実現するため、画像蓄積部212へデータを出力するタイミングが調整される。図7に示すように、水平同期信号270とは異なる画像信号演算実行タイミング信号273(または出力画像処理実行タイミング信号)を設け、画像信号演算実行タイミング273のタイミングで画像入力部210はデータを入力し、同タイミングで画像信号演算部211はデータを取り込んでフィルタ係数を切り換える。   In order to realize such processing, the timing of outputting data to the image storage unit 212 is adjusted. As shown in FIG. 7, an image signal calculation execution timing signal 273 (or output image processing execution timing signal) different from the horizontal synchronization signal 270 is provided, and the image input unit 210 inputs data at the timing of the image signal calculation execution timing 273. At the same timing, the image signal calculation unit 211 captures data and switches the filter coefficient.

このタイミング信号によって、画像信号演算部211は、1または複数の水平有効期間と水平ブランキング期間に渡って演算を行う。   Based on this timing signal, the image signal calculation unit 211 performs calculation over one or more horizontal effective periods and horizontal blanking periods.

図6の入力信号262および入力信号263は前述のように画像信号演算部211で生成されるデータである。図示のデータは、図7の出力画像信号272のタイミングで処理され、フレームメモリへ格納されて、図6における出力信号264の順番で出力される。Aフィールド用出力とBフィールド用出力が交互に現れており、こうしてフレーム画像の蓄積を介して画像更新速度が変換されている。   The input signal 262 and the input signal 263 in FIG. 6 are data generated by the image signal calculation unit 211 as described above. The illustrated data is processed at the timing of the output image signal 272 in FIG. 7, stored in the frame memory, and output in the order of the output signal 264 in FIG. The output for the A field and the output for the B field appear alternately, and thus the image update speed is converted through the accumulation of frame images.

なお、本実施の形態においては、フレームメモリが処理の最後段に位置するものとして説明をおこなったが、本発明はこれに限定されず、この点は第1の実施の形態で説明した通りである。   In the present embodiment, the description has been made assuming that the frame memory is located at the last stage of the processing. However, the present invention is not limited to this, and this point is as described in the first embodiment. is there.

また、上記の説明では、垂直方向の画像変換について説明した。水平方向の画像変換については、水平方向有効画素である1280画素から768画素への縮小は信号処理のどの時点でおこなってもよい。水平方向の処理については、第1の実施の形態で説明した通りである。   In the above description, the image conversion in the vertical direction has been described. For horizontal image conversion, reduction from 1280 pixels, which are effective pixels in the horizontal direction, to 768 pixels may be performed at any point in the signal processing. The processing in the horizontal direction is as described in the first embodiment.

また、本実施の形態では、入力画像の大きさ、フィルタタップ数などに具体的数値を挙げて説明を行ったが、これら値に限定されるものではなく、この点も第1の実施の形態で説明した通りである。   In the present embodiment, specific numerical values are given for the size of the input image, the number of filter taps, and the like. However, the present invention is not limited to these values, and this point is also the first embodiment. As explained in.

以上に本発明の第2の実施の形態に係る画像変換装置200について説明した。本実施の形態によれば、第1の実施の形態の効果が得られ、さらに、画像入力が連続的であり、画像変換によって作成するライン数が入力画像ライン数よりある程度多い場合においても、演算やメモリアクセスの処理速度を上げることなく、更新レートが高いインターレース画像を得ることができる。   The image conversion apparatus 200 according to the second embodiment of the present invention has been described above. According to the present embodiment, the effects of the first embodiment can be obtained, and even when the image input is continuous and the number of lines created by image conversion is somewhat larger than the number of input image lines, the calculation is performed. In addition, an interlaced image with a high update rate can be obtained without increasing the processing speed of memory access.

上述の第1および第2の実施の形態において、画像変換装置の機能は,磁気ディスク、光磁気ディスク,ROM等の記録媒体にプログラムとして記録することができる。よって、この記録媒体をコンピュータで読み取ってMPU、DSP等で実行することにより画像変換装置の機能を実現することができる。   In the first and second embodiments described above, the function of the image conversion apparatus can be recorded as a program on a recording medium such as a magnetic disk, a magneto-optical disk, or a ROM. Therefore, the function of the image conversion apparatus can be realized by reading this recording medium with a computer and executing it with an MPU, DSP, or the like.

その他、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。   In addition, this invention is not limited to the above-mentioned embodiment, Of course, those skilled in the art can modify the above-mentioned embodiment within the scope of the present invention.

以上のように、本発明にかかる画像変換装置は、画像更新速度の遅いインターレース画像から画像更新速度の速いインターレース画像を好適に得ることができるという効果を有し、撮像装置等の画像変換装置として有用である。   As described above, the image conversion apparatus according to the present invention has an effect that an interlace image with a high image update speed can be suitably obtained from an interlace image with a low image update speed, and is an image conversion apparatus such as an imaging apparatus. Useful.

本発明の第1の実施の形態における画像変換装置を示すブロック図1 is a block diagram showing an image conversion apparatus according to a first embodiment of the present invention. 画像変換処理を空間的位相を用いて示す概略図Schematic diagram showing image conversion processing using spatial phase 画像変換処理を時系列で示す概略図Schematic diagram showing image conversion processing in time series 本発明の第2の実施の形態における画像変換装置を示すブロック図The block diagram which shows the image converter in the 2nd Embodiment of this invention 画像変換処理を空間的位相を用いて示す概略図Schematic diagram showing image transformation processing using spatial phase 画像変換処理を時系列で示す概略図Schematic diagram showing image conversion processing in time series 処理タイミングの概略図Schematic diagram of processing timing 従来の画像変換装置を示す図The figure which shows the conventional image converter

符号の説明Explanation of symbols

100 画像変換装置
110 画像入力部
111 画像信号演算部
112 画像蓄積部
DESCRIPTION OF SYMBOLS 100 Image converter 110 Image input part 111 Image signal calculating part 112 Image storage part

Claims (6)

1フレームが複数のフィールド画像から構成されている画像データを入力する画像入力手段と、前記画像データを構成する各々のフィールド画像から複数の異なるフィールド画像を生成する画像信号演算手段とを備えたことを特徴とする画像変換装置。   Image input means for inputting image data in which one frame is composed of a plurality of field images, and image signal calculation means for generating a plurality of different field images from each field image constituting the image data An image conversion apparatus characterized by the above. 前記画像信号演算手段は、FIRフィルタを備え、インターレース形式の画像信号を構成するそれぞれの片方フィールドの画像信号から両方フィールドの画像信号を算出することを特徴とする請求項1に記載の画像変換装置。   2. The image conversion apparatus according to claim 1, wherein the image signal calculation unit includes an FIR filter and calculates an image signal of both fields from each one of the image signals constituting the interlaced image signal. . 入力された1フィールドにおける入力ライン数対出力ライン数がm対nになるように、ブランキングを含むmライン期間で、nライン分の有効画像を前記画像信号演算手段にて演算し出力させる処理スケジューリングを行うためのスケジューラを備えたことを特徴とする請求項1または2に記載の画像変換装置。   Processing for calculating and outputting effective images for n lines by the image signal calculation means in an m line period including blanking so that the number of input lines versus the number of output lines in one input field is m: n. The image conversion apparatus according to claim 1, further comprising a scheduler for performing scheduling. インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出することを特徴とする画像変換処理方法。   An image conversion processing method comprising: obtaining an interlaced image signal, and calculating an image signal of both fields from an image signal of one field constituting the acquired image signal. インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する画像変換処理をコンピュータに実行させることを特徴とするプログラム。   A program that acquires an interlaced image signal and causes a computer to execute image conversion processing for calculating an image signal of both fields from an image signal of one field constituting the acquired image signal. インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する画像変換処理プログラムを記録したことを特徴とするコンピュータ読取り可能な記録媒体。   A computer-readable recording medium having recorded thereon an image conversion processing program for acquiring an interlaced image signal and calculating an image signal of both fields from an image signal of one field constituting the acquired image signal.
JP2004357268A 2004-12-09 2004-12-09 Image conversion apparatus Pending JP2006166256A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004357268A JP2006166256A (en) 2004-12-09 2004-12-09 Image conversion apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004357268A JP2006166256A (en) 2004-12-09 2004-12-09 Image conversion apparatus

Publications (1)

Publication Number Publication Date
JP2006166256A true JP2006166256A (en) 2006-06-22

Family

ID=36667726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004357268A Pending JP2006166256A (en) 2004-12-09 2004-12-09 Image conversion apparatus

Country Status (1)

Country Link
JP (1) JP2006166256A (en)

Similar Documents

Publication Publication Date Title
JP2946583B2 (en) Slow motion video signal generating apparatus and slow motion video signal generating method
JP5317825B2 (en) Image processing apparatus and image processing method
JP2009010821A (en) Imaging device and imaging method, recording medium, and program
US20050012826A1 (en) Image input apparatus
JP2003338988A (en) Imaging device
JPWO2012053139A1 (en) Image processing apparatus and image processing method
JP4883772B2 (en) Image processing apparatus and method
JP4475225B2 (en) Video signal transmission system, imaging device, signal processing device, and video signal transmission method
JP2009010823A (en) Image processing device and image processing method, recording medium, and program
JP2009044538A (en) Monitoring system and imaging device employed therefor
JP3962928B2 (en) Image data conversion method, conversion circuit, and imaging apparatus
JP2002359824A (en) Method of decreasing delay through frame based on format converter
JP2006166256A (en) Image conversion apparatus
JP4697094B2 (en) Image signal output apparatus and control method thereof
JPH08317295A (en) Digital image recording device and digital image reproducing device
JP2010251882A (en) Image capturing apparatus and image reproducing device
US8698907B2 (en) Image capture apparatus
US20030016389A1 (en) Image processing device
JP4489760B2 (en) Device for generating a 3D video signal
JP2004228775A (en) Frame conversion method, frame conversion circuit, and electronic camera
JP4035542B2 (en) Imaging device
JP2006303693A (en) Electronic camera provided with function of generating reduced picture
JP2007288559A (en) Reproduction method and reproduction apparatus
JP3106759B2 (en) Imaging device
JP4042106B2 (en) Image signal conversion method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090925

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091201