JP2012105057A

JP2012105057A - Image processing device

Info

Publication number: JP2012105057A
Application number: JP2010251732A
Authority: JP
Inventors: Hidetoshi Konuma; 英俊小沼
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-11-10
Filing date: 2010-11-10
Publication date: 2012-05-31
Anticipated expiration: 2030-11-10
Also published as: JP5761963B2

Abstract

PROBLEM TO BE SOLVED: To handle both progressive moving image data and interlace moving image data while suppressing a circuit scale and power consumption.SOLUTION: A PI converter (201) converts input progressive moving image data to two systems of interlace moving image data. An II converter (202) generates a system of interlace moving image data from the two systems of interlace moving image data output from the PI converter (201). An IP converter (204) generates progressive moving image data from two systems of interlace moving image data output from the PI converter (201). Switching parts (205, 207) select output data of the II converter (202) and the IP converter (204).

Description

本発明は画像処理装置に関し、特に動画像を処理する画像処理装置に関する。 The present invention relates to an image processing apparatus, and more particularly to an image processing apparatus that processes a moving image.

従来、デジタル放送を受信するデジタルテレビが知られている。デジタル放送では、横１９２０画素×縦１０８０画素、５９．９４フィールド／秒（Ｈｚ）のインターレース規格（１０８０／５９．９４ｉ）の動画像を放送する。デジタルテレビは、このような高精細な動画像を受信し、表示する。 Conventionally, digital televisions that receive digital broadcasts are known. In digital broadcasting, a moving image of a horizontal 1920 pixels × vertical 1080 pixels, 59.94 field / second (Hz) interlace standard (1080 / 59.94i) is broadcast. Digital television receives and displays such high-definition moving images.

また、近年、横１９２０画素×縦１０８０画素、５９．９４フレーム／秒（Ｈｚ）のプログレッシブ規格（１０８０／５９．９４ｐ）の動画像も表示可能なテレビが普及し始めている。このように、高精細な動画像を扱う機器が、民生機器として普及しつつある。 In recent years, televisions capable of displaying a progressive image (1080 / 59.94p) of 1920 (horizontal) × 1080 (vertical) pixels and 59.94 frames / second (Hz) have begun to spread. As described above, devices that handle high-definition moving images are becoming popular as consumer devices.

一方、ビデオカメラにおいても、このような高精細な動画像を撮影し、記録するものが登場している（特許文献１参照）。 On the other hand, video cameras that capture and record such high-definition moving images have appeared (see Patent Document 1).

特開２０１０−１１９０８１号公報JP 2010-119081 A

１０８０／５９．９４ｐの動画像のデータ量は、１０８０／５９．９４ｉの動画像の２倍となる。そのため、１０８０／５９．９４ｐの動画像を処理するための回路規模や消費電力は、１０８０／５９．９４ｉの動画像を処理する場合に比べて大きくなる。 The data amount of a 1080 / 59.94p moving image is twice that of a 1080 / 59.94i moving image. For this reason, the circuit scale and power consumption for processing 1080 / 59.94p moving images are larger than those for processing 1080 / 59.94i moving images.

一方、ビデオカメラのような民生機器においては、小型且つ安価な製品が求められており、１０８０／５９．９４ｐの様な高精細な動画像をビデオカメラで扱うことが難しかった。 On the other hand, consumer devices such as video cameras require small and inexpensive products, and it has been difficult to handle high-definition moving images such as 1080 / 59.94p with video cameras.

本発明はこのような問題を解決し、回路規模と消費電力を抑えながら、高精細な動画像を扱える画像処理装置を提供することを目的とする。 An object of the present invention is to solve such problems and to provide an image processing apparatus capable of handling high-definition moving images while suppressing the circuit scale and power consumption.

本発明に係る画像処理装置は、入力プログレッシブ動画像データを２系統のインターレース動画像データに変換するＰＩ変換手段と、前記ＰＩ変換手段から出力される前記２系統のインターレースの動画像データから１系統のインターレース動画像データを生成するＩＩ変換手段と、前記ＩＩ変換手段からの前記１系統のインターレース動画像データを画像表示する表示手段と、前記ＰＩ変換手段から出力される前記２系統のインターレース動画像データからプログレッシブ動画像データを生成するＩＰ変換手段と、前記ＩＩ変換手段から出力される前記１系統のインターレース動画像データと、前記ＩＰ変換手段から出力される前記プログレッシブ動画像データの一方を選択し、外部の表示装置に出力する出力手段とを備えることを特徴とする。 An image processing apparatus according to the present invention includes PI conversion means for converting input progressive moving image data into two lines of interlaced moving image data, and one line from the two lines of interlaced moving image data output from the PI conversion means. II conversion means for generating the interlaced moving image data, display means for displaying the one system of interlaced video data from the II conversion means, and the two systems of interlaced video output from the PI conversion means Selecting one of IP conversion means for generating progressive moving picture data from the data, the one-line interlaced moving picture data output from the II converting means, and the progressive moving picture data output from the IP converting means And an output means for outputting to an external display device, That.

本発明によれば、回路規模と消費電力を抑えながら、高精細な動画像を扱うことが可能となる。 According to the present invention, it is possible to handle high-definition moving images while suppressing the circuit scale and power consumption.

本発明の一実施例を組み込んだビデオカメラの概略構成ブロック図である。It is a schematic block diagram of a video camera incorporating an embodiment of the present invention. 画像処理部の概略構成ブロック図である。It is a schematic block diagram of an image processing unit. ＰＩ変換部とＩＰ変換部の動作を説明するタイミングチャートである。It is a timing chart explaining operation | movement of a PI converter and an IP converter. プログレッシブ動画像データの再生中に再生ポーズの指示があったときの動作タイミング例を示す。An example of operation timing when a playback pause instruction is given during playback of progressive video data is shown. プログレッシブ動画像データのスロー再生中に再生ポーズの指示があったときの動作タイミング例を示す。An example of operation timing when a playback pause instruction is given during slow playback of progressive video data is shown. プログレッシブ動画像データの再生中に再生ポーズの指示があったときの別の動作タイミング例を示す。An example of another operation timing when a playback pause instruction is given during playback of progressive video data will be shown.

以下、図面を参照して、本発明の実施例を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本発明に係る画像処理装置の一実施例を組み込んだビデオカメラ１００の概略構成ブロック図である。ビデオカメラ１００は、インターレース規格（１０８０／５９．９４ｉ）の動画像と、プログレッシブ規格（１０８０／５９．９４ｐ）の動画像を撮影し、記録できる。ユーザは、どちらの動画像を撮影記録するかをビデオカメラ１００に指示できる。 FIG. 1 is a schematic block diagram of a video camera 100 incorporating an embodiment of an image processing apparatus according to the present invention. The video camera 100 can capture and record a moving image of an interlace standard (1080 / 59.94i) and a moving image of a progressive standard (1080 / 59.94p). The user can instruct the video camera 100 which moving image is to be captured and recorded.

撮像部１０１は被写体を撮影し、１０８０／５９．９４ｉの動画像データと１０８０／５９．９４ｐの動画像データの一方を出力する。画像処理部１０２は、撮影時には、撮像部１０１からの動画像データをメモリ１０３に記憶し、表示部１０４、表示装置１１１及び記録媒体１０８への出力に適した形式に変換する。画像処理部１０２は、再生時には、圧縮伸長部１０６からの動画像データをメモリ１０３に記憶し、表示部１０４及び表示装置１１１への出力に適した形式に変換する。 The imaging unit 101 captures a subject and outputs one of 1080 / 59.94i moving image data and 1080 / 59.94p moving image data. At the time of shooting, the image processing unit 102 stores the moving image data from the imaging unit 101 in the memory 103 and converts it into a format suitable for output to the display unit 104, the display device 111, and the recording medium 108. At the time of reproduction, the image processing unit 102 stores the moving image data from the compression / decompression unit 106 in the memory 103 and converts it into a format suitable for output to the display unit 104 and the display device 111.

表示部１０４は決められた画素数の液晶パネル等の表示装置を有する。表示部１０４は、撮影時には、撮像部１０１からの撮影された被写体の画像を表示し、再生時には、記録媒体１０８から再生された画像を表示する。外部ＩＦ１０５は、接続された外部の表示装置１１１に、撮影された動画像又は再生された動画像を出力する。また、外部ＩＦ１０５は、ＨＤＭＩ規格に従い、外部の表示装置１１１から表示装置１１１の画素数の情報を取得する。 The display unit 104 includes a display device such as a liquid crystal panel having a determined number of pixels. The display unit 104 displays the image of the subject photographed from the imaging unit 101 during photographing, and displays the image reproduced from the recording medium 108 during reproduction. The external IF 105 outputs the captured moving image or the reproduced moving image to the connected external display device 111. The external IF 105 acquires information on the number of pixels of the display device 111 from the external display device 111 in accordance with the HDMI standard.

圧縮伸長部１０６は、撮影時には、画像処理部１０２からの動画像データをＭＰＥＧ等の公知の符号化処理で圧縮する。また、圧縮伸長部１０６は、再生時には記録再生部１０７により再生された圧縮動画像データを伸長し、画像処理部１０２に出力する。 The compression / decompression unit 106 compresses the moving image data from the image processing unit 102 by a known encoding process such as MPEG at the time of shooting. In addition, the compression / decompression unit 106 decompresses the compressed moving image data reproduced by the recording / reproduction unit 107 during reproduction, and outputs the compressed moving image data to the image processing unit 102.

記録再生部１０７は、撮影時には、圧縮伸長部１０６により圧縮された動画像データを記録媒体１０８に記録し、再生時には記録媒体１０８に記録される圧縮動画像データを読み出して圧縮伸長部１０６に出力する。 The recording / reproducing unit 107 records the moving image data compressed by the compression / decompression unit 106 on the recording medium 108 at the time of shooting, and reads the compressed moving image data recorded on the recording medium 108 at the time of reproduction and outputs it to the compression / decompression unit 106. To do.

ＣＰＵ１０９は、不図示の不揮発メモリに記憶されたプログラムに従ってビデオカメラ１００の各部を制御する。また、ＣＰＵ１０９は、操作部１１０からの指示に従い、ビデオカメラ１００の動作を制御する。操作部１１０は、電源スイッチ、撮影開始のトリガスイッチ、再生モードへの切り替えスイッチ、並びに、再生ボタン、スロー再生及びポーズを指示するためのボタン等を有する。 The CPU 109 controls each unit of the video camera 100 according to a program stored in a non-illustrated nonvolatile memory. Further, the CPU 109 controls the operation of the video camera 100 in accordance with an instruction from the operation unit 110. The operation unit 110 includes a power switch, a trigger for starting shooting, a switch for switching to a playback mode, a playback button, a button for instructing slow playback and pause, and the like.

ビデオカメラ１００の基本的な撮影動作を説明する。操作部１１０により電源が投入されると、ＣＰＵ１０９は各部を制御してビデオカメラ１００を撮影モードに設定し、撮影待機状態となる。本実施例では、ユーザは、操作部１１０により、１０８０／５９．９４ｉと１０８０／５９．９４ｐの何れの種類の動画を記録するかを事前に選択する。 A basic shooting operation of the video camera 100 will be described. When the operation unit 110 is turned on, the CPU 109 controls each unit to set the video camera 100 to a shooting mode and enters a shooting standby state. In this embodiment, the user selects, in advance, which kind of moving image, 1080 / 59.94i or 1080 / 59.94p, is to be recorded by the operation unit 110.

撮影待機状態では、撮像部１０１は被写体の画像を撮影し、動画像データを画像処理部１０２に出力する。画像処理部１０２は、撮像部１０１からの動画像データを処理し、表示部１０４に送る。表示部１０４は、画像処理部１０２からの動画像データによる被写体の画像を表示する。撮影待機状態で表示される動画像は、被写体と構図の確認用であるから、記録時の解像度と同じか、これよりも低い解像度でもよい。本実施例では、例えば、記録用に選択された動画の種類（解像度）に関わらず、１０８０／５９．９４ｉである。 In the shooting standby state, the imaging unit 101 captures an image of a subject and outputs moving image data to the image processing unit 102. The image processing unit 102 processes the moving image data from the imaging unit 101 and sends it to the display unit 104. The display unit 104 displays a subject image based on the moving image data from the image processing unit 102. Since the moving image displayed in the shooting standby state is for confirmation of the subject and the composition, it may have the same resolution as that at the time of recording or a lower resolution. In this embodiment, for example, it is 1080 / 59.94i regardless of the type (resolution) of the moving image selected for recording.

外部ＩＦ１０５に表示装置１１１が接続されている場合、外部ＩＦ１０５は、表示装置１１１から、表示装置１１１の表示画素数の情報を取得し、ＣＰＵ１０９に送る。ＣＰＵ１０９は、画像処理部１０２に外部ＩＦへの動画像出力とその画素数を指示する。画像処理部１０２は、外部ＩＦ１０５に動画像データを出力し、外部ＩＦ１０５は、画像処理部１０２からの動画像データを表示装置１１１に出力する。 When the display device 111 is connected to the external IF 105, the external IF 105 acquires information on the number of display pixels of the display device 111 from the display device 111 and sends the information to the CPU 109. The CPU 109 instructs the image processing unit 102 to output a moving image to the external IF and the number of pixels. The image processing unit 102 outputs moving image data to the external IF 105, and the external IF 105 outputs moving image data from the image processing unit 102 to the display device 111.

このような撮影待機状態において、操作部１１０により撮影開始の指示があると、ＣＰＵ１０９は、予め記録用に選択された動画像データの出力を撮像部１０１に指示する。撮像部１０１は、ＣＰＵ１０９により指示された動画像データを出力する。 In such a shooting standby state, when an instruction to start shooting is given by the operation unit 110, the CPU 109 instructs the imaging unit 101 to output moving image data selected for recording in advance. The imaging unit 101 outputs moving image data instructed by the CPU 109.

画像処理部１０２は、撮像部１０１からの動画像データを後述の様に処理し、表示部１０４、外部ＩＦ１０５及び圧縮伸長部１０６に出力する。圧縮伸長部１０６は、画像処理部１０２からの動画像データを圧縮処理し、圧縮動画像データを記録再生部１０７に送る。記録再生部１０７は、ＣＰＵ１０９からの指示に従い、圧縮伸長部１０６からの圧縮動画像データを記録媒体１０８に記録する。 The image processing unit 102 processes the moving image data from the imaging unit 101 as described later, and outputs it to the display unit 104, the external IF 105, and the compression / decompression unit 106. The compression / decompression unit 106 compresses the moving image data from the image processing unit 102 and sends the compressed moving image data to the recording / reproducing unit 107. The recording / reproducing unit 107 records the compressed moving image data from the compression / decompression unit 106 on the recording medium 108 in accordance with an instruction from the CPU 109.

このように動画の記録を継続する間に、操作部１１０から撮影停止の指示があると、ＣＰＵ１０９は記録再生部１０７に記録の停止を指示する。記録再生部１０７は、ＣＰＵ１０９からの記録停止の指示に従い、記録媒体１０８への動画像の記録を停止する。なお、本実施例では、記録媒体１０８は、フラッシュメモリカード等のランダムアクセスの記録媒体からなる。記録媒体１０８には、撮影開始の指示から撮影停止の指示までの一連の動画像データ（圧縮動画像データ）が一つのファイルとして記録される。また、記録再生部１０７は、記録中の動画像データが１０８０／５９．９４ｉと１０８０／５９．９４ｐの何れであるかを示す付加情報を動画像データファイルに付加する。 As described above, when the operation unit 110 instructs to stop shooting while continuing the recording of the moving image, the CPU 109 instructs the recording / reproducing unit 107 to stop recording. The recording / playback unit 107 stops the recording of the moving image on the recording medium 108 in accordance with the recording stop instruction from the CPU 109. In this embodiment, the recording medium 108 is a random access recording medium such as a flash memory card. On the recording medium 108, a series of moving image data (compressed moving image data) from an instruction to start shooting to an instruction to stop shooting is recorded as one file. The recording / playback unit 107 adds additional information indicating whether the moving image data being recorded is 1080 / 59.94i or 1080 / 59.94p to the moving image data file.

再生動作を説明する。ユーザが操作部１１０を操作し、再生モードへの切り替えを指示すると、ＣＰＵ１０９はビデオカメラ１００を再生モードに設定する。ＣＰＵ１０９はまた、記録媒体１０８に記録された動画像データのうち、ユーザが指定した動画像データを再生するように記録再生部１０７に指示する。記録再生部１０７は、記録媒体１０８から指定された動画像データ（圧縮データ）を再生し、圧縮伸長部１０６に送る。圧縮伸長部１０６は、再生された動画像データ（圧縮データ）を伸長し、画像処理部１０２に送る。画像処理部１０２は、圧縮伸長部１０６から出力された、再生動画像データを後述の様に処理し、表示部１０４と外部ＩＦ１０５に出力する。表示部１０４は、画像処理部１０２からの再生動画像データの画像を表示する。また、外部ＩＦ１０５は、画像処理部１０２からの再生動画像データを表示装置１１１に出力する。 The playback operation will be described. When the user operates the operation unit 110 to instruct switching to the playback mode, the CPU 109 sets the video camera 100 to the playback mode. The CPU 109 also instructs the recording / reproducing unit 107 to reproduce the moving image data designated by the user among the moving image data recorded on the recording medium 108. The recording / reproducing unit 107 reproduces the specified moving image data (compressed data) from the recording medium 108 and sends it to the compression / decompression unit 106. The compression / decompression unit 106 decompresses the reproduced moving image data (compressed data) and sends it to the image processing unit 102. The image processing unit 102 processes the playback moving image data output from the compression / decompression unit 106 as described below, and outputs the processed moving image data to the display unit 104 and the external IF 105. The display unit 104 displays an image of the reproduction moving image data from the image processing unit 102. Also, the external IF 105 outputs the playback moving image data from the image processing unit 102 to the display device 111.

動画像データの再生中に、操作部１１０より再生一時停止（ポーズ）の指示があると、ＣＰＵ１０９は、記録媒体１０８からの動画像データの再生の一時停止を記録再生部１０７に指示する。このとき、ＣＰＵ１０９は、記録再生部１０７から再生停止位置の情報を取得し、記憶する。また、ＣＰＵ１０９は、一時指示があった時に再生されていたフレームをそのまま表示するように画像処理部１０２に指示する。画像処理部１０２は、ＣＰＵ１０９からのこのポーズ指示に応じて、再生中の動画像データの１フレームをメモリ１０３に一時記憶する。画像処理部１０２は、メモリ１０３に一時記憶するその１フレームの画像データをメモリ１０３から繰り返し読み出して、表示部１０４及び外部ＩＦ１０５に出力する。 If a playback pause (pause) instruction is given from the operation unit 110 during playback of moving image data, the CPU 109 instructs the recording / playback unit 107 to pause playback of moving image data from the recording medium 108. At this time, the CPU 109 acquires and stores information on the playback stop position from the recording / playback unit 107. In addition, the CPU 109 instructs the image processing unit 102 to display the frame that has been reproduced when the temporary instruction is given. In response to this pause instruction from the CPU 109, the image processing unit 102 temporarily stores one frame of the moving image data being reproduced in the memory 103. The image processing unit 102 repeatedly reads out the image data of one frame temporarily stored in the memory 103 from the memory 103 and outputs it to the display unit 104 and the external IF 105.

操作部１１０から再度、通常再生の指示があると、ＣＰＵ１０９は、記録再生部１０７を制御し、再生を一時停止した位置から続けて動画像データを再生する。また、ＣＰＵ１０９は、画像処理部１０２に記録再生部１０７からの再生動画像データを表示部１０４及び外部ＩＦ１０５に出力するように指示する。 When the normal reproduction instruction is issued again from the operation unit 110, the CPU 109 controls the recording / reproducing unit 107 to reproduce the moving image data from the position where the reproduction is paused. Further, the CPU 109 instructs the image processing unit 102 to output the playback moving image data from the recording / playback unit 107 to the display unit 104 and the external IF 105.

動画像データの再生中に、操作部１１０よりスロー再生の指示があると、ＣＰＵ１０９は、記録再生部１０７に、例えば通常再生時の１／２倍速でのスロー再生を指示する。記録再生部１０７は、指示されるスロー再生速度に応じたタイミングで記録媒体１０８から動画像データ（圧縮動画像データ）を読み出し、圧縮伸長部１０６に送る。圧縮伸長部１０６は、記録再生部１０７からの圧縮動画像データを伸長し、再生動画像データを画像処理部１０２に送る。画像処理部１０２は、圧縮伸長部１０６からの再生動画像データをメモリ１０３に記憶しつつ、スロー再生に対応したタイミングでメモリ１０３から動画像データを読み出し、表示部１０４と外部ＩＦ１０５に出力する。これにより、表示部１０４及び表示装置１１１は、スロー再生の動画像を表示する。 If there is an instruction for slow playback from the operation unit 110 during playback of moving image data, the CPU 109 instructs the recording / playback unit 107 to perform slow playback at, for example, ½ times normal playback speed. The recording / reproducing unit 107 reads moving image data (compressed moving image data) from the recording medium 108 at a timing corresponding to the instructed slow reproduction speed, and sends the moving image data to the compression / decompression unit 106. The compression / decompression unit 106 decompresses the compressed moving image data from the recording / reproducing unit 107 and sends the reproduced moving image data to the image processing unit 102. The image processing unit 102 stores the reproduced moving image data from the compression / decompression unit 106 in the memory 103, reads the moving image data from the memory 103 at a timing corresponding to the slow reproduction, and outputs it to the display unit 104 and the external IF 105. Thereby, the display unit 104 and the display device 111 display a moving image for slow reproduction.

操作部１１０から再度、通常再生の指示があると、ＣＰＵ１０９は、記録再生部１０７、圧縮伸長部１０６及び画像処理部１０２に、通常再生速度での再生処理を指示する。この指示に従い、記録再生部１０７は、通常の再生速度に応じたタイミングで動画像データを記録媒体１０８から読み出し、圧縮伸長部１０６は、記録再生部１０７からの圧縮動画像データを伸長する。画像処理部１０２は、圧縮伸長部１０６からの再生動画像データを表示部１０４と外部ＩＦ１０５に出力する。これにより、表示部１０４及び表示装置１１１は、通常再生速度の再生動画像を画像表示する。 When a normal playback instruction is issued again from the operation unit 110, the CPU 109 instructs the recording / playback unit 107, the compression / decompression unit 106, and the image processing unit 102 to perform playback processing at a normal playback speed. In accordance with this instruction, the recording / playback unit 107 reads the moving image data from the recording medium 108 at a timing according to the normal playback speed, and the compression / decompression unit 106 decompresses the compressed moving image data from the recording / playback unit 107. The image processing unit 102 outputs the playback moving image data from the compression / decompression unit 106 to the display unit 104 and the external IF 105. As a result, the display unit 104 and the display device 111 display a playback moving image at a normal playback speed.

また、通常再生中、スロー再生中又は再生ポーズ中に、ユーザが操作部１１０で再生停止の指示を入力すると、ＣＰＵ１０９は、記録再生部１０７による動画の再生を停止する。 In addition, when the user inputs a playback stop instruction with the operation unit 110 during normal playback, slow playback, or playback pause, the CPU 109 stops playback of the moving image by the recording / playback unit 107.

図２は、画像処理部１０２の概略構成ブロック図を示す。図２を参照して，画像処理部１０２の構成と機能を説明する。画像処理部１０２の各部は、ＣＰＵ１０９により制御される。 FIG. 2 shows a schematic block diagram of the image processing unit 102. The configuration and function of the image processing unit 102 will be described with reference to FIG. Each unit of the image processing unit 102 is controlled by the CPU 109.

撮影モードでは、撮像部１０１からの動画像データがメモリ１０３に記憶される。再生モードでは、圧縮伸長部１０６からの動画像データがメモリ１０３に記憶される。画像処理部１０２は、撮像部１０１からの動画像データをメモリ１０３に格納する。 In the shooting mode, moving image data from the imaging unit 101 is stored in the memory 103. In the reproduction mode, the moving image data from the compression / decompression unit 106 is stored in the memory 103. The image processing unit 102 stores the moving image data from the imaging unit 101 in the memory 103.

ＰＩ変換部２０１は、メモリ１０３に記憶された動画像データがプログレッシブ形式の場合、ＣＰＵ１０９からの指示に従い、そのプログレッシブ動画像データをインターレース方式に変換する。具体的には、ＰＩ変換部２０１は、入力プログレッシブ信号の各フレームを、奇数番目（又は偶数番目）の水平ラインからなるマスタインターレース信号と、偶数番目（又は奇数番目）の水平ラインからなるスレーブインターレース信号に分離する。マスタインターレース信号として選択する水平ラインと、スレーブインターレース信号として選択する水平ラインを、１フレーム期間（１／５９．９４秒）毎に切り替えるスイッチにより実現できる。これにより、マスタインターレース信号とスレーブインターレース信号は共に、入力プログレッシブ動画像データの水平ラインをインターレースしたインターレース動画像データになる。ＰＩ変換部２０１は、入力プログレッシブ信号の同じフレームに含まれるマスタインターレース信号とスレーブインターレース信号を同時に出力する。ＰＩ変換部２０１の出力するマスタインターレース信号とスレーブインターレース信号のフィールド周波数は、入力するプログレッシブ信号のフレーム周波数に等しくなる。 When the moving image data stored in the memory 103 is in a progressive format, the PI conversion unit 201 converts the progressive moving image data into an interlace method in accordance with an instruction from the CPU 109. Specifically, the PI conversion unit 201 converts each frame of the input progressive signal into a master interlace signal composed of odd-numbered (or even-numbered) horizontal lines and a slave interlace composed of even-numbered (or odd-numbered) horizontal lines. Separate into signals. It can be realized by a switch that switches a horizontal line selected as a master interlace signal and a horizontal line selected as a slave interlace signal every frame period (1 / 59.94 seconds). As a result, both the master interlace signal and the slave interlace signal become interlaced video data obtained by interlacing the horizontal lines of the input progressive video data. The PI conversion unit 201 simultaneously outputs a master interlace signal and a slave interlace signal included in the same frame of the input progressive signal. The field frequencies of the master interlace signal and the slave interlace signal output from the PI conversion unit 201 are equal to the frame frequency of the input progressive signal.

メモリ１０３に記憶された動画像データがインターレース形式の場合、ＰＩ変換部２０１は、メモリ１０３に記憶された動画像データをそのまま、マスタインターレース信号として出力する。すなわち、メモリ１０３に記憶された動画像データが１０８０／５９．９４ｉである場合、ＰＩ変換部２０１は、その１０８０／５９．９４ｉの動画像データをマスタインターレース信号として出力する。この場合、ＰＩ変換部２０１は、スレーブインターレース信号を出力しない。 When the moving image data stored in the memory 103 is in the interlace format, the PI conversion unit 201 outputs the moving image data stored in the memory 103 as it is as a master interlace signal. That is, when the moving image data stored in the memory 103 is 1080 / 59.94i, the PI conversion unit 201 outputs the 1080 / 59.94i moving image data as a master interlace signal. In this case, the PI conversion unit 201 does not output a slave interlace signal.

ＩＩ変換部２０２は、ＰＩ変換部２０１からのマスタインターレース信号とスレーブインターレース信号から１系統のインターレースの動画像データを生成する。リサイズ部２０３は、ＩＩ変換部２０２からのインターレース動画像データの各フレームの画素数を、表示部１０４の画素数にあわせて変更して、表示部１０４に出力する。一般的な携帯可能な撮像装置に装備される場合、表示部１０４の画素数は例えばＱＶＧＡ（横３２０×縦２４０）程度であり、リサイズ部２０３によるリサイズ、例えば画素間引きによっても十分な画質が得られる。 The II conversion unit 202 generates one line of interlaced moving image data from the master interlace signal and the slave interlace signal from the PI conversion unit 201. The resizing unit 203 changes the number of pixels of each frame of the interlaced moving image data from the II conversion unit 202 according to the number of pixels of the display unit 104 and outputs it to the display unit 104. When equipped in a general portable imaging device, the number of pixels of the display unit 104 is, for example, about QVGA (horizontal 320 × vertical 240), and sufficient image quality can be obtained even by resizing by the resizing unit 203, for example, pixel thinning. It is done.

ＩＰ変換部２０４は、ＣＰＵ１０９の指示に従い、ＰＩ変換部２０１からのマスタインターレース信号とスレーブインターレース信号から１系統のプログレッシブ形式（１０８０／５９．９４ｐ）の動画像データを生成し出力する。切替え部２０５は、ＣＰＵ１０９の指示に従い、ＩＩ変換部２０２からのインターレース動画像データとＩＰ変換部２０４からのプログレッシブ動画像データの一方を選択して、リサイズ部２０６に出力する。 The IP conversion unit 204 generates and outputs moving picture data of one progressive format (1080 / 59.94p) from the master interlace signal and the slave interlace signal from the PI conversion unit 201 in accordance with instructions from the CPU 109. The switching unit 205 selects one of the interlaced moving image data from the II converting unit 202 and the progressive moving image data from the IP converting unit 204 in accordance with an instruction from the CPU 109 and outputs the selected data to the resizing unit 206.

外部ＩＦ１０５は、接続された表示装置１１１の動画表示形式（プログレッシブ形式かインタレース形式）の情報を取得してＣＰＵ１０９に通知している。ＣＰＵ１０９は、表示装置１１１の表示形式に応じて切替え部２０５を制御する。すなわち、表示装置１１１がインターレース表示に対応する場合、ＣＰＵ１０９は、切替え部２０５にＩＩ変換部２０２からのインターレース信号を選択させる。他方、表示装置１１１がプログレッシブ表示に対応する場合、ＣＰＵ１０９は、切替え部２０５にＩＰ変換部２０４からのプログレッシブ信号を選択させる。表示装置１１１がインターレース表示とプログレッシブ表示の両方に対応する場合、ＩＰ変換部２０４からのプログレッシブ信号を選択させる。切替え部２０５は、選択した信号をリサイズ部２０６に出力する。リサイズ部２０６は、ＣＰＵ１０９の指示に従い、切替え部２０５からの動画像データの各フレームの画素数を表示装置１１１の表示画素数に適合するように変更し、外部ＩＦ１０５に出力する。 The external IF 105 acquires information on the moving image display format (progressive format or interlace format) of the connected display device 111 and notifies the CPU 109 of the information. The CPU 109 controls the switching unit 205 according to the display format of the display device 111. That is, when the display device 111 supports interlaced display, the CPU 109 causes the switching unit 205 to select the interlaced signal from the II conversion unit 202. On the other hand, when the display device 111 supports progressive display, the CPU 109 causes the switching unit 205 to select a progressive signal from the IP conversion unit 204. When the display device 111 supports both interlaced display and progressive display, the progressive signal from the IP conversion unit 204 is selected. The switching unit 205 outputs the selected signal to the resizing unit 206. The resizing unit 206 changes the number of pixels of each frame of the moving image data from the switching unit 205 to match the number of display pixels of the display device 111 in accordance with an instruction from the CPU 109, and outputs it to the external IF 105.

切替え部２０７は、ＣＰＵ１０９からの指示に従い、ＩＩ変換部２０２からのインターレース動画像データとＩＰ変換部２０４からのプログレッシブ動画像データの一方を選択してリサイズ部２０６に出力する。ユーザは、前述の様に、撮影時の記録形式として、インターレースの動画像データとプログレッシブの動画像データの一方を選択する。ＣＰＵ１０９は、インターレース記録が選択されている場合、ＩＩ変換部２０２からのインターレース動画像データを選択する様に切替え部２０７に指示する。ＣＰＵ１０９は、プログレッシブ記録が選択されている場合、ＩＰ変換部２０４からのプログレッシブ動画像データを選択する様に切替え部２０７に指示する。リサイズ部２０８は、切替え部２０７からの動画像データの各フレームの画素数を、記録媒体１０８に記録するために規定された画素数に変更し、圧縮伸長部１０６に出力する。 The switching unit 207 selects one of the interlaced moving image data from the II converting unit 202 and the progressive moving image data from the IP converting unit 204 according to an instruction from the CPU 109 and outputs the selected data to the resizing unit 206. As described above, the user selects one of interlaced moving image data and progressive moving image data as the recording format at the time of shooting. When interlace recording is selected, the CPU 109 instructs the switching unit 207 to select interlaced moving image data from the II conversion unit 202. When progressive recording is selected, the CPU 109 instructs the switching unit 207 to select progressive video data from the IP conversion unit 204. The resizing unit 208 changes the number of pixels of each frame of the moving image data from the switching unit 207 to the number of pixels defined for recording on the recording medium 108, and outputs it to the compression / decompression unit 106.

図３は、撮影時と通常再生時におけるＰＩ変換部２０１とＩＰ変換部２０４の動作を説明するタイミングチャートである。 FIG. 3 is a timing chart for explaining operations of the PI conversion unit 201 and the IP conversion unit 204 at the time of shooting and normal playback.

図３（ａ）は、ＰＩ変換部２０１のタイミングチャート例を示す。１０８０ｐｖ、１０８０ｉｆ及び１０８０ｉｖはそれぞれ、ＣＰＵ１０９から出力される信号である。１０８０ｐｖは、１０８０／５９．９４ｐのプログレッシブ信号の垂直同期タイミングを示す信号である。１０８０ｐは、撮像部１０１又は圧縮伸長部１０６からメモリ１０３に順次記憶されたプログレッシブ動画像データを示し、ＦＲＡＭ０、ＦＲＡＭ１及びＦＲＡＭ２はそれぞれ、１フレームの動画像データを示す。１０８０ｉｆと１０８０ｉｖはそれぞれ、マスタインターレース信号とスレーブインターレース信号の、フィールド周期と垂直同期タイミングの信号である。 FIG. 3A shows an example of a timing chart of the PI conversion unit 201. 1080pv, 1080if, and 1080iv are signals output from the CPU 109, respectively. 1080pv is a signal indicating the vertical synchronization timing of the 1080 / 59.94p progressive signal. 1080p indicates progressive moving image data sequentially stored in the memory 103 from the imaging unit 101 or compression / decompression unit 106, and FRAM0, FRAM1, and FRAM2 each indicate moving image data of one frame. 1080if and 1080iv are signals of the field period and the vertical synchronization timing of the master interlace signal and the slave interlace signal, respectively.

１０８０ｉマスタと１０８０ｉスレーブはそれぞれ、プログレッシブ動画像データから生成されたマスタインターレース信号とスレーブインターレース信号の動画像データを示す。１０８０ｉマスタと１０８０ｉスレーブにおいて、ＴＯＰで示す部分の動画像データは、１０８０ｐにおける各フレームの偶数ラインから構成されている。１０８０ｉマスタと１０８０ｉスレーブにおいて、ＢＯＴＴＯＭで示す部分の動画像データは、１０８０ｐにおける各フレームの奇数ラインから構成されている。従って、ＴＯＰ１とＢＯＴＴＯＭ１の動画像は、互いにインターレースの関係となる。１０８０ｉマスタと１０８０ｉスレーブはそれぞれ、１フィールド期間毎にＴＯＰとＢＯＴＴＯＭが交互に含まれ、インターレースの動画像となっている。マスタインターレース信号が、正規の１９２０×１０８０／５９．９４Ｈｚのインターレース信号になるように、フィールド周期、垂直同期タイミング及び水平同期タイミングが規定されている。 The 1080i master and the 1080i slave indicate moving image data of a master interlace signal and a slave interlace signal generated from progressive moving image data, respectively. In the 1080i master and the 1080i slave, the moving image data indicated by TOP is composed of even lines of each frame in 1080p. In the 1080i master and the 1080i slave, the moving image data indicated by BOTTOM is composed of odd lines of each frame in 1080p. Therefore, the moving images of TOP1 and BOTTOM1 are interlaced with each other. The 1080i master and the 1080i slave each include TOP and BOTTOM alternately for each field period, and are interlaced moving images. The field period, vertical synchronization timing, and horizontal synchronization timing are defined so that the master interlace signal becomes a regular 1920 × 1080 / 59.94 Hz interlace signal.

図３（ｂ）は、ＩＰ変換部２０４のタイミングチャート例を示す。１０８０ｉマスタと１０８０ｉスレーブはそれぞれ、マスタインターレース信号の動画像データとスレーブインターレース信号の動画像データを示す。同じフィールド期間の１０８０ｉマスタと１０８０ｉスレーブの動画像データから、１フレームの１０８０ｐの動画像データが生成される。 FIG. 3B shows a timing chart example of the IP conversion unit 204. The 1080i master and the 1080i slave indicate moving image data of a master interlace signal and moving image data of a slave interlace signal, respectively. One frame of 1080p moving image data is generated from the moving image data of the 1080i master and the 1080i slave in the same field period.

次に、再生ポーズ時における画像処理部１０２の動作を説明する。図４は、プログレッシブ動画像データの再生中に再生ポーズの指示があったときの画像処理部１０２の動作タイミング例を示す。図４に示す各信号の名称は、図３に示したものと同じである。 Next, the operation of the image processing unit 102 during the playback pause will be described. FIG. 4 shows an example of operation timing of the image processing unit 102 when a playback pause instruction is given during playback of progressive moving image data. The names of the signals shown in FIG. 4 are the same as those shown in FIG.

動画の通常再生中にポーズの指示があると、ＣＰＵ１０９は、メモリ１０３への新たな動画像データの書き込みを停止すると共に、ＰＩ変換部２０１に、ポーズの指示があった時点のフレームを繰り返し読み出すように指示する。 When there is a pause instruction during normal playback of a moving image, the CPU 109 stops writing new moving image data to the memory 103 and repeatedly reads out the frame at the time when the pause instruction is given to the PI conversion unit 201. To instruct.

例えば、図４では、フレーム０の再生中にポーズの指示があり、ＰＩ変換部２０１は、このフレーム０のデータをメモリ１０３から繰り返し読み出す。そして、前記の様に、読み出した１フレームの１０８０ｐのデータから１０８０ｉマスタと１０８０ｉスレーブを生成する。ＩＩ変換部２０２は、ＣＰＵ１０９からのポーズ指示に従い、１０８０ｉマスタのインターレース信号を表示部１０４と外部ＩＦ１０５に出力する。これにより、図４に示す例では、フレーム０の画像がポーズ画面として表示される。この際、フィールド期間毎に交互に表示されるＴＯＰ０とＢＯＴＴＯＭ０の画像は、元の１０８０ｐにおける同じフレームの画像なので、フィールド間の動きが無い高精細な静止画が表示される。 For example, in FIG. 4, there is a pause instruction during the reproduction of frame 0, and the PI conversion unit 201 repeatedly reads out the data of frame 0 from the memory 103. Then, as described above, a 1080i master and a 1080i slave are generated from the 1080p data of one frame read out. The II conversion unit 202 outputs a 1080i master interlace signal to the display unit 104 and the external IF 105 in accordance with a pause instruction from the CPU 109. Thereby, in the example shown in FIG. 4, the image of frame 0 is displayed as a pause screen. At this time, since the TOP0 and BOTTOM0 images alternately displayed for each field period are the same frame images in the original 1080p, a high-definition still image with no movement between fields is displayed.

スロー再生時における画像処理部１０２の動作を説明する。図５は、プログレッシブ動画像データのスロー再生中に再生ポーズの指示があったときの、画像処理部１０２の動作タイミング例を示す。図５に示す各信号の名称は、図３に示したものと同じである。図５は、１０８０ｉｆの立ち下がりのタイミングでＴＯＰの画像を出力するタイミング例を示す。 The operation of the image processing unit 102 during slow playback will be described. FIG. 5 shows an example of operation timing of the image processing unit 102 when a playback pause instruction is given during slow playback of progressive video data. The names of the signals shown in FIG. 5 are the same as those shown in FIG. FIG. 5 shows an example of timing for outputting a TOP image at the fall timing of 1080if.

動画の通常再生中にスロー再生の指示があると、ＣＰＵ１０９は、メモリ１０３に記憶された各フレームの再生動画像データを、１フレームについて二回ずつ読み出すように指示する。ＰＩ変換部２０１は、１０８０ｉｆの立ち下がりのタイミングで、メモリ１０３から読み出すフレームを切り替える。ＩＩ変換部２０２は、マスタインターレース信号を選択して表示部１０４と外部ＩＦ１０５に出力する。この結果、１０８０ｉｆの立ち下がりのタイミングで、表示画面が更新される。 When there is an instruction for slow playback during normal playback of a moving image, the CPU 109 instructs to read the playback moving image data of each frame stored in the memory 103 twice for each frame. The PI conversion unit 201 switches the frame to be read from the memory 103 at the fall timing of 1080if. The II conversion unit 202 selects the master interlace signal and outputs it to the display unit 104 and the external IF 105. As a result, the display screen is updated at the fall timing of 1080if.

図６は、プログレッシブ動画像データの再生中に再生ポーズの指示があったときの、画像処理部１０２の他の動作タイミング例を示す。図６に示す各信号の名称は、図３に示したものと同じである。図６に示す例は、１０８０ｉｆの立ち上がりのタイミングで表示画面を更新する場合を示す。 FIG. 6 shows another operation timing example of the image processing unit 102 when a playback pause instruction is given during playback of progressive video data. The names of the signals shown in FIG. 6 are the same as those shown in FIG. The example shown in FIG. 6 shows a case where the display screen is updated at the rise timing of 1080if.

例えば、１／３倍速のスロー再生の場合、同じフレームの画面を三回ずつ表示する必要があるが、その場合、本来は、１０８０ｉｆの立ち上がりのタイミングで表示画面を更新しなければならない。しかし、１０８０ｉｆの立ち上がりのタイミングで表示画面を変更すると、元の１０８０ｐ信号において別のフレームの画像がＴＯＰフィールドとＢＯＴＴＯＭフィールドとして表示されてしまう。 For example, in the case of slow playback at 1/3 speed, it is necessary to display the screen of the same frame three times, but in that case, the display screen must be updated at the timing of 1080if rise. However, if the display screen is changed at the rise timing of 1080if, an image of another frame is displayed as a TOP field and a BOTTOM field in the original 1080p signal.

このような場合、ＩＩ変換部２０２は、図６に示す様に、マスタインターレース信号のＴＯＰ０と同じフィールド期間に入力されるスレーブインターレース信号のＢＯＴＴＯＭ０信号をメモリ１０３に記憶する。そして、１０８０ｉｆの立ち上がりのタイミングでは、ＩＩ変換部２０２は、メモリ１０３に記憶しておいたＢＯＴＴＯＭ０の信号を選択して、表示部１０４と外部ＩＦ１０５に出力する。更に、次のフィールド期間からは、再度、マスタインターレース信号を選択して出力する。 In such a case, as illustrated in FIG. 6, the II conversion unit 202 stores the BOTTOM0 signal of the slave interlace signal input in the same field period as TOP0 of the master interlace signal in the memory 103. At the rise timing of 1080if, the II conversion unit 202 selects the BOTTOM0 signal stored in the memory 103 and outputs it to the display unit 104 and the external IF 105. Further, from the next field period, the master interlace signal is selected and output again.

このように、本実施例では、プログレッシブ動画像データを２系統のインターレース動画像データに変換し、出力先の表示形態に応じて、インターレース動画像データとプログレッシブの動画像データを切り替えて出力する。これにより、回路規模と消費電力を抑えながら、高精細な動画像を扱うことが可能となる。 As described above, in this embodiment, the progressive moving image data is converted into two systems of interlaced moving image data, and the interlaced moving image data and the progressive moving image data are switched and output according to the display form of the output destination. This makes it possible to handle high-definition moving images while suppressing the circuit scale and power consumption.

Claims

PI conversion means for converting input progressive video data into two systems of interlaced video data;
II conversion means for generating one system of interlaced video data from the two systems of interlaced video data output from the PI converter;
Display means for displaying the interlaced moving image data of the one system from the II conversion means;
IP conversion means for generating progressive video data from the two systems of interlaced video data output from the PI conversion means;
Output means for selecting one of the interlaced moving image data output from the II converting means and the progressive moving image data output from the IP converting means and outputting the selected data to an external display device. An image processing apparatus.

The output means selects the one-line interlaced video data output from the II conversion means when the display format of the external display device is an interlace format, and the display format of the external display device is a progressive format. 2. The image processing apparatus according to claim 1, wherein the progressive moving image data output from the IP conversion unit in the case of is selected.

3. The image processing apparatus according to claim 1, wherein a field frequency of the two systems of interlaced moving image data output from the PI conversion unit is equal to a frame frequency of the input progressive moving image data.