JP2009033604A - Video signal coding apparatus and method - Google Patents

Video signal coding apparatus and method Download PDF

Info

Publication number
JP2009033604A
JP2009033604A JP2007197181A JP2007197181A JP2009033604A JP 2009033604 A JP2009033604 A JP 2009033604A JP 2007197181 A JP2007197181 A JP 2007197181A JP 2007197181 A JP2007197181 A JP 2007197181A JP 2009033604 A JP2009033604 A JP 2009033604A
Authority
JP
Japan
Prior art keywords
quality mode
image quality
encoding
video signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007197181A
Other languages
Japanese (ja)
Inventor
Takayuki Sato
貴之 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2007197181A priority Critical patent/JP2009033604A/en
Publication of JP2009033604A publication Critical patent/JP2009033604A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To code a scene that a user regards important, easily with high image quality when performing compression coding on a video signal. <P>SOLUTION: When a user turns on a high image quality mode selection button (OD) 125, a command of a high image quality mode is outputted from a system control section 19 to a rate control section 28 of a compression coding section 20, and the rate control section 28 instructs a quantization section 24 and a de-quantization section 29 to change a quantization scale. Then, the quantization section 24 and de-quantization section 29 quantize a video signal so as to obtain an average coding rate of high image quality mode higher than an average coding rate of normal image quality mode. Thus, a scene important for the user can be easily coded with high image quality approximately without increasing costs. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

この発明は、映像信号を圧縮符号化して記録する映像信号符号化装置および方法に関する。   The present invention relates to a video signal encoding device and method for compressing and recording a video signal.

映像信号を圧縮符号化して記録する際に、例えば、記録媒体の残り容量に対する記録時間の効率より記録画質を優先するため、符号化レートを入力映像信号に応じて変化させる映像信号符号化装置がある。本装置では、入力映像が複雑な場合、平均符号化レートを下回らないように符号化レートを設定すると共に、残りの記録媒体の容量や記録可能時間等を表示パネルに表示している(例えば、特許文献1参照。)。
特開2001−197437号公報
When a video signal is compressed and encoded and recorded, for example, a video signal encoding device that changes the encoding rate according to the input video signal in order to prioritize the recording image quality over the recording time efficiency with respect to the remaining capacity of the recording medium. is there. In this apparatus, when the input video is complicated, the encoding rate is set so as not to be lower than the average encoding rate, and the capacity of the remaining recording medium and the recordable time are displayed on the display panel (for example, (See Patent Document 1).
JP 2001-197437 A

しかし、上述の従来技術では、比較的記録媒体の残り容量が潤沢にある場合を想定しており、ユーザが特に重要としていない撮影期間に対しても、符号量すなわち記録残量を消費してしまう、という問題があった。   However, in the above-described conventional technology, it is assumed that the remaining capacity of the recording medium is relatively large, and the code amount, that is, the remaining recording amount is consumed even for a shooting period that is not particularly important by the user. There was a problem.

また、符号化レートの上限、または記録開始後の所定時間内の符号化レートを用いる記録可能時間の推測で、正確な記録可能時間をユーザに表示できない問題があった。   In addition, there is a problem that an accurate recordable time cannot be displayed to the user by estimating the recordable time using the upper limit of the encoding rate or the encoding rate within a predetermined time after the start of recording.

そこで、本発明は、映像信号を圧縮符号化する際、ユーザが重要と考えるシーンを簡単に高画質で符号化することができる映像信号符号化装置および方法を提供することを目的とする。   Therefore, an object of the present invention is to provide a video signal encoding apparatus and method that can easily encode a scene considered important by a user with high image quality when compressing and encoding a video signal.

上記目的を達成するため、本発明では、映像信号を圧縮符号化する際、高画質モードの指令が出力された場合、通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートに基づいて前記映像信号を圧縮符号化する。ここで、映像信号がMPEG方式であり、高画質モードの指令が出力され、通常画質モード時の目標符号化レートより高い高画質モードの目標符号化レートに変更して映像信号を圧縮符号化する場合、高画質モードの目標符号化レートは、MPEG方式による圧縮符号化の映像信号のシーケンスヘッダに含まれる最大符号化レート以内で変更すると良い。また、映像信号をフレーム内予測符号化により圧縮符号化する場合は、高画質モードの指令が出力された場合、通常画質モードの場合よりフレーム内予測符号化の際の画素ブロックサイズを小さくしても良い。また、映像信号をフレーム間予測符号化により圧縮符号化する場合、高画質モードの指令が出力された場合、通常画質モード時の目標符号化レートより高い高画質モードの目標符号化レートに変更して映像信号を圧縮符号化するように、通常画質モードの場合よりフレーム間予測符号化の際のベクトル探索部分画像サイズを小さくするようにしても良い。   In order to achieve the above object, in the present invention, when a high-quality mode command is output when compressing and encoding a video signal, the average coding rate of the high-quality mode is higher than the average coding rate in the normal image quality mode. The video signal is compression-encoded based on the above. Here, the video signal is in the MPEG format, a high-quality mode command is output, and the video signal is compression-coded by changing to a target encoding rate of the high-quality mode higher than the target encoding rate in the normal image quality mode. In this case, the target encoding rate in the high image quality mode may be changed within the maximum encoding rate included in the sequence header of the video signal for compression encoding by the MPEG method. Also, when compressing and encoding video signals by intra-frame predictive encoding, when a high-quality mode command is output, the pixel block size for intra-frame predictive encoding is made smaller than in the normal image quality mode. Also good. Also, when compressing and encoding video signals by inter-frame predictive encoding, when a high-quality mode command is output, the target encoding rate of the high-quality mode is higher than the target encoding rate in the normal image quality mode. Thus, the vector search partial image size at the time of inter-frame predictive encoding may be made smaller than in the normal image quality mode so that the video signal is compressed and encoded.

本発明によれば、高画質モードの指令が出力された場合、通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートにより映像信号を圧縮符号化するようにしたので、コストアップをほとんど生じさせることなく、ユーザにとって重要なシーンを簡単に高画質で符号化することができる。   According to the present invention, when a high image quality mode command is output, the video signal is compressed and encoded at an average encoding rate in the high image quality mode higher than the average encoding rate in the normal image quality mode. It is possible to easily encode a scene important for the user with high image quality with almost no increase.

以下、本発明に係る映像信号符号化装置および方法の実施の形態として、記録媒体に光ディスクや、HDD、メモリ、テープ等を用いたビデオカメラを一例として説明する。かかるビデオカメラにおいては、記録する映像、即ち被写体がビデオカメラのユーザにとって貴重なものであることや、非日常的な出来事が生じた場合に使用されることが多いので、保存性と記録画質が重要視されることが多い。特に、符号化方式として、MPEG2やH.264と呼ばれるような高能率符号化部を用いた場合、入力映像に対する最適符号は大きく変化するために、一般に符号化レートを固定するのでなく、可変させることによって、さらなる高画質化と、長時間記録化を行うことが多い。本実施の形態では、ディジタル方式のビデオカメラについて詳しく説明する。   Hereinafter, as an embodiment of a video signal encoding apparatus and method according to the present invention, a video camera using an optical disk, HDD, memory, tape, or the like as a recording medium will be described as an example. In such a video camera, since the video to be recorded, that is, the subject is valuable for the video camera user, or is used in an unusual event, the storability and the recording image quality are high. Often emphasized. In particular, MPEG2 and H.264 are used as encoding methods. When a high-efficiency encoding unit called H.264 is used, the optimum code for the input video changes greatly. Generally, the encoding rate is not fixed, but is made variable, thereby further improving the image quality and increasing the time. Often recorded. In this embodiment, a digital video camera will be described in detail.

実施の形態1. Embodiment 1 FIG.

図1は、本発明の映像信号符号化装置の実施の形態1の構成例を示すブロック図である。   FIG. 1 is a block diagram showing a configuration example of Embodiment 1 of a video signal encoding apparatus of the present invention.

図1において、この映像信号符号化装置は、符号化装置としてMPEG2方式を用い、入力映像をディジタル変換して記録するビデオカメラを想定しており、記録媒体としてのHDD10と、CCDセンサ11と、カメラ信号処理DSP部12と、文字発生部13と、LCD制御部14と、LCD表示パネル15と、操作部である操作ボタン16と、カメラ制御部17と、バッファRAM18と、制御部としてのシステムコントロール部19と、システム内部バス19aと、圧縮符号化部20と、を有している。なお、図1では、HDD10に記録された符号化データを復号して再生する復号再生部分の構成は省略しているが、勿論、復号再生部分の構成を有していても勿論よい。   In FIG. 1, this video signal encoding apparatus is assumed to be a video camera that uses the MPEG2 system as an encoding apparatus and digitally converts and records an input video, and includes an HDD 10 as a recording medium, a CCD sensor 11, Camera signal processing DSP unit 12, character generation unit 13, LCD control unit 14, LCD display panel 15, operation button 16 as an operation unit, camera control unit 17, buffer RAM 18, and system as a control unit A control unit 19, a system internal bus 19a, and a compression encoding unit 20 are provided. In FIG. 1, the configuration of the decoding / reproducing portion for decoding and reproducing the encoded data recorded in the HDD 10 is omitted. Of course, the configuration of the decoding / reproducing portion may be used.

操作部16は、ユーザが記録や再生のコマンドを実行するためのボタン等であり、タッチパネル式のLCD表示パネル15を使用した場合には、LCD表示パネル15が操作部16を兼ねることになる。   The operation unit 16 is a button or the like for a user to execute a recording or reproduction command. When the touch panel type LCD display panel 15 is used, the LCD display panel 15 also serves as the operation unit 16.

図2は、実施の形態1の映像信号符号化装置を応用したビデオカメラの外観と操作ボタンの配置例を示した図である。   FIG. 2 is a diagram illustrating an appearance of a video camera to which the video signal encoding apparatus according to the first embodiment is applied and an example of operation button arrangement.

図2(a)はLCD表示パネル15を開いた状態のビデオカメラの背面、同(b)はビデオカメラ本体100を閉じた状態のビデオカメラ側面を示している。   2A shows the rear surface of the video camera with the LCD display panel 15 opened, and FIG. 2B shows the side surface of the video camera with the video camera body 100 closed.

そして、ビデオカメラ本体100には、オン・オフにより撮影および記録の開始または終了をするための撮影操作ボタン(REC)121と、ズームボタン(ZOOM)122と、メニューボタン(MENU)123と、電源ボタン(POWER)124の他に、オン・オフにより後述する高画質モードの選択ボタンである高画質モード選択ボタン(OD)125等が設けられている。   The video camera body 100 includes a shooting operation button (REC) 121, a zoom button (ZOOM) 122, a menu button (MENU) 123, a power source, and the like for starting and ending shooting and recording by turning on and off. In addition to the button (POWER) 124, an image quality mode selection button (OD) 125, which is a selection button for an image quality mode, which will be described later, is provided by turning it on and off.

また、LCD表示パネル15の表示画面には、撮影映像の上に、操作部16からの指示などによりカメラ制御部17を介し文字発生部13が発生した文字である符号化レートが通常画質モードか、または本実施の形態の特徴である高画質モードかを示す画質モードが表示される。そして、ユーザが被写体を見て一時的に高画質にして記録したい場合に高画質モード選択ボタン(OD)125ボタンを押すと、LCD表示パネル15の表示画面に「高画質モード(OD)」等のメッセージが表示されると共に、システムコントロール部19に高画質モードの指示が出力され、量子化部24が制御される。これにより、図4の特性のように符号化レートが制御され、高画質モード選択ボタン(OD)125ボタンがオンされている間のみ、高画質で記録を行うことができる。   In addition, the display screen of the LCD display panel 15 indicates whether the encoding rate, which is a character generated by the character generation unit 13 via the camera control unit 17 by an instruction from the operation unit 16 or the like on the captured image, is in the normal image quality mode. Or, an image quality mode indicating whether the image quality mode is a feature of the present embodiment is displayed. When the user wants to record with a high image quality by looking at the subject, when the high image quality mode selection button (OD) 125 button is pressed, “high image quality mode (OD)” or the like is displayed on the display screen of the LCD display panel 15. Is displayed, a high-quality mode instruction is output to the system control unit 19, and the quantization unit 24 is controlled. As a result, the encoding rate is controlled as in the characteristics of FIG. 4, and recording can be performed with high image quality only while the high image quality mode selection button (OD) 125 button is on.

よって、このビデオカメラのユーザは、比較的一般的な被写体を録画していて、急に貴重な被写体に遭遇した場合に、高画質モード選択ボタン(OD)125をオンすることにより、即座に高画質モードに切り替えられることができる。   Therefore, when the user of this video camera is recording a relatively general subject and suddenly encounters a precious subject, the user can immediately turn on the high image quality mode selection button (OD) 125 to turn on the high It can be switched to an image quality mode.

また、本実施の形態では、システムコントロール部19の制御により、LCD表示パネル15に撮影する日付と時刻の表示、バッテリの残り容量の表示、記録媒体であるHDD10の記録可能な残り時間の表示、記録開始からの経過時間を表示する。ここで残り時間の表示は、標準画質モードにて記録を行った場合、即ち今後、高画質モードをONにしなかった場合の残り時間を表示するようにする。   In the present embodiment, under the control of the system control unit 19, display of the date and time of shooting on the LCD display panel 15, display of the remaining battery capacity, display of the remaining recordable time of the HDD 10 as a recording medium, The elapsed time from the start of recording is displayed. Here, the remaining time is displayed when the recording is performed in the standard image quality mode, that is, when the image quality mode is not turned on in the future.

よって、このビデオカメラのユーザは、例えば、高画質モード選択ボタン(OD)125をオンにしていて高画質モードで録画していて、LCD表示パネル15に表示されるHDD10の残り記録可能時間の減少に気がついた場合には、高画質モードをオフ操作することを控えることにより、HDD10の記録時間の残りを節約し、貴重な映像を撮り逃すことを無くすことができる。その結果、この表示により、ユーザはいつでも記録媒体の残量が無くなっていないことを監視できるので、被写体の撮影に集中することが可能となる。   Therefore, the user of this video camera, for example, is recording in the high image quality mode with the high image quality mode selection button (OD) 125 turned on, and the remaining recordable time of the HDD 10 displayed on the LCD display panel 15 is reduced. If the user notices the above, by turning off the high image quality mode, the remaining recording time of the HDD 10 can be saved, and it is possible to avoid missing a valuable video. As a result, this display allows the user to monitor that the remaining amount of the recording medium has not run out at any time, so that the user can concentrate on shooting the subject.

また、高画質モードをONにした時、そのままONにした場合の残り時間の計算も可能であり、これを表示することによりユーザは最も厳しい場合の記録可能時間を知ることができる。つまり、高画質モードOFF時も表示を切り替えながら両者の記録可能時間を知ることができる。このように最大値か最小値のいずれか一方で計算した残り記録時間のみの表示でもよいが、例えば表示を複数行にわたる表示としてこれらを同時に表示できるようにしてもよい。   Further, when the high image quality mode is turned on, the remaining time when the image quality mode is turned on can be calculated. By displaying this, the user can know the recordable time in the strictest case. That is, it is possible to know the recordable time of both while switching the display even when the high image quality mode is OFF. As described above, only the remaining recording time calculated with either the maximum value or the minimum value may be displayed. However, for example, the display may be displayed as a plurality of lines and displayed simultaneously.

記録媒体であるHDD10の記録可能な残り時間を表示する場合、上記符号化レートの最大値と最小値だけでは撮影の実用的な使い方と一致しない場合もある。この場合、撮影を開始してからの高画質モードがONされた合計時間とOFFのときの合計時間をカウントしておき、この値を元に下記式1により、撮影中に使用した発生符号量を計算できる。   When displaying the remaining recordable time of the HDD 10 as a recording medium, the maximum and minimum values of the encoding rate may not match the practical usage of shooting. In this case, the total time when the high image quality mode is turned on since the start of shooting and the total time when it is turned off are counted. Based on this value, the generated code amount used during shooting is calculated according to the following equation (1). Can be calculated.

発生符号量=[HMr[Mbps]×HMt[s]/ (HMt[s]+SMt[s])]
+{SMr[Mbps]×SMt[s]/ (HMt[s]+SMt[s])} …(式1)
Generated code amount = [HMr [Mbps] × HMt [s] / (HMt [s] + SMt [s])]
+ {SMr [Mbps] × SMt [s] / (HMt [s] + SMt [s])} (Formula 1)

ここで、HMr[Mbps]は標準画質モードの平均符号化レート、HMt[s]は標準画質モードでの撮影時間累計である。また、SMr[Mbps]は高画質モードの平均符号化レート、SMt[s]は高画質モードでの撮影時間累計である。   Here, HMr [Mbps] is the average coding rate in the standard image quality mode, and HMt [s] is the total shooting time in the standard image quality mode. SMr [Mbps] is the average coding rate in the high image quality mode, and SMt [s] is the total shooting time in the high image quality mode.

システムコントロール部19は、このようにして求めた発生符号量からHDD10の残り記録時間を計算して、ファインダとしてのLCD表示パネル15等に表示する。これにより、ユーザの実情にあった表示を容易に出すことができる。なお、上記式1において、両モードの撮影時間の比率として、過去の撮影時のデータを保存したものを使用しても勿論よい。   The system control unit 19 calculates the remaining recording time of the HDD 10 from the generated code amount thus obtained and displays it on the LCD display panel 15 or the like as a finder. Thereby, the display suitable for a user's actual condition can be taken out easily. In the above formula 1, it is of course possible to use the data obtained by storing the data of the past shooting as the ratio of the shooting time in both modes.

次に本装置の動作を説明する。   Next, the operation of this apparatus will be described.

まず、CCDセンサ11は、光学レンズ(図示せず)を介し得た被写体画像を光電変換してカメラ信号処理DSP部12へ出力する。その際、CCDセンサ11は、光学系における信号レベルの変化をAGC回路などによって所定の信号レベルに設定した後A/D変換して、アナログ信号からディジタル信号にして、カメラ信号処理DSP部12へ出力する。   First, the CCD sensor 11 photoelectrically converts a subject image obtained via an optical lens (not shown) and outputs the subject image to the camera signal processing DSP unit 12. At that time, the CCD sensor 11 sets a change in the signal level in the optical system to a predetermined signal level by an AGC circuit or the like, and then performs A / D conversion to convert the analog signal into a digital signal and to the camera signal processing DSP unit 12. Output.

カメラ信号処理DSP部12では、CCDセンサ11から入力したデジタル信号を、一般のY,U,Vの例えば16bitのパラレルデータに変換して圧縮符号化部20へ出力する。また、カメラ信号処理DSP部12は、CCDセンサ11に必要な駆動パルスやビデオ出力に必要な同期信号を生成し、各部に供給する。このときカメラ制御部17は、光学系の状態やCCDセンサ11から得られた映像情報と、カメラ全体の操作から得られた情報によりカメラ信号処理DSP部12を最適に制御する。また同時に、ジャイロなどを用いた角速度センサなどのアナログ出力を、AD変換した後にカメラ制御部17に取り込み、CCDセンサ11の駆動パルスを制御する。これにより、ユーザがカメラを持つ手を振った場合のいわゆる手振れの状態でも、比較的安定した画像をカメラ信号処理DSP部12が得るようにコントロールされる。   In the camera signal processing DSP unit 12, the digital signal input from the CCD sensor 11 is converted into general Y, U, V, for example, 16-bit parallel data and output to the compression encoding unit 20. Further, the camera signal processing DSP unit 12 generates drive pulses necessary for the CCD sensor 11 and synchronization signals necessary for video output, and supplies them to each unit. At this time, the camera control unit 17 optimally controls the camera signal processing DSP unit 12 based on the state of the optical system, the video information obtained from the CCD sensor 11, and the information obtained from the operation of the entire camera. At the same time, an analog output such as an angular velocity sensor using a gyro or the like is AD converted and then taken into the camera control unit 17 to control the drive pulse of the CCD sensor 11. Thus, even when the user shakes his / her hand holding the camera, the camera signal processing DSP unit 12 is controlled so as to obtain a relatively stable image.

圧縮符号化部20では、カメラ信号処理DSP部12からの映像データをMPEG2符号化形式により約1/60程度に圧縮符号化して、システムコントロール部19の命令に従ってシステム内部バス19aに出力される。なお、音声信号は図示されていないが、カメラに内蔵されたマイクより得た信号をA/D変換し、例えば、システムコントロール部19の中でソフト処理として圧縮される。勿論、音声圧縮符号化用の圧縮符号化部を設けるようにしても勿論よい。そして、音声の圧縮符号化データと、圧縮符号化部20から出力された映像の圧縮符号化データとがマルチプレクスされて、MPEGデータストリームが生成される。   The compression encoding unit 20 compresses and encodes the video data from the camera signal processing DSP unit 12 to about 1/60 in the MPEG2 encoding format, and outputs the compressed data to the system internal bus 19a in accordance with a command from the system control unit 19. Although the audio signal is not shown, the signal obtained from the microphone built in the camera is A / D converted and compressed as software processing in the system control unit 19, for example. Of course, a compression encoding unit for audio compression encoding may be provided. The audio compression encoded data and the video compression encoded data output from the compression encoding unit 20 are multiplexed to generate an MPEG data stream.

そして、システムコントロール部19は、HDD10が受ける振動や衝撃による書き込みエラーを回避するため、このMPEGデータストリームをバッファRAM18を介しHDD10に記録する。   Then, the system control unit 19 records the MPEG data stream on the HDD 10 via the buffer RAM 18 in order to avoid a write error due to vibration or shock received by the HDD 10.

次に、HDD10から映像データを再生する場合について説明する。   Next, a case where video data is reproduced from the HDD 10 will be described.

基本的に上述の記録のときとは逆方向に信号が流れる。まず、HDD10から記録データが読み取られる。そして、MPEG2映像ストリームとしてシステム内部バス19aに出力される。このとき、記録と同様にHDD10が受ける衝撃により読み出し途中でデータ読み取りエラーが発生しても、バッファRAM18が数秒間程度のデータ蓄積を行うので、実用上問題なく映像の連続再生ができる。システム内部バス19aの映像および音声データは、システムコントロール部19の命令によりその転送が制御される。   Basically, a signal flows in the opposite direction to the above recording. First, recorded data is read from the HDD 10. Then, it is output to the system internal bus 19a as an MPEG2 video stream. At this time, even if a data reading error occurs during reading due to the impact received by the HDD 10 as in the case of recording, the buffer RAM 18 accumulates data for about several seconds, so that video can be continuously reproduced without practical problems. Transfer of video and audio data on the system internal bus 19a is controlled by a command from the system control unit 19.

そして、システムコントロール部19の制御により、元の映像データは圧縮符号化部20の伸張動作により復元され、記録と同様に16bitパラレル信号でカメラ信号処理DSP部12によりNTSC信号に変換された後、LCD制御部14を通りLCD表示パネル15に再生画像として表示される。同様にカメラ信号処理DSP部12からはNTSCビデオ信号が出力されるので、カメラに備えられたビデオ出力端子(図示せず)から外部のTVにも表示可能となっている。   Then, under the control of the system control unit 19, the original video data is restored by the decompression operation of the compression encoding unit 20, and is converted into an NTSC signal by the camera signal processing DSP unit 12 as a 16-bit parallel signal in the same manner as recording. The image is displayed as a reproduced image on the LCD display panel 15 through the LCD control unit 14. Similarly, since the NTSC video signal is output from the camera signal processing DSP unit 12, it can be displayed on an external TV from a video output terminal (not shown) provided in the camera.

次に、圧縮符号化部20とシステムコントロール部19とにより、映像データの符号化レートを制御する処理について詳しく説明する。   Next, processing for controlling the encoding rate of video data by the compression encoding unit 20 and the system control unit 19 will be described in detail.

図3は、図1に示す圧縮符号化部20の構成例を示すブロック図である。   FIG. 3 is a block diagram illustrating a configuration example of the compression encoding unit 20 illustrated in FIG. 1.

図3において、圧縮符号化部20は、画像並換部21と、減算器22と、DCT部23と、量子化部24と、VLC部25と、バッファメモリ部26と、システムコントロール部19と、レート制御部28と、逆量子化部29と、逆DCT部30と、加算器31と、第1のフレームメモリ32と、動き補償部33と、動き検出部34と、第2のフレームメモリ35とを有している。なお、システムコントロール部19は、図1に示すシステムコントロール部19と同一である。   In FIG. 3, the compression encoding unit 20 includes an image translating unit 21, a subtractor 22, a DCT unit 23, a quantization unit 24, a VLC unit 25, a buffer memory unit 26, a system control unit 19, and the like. The rate control unit 28, the inverse quantization unit 29, the inverse DCT unit 30, the adder 31, the first frame memory 32, the motion compensation unit 33, the motion detection unit 34, and the second frame memory 35. The system control unit 19 is the same as the system control unit 19 shown in FIG.

次に、図3に示す圧縮符号化部20の動作を説明する。   Next, the operation of the compression encoding unit 20 shown in FIG. 3 will be described.

まず、カメラ信号処理DSP部12にてディジタル化されたビデオ信号が圧縮符号化部20へ入力すると、圧縮符号化部20では、まず、画像並換え部21はそのビデオ信号を入力して、MPEG2規格の例えばメインプロファイル(Main Profile at Main Level)等の符号化がしやすいように並び替え、フレーム間モードであれば減算器22や動き検出部34へ、フレーム内モードであればDCT部23へ出力する。   First, when the video signal digitized by the camera signal processing DSP unit 12 is input to the compression encoding unit 20, in the compression encoding unit 20, first, the image rearrangement unit 21 inputs the video signal, and MPEG2 For example, the main profile (Main Profile at Main Level) is rearranged so that it can be easily coded. If the inter-frame mode, the subtracter 22 and the motion detector 34 are arranged. If the intra-frame mode, the DCT unit 23 is arranged. Output.

動き検出部34では、画像並び替え部21から出力された映像データを入力して動きベクトルを検出し動き補償部33に出力する。動き補償部33では、動き検出部34から得られた動きベクトルによって、時間的に前後する画像を映像の動き量分だけずらせた参照画像と、テンプレートと呼ばれる映像データから抽出した基準画像との差分データを発生し、DCT部23へ出力する。   The motion detection unit 34 receives the video data output from the image rearrangement unit 21, detects a motion vector, and outputs it to the motion compensation unit 33. In the motion compensation unit 33, the difference between the reference image obtained by shifting the temporally moving image by the amount of motion of the video by the motion vector obtained from the motion detection unit 34 and the reference image extracted from the video data called a template. Data is generated and output to the DCT unit 23.

DCT部23は、映像信号の周波数成分を分解することができ、入力映像に平坦な面積が多い画面が入力されると、低域成分に集中した符号データを出力する。一方、入力映像に細かい部分が多い画面が入力されると、高域成分が沢山発生した符号データを出力する。   The DCT unit 23 can decompose the frequency components of the video signal. When a screen with a large flat area is input to the input video, the DCT unit 23 outputs code data concentrated on the low frequency components. On the other hand, when a screen with many fine parts is input to the input video, code data in which a lot of high frequency components are generated is output.

量子化部24は、DCT部23が出力した周波数成分に分解した符号を、特に高周波部分についてディジタル的に間引き、量子化を行う。間引く量を減らして、DCT部23が出力した映像データに近い符号に量子化すれば、入力映像に忠実な高精細な映像が得られる。反対に、間引く間隔を広くすれば、発生する符号量は減少して、圧縮符号化部20全体の圧縮率は向上するが画質が損なわれるという特徴がある。   The quantization unit 24 digitally thins out the code decomposed into the frequency components output from the DCT unit 23, particularly in the high frequency portion, and performs quantization. If the amount to be thinned out is reduced and quantized to a code close to the video data output by the DCT unit 23, a high-definition video faithful to the input video can be obtained. On the contrary, if the thinning interval is widened, the generated code amount is reduced, and the compression rate of the entire compression encoding unit 20 is improved, but the image quality is impaired.

VLC部25は、量子化された符号を可変長符号化と呼ばれる法則に従ってデータ圧縮してバッファメモリ部26へ符号化データとして出力する。この符号化データが、最終的にHDD10などの記録媒体に記録される記録データとなる。   The VLC unit 25 compresses the quantized code according to a law called variable length coding, and outputs the compressed code to the buffer memory unit 26 as encoded data. This encoded data is finally recorded data that is recorded on a recording medium such as the HDD 10.

このとき、システムコントロール部19は、圧縮符号化部20全体にて発生する単位時間当たりのデータの符号量を制御する必要がある。そのため、システムコントロール部19は、ビデオカメラの画質として妥当な符号化レートに従ってレート制御部28に指示を送り、量子化部24のデータ間引き量を制御する。   At this time, the system control unit 19 needs to control the code amount of data per unit time generated in the entire compression encoding unit 20. Therefore, the system control unit 19 sends an instruction to the rate control unit 28 according to an encoding rate appropriate for the image quality of the video camera, and controls the data thinning amount of the quantization unit 24.

MPEG2方式を用いたビデオカメラでは、いわゆる複雑な映像、例えば入力映像の動き成分が大きく、TV信号における水平方向と垂直方向の高周波成分が多いような映像の場合、記録する映像の画質改善を図るために入力される映像に応じてレート制御を動作させ、符号化レートを逐次可変しながら記録することが一般に知られている。このとき、ビデオカメラの画質として適切な符号化レート以上の符号化レートで記録を行う必要がある。   In a video camera using the MPEG2 system, in the case of a so-called complex video, for example, a video in which the motion component of the input video is large and the TV signal has many high-frequency components in the horizontal and vertical directions, the image quality of the recorded video is improved. For this reason, it is generally known that recording is performed while the rate control is operated in accordance with the input video and the encoding rate is successively varied. At this time, it is necessary to perform recording at an encoding rate that is equal to or higher than the encoding rate appropriate for the video camera image quality.

次に、本実施の形態における符号量のレート制御について説明する。   Next, code amount rate control in the present embodiment will be described.

本実施の形態では、ビデオカメラの記録モード選択の中に、高画質モードの専用モードを設けている。   In this embodiment, a dedicated mode of the high image quality mode is provided in the recording mode selection of the video camera.

図4は、実施の形態1における標準画質モードと高画質モードとの動作を示すフローチャートである。   FIG. 4 is a flowchart showing operations in the standard image quality mode and the high image quality mode in the first embodiment.

まず、本実施の形態では、通常の標準画質モードの平均符号化レート目標値として、例えば記録される映像の動きや複雑さに応じて例えば平均3[Mbps]を設定すると共に(ステップS410)、高画質モードの平均符号化レート目標値として、平均6[Mbps]を設定する(ステップS420)。ここで、どちらのモードでも、バッファメモリ部26がVBVバッファ(Video Buffering Verifier)としてオーバフローも、アンダーフローもしないようシステムコントロール部19が制御する。   First, in this embodiment, for example, an average of 3 [Mbps] is set as the average encoding rate target value in the normal standard image quality mode, for example, according to the motion and complexity of the recorded video (step S410). An average of 6 [Mbps] is set as the average encoding rate target value in the high image quality mode (step S420). Here, in either mode, the system controller 19 controls the buffer memory unit 26 as a VBV buffer (Video Buffering Verifier) so that neither overflow nor underflow occurs.

そして、撮影を開始すると、システムコントロール部19の制御により、標準画質モードにて記録を行う(ステップS430)。   Then, when shooting is started, recording is performed in the standard image quality mode under the control of the system control unit 19 (step S430).

その際、ビデオカメラのユーザによって高画質モードボタンが押されなければ(ステップS440“NO”)、そのまま撮影が終了(ステップS470“YES”)するまで、ステップS430に戻り標準画質モードでデータ記録を続ける。   At this time, if the high image quality mode button is not pressed by the user of the video camera (step S440 “NO”), the process returns to step S430 until data recording is completed (step S470 “YES”), and data recording is performed in the standard image quality mode. to continue.

これに対し、ビデオカメラのユーザによって高画質モードボタンがオンされた場合(ステップS440“YES”)、ユーザによって高画質モードボタンがオフされるまでの間(ステップS440“NO”)、システムコントロール部19は、通常の符号化レートの通常画質モードから一時的に高画質モードに変更する(ステップS450)。そして、ユーザによって高画質モードボタンがオフされた場合(ステップS460“YES”)、ステップS430により標準画質モードでデータ記録を続ける。   On the other hand, when the high image quality mode button is turned on by the user of the video camera (step S440 “YES”), the system control unit until the high image quality mode button is turned off by the user (step S440 “NO”). 19 temporarily changes from the normal image quality mode at the normal encoding rate to the high image quality mode (step S450). When the high image quality mode button is turned off by the user (step S460 “YES”), data recording is continued in the standard image quality mode in step S430.

図5は、通常モード記録中に発明における高画質モードをオン、オフした場合の符号化レートの変化を示した図である。   FIG. 5 is a diagram showing a change in the coding rate when the high image quality mode in the invention is turned on / off during normal mode recording.

どちらのモードも入力映像の複雑さに応じてレート制御を動作させて記録動作を行う時の符号化レートの変化がある。例えば、高画質モードがオフ時は、平均符号化レートが図5に示す標準画質モードのように、目標符号化レートが3[Mbps]になるようにレート制御を行う。つまり、レート制御部28は、システムコントロール部19からの指示により、3[Mbps]の目標符号化レートを基準にして、入力画像が複雑で動的な場合は、それに応じて符号量を増加する一方、比較的簡素な画像では、符号量を抑えて、平均符号量が3[Mbps]になるように符号化を行う。   In both modes, there is a change in the encoding rate when recording is performed by operating the rate control according to the complexity of the input video. For example, when the high image quality mode is off, rate control is performed such that the target encoding rate is 3 [Mbps], as in the standard image quality mode shown in FIG. That is, when the input image is complex and dynamic based on the target encoding rate of 3 [Mbps], the rate control unit 28 increases the code amount accordingly according to an instruction from the system control unit 19. On the other hand, for a relatively simple image, encoding is performed such that the code amount is suppressed and the average code amount is 3 [Mbps].

一方、高画質モード時には、システムコントロール部19は、平均符号化レートが図5に示す高画質モードのように、目標符号化レートが6[Mbps]になるようにレート制御を行う。つまり、レート制御部28は、システムコントロール部19からの指示により、6[Mbps]の符号化レートを基準に、入力画像が複雑で動的な場合はそれに応じて符号量は増加し、比較的簡素な画像では、符号量を抑える。   On the other hand, in the high image quality mode, the system control unit 19 performs rate control so that the target coding rate is 6 [Mbps] as in the high image quality mode shown in FIG. That is, when the input image is complex and dynamic based on an encoding rate of 6 [Mbps], the rate control unit 28 increases the code amount accordingly according to an instruction from the system control unit 19. For simple images, the code amount is reduced.

このため、撮影開始から撮影終了まで標準画質モードのみで記録した場合と比較し、ユーザにとっての重要なシーンでの画質向上があり、高画質モードのみで記録した場合と比較して、符号量が抑えられるというメリットがある。   For this reason, there is an improvement in image quality in scenes that are important for the user from the start of shooting to the end of shooting, compared with the case of recording only in the high quality mode, compared to the case of recording only in the standard image quality mode. There is an advantage that it can be suppressed.

また、最大符号化レートと最小符号化レートのみ設定され、映像の内容に比例して符号化レートが増減する画質一定型のVBRと比較しても、記録時間残量判定の精度が向上し、重要なシーンにおける画質確保と符号量の効率化が期待できる。   In addition, even when compared with a constant image quality type VBR in which only the maximum encoding rate and the minimum encoding rate are set and the encoding rate increases or decreases in proportion to the video content, the accuracy of the remaining recording time determination is improved, Ensuring image quality and code efficiency in important scenes can be expected.

ここで、本実施の形態では、2つの異なる平均符号化レートの目標値をもつVBR(Variable Bit Rate)を例に挙げて説明しているが、片方、または両方のモードをCBR(Constant Bit Rate)としてもよい。例えば、標準画質モードを平均3MbpsのVBRとし、高画質モードを6MbpsのCBRとしたり、標準画質モードを平均3MbpsのCBRとし、高画質モードを6MbpsのCBRとすることができる。   In the present embodiment, VBR (Variable Bit Rate) having two different average encoding rate target values is described as an example, but one or both modes are set to CBR (Constant Bit Rate). ). For example, the standard image quality mode can be an average 3 Mbps VBR, the high image quality mode can be 6 Mbps CBR, the standard image quality mode can be an average 3 Mbps CBR, and the image quality mode can be 6 Mbps CBR.

ただし、本実施の形態では、CBR、VBRのいずれに設定にした場合においても、MPEG2符号化データのシーケンスヘッダに区別はない。CBRに設定した場合でも、同一画質モード内でVBRにおけるレート制御の振れ幅を少なくしたものであるとする。   However, in this embodiment, there is no distinction in the sequence header of MPEG2 encoded data regardless of whether the setting is CBR or VBR. Even when the CBR is set, it is assumed that the rate control fluctuation in the VBR is reduced in the same image quality mode.

一般的にMPEG2では、デコーダ側の仮想バッファ(Video Buffering Verifier)が溢れないよう発生符号量を制御するため、MPEG符号化データのシーケンスヘッダに含まれるビットレートバリューと呼ばれる最大符号化レートが設定されている。そのため、撮影を中断せずシームレスに標準画質モードと高画質モードとの切替えを行うために、本実施の形態では、標準画質モードと高画質モードとでこのビットレートバリューと呼ばれる最大符号化レート共通にして、標準画質モードと高画質モードの目標平均符号化レートをその共通の最大符号化レート内で変更する。これは、MPEG符号化データのシーケンスヘッダに含まれるビットレートバリューとよばれる最大符号化レートである限界パラメータは、1シーケンスに1回しか設定できないため、例えば、高画質モード時の目標平均符号化レートを、標準画質モードのMPEG2符号化データのシーケンスヘッダに含まれる最大符号化レートより大きく変更する場合には、最大符号化レートの再設定が必要となり、別のシーケンスとして分割されるため、最低でも0.5秒のブランクが生じるからである。   In general, in MPEG2, in order to control the amount of generated code so that the decoder-side virtual buffer (Video Buffering Verifier) does not overflow, a maximum encoding rate called a bit rate value included in the sequence header of MPEG encoded data is set. ing. Therefore, in order to seamlessly switch between the standard image quality mode and the high image quality mode without interrupting shooting, in this embodiment, the standard image quality mode and the high image quality mode share the maximum coding rate called this bit rate value. Then, the target average encoding rate of the standard image quality mode and the high image quality mode is changed within the common maximum encoding rate. This is because the limit parameter, which is the maximum encoding rate called the bit rate value included in the sequence header of MPEG encoded data, can be set only once per sequence. When the rate is changed to be larger than the maximum encoding rate included in the sequence header of the MPEG2 encoded data in the standard image quality mode, it is necessary to reset the maximum encoding rate and it is divided as another sequence. This is because a 0.5 second blank is generated.

そのため、本実施の形態では、標準画質モードと高画質モード共通の最大符号化レートとして、例えば、図5における3Mbpsの標準画質モードと6Mbpsの高画質モード双方の目標平均符号化レートより高い6Mbps以上の例えば、9Mbpsをシーケンスヘッダに設定しておく。   Therefore, in this embodiment, the maximum encoding rate common to the standard image quality mode and the high image quality mode is, for example, 6 Mbps or higher, which is higher than the target average encoding rate of both the 3 Mbps standard image quality mode and the 6 Mbps image quality mode in FIG. For example, 9 Mbps is set in the sequence header.

すると、システムコントロール部19は、標準画質モードと高画質モードそれぞれの目標平均符号化レートでレート制御しても、シーケンスヘッダに設定された最大符号化レート以内での平均符号化レートの制御であるため、シーケンスを切り替えずに、シームレスな再生が可能な符号化を行うことができる。   Then, the system control unit 19 controls the average coding rate within the maximum coding rate set in the sequence header even if the rate is controlled at the target average coding rate in each of the standard image quality mode and the high image quality mode. Therefore, encoding capable of seamless reproduction can be performed without switching the sequence.

このように、本実施の形態1によれば、高画質モード選択ボタン(OD)125を設け、ユーザが高画質モード選択ボタン(OD)125をオン操作した場合、システムコントロール部19から圧縮符号化部20のレート制御部28に対し高画質モードの指令が出力され、レート制御部28は量子化部24および逆量子化部29に対し量子化スケール(量子化ステップ)を変更するように指示を出し、量子化部24および逆量子化部29は通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートになるように量子化スケールを変更して映像信号を量子化するので、コストアップをほとんど生じさせることなく、ユーザにとって重要なシーンを簡単に高画質で符号化することができる。   As described above, according to the first embodiment, the high image quality mode selection button (OD) 125 is provided, and when the user turns on the high image quality mode selection button (OD) 125, the system control unit 19 performs compression encoding. The high-quality mode command is output to the rate control unit 28 of the unit 20, and the rate control unit 28 instructs the quantization unit 24 and the inverse quantization unit 29 to change the quantization scale (quantization step). The quantization unit 24 and the inverse quantization unit 29 change the quantization scale to quantize the video signal so that the average encoding rate in the high image quality mode is higher than the average encoding rate in the normal image quality mode. Therefore, it is possible to easily encode a scene important for the user with high image quality with almost no increase in cost.

また、本実施の形態1では、標準画質モードと高画質モード共通の最大符号化レートして、例えば、図5に示すように標準画質モードと高画質モード双方の平均符号化レートより高い、例えば9MbpsをMPEGのシーケンスヘッダに含まれるビットレートバリューに設定するようにしたので、高画質モード時に平均符号化レートを標準画質モード時より上げても、ビットレートバリューを変更する必要がなくなるので、シーケンスを切り替えずに、シームレスな再生が可能な符号化を行うことができる。   In the first embodiment, the maximum encoding rate common to the standard image quality mode and the high image quality mode is higher than the average encoding rate of both the standard image quality mode and the high image quality mode as shown in FIG. Since 9 Mbps is set as the bit rate value included in the MPEG sequence header, it is not necessary to change the bit rate value even if the average encoding rate is increased in the high image quality mode than in the standard image quality mode. It is possible to perform encoding capable of seamless reproduction without switching between.

その結果、例えば、ビデオカメラ撮影時に重要なシーンの前後も念のため記録しておきたいとき、重要なシーン以外はできるだけ符号量を節約したいとき有効である。また監視カメラのように重要でないシーンが極めて長時間あるなか、瞬間的に重要なシーンになる場合、高画質モード選択ボタン(OD)125をオン操作することにより、あるいは高画質モード選択ボタン(OD)125をオン操作の代わりに異常音検出や画像解析などにより異常を検出した場合、高画質モードにシームレスに移行できる。   As a result, for example, it is effective when it is desired to record before and after an important scene at the time of video camera shooting, and when it is desired to save the code amount as much as possible except for the important scene. In addition, when an unimportant scene such as a surveillance camera has a very long time or becomes an important scene instantaneously, the high image quality mode selection button (OD) 125 is turned on, or the high image quality mode selection button (OD) ) When an abnormality is detected by detecting abnormal sound or analyzing an image instead of turning on 125, it is possible to seamlessly shift to the high image quality mode.

なお、本実施の形態1では、高画質モード選択ボタン(OD)125のオン・オフにより標準画質モードと高画質モードとの2つの画質モードを切替えるように説明したが、本発明では、これに限らず、3つ以上の画質モードを選択できるようにしてもよい。例えば、高画質モードの選択ボタン21を一回押すと、標準画質モードの3Mbpsから高画質モード1の6Mbpsになり、もう一度押すと高画質モード2の9Mbpsということが考えられる。   In the first embodiment, it has been described that the two image quality modes, the standard image quality mode and the high image quality mode, are switched by turning on / off the high image quality mode selection button (OD) 125. Not limited to this, three or more image quality modes may be selected. For example, if the high image quality mode selection button 21 is pressed once, the standard image quality mode 3 Mbps is changed to 6 Mbps in the high image quality mode 1, and if pressed again, the high image quality mode 2 is 9 Mbps.

また、本実施の形態1では、MPEG2形式に従って映像信号を圧縮記録および記録再生するように説明したが、JPEG形式に従った静止画像信号の圧縮記録および記録再生に同様に適用される。これは、JPEG形式のエンコード動作は、MPEG形式のIピクチャエンコード動作とほぼ同様な動作であり、圧縮符号化部20はその回路の一部の動作を切り替えるだけでJPEG形式のエンコード動作も可能で、圧縮符号化部20から出力された静止画像は、例えば、ひとつのファイルとしてHDD10に記録される。また、音声データだけを記録することも可能であり、非常に少ないデータ量で効果的に音声を記録することができる。   In the first embodiment, the video signal is compressed and recorded / recorded / reproduced according to the MPEG2 format. However, the present invention is similarly applied to the compression / recording / recording / reproduction of a still image signal according to the JPEG format. This is because the JPEG encoding operation is almost the same as the MPEG I picture encoding operation, and the compression encoding unit 20 can also perform the JPEG encoding operation by switching only part of the operation of the circuit. The still image output from the compression encoding unit 20 is recorded in the HDD 10 as one file, for example. Also, it is possible to record only audio data, and audio can be recorded effectively with a very small amount of data.

実施の形態2.
上記実施の形態1では、MPEG2方式の符号化方式を採用した映像信号圧縮符号化装置および方法を一例に説明したが、本実施の形態2では、H.264/AVC(Advanced Video Coding)方式を採用した映像信号圧縮符号化装置および方法を一例に説明する。
Embodiment 2. FIG.
In the first embodiment, the video signal compression coding apparatus and method adopting the MPEG2 coding method have been described as an example. A video signal compression coding apparatus and method employing the H.264 / AVC (Advanced Video Coding) method will be described as an example.

図6は、H.264/AVC符号化方式を採用した実施の形態2における映像信号圧縮符号化装置の構成例を示すブロック図である。   FIG. 2 is a block diagram illustrating a configuration example of a video signal compression coding apparatus according to a second embodiment adopting an H.264 / AVC coding system.

図6において、本実施の形態2の圧縮符号化部20は、H.264/AVC符号化方式を用いているので、図2に示す実施の形態1の圧縮符号化部20とは異なり、ループ内フィルタ61、フレーム内予測部62、フレーム間予測部63、レート制御部64、切り替えスイッチ65という独自の構成を有しており、それ以外の構成要素は、図2に示す実施の形態1の圧縮符号化部20の構成、そして図1に示す構成と同様である。   In FIG. 6, the compression encoding unit 20 of the second embodiment is the H.264 standard. Since the H.264 / AVC encoding method is used, the in-loop filter 61, the intra-frame prediction unit 62, the inter-frame prediction unit 63, and the rate control unit are different from the compression encoding unit 20 of the first embodiment shown in FIG. 64 and the changeover switch 65, and the other components are the same as the configuration of the compression encoding unit 20 of the first embodiment shown in FIG. 2 and the configuration shown in FIG.

次に、本実施の形態2の特有の動作を説明する。   Next, a specific operation of the second embodiment will be described.

本実施の形態2では、切り替えスイッチ65がレート制御部64からの指令により、フレーム内予測(イントラ予測)部62と、フレーム間予測(動き補償予測)部63とを切替える。   In the second embodiment, the changeover switch 65 switches between the intra-frame prediction (intra prediction) unit 62 and the inter-frame prediction (motion compensation prediction) unit 63 according to a command from the rate control unit 64.

まず、本実施の形態2の圧縮符号化部20のフレーム内予測(イントラ予測)部62にて、隣接ブロックからの画素レベルでの予測によりフレーム内予測を実行する場合から説明する。   First, a case will be described where intra-frame prediction (intra prediction) unit 62 of compression encoding unit 20 of the second embodiment performs intra-frame prediction by prediction at a pixel level from an adjacent block.

H.264/AVCのフレーム内予測では、輝度信号の場合、4×4画素のブロックに対し9通りの予測モードが定義されている。例えば,予測対象の4×4 画素ブロックの上側に隣接する復号済みの画素データを用いて、垂直方向の予測を行い、予測画像を生成する。この予測モードは,予測対象の画像領域に垂直方向エッジがある場合に有効な予測モードである。他の予測モードも同様にそれぞれが特定方向のエッジに対して有効な予測モードとなっており,隣接ブロックの復号済み画素を基に予測画像を生成する。また輝度信号の場合は,4×4画素ブロックに対してだけでなく,16×16画素ブロックに対しても同様に4通りの予測モードが定義されており、4×4画素のブロックに対し9通りの予測モードと合わせて計13通りの予測モードが存在する。したがって,これら13通りのイントラ予測モードの中から最適なイントラ予測モードを選択しイントラ予測符号化に用いる。また色差信号については、8×8 画素ブロックに対し、4通りの予測モードが定義されており,輝度信号とは独立に予測モードを符号化することが可能である。   H. In the intra-frame prediction of H.264 / AVC, nine prediction modes are defined for a 4 × 4 pixel block in the case of a luminance signal. For example, the prediction image is generated by performing the prediction in the vertical direction using the decoded pixel data adjacent to the upper side of the prediction target 4 × 4 pixel block. This prediction mode is an effective prediction mode when there is a vertical edge in the image area to be predicted. Each of the other prediction modes is also a prediction mode effective for an edge in a specific direction, and a prediction image is generated based on the decoded pixels of the adjacent block. In the case of a luminance signal, four prediction modes are defined not only for a 4 × 4 pixel block but also for a 16 × 16 pixel block. There are a total of 13 prediction modes including the street prediction modes. Therefore, an optimal intra prediction mode is selected from these 13 intra prediction modes and used for intra prediction encoding. For the color difference signal, four prediction modes are defined for the 8 × 8 pixel block, and the prediction mode can be encoded independently of the luminance signal.

このように、H.264/AVC符号化方式を採用したフレーム内予測部62では、多様な予測モードを備えることで自由度が高い設計となっており、フレーム間予測における符号化効率の改善には、エンコーダが適切な予測モードを選択することが必要になる。   In this way, H.C. The intra-frame prediction unit 62 adopting the H.264 / AVC encoding scheme has a high degree of freedom by providing various prediction modes, and an encoder is suitable for improving the encoding efficiency in inter-frame prediction. It is necessary to select a prediction mode.

そこで、本実施の形態2における映像信号圧縮符号化装置では、高画質モードのときに、レート制御部64からの指示に基づき、フレーム内予測部62におけるフレーム内予測の画素ブロックを変更することにより、瞬間的に高画質符号化を行う。   Therefore, in the video signal compression encoding apparatus according to the second embodiment, the intra-frame prediction pixel block in the intra-frame prediction unit 62 is changed based on an instruction from the rate control unit 64 in the high image quality mode. Instantly perform high-quality encoding.

つまり、例えば、標準画質モードでのフレーム内予測の画素ブロックサイズを16×16画素ブロックの4の予測モードのみで行い、高画質モードでは、それらに4×4の画素ブロックサイズの9の予測モードを加えフレーム内予測符号化を行う。   That is, for example, the pixel block size of intra-frame prediction in the standard image quality mode is performed only in 4 prediction modes of 16 × 16 pixel blocks, and in the high image quality mode, 9 prediction modes of 4 × 4 pixel block size are added to them. And intra-frame predictive coding is performed.

これにより、実施の形態2によれば、高画質モードの場合、標準画質モードより画素ブロックサイズを小さくしてフレーム内予測が行われ、標準画質モードでの符号量が減り、高画質モードでの符号量の割り当てが増えることになるので、瞬間的な特定時間帯は高画質モードでフレーム内予測符号化を行うことにより、再生画質を向上させることができる。   Thus, according to the second embodiment, in the high image quality mode, intra-frame prediction is performed with a smaller pixel block size than in the standard image quality mode, the code amount in the standard image quality mode is reduced, and in the high image quality mode. Since code amount allocation increases, reproduction image quality can be improved by performing intra-frame predictive coding in the high-quality mode during a specific instantaneous time period.

また、H.264/AVCでは,1マクロブロック(16×16画素),16×8画素、8×16画素、8×8画素、8×4画素、4×8画素、4×4画素単位の計7種類のブロックサイズで動き補償を行うことができる。小さなブロックで動き補償を行うことで、単位面積当たりの予測誤差を小さく抑えることができる。その反面、符号化する動きベクトル数が増加し、符号量が増加する可能性もある。   H. In H.264 / AVC, there are a total of seven types of macroblocks (16 × 16 pixels), 16 × 8 pixels, 8 × 16 pixels, 8 × 8 pixels, 8 × 4 pixels, 4 × 8 pixels, and 4 × 4 pixel units. Motion compensation can be performed with a block size. By performing motion compensation with a small block, the prediction error per unit area can be kept small. On the other hand, there is a possibility that the number of motion vectors to be encoded increases and the amount of codes increases.

そこで、実施の形態2における画像符号化部20のフレーム間予測部63では、高画質モードのとき、レート制御部64からの指示に基づき、フレーム間予測のベクトル探索部分画像サイズを変更している。   Therefore, the inter-frame prediction unit 63 of the image encoding unit 20 in the second embodiment changes the vector search partial image size for inter-frame prediction based on an instruction from the rate control unit 64 in the high image quality mode. .

つまり、例えば、標準画質モードでは、フレーム間予測のベクトル探索部分画像サイズを16×16画素に制限し、高画質モードでは、16×16〜8×8の画素ブロックの7パターンから最適のブロックサイズを選ぶというように、標準画質モードのフレーム間予測のベクトル探索部分画像サイズを大きくする一方、高画質モードのフレーム間予測のベクトル探索部分画像サイズを小さくする。   That is, for example, in the standard image quality mode, the vector search partial image size for inter-frame prediction is limited to 16 × 16 pixels, and in the high image quality mode, the optimal block size is selected from seven patterns of 16 × 16 to 8 × 8 pixel blocks. As described above, the vector search partial image size for inter-frame prediction in the standard image quality mode is increased, while the vector search partial image size for inter-frame prediction in the high image quality mode is decreased.

これにより、実施の形態2によれば、高画質モードの場合、標準画質モードよりベクトル探索部分画像サイズを小さくしてフレーム間予測が行われ、標準画質モードでの符号量が減り、高画質モードでの符号量の割り当てが増えることになるので、瞬間的な特定時間帯は高画質モードでフレーム間予測符号化を行うことにより、再生画質を向上させることができる。   Thus, according to the second embodiment, in the high image quality mode, the vector search partial image size is made smaller than that in the standard image quality mode to perform inter-frame prediction, the code amount in the standard image quality mode is reduced, and the high image quality mode. Therefore, the reproduction image quality can be improved by performing the inter-frame predictive coding in the high image quality mode in the instantaneous specific time zone.

また、H.264/AVCは符号化効率を高める処理によって演算量が大きく変化することが知れている。例えば、上記処理の画素ブロックの選択パターン数が増えるとそれらパターンの数だけ演算が増加するため、消費電力もそれに比例して増加する。よって一般的に消費電力を考慮して符号化効率を高める処理を制限している場合が多い。そこで、本実施の形態2の高画質モードを符号化効率に応用することで、符号量だけでなく、消費電力も節約することができる。   H. In H.264 / AVC, it is known that the amount of calculation varies greatly depending on the processing for improving the encoding efficiency. For example, when the number of selected patterns of pixel blocks in the above processing increases, the number of calculations increases by the number of patterns, so that power consumption also increases proportionally. Therefore, in general, there are many cases where processing for increasing coding efficiency is limited in consideration of power consumption. Therefore, by applying the high image quality mode of the second embodiment to encoding efficiency, not only the amount of code but also power consumption can be saved.

従って、本実施の形態2によれば、H.264/AVC符号化方式を採用し、ユーザが高画質モード選択ボタン(OD)125をオン操作した場合、高画質モードの指令が出力され、フレーム内予測部62におけるイントラ予測またはフレーム間予測部63に動き補償予測を通常画質モードと高画質モードとで、フレーム内予測符号化の際の画素ブロックサイズや、フレーム間予測符号化の際のベクトル探索部分画像サイズを変更して、通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートにより映像信号を圧縮符号化するようにしたので、上記実施の形態1と同様に、コストアップをほとんど生じさせることなく、またシーケンスにユーザにとって重要なシーンを簡単に高画質で符号化することができる。   Therefore, according to the second embodiment, the H.264 standard. When the H.264 / AVC encoding method is employed and the user turns on the high image quality mode selection button (OD) 125, a high image quality mode command is output, and the intra prediction or inter frame prediction unit 63 in the intraframe prediction unit 62 is output. In normal image quality mode, the pixel block size for intra-frame predictive coding and the vector search partial image size for inter-frame predictive coding are changed between normal image quality mode and high image quality mode. Since the video signal is compression-encoded at an average encoding rate in a high image quality mode higher than the average encoding rate of the image, as in the first embodiment, there is almost no increase in cost and the user is added to the sequence. It is possible to easily encode a scene important for the image with high image quality.

なお、本実施の形態2でも、上記実施の形態1と同様に、システムコントロール部19から圧縮符号化部20のレート制御部64に対し高画質モードの指令が出力され、レート制御部64が量子化部24および逆量子化部29に対し量子化スケールを変更するように指示を出し、量子化部24および逆量子化部29が通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートになるように量子化スケールを変更して映像信号を量子化して、通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートにより映像信号を圧縮符号化するようにしても勿論よい。   In the second embodiment, as in the first embodiment, the system control unit 19 outputs a high-quality mode command to the rate control unit 64 of the compression encoding unit 20, and the rate control unit 64 The quantization unit 24 and the inverse quantization unit 29 are instructed to change the quantization scale, and the quantization unit 24 and the inverse quantization unit 29 average the high image quality mode higher than the average coding rate in the normal image quality mode. Quantize the video signal by changing the quantization scale so that the encoding rate is the same, and compress and encode the video signal at an average encoding rate in the high image quality mode higher than the average encoding rate in the normal image quality mode. Of course.

また、上記実施の形態1,2の説明では、記録媒体としてHDD10を一例に説明したが、本発明では、これに限らず、DVD−RAM、±R、±RW、BD等の光ディスクや、不揮発性半導体メモリであってもよい。また上記のようにレンズから得られた被写体を撮像するビデオカメラだけでなく、ビデオエンコーダを備える据え置き型の映像レコーダにおいても、本実施の形態1,2を応用すれば重要なシーンの画質を確保しつつ効率的な記録が可能となる。   In the description of the first and second embodiments, the HDD 10 has been described as an example of the recording medium. However, the present invention is not limited to this, and the present invention is not limited to this, and an optical disk such as a DVD-RAM, ± R, ± RW, BD, etc. May be a volatile semiconductor memory. In addition to the video camera that captures the subject obtained from the lens as described above, the image quality of important scenes can be secured by applying the first and second embodiments to a stationary video recorder having a video encoder. However, efficient recording becomes possible.

本発明の映像信号符号化装置の実施の形態1の構成例を示すブロック図である。It is a block diagram which shows the structural example of Embodiment 1 of the video signal encoding apparatus of this invention. 実施の形態1の映像信号符号化装置を応用したビデオカメラの外観と操作ボタンの配置例を示した図である。It is the figure which showed the example of arrangement | positioning of the external appearance of the video camera which applied the video signal encoding apparatus of Embodiment 1, and an operation button. 図1に示す圧縮符号化部20の構成例を示すブロック図である。It is a block diagram which shows the structural example of the compression encoding part 20 shown in FIG. 実施の形態1における標準画質モードと高画質モードとの動作を示すフローチャートである。3 is a flowchart illustrating operations in a standard image quality mode and a high image quality mode in the first embodiment. 通常モード記録中に発明における高画質モードをオン、オフした場合の符号化レートの変化を示した図である。It is the figure which showed the change of the encoding rate at the time of turning on and off the high quality mode in invention during normal mode recording. H.264/AVC符号化方式を採用した実施の形態2における映像信号圧縮符号化装置の構成例を示すブロック図である。H. 2 is a block diagram illustrating a configuration example of a video signal compression coding apparatus according to a second embodiment adopting an H.264 / AVC coding system.

符号の説明Explanation of symbols

16 操作ボタン(操作部)
19 システムコントロール部(制御部)
20 圧縮符号化部
16 Operation buttons (operation unit)
19 System control unit (control unit)
20 Compression encoder

Claims (5)

映像信号を圧縮符号化する圧縮符号化部と、
前記圧縮符号化部によって圧縮符号化された映像信号を記録媒体に記録する記録部と、
ユーザによって操作され高画質モードの指令を出力する操作部と、
前記操作部から前記高画質モードの指令が出力された場合、前記圧縮符号化部が通常画質モード時の目標符号化レートより高い高画質モードの目標符号化レートに変更して前記映像信号を圧縮符号化するように制御する制御部と、
を有する映像信号符号化装置。
A compression encoding unit that compresses and encodes a video signal;
A recording unit for recording the video signal compressed and encoded by the compression encoding unit on a recording medium;
An operation unit that is operated by a user to output a high-quality mode command;
When the high-quality mode command is output from the operation unit, the compression encoding unit changes the target encoding rate of the high-quality mode higher than the target encoding rate in the normal image quality mode and compresses the video signal A control unit that controls to encode;
A video signal encoding device comprising:
請求項1記載の映像信号符号化装置において、
前記圧縮符号化部は、前記映像信号をMPEG方式により圧縮符号化し、
前記制御部は、
前記操作部から前記高画質モードの指令が出力され、前記圧縮符号化部が通常画質モード時の目標符号化レートより高い高画質モードの目標符号化レートに変更して前記映像信号を圧縮符号化する際、前記高画質モードの目標符号化レートは、前記MPEG方式による圧縮符号化の映像信号のシーケンスヘッダに含まれる最大符号化レート以内で変更する映像信号符号化装置。
The video signal encoding device according to claim 1, wherein
The compression encoding unit compresses and encodes the video signal according to the MPEG method,
The controller is
The high-quality mode command is output from the operation unit, and the compression encoding unit changes the target encoding rate of the high-quality mode higher than the target encoding rate in the normal image quality mode, and compresses and encodes the video signal In this case, the target encoding rate of the high image quality mode is changed within the maximum encoding rate included in the sequence header of the compression encoded video signal by the MPEG method.
請求項1または請求項2記載の映像信号符号化装置において、
前記圧縮符号化部は、前記映像信号をフレーム内予測符号化により圧縮符号化し、
前記制御部は、
前記操作部から前記高画質モードの指令が出力された場合、前記圧縮符号化部が通常画質モード時の目標符号化レートより高い高画質モードの目標符号化レートに変更して前記映像信号を圧縮符号化するように、前記通常画質モードの場合より前記フレーム内予測符号化の際の画素ブロックサイズを小さくする映像信号符号化装置。
The video signal encoding device according to claim 1 or 2,
The compression encoding unit compresses and encodes the video signal by intra-frame prediction encoding;
The controller is
When the high-quality mode command is output from the operation unit, the compression encoding unit changes the target encoding rate of the high-quality mode higher than the target encoding rate in the normal image quality mode and compresses the video signal A video signal encoding apparatus for reducing a pixel block size at the time of intra-frame predictive encoding as compared with the case of the normal image quality mode.
請求項1または請求項2記載の映像信号符号化装置であって、
前記圧縮符号化部は、前記映像信号をフレーム間予測符号化により圧縮符号化し、
前記制御部は、
前記操作部から前記高画質モードの指令が出力された場合、前記圧縮符号化部が通常画質モード時の目標符号化レートより高い高画質モードの目標符号化レートに変更して前記映像信号を圧縮符号化するように、前記通常画質モードの場合より前記フレーム間予測符号化の際のベクトル探索部分画像サイズを小さくする映像信号符号化装置。
The video signal encoding device according to claim 1 or 2, wherein
The compression encoding unit compresses and encodes the video signal by inter-frame predictive encoding,
The controller is
When the high-quality mode command is output from the operation unit, the compression encoding unit changes the target encoding rate of the high-quality mode higher than the target encoding rate in the normal image quality mode and compresses the video signal A video signal encoding apparatus for reducing a vector search partial image size in the inter-frame predictive encoding as compared with the case of the normal image quality mode.
映像信号を圧縮符号化するステップと、
ユーザによって操作され高画質モードの指令を出力するステップと、
前記高画質モードの指令が出力された場合、通常画質モード時の平均符号化レートより高い高画質モードの平均符号化レートに基づいて前記映像信号を圧縮符号化するステップと、
を有する映像信号符号化方法。
Compressing and encoding the video signal;
Outputting a high-quality mode command operated by a user;
A step of compressing and encoding the video signal based on an average encoding rate of the high image quality mode higher than an average encoding rate in the normal image quality mode when the high image quality mode command is output;
A video signal encoding method comprising:
JP2007197181A 2007-07-30 2007-07-30 Video signal coding apparatus and method Pending JP2009033604A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007197181A JP2009033604A (en) 2007-07-30 2007-07-30 Video signal coding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007197181A JP2009033604A (en) 2007-07-30 2007-07-30 Video signal coding apparatus and method

Publications (1)

Publication Number Publication Date
JP2009033604A true JP2009033604A (en) 2009-02-12

Family

ID=40403584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007197181A Pending JP2009033604A (en) 2007-07-30 2007-07-30 Video signal coding apparatus and method

Country Status (1)

Country Link
JP (1) JP2009033604A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011188129A (en) * 2010-03-05 2011-09-22 Nippon Hoso Kyokai <Nhk> Intra prediction apparatus, encoder, decoder, and program
WO2020150992A1 (en) * 2019-01-25 2020-07-30 深圳市大疆创新科技有限公司 Method and device for bit rate assignment
WO2021066163A1 (en) * 2019-10-04 2021-04-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011188129A (en) * 2010-03-05 2011-09-22 Nippon Hoso Kyokai <Nhk> Intra prediction apparatus, encoder, decoder, and program
WO2020150992A1 (en) * 2019-01-25 2020-07-30 深圳市大疆创新科技有限公司 Method and device for bit rate assignment
WO2021066163A1 (en) * 2019-10-04 2021-04-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device

Similar Documents

Publication Publication Date Title
EP0859511B1 (en) Device and method for recording still pictures and animations
JP5141324B2 (en) Imaging apparatus, imaging apparatus control method, signal processing apparatus, and signal processing method
JP3592025B2 (en) Captured image recording device
JP5294767B2 (en) Movie playback device, movie playback method, program, and recording medium
EP1638324A1 (en) Reproducing apparatus and reproducing method
CN101299801B (en) Imaging apparatus and control method therefor
JP2009033604A (en) Video signal coding apparatus and method
JP2007142809A (en) Video recording apparatus
JP4365941B2 (en) Encoding device, image processing device, camera-integrated image recording device, image processing system, encoding method, and storage medium
JP2004180345A (en) Photographed image recording apparatus
JP4081810B2 (en) Playback apparatus and method, and program
JP4765961B2 (en) Digital video recording device
JP4605183B2 (en) Image signal processing apparatus and method
JPH09261530A (en) Video recorder
JPH1198514A (en) Image coder and its method
JP4293151B2 (en) Video encoding method and video recording apparatus
JP3645249B2 (en) Electronic still camera
JP3384910B2 (en) Imaging device and image reproducing device
JP2003250114A (en) Image recording apparatus
JP2007097146A (en) Method of printing still image and apparatus corresponding to printing request timing
JP2005229645A (en) Image recording/reproducing apparatus
JPH09186919A (en) Image pickup device
JP2005229553A (en) Image processing apparatus
JP3769001B2 (en) Monitor type imaging device
JP3645254B2 (en) Image data recording system and image data recording method