JP2007053447A - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP2007053447A
JP2007053447A JP2005235490A JP2005235490A JP2007053447A JP 2007053447 A JP2007053447 A JP 2007053447A JP 2005235490 A JP2005235490 A JP 2005235490A JP 2005235490 A JP2005235490 A JP 2005235490A JP 2007053447 A JP2007053447 A JP 2007053447A
Authority
JP
Japan
Prior art keywords
frame
imaging
image
encoded
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005235490A
Other languages
Japanese (ja)
Other versions
JP2007053447A5 (en
JP4785460B2 (en
Inventor
Shinya Urisaka
真也 瓜阪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005235490A priority Critical patent/JP4785460B2/en
Publication of JP2007053447A publication Critical patent/JP2007053447A/en
Publication of JP2007053447A5 publication Critical patent/JP2007053447A5/ja
Application granted granted Critical
Publication of JP4785460B2 publication Critical patent/JP4785460B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technique of coding motion image data which can suppress deterioration in the image quality, without causing coding efficiency to deteriorate. <P>SOLUTION: When the kind of frame image that is to be subsequently coded is not an in-frame coding image during imaging of motion image data, changing of an imaging parameters, such as zoom, focus, exposure or white balance is inhibited. In this way, deterioration in correspondence relation between frames can be suppressed, and the deterioration in image quality can be suppressed without increasing the proportion of in-frame coded images in coding. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、撮像された動画像データを符号化する技術に関する。   The present invention relates to a technique for encoding captured moving image data.

現在、アナログ画像信号をデジタル画像信号に変換して、磁気テープや光ディスクなどに記録し再生可能な、デジタルビデオカメラなどの撮像装置が普及している。これらの撮像装置のうち、特に、DVD−Rなどのディスク媒体に画像信号(データ)を記録する装置では、画像データをMPEG方式で符号化して記録することが一般的である。   Currently, imaging devices such as digital video cameras that can convert an analog image signal into a digital image signal and record and reproduce the image on a magnetic tape, an optical disk, or the like are in widespread use. Among these image pickup apparatuses, in particular, in an apparatus that records an image signal (data) on a disk medium such as a DVD-R, it is common to encode and record the image data using the MPEG method.

MPEG方式による符号化では、フレーム間の動き補償予測符号化を用いることで、動画像データの情報量(データ量)を効率よく圧縮することができる。MPEG方式では、1フレームの静止画像をマクロブロックと呼ばれるブロックに分割し、各ブロックに対してDCT(離散コサイン変換)処理、量子化処理を施した後、可変長符号化を行う。そこに、前述のフレーム間の動き補償予測符号化を組み合わせることで、高い圧縮率を得ることができる。   In the encoding by the MPEG system, the information amount (data amount) of moving image data can be efficiently compressed by using motion compensation prediction encoding between frames. In the MPEG system, a still image of one frame is divided into blocks called macroblocks, each block is subjected to DCT (discrete cosine transform) processing and quantization processing, and then variable length coding is performed. A high compression rate can be obtained by combining the motion compensation prediction coding between the frames described above.

符号化される動画像データの各フレームは、I、P、Bの三つのピクチャタイプに分類される。Iピクチャは、フレーム内符号化を行うフレームであり、他のフレームの情報を参照することなく単独で符号化及び復号化することができる。換言すれば、Iピクチャではフレーム間の動き補償予測符号化を使用しない。したがって、一般にIピクチャは次に説明するP、Bピクチャに比較して符号量(データ量)を多く必要とする。   Each frame of moving image data to be encoded is classified into three picture types of I, P, and B. An I picture is a frame that performs intraframe coding, and can be encoded and decoded independently without referring to information of other frames. In other words, motion compensation predictive coding between frames is not used in the I picture. Therefore, in general, an I picture requires a larger amount of code (data amount) than P and B pictures described below.

Pピクチャは、過去のI又はPピクチャの画像信号を参照して予測した画像信号との差分を符号化(動き補償予測符号化)する、いわゆるフレーム間予測符号化を行う。したがって、PピクチャはIピクチャに比べて符号量を削減することが可能である。   The P picture performs so-called inter-frame prediction encoding, in which a difference from an image signal predicted with reference to an image signal of a past I or P picture is encoded (motion compensation prediction encoding). Therefore, the P picture can reduce the amount of code compared to the I picture.

Bピクチャは、過去のI又はPピクチャに加えて、未来のI又はPピクチャの画像信号も参照して予測した画像信号との差分を符号化(動き補償予測符号化)する、いわゆる双方向フレーム間予測符号化を行う。したがって、BピクチャはPピクチャよりさらに符号量を削減することが可能である。   A B picture is a so-called bi-directional frame that encodes a difference from an image signal predicted with reference to an image signal of a future I or P picture in addition to a past I or P picture (motion compensation prediction encoding). Inter prediction encoding is performed. Therefore, the B picture can further reduce the code amount than the P picture.

このような符号化方式では、フレーム間の相関(差分)を利用して符号化するため、フレーム間の相関が低く、動き補償の困難な場合に、符号化した画像データの画質が劣化するという問題があった。   In such an encoding method, encoding is performed using correlation (difference) between frames, and therefore, when the correlation between frames is low and motion compensation is difficult, the image quality of the encoded image data is deteriorated. There was a problem.

このような問題を解決する方法として、特許文献1は、撮像開始、停止、フェード、ズームなど、撮像装置の制御情報に基づいて、符号化特性を変化させて画像データの符号化を行う方法を開示する。また、特許文献2は、撮影開始、停止、レンズ駆動、露出、ホワイトバランス、手ぶれなど、撮像装置の制御情報をもとに撮像シーンの重要度、撮像環境を判断して、ビットレートを最適に設定する方法を開示する。
特開平7−107466号公報 特開2002−369142号公報
As a method for solving such a problem, Patent Document 1 discloses a method for encoding image data by changing encoding characteristics based on control information of an imaging apparatus such as imaging start, stop, fade, zoom, and the like. Disclose. Further, Patent Document 2 optimizes the bit rate by determining the importance of the imaging scene and the imaging environment based on the control information of the imaging device such as shooting start, stop, lens drive, exposure, white balance, camera shake, and the like. A method of setting is disclosed.
JP-A-7-107466 JP 2002-369142 A

しかしながら、上記従来の方法では、符号化特性やビットレートの調整はIピクチャを挿入するなどして行うため、フレーム間の相関が低くなるとIピクチャが増加し、符号化効率が低下するという問題があった。   However, in the conventional method described above, adjustment of encoding characteristics and bit rate is performed by inserting an I picture. Therefore, there is a problem in that the I picture increases and the encoding efficiency decreases when the correlation between frames decreases. there were.

本発明はこのような状況に鑑みてなされたものであり、符号化効率を低下させることなく、画質の劣化を抑制する、動画像データの符号化技術を提供することを目的とする。   The present invention has been made in view of such a situation, and an object of the present invention is to provide a moving image data encoding technique that suppresses deterioration in image quality without reducing encoding efficiency.

上記課題を解決するために、本発明の撮像装置は、撮像パラメータに従って撮像した動画像データをMPEG形式で符号化する符号化手段と、前記符号化手段が符号化中の前記動画像データのフレーム画像の次に符号化するフレーム画像の種類が、フレーム内符号化画像であるかどうかを判定する判定手段と、前記撮像パラメータの変更を制御する制御手段と、を備え、前記制御手段は、前記判定手段による前記フレーム画像の種類がフレーム内符号化画像でない場合に、前記撮像パラメータの変更を禁止することを特徴とする。   In order to solve the above problems, an imaging apparatus according to the present invention includes an encoding unit that encodes moving image data captured in accordance with imaging parameters in MPEG format, and a frame of the moving image data that the encoding unit is encoding. A determination unit that determines whether or not a type of a frame image to be encoded next to the image is an intra-frame encoded image; and a control unit that controls a change in the imaging parameter. When the type of the frame image by the determination unit is not an intra-frame encoded image, the change of the imaging parameter is prohibited.

また、本発明の撮像方法は、撮像パラメータに従って撮像した動画像データをMPEG形式で符号化する符号化工程と、前記符号化手段が符号化中の前記動画像データのフレーム画像の次に符号化するフレーム画像の種類が、フレーム内符号化画像であるかどうかを判定する判定工程と、前記撮像パラメータの変更を制御する制御工程と、を備え、前記制御工程は、前記判定工程による前記フレーム画像の種類がフレーム内符号化画像でない場合に、前記撮像パラメータの変更を禁止することを特徴とする。   Also, the imaging method of the present invention includes an encoding step of encoding moving image data captured in accordance with an imaging parameter in MPEG format, and encoding the frame image of the moving image data being encoded by the encoding means. A determination step for determining whether the type of frame image to be performed is an intra-frame encoded image, and a control step for controlling change of the imaging parameter, wherein the control step includes the frame image obtained by the determination step. The change of the imaging parameter is prohibited when the type is not an intra-frame encoded image.

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態の記載によっていっそう明らかになるものである。   Other features of the present invention will become more apparent from the accompanying drawings and the following description of the best mode for carrying out the invention.

以上の構成により、本発明によれば、符号化効率を低下させることなく、画質の劣化を抑制する、動画像データの符号化技術を提供することが可能となる。   With the above configuration, according to the present invention, it is possible to provide a moving image data encoding technique that suppresses deterioration in image quality without reducing encoding efficiency.

以下、添付図面を参照して、本発明の好適な実施形態を説明する。   Preferred embodiments of the present invention will be described below with reference to the accompanying drawings.

[第1の実施形態]
<デジタルビデオカメラ100の構成>
図1は、本発明の撮像装置として使用可能なデジタルビデオカメラ100の構成を示すブロック図である。
[First Embodiment]
<Configuration of digital video camera 100>
FIG. 1 is a block diagram showing a configuration of a digital video camera 100 that can be used as an imaging apparatus of the present invention.

デジタルビデオカメラ100は、レンズ101、絞り102、CCD103を備える。レンズ101から入射した光学像は、絞り102で光量を調節され、CCD103に結像する。   The digital video camera 100 includes a lens 101, a diaphragm 102, and a CCD 103. The optical image incident from the lens 101 is imaged on the CCD 103 with the light amount adjusted by the diaphragm 102.

ビデオライト104は、動画撮像時に補助光を照射するために点灯することができるライトである。   The video light 104 is a light that can be turned on to irradiate auxiliary light when capturing a moving image.

CCD103は、結像した光学像を光信号から電気信号に変換する光電変換を行い、得られた電気信号を信号処理部105に送る。   The CCD 103 performs photoelectric conversion for converting the formed optical image from an optical signal to an electrical signal, and sends the obtained electrical signal to the signal processing unit 105.

信号処理部105は、CCD103から送られてきた電気信号に輝度補正やホワイトバランス処理、フェードなどのデジタルエフェクト処理などの信号処理を施し、符号化処理部106に送る。信号処理部105はまた、ディスプレイ107に画像データとして表示するのに適した形で電気信号に信号処理を施すこともできる。   The signal processing unit 105 performs signal processing such as luminance correction, white balance processing, and digital effect processing such as fading on the electrical signal sent from the CCD 103, and sends the signal to the encoding processing unit 106. The signal processing unit 105 can also perform signal processing on the electrical signal in a form suitable for display as image data on the display 107.

ディスプレイ107は、信号処理部105から送られてきた電気信号から構成される画像データを表示することにより、電子ビューファインダとして機能する。また、画像再生時に画像データを表示することもできる。   The display 107 functions as an electronic viewfinder by displaying image data composed of electrical signals sent from the signal processing unit 105. It is also possible to display image data during image reproduction.

符号化処理部106は、信号処理部105から送られてきた電気信号を、静止画像データの場合はJPEG形式に、動画像データの場合はMPEG形式に符号化し、磁気テープ108又はDVDメディア109に記録する。   The encoding processing unit 106 encodes the electric signal sent from the signal processing unit 105 into JPEG format for still image data and MPEG format for moving image data, and stores it on the magnetic tape 108 or the DVD medium 109. Record.

磁気テープ108は例えばDVカセットであり、DVDメディア109は例えばDVD−RやDVD−RAMなどである。これらはデジタル信号(データ)を記録可能であればいかなるものでもよく、例えばHDD(ハードディスクドライブ)に画像データを記録してもよい。   The magnetic tape 108 is, for example, a DV cassette, and the DVD medium 109 is, for example, a DVD-R or a DVD-RAM. These may be any digital signals (data) as long as they can be recorded. For example, image data may be recorded in an HDD (hard disk drive).

制御部110は、デジタルビデオカメラ100全体を制御するマイクロコンピュータである。制御部110は制御プログラムを保持するROM(不図示)、デジタルビデオカメラ100の設定(制御情報)を記録するSRAM(不図示)、制御プログラム実行時の一時作業領域として使用されるDRAM(不図示)などを含む。制御部110は制御プログラムを実行することにより信号処理部105や符号化処理部106を制御したり、以下に説明するレンズ制御部112などを制御したりする。   The control unit 110 is a microcomputer that controls the entire digital video camera 100. The control unit 110 includes a ROM (not shown) that holds a control program, an SRAM (not shown) that records settings (control information) of the digital video camera 100, and a DRAM (not shown) that is used as a temporary work area when the control program is executed. ) Etc. The control unit 110 controls the signal processing unit 105 and the encoding processing unit 106 by executing a control program, and controls a lens control unit 112 and the like described below.

操作部111は、ユーザがデジタルビデオカメラ100に指示を与えるためのインタフェースであり、電源ボタン(不図示)や撮像開始ボタン(不図示)などを含む。   The operation unit 111 is an interface for a user to give an instruction to the digital video camera 100, and includes a power button (not shown), an imaging start button (not shown), and the like.

レンズ制御部112は、レンズ101のフォーカス、ズームなどの制御を行う。   The lens control unit 112 performs control such as focusing and zooming of the lens 101.

絞り制御部113は、絞り102の制御を行い、併せてシャッタースピードの制御を行うことで、露出制御を行う。   The aperture control unit 113 performs exposure control by controlling the aperture 102 and also controlling the shutter speed.

CCD制御部114は、CCD103の電荷の蓄積、読み出しなどの制御を行う。   The CCD control unit 114 performs control such as charge accumulation and reading of the CCD 103.

ビデオライト制御部115は、ビデオライト104の点灯、消灯及び発光量の制御を行う。   The video light control unit 115 controls the turning on / off of the video light 104 and the light emission amount.

<デジタルビデオカメラ100の外観>
図2は、デジタルビデオカメラ100の外観を示す斜視図である。図1と同じ要素については同じ符号を付し、説明を省略する。
<Appearance of digital video camera 100>
FIG. 2 is a perspective view showing the external appearance of the digital video camera 100. The same elements as those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted.

マイク201は、撮像時に音声を記録するためのものである。   The microphone 201 is for recording sound during imaging.

ファインダ202は、ユーザがこれを覗き込むことにより、被写体に照準を合わせたり被写体を確認したりすることができる。ファインダ202は、光学ファインダでも電子ビューファインダでもよい。   The viewfinder 202 allows the user to aim at the subject or confirm the subject by looking into it. The viewfinder 202 may be an optical viewfinder or an electronic viewfinder.

動画用トリガースイッチ203はプッシュボタンであり、ユーザがこれを操作することにより、動画撮像開始及び終了をデジタルビデオカメラ100に指示することができる。   The moving image trigger switch 203 is a push button, and the user can instruct the digital video camera 100 to start and end moving image capturing by operating the push button.

静止画用トリガースイッチ204はプッシュボタンであり、ユーザがこれを操作することにより、静止画の撮像をデジタルビデオカメラ100に指示することができる。   The still image trigger switch 204 is a push button, and the user can instruct the digital video camera 100 to capture a still image by operating the push button.

モードダイアル205は回転式のスイッチであり、例えば画像データを再生する「再生モード」、被写体の撮像を行う「カメラモード」、電源をOFFにする「電源OFFモード」などを備える。ユーザはモードダイアル205を操作することにより、デジタルビデオカメラ100にモードの変更を指示することができる。   The mode dial 205 is a rotary switch, and includes, for example, a “playback mode” for playing back image data, a “camera mode” for shooting an object, and a “power-off mode” for turning off the power. The user can instruct the digital video camera 100 to change the mode by operating the mode dial 205.

操作パネル206は、上述した操作以外の操作、例えば画像データの選択や消去などをユーザがデジタルビデオカメラ100に指示するためのボタンを集めたパネルである。   The operation panel 206 is a panel that collects buttons for the user to instruct the digital video camera 100 to perform operations other than the operations described above, for example, selection or deletion of image data.

なお、動画用トリガースイッチ203乃至操作パネル206は、図1の操作部111に含まれるものである。   The moving image trigger switch 203 to the operation panel 206 are included in the operation unit 111 of FIG.

ディスプレイ107は図1を参照して説明した通りであるが、デジタルビデオカメラ100に対して開閉可能であり、デジタルビデオカメラ100から開いている状態で、さらに水平方向にも回転可能である。   As described with reference to FIG. 1, the display 107 can be opened and closed with respect to the digital video camera 100, and can also be rotated in the horizontal direction while being opened from the digital video camera 100.

スピーカ207は、画像データを再生するときに音声を出力するためのものである。   The speaker 207 is for outputting sound when reproducing image data.

バッテリ208は、デジタルビデオカメラ100に電力を供給するためのものであり、デジタルビデオカメラ100に対して着脱可能である。   The battery 208 is for supplying power to the digital video camera 100 and is detachable from the digital video camera 100.

<レンズ101等の制御のタイミング>
本実施形態では、動画像データの画質劣化を抑制するために、制御部110がデジタルビデオカメラ100のレンズ制御部112等を介してレンズ101等を制御するタイミングを調整する。制御部110は、レンズ101等を制御することにより、撮像時のズーム、フォーカス、露出、ホワイトバランスなどを変更する。以下、レンズ101等の制御により変更可能な、ズーム、フォーカス、露出、ホワイトバランス等をまとめて、「撮像パラメータ」と呼ぶ。
<Timing of control of lens 101 etc.>
In the present embodiment, the control unit 110 adjusts the timing for controlling the lens 101 and the like via the lens control unit 112 and the like of the digital video camera 100 in order to suppress the image quality deterioration of the moving image data. The control unit 110 changes the zoom, focus, exposure, white balance, and the like during imaging by controlling the lens 101 and the like. Hereinafter, zoom, focus, exposure, white balance, and the like that can be changed by controlling the lens 101 are collectively referred to as “imaging parameters”.

例えば、被写体が遠くに移動した場合などに、撮像パラメータ(この例ではフォーカス)を変化させると、符号化処理部106が符号化する対象となる画像データが大きく変化する可能性がある。したがって、前述のように、フレーム相関が低くなり、画質が劣化する可能性がある。   For example, when the imaging parameter (in this example, focus) is changed when the subject has moved far away, image data to be encoded by the encoding processing unit 106 may change significantly. Therefore, as described above, the frame correlation becomes low and the image quality may be deteriorated.

そこで、本実施形態では、制御部110が符号化処理部106から受け取る情報に基づき、撮像パラメータを変更するタイミング(レンズ101等を制御するタイミング)を調整する。   Therefore, in the present embodiment, the timing at which the imaging parameter is changed (timing for controlling the lens 101 and the like) is adjusted based on information received from the encoding processing unit 106 by the control unit 110.

図3は、本実施形態において、撮像パラメータ変更処理のタイミングを概略的に説明する図である。図3において、I、P、Bの付された長方形は動画像データのIピクチャ、Pピクチャ、Bピクチャの各フレームを示す。「t」は時間軸を示し、右に行くほど新しいフレームである。「GOP」はGroup of Picturesの略であり、MPEG方式の符号化における基本単位を示す。「パラメータ変更」の文字とその上の矢印は、この矢印が示すタイミングで撮像パラメータを変更することを示す。   FIG. 3 is a diagram schematically illustrating the timing of the imaging parameter changing process in the present embodiment. In FIG. 3, rectangles with I, P, and B indicate frames of I picture, P picture, and B picture of moving image data. “T” indicates a time axis, and the newer the frame is to the right. “GOP” is an abbreviation for “Group of Pictures”, and indicates a basic unit in encoding of the MPEG system. The letters “parameter change” and the arrow above it indicate that the imaging parameter is changed at the timing indicated by the arrow.

なお、GOPには、少なくとも1つのIピクチャが含まれ、本実施形態では特に、GOPの先頭はIピクチャとする。   Note that a GOP includes at least one I picture, and in the present embodiment, the top of the GOP is an I picture.

図3に示すように、本実施形態では、Iピクチャの直前で撮像パラメータの変更を行う。これは、Iピクチャは符号化に際してフレーム間予測を行わないため、Iピクチャの直前で撮像パラメータ変更によるフレーム相関の低下が発生しても、画質の劣化につながらないためである。   As shown in FIG. 3, in this embodiment, the imaging parameter is changed immediately before the I picture. This is because an I picture does not perform inter-frame prediction at the time of encoding, and therefore, even if a decrease in frame correlation due to a change in imaging parameters occurs immediately before the I picture, it does not lead to deterioration in image quality.

なお、本実施形態ではGOPの先頭以外にはIピクチャは存在しないものとして説明するが、MPEG規格ではGOPの途中にIピクチャを使用してもよいことになっている。したがって、図3に示すようなGOPの切れ目(最終フレーム)に限らず、GOPの途中であってもIピクチャとその1つ前のピクチャの間であれば、撮像パラメータを変更してもよい。以下の説明において、「GOPの切れ目」と表現するものは、「Iピクチャとその1つ前のピクチャの間」と読み替えてもよい。   In the present embodiment, it is assumed that there is no I picture other than the head of the GOP. However, in the MPEG standard, an I picture may be used in the middle of the GOP. Therefore, the imaging parameters may be changed not only in the GOP break (final frame) as shown in FIG. 3 but also in the middle of the GOP as long as it is between the I picture and the previous picture. In the following description, what is expressed as “GOP breaks” may be read as “between an I picture and the previous picture”.

図4は、図3を参照して概説した撮像パラメータ変更処理の流れを詳細に示すフローチャートである。デジタルビデオカメラ100の電源がONの状態で動画用トリガースイッチ203が押されると、本フローチャートの処理が開始する。   FIG. 4 is a flowchart showing in detail the flow of the imaging parameter changing process outlined with reference to FIG. When the moving image trigger switch 203 is pressed while the digital video camera 100 is powered on, the processing of this flowchart is started.

ステップS401で、制御部110は不図示のSRAMから撮像パラメータの初期値を読み出す。次いで、制御部110は読み出した撮像パラメータを信号処理部105、レンズ制御部112乃至ビデオライト制御部115に設定する。これにより、ズーム、露出、ホワイトバランス、ビデオライト、デジタルエフェクトなどを制御する撮像パラメータの初期値が定まる。   In step S401, the control unit 110 reads an initial value of the imaging parameter from an unillustrated SRAM. Next, the control unit 110 sets the read imaging parameters in the signal processing unit 105 and the lens control unit 112 to the video light control unit 115. Thereby, initial values of imaging parameters for controlling zoom, exposure, white balance, video light, digital effect, and the like are determined.

ステップS402で、符号化処理部106は信号処理部105から送られてきた電気信号をMPEG形式で符号化し、磁気テープ108又はDVDメディア109に記録する。ここでの処理がすなわち動画撮像(記録)処理である。また、図示しないが、制御部110が操作部111から撮像終了指示を受けると、本フローチャートの処理は終了する。   In step S <b> 402, the encoding processing unit 106 encodes the electric signal sent from the signal processing unit 105 in the MPEG format and records it on the magnetic tape 108 or the DVD medium 109. This process is a moving image capturing (recording) process. Although not shown, when the control unit 110 receives an imaging end instruction from the operation unit 111, the process of this flowchart ends.

ステップS403で、制御部110は符号化処理部106から、現在GOPにおけるどのフレームを符号化しているかを示す情報を取得し、現在符号化しているフレームがGOPの切れ目であるかどうかを判定する。現在符号化しているフレームがGOPの切れ目でない場合、撮像パラメータを変更することなくステップS402に戻る。GOPの途中で撮像パラメータを変更すると、それに伴うフレーム相関の低下により、画質が低下する可能性があるからである。換言すれば、制御部110はGOPの途中で撮像パラメータを変更することを禁止し、例えばフォーカス追従などの必要が生じても、GOPの切れ目までは不変の撮像パラメータで撮像処理を行う。この場合、被写体のフォーカスがずれたままとなり、画質に悪影響を与える可能性も否定できない。しかし、GOPの途中で撮像パラメータを変更して再びフォーカスを合わせると、フレーム相関の低下による画質劣化という問題が発生する。本実施形態では、フレーム相関の低下による画質劣化をより重視し、制御部110はGOPの途中では撮像パラメータを変更しない。   In step S403, the control unit 110 acquires information indicating which frame in the current GOP is encoded from the encoding processing unit 106, and determines whether the currently encoded frame is a break in the GOP. If the currently encoded frame is not a GOP break, the process returns to step S402 without changing the imaging parameters. This is because if the imaging parameter is changed during the GOP, the image quality may be deteriorated due to the accompanying decrease in the frame correlation. In other words, the control unit 110 prohibits changing the imaging parameter in the middle of the GOP, and performs imaging processing with the imaging parameter that remains unchanged until the GOP breaks, for example, even if focus tracking is necessary. In this case, it is impossible to deny the possibility that the subject remains out of focus and adversely affects image quality. However, if the imaging parameters are changed in the middle of the GOP and the focus is adjusted again, there arises a problem of image quality deterioration due to a decrease in frame correlation. In this embodiment, image quality deterioration due to a decrease in frame correlation is more emphasized, and the control unit 110 does not change the imaging parameters during the GOP.

なお、制御部110が操作部111からズーム変更の指示を受けたり、被写体の明るさが変化することにより絞りを変更する必要が生じたりした場合は、対応する撮像パラメータの変更を不図示のDRAMに一時的に記憶する。   If the control unit 110 receives an instruction to change the zoom from the operation unit 111 or the aperture needs to be changed due to the change in the brightness of the subject, the corresponding imaging parameter is changed by a DRAM (not shown). Memorize temporarily.

一方、現在符号化しているフレームがGOPの切れ目である場合、撮像パラメータ変更に伴うフレーム相関の低下が画質劣化を引き起こす可能性が低いため、ステップS404に進み、以下のように撮像パラメータの変更を行う。   On the other hand, if the currently encoded frame is a GOP break, since it is unlikely that a decrease in frame correlation due to the imaging parameter change will cause image quality deterioration, the process proceeds to step S404, and the imaging parameter change is performed as follows. Do.

ステップS404で、制御部110はフォーカス変更やズーム変更のために撮像パラメータを変更してレンズ101を駆動する必要があるかどうかを判定する。ここでは、被写体の変化や操作部111からの指示による撮像パラメータ変更に加えて、前述のように不図示のDRAMに記憶されている撮像パラメータの変更が存在するかを判定する。以下、本フローチャートにおいて判定を行う各ステップにおいて、同様に、不図示のDRAMに記憶されている撮像パラメータの変更が存在するかを判定するものとする。撮像パラメータを変更する必要がある場合はステップS405に進み、必要がない場合はステップS406に進む。   In step S404, the control unit 110 determines whether it is necessary to drive the lens 101 by changing imaging parameters for focus change or zoom change. Here, it is determined whether there is a change in the imaging parameter stored in the DRAM (not shown) as described above in addition to the change in the imaging parameter based on the change of the subject or the instruction from the operation unit 111. Hereinafter, in each step in which determination is performed in this flowchart, it is similarly determined whether there is a change in the imaging parameter stored in the DRAM (not shown). If the imaging parameter needs to be changed, the process proceeds to step S405, and if not necessary, the process proceeds to step S406.

ステップS405で、制御部110はレンズ制御部112に、レンズ101の制御に対応する撮像パラメータを設定(変更)し、レンズ制御部112はレンズ101のフォーカス変更やズーム変更などの制御を行う。   In step S <b> 405, the control unit 110 sets (changes) imaging parameters corresponding to the control of the lens 101 in the lens control unit 112, and the lens control unit 112 performs control such as focus change and zoom change of the lens 101.

ステップS406で、制御部110は露出の変更のために撮像パラメータを変更する必要があるかどうかを判定する。撮像パラメータを変更する必要がある場合はステップS407に進み、必要がない場合はステップS408に進む。   In step S406, the control unit 110 determines whether it is necessary to change the imaging parameter for changing the exposure. If the imaging parameter needs to be changed, the process proceeds to step S407, and if not necessary, the process proceeds to step S408.

ステップS407で、制御部110は絞り制御部113に、絞り102の制御に対応する撮像パラメータを設定(変更)し、絞り制御部113は絞り102を絞ったり開放したりする。   In step S407, the control unit 110 sets (changes) imaging parameters corresponding to the control of the diaphragm 102 in the diaphragm control unit 113, and the diaphragm control unit 113 narrows or opens the diaphragm 102.

ステップS408で、制御部110は画像データのホワイトバランスの変更のために撮像パラメータを変更する必要があるかどうかを判定する。撮像パラメータを変更する必要がある場合はステップS409に進み、必要がない場合はステップS410に進む。   In step S408, the control unit 110 determines whether it is necessary to change the imaging parameter in order to change the white balance of the image data. If the imaging parameter needs to be changed, the process proceeds to step S409, and if not necessary, the process proceeds to step S410.

ステップS409で、制御部110は信号処理部105に、ホワイトバランス処理の制御に対応する撮像パラメータを設定(変更)する。これ以降は、信号処理部105は新たに設定されたパラメータに基づいてCCD103から送られてきた電気信号に対してホワイトバランス処理を行う。   In step S409, the control unit 110 sets (changes) an imaging parameter corresponding to control of white balance processing in the signal processing unit 105. Thereafter, the signal processing unit 105 performs white balance processing on the electrical signal sent from the CCD 103 based on the newly set parameters.

ステップS410で、制御部110はビデオライト104の点灯、消灯、発光量変更などのために、撮像パラメータを変更する必要があるかどうかを判定する。撮像パラメータを変更する必要がある場合はステップS411に進み、必要がない場合はステップS412に進む。   In step S410, the control unit 110 determines whether the imaging parameter needs to be changed in order to turn on / off the video light 104, change the light emission amount, and the like. If the imaging parameter needs to be changed, the process proceeds to step S411, and if not necessary, the process proceeds to step S412.

ステップS411で、制御部110はビデオライト制御部115に、ビデオライト104の制御に対応する撮像パラメータを設定(変更)し、ビデオライト制御部115はビデオライト104の点灯、消灯、発光量変更などを行う。   In step S411, the control unit 110 sets (changes) imaging parameters corresponding to the control of the video light 104 in the video light control unit 115, and the video light control unit 115 turns on / off the video light 104, changes the light emission amount, and the like. I do.

ステップS412で、制御部110は画像データにフェードなどのデジタルエフェクトを施すために撮像パラメータを変更する必要があるかどうかを判定する。撮像パラメータを変更する必要がある場合はステップS413に進み、必要がない場合はステップS402に戻る。   In step S412, the control unit 110 determines whether it is necessary to change imaging parameters in order to apply digital effects such as fading to the image data. If the imaging parameter needs to be changed, the process proceeds to step S413, and if not necessary, the process returns to step S402.

ステップS413で、制御部110は信号処理部105に、デジタルエフェクトの制御に対応する撮像パラメータを設定(変更)する。これ以降は、信号処理部105は新たに設定されたパラメータに基づいてCCD103から送られてきた電気信号に対してデジタルエフェクトを施す。次いで、ステップS402に戻る。   In step S413, the control unit 110 sets (changes) the imaging parameter corresponding to the control of the digital effect in the signal processing unit 105. Thereafter, the signal processing unit 105 applies a digital effect to the electrical signal sent from the CCD 103 based on the newly set parameters. Next, the process returns to step S402.

このように、デジタルビデオカメラ100は、撮像終了指示を受けるまで、以上の処理を繰り返す。   Thus, the digital video camera 100 repeats the above processing until receiving an imaging end instruction.

なお、ステップS404乃至ステップS413において変更される撮像パラメータの種類は一例に過ぎず、例えば手ぶれ補正に関する撮像パラメータなどについても変更の必要を判定してよい。すなわち、フレーム相関を低下させ、画質劣化を引き起こす可能性のある、あらゆる撮像パラメータを判定の対象としてよい。   Note that the types of imaging parameters that are changed in steps S404 to S413 are merely examples. For example, it may be determined whether imaging parameters relating to camera shake correction or the like need to be changed. That is, any imaging parameter that can reduce frame correlation and cause image quality degradation may be determined.

また、制御部110はGOPの切れ目という限られた時間で撮像パラメータを変更する必要があり、この時間内に変更が完了しなかった場合、S404乃至ステップS413のいずれのステップからでもステップS402に戻る。このとき、制御部110は完了しなかった変更の内容を不図示のDRAMに記憶し、次のGOPの切れ目で変更を行う。   In addition, the control unit 110 needs to change the imaging parameter within a limited time such as a GOP break, and when the change is not completed within this time, the process returns to step S402 from any of steps S404 to S413. . At this time, the control unit 110 stores the contents of the change that has not been completed in the DRAM (not shown), and performs the change at the next GOP break.

また、ステップS404乃至ステップS413の処理は、本実施形態では時系列に順を追って説明したが、実際には任意の順に実行してよく、並行して実行してもよい。   Moreover, although the process of step S404 thru | or step S413 was demonstrated in order according to the time series in this embodiment, in practice, you may perform in arbitrary orders and may be performed in parallel.

<第1の実施形態のまとめ>
以上説明したように、本実施形態によれば、デジタルビデオカメラ100は現在符号化しているフレームがGOPの切れ目である場合にのみ、撮像パラメータの変更を行う。また、GOPの切れ目以外で撮像パラメータを変更する必要が生じた場合は、変更の内容を不図示のDRAMに一時的に記憶し、GOPの切れ目で実際の変更を行う。
<Summary of First Embodiment>
As described above, according to the present embodiment, the digital video camera 100 changes the imaging parameter only when the currently encoded frame is a GOP break. Further, when it is necessary to change the imaging parameter other than the GOP break, the contents of the change are temporarily stored in a DRAM (not shown), and the actual change is performed at the GOP break.

これにより、MPEG符号化においてGOP内でフレーム相関が低下することを抑制でき、画質の劣化を抑制することができる。また、Iピクチャの割合を増やさないため、符号化効率の低下を抑制し、符号量(データ量)の増大を抑制することができる。   Thereby, it is possible to suppress a decrease in frame correlation in the GOP in MPEG encoding, and it is possible to suppress deterioration in image quality. Further, since the ratio of I pictures is not increased, it is possible to suppress a decrease in encoding efficiency and to suppress an increase in code amount (data amount).

[第2の実施形態]
第1の実施形態では、図1のデジタルビデオカメラ100は現在符号化しているフレームがGOPの切れ目である場合にのみ、撮像パラメータの変更を行うものとした。第2の実施形態では、撮像パラメータの変化量が所定の閾値よりも小さい場合は、デジタルビデオカメラ100はGOPの途中であっても撮像パラメータの変更を行う(許可する)形態を説明する。
[Second Embodiment]
In the first embodiment, the digital video camera 100 in FIG. 1 changes the imaging parameter only when the currently encoded frame is a GOP break. In the second embodiment, a mode in which the digital video camera 100 changes (allows) the imaging parameter even during the GOP when the change amount of the imaging parameter is smaller than a predetermined threshold value will be described.

本実施形態によれば、撮像パラメータの変化量が小さければGOPの途中でも撮像パラメータを変更するため、撮像環境により適した撮像パラメータで撮像を行うことが可能となる。一方で、撮像パラメータの変化量が小さければフレーム相関の低下も相対的に小さくなり、画質劣化がそれほど問題とならない。   According to the present embodiment, if the change amount of the imaging parameter is small, the imaging parameter is changed even during the GOP. Therefore, it is possible to perform imaging with an imaging parameter more suitable for the imaging environment. On the other hand, if the change amount of the imaging parameter is small, the decrease in the frame correlation is relatively small, and the deterioration of the image quality is not so much a problem.

なお、本実施形態において、デジタルビデオカメラ100の構成は第1の実施形態と同様でよいため、その説明を省略する。   In the present embodiment, the configuration of the digital video camera 100 may be the same as that of the first embodiment, and the description thereof is omitted.

図5は、第2の実施形態における、撮像パラメータ変更処理の流れを詳細に示すフローチャートである。本フローチャートにおいて、図4と同じ処理を行うステップには同じ符号を付し、説明を省略する。第1の実施形態と同様、デジタルビデオカメラ100の電源がONの状態で図2の動画用トリガースイッチ203が押されると、本フローチャートの処理が開始する。また、図示しないが、第1の実施形態と同様、制御部110が操作部111から撮像終了指示を受けると、本フローチャートの処理は終了する。   FIG. 5 is a flowchart showing in detail the flow of imaging parameter change processing in the second embodiment. In this flowchart, steps that perform the same processing as in FIG. As in the first embodiment, when the digital video camera 100 is turned on and the moving image trigger switch 203 in FIG. 2 is pressed, the processing of this flowchart is started. Although not shown, when the control unit 110 receives an imaging end instruction from the operation unit 111 as in the first embodiment, the process of this flowchart ends.

ステップS501で、制御部110は符号化処理部106から、現在GOPにおけるどのフレームを符号化しているかを示す情報を取得し、現在符号化しているフレームがGOPの切れ目(最終フレーム)であるかどうかを判定する。現在符号化しているフレームがGOPの切れ目でない場合、第1の実施形態と異なり、ステップS502に進む。   In step S501, the control unit 110 acquires information indicating which frame in the current GOP is encoded from the encoding processing unit 106, and determines whether the currently encoded frame is a GOP break (final frame). Determine. If the currently encoded frame is not a GOP break, the process advances to step S502, unlike the first embodiment.

一方、現在符号化しているフレームがGOPの切れ目である場合、撮像パラメータ変更に伴うフレーム相関の低下が画質劣化を引き起こす可能性が低いため、ステップS404に進み、第1の実施形態と同様に撮像パラメータの変更を行う。   On the other hand, if the currently encoded frame is a GOP break, since it is unlikely that a decrease in frame correlation due to the imaging parameter change will cause image quality degradation, the process proceeds to step S404, and imaging is performed in the same manner as in the first embodiment. Change the parameters.

ステップS502乃至ステップS507では、撮像パラメータ変更により画質劣化を引き起こす可能性があるため、撮像パラメータ変更の制御を短い周期で行う必要のある撮像パラメータに限り、一定条件の下、変更を行う。撮像パラメータ変更の制御を短い周期で行う必要のある撮像パラメータとは、例えばレンズ101及び絞り102の制御に関する撮像パラメータである。なぜなら、例えばフォーカスがずれると画質に悪影響を及ぼす可能性が高いため、GOPの途中であっても可能な限りフォーカスの調整を行うことが好ましいからである。   In step S502 to step S507, since there is a possibility that image quality deterioration may be caused by changing the imaging parameter, only the imaging parameter that needs to be controlled in a short cycle is changed under a certain condition. The imaging parameter that needs to be controlled in a short cycle for changing the imaging parameter is an imaging parameter related to the control of the lens 101 and the diaphragm 102, for example. This is because, for example, if the focus is shifted, there is a high possibility that the image quality is adversely affected. Therefore, it is preferable to adjust the focus as much as possible even during the GOP.

ステップS502で、制御部110はフォーカス変更やズーム変更のために撮像パラメータを変更してレンズ101を駆動する必要があるかどうかを判定する。ここでは、被写体の変化や操作部111からの指示による撮像パラメータ変更に加えて、前述のように制御部110の不図示のDRAMに記憶されている撮像パラメータの変更が存在するかを判定する。以下、本フローチャートにおいて判定を行う各ステップにおいて、同様に、不図示のDRAMに記憶されている撮像パラメータの変更が存在するかを判定するものとする。撮像パラメータを変更する必要がある場合はステップS503に進み、必要がない場合はステップS505に進む。   In step S502, the control unit 110 determines whether it is necessary to drive the lens 101 by changing imaging parameters for focus change or zoom change. Here, it is determined whether there is a change in the imaging parameter stored in the DRAM (not shown) of the control unit 110 as described above in addition to the change in the imaging parameter based on the change of the subject or the instruction from the operation unit 111. Hereinafter, in each step in which determination is performed in this flowchart, it is similarly determined whether there is a change in the imaging parameter stored in the DRAM (not shown). If the imaging parameter needs to be changed, the process proceeds to step S503, and if not necessary, the process proceeds to step S505.

ステップS503で、制御部110は撮像パラメータの変化量が所定の閾値以下であるかどうかを判定する。所定の閾値は、デジタルビデオカメラ100の製造時等に不図示のSRAMに記録しておく。また、ユーザが操作部111を介して閾値を変更できるようにしてもよい。撮像パラメータの変化量が所定の閾値以下でない場合、撮像パラメータを変更するとフレーム相関が大きく低下する可能性があるため、撮像パラメータを変更せずにステップS505に進む。この場合、対応する撮像パラメータの変更を制御部110の不図示のDRAMに一時的に記憶する。撮像パラメータの変化量が所定の閾値以下の場合、ステップS504に進む。   In step S503, the control unit 110 determines whether the change amount of the imaging parameter is equal to or less than a predetermined threshold value. The predetermined threshold is recorded in an SRAM (not shown) when the digital video camera 100 is manufactured. In addition, the user may be able to change the threshold value via the operation unit 111. If the change amount of the imaging parameter is not less than or equal to the predetermined threshold value, the frame correlation may be greatly reduced if the imaging parameter is changed. Therefore, the process proceeds to step S505 without changing the imaging parameter. In this case, the corresponding imaging parameter change is temporarily stored in a DRAM (not shown) of the control unit 110. If the change amount of the imaging parameter is equal to or smaller than the predetermined threshold value, the process proceeds to step S504.

ステップS504で、制御部110はレンズ制御部112に、レンズ101の制御に対応する撮像パラメータを設定(変更)し、レンズ制御部112はレンズ101のフォーカス変更やズーム変更などの制御を行う。   In step S504, the control unit 110 sets (changes) an imaging parameter corresponding to the control of the lens 101 in the lens control unit 112, and the lens control unit 112 performs control such as a focus change or a zoom change of the lens 101.

ステップS505で、制御部110は露出の変更のために撮像パラメータを変更する必要があるかどうかを判定する。撮像パラメータを変更する必要がある場合はステップS506に進み、必要がない場合はステップS402に戻る。   In step S505, the control unit 110 determines whether it is necessary to change the imaging parameter for changing the exposure. If the imaging parameter needs to be changed, the process proceeds to step S506, and if not necessary, the process returns to step S402.

ステップS506で、制御部110は撮像パラメータの変化量が所定の閾値以下であるかどうかを判定する。撮像パラメータの変化量が所定の閾値以下でない場合、撮像パラメータを変更するとフレーム相関が大きく低下する可能性があるため、撮像パラメータを変更せずにステップS402に戻る。この場合、対応する撮像パラメータの変更を制御部110の不図示のDRAMに一時的に記憶する。撮像パラメータの変化量が所定の閾値以下の場合、ステップS507に進む。   In step S506, the control unit 110 determines whether the change amount of the imaging parameter is equal to or less than a predetermined threshold value. If the change amount of the imaging parameter is not less than or equal to the predetermined threshold value, the frame correlation may be greatly reduced when the imaging parameter is changed. Therefore, the process returns to step S402 without changing the imaging parameter. In this case, the corresponding imaging parameter change is temporarily stored in a DRAM (not shown) of the control unit 110. If the change amount of the imaging parameter is equal to or smaller than the predetermined threshold value, the process proceeds to step S507.

ステップS507で、制御部110は絞り制御部113に、絞り102の制御に対応する撮像パラメータを設定(変更)し、絞り制御部113は絞り102を絞ったり開放したりする。次いで、ステップS402に戻る。   In step S507, the control unit 110 sets (changes) imaging parameters corresponding to the control of the diaphragm 102 in the diaphragm control unit 113, and the diaphragm control unit 113 narrows or opens the diaphragm 102. Next, the process returns to step S402.

このように、デジタルビデオカメラ100は、撮像終了指示を受けるまで、以上の処理を繰り返す。   Thus, the digital video camera 100 repeats the above processing until receiving an imaging end instruction.

なお、ステップS502乃至ステップS507において変更される撮像パラメータの種類は一例に過ぎず、撮像パラメータ変更の制御を短い周期で行いたければ、ホワイトバランス処理等に関する撮像パラメータなどについても変更の必要を判定してもよい。すなわち、フレーム相関を低下させ、画質劣化を引き起こす可能性のある、あらゆる撮像パラメータを判定の対象としてよい。判定の対象としない撮像パラメータ、すなわち、GOPの途中では一切変更しない撮像パラメータは、例えば閾値を0とすることで設定することができる。   Note that the types of imaging parameters that are changed in steps S502 to S507 are merely examples, and if it is desired to perform imaging parameter change control in a short cycle, it is determined whether the imaging parameters related to white balance processing or the like need to be changed. May be. That is, any imaging parameter that can reduce frame correlation and cause image quality degradation may be determined. Imaging parameters that are not subject to determination, that is, imaging parameters that are not changed during the GOP can be set by setting the threshold value to 0, for example.

また、ステップS502乃至ステップS507の処理は、本実施形態では時系列に順を追って説明したが、実際には任意の順に実行してよく、並行して実行してもよい。   Moreover, although the process of step S502 thru | or step S507 demonstrated in order according to the time series in this embodiment, in practice, you may perform in arbitrary orders and may be performed in parallel.

<第2の実施形態のまとめ>
以上説明したように、本実施形態によれば、撮像パラメータの変化量が所定の閾値よりも小さい場合は、デジタルビデオカメラ100はGOPの途中であっても撮像パラメータの変更を行う(許可する)。撮像パラメータの変化量が所定の閾値よりも大きい場合は、変更の内容を不図示のDRAMに一時的に記憶し、GOPの切れ目で実際の変更を行う。
<Summary of Second Embodiment>
As described above, according to the present embodiment, when the change amount of the imaging parameter is smaller than the predetermined threshold, the digital video camera 100 changes (allows) the imaging parameter even during the GOP. . When the change amount of the imaging parameter is larger than a predetermined threshold value, the contents of the change are temporarily stored in a DRAM (not shown), and the actual change is performed at the GOP break.

これにより、第1の実施形態における利点に加えて、撮像パラメータの変化量が小さければGOPの途中でも撮像パラメータを変更するため、撮像環境により適した撮像パラメータで撮像を行うことが可能となる。一方で、撮像パラメータの変化量が小さければフレーム相関の低下も相対的に小さくなり、画質劣化がそれほど問題とならない。   Thus, in addition to the advantages of the first embodiment, if the change amount of the imaging parameter is small, the imaging parameter is changed even during the GOP, so that it is possible to perform imaging with an imaging parameter more suitable for the imaging environment. On the other hand, if the change amount of the imaging parameter is small, the decrease in the frame correlation is relatively small, and the deterioration of the image quality is not so much a problem.

[第3の実施形態]
第1及び第2の実施形態では、動画像撮像時における撮像パラメータの変更について説明した。第3の実施形態では、動画像撮像時に静止画像を撮像する場合の撮像パラメータの変更について説明する。
[Third Embodiment]
In the first and second embodiments, the change of the imaging parameter at the time of moving image imaging has been described. In the third embodiment, a description will be given of how to change imaging parameters when capturing a still image when capturing a moving image.

静止画撮像はしばしばフラッシュの発光を伴い、これにより、撮像環境が変化してフレーム相関の低下を引き起こす可能性がある。したがって、本実施形態は、動画撮像時に静止画撮像が行われた場合の動画像データの画質劣化を抑制するという意義がある。   Still image capturing often involves flash emission, which can change the imaging environment and cause a reduction in frame correlation. Therefore, this embodiment has a significance of suppressing deterioration in image quality of moving image data when still image capturing is performed during moving image capturing.

<デジタルビデオカメラ100の構成>
図6は、本実施形態におけるデジタルビデオカメラ100の構成を示すブロック図である。ストロボ601、メモリカード602、ストロボ制御部603が追加された以外は、第1の実施形態と同様であり(図1参照)、同じ構成要素には同じ符号を付し、説明を省略する。
<Configuration of digital video camera 100>
FIG. 6 is a block diagram showing the configuration of the digital video camera 100 in the present embodiment. Except for the addition of the strobe 601, the memory card 602, and the strobe control unit 603, the second embodiment is the same as the first embodiment (see FIG. 1).

ストロボ601は、静止画像撮像時にフラッシュとして使用するためのものである。   The strobe 601 is for use as a flash when capturing a still image.

メモリカード602は、符号化処理部106が信号処理部105から送られてきた電気信号をJPEG形式に符号化したものを、静止画像データとして記録するための記憶媒体である。なお、静止画像データは磁気テープ108やDVDメディア109に記録しても構わない。   The memory card 602 is a storage medium for recording, as still image data, an electric signal encoded by the encoding processing unit 106 from the signal processing unit 105 into a JPEG format. Still image data may be recorded on the magnetic tape 108 or the DVD medium 109.

ストロボ制御部603は、ストロボ601の発光量および発光タイミングなどの制御を、制御部110の指示に従って行うものである。   The strobe control unit 603 controls the amount of light emitted and the light emission timing of the strobe 601 in accordance with instructions from the control unit 110.

<レンズ101等の制御のタイミング>
図7は、動画像撮像時に静止画像を撮像する場合の、撮像パラメータ変更処理の流れを詳細に示すフローチャートである。本フローチャートは第1の実施形態(図4)と異なり、デジタルビデオカメラ100に電源が投入された時点で処理が開始する。
<Timing of control of lens 101 etc.>
FIG. 7 is a flowchart showing in detail the flow of imaging parameter change processing when a still image is captured during moving image capturing. Unlike the first embodiment (FIG. 4), this flowchart starts when the digital video camera 100 is powered on.

ステップS701で、制御部110は不図示のSRAMから撮像パラメータの初期値を読み出す。次いで、制御部110は読み出した撮像パラメータを信号処理部105、レンズ制御部112乃至ビデオライト制御部115に設定する。これにより、ズーム、露出、ホワイトバランス、ビデオライト、デジタルエフェクトなどを制御する撮像パラメータの初期値が定まる。   In step S701, the control unit 110 reads an initial value of the imaging parameter from an unillustrated SRAM. Next, the control unit 110 sets the read imaging parameters in the signal processing unit 105 and the lens control unit 112 to the video light control unit 115. Thereby, initial values of imaging parameters for controlling zoom, exposure, white balance, video light, digital effect, and the like are determined.

ステップS702で、制御部110は操作部111の静止画用トリガースイッチ204(図2)から静止画撮像指示を受信したかどうかを判定する。静止画撮像指示を受信すると、ステップS703に進む。静止画撮像指示を受信しなければ、受信するまでステップS702で待つ。   In step S <b> 702, the control unit 110 determines whether a still image capturing instruction is received from the still image trigger switch 204 (FIG. 2) of the operation unit 111. When a still image capturing instruction is received, the process proceeds to step S703. If no still image capturing instruction is received, the process waits in step S702 until it is received.

なお、図示しないが、制御部110が操作部111から電源OFFの指示を受けると、本フローチャートの処理は終了する。また、制御部110が操作部111の動画用トリガースイッチ203(図2)から動画撮像指示を受けると、デジタルビデオカメラ100は動画撮像処理を開始する。動画像撮像中は、符号化処理部106は信号処理部105から送られてきた電気信号をMPEG形式で符号化し、磁気テープ108又はDVDメディア109に記録する。   Although not shown, when the control unit 110 receives a power-off instruction from the operation unit 111, the processing of this flowchart ends. When the control unit 110 receives a moving image capturing instruction from the moving image trigger switch 203 (FIG. 2) of the operation unit 111, the digital video camera 100 starts moving image capturing processing. During moving image capturing, the encoding processing unit 106 encodes the electric signal sent from the signal processing unit 105 in the MPEG format and records it on the magnetic tape 108 or the DVD medium 109.

ステップS703で、制御部110はストロボ601の発光が必要かどうかを判定する。ここでの判定は、例えば不図示の明るさセンサから被写体や撮像環境の明るさを受け取ることにより行う。ストロボ601の発光が必要でない場合は、静止画撮像により撮像環境が変化することはないので、ステップS707に進み、静止画撮像処理を行う。このとき、動画像撮像中であり、静止画像撮像以外の要因で撮像パラメータを変更する必要があれば、第1の実施形態と同様の方法で撮像パラメータ変更処理を行う。ストロボ601の発光が必要な場合は、ステップS704に進む。   In step S703, the control unit 110 determines whether the strobe 601 needs to emit light. The determination here is performed, for example, by receiving the brightness of the subject or the imaging environment from a brightness sensor (not shown). If the flash 601 is not required to emit light, the imaging environment does not change due to still image capturing, and thus the process proceeds to step S707 to perform still image capturing processing. At this time, if a moving image is being captured and it is necessary to change the imaging parameter due to factors other than still image capturing, the imaging parameter changing process is performed in the same manner as in the first embodiment. If the strobe 601 needs to emit light, the process proceeds to step S704.

ステップS704で、制御部110はデジタルビデオカメラ100が動画像撮像中かどうかを判定する。動画像撮像中でなければ撮像パラメータの変更を考慮する必要がないため、ステップS706に進む。動画像撮像中の場合は、ステップS705に進む。   In step S704, the control unit 110 determines whether the digital video camera 100 is capturing a moving image. If the moving image is not being captured, it is not necessary to consider the change of the imaging parameter, and the process proceeds to step S706. If a moving image is being captured, the process proceeds to step S705.

ステップS705で、制御部110は符号化処理部106から、現在GOPにおけるどのフレームを符号化しているかを示す情報を取得し、現在符号化しているフレームがGOPの切れ目(最終フレーム)であるかどうかを判定する。現在符号化しているフレームがGOPの切れ目でない場合、ステップS704に戻る。GOPの途中でストロボ601を発光すると、撮像環境(具体的には、被写体の輝度など)が変化し、それに伴うフレーム相関の低下により、画質が低下する可能性があるからである。したがって、現在符号化しているフレームがGOPの切れ目になるまで静止画像撮像処理を遅らせる。現在符号化しているフレームがGOPの切れ目であれば、ステップS706に進む。   In step S705, the control unit 110 acquires information indicating which frame in the current GOP is encoded from the encoding processing unit 106, and whether or not the currently encoded frame is a GOP break (final frame). Determine. If the currently encoded frame is not a GOP break, the process returns to step S704. This is because if the strobe 601 emits light in the middle of a GOP, the imaging environment (specifically, the luminance of the subject, etc.) changes, and the image quality may deteriorate due to the accompanying decrease in frame correlation. Therefore, the still image capturing process is delayed until the frame currently encoded becomes a GOP break. If the currently encoded frame is a GOP break, the process advances to step S706.

ステップS706で、制御部110はストロボ制御部603を介してストロボ601を発光し、ステップS707に進む。   In step S706, the control unit 110 emits the strobe 601 via the strobe control unit 603, and the process proceeds to step S707.

ステップS707で、符号化処理部106は信号処理部105から送られてきた電気信号をJPEG形式で符号化し、メモリカード602に記録する。次いでステップS702に戻り、次の静止画像撮像指示を待つ。   In step S <b> 707, the encoding processing unit 106 encodes the electrical signal sent from the signal processing unit 105 in the JPEG format and records it in the memory card 602. Next, the process returns to step S702 to wait for the next still image capturing instruction.

<第3の実施形態のまとめ>
以上説明したように、本実施形態によれば、動画像撮像中にストロボ601の発光が必要な静止画撮像処理を行う場合、制御部110はGOPの切れ目まで待って静止画撮像処理を行う。
<Summary of Third Embodiment>
As described above, according to the present embodiment, when performing still image capturing processing that requires the flash 601 to emit light during moving image capturing, the control unit 110 waits until a GOP break and performs still image capturing processing.

これにより、動画撮像時に静止画撮像が行われた場合の動画像データの画質劣化を抑制することができる。   As a result, it is possible to suppress deterioration in the image quality of the moving image data when still image capturing is performed during moving image capturing.

[その他の実施形態]
上述した各実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどを用いることができる。
[Other Embodiments]
The processing of each embodiment described above provides a system or apparatus with a storage medium storing software program codes embodying each function, and the system or apparatus computer (or CPU or MPU) stores the storage medium. It can also be realized by reading and executing the program code stored in the. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention. As a storage medium for supplying such a program code, for example, a floppy (registered trademark) disk, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM Etc. can be used.

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれている。   Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (Operating System) running on the computer based on the instruction of the program code. Includes the case where the functions of the above-described embodiments are realized by performing part or all of the actual processing.

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。   Furthermore, after the program code read from the storage medium is written to the memory provided in the function expansion board inserted into the computer or the function expansion unit connected to the computer, the function is based on the instruction of the program code. This includes a case where a CPU or the like provided in an expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.

本発明の撮像装置として使用可能なデジタルビデオカメラ100の構成を示すブロック図である。1 is a block diagram showing a configuration of a digital video camera 100 that can be used as an imaging apparatus of the present invention. デジタルビデオカメラ100の外観を示す斜視図である。1 is a perspective view showing an external appearance of a digital video camera 100. FIG. 第1の実施形態における、撮像パラメータ変更処理のタイミングを概略的に説明する図である。It is a figure which illustrates schematically the timing of the imaging parameter change process in 1st Embodiment. 第1の実施形態における、撮像パラメータ変更処理の流れを詳細に示すフローチャートである。4 is a flowchart illustrating in detail a flow of imaging parameter change processing in the first embodiment. 第2の実施形態における、撮像パラメータ変更処理の流れを詳細に示すフローチャートである。It is a flowchart which shows the flow of the imaging parameter change process in 2nd Embodiment in detail. 第3の実施形態におけるデジタルビデオカメラ100の構成を示すブロック図である。It is a block diagram which shows the structure of the digital video camera 100 in 3rd Embodiment. 動画像撮像時に静止画像を撮像する場合の、撮像パラメータ変更処理の流れを詳細に示すフローチャートである。It is a flowchart which shows in detail the flow of an imaging parameter change process in the case of imaging a still image at the time of moving image imaging.

符号の説明Explanation of symbols

100 デジタルビデオカメラ
110 制御部
100 Digital Video Camera 110 Control Unit

Claims (8)

撮像パラメータに従って撮像した動画像データをMPEG形式で符号化する符号化手段と、
前記符号化手段が符号化中の前記動画像データのフレーム画像の次に符号化するフレーム画像の種類が、フレーム内符号化画像であるかどうかを判定する判定手段と、
前記撮像パラメータの変更を制御する制御手段と、
を備え、
前記制御手段は、前記判定手段による前記フレーム画像の種類がフレーム内符号化画像でない場合に、前記撮像パラメータの変更を禁止することを特徴とする撮像装置。
Encoding means for encoding moving image data captured in accordance with imaging parameters in MPEG format;
A determination unit that determines whether or not a type of a frame image to be encoded next to a frame image of the moving image data being encoded by the encoding unit is an intra-frame encoded image;
Control means for controlling the change of the imaging parameter;
With
The control unit prohibits the change of the imaging parameter when the type of the frame image by the determination unit is not an intra-frame encoded image.
前記制御手段は、前記判定手段による前記フレーム画像の種類がフレーム内符号化画像でない場合であっても、前記撮像パラメータの変化量が所定の閾値以下の場合は、前記撮像パラメータの変更を許可することを特徴とする請求項1に記載の撮像装置。   The control means permits the change of the imaging parameter when the change amount of the imaging parameter is a predetermined threshold or less even when the type of the frame image by the determination means is not an intra-frame encoded image. The imaging apparatus according to claim 1. 前記符号化手段は、GOPの最初のフレーム画像をフレーム内符号化画像として符号化し、
前記判定手段は、前記符号化手段が符号化中の前記画像データのフレーム画像がGOPの最後のフレーム画像であるかどうかにより、前記次に符号化するフレーム画像の種類がフレーム内符号化画像であるかどうかを判定する
ことを特徴とする請求項1又は2に記載の撮像装置。
The encoding means encodes the first frame image of the GOP as an intra-frame encoded image,
The determination means determines whether the type of the next frame image to be encoded is an intra-frame encoded image depending on whether the frame image of the image data being encoded by the encoding unit is the last frame image of the GOP. It is determined whether there exists. The imaging device of Claim 1 or 2 characterized by the above-mentioned.
さらに、
静止画像データを撮像する静止画撮像手段と、
補助光を発光する補助光発光手段と、
前記静止画撮像手段による前記静止画像データの撮像時に前記補助光を発光するかどうかを制御する補助光制御手段と、
動画像データを撮像中であるかどうかを判定する動画撮像判定手段と、
前記動画撮像判定手段が前記動画像データを撮像中であると判定し、かつ、前記補助光制御手段が前記補助光を発光するように制御し、かつ、前記判定手段による前記フレーム画像の種類がフレーム内符号化画像でない場合に、前記静止画撮像手段による前記静止画像データの撮像を、前記判定手段による前記フレーム画像の種類がフレーム内符号化画像となるまで遅延させる遅延手段と、
を備えることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
further,
A still image capturing means for capturing still image data;
Auxiliary light emitting means for emitting auxiliary light;
Auxiliary light control means for controlling whether to emit the auxiliary light when the still image data is captured by the still image capturing means;
Moving image capturing determination means for determining whether or not moving image data is being captured;
The moving image imaging determination means determines that the moving image data is being captured, the auxiliary light control means controls to emit the auxiliary light, and the type of the frame image by the determination means is A delay means for delaying imaging of the still image data by the still image imaging means until the type of the frame image by the determination means becomes an intra-frame encoded image when it is not an intra-frame encoded image;
The imaging apparatus according to any one of claims 1 to 3, further comprising:
前記撮像パラメータは、ズーム、フォーカス、露出、ホワイトバランス、ビデオライト、ストロボ、デジタルエフェクトのうち少なくともいずれかの制御に関するパラメータであることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。   5. The imaging parameter according to claim 1, wherein the imaging parameter is a parameter related to control of at least one of zoom, focus, exposure, white balance, video light, strobe, and digital effect. Imaging device. 撮像パラメータに従って撮像した動画像データをMPEG形式で符号化する符号化工程と、
前記符号化手段が符号化中の前記動画像データのフレーム画像の次に符号化するフレーム画像の種類が、フレーム内符号化画像であるかどうかを判定する判定工程と、
前記撮像パラメータの変更を制御する制御工程と、
を備え、
前記制御工程は、前記判定工程による前記フレーム画像の種類がフレーム内符号化画像でない場合に、前記撮像パラメータの変更を禁止することを特徴とする撮像方法。
An encoding process for encoding moving image data captured in accordance with imaging parameters in MPEG format;
A determination step of determining whether a type of a frame image to be encoded next to a frame image of the moving image data being encoded by the encoding unit is an intra-frame encoded image;
A control step for controlling the change of the imaging parameter;
With
The control method prohibits the change of the imaging parameter when the type of the frame image determined in the determination step is not an intra-frame encoded image.
コンピュータが、撮像パラメータに従って撮像した動画像データをMPEG形式で符号化する符号化工程を実行するプログラムコードと、
コンピュータが、前記符号化手段が符号化中の前記動画像データのフレーム画像の次に符号化するフレーム画像の種類が、フレーム内符号化画像であるかどうかを判定する判定工程を実行するプログラムコードと、
コンピュータが、前記撮像パラメータの変更を制御する制御工程を実行するプログラムコードと、
を備え、
前記制御工程は、前記判定工程による前記フレーム画像の種類がフレーム内符号化画像でない場合に、前記撮像パラメータの変更を禁止することを特徴とするコンピュータプログラム。
A program code for executing an encoding process in which a computer encodes moving image data captured in accordance with imaging parameters in MPEG format;
Program code for executing a determination step for determining whether or not a type of a frame image to be encoded next to a frame image of the moving image data being encoded by the encoding means is an intra-frame encoded image When,
A computer code for executing a control process for controlling the change of the imaging parameter;
With
The computer program characterized in that the control step prohibits the change of the imaging parameter when the type of the frame image in the determination step is not an intra-frame encoded image.
請求項7に記載のコンピュータプログラムを記憶したコンピュータ可読記憶媒体。   A computer-readable storage medium storing the computer program according to claim 7.
JP2005235490A 2005-08-15 2005-08-15 Imaging apparatus and imaging method Expired - Fee Related JP4785460B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005235490A JP4785460B2 (en) 2005-08-15 2005-08-15 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005235490A JP4785460B2 (en) 2005-08-15 2005-08-15 Imaging apparatus and imaging method

Publications (3)

Publication Number Publication Date
JP2007053447A true JP2007053447A (en) 2007-03-01
JP2007053447A5 JP2007053447A5 (en) 2008-09-18
JP4785460B2 JP4785460B2 (en) 2011-10-05

Family

ID=37917617

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005235490A Expired - Fee Related JP4785460B2 (en) 2005-08-15 2005-08-15 Imaging apparatus and imaging method

Country Status (1)

Country Link
JP (1) JP4785460B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187385A (en) * 2007-01-29 2008-08-14 Fujifilm Corp Imaging device
JP2009124604A (en) * 2007-11-16 2009-06-04 Casio Comput Co Ltd Imaging apparatus, and move control program
JP2010041177A (en) * 2008-08-01 2010-02-18 Canon Inc Imaging apparatus
JP2012191672A (en) * 2012-06-29 2012-10-04 Casio Comput Co Ltd Imaging apparatus and movement control program
JP2017028375A (en) * 2015-07-16 2017-02-02 株式会社リコー Image processing device and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003158661A (en) * 2001-11-22 2003-05-30 Hitachi Ltd Video camera
JP2004180345A (en) * 2004-02-17 2004-06-24 Canon Inc Photographed image recording apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003158661A (en) * 2001-11-22 2003-05-30 Hitachi Ltd Video camera
JP2004180345A (en) * 2004-02-17 2004-06-24 Canon Inc Photographed image recording apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187385A (en) * 2007-01-29 2008-08-14 Fujifilm Corp Imaging device
JP4692850B2 (en) * 2007-01-29 2011-06-01 富士フイルム株式会社 Imaging device
JP2009124604A (en) * 2007-11-16 2009-06-04 Casio Comput Co Ltd Imaging apparatus, and move control program
JP2010041177A (en) * 2008-08-01 2010-02-18 Canon Inc Imaging apparatus
JP2012191672A (en) * 2012-06-29 2012-10-04 Casio Comput Co Ltd Imaging apparatus and movement control program
JP2017028375A (en) * 2015-07-16 2017-02-02 株式会社リコー Image processing device and program

Also Published As

Publication number Publication date
JP4785460B2 (en) 2011-10-05

Similar Documents

Publication Publication Date Title
JP5210091B2 (en) Image processing apparatus, control method therefor, imaging apparatus, and program
JP4725183B2 (en) Imaging apparatus and method
JP5047080B2 (en) Image processing apparatus, control method therefor, and program
JP4560422B2 (en) Imaging apparatus and control method thereof
US8035699B2 (en) Image capturing apparatus, control method therefor, and program
JP5086879B2 (en) Image processing apparatus, control method therefor, and program
JP5158409B2 (en) Imaging apparatus and program thereof
JP4785460B2 (en) Imaging apparatus and imaging method
JP5141324B2 (en) Imaging apparatus, imaging apparatus control method, signal processing apparatus, and signal processing method
JP4769567B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, COMPUTER PROGRAM, AND STORAGE MEDIUM
JP2006310971A (en) Imaging apparatus, exposure control method, and program
JP6354877B2 (en) Imaging control apparatus, and control method and program thereof
JP5111315B2 (en) Image processing apparatus, image processing method, and program
JP6103481B2 (en) Imaging apparatus, and control method and program thereof
JP2010093689A (en) Image pickup device
JP4799504B2 (en) Image decoding apparatus and control method thereof
US8948573B2 (en) Image processing apparatus
JP2005175974A (en) Imaging device
JP2005217493A (en) Imaging apparatus
JP2001025011A (en) Encoder, image processor, camera incorporated type image recorder, image processing system, encoding method and storage medium
KR101332299B1 (en) Image recording apparatus and method thereof
JP5610860B2 (en) Imaging apparatus and information processing apparatus
JP2009232004A (en) Signal processor and signal processing method, and imaging apparatus and control method of the imaging apparatus
JP2007006140A (en) Data processor and data processing method
JP3645254B2 (en) Image data recording system and image data recording method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110712

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140722

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees