JP2013175978A

JP2013175978A - Image pickup device

Info

Publication number: JP2013175978A
Application number: JP2012039953A
Authority: JP
Inventors: Shigeo Matsushima; 茂夫松島
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-02-27
Filing date: 2012-02-27
Publication date: 2013-09-05

Abstract

PROBLEM TO BE SOLVED: To provide an image pickup device which, when photographing a static image during moving image recording, makes it possible to easily create a static image from a plurality of compression coded frame images constituting a moving image file without interrupting the moving image recording.SOLUTION: The image pickup device comprises: an image sensor 6 which senses light from the subject to pick up an image; a moving image file generation unit 4 which generates a moving image file constituted by a plurality of frame images based on an image pickup signal from the image sensor; a determination unit 4 which determines whether an instruction to photograph a static image has been issued during moving image photographing; and a control unit 4 which controls whether or not to record the frame images constituting the moving image file generated by the moving image file generation unit on a recording medium after compression coding them into I frames which are intra-frame coded images on the basis of the result of determination by the determination unit.

Description

本発明は、動画像を撮影可能な撮像装置に関するものである。 The present invention relates to an imaging apparatus capable of capturing a moving image.

ＣＣＤを介して連続的に得られる複数のフレーム画像を、動画像を形成する複数のフレーム画像としてバッファメモリに所定容量分記憶させ、ユーザーにより撮影の指示がなされると、その所定時間前にバッファメモリに記憶された複数のフレーム画像を動画像データとしてメモリに記録する。そしてメモリに記録された動画像データを静止画像化する場合において、撮影の指示がなされたときに得られたフレーム画像をメインフレームとして、その他のフレーム画像と共に、レイアウト情報に従って、配置して印刷可能な一枚の静止画を作成する撮像装置が提案されている（例えば、特許文献１参照）。 A plurality of frame images continuously obtained via the CCD are stored in a buffer memory in a predetermined capacity as a plurality of frame images forming a moving image, and when a shooting instruction is given by the user, the buffer is stored before the predetermined time. A plurality of frame images stored in the memory are recorded in the memory as moving image data. When moving image data recorded in the memory is converted into a still image, the frame image obtained when a shooting instruction is given can be placed and printed along with the other frame images along with the layout information as the main frame. An imaging device that creates a single still image has been proposed (see, for example, Patent Document 1).

特開２００６−１９７５００号公報JP 2006-197500 A

しかしながら、上述の特許文献１記載の撮像装置では、例えばｈ．２６４等の動画圧縮規格に従ってデータ圧縮された動画ファイル内のフレーム画像を静止画像として記録する技術は開示されていない。例えばｈ．２６４等の動画圧縮規格に従ってデータ圧縮された動画像ファイルは、単独で復号可能なフレーム内符号化画像であるＩフレーム、前フレームを参照することにより復号可能なフレーム間符号化画像であるＰフレーム、前後のフレームを参照することにより復号可能なフレーム間符号化画像であるＢフレームを含んで形成されている。そして、動画像撮影中に静止画像を撮影する場合であって、動画像をｈ．２６４等の動画圧縮規格に従ってデータ圧縮したとき、Ｉフレームに基づき静止画像を生成するのは容易であったが、Ｐフレーム及びＢフレームに基づき静止画像を生成するのは容易でなく、専用の編集装置や編集ソフトを必要としていた。一方、Ｉフレームのみで形成される動画像ファイルを作成すると、動画像ファイルを形成するフレーム画像から静止画像を容易に生成できたが、動画像ファイルの容量が大きくなり、大容量の記録媒体を必要としていた。 However, in the imaging device described in Patent Document 1, for example, h. A technique for recording a frame image in a moving image file that is data-compressed according to a moving image compression standard such as H.264 as a still image is not disclosed. For example h. A video file compressed in accordance with a moving picture compression standard such as H.264 is an I frame that is an intra-frame encoded image that can be decoded independently, and a P frame that is an inter-frame encoded image that can be decoded by referring to the previous frame. The B frame is an inter-frame encoded image that can be decoded by referring to the preceding and following frames. When a still image is shot during moving image shooting, the moving image is h. When data was compressed in accordance with a video compression standard such as H.264, it was easy to generate a still image based on the I frame, but it was not easy to generate a still image based on the P frame and the B frame. I needed equipment and editing software. On the other hand, when a moving image file formed only of I frames was created, a still image could be easily generated from the frame image forming the moving image file. However, the capacity of the moving image file is increased, and a large-capacity recording medium is used. I needed it.

本発明の目的は、動画像記録中に静止画像を撮影する場合であって、動画像記録を中断することなく、動画像ファイルを形成する複数の圧縮符号化されたフレーム画像から静止画像を容易に作成することができる撮像装置を提供することである。 An object of the present invention is to capture a still image during moving image recording, and easily capture a still image from a plurality of compression-coded frame images that form a moving image file without interrupting the moving image recording. It is to provide an imaging device that can be created.

本発明は以下のような解決手段により上記課題を解決する。なお、理解を容易にするために、本発明の実施の形態に対応する符号を付して説明するが、本発明はこれに限定されるものではない。 The present invention solves the above problems by the following means. In addition, in order to make an understanding easy, it attaches | subjects and demonstrates the code | symbol corresponding to embodiment of this invention, but this invention is not limited to this.

本発明の撮像装置は、被写体からの光を撮像する撮像素子（６）と、前記撮像素子からの撮像信号に基づく複数のフレーム画像により形成される動画像ファイルを生成する動画像ファイル生成部（４）と、動画像撮影中に、静止画像の撮影の指示がなされたか否かを判別する判別部（４）と、前記判別部による判別結果に基づいて、前記動画像ファイル生成部により生成される前記動画像ファイルを形成する前記フレーム画像を、フレーム内符号化画像であるＩフレームに圧縮符号化して記録媒体に記録するか否かを制御する制御部（４）とを備えることを特徴とする。 An imaging device according to the present invention includes an imaging element (6) that images light from a subject, and a moving image file generation unit that generates a moving image file formed by a plurality of frame images based on imaging signals from the imaging element. 4) and a determination unit (4) for determining whether or not an instruction to shoot a still image is given during moving image shooting, and the moving image file generation unit based on the determination result by the determination unit. And a control unit (4) for controlling whether or not the frame image forming the moving image file is compressed and encoded into an I frame which is an intra-frame encoded image and recorded on a recording medium. To do.

本発明の撮像装置によれば、動画像記録中に静止画像を撮影する場合であって、動画像記録を中断することなく、動画像ファイルを形成する複数の圧縮符号化されたフレーム画像から静止画像を容易に作成することができる。 According to the imaging apparatus of the present invention, a still image is captured during moving image recording, and a still image is captured from a plurality of compression-coded frame images that form a moving image file without interrupting the moving image recording. Images can be created easily.

実施の形態に係る電子カメラのシステム構成を示すブロック図である。It is a block diagram which shows the system configuration | structure of the electronic camera which concerns on embodiment. 複数のフレーム画像により形成される動画像ファイルについて説明するための図である。It is a figure for demonstrating the moving image file formed by a some frame image. 実施の形態に係る電子カメラにおいて動画像撮影中に静止画像を撮影する際の処理について説明するためのフローチャートである。6 is a flowchart for explaining processing when a still image is shot during moving image shooting in the electronic camera according to the embodiment. 実施の形態に係る電子カメラにおいて動画像撮影中に静止画像を撮影する際の処理について説明するためのフローチャートである。6 is a flowchart for explaining processing when a still image is shot during moving image shooting in the electronic camera according to the embodiment. 複数のフレーム画像により形成される動画像ファイル及び静止画像について説明するための図である。It is a figure for demonstrating the moving image file and still image which are formed of a some frame image. 複数のフレーム画像により形成される動画像ファイル及び連写画像について説明するための図である。It is a figure for demonstrating the moving image file and continuous-shot image which are formed with a some frame image.

以下、図面を参照して、本発明の実施の形態に係る撮像装置としての電子カメラについて説明する。図１は、この実施の形態に係る電子カメラ２のシステム構成を示すブロック図である。図１に示すように、電子カメラ２は、マイクロプロセッサ等により構成され、電子カメラ２の各部を統括的に制御する制御部４を備えており、制御部４には、撮像素子６、バッファメモリ８、画像処理部１０、記録媒体１２、及び操作部１４が接続されている。撮像素子６は、ＣＣＤまたはＣＭＯＳ等により構成され、図示しない撮影レンズを介した被写体からの光を撮像し、制御部４は、撮像素子６から出力され、図示しないＡ／Ｄ変換部等を介すことによりアナログ信号からデジタル信号に変換された撮像信号に基づく画像データを取得する。バッファメモリ８は、撮像素子６から出力された撮像信号に基づき生成された画像データを一時的に記憶する。 Hereinafter, an electronic camera as an imaging apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a system configuration of an electronic camera 2 according to this embodiment. As shown in FIG. 1, the electronic camera 2 includes a microprocessor or the like, and includes a control unit 4 that comprehensively controls each unit of the electronic camera 2. The control unit 4 includes an image sensor 6, a buffer memory, and the like. 8, an image processing unit 10, a recording medium 12, and an operation unit 14 are connected. The image sensor 6 is constituted by a CCD or CMOS, and images light from a subject through a photographing lens (not shown). The control unit 4 is output from the image sensor 6 and passes through an A / D converter (not shown). Thus, image data based on the imaging signal converted from the analog signal to the digital signal is acquired. The buffer memory 8 temporarily stores image data generated based on the imaging signal output from the imaging element 6.

画像処理部１０は、バッファメモリ８に記憶されている画像データに基づいて、動画像ファイルを形成する複数のフレーム画像の画像処理や静止画像の画像処理を行う。具体的には、バッファメモリ８に記憶されている画像データに対して、例えばｈ．２６４等の動画圧縮規格に従って動画圧縮処理等の画像処理を施し、単独で復号可能なフレーム内符号化画像であるＩフレーム、前フレームを参照することにより復号可能なフレーム間符号化画像であるＰフレーム、前後のフレームを参照することにより復号可能なフレーム間符号化画像であるＢフレームを生成する。この実施の形態では、図２に示すように、Ｉフレーム（図中白抜きで示す）、Ｐフレーム（図中ドットで示す）、Ｂフレーム（図中斜線で示す）の順に時系列に生成され、これら複数のフレーム画像により動画像ファイル２０が形成され、後述する記録媒体１２に記録される。なお、複数のＩフレーム及びＰフレームにより形成される動画像ファイル、Ｉフレーム、Ｐフレーム、Ｂフレームが図２で示す順序以外の順に時系列に生成され、これら複数のフレーム画像により形成される動画像ファイル等であってもよい。 Based on the image data stored in the buffer memory 8, the image processing unit 10 performs image processing of a plurality of frame images forming a moving image file and image processing of still images. Specifically, for the image data stored in the buffer memory 8, for example, h. P, which is an inter-frame encoded image that can be decoded by referring to the previous frame, an I frame that is an intra-frame encoded image that can be decoded independently by performing image processing such as a moving image compression process according to a moving image compression standard such as H.264 A B frame, which is an inter-frame encoded image that can be decoded, is generated by referring to the frame and the preceding and following frames. In this embodiment, as shown in FIG. 2, I frames (indicated by white dots in the figure), P frames (indicated by dots in the figure), and B frames (indicated by diagonal lines in the figure) are generated in time series. A moving image file 20 is formed by the plurality of frame images and recorded on the recording medium 12 to be described later. Note that moving image files formed by a plurality of I frames and P frames are generated in time series in the order other than the order shown in FIG. It may be an image file or the like.

記録媒体１２は、電子カメラ２に設けられたカードスロット（図示せず）に着脱可能に装着される可搬性を有する記録媒体であり、記録媒体１２には、静止画像及び動画像の画像ファイル（例えば、図２に示す動画像ファイル２０）が記録されている。操作部１４は、電源をオン／オフする電源スイッチ、静止画像の撮影等を指示するためのレリーズボタン、動画像の記録開始や記録終了を指示するための録画ボタン、撮影モードを選択するためのモードボタン等を備えて構成されている。 The recording medium 12 is a portable recording medium that is detachably mounted in a card slot (not shown) provided in the electronic camera 2, and the recording medium 12 includes still image and moving image image files ( For example, a moving image file 20) shown in FIG. 2 is recorded. The operation unit 14 is a power switch for turning on / off the power, a release button for instructing photographing of a still image, a recording button for instructing recording start / end of moving image, and a photographing mode. It is configured with mode buttons and the like.

この実施の形態に係る電子カメラ２においては、動画像撮影中にレリーズボタンが押下されると、レリーズボタンが押下されたときに撮像素子６から出力された撮像信号に基づき生成される画像データに対して、レリーズボタンが押下されたときの画像データであることを示すタグを付加し、動画像撮影後にタグが付加された画像データに基づくフレーム画像から静止画像を生成する。以下、図３及び図４に示すフローチャートを参照して、この実施の形態に係る電子カメラ２において動画像撮影中に静止画像を撮影する際の処理について説明する。 In the electronic camera 2 according to this embodiment, when the release button is pressed during moving image shooting, the image data generated based on the imaging signal output from the image sensor 6 when the release button is pressed is generated. On the other hand, a tag indicating that it is image data when the release button is pressed is added, and a still image is generated from a frame image based on the image data to which the tag is added after moving image shooting. Hereinafter, with reference to the flowcharts shown in FIG. 3 and FIG. 4, processing when a still image is shot during moving image shooting in the electronic camera 2 according to this embodiment will be described.

まず、制御部４は、図３に示すように、例えばユーザーにより録画ボタンが押下される等、動画像の撮影開始の指示がなされると（ステップＳ１０）、動画像サイクル（例えば、３０ｆｐｓや６０ｆｐｓ等）に同期して撮像素子６から出力される撮像信号に基づく画像データの取得を開始し、ユーザーによりレリーズボタンが押下されたか否かを判別する（ステップＳ１１）。ステップＳ１１においてレリーズボタンが押下されたと判別された場合には（ステップＳ１１、Ｙｅｓ）、制御部４は、ユーザーにより動画像撮影中に静止画像の撮影の指示がなされたと判断し、レリーズボタンが押下されたときまたはその直後に撮像素子６から出力された撮像信号に基づき生成された画像データに対して、静止画像の撮影指示がなされたときの画像データであることを示すタグを付加する（ステップＳ１２）。なお、後述するように、タグが付加された画像データに基づいて静止画像を動画像撮影後に生成するため、タグを付加すると同時に静止画像の撮影に関する情報（シャッタ秒時、ＩＳＯ感度等）も画像データに付加する。そして、ステップＳ１２においてタグが付加された画像データをバッファメモリ８に記憶させる（ステップＳ１３）。 First, as shown in FIG. 3, when an instruction to start shooting a moving image is given, for example, when the user presses a recording button (step S10), the control unit 4 moves a moving image cycle (for example, 30 fps or 60 fps). The acquisition of image data based on the image pickup signal output from the image pickup device 6 is started in synchronization with the image pickup device 6 to determine whether or not the release button has been pressed by the user (step S11). If it is determined in step S11 that the release button has been pressed (step S11, Yes), the control unit 4 determines that the user has issued an instruction to capture a still image during moving image shooting, and the release button is pressed. A tag indicating that the image data is an image data when an instruction to shoot a still image is added to the image data generated based on the imaging signal output from the imaging device 6 at or immediately after (step) S12). As will be described later, since a still image is generated after moving image shooting based on image data to which a tag is added, information related to still image shooting (shutter time, ISO sensitivity, etc.) is also added to the image at the same time as the tag is added. Append to data. Then, the image data to which the tag is added in step S12 is stored in the buffer memory 8 (step S13).

一方、ステップＳ１１においてレリーズボタンが押下されていないと判別された場合には（ステップＳ１１、Ｎｏ）、制御部４は、タグを付加することなく、撮像素子６から出力される撮像信号に基づく画像データをバッファメモリ８に記憶させる（ステップＳ１３）。このように、バッファメモリ８には、撮像素子６から動画像サイクルに同期して出力される撮像信号に基づく複数の画像データが順に連続的に記憶される。 On the other hand, when it is determined in step S11 that the release button has not been pressed (step S11, No), the control unit 4 does not add a tag, and the image based on the imaging signal output from the imaging element 6 is used. Data is stored in the buffer memory 8 (step S13). As described above, the buffer memory 8 sequentially stores a plurality of pieces of image data based on the imaging signal output from the imaging device 6 in synchronization with the moving image cycle.

具体的には、バッファメモリ８が例えばｎ枚（ｎは自然数）のフレーム画像を記憶可能な記憶領域を有している場合において、制御部４は、１番目に取得したフレーム画像、２番目に取得したフレーム画像…ｎ番目に取得したフレーム画像と、バッファメモリ８内に順次記憶させる。そして、ｎ枚のフレーム画像を記憶した後、次のフレーム画像が出力されると、バッファメモリ８内から最古のフレーム画像を削除し、最新のフレーム画像を記憶させ、次のフレーム画像が出力される度に、最古のフレーム画像を削除し、最新のフレーム画像を記憶させる処理を繰り返す。 Specifically, when the buffer memory 8 has a storage area capable of storing, for example, n (n is a natural number) frame images, the control unit 4 obtains the first frame image and the second frame image. Acquired frame image: The n-th acquired frame image and the buffer memory 8 are sequentially stored. After the n frame images are stored, when the next frame image is output, the oldest frame image is deleted from the buffer memory 8, the latest frame image is stored, and the next frame image is output. Each time, the process of deleting the oldest frame image and storing the latest frame image is repeated.

次に、制御部４は、ユーザーにより録画終了ボタンが押下される等、動画像の撮影終了の指示がなされたか否かを判別する（ステップＳ１４）。ステップＳ１４において動画像の撮影終了の指示がなされていないと判別された場合には（ステップＳ１４、Ｎｏ）、制御部４は、ステップＳ１１の処理に戻り、ステップＳ１１〜Ｓ１４の処理を繰り返す。一方、ステップＳ１４において動画像の撮影終了の指示がなされたと判別された場合には（ステップＳ１４、Ｙｅｓ）、制御部４は、撮像素子６から出力される撮像信号に基づく画像データのバッファメモリ８への記憶を停止する。 Next, the control unit 4 determines whether or not an instruction to end the shooting of the moving image has been given, such as when the user presses the recording end button (step S14). When it is determined in step S14 that the instruction to end the shooting of the moving image has not been given (No in step S14), the control unit 4 returns to the process in step S11 and repeats the processes in steps S11 to S14. On the other hand, if it is determined in step S14 that an instruction to end the shooting of the moving image has been made (step S14, Yes), the control unit 4 stores the image data buffer memory 8 based on the imaging signal output from the imaging element 6. Stop remembering.

なお、ステップＳ１０においてユーザーにより動画像の撮影開始の指示がなされたと判別され（ステップＳ１０、Ｙｅｓ）、撮像素子６から出力される撮像信号に基づく画像データのバッファメモリ８への記憶が開始されると（ステップＳ１３）、制御部４は、バッファメモリ８に記憶されている画像データを、画像処理部１０において動画像処理し、動画像ファイルを形成するフレーム画像として記録媒体１２に記録させる。 In step S10, it is determined that the user has instructed to start capturing a moving image (step S10, Yes), and storage of image data based on the imaging signal output from the imaging element 6 into the buffer memory 8 is started. (Step S13), the control unit 4 performs moving image processing on the image data stored in the buffer memory 8 in the image processing unit 10, and records the image data on the recording medium 12 as a frame image forming a moving image file.

即ち、図４に示すように、制御部４は、まず、図示しないカウンターのカウント値Ｎを１に（Ｎ＝１）設定し（ステップＳ２０）、バッファメモリ８に記憶されている最古の画像データ、即ちバッファメモリ８に記憶されている画像データの中で最初に記憶された画像データを取得する（ステップＳ２１）。次に、制御部４は、カウント値Ｎが１であるか否かを判別する（ステップＳ２２）。ここではステップＳ２０及びＳ２１の処理を経ているため、ステップＳ２２においてカウント値Ｎが１であると判別され（ステップＳ２２、Ｙｅｓ）、制御部４は、ステップＳ２１において取得した画像データから、図５に示すように、画像処理部１０において動画像処理を施すことによりＩフレームＩ_１（白抜きで示す）を生成する（ステップＳ２４）。そして、制御部４は、カウント値Ｎが３であるか否かを判別する（ステップＳ２５）。カウント値Ｎは１であるから、ステップＳ２５においてカウント値Ｎが３でないと判別し（ステップＳ２５、Ｎｏ）、カウンターのカウント値Ｎに１を加算（Ｎ＝Ｎ＋１、この場合はＮ＝２）する（ステップＳ２８）。そして、ステップＳ２４において生成されたフレーム画像（ＩフレームＩ_１）を、記録媒体１２に記録する（ステップＳ３１）。なお、ステップＳ２１において取得された画像データは、バッファメモリ８から削除される。そして、バッファメモリ８に画像データが存在するため（ステップＳ３２、Ｙｅｓ）、ステップＳ２１の処理に戻る。 That is, as shown in FIG. 4, the control unit 4 first sets the count value N of a counter (not shown) to 1 (N = 1) (step S20), and the oldest image stored in the buffer memory 8 Data, that is, image data stored first in the image data stored in the buffer memory 8 is acquired (step S21). Next, the control unit 4 determines whether or not the count value N is 1 (step S22). Here, since the processing of steps S20 and S21 has been performed, it is determined in step S22 that the count value N is 1 (step S22, Yes), and the control unit 4 performs the processing shown in FIG. As shown in the figure, the image processing unit 10 performs moving image processing to generate an I frame I ₁ (shown in white) (step S24). Then, the control unit 4 determines whether or not the count value N is 3 (step S25). Since the count value N is 1, it is determined in step S25 that the count value N is not 3 (No in step S25), and 1 is added to the count value N of the counter (N = N + 1, in this case N = 2). (Step S28). Then, the frame image (I frame I ₁ ) generated in step S24 is recorded on the recording medium 12 (step S31). The image data acquired in step S21 is deleted from the buffer memory 8. Since the image data exists in the buffer memory 8 (step S32, Yes), the process returns to step S21.

制御部４は、バッファメモリ８に記憶されている画像データの中で最古の画像データを２番目の画像データとして取得する（ステップＳ２１）。そしてステップＳ２２において、カウント値Ｎ＝２であるため、カウント値Ｎが１でないと判別する（ステップＳ２２、Ｎｏ）。ステップＳ２１において取得した２番目の画像データにタグが付加されているか否かを判別する（ステップＳ２３）。即ち、図３に示すステップＳ１２において静止画像の撮影指示がなされたときの画像データであることを示すタグが付加されているか否かを判別する。ステップＳ２３において画像データにタグが付加されていないと判別された場合には（ステップＳ２３、Ｎｏ）、制御部４は、カウント値Ｎが２であるか否かを判別する（ステップＳ２６）。ここではカウント値Ｎ＝２であるため（ステップＳ２６、Ｙｅｓ）、制御部４は、ステップＳ２１において取得した２番目の画像データから、図５に示すように、画像処理部１０において動画像処理を施すことによりＰフレームＰ_１（ドットで示す）を生成する（ステップＳ２７）。そして、カウント値Ｎに１を加算（この場合はＮ＝３）し（ステップＳ２８）、ステップＳ２７において生成されたフレーム画像（ＰフレームＰ_１）を、記録媒体１２に記録する（ステップＳ３１）。そして、バッファメモリ８に画像データが存在するため（ステップＳ３２、Ｙｅｓ）、再びステップＳ２１の処理に戻る。 The control unit 4 acquires the oldest image data among the image data stored in the buffer memory 8 as the second image data (step S21). In step S22, since the count value N = 2, it is determined that the count value N is not 1 (No in step S22). It is determined whether or not a tag is added to the second image data acquired in step S21 (step S23). That is, it is determined whether or not a tag indicating that it is image data when a still image capturing instruction is given in step S12 shown in FIG. When it is determined in step S23 that no tag is added to the image data (No in step S23), the control unit 4 determines whether or not the count value N is 2 (step S26). Here, since the count value N = 2 (step S26, Yes), the control unit 4 performs moving image processing in the image processing unit 10 from the second image data acquired in step S21 as shown in FIG. As a result, a P frame P ₁ (indicated by dots) is generated (step S27). Then, 1 is added to the count value N (N = 3 in this case) (step S28), and the frame image (P frame P ₁ ) generated in step S27 is recorded on the recording medium 12 (step S31). Since image data is present in the buffer memory 8 (step S32, Yes), the process returns to step S21 again.

次に、ステップＳ２１、Ｓ２２，Ｓ２３，Ｓ２６の処理を経て、ステップＳ２６においてカウント値Ｎが２でないと判別されると（ステップＳ２６、Ｙｅｓ）、制御部４は、カウント値Ｎが３であると判断し、ステップＳ２１において取得した３番目の画像データから、図５に示すように、画像処理部１０において動画像処理を施すことによりＢフレームＢ_１（斜線で示す）を生成する（ステップＳ２９）。そして、カウント値Ｎを１に設定（Ｎ＝１）し（ステップＳ３０）、ステップＳ２９において生成されたフレーム画像（ＢフレームＢ_１）を、記録媒体１２に記録する（ステップＳ３１）。そして、バッファメモリ８に画像データが存在するため（ステップＳ３２、Ｙｅｓ）、再びステップＳ２１の処理に戻る。 Next, after the processing of steps S21, S22, S23, and S26, if it is determined in step S26 that the count value N is not 2 (Yes in step S26), the control unit 4 determines that the count value N is 3. As shown in FIG. 5, the image processing unit 10 performs moving image processing to generate a B frame B ₁ (shown by diagonal lines) from the third image data acquired in step S21 (step S29). . The count value N is set to 1 (N = 1) (step S30), and the frame image (B frame B ₁ ) generated in step S29 is recorded on the recording medium 12 (step S31). Since image data is present in the buffer memory 8 (step S32, Yes), the process returns to step S21 again.

上述したように、ステップＳ２１〜Ｓ３２の処理を繰り返すことにより、図５に示すように、ＩフレームＩ_２，ＰフレームＰ_２，ＢフレームＢ_２，ＩフレームＩ_３，ＰフレームＰ_３，ＢフレームＢ_３，ＩフレームＩ_４を順次生成し（ステップＳ２４、Ｓ２７，またはＳ２９）、記録媒体１２に順次記録する（ステップＳ３１）。 As described above, by repeating the processing of steps S21 to S32, as shown in FIG. 5, I frame I ₂ , P frame P ₂ , B frame B ₂ , I frame I ₃ , P frame P ₃ , B frame B ₃ and I frame I ₄ are sequentially generated (step S24, S27, or S29), and sequentially recorded on the recording medium 12 (step S31).

そして、ステップＳ２３において画像データにタグが付加されていると判別されると（ステップＳ２３、Ｙｅｓ）、ステップＳ２１において取得した画像データから、図５に示すように、画像処理部１０において動画像処理を施すことにより、Ｐフレームでなく、ＩフレームＩ_Ｓ（白抜きで示す）を生成する（ステップＳ２４）。即ち、動画像ファイル２２（図５参照）を生成後、静止画像を生成する際（後述する）、動画像ファイル２２を形成する複数のフレーム画像のうちの１つのフレーム画像から静止画像を生成することができるように、前フレームを参照することにより復号可能なＰフレームでなく、単独で復号可能なＩフレームＩ_Ｓを生成する。なお、図５では、Ｐフレームに代えてＩフレームを生成しているが、Ｂフレームが生成される予定の画像データにタグが付加されている場合においても、前後のフレームを参照することにより復号可能なＢフレームに代えてＩフレームを生成する。 Then, if it is determined in step S23 that a tag is added to the image data (step S23, Yes), the image processing unit 10 performs moving image processing from the image data acquired in step S21 as shown in FIG. To generate an I frame I _S (shown in white) instead of a P frame (step S24). That is, after generating the moving image file 22 (see FIG. 5), when generating a still image (described later), a still image is generated from one frame image of a plurality of frame images forming the moving image file 22. it as can, not decodable P-frame by referring to the previous frame, generates a singly decodable I-frame I _S. In FIG. 5, an I frame is generated instead of a P frame. However, even when a tag is added to image data for which a B frame is to be generated, decoding is performed by referring to the preceding and subsequent frames. An I frame is generated instead of a possible B frame.

次に、制御部４は、カウント値Ｎが３でないと判別すると（ステップＳ２５、Ｎｏ）、カウント値Ｎに１を加算（この場合はＮ＝３）し（ステップＳ２８）、ステップＳ２４において生成されたフレーム画像（ＩフレームＩＳ）を、記録媒体１２に記録する（ステップＳ３１）。一方、カウント値Ｎが３であると判別された場合には（ステップＳ２５、Ｙｅｓ）、制御部４は、カウンターのカウント値Ｎを１に（Ｎ＝１）設定し（ステップＳ３０）、ステップＳ２４において生成されたフレーム画像を記録媒体１２に記録する（ステップＳ３１）。 Next, when determining that the count value N is not 3 (No in step S25), the control unit 4 adds 1 to the count value N (in this case, N = 3) (step S28), and is generated in step S24. The frame image (I frame IS) is recorded on the recording medium 12 (step S31). On the other hand, when it is determined that the count value N is 3 (step S25, Yes), the control unit 4 sets the count value N of the counter to 1 (N = 1) (step S30), and step S24. The frame image generated in step 1 is recorded on the recording medium 12 (step S31).

このように、ステップＳ３２においてバッファメモリ８に画像データが存在しないと判別されるまで（ステップＳ３２、Ｎｏ）、ステップＳ２１〜Ｓ３２の処理を繰り返すことにより、図５に示すように、ＰフレームＰ_４，ＢフレームＢ_４，ＩフレームＩ_５，ＰフレームＰ_５，ＢフレームＢ_５，ＩフレームＩ_６，ＰフレームＰ_６，ＢフレームＢ_６，ＩフレームＩ_７，ＰフレームＰ_７を順次生成し（ステップＳ２４、Ｓ２７，またはＳ２９）、記録媒体１２に順次記録する（ステップＳ３１）。 Thus, until it is determined in step S32 that there is no image data in the buffer memory 8 (step S32, No), by repeating the processing of steps S21 to S32, as shown in FIG. 5, P frame P ₄ , B frame B ₄ , I frame I ₅ , P frame P ₅ , B frame B ₅ , I frame I ₆ , P frame P ₆ , B frame B ₆ , I frame I ₇ , P frame P ₇ ( In step S24, S27, or S29), recording is sequentially performed on the recording medium 12 (step S31).

次に、制御部４は、図３に示すステップＳ１１においてレリーズボタンが押下されたときのフレーム画像に基づいて、静止画像を生成し、生成した静止画像を記録媒体１２に記録する（ステップＳ３３）。具体的には、記録媒体１２に記録されている動画像ファイル２２を形成する複数のフレーム画像のうち、タグが付加されているフレーム画像（図５では、ＩフレームＩ_Ｓ）を読み出す。そして、読み出したＩフレームＩＳから、図５に示すように、画像処理部１０において静止画像処理を施すことにより静止画像Ｓを生成し、生成された静止画像Ｓを記録媒体１２に記録する（ステップＳ３３）。なお、図３に示すステップＳ１２においてタグと同時に付加された静止画像の撮影に関する情報（シャッタ秒時、ＩＳＯ感度等）も、所定の形式で静止画像Ｓに付加して、記録媒体１２に記録する。 Next, the control unit 4 generates a still image based on the frame image when the release button is pressed in step S11 shown in FIG. 3, and records the generated still image on the recording medium 12 (step S33). . Specifically, among the plurality of frame images forming the moving image file 22 recorded on the recording medium 12, the frame image to which the tag is added (I frame I _{S in} FIG. 5) is read. Then, from the read I frame IS, as shown in FIG. 5, a still image S is generated by performing still image processing in the image processing unit 10, and the generated still image S is recorded on the recording medium 12 (step S1). S33). Note that information related to still image shooting (shutter time, ISO sensitivity, etc.) added at the same time as the tag in step S12 shown in FIG. 3 is also added to the still image S in a predetermined format and recorded on the recording medium 12. .

この実施の形態に係る電子カメラ２によれば、動画像撮影中に静止画像を撮影する際、動画像撮影後に生成される静止画像の基となるフレーム画像を、単独で復号可能なＩフレームで生成するため、動画像記録を中断することなく、複数の圧縮符号化されたフレーム画像から静止画像を容易に作成することができる。即ち、従来では、ｈ．２６４等の動画圧縮規格に従って動画圧縮処理された複数のフレーム画像のうちの１つのフレーム画像を用いて静止画像を生成する場合、Ｉフレームから静止画像を容易に生成することができるが、前フレーム画像を参照することにより復号可能なＰフレームや、前後のフレーム画像を参照することにより復号可能なＢフレームから静止画像を生成するのは容易ではなかった。したがって、ユーザーが動画像撮影中にレリーズボタンを押下したときのフレーム画像から静止画像を生成するのが容易でない場合があった。しかしながら、この実施の形態に係る電子カメラ２においては、ユーザーが動画像撮影中にレリーズボタンを押下したときのフレーム画像は常にＩフレームで生成されるため、静止画像を容易に生成することができる。即ち、動画圧縮率の高い動画像、及び該動画像撮影中における静止画像を容易に生成することができる。 According to the electronic camera 2 according to this embodiment, when capturing a still image during moving image shooting, the frame image that is the basis of the still image generated after moving image shooting is an I frame that can be decoded independently. Therefore, it is possible to easily create a still image from a plurality of compression-coded frame images without interrupting moving image recording. That is, conventionally, h. When a still image is generated using one frame image among a plurality of frame images that have been subjected to moving image compression processing according to a moving image compression standard such as H.264, a still image can be easily generated from an I frame. It has not been easy to generate a still image from a P frame that can be decoded by referring to an image or a B frame that can be decoded by referring to the preceding and following frame images. Therefore, it may not be easy to generate a still image from a frame image when the user presses the release button during moving image shooting. However, in the electronic camera 2 according to this embodiment, since the frame image when the user presses the release button during moving image shooting is always generated as an I frame, a still image can be easily generated. . That is, it is possible to easily generate a moving image with a high moving image compression rate and a still image during the moving image shooting.

なお、上述の実施の形態においては、１つの動画像撮影中に１枚の静止画像を撮影する場合を例に挙げて説明したが、ユーザーが１つの動画像撮影中に２回以上レリーズボタンを押下した場合等、１つの動画像撮影中に２枚以上の静止画像を撮影することもできる。 In the above-described embodiment, the case where one still image is shot during one moving image shooting has been described as an example. However, the user presses the release button twice or more during one moving image shooting. Two or more still images can be taken during one moving image shooting, such as when the button is pressed.

また、１つの動画像撮影中に、動画サイクルと同期して連続撮影された連写画像を撮影する場合においても本発明を適用することができる。この場合には、動画像撮影中においてユーザーによりレリーズボタンが長押しされる等、連写画像の撮影の指示がなされると（図３のステップＳ１１、Ｙｅｓ）、制御部４は、レリーズボタンが押下されたときまたはその前後に撮像素子６から出力された撮像信号に基づき生成された所定数の画像データに対して、連写画像の撮影指示がなされたときの画像データであることを示すタグを付加する（ステップＳ１２）。そして、図６に示すように、タグが付加されていない画像データからフレーム画像Ｉ_１，Ｐ_１，Ｂ_１，Ｉ_２，Ｐ_２，Ｂ_２，Ｉ_３，Ｐ_３を、タグが付加されている所定数（図６では５枚）の画像データからＩフレームＩ_ｓ１，Ｉ_ｓ２，Ｉ_ｓ３，Ｉ_ｓ４，Ｉ_ｓ５を、タグが付加されていない画像データからフレーム画像Ｐ_５，Ｂ_５，Ｉ_６，Ｐ_６，Ｂ_６，Ｉ_７，Ｐ_７を生成する。なお、所定数は、１回に連続撮影される枚数として予め設定されており、図示しないメモリ等に記憶されている。そして更に、ＩフレームＩ_ｓ１，Ｉ_ｓ２，Ｉ_ｓ３，Ｉ_ｓ４，Ｉ_ｓ５から、静止画像（連写画像）Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５を生成する。 Further, the present invention can also be applied to the case where continuous shot images continuously shot in synchronization with a moving image cycle are shot during one moving image shooting. In this case, when the user gives an instruction to shoot continuous shot images, such as when the user presses the release button for a long time during moving image shooting (step S11 in FIG. 3, Yes), the control unit 4 A tag indicating that the image data is the image data when the continuous shooting image is instructed with respect to the predetermined number of image data generated based on the imaging signal output from the imaging device 6 before or after being pressed. Is added (step S12). Then, as shown in FIG. 6, frame images I ₁ , P ₁ , B ₁ , I ₂ , P ₂ , B ₂ , I ₃ , P ₃ are added to the image data from which no tag is added. I frames I _s1 , I _s2 , I _s3 , I _s4 , and I _s5 from a predetermined number (five in FIG. 6) of image data, and frame images P ₅ , B ₅ , and I from image data to which no tag is added. ₆ , P ₆ , B ₆ , I ₇ , and P ₇ are generated. The predetermined number is set in advance as the number of images that are continuously shot at one time, and is stored in a memory or the like (not shown). Further, still images (continuous shot images) S ₁ , S ₂ , S ₃ , S ₄ , S ₅ are generated from the I frames I _s1 , I _s2 , I _s3 , I _s4 , I _s5 .

また、１つの動画像撮影中に、動画サイクルと同期せずに（動画サイクルと異なるサイクルで）連続撮影された連写画像を撮影する場合においても本発明を適用することができる。この場合には、動画像撮影中においてユーザーにより連写画像の撮影の指示がなされると（図３のステップＳ１１、Ｙｅｓ）、制御部４は、レリーズボタンが押下されたときから指定されたサイクル毎（例えば、５ｆｐｓの場合には０．２ｍｓ毎）に撮像素子６からの撮像信号に基づき生成される画像データに対して、連写画像の撮影指示がなされたときの画像データであることを示すタグを付加する（ステップＳ１２）。そして、タグが付加されていない画像データからＰフレームまたはＢフレームを生成し、タグが付加されている画像データからＩフレームを生成する。そして更に、タグが付加されているＩフレームから、静止画像（連写画像）を生成する。 Further, the present invention can also be applied to a case where a continuously shot image that is continuously captured without being synchronized with a moving image cycle (with a cycle different from the moving image cycle) is captured during one moving image shooting. In this case, when the user gives an instruction to shoot a continuous shot image during moving image shooting (step S11 in FIG. 3, Yes), the control unit 4 performs the cycle specified from when the release button is pressed. It is image data when an instruction to shoot a continuous shot image is made for image data generated based on the image pickup signal from the image pickup device 6 every time (for example, every 0.2 ms in the case of 5 fps). A tag shown is added (step S12). Then, a P frame or a B frame is generated from image data to which no tag is added, and an I frame is generated from image data to which a tag is added. Further, a still image (continuous shot image) is generated from the I frame to which the tag is added.

また、上述の実施の形態においては、動画像ファイル及び静止画像ファイルの両方を記録媒体１２に記録しているが、電子カメラ２が２つの記録媒体を着脱可能なカードスロット（図示せず）を備えている場合には、動画像ファイルを一方の記録媒体に記録し、静止画像ファイルを他方の記録媒体に記録する構成にすることもできる。 In the above embodiment, both the moving image file and the still image file are recorded on the recording medium 12. However, the electronic camera 2 has a card slot (not shown) in which two recording media can be attached and detached. If it is provided, the moving image file can be recorded on one recording medium, and the still image file can be recorded on the other recording medium.

また、上述の実施の形態においては、動画像撮影中にレリーズボタンが押下されたときのフレーム画像に基づいて静止画像を生成しているが、動画像撮影後に、動画像ファイルに含まれるＩフレームのサムネイル画像のみを図示しない表示部等に表示し、ユーザーにより選択された１つのサムネイル画像に基づくＩフレームに基づいて静止画像を生成することもできる。 In the above-described embodiment, a still image is generated based on a frame image when the release button is pressed during moving image shooting. However, after moving image shooting, an I frame included in the moving image file is generated. It is also possible to display only the thumbnail images on a display unit (not shown) and generate a still image based on the I frame based on one thumbnail image selected by the user.

２…電子カメラ、４…制御部、６…撮像素子、８…バッファメモリ、１０…画像処理部、１２…記録媒体、１４…操作部。 DESCRIPTION OF SYMBOLS 2 ... Electronic camera, 4 ... Control part, 6 ... Image sensor, 8 ... Buffer memory, 10 ... Image processing part, 12 ... Recording medium, 14 ... Operation part.

Claims

An image sensor for imaging light from a subject;
A moving image file generating unit that generates a moving image file formed by a plurality of frame images based on an imaging signal from the imaging element;
A discriminator for discriminating whether or not an instruction to shoot a still image is given during moving image shooting;
Based on the determination result by the determination unit, the frame image forming the moving image file generated by the moving image file generation unit is compression encoded into an I frame that is an intra-frame encoded image and recorded on a recording medium. A control unit for controlling whether or not to
An imaging apparatus comprising:

The control unit compresses and encodes the frame image generated based on the imaging signal from the imaging element into the I frame when the instruction to shoot the still image is given or immediately after the instruction to capture the still image on the recording medium. The imaging apparatus according to claim 1, wherein recording is performed.

The still image includes a plurality of continuously shot images taken continuously,
The control unit compresses and encodes each of the frame images generated based on the imaging signal from the imaging element into the I frame when an instruction to shoot each of the continuous shot images is given or immediately after the instruction. The imaging apparatus according to claim 1, wherein recording is performed.

The said control part records the flame | frame image produced | generated based on the imaging signal from the said image sensor as the said still image, when the instruction | indication of the imaging | photography of the said still image is made or immediately after that. The imaging device according to any one of claims 1 to 3.

A selection unit that selects at least one of the plurality of I frames that are compression-encoded and recorded on the recording medium;
The imaging device according to any one of claims 1 to 4, wherein the control unit records the I frame selected by the selection unit as a still image.

The moving image file includes a plurality of I frames that are intra-frame encoded images, a plurality of P frames that are inter-frame encoded images using one reference frame, and an inter-frame encoded image that uses a plurality of reference frames. The imaging apparatus according to claim 1, wherein the imaging apparatus is formed of a plurality of B frames.