JP2013055594A

JP2013055594A - Imaging apparatus

Info

Publication number: JP2013055594A
Application number: JP2011193921A
Authority: JP
Inventors: Keiichi Hirose; 恵一広瀬
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2011-09-06
Filing date: 2011-09-06
Publication date: 2013-03-21

Abstract

PROBLEM TO BE SOLVED: To record moving image data such that a moving image taken in a vertical position can be displayed in an appropriate direction.SOLUTION: An imaging apparatus 1 comprises: an imaging unit 12 which takes a subject image by a predetermined frame rate and outputs, one by one, data on taken frame images; a posture determination unit 151 which determines whether the imaging apparatus 1 is in a vertical posture or a horizontal posture; an image conversion unit 153 which converts a frame image taken in the vertical posture to a frame image rotated by nearly 90°; an encoding unit 17 which generates moving image data using data on the frame image converted by the image conversion unit 153; and a recording unit 15 which records in a storage medium 50 the moving image data generated by the encoding unit 17.

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.

近年、デジタルビデオカメラに限らず、デジタルスチルカメラやカメラ付き携帯電話においても、静止画撮影機能と動画撮影機能の両方を備える機器が多くなりつつある。動画撮影の際に、１フレーム毎にカメラが縦位置か横位置かを示す検出値を撮影画像と一緒に記録媒体に記録し、再生時に、縦位置の場合はその検出値に従って画面を９０度回転させて表示ドライバに印加し、横位置で表示する撮像装置が知られている（例えば、特許文献１参照）。 In recent years, not only digital video cameras, but also digital still cameras and camera-equipped mobile phones are becoming increasingly equipped with both a still image shooting function and a moving image shooting function. At the time of moving image shooting, a detection value indicating whether the camera is in the vertical position or the horizontal position is recorded on a recording medium together with the photographed image for each frame. An imaging apparatus that rotates and applies to a display driver to display in a horizontal position is known (for example, see Patent Document 1).

特開２００８−５３７７４号公報JP 2008-53774 A

従来技術では、再生時に、縦位置で撮影した動画の画面を９０度回転させて横位置で表示するためには、検出値を読み取る専用のプログラムが必要となり、このようなプログラムを備えていないモニターでは、動画の画面を９０度回転させて横位置で表示することはできないという問題があった。 In the prior art, a dedicated program for reading the detected value is required to rotate the screen of the video shot in the vertical position and display it in the horizontal position during playback, and a monitor that does not have such a program. However, there is a problem that the moving image screen cannot be rotated 90 degrees and displayed in the horizontal position.

本発明による撮像装置は、被写体像を所定のフレームレートで撮像し、撮像したフレーム画像のデータを逐次出力する撮像部と、撮像装置が縦位置姿勢であるか横位置姿勢であるかを判定する姿勢判定部と、縦位置姿勢で撮像されたフレーム画像を略９０度回転させたフレーム画像に変換する画像変換部と、画像変換部による変換後のフレーム画像のデータを用いて動画データを生成する符号化部と、符号化部で生成された動画データを記憶媒体に記録する記録部と、を備えることを特徴とする。 An imaging apparatus according to the present invention captures a subject image at a predetermined frame rate, sequentially outputs data of the captured frame images, and determines whether the imaging apparatus is in a vertical position or a horizontal position The moving image data is generated using the posture determination unit, the image conversion unit that converts the frame image captured in the vertical position and posture into a frame image rotated by approximately 90 degrees, and the frame image data converted by the image conversion unit. An encoding unit and a recording unit that records moving image data generated by the encoding unit on a storage medium are provided.

本発明による撮像装置では、縦位置で撮影した動画を適切な向きで表示し得るように動画データを記録できる。 In the imaging apparatus according to the present invention, moving image data can be recorded so that a moving image captured in a vertical position can be displayed in an appropriate direction.

第一の実施形態による電子カメラの要部構成を説明するブロック図である。It is a block diagram explaining the principal part structure of the electronic camera by 1st embodiment. 制御部が実行する処理の流れを説明するフローチャートである。It is a flowchart explaining the flow of the process which a control part performs. 「縦位置」状態で取得され、フレームバッファメモリから読み出されたフレーム画像を例示する図である。It is a figure which illustrates the frame image acquired in the "vertical position" state and read from the frame buffer memory. 縦横変換されたフレーム画像を例示する図である。It is a figure which illustrates the frame image by which vertical / horizontal conversion was carried out. リサイズされたフレーム画像を例示する図である。It is a figure which illustrates the resized frame image. 枠を付加したフレーム画像を例示する図である。It is a figure which illustrates the frame image which added the frame. 「横位置」の場合にフレームバッファメモリから読み出したフレーム画像を例示する図である。It is a figure which illustrates the frame image read from the frame buffer memory in the case of "horizontal position". 第二の実施形態による電子カメラの要部構成を説明するブロック図である。It is a block diagram explaining the principal part structure of the electronic camera by 2nd embodiment.

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による電子カメラ１の要部構成を説明するブロック図である。電子カメラ１は、制御部１５によって制御される。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is a block diagram for explaining a main configuration of an electronic camera 1 according to the first embodiment of the present invention. The electronic camera 1 is controlled by the control unit 15.

撮影レンズ１１は、撮像素子１２の撮像面上に被写体像を結像させる。撮像素子１２はＣＣＤイメージセンサまたはＣＭＯＳイメージセンサによって構成され、被写体像を撮像して撮像信号を出力する。撮像信号は、不図示のＡ／Ｄ変換回路でデジタルデータに変換された後、フレームバッファメモリ１３に送られる。 The photographing lens 11 forms a subject image on the imaging surface of the imaging element 12. The image pickup device 12 is constituted by a CCD image sensor or a CMOS image sensor, picks up a subject image, and outputs an image pickup signal. The imaging signal is converted into digital data by an A / D conversion circuit (not shown) and then sent to the frame buffer memory 13.

フレームバッファメモリ１３は、撮像素子１２で取得された画像を一時的に記憶する。フレームバッファメモリ１３の記憶容量は、複数フレーム（たとえば１００フレーム）の画像を蓄積可能な容量が確保されている。フレームバッファメモリ１３は、撮像素子１２で取得された画像を一時的に記憶する他、画像処理前、画像処理後および画像処理途中のデータを一時的に記憶したり、後述するメモリーカード５０へ記録する前の画像ファイルを記憶したり、メモリーカード５０から読み出した画像ファイルを記憶したりする際にも使用される。 The frame buffer memory 13 temporarily stores an image acquired by the image sensor 12. As the storage capacity of the frame buffer memory 13, a capacity capable of storing images of a plurality of frames (for example, 100 frames) is secured. The frame buffer memory 13 temporarily stores images acquired by the image sensor 12, and also temporarily stores data before image processing, after image processing, and during image processing, or records them in a memory card 50 described later. It is also used when storing an image file before the recording, or storing an image file read from the memory card 50.

姿勢センサー１４は、たとえば重力方向を逐次検出し、検出信号（すなわち姿勢検出信号）を制御部１５へ逐次送出する。制御部１５は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。また、制御部１５は、判定部１５１、データ読み出し部１５２、データ読み出し部１５３、およびリサイズ枠付け部１５４を含み、撮影された動画像に対する縦横変換（回転）処理を行う。縦横変換（回転）処理の詳細については後述する。 The posture sensor 14 sequentially detects the direction of gravity, for example, and sequentially sends detection signals (that is, posture detection signals) to the control unit 15. The control unit 15 receives a signal output from each block, performs a predetermined calculation, and outputs a control signal based on the calculation result to each block. The control unit 15 includes a determination unit 151, a data reading unit 152, a data reading unit 153, and a resize frame attaching unit 154, and performs vertical / horizontal conversion (rotation) processing on the captured moving image. Details of the vertical / horizontal conversion (rotation) processing will be described later.

画像処理部１６は、たとえばＡＳＩＣとして構成され、制御部１５から入力される画像データに対して所定の画像処理を行う。画像処理には、輪郭強調や色温度調整（ホワイトバランス調整）処理、画像データに対するフォーマット変換処理などが含まれる。 The image processing unit 16 is configured as an ASIC, for example, and performs predetermined image processing on the image data input from the control unit 15. Image processing includes edge enhancement, color temperature adjustment (white balance adjustment) processing, format conversion processing for image data, and the like.

ビデオエンコード／デコード部１７は、動画像を記録する場合に、画像処理部１６による処理後の画像データに対して、たとえば公知のH.264手法を用いて動画圧縮処理を行う。圧縮処理後の動画像データは、不図示のメモリインターフェース部に装着されているメモリーカードに記録される。また、ビデオエンコード／デコード部１７は、静止画像を記録する場合に、画像処理部１６による処理後の画像データに対して、たとえばJPEG方式で所定の圧縮比率の静止画圧縮処理を行う。圧縮処理後の静止画像データは、制御部１５が不図示のメモリインターフェース部に装着されているメモリーカード５０に記録する。 When recording a moving image, the video encoding / decoding unit 17 performs moving image compression processing on the image data processed by the image processing unit 16 using, for example, a known H.264 method. The moving image data after the compression processing is recorded on a memory card attached to a memory interface unit (not shown). In addition, when recording a still image, the video encoding / decoding unit 17 performs still image compression processing at a predetermined compression ratio by, for example, the JPEG method on the image data processed by the image processing unit 16. The still image data after the compression processing is recorded on the memory card 50 attached to a memory interface unit (not shown) by the control unit 15.

ビデオ出力部１８は、撮影した画像を外部表示装置に表示させるための表示用信号を生成し、該表示用信号を出力する。操作部材１９は、電子カメラ１の各種ボタンやスイッチ類を含み、動画撮影（録画）や静止画撮影など、各操作部材の操作内容に応じた操作信号を制御部１５へ出力する。後述する手法により記録媒体（メモリーカード５０）に記録された動画や静止画は、このビデオ出力部１８を介して外部表示装置（ＴＶやモニターなど）に出力することによって外部表示することできる。なおこれら動画や静止画は、カメラ側に設けられている周知の表示装置（不図示）に表示することも勿論可能である。 The video output unit 18 generates a display signal for displaying the captured image on the external display device, and outputs the display signal. The operation member 19 includes various buttons and switches of the electronic camera 1, and outputs an operation signal according to the operation content of each operation member, such as moving image shooting (recording) or still image shooting, to the control unit 15. A moving image or still image recorded on a recording medium (memory card 50) by a method described later can be externally displayed by outputting it to an external display device (such as a TV or a monitor) via the video output unit 18. Of course, these moving images and still images can be displayed on a well-known display device (not shown) provided on the camera side.

本実施形態は、上述した電子カメラ１が録画時に行う処理に特徴を有するので、以降の説明は録画時の処理を中心に説明する。図２は、制御部１５が実行する処理の流れを説明するフローチャートである。制御部１５は、操作部材１９を構成する録画ボタンから操作信号が入力されると、図２による処理を起動する。 Since the present embodiment is characterized by the processing performed by the electronic camera 1 described above during recording, the following description will focus on the processing during recording. FIG. 2 is a flowchart for explaining the flow of processing executed by the control unit 15. When an operation signal is input from the recording button constituting the operation member 19, the control unit 15 activates the process illustrated in FIG.

図２のステップＳ１１において、制御部１５は、撮像素子１２から画像データを読出してフレームバッファメモリ１３に書き込む処理を開始させてステップＳ１２へ進む。これにより、撮像素子１２が所定のフレームレート（たとえば３０フレーム／毎秒）で取得した画像データがフレームバッファメモリ１３に逐次蓄積される。 In step S11 of FIG. 2, the control unit 15 starts a process of reading image data from the image sensor 12 and writing it in the frame buffer memory 13, and proceeds to step S12. As a result, image data acquired by the image sensor 12 at a predetermined frame rate (for example, 30 frames / second) is sequentially stored in the frame buffer memory 13.

ステップＳ１２において、制御部１５は縦横判定を行う。具体的には、制御部１５内の判定部１５１が姿勢センサー１４からの姿勢検出信号に基づいて電子カメラ１の「横位置撮影」（横位置姿勢）状態または「縦位置撮影」（縦位置姿勢）状態を判定し、ステップＳ１３へ進む。ステップＳ１３において、制御部１５は、フレームバッファメモリ１３からフレーム画像データの読み出しを開始させてステップ１４へ進む。なお、制御部１５は、フレームバッファメモリ１３に先に蓄積された画像データから順番に読み出す。 In step S12, the control unit 15 performs vertical / horizontal determination. Specifically, the determination unit 151 in the control unit 15 determines whether the electronic camera 1 is in the “horizontal position shooting” (horizontal position posture) state or “vertical position shooting” (vertical position posture) based on the posture detection signal from the posture sensor 14. ) Determine the state and proceed to step S13. In step S <b> 13, the control unit 15 starts reading frame image data from the frame buffer memory 13 and proceeds to step 14. Note that the control unit 15 sequentially reads image data stored in the frame buffer memory 13 in order.

ステップＳ１４において、制御部１５１は、読み出すフレーム画像に対応する縦横判定結果に応じて処理内容を異ならせる。制御部１５は、読み出し中のフレーム画像が「縦位置撮影」状態で取得されたものである場合（すなわち、上記ステップＳ１２の縦横判定で、当該フレーム画像の撮影時点の姿勢検出信号に基づいて「縦位置撮影」が判定されている場合）にステップＳ１５へ進む。一方、制御部１５は、読み出し中のフレーム画像が「横位置撮影」状態で取得されたものである場合（すなわち、上記ステップＳ１２の縦横判定で、当該フレーム画像の撮影時点の姿勢検出信号に基づいて「横位置撮影」が判定されている場合）には、データ読み出し部１５４にフレームバッファメモリ１３からフレーム画像データを読み出させてステップＳ１８へ進む。縦横判定結果が「横位置撮影」の場合は、データ読み出し部１５４がフレームバッファメモリ１３から読み出したフレーム画像データをそのまま画像処理部１６へ送出する。図７は、この場合のフレーム画像を例示する図である。図７において、フレームバッファメモリ１３から読み出されたフレーム画像の長辺は長さＢであり、フレームバッファメモリ１３から読み出されたフレーム画像の短辺は長さＡである。 In step S <b> 14, the control unit 151 changes the processing content according to the vertical / horizontal determination result corresponding to the frame image to be read. When the frame image being read is acquired in the “vertical position shooting” state (that is, in the vertical / horizontal determination in step S12, the control unit 15 determines “ If “vertical position shooting” is determined), the process proceeds to step S15. On the other hand, when the frame image being read is acquired in the “horizontal position shooting” state (ie, in the vertical / horizontal determination in step S12, the control unit 15 determines the frame image based on the posture detection signal at the time of shooting). If “horizontal position shooting” is determined), the data reading unit 154 reads the frame image data from the frame buffer memory 13, and the process proceeds to step S18. When the vertical / horizontal determination result is “horizontal position shooting”, the data reading unit 154 transmits the frame image data read from the frame buffer memory 13 to the image processing unit 16 as it is. FIG. 7 is a diagram illustrating a frame image in this case. In FIG. 7, the long side of the frame image read from the frame buffer memory 13 is length B, and the short side of the frame image read from the frame buffer memory 13 is length A.

縦横判定結果が「縦位置撮影」の場合に進むステップＳ１５において、制御部１５内のデータ読み出し部１５３は、フレームバッファメモリ１３からフレーム画像データを読み出しながら、データ読み出し部１５３内のメモリ（不図示）上でフレーム画像の縦横変換（回転）処理を行う。具体的には、当該フレーム画像の撮影時点の姿勢検出信号が示す重力方向が下になるように、フレーム画像を左右いずれかの向きに９０度回転させる。図３は、電子カメラ１が「縦位置撮影」状態で撮影され、フレームバッファメモリ１３から読み出されたフレーム画像を例示する図である。図３において、フレーム画像のアスペクト比Ｂ：Ａは、１６：９である。 In step S15 that proceeds when the vertical / horizontal determination result is “vertical position shooting”, the data reading unit 153 in the control unit 15 reads out the frame image data from the frame buffer memory 13 while reading out the memory (not shown) in the data reading unit 153. ) Perform vertical / horizontal conversion (rotation) processing of the frame image. Specifically, the frame image is rotated 90 degrees in either the left or right direction so that the gravitational direction indicated by the posture detection signal at the time of shooting the frame image is downward. FIG. 3 is a diagram illustrating a frame image taken by the electronic camera 1 in the “vertical position shooting” state and read from the frame buffer memory 13. In FIG. 3, the aspect ratio B: A of the frame image is 16: 9.

図４は、データ読み出し部１５３において縦横変換されたフレーム画像を例示する図である。縦横変換後のフレーム画像のアスペクト比Ａ：Ｂは、９：１６である。図２のステップＳ１６において、制御部１５内におけるリサイズ・枠付け部１５４は、上述のステップＳ１５で縦横変換処理がなされた後のフレーム画像に対してリサイズ処理（画像縮小処理）を行う。図５は、リサイズされたフレーム画像を例示する図である。図５において、リサイズ後のフレーム画像の長辺の長さは、リサイズ前のフレーム画像（図４）の短辺の長さと等しい。さらに、リサイズ前のフレーム画像（図４）のアスペクト比Ａ：Ｂの値は、リサイズ後のフレーム画像（図５）のアスペクト比Ｃ：Ａの値と等しい。このように本実施形態では、縦位置撮影の画像を縦横変換処理した画像に対して、縦方向の長さ（図５のＡ）が横位置撮影のアスペクト比の縦方向の長さ（図３のＡ）と一致するように、リサイズ処理を行う。 FIG. 4 is a diagram illustrating a frame image that has been subjected to vertical / horizontal conversion in the data reading unit 153. The aspect ratio A: B of the frame image after vertical / horizontal conversion is 9:16. In step S16 of FIG. 2, the resizing / frame attaching unit 154 in the control unit 15 performs a resizing process (image reduction process) on the frame image after the vertical / horizontal conversion process in step S15 described above. FIG. 5 is a diagram illustrating a resized frame image. In FIG. 5, the length of the long side of the frame image after resizing is equal to the length of the short side of the frame image before resizing (FIG. 4). Further, the value of the aspect ratio A: B of the frame image before resize (FIG. 4) is equal to the value of the aspect ratio C: A of the frame image after resize (FIG. 5). As described above, in the present embodiment, the length in the vertical direction (A in FIG. 5) is the length in the vertical direction of the aspect ratio in horizontal position shooting (FIG. 3). The resizing process is performed so as to coincide with A).

図２のステップＳ１７において、制御部１５のリサイズ、枠付け部１５４は、リサイズ後のフレーム画像に枠を付加してステップＳ１８へ進む。図６は、枠を付加したフレーム画像を例示する図である。図６において、枠付加後のフレーム画像の長辺Ｂの長さは、フレームバッファメモリ１３から読み出されたフレーム画像（図３）の長辺の長さＢと等しく、枠付加後のフレーム画像の短辺Ａの長さは、フレームバッファメモリ１３から読み出されたフレーム画像（図３）の短辺の長さＡと等しい。制御部１５は、サイズ、枠付け部１５４で枠付け後のフレーム画像を画像処理部１６へ送出してステップＳ１８へ進む。 In step S17 of FIG. 2, the resizing / frame attaching unit 154 of the control unit 15 adds a frame to the resized frame image and proceeds to step S18. FIG. 6 is a diagram illustrating a frame image with a frame added thereto. In FIG. 6, the length of the long side B of the frame image after adding the frame is equal to the length B of the long side of the frame image (FIG. 3) read from the frame buffer memory 13, and the frame image after adding the frame. The length of the short side A is equal to the length A of the short side of the frame image (FIG. 3) read from the frame buffer memory 13. The control unit 15 sends the frame image that has been framed by the size and frame unit 154 to the image processing unit 16, and proceeds to step S18.

ステップＳ１８において、制御部１５は画像処理部１６へ指示を送り、フレーム画像データに所定の画像処理を行わせてステップＳ１９へ進む。ステップＳ１９において、制御部１５へビデオエンコード／デコード部１７に指示を送り、画像処理後のフレーム画像に所定の圧縮処理を行わせてステップＳ２０へ進む。ステップＳ２０において、制御部１５はメモリインターフェース部（不図示）に指示を送り、装着されているメモリーカード５０にフレーム画像のファイルを記録させて図２による処理を終了する。 In step S18, the control unit 15 sends an instruction to the image processing unit 16, causes the frame image data to be subjected to predetermined image processing, and proceeds to step S19. In step S19, an instruction is sent to the video encoding / decoding unit 17 to the control unit 15, a predetermined compression process is performed on the frame image after the image processing, and the process proceeds to step S20. In step S20, the control unit 15 sends an instruction to a memory interface unit (not shown), records a frame image file in the attached memory card 50, and ends the process of FIG.

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１は、被写体像を所定のフレームレートで撮像し、撮像したフレーム画像のデータを逐次出力する撮像素子１２と、カメラ１が縦位置状態であるか横位置状態であるかを判定する判定部１５１と、縦位置状態で撮像されたフレーム画像を略９０度回転させたフレーム画像に変換するデータ読み出し部１５３と、データ読み出し部１５３による変換後のフレーム画像のデータを用いて動画データを生成するビデオエンコード／デコード部１７と、ビデオエンコード／デコード部１７で生成された動画データをメモリーカード５０に記録する制御部１５と、を備えるようにしたので、縦位置で撮影した動画を適切な向きで表示し得るように動画データを記録できる。 According to the first embodiment described above, the following operational effects can be obtained.
(1) The electronic camera 1 captures a subject image at a predetermined frame rate, sequentially outputs data of the captured frame image, and whether the camera 1 is in a vertical position state or a horizontal position state. The determination unit 151, a data reading unit 153 that converts the frame image captured in the vertical position state into a frame image that is rotated by approximately 90 degrees, and a moving image using the data of the frame image converted by the data reading unit 153 Since the video encoding / decoding unit 17 for generating data and the control unit 15 for recording the moving image data generated by the video encoding / decoding unit 17 on the memory card 50 are provided, the moving image captured in the vertical position is provided. Video data can be recorded so that it can be displayed in an appropriate orientation.

（２）上記（１）の電子カメラ１において、判定部１５１は姿勢センサー１４を含み、該姿勢センサー１４からの検出信号に基づいて横位置状態または縦位置状態を判定するので、検出した重力方向に基づいて適切に判定することができる。 (2) In the electronic camera 1 of the above (1), the determination unit 151 includes the posture sensor 14, and determines the horizontal position state or the vertical position state based on the detection signal from the posture sensor 14, so the detected gravity direction It can be determined appropriately based on the above.

（３）上記（２）の電子カメラ１において、撮像素子１２から逐次出力されたフレーム画像を一時蓄積するフレームバッファメモリ１３をさらに備え、データ読み出し部１５３は、フレームバッファメモリ１３に蓄積されたフレーム画像を読み出しながら変換を行うので、無駄のない処理を行える。 (3) In the electronic camera 1 of (2), the electronic camera 1 further includes a frame buffer memory 13 for temporarily storing frame images sequentially output from the imaging device 12, and the data reading unit 153 stores the frames stored in the frame buffer memory 13. Since conversion is performed while reading an image, processing without waste can be performed.

（４）上記電子カメラ１において、ビデオエンコード／デコード部１７は、横位置状態で撮像されたフレーム画像のデータを用いて動画データを生成するので、横位置で撮影した動画についても適切な向きで表示し得るように動画データを記録できる。 (4) In the electronic camera 1, the video encoding / decoding unit 17 generates moving image data using the frame image data captured in the horizontal position, so that the moving image shot in the horizontal position is also in an appropriate direction. Video data can be recorded so that it can be displayed.

（第二の実施形態）
姿勢センサー１４からの姿勢検出信号に基づいて電子カメラ１が「横位置」状態か「縦位置」状態かを判定する代わりに、フレーム画像に含まれる「顔」に基づいて電子カメラ１が「横位置」状態か「縦位置」状態かを判定するように構成してもよい。図８は、本発明の第二の実施形態による電子カメラ１Ｂの要部構成を説明するブロック図である図１に比べて、制御部１５Ｂ内に顔検出部１５５が設けられている点が相違する。 (Second embodiment)
Instead of determining whether the electronic camera 1 is in the “horizontal position” state or the “vertical position” state based on the posture detection signal from the posture sensor 14, the electronic camera 1 is set to “horizontal” based on the “face” included in the frame image. You may comprise so that it may determine whether it is a "position" state or a "vertical position" state. FIG. 8 is different from FIG. 1 that is a block diagram for explaining the configuration of the main part of the electronic camera 1B according to the second embodiment of the present invention in that a face detection unit 155 is provided in the control unit 15B. To do.

顔検出部１５５は、フレームバッファメモリ１３からフレーム画像データが読み出されるごとに、フレーム画像データに基づいて顔検出処理を行うことにより、各フレーム画像内に含まれる人物の「顔」を検出する。顔検出処理は、公知の技術であるため説明を省略する。顔検出部１５５はさらに、顔検出処理で得られた目および鼻（または口）の位置関係に基づいて、電子カメラ１Ｂが当該フレーム画像を「横位置」状態で撮影したか「縦位置」状態で撮影したかを判定する。 The face detection unit 155 detects a “face” of a person included in each frame image by performing face detection processing based on the frame image data every time frame image data is read from the frame buffer memory 13. Since the face detection process is a known technique, description thereof is omitted. The face detection unit 155 further determines whether the electronic camera 1B has captured the frame image in the “horizontal position” state based on the positional relationship between the eyes and the nose (or mouth) obtained by the face detection process. Determine if you took a picture.

顔検出部１５５は、たとえば、検出した「顔」に含まれる２つの目を結ぶ線７１（図７）がフレームバッファメモリ１３から読み出されたフレーム画像（図７）の長辺と略平行の場合は、当該フレーム画像を「横位置」状態で撮影したと判定する。一方、顔検出部１５５は、検出した「顔」に含まれる２つの目を結ぶ線３１（図３）がフレームバッファメモリ１３から読み出されたフレーム画像（図３）の短辺と略平行の場合は、当該フレーム画像を「縦位置」状態で撮影したと判定する。 The face detection unit 155, for example, has a line 71 (FIG. 7) connecting two eyes included in the detected “face” substantially parallel to the long side of the frame image (FIG. 7) read from the frame buffer memory 13. In this case, it is determined that the frame image is captured in the “lateral position” state. On the other hand, the face detection unit 155 has a line 31 (FIG. 3) connecting two eyes included in the detected “face” substantially parallel to the short side of the frame image (FIG. 3) read from the frame buffer memory 13. In this case, it is determined that the frame image is captured in the “vertical position” state.

制御部１５Ｂのデータ読み出し部１５３は、フレームバッファメモリ１３からフレーム画像データを読み出しながら、データ読み出し部１５３内のメモリ（不図示）上でフレーム画像の縦横変換を行う。具体的には、回転後のフレーム画像（図４）において、検出した「顔」に含まれる２つの目を結ぶ線４１が口４２より上に位置するように、フレーム画像を左右いずれかの向きに９０度回転させる。その他のリサイズ処理は、第一の実施形態の場合と同様である。 The data reading unit 153 of the control unit 15B performs vertical / horizontal conversion of the frame image on a memory (not shown) in the data reading unit 153 while reading the frame image data from the frame buffer memory 13. Specifically, in the rotated frame image (FIG. 4), the frame image is oriented in either the left or right direction so that the line 41 connecting the two eyes included in the detected “face” is positioned above the mouth 42. Rotate 90 degrees. Other resizing processes are the same as those in the first embodiment.

以上説明した第二の実施形態によれば、制御部１５Ｂの判定部１５１は、フレーム画像から人物の顔を検出する顔検出部１５５を含み、検出された顔に基づいて横位置姿勢または縦位置姿勢を判定するようにしたので、たとえば無重力空間でも、横位置状態または縦位置状態を適切に判定することができる。 According to the second embodiment described above, the determination unit 151 of the control unit 15B includes the face detection unit 155 that detects the face of a person from the frame image, and the horizontal position / posture or the vertical position based on the detected face. Since the posture is determined, for example, the horizontal position state or the vertical position state can be appropriately determined even in a weightless space.

（変形例１）
以上の説明では、フレームバッファメモリ１３に蓄積されている各フレーム画像について、それぞれ「縦位置」状態で取得されたものであるか「横位置」状態で取得されたものであるかを判定するようにした。この代わりに、録画開始時に１回（たとえば、１フレーム目を対象に判定する）だけ「縦位置」状態か「横位置」状態かを判定し、その判定結果を以降の全フレーム画像に対して適用するようにしてもよい。 (Modification 1)
In the above description, it is determined whether each frame image accumulated in the frame buffer memory 13 is acquired in the “vertical position” state or acquired in the “horizontal position” state. I made it. Instead of this, it is determined whether the “vertical position” state or the “horizontal position” state only once (for example, the first frame is determined as a target) at the start of recording, and the determination result is determined for all subsequent frame images. You may make it apply.

（変形例２）
また、フレームバッファメモリ１３に蓄積されている各フレーム画像について、それぞれ「縦位置」状態で取得されたものであるか「横位置」状態で取得されたものであるかを判定する「判定Ａモード」と、録画開始時に１回（たとえば、１フレーム目を対象に判定する）だけ「縦位置」状態か「横位置」状態かを判定し、その判定結果を以降の全フレーム画像に対して適用する「判定Ｂモード」とを切替え可能に構成してもよい。 (Modification 2)
Also, “determination A mode” for determining whether each frame image stored in the frame buffer memory 13 is acquired in the “vertical position” state or in the “horizontal position” state. ”And“ Vertical position ”state or“ Horizontal position ”state is determined only once at the start of recording (for example, the first frame is determined as a target), and the determination result is applied to all subsequent frame images. The “determination B mode” to be switched may be configured to be switchable.

（変形例３）
上記実施形態では、縦横変換処理後の画像をリサイズ処理してから符号化処理を行って動画ファイルを生成するようにしている。しかしながら符号化処理された動画像を復号化処理した後にリサイズ処理を施して、動画像の再生を行うことが可能な画像再生装置であれば、動画ファイル生成の際にリサイズ処理を行わなくても良い。この場合（再生時にリサイズ処理を行う場合）、再生する動画像の縦サイズを、再生用モニターの縦サイズに合わせるようにリサイズ処理を行えば良い。 (Modification 3)
In the above embodiment, the image after the vertical / horizontal conversion process is resized and then encoded to generate a moving image file. However, an image playback apparatus capable of performing resize processing after decoding the encoded video and performing playback of the video does not require resizing when generating a moving image file. good. In this case (when resizing is performed during playback), the resizing process may be performed so that the vertical size of the moving image to be played matches the vertical size of the playback monitor.

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。 The above description is merely an example, and is not limited to the configuration of the above embodiment.

１、１Ｂ…電子カメラ
１２…撮像素子
１３…フレームバッファメモリ
１４…姿勢センサー
１５、１５Ｂ…制御部
１６…画像処理部
１７…ビデオエンコード／デコード部
１５１…判定部
１５２、１５３…データ読み出し部
１５４…リサイズ、枠付け部
１５５…顔検出部 DESCRIPTION OF SYMBOLS 1, 1B ... Electronic camera 12 ... Image pick-up element 13 ... Frame buffer memory 14 ... Attitude sensor 15, 15B ... Control part 16 ... Image processing part 17 ... Video encoding / decoding part 151 ... Determination part 152, 153 ... Data reading part 154 ... Resizing, framing unit 155 ... face detection unit

Claims

An imaging unit that captures a subject image at a predetermined frame rate and sequentially outputs data of the captured frame image;
A posture determination unit that determines whether the imaging device is in a vertical position or a horizontal position;
An image conversion unit for converting the frame image captured in the vertical position and posture into a frame image rotated by approximately 90 degrees;
An encoding unit that generates moving image data using frame image data converted by the image conversion unit;
A recording unit for recording the moving image data generated by the encoding unit in a storage medium;
An imaging apparatus comprising:

The imaging device according to claim 1,
A resizing unit that resizes the image converted by the image converting unit;
The encoding device generates moving image data using data of an image that has been resized by the resizing unit.

The imaging device according to claim 1 or 2,
The posture determination unit includes a posture detection sensor, and determines the horizontal position posture or the vertical position posture based on a detection signal from the posture detection sensor.

In the imaging device according to any one of claims 1 to 3,
The imaging apparatus, wherein the posture determination unit includes a face detection unit that detects a human face from the frame image, and determines the horizontal position or the vertical position and posture based on the detected face.

In the imaging device according to claim 3 or 4,
A storage unit for temporarily storing frame images sequentially output from the imaging unit;
The imaging apparatus, wherein the image conversion unit performs the conversion while reading a frame image stored in the storage unit.

In the imaging device according to any one of claims 1 to 5,
The encoding unit generates moving image data using data of the frame image captured in the horizontal position and orientation.