JP2015088849A - Imaging apparatus, imaging method and program - Google Patents

Imaging apparatus, imaging method and program Download PDF

Info

Publication number
JP2015088849A
JP2015088849A JP2013224584A JP2013224584A JP2015088849A JP 2015088849 A JP2015088849 A JP 2015088849A JP 2013224584 A JP2013224584 A JP 2013224584A JP 2013224584 A JP2013224584 A JP 2013224584A JP 2015088849 A JP2015088849 A JP 2015088849A
Authority
JP
Japan
Prior art keywords
image
photographing
amount
cpu
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013224584A
Other languages
Japanese (ja)
Other versions
JP6327832B2 (en
Inventor
橋本 昌也
Masaya Hashimoto
昌也 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013224584A priority Critical patent/JP6327832B2/en
Publication of JP2015088849A publication Critical patent/JP2015088849A/en
Application granted granted Critical
Publication of JP6327832B2 publication Critical patent/JP6327832B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Details Of Cameras Including Film Mechanisms (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To produce a natural image on which an appreciator does not feel a sense of incompatibility, by combining two images through appropriate processing.SOLUTION: An imaging apparatus includes: first imaging means for capturing a first image; second imaging means for capturing a second image in an imaging direction that is inverse to an imaging direction of the first imaging means; acquisition means for acquiring an amount of tilting; rotation means for rotating the first image in accordance with the amount of tilting that is acquired by the acquisition means; and combination means for combining the first image that is rotated by the rotation means, with the second image. The combination means combines the images after the first image is rotated in accordance with the amount of tilting but the second image is not rotated.

Description

本発明は、撮影装置、撮影方法及びプログラムに関する。   The present invention relates to a photographing apparatus, a photographing method, and a program.

従来、被写体の画像を撮影するための撮影部の他に、撮影者を撮影するための撮影部を備えるデジタルカメラが知られている。このようなデジタルカメラにおいて、2つの撮影部により得られた画像を合成する技術が知られている。これにより、撮影された画像とともに、撮影者の様子も記録することができる。
また撮影部により得られた撮影画像の上下方向に基づいて、表示部に表示する画像の向きを制御する技術が知られている(例えば、特許文献1参照)。
2. Description of the Related Art Conventionally, there has been known a digital camera including a photographing unit for photographing a photographer in addition to a photographing unit for photographing a subject image. In such a digital camera, a technique for synthesizing images obtained by two photographing units is known. Thereby, the state of the photographer can be recorded together with the photographed image.
Further, a technique for controlling the orientation of an image displayed on a display unit based on the vertical direction of a captured image obtained by the imaging unit is known (see, for example, Patent Document 1).

特開2008−177819号公報JP 2008-177819 A

しかしながら、2つの画像を合成する際には、鑑賞者が違和感を抱くのを防ぐべく、より適切な処理を施すのが望ましい。   However, when combining two images, it is desirable to perform more appropriate processing to prevent the viewer from feeling uncomfortable.

本発明はこのような問題点に鑑みなされたもので、適切な処理により2つの画像を合成し、鑑賞者が違和感を抱くことのない自然な画像を生成することを目的とする。   The present invention has been made in view of such problems, and an object of the present invention is to synthesize two images by an appropriate process and generate a natural image that does not give the viewer a sense of incongruity.

そこで、本発明は、撮影装置であって、第1の画像を撮影する第1の撮影手段と、前記第1の撮影手段の撮影方向と逆の撮影方向において、第2の画像を撮影する第2の撮影手段と、傾き量を取得する取得手段と、前記取得手段により取得した傾き量に応じて前記第1の画像を回転させる回転手段と、前記回転手段により回転させた前記第1の画像と、前記第2の画像とを合成する合成手段と、を有し、前記合成手段は、前記第1の画像は前記傾き量に応じて回転させるが、前記第2の画像は回転させないで合成することを特徴とする。   Therefore, the present invention is a photographing apparatus, wherein the first photographing means for photographing the first image and the second image for photographing the second image in the photographing direction opposite to the photographing direction of the first photographing means. Two imaging means, an acquisition means for acquiring an inclination amount, a rotation means for rotating the first image in accordance with the inclination amount acquired by the acquisition means, and the first image rotated by the rotation means And a synthesizing unit that synthesizes the second image, and the synthesizing unit synthesizes the first image without rotating the first image, although the first image is rotated according to the tilt amount. It is characterized by doing.

本発明によれば、適切な処理により2つの画像を合成し、鑑賞者が違和感を抱くことのない自然な画像を生成することができる。   According to the present invention, it is possible to synthesize two images by an appropriate process and generate a natural image that does not cause the viewer to feel uncomfortable.

デジタルカメラを示す図である。It is a figure which shows a digital camera. デジタルカメラを示す図である。It is a figure which shows a digital camera. 撮影処理を示すフローチャートである。It is a flowchart which shows an imaging | photography process. ライブ映像の表示例を示す図である。It is a figure which shows the example of a display of a live image | video. 後方画像に対する処理を説明するための図である。It is a figure for demonstrating the process with respect to a back image. 合成画像の一例を示す図である。It is a figure which shows an example of a synthesized image. 再生処理を示すフローチャートである。It is a flowchart which shows a reproduction | regeneration process.

以下、本発明の実施形態について図面に基づいて説明する。
(第1の実施形態)
図1は、第1の実施形態にかかる撮影装置としてのデジタルカメラの外観図である。デジタルカメラ1は、電源ボタン2と、レリーズボタン3と、ズームレバー4と、表示部5と、操作ボタン6と、後方撮影部7と、カバー8と、鏡筒部9と、前方撮影部10とを備えている。
前方撮影部10は、撮影者が意図した構図で被写体を撮影する。後方撮影部7は、前方撮影部10と反対側の面に設けられており、撮影者を撮影することができる。すなわち、後方撮影部7の撮影方向(光軸)は、前方撮影部10の撮影方向(光軸)と反対方向となる。なお、後方撮影部7の撮影方向は、前方撮影部10の撮影方向と異なっていればよい。以下、前方撮影部10及び後方撮影部7により得られる撮影画像を、適宜前方撮影画像及び後方撮影画像と称する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is an external view of a digital camera as a photographing apparatus according to the first embodiment. The digital camera 1 includes a power button 2, a release button 3, a zoom lever 4, a display unit 5, an operation button 6, a rear photographing unit 7, a cover 8, a lens barrel unit 9, and a front photographing unit 10. And.
The front photographing unit 10 photographs a subject with a composition intended by the photographer. The rear photographing unit 7 is provided on the surface opposite to the front photographing unit 10 and can photograph the photographer. That is, the photographing direction (optical axis) of the rear photographing unit 7 is opposite to the photographing direction (optical axis) of the front photographing unit 10. Note that the shooting direction of the rear shooting unit 7 may be different from the shooting direction of the front shooting unit 10. Hereinafter, the captured images obtained by the front capturing unit 10 and the rear capturing unit 7 are appropriately referred to as a front captured image and a rear captured image.

電源ボタン2は、ユーザから、デジタルカメラ1の電源ON、OFFの操作を受け付ける。デジタルカメラ1の電源OFF時においては、鏡筒部9は、カバー8内に格納されている。またデジタルカメラ1の電源ON時においては、不図示の駆動手段によって鏡筒部9が繰り出され、突出した状態(図1の状態)となり、前方撮影部10による撮影可能状態となる。
撮影可能状態において、ユーザによるズームレバー4の操作により、鏡筒部9の望遠、広角が制御され、撮影データの画角が決定される。また、ユーザによる、レリーズボタン3の押込み操作によって、撮影が行われ、撮影画像が記録される。
The power button 2 receives a power ON / OFF operation of the digital camera 1 from the user. The lens barrel 9 is stored in the cover 8 when the digital camera 1 is powered off. When the power of the digital camera 1 is turned on, the lens barrel 9 is drawn out by a driving unit (not shown) to be in a protruding state (the state shown in FIG. 1), so that the front photographing unit 10 can be photographed.
In the photographing enabled state, the telephoto and wide angle of the lens barrel portion 9 are controlled by the operation of the zoom lever 4 by the user, and the angle of view of the photographing data is determined. Further, the user performs shooting by pressing the release button 3 and the captured image is recorded.

操作ボタン6は、ユーザがデジタルカメラ1の各設定を行うための操作部である。本実施形態にかかるデジタルカメラ1は、動作モードとして、再生モードと、撮影モードとを有している。そして、操作ボタン6は、例えば、動作モードの選択を受け付ける。操作ボタン6はまた、撮影画素数(撮影サイズ)や撮影画像のアスペクト比等の設定を受け付ける。
表示部5は、撮影可能状態において、前方撮影部10や後方撮影部7によって撮影された撮影画像(ライブ映像)を表示する。表示部5はまた、再生モードにおいて、デジタルカメラ1が備える記録媒体に記録される撮影画像を表示する。
The operation button 6 is an operation unit for the user to perform each setting of the digital camera 1. The digital camera 1 according to the present embodiment has a playback mode and a shooting mode as operation modes. And the operation button 6 receives selection of an operation mode, for example. The operation button 6 also accepts settings such as the number of photographic pixels (photographing size) and the aspect ratio of the photographic image.
The display unit 5 displays a photographed image (live video) photographed by the front photographing unit 10 and the rear photographing unit 7 in a photographing ready state. The display unit 5 also displays a captured image recorded on a recording medium included in the digital camera 1 in the playback mode.

図2は、デジタルカメラ1の構成を示す図である。デジタルカメラ1は、さらにCPU11と、カードスロット20と、姿勢検出センサ22と、内部メモリ23とを備えている。また、前方撮影部10及び後方撮影部7は、それぞれAFユニット10a,7aを備えている。AFユニット10a,7aは、各被写体のピントを合わせる。AFユニット10a,7aはまた、ユーザにより、前述のレリーズボタン3が半押し操作されると、不図示の駆動装置によって駆動する。
姿勢検出センサ22は、デジタルカメラ1本体の傾き量を検出し、本体傾き量をCPU11へ出力する。ここで、本体傾き量は、ユーザに保持された状態でのデジタルカメラ1の姿勢を示しており、本実施形態では、後方撮影部7の撮影方向(光軸)周りの傾き量(回転量)である。後方撮影部7の撮影方向(光軸)は、前方撮影部10の撮影方向(光軸)と逆方向なので、姿勢検出センサ22で検出する本体傾き量は、前方撮影部10の撮影方向(光軸)周りの傾き量(回転量)でもある。
FIG. 2 is a diagram illustrating the configuration of the digital camera 1. The digital camera 1 further includes a CPU 11, a card slot 20, an attitude detection sensor 22, and an internal memory 23. The front photographing unit 10 and the rear photographing unit 7 include AF units 10a and 7a, respectively. The AF units 10a and 7a focus each subject. The AF units 10a and 7a are also driven by a driving device (not shown) when the release button 3 is half-pressed by the user.
The posture detection sensor 22 detects the tilt amount of the main body of the digital camera 1 and outputs the tilt amount of the main body to the CPU 11. Here, the main body tilt amount indicates the posture of the digital camera 1 held by the user, and in this embodiment, the tilt amount (rotation amount) around the photographing direction (optical axis) of the rear photographing unit 7. It is. Since the photographing direction (optical axis) of the rear photographing unit 7 is opposite to the photographing direction (optical axis) of the front photographing unit 10, the main body tilt amount detected by the posture detection sensor 22 is the photographing direction (light) of the front photographing unit 10. It is also the amount of tilt (rotation amount) around the axis.

本実施形態にかかるデジタルカメラ1の上下方向は、略長方形状の表示部5の短辺方向と一致する方向である。デジタルカメラ1においては、横長画像として撮影画像が撮影、再生されることを想定して、各部が配置されている。すなわち、デジタルカメラ1の上下方向と鉛直方向とを一致させた状態において、得られる撮影画像は、横長画像となる。
ここで、横長画像とは、アスペクト比が1以上の画像、すなわち長方形状の画像の短辺方向を上下方向とする画像である。なお、アスペクト比が1未満の画像、すなわち長方形状の画像の長辺方向を上下方向とする画像を縦長画像と称する。
なお、デジタルカメラ1は、一定以上の本体傾き量が検出された場合に、縦向きに保持されていると判断し、撮影された画像を、縦長画像として記録する。また、デジタルカメラ1は、撮影画像の表示時には、記録した方向に応じて撮影画像を表示部5に表示する。
The vertical direction of the digital camera 1 according to the present embodiment is a direction that coincides with the short side direction of the substantially rectangular display unit 5. In the digital camera 1, each part is arranged on the assumption that a captured image is captured and reproduced as a horizontally long image. That is, in the state where the vertical direction of the digital camera 1 is matched with the vertical direction, the obtained captured image is a horizontally long image.
Here, the horizontally long image is an image having an aspect ratio of 1 or more, that is, an image in which the short side direction of the rectangular image is the vertical direction. An image having an aspect ratio of less than 1, that is, an image in which the long side direction of a rectangular image is the vertical direction is referred to as a vertically long image.
Note that the digital camera 1 determines that the main body tilt amount is more than a certain level and determines that the main body is held in the vertical direction, and records the captured image as a vertically long image. The digital camera 1 displays the captured image on the display unit 5 in accordance with the recorded direction when displaying the captured image.

CPU11は、デジタルカメラ1全体を制御する。内部メモリ23は各種情報を格納する。カードスロット20は、記録媒体21を搭載する。記録媒体21は、例えば撮影画像等を格納する。なお、後述するデジタルカメラ1の機能や処理は、CPU11が内部メモリ23に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
CPU11は例えば、前方撮影部10又は後方撮影部7から取得した撮影画像を処理する。CPU11は、撮影画像に対する処理として、例えば、本体傾き量に基づいて、撮影画像が横長画像であるか横長撮影画像であるかを特定する。CPU11はまた、後方画像に対し本体傾き量や顔領域の検出結果に基づいて、回転及びトリミングの処理を行う。そして、CPU11は、処理後の後方画像と前方画像とを合成し、合成画像を記録媒体21等に格納する。
The CPU 11 controls the entire digital camera 1. The internal memory 23 stores various information. The card slot 20 carries a recording medium 21. The recording medium 21 stores captured images, for example. Note that the functions and processes of the digital camera 1 to be described later are realized by the CPU 11 reading a program stored in the internal memory 23 and executing the program.
CPU11 processes the picked-up image acquired from the front imaging | photography part 10 or the rear imaging | photography part 7, for example. As processing for a captured image, the CPU 11 specifies whether the captured image is a horizontally long image or a horizontally long image based on, for example, the main body tilt amount. The CPU 11 also performs rotation and trimming processing on the rear image based on the main body tilt amount and the detection result of the face area. Then, the CPU 11 combines the processed rear image and the front image, and stores the combined image in the recording medium 21 or the like.

図3は、デジタルカメラ1による撮影処理を示すフローチャートである。撮影処理は、ユーザによる操作ボタン6の操作により、動作モードとして撮影モードが選択された場合に実行される処理である。ユーザにより電源ボタン2が押下され、電源ONとなると、CPU11は、撮影モードにおいて、デジタルカメラ1を起動する(S1)。次に、ユーザによる操作ボタン6の操作等に応じて、CPU11は、撮影モードや、撮影サイズ(画素数)等の各種設定入力を受け付け、入力に応じた設定を行う(S2)。さらに、デジタルカメラ1は、前方撮影部10を起動する。
本実施形態にかかるデジタルカメラ1は、撮影モードとして、合成撮影モードと、通常撮影モードとを有している。合成撮影モードは、デジタルカメラ1が、略同時に前方画像と後方画像の撮影を行い、両画像を合成した合成画像を記録する処理を行うモードである。通常撮影モードは、デジタルカメラ1が、前方画像の撮影のみを行い、前方画像を記録する処理を行うモードである。
FIG. 3 is a flowchart showing a photographing process by the digital camera 1. The photographing process is a process executed when the photographing mode is selected as the operation mode by the operation of the operation button 6 by the user. When the user presses the power button 2 to turn on the power, the CPU 11 activates the digital camera 1 in the shooting mode (S1). Next, according to the operation of the operation button 6 by the user, the CPU 11 accepts various setting inputs such as a shooting mode and a shooting size (number of pixels), and performs settings according to the input (S2). Furthermore, the digital camera 1 activates the front photographing unit 10.
The digital camera 1 according to the present embodiment has a composite shooting mode and a normal shooting mode as shooting modes. The composite shooting mode is a mode in which the digital camera 1 performs a process of capturing a front image and a rear image substantially simultaneously and recording a composite image obtained by combining both images. The normal shooting mode is a mode in which the digital camera 1 performs a process of shooting only the front image and recording the front image.

図4は、合成撮影モードにおいて、表示部5に表示されるライブ映像の一例を示す図である。図4に示されるように、表示部5には、前方撮影部10により得られた前方ライブ映像400と、後方撮影部7により得られた後方ライブ映像410とが表示されている。
図4の例において、撮影者は、被写体401を、若干の角度を付与して撮影すべく、撮影方向周りに回転させ、デジタルカメラ1を鉛直方向Bに対して若干傾けた状態でデジタルカメラ1を保持している。つまり、デジタルカメラ1の上下方向Aが、撮影方向周りに回転している状態となっている。これにより、前方ライブ映像400において、被写体401は、その上下方向Cがデジタルカメラ1の上下方向Aに対して傾いた状態で表示されている。
また、この状態において、撮影者の顔の上下方向は、カメラの上下方向Aに対し傾いているものとする。この場合、後方撮影部7により得られる後方ライブ映像410において、撮影者の顔(被写体)411の上下方向Dは、後方ライブ映像410の上下方向Eに対して傾いた状態となる。
FIG. 4 is a diagram illustrating an example of a live video displayed on the display unit 5 in the composite shooting mode. As shown in FIG. 4, the front live image 400 obtained by the front photographing unit 10 and the rear live image 410 obtained by the rear photographing unit 7 are displayed on the display unit 5.
In the example of FIG. 4, the photographer rotates the subject 401 around the photographing direction so as to photograph the subject 401 with a slight angle, and the digital camera 1 is slightly tilted with respect to the vertical direction B. Holding. That is, the vertical direction A of the digital camera 1 is rotating around the shooting direction. Thereby, in the front live image 400, the subject 401 is displayed in a state where the vertical direction C thereof is inclined with respect to the vertical direction A of the digital camera 1.
In this state, it is assumed that the vertical direction of the photographer's face is inclined with respect to the vertical direction A of the camera. In this case, in the rear live image 410 obtained by the rear photographing unit 7, the vertical direction D of the photographer's face (subject) 411 is inclined with respect to the vertical direction E of the rear live image 410.

なお、CPU11は、鏡に映った画像の様に、実際に後方撮影部7の撮影により得られた後方ライブ映像を左右反転した映像を、後方ライブ映像410として表示部5に表示するものとする。撮影者が、撮影前に後方ライブ映像410を確認する際に、違和感を抱くのを防ぐためである。
例えば、後方撮影部7により得られた後方ライブ映像を表示部5に表示することとした場合には、撮影者が右手を挙げた場合に、表示部5において左側の手が挙がった映像が表示されるため、撮影者が違和感を抱いてしまう。
そこで、本実施形態においては、CPU11は、鏡に映ったような画像を表示すべく、後方撮影部7により得られた後方ライブ映像を左右反転した映像を後方ライブ映像410として表示することとしている。なお、ユーザによる操作ボタン6等の操作に従い、CPU11は、左右反転の有無を設定又は変更することができるものとする。
なお、CPU11は、ライブ映像を表示する際に、前方ライブ映像400から被写体としての顔領域の検出を行い、顔領域に重ならない位置に後方ライブ映像410を重畳するものとする。
Note that the CPU 11 displays, on the display unit 5, an image obtained by horizontally inverting the rear live video actually obtained by the rear photographing unit 7, such as an image reflected in the mirror, as the rear live video 410. . This is to prevent the photographer from feeling uncomfortable when confirming the rear live image 410 before photographing.
For example, when the rear live image obtained by the rear photographing unit 7 is displayed on the display unit 5, when the photographer raises his right hand, a video with the left hand raised on the display unit 5 is displayed. Therefore, the photographer feels uncomfortable.
Therefore, in the present embodiment, the CPU 11 displays a video obtained by horizontally inverting the rear live video obtained by the rear photographing unit 7 as the rear live video 410 in order to display an image that appears in the mirror. . It is assumed that the CPU 11 can set or change the presence / absence of left / right reversal according to the operation of the operation button 6 or the like by the user.
Note that when displaying the live video, the CPU 11 detects a face area as a subject from the front live video 400 and superimposes the rear live video 410 on a position that does not overlap the face area.

図3に戻り、S2の処理が終了し、撮影可能な状態になると、CPU11は、姿勢検出センサ22に対し姿勢検出を指示し、姿勢検出センサ22から本体傾き量を取得する(S3)。次に、CPU11は、設定された撮影モードを確認する(S4)。撮影モードが通常撮影モードに設定されている場合には(S4でNO)、CPU11は、処理をS5へ進める。
そして、CPU11は、通常撮影処理を行う(S5)。具体的には、CPU11は、後方撮影部7を起動せず、前方撮影部10のみを起動する。そして、CPU11は、ユーザ操作に応じて前方撮影部10により撮影された撮影画像(前方画像)を取得し、取得した前方画像を記録媒体21に格納する。
Returning to FIG. 3, when the process of S <b> 2 ends and the camera is ready to shoot, the CPU 11 instructs the attitude detection sensor 22 to detect the attitude, and acquires the main body tilt amount from the attitude detection sensor 22 (S <b> 3). Next, the CPU 11 confirms the set shooting mode (S4). If the shooting mode is set to the normal shooting mode (NO in S4), the CPU 11 advances the process to S5.
Then, the CPU 11 performs a normal photographing process (S5). Specifically, the CPU 11 does not activate the rear photographing unit 7 but activates only the front photographing unit 10. Then, the CPU 11 acquires a captured image (front image) captured by the front capturing unit 10 in response to a user operation, and stores the acquired front image in the recording medium 21.

一方、S4において、撮影モードが合成撮影モードに設定されている場合には(S4でYES)、CPU11は、処理をS6へ進め、合成撮影処理を行う。すなわち、まず、CPU11は、後方画像の回転が指定されているか否かを確認する(S6)。なお、後方画像の回転を行うか否かを示す情報が予めユーザにより設定されて内部メモリ23に格納されているものとする。そして、CPU11は、内部メモリ23に格納される情報を参照することにより、後方画像の回転の指定を確認する。
次に、CPU11は、後方撮影部7を起動し、後方撮影部7による撮影可能な状態とする(S7)。次に、CPU11は、前方撮影部10及び後方撮影部7により得られる画像を、ライブ映像として表示部5に表示する(S8)。
On the other hand, when the shooting mode is set to the composite shooting mode in S4 (YES in S4), the CPU 11 advances the process to S6 and performs the composite shooting process. That is, first, the CPU 11 checks whether or not rotation of the rear image is designated (S6). It is assumed that information indicating whether to rotate the rear image is set in advance by the user and stored in the internal memory 23. Then, the CPU 11 confirms the designation of the rotation of the rear image by referring to the information stored in the internal memory 23.
Next, the CPU 11 activates the rear photographing unit 7 so as to enable photographing by the rear photographing unit 7 (S7). Next, the CPU 11 displays an image obtained by the front photographing unit 10 and the rear photographing unit 7 on the display unit 5 as a live video (S8).

次に、ユーザによるレリーズボタン3が押下されると、CPU11は、撮影指示の入力を受け付け(S9)、CPU11は、前方撮影部10による撮影を指示する(S10)。これに対応し、前方撮影部10は、前方画像を撮影する。次に、CPU11は、前方撮影部10から撮影して得られた前方画像を取得し、姿勢検出センサ22から本体傾き量を取得する。そして、CPU11は、本体傾き量に基づいて、撮影された前方画像の上下方向を特定し、縦長画像である横長画像であるかを特定する。前方画像と、前方画像の上下方向を示す方向情報とを対応付けて内部メモリ23に一時的に保存する(S11)。
なお、デジタルカメラ1は、傾き量と、撮像画像(前方画像及び後方画像)の長辺及び短辺のいずれの方向を上下方向と定めるかを対応付けた方向決定テーブルが予め内部メモリ23に格納されているものとする。そして、CPU11は、方向決定テーブルを参照し、姿勢検出センサ22により得られた本体傾き量に基づいて、撮影画像の天地方向を特定する。
次に、CPU11は、後方撮影部7による撮影を指示する(S12)。これに対応し、後方撮影部7は、後方画像を撮影する。次に、CPU11は、後方撮影部7から撮影された後方画像を取得し、姿勢検出センサ22から本体傾き量を取得する。そして、CPU11は、方向決定テーブルを参照し、本体傾き量に基づいて、撮影された後方画像の天地方向を特定する。そして、CPU11は、後方画像と、後方画像の上下方向を示す方向情報とを対応付けて内部メモリ23に一時的に保存する(S13)。本実施形態のデジタルカメラは、前方撮影部と後方撮影部の光軸は平行であるので、前方画像と後方画像は、天地方向は同じとなる。
Next, when the release button 3 is pressed by the user, the CPU 11 accepts an input of a shooting instruction (S9), and the CPU 11 instructs a shooting by the front shooting unit 10 (S10). In response to this, the front photographing unit 10 photographs a front image. Next, the CPU 11 acquires a front image obtained by photographing from the front photographing unit 10, and obtains a main body tilt amount from the posture detection sensor 22. And CPU11 specifies the up-down direction of the image | photographed front image based on the main body inclination amount, and specifies whether it is a horizontally long image which is a vertically long image. The front image and direction information indicating the vertical direction of the front image are associated with each other and temporarily stored in the internal memory 23 (S11).
In the digital camera 1, the internal memory 23 stores in advance a direction determination table that associates the amount of tilt and the direction of the long side or the short side of the captured image (the front image and the back image) as the vertical direction. It is assumed that Then, the CPU 11 refers to the direction determination table and specifies the top-to-bottom direction of the captured image based on the main body tilt amount obtained by the posture detection sensor 22.
Next, the CPU 11 instructs photographing by the rear photographing unit 7 (S12). In response to this, the rear photographing unit 7 photographs a rear image. Next, the CPU 11 acquires a rear image photographed from the rear photographing unit 7 and obtains a main body tilt amount from the posture detection sensor 22. Then, the CPU 11 refers to the direction determination table and specifies the top / bottom direction of the captured rear image based on the main body tilt amount. Then, the CPU 11 associates the rear image with the direction information indicating the vertical direction of the rear image and temporarily stores it in the internal memory 23 (S13). In the digital camera of this embodiment, since the optical axes of the front photographing unit and the rear photographing unit are parallel, the front image and the rear image have the same vertical direction.

なお、前方撮影部10と後方撮影部7の撮影タイミングは、略同時とする。ただし、前方撮影部10と後方撮影部7の撮影タイミングは、実施形態に限定されるものではない。
他の例としては、CPU11は、ユーザから合成対象となる前方画像及び後方画像それぞれの撮影タイミングの指定を受け付けることとしてもよい。この場合には、ユーザは、前方画像及び後方画像それぞれを撮影するために、レリーズボタン3を2回押下することとしてもよい。また他の例としては、後方撮影部7は、前方撮影部10の撮影後一定時間後に撮影を行うこととしてもよい。
Note that the photographing timings of the front photographing unit 10 and the rear photographing unit 7 are substantially the same. However, the photographing timings of the front photographing unit 10 and the rear photographing unit 7 are not limited to the embodiment.
As another example, the CPU 11 may accept designation of shooting timings of the front image and the rear image to be combined from the user. In this case, the user may press the release button 3 twice to capture each of the front image and the rear image. As another example, the rear photographing unit 7 may perform photographing after a certain time after photographing by the front photographing unit 10.

次に、CPU11は、後方画像を内部メモリ23から読み出し、後方画像から被写体としての人物(撮影者)の顔領域の検出をする(S14)。顔領域が検出された場合には(S14でYES)、CPU11は、処理をS15へ進める。そして、CPU11は、顔領域から顔に関するさらに詳細な情報を検出する(S15)。CPU11は、詳細な情報として、例えば、両目の位置及び大きさ、鼻の位置及び大きさ、口の位置及び大きさ、輪郭の位置等を可能な限り特定、検出する。
次に、CPU11は、顔に関する詳細な情報に基づいて、被写体としての人物の上下方向を特定する(S16)。具体的には、CPU11は、例えば、両目の中心位置を結んだ直線を水平線とし、水平線と垂直且つ鼻中心を通る直線の方向を顔の上下方向と決定する。ここで、S16の処理は、方向特定処理の一例である。
Next, the CPU 11 reads a rear image from the internal memory 23 and detects a face area of a person (photographer) as a subject from the rear image (S14). When the face area is detected (YES in S14), the CPU 11 advances the process to S15. Then, the CPU 11 detects more detailed information about the face from the face area (S15). The CPU 11 specifies and detects as detailed information, for example, the position and size of both eyes, the position and size of the nose, the position and size of the mouth, the position of the contour, and the like as much as possible.
Next, the CPU 11 specifies the vertical direction of the person as the subject based on the detailed information regarding the face (S16). Specifically, for example, the CPU 11 determines a straight line connecting the center positions of both eyes as a horizontal line and a straight line direction perpendicular to the horizontal line and passing through the center of the nose as the vertical direction of the face. Here, the process of S16 is an example of a direction specifying process.

次に、CPU11は、S6において、後方画像の回転が指定されている場合には、後方画像の上下方向に対する顔領域の上下方向の傾きを特定する(S17)。次に、CPU11は、S17において特定された傾きと、傾き閾値とを比較する。そして、特定された傾きが傾き閾値以上である場合には、CPU11は、特定された傾き分を回転角度として決定し、決定した回転角度だけ後方画像を回転する(S18)。なお、傾き閾値は、内部メモリ23等に予め格納されているものとする。
なお、傾きが傾き閾値未満である場合、すなわち傾き量が所定の範囲内である場合には、CPU11は、後方画像を回転する処理を行わずに、処理をS19へ進める。撮影時、後方画像は表示部5に表示されており、撮影者が意図的に表示された状態の画像を撮影している可能性が有るためである。
Next, when the rotation of the rear image is designated in S6, the CPU 11 specifies the vertical inclination of the face area with respect to the vertical direction of the rear image (S17). Next, the CPU 11 compares the inclination specified in S17 with the inclination threshold value. If the specified tilt is equal to or greater than the tilt threshold, the CPU 11 determines the specified tilt as a rotation angle, and rotates the rear image by the determined rotation angle (S18). It is assumed that the inclination threshold is stored in advance in the internal memory 23 or the like.
If the tilt is less than the tilt threshold, that is, if the tilt amount is within a predetermined range, the CPU 11 advances the process to S19 without performing the process of rotating the rear image. This is because the rear image is displayed on the display unit 5 at the time of photographing, and there is a possibility that the photographer is photographing an image displayed intentionally.

次に、CPU11は、後方画像から顔が含まれる画像の領域をトリミング範囲として決定し、決定したトリミング範囲に基づいて、顔領域をトリミングして後方画像の一部領域を切り出す(S19)。ここで、S19の処理は、切出処理の一例である。
なお、CPU11は、トリミング範囲決定処理においては、例えば、顔検出の演算により、頭部を含む顔の輪郭範囲を求める。そして、CPU11は、輪郭範囲の中心を円中心とし、円中心から最大離間した顔輪郭範囲を充分に内包する円形状をトリミング範囲として定めるものとする。
Next, the CPU 11 determines a region of the image including the face from the rear image as a trimming range, and trims the face region based on the determined trimming range to cut out a partial region of the rear image (S19). Here, the process of S19 is an example of a cutting process.
In the trimming range determination process, the CPU 11 obtains a contour range of the face including the head by, for example, face detection calculation. Then, the CPU 11 determines, as the trimming range, a circular shape having the center of the contour range as the center of the circle and sufficiently including the face contour range farthest from the center of the circle.

ここで、図5を参照しつつ、S16〜S19の処理について具体的に説明する。図5に示す後方画像500は、図4に示す状態において、レリーズボタン3が押下された場合に得られる後方画像である。ここで、後方画像は、横長画像と判定されているものとする。
CPU11は、S16において、顔領域から両目の中心位置を結んだ直線Fを求める。そして、直線Fに垂直且つ鼻中心を通る直線Gを求める。そして、CPU11は、この直線Gの方向を、顔領域の上下方向として特定する。そして、S17において、CPU11は、顔領域の上下方向を示す直線Gの、後方画像500の上下方向を示す直線H(後方画像500の短辺)に対する傾きαを特定する。さらに、S18において、傾きαと傾き閾値とを比較し、比較結果に応じて、適宜後方画像500を回転する。
Here, the processing of S16 to S19 will be specifically described with reference to FIG. A rear image 500 shown in FIG. 5 is a rear image obtained when the release button 3 is pressed in the state shown in FIG. Here, it is assumed that the rear image is determined to be a horizontally long image.
In S16, the CPU 11 obtains a straight line F connecting the center positions of both eyes from the face area. Then, a straight line G perpendicular to the straight line F and passing through the center of the nose is obtained. Then, the CPU 11 specifies the direction of the straight line G as the vertical direction of the face area. In S <b> 17, the CPU 11 specifies the inclination α of the straight line G indicating the vertical direction of the face region with respect to the straight line H indicating the vertical direction of the rear image 500 (short side of the rear image 500). Further, in S18, the inclination α and the inclination threshold value are compared, and the rear image 500 is appropriately rotated according to the comparison result.

また、CPU11は、S19において、図4に示すように顔輪郭範囲501を内包する円をトリミング範囲502として求め、このトリミング範囲502の画像、すなわち顔領域を被写体画像として切り出す。
なお、トリミング範囲の画像は、前方画像に合成される画像である。前方画像に合成すべき画像は、後方画像に含まれる撮影者等の被写体画像である。後方撮影部7は撮影者を撮影するため被写体との距離が近いため、トリミング範囲は、できるだけ大きい範囲となるのが好ましい。傾き量がどのような角度であっても多きな領域を切り出すには、トリミング範囲の形状は円であることが望ましい。この観点から、本実施形態にかかるデジタルカメラ1においては、トリミング範囲の形状を円としたが、トリミング範囲の形状は実施形態に限定されるものではない。上記観点からは、トリミング範囲は、例えば、正方形等の正多角形形状であってもよい。
In S19, the CPU 11 obtains a circle including the face outline range 501 as a trimming range 502 as shown in FIG. 4, and cuts out an image of the trimming range 502, that is, a face area as a subject image.
Note that the image in the trimming range is an image to be combined with the front image. The image to be combined with the front image is a subject image of a photographer or the like included in the rear image. Since the rear photographing unit 7 photographs the photographer and is close to the subject, the trimming range is preferably as large as possible. In order to cut out a large area regardless of the angle of inclination, the shape of the trimming range is preferably a circle. From this viewpoint, in the digital camera 1 according to the present embodiment, the shape of the trimming range is a circle, but the shape of the trimming range is not limited to the embodiment. From the above viewpoint, the trimming range may be, for example, a regular polygon such as a square.

図3に戻り、S19の処理の後、CPU11は、回転処理後に切り出された顔領域と前方画像とを合成する(S20)。具体的には、CPU11は、顔領域を前方画像上に重畳する。合成処理において、CPU11は、前方画像から人物の顔の領域を検索する。そして、CPU11は、顔の領域が検出された場合には、前方画像のうち顔の領域以外の領域に、後方画像から切り出された被写体画像としての顔領域を重畳する。ここで、S20の処理は、合成処理の一例である。
次に、CPU11は、合成画像を記録媒体21に格納する(S21)。具体的には、CPU11は、原画像としての前方画像のEXIF等の附帯情報や前方画像データ生成時のデジタルカメラ1の設定情報等を合成画像と共に記録媒体21に格納する。
Returning to FIG. 3, after the process of S19, the CPU 11 synthesizes the face area cut out after the rotation process and the front image (S20). Specifically, the CPU 11 superimposes the face area on the front image. In the synthesizing process, the CPU 11 retrieves a human face area from the front image. Then, when the face area is detected, the CPU 11 superimposes the face area as the subject image cut out from the rear image on the area other than the face area in the front image. Here, the process of S20 is an example of a synthesis process.
Next, the CPU 11 stores the composite image in the recording medium 21 (S21). Specifically, the CPU 11 stores auxiliary information such as EXIF of the front image as the original image, setting information of the digital camera 1 when the front image data is generated, and the like in the recording medium 21 together with the composite image.

次に、CPU11は、合成画像の画素数や色味等を調整した後、調整後の合成画像を一定時間表示部5に表示する(S22)。これにより、撮影者は、自身の意図通りの合成画像が生成されているか否かを確認することができる。さらに、この時点において、撮影者は、合成画像が不要であると判断した場合には、記録媒体21から合成画像を削除したり、再度撮影を行ったりといった作業を行うことができる。
合成画像が一定時間表示された後、CPU11は、内部メモリ23に一時的に保存されている合成画像、前方画像及び後方画像を削除し(S23)、撮影処理を終了する。このように、適宜内部メモリ23をクリアするので、内部メモリ23に画像を保存できないという不都合が生じるのを防ぐことができる。
Next, the CPU 11 adjusts the number of pixels, color, and the like of the composite image, and then displays the adjusted composite image on the display unit 5 for a predetermined time (S22). Thereby, the photographer can confirm whether or not a composite image as intended is generated. Further, at this time, if the photographer determines that the composite image is unnecessary, the photographer can perform operations such as deleting the composite image from the recording medium 21 and performing photographing again.
After the composite image is displayed for a certain time, the CPU 11 deletes the composite image, the front image, and the rear image that are temporarily stored in the internal memory 23 (S23), and ends the photographing process. As described above, since the internal memory 23 is appropriately cleared, it is possible to prevent the inconvenience that the image cannot be stored in the internal memory 23.

図6は、合成画像の一例を示す図である。図6に示す合成画像600は、図4に示す状態において、レリーズボタン3が押下された場合に生成されるものである。なお、図6に示す合成画像600に対応する前方画像610の撮影時、デジタルカメラ1は、鉛直方向に対しわずかに傾いた状態となっているが、本体傾き量は一定値を超えていないものとする。このため、合成画像600の短辺方向が合成画像600の上下方向と特定されている。すなわち、合成画像600は、横長画像と判定されている。
合成画像600は、前方画像610と、顔領域620とを含んでいる。さらに、図6に示すように、顔領域620に含まれる撮影者の顔領域620の上下方向Iは、前方画像610の上下方向Jと略平行となっている。さらに、顔領域620は、後方画像に対するトリミング処理により無駄な画像が除かれ、前方画像610の被写体画像611と重ならない位置に配置されている。
FIG. 6 is a diagram illustrating an example of a composite image. The composite image 600 shown in FIG. 6 is generated when the release button 3 is pressed in the state shown in FIG. When the front image 610 corresponding to the composite image 600 shown in FIG. 6 is captured, the digital camera 1 is slightly tilted with respect to the vertical direction, but the main body tilt amount does not exceed a certain value. And For this reason, the short side direction of the composite image 600 is specified as the vertical direction of the composite image 600. That is, the composite image 600 is determined as a horizontally long image.
The composite image 600 includes a front image 610 and a face area 620. Furthermore, as shown in FIG. 6, the vertical direction I of the photographer's face area 620 included in the face area 620 is substantially parallel to the vertical direction J of the front image 610. Further, the face area 620 is disposed at a position where a useless image is removed by trimming the rear image and does not overlap the subject image 611 of the front image 610.

一方で、前方画像610に対しては、顔領域の検出は行い顔領域に関する情報を前方画像と共に記録するが、検出した顔領域の被写体画像611に対する回転等の処理は行われていない。したがって、前方画像610に含まれる被写体画像611の人物の顔の上下方向Kは、前方画像610の上下方向Jに対して傾いた状態となっている。
このように、CPU11は、前方画像610に対しては、回転等の処理を行わないので、撮影者の意図した通りの構図の撮影画像を得ることができる。一方で、CPU11は、撮影者を示す顔領域620に対しては、回転及びトリミングの処理により、閲覧者が見やすい状態で、前方画像に重畳することができる。
On the other hand, for the front image 610, the face area is detected and information about the face area is recorded together with the front image, but processing such as rotation of the detected face area with respect to the subject image 611 is not performed. Therefore, the vertical direction K of the human face of the subject image 611 included in the front image 610 is inclined with respect to the vertical direction J of the front image 610.
Thus, since the CPU 11 does not perform processing such as rotation on the front image 610, it can obtain a photographed image having a composition as intended by the photographer. On the other hand, the CPU 11 can superimpose the face area 620 indicating the photographer on the front image in a state in which the viewer can easily see the image by rotation and trimming.

図3に戻り、S14において、顔領域が検出されない場合には(S14でNO)、CPU11は、処理をS24へ進める。この場合、CPU11は、さらに前方画像を内部メモリ23から読出し、前方画像に対して後方画像を合成する(S24)。具体的には、CPU11は、後方画像を縮小し、前方画像の一部の領域に、縮小後の後方画像を重畳する。なお、この場合には、さらに、CPU11は、顔領域が検出できない旨を表示部5に表示してもよい。これにより、撮影者は、顔領域が検出されない状態で合成画像が生成されたことを知ることができる。   Returning to FIG. 3, when the face area is not detected in S14 (NO in S14), the CPU 11 advances the process to S24. In this case, the CPU 11 further reads the front image from the internal memory 23 and synthesizes the rear image with the front image (S24). Specifically, the CPU 11 reduces the rear image and superimposes the rear image after reduction on a partial area of the front image. In this case, the CPU 11 may further display on the display unit 5 that the face area cannot be detected. Thus, the photographer can know that the composite image has been generated in a state where the face area is not detected.

以上のように、本実施形態にかかるデジタルカメラ1は、前方画像に後方画像を合成する際に、後方画像を適宜回転する。これにより、デジタルカメラ1は、撮影者の意図した前方画像を維持しつつ、後方画像中の撮影者の上下方向を前方画像の上下方向に合わせることができる。したがって、CPU11は、適切な処理により2つの画像を合成し、鑑賞者が違和感を抱くことのない自然な画像を生成することができる。   As described above, the digital camera 1 according to the present embodiment appropriately rotates the rear image when the rear image is combined with the front image. Thereby, the digital camera 1 can match the up-and-down direction of the photographer in the rear image with the up-and-down direction of the front image while maintaining the front image intended by the photographer. Therefore, the CPU 11 can combine the two images by appropriate processing to generate a natural image that does not cause the viewer to feel uncomfortable.

なお、他の例としては、デジタルカメラ1は、トリミング(切り出し)処理を行わずに、後方画像全体を前方画像上に重畳してもよい。
本実施形態では、後方画像から検出された顔領域の被写体の上下方向に合わせて後方画像を回転させた。しかし、顔領域の検出や、顔領域の上下方向の判定の処理は負荷が高い。また、通常、撮影者は、顔を傾けて撮影することは少ない。そこで、デジタルカメラ1は、後方画像の顔領域の傾き量の代わりに、姿勢検出センサ22により検出したデジタルカメラ1の本体傾き量を使用してもよい。姿勢検出センサ22により検出した本体傾き量を用いる場合は、デジタルカメラ1は、後方画像の顔領域の検出は行わずに、本体傾き量に応じて後方画像を回転し、後方画像の中央部を自動的にトリミングする。または、デジタルカメラ1は、姿勢検出センサ22により検出した本体傾き量を用いて後方画像を回転し、簡単な顔領域の検出処理のみを行い、検出した顔領域が含まれるように自動的にトリミングするようにしてもよい。また、この場合に、デジタルカメラ1は、顔領域が検出されない場合は、後方画像の回転を行わないようにしてもよい。
また、本実施形態では、画像の記録時に回転を行ったが、デジタルカメラ1は、ライブ映像表示時に、上述の方法で後方ライブ映像を回転させてもよい。
As another example, the digital camera 1 may superimpose the entire rear image on the front image without performing trimming (cutout) processing.
In the present embodiment, the rear image is rotated in accordance with the vertical direction of the subject in the face area detected from the rear image. However, the processing for detecting the face area and determining the vertical direction of the face area is heavy. Also, usually, a photographer rarely shoots with his / her face tilted. Therefore, the digital camera 1 may use the main body tilt amount of the digital camera 1 detected by the posture detection sensor 22 instead of the tilt amount of the face area of the rear image. When using the main body tilt amount detected by the posture detection sensor 22, the digital camera 1 does not detect the face area of the rear image, rotates the rear image according to the main body tilt amount, and displays the center portion of the rear image. Trim automatically. Alternatively, the digital camera 1 rotates the rear image using the main body tilt amount detected by the posture detection sensor 22, performs only simple face area detection processing, and automatically trims the detected face area to be included. You may make it do. In this case, the digital camera 1 may be configured not to rotate the rear image when the face area is not detected.
In the present embodiment, the rotation is performed at the time of recording an image. However, the digital camera 1 may rotate the rear live video by the above-described method when the live video is displayed.

(第2の実施形態)
次に、第2の実施形態にかかるデジタルカメラ1について説明する。第2の実施形態にかかるデジタルカメラ1は、撮影時、対応する撮影タイミングにおいて撮影された前方画像と後方画像とを対応付けて記録媒体21に格納する。そして、デジタルカメラ1は、再生モードにおいて、前方画像と後方画像とを合成し、合成画像を表示する。
デジタルカメラ1は、撮影モードとして、通常撮影モードと合成撮影モードの他、2画像撮影モードを有している。2画像撮影モードにおいては、デジタルカメラ1は、レリーズボタン3が押下された場合に、前方撮影部10を介して前方画像を得、さらに、後方撮影部7を介して後方画像を得る。そして、デジタルカメラ1は、得られた前方画像と、前方画像の上下方向を示す方向情報と、後方画像と、後方画像の上下方向を示す方向情報とを関連付けて記録媒体21に格納する。
(Second Embodiment)
Next, a digital camera 1 according to the second embodiment will be described. The digital camera 1 according to the second embodiment stores a front image and a rear image captured at corresponding shooting timings in the recording medium 21 in association with each other at the time of shooting. Then, in the playback mode, the digital camera 1 combines the front image and the rear image and displays the combined image.
The digital camera 1 has a two-image shooting mode as a shooting mode in addition to a normal shooting mode and a composite shooting mode. In the two-image shooting mode, when the release button 3 is pressed, the digital camera 1 obtains a front image via the front photographing unit 10 and further obtains a rear image via the rear photographing unit 7. Then, the digital camera 1 stores the obtained front image, direction information indicating the vertical direction of the front image, the rear image, and direction information indicating the vertical direction of the rear image in the recording medium 21 in association with each other.

図7は、第2の実施形態にかかるデジタルカメラ1による、再生処理を示すフローチャートである。再生処理は、ユーザにより、電源ボタン2及び操作ボタン6の操作により、動作モードとして再生モードが選択された場合に実行される処理である。再生モードが選択されると、CPU11は、再生モードにおいて、デジタルカメラ1を起動する(S31)。次に、CPU11は、ユーザによる操作ボタン6の操作等に応じて、再生モードの設定等の入力を受け付け、入力に応じた設定を行う(S32)。
本実施形態にかかるデジタルカメラ1は、再生モードとして、合成再生モードと通常再生モードとを有している。合成再生モードは、略同時に撮影された前方画像と後方画像とを合成して表示する処理を行うモードである。通常再生モードは、前方画像のみを表示する処理を行うモードである。
FIG. 7 is a flowchart showing a reproduction process by the digital camera 1 according to the second embodiment. The reproduction process is a process executed when the reproduction mode is selected as the operation mode by the operation of the power button 2 and the operation button 6 by the user. When the playback mode is selected, the CPU 11 activates the digital camera 1 in the playback mode (S31). Next, the CPU 11 accepts input such as setting of the playback mode in accordance with the operation of the operation button 6 by the user, and performs setting according to the input (S32).
The digital camera 1 according to the present embodiment has a composite playback mode and a normal playback mode as playback modes. The composite playback mode is a mode for performing processing for combining and displaying the front image and the rear image captured at substantially the same time. The normal playback mode is a mode for performing processing for displaying only the front image.

次に、CPU11は、設定された再生モードを確認する(S33)。再生モードが通常再生モードに設定されている場合には(S33でNO)、CPU11は、処理をS34へ進める。
そして、CPU11は、通常再生処理を行う(S34)。具体的には、CPU11は、記録媒体21から、前方画像を読み出し、各前方画像のサムネイルを作成する。そして、CPU11は、サムネイル一覧を表示部5に表示する。ユーザにより、サムネイルが選択されると、CPU11は、選択された前方画像を、記録媒体21から読み出す。CPU11は、前方画像に対し、表示部5の画素数や表現可能な色域に合わせるための画像処理を施し、画像処理後の前方画像を表示する。
Next, the CPU 11 confirms the set reproduction mode (S33). If the playback mode is set to the normal playback mode (NO in S33), the CPU 11 advances the process to S34.
Then, the CPU 11 performs normal reproduction processing (S34). Specifically, the CPU 11 reads the front image from the recording medium 21 and creates a thumbnail of each front image. Then, the CPU 11 displays a thumbnail list on the display unit 5. When a thumbnail is selected by the user, the CPU 11 reads the selected front image from the recording medium 21. The CPU 11 performs image processing for matching the front image with the number of pixels of the display unit 5 and the expressible color gamut, and displays the front image after the image processing.

一方、S33において、再生モードが合成再生モードに設定されている場合には(S33でYES)、CPU11は、通常再生処理と同様に、前方画像を読み出し、前方画像のサムネイル一覧を表示部5に表示する。
そして、ユーザにより、サムネイルが選択されると、選択された前方画像を記録媒体21から読み出す(S35)。さらに、CPU11は、選択された前方画像に関連付けられている後方画像を記録媒体21から読み出す(S36)。
On the other hand, if the playback mode is set to the composite playback mode in S33 (YES in S33), the CPU 11 reads the front image and displays a thumbnail list of the front image on the display unit 5 as in the normal playback process. indicate.
When the thumbnail is selected by the user, the selected front image is read from the recording medium 21 (S35). Further, the CPU 11 reads the rear image associated with the selected front image from the recording medium 21 (S36).

なお、他の例としては、CPU11は、前方画像に対応付けられている後方画像のサムネイルを含むサムネイル一覧を表示してもよい。この場合には、CPU11は、サムネイルが選択されると、選択された後方画像と、選択された後方画像に関連付けられている前方画像とを記録媒体21から読み出す。
以下、S14〜S20の処理は、第1の実施形態の撮影処理におけるS14〜20(図3)の処理と同様である。
As another example, the CPU 11 may display a thumbnail list including thumbnails of the rear image associated with the front image. In this case, when a thumbnail is selected, the CPU 11 reads the selected rear image and the front image associated with the selected rear image from the recording medium 21.
Hereinafter, the processing of S14 to S20 is the same as the processing of S14 to 20 (FIG. 3) in the photographing processing of the first embodiment.

そして、S20において、合成画像が生成された後、CPU11は、処理をS37へ進める。そして、CPU11は、姿勢検出センサから本体傾き量を検出し(S37)、本体傾き量と、合成画像の原画像としての前方画像に対応付けられている方向情報に基づいて、適宜合成画像を回転し、回転後の合成画像を表示部5に表示する(S38)。以上で、再生処理が終了する。
なお、第2の実施形態にかかるデジタルカメラ1のこれ以外の構成及び処理は、第1の実施形態にかかるデジタルカメラ1の構成及び処理と同様である。
Then, after the composite image is generated in S20, the CPU 11 advances the process to S37. Then, the CPU 11 detects the main body tilt amount from the posture detection sensor (S37), and appropriately rotates the composite image based on the main body tilt amount and the direction information associated with the front image as the original image of the composite image. Then, the composite image after rotation is displayed on the display unit 5 (S38). This completes the playback process.
The remaining configuration and processing of the digital camera 1 according to the second embodiment are the same as the configuration and processing of the digital camera 1 according to the first embodiment.

このように、第2の実施形態にかかるデジタルカメラ1は、再生時において、前方画像と後方画像を合成する際に、後方画像を適宜回転する。これにより、デジタルカメラ1は、撮影者の意図した前方画像を維持しつつ、後方画像中の撮影者の上下方向を前方画像の上下方向に合わせることができる。したがって、CPU11は、適切な処理により2つの画像を合成し、鑑賞者が違和感を抱くことのない自然な画像を生成することができる。   As described above, the digital camera 1 according to the second embodiment appropriately rotates the rear image when the front image and the rear image are combined during reproduction. Thereby, the digital camera 1 can match the up-and-down direction of the photographer in the rear image with the up-and-down direction of the front image while maintaining the front image intended by the photographer. Therefore, the CPU 11 can combine the two images by appropriate processing to generate a natural image that does not cause the viewer to feel uncomfortable.

以上、上述した各実施形態によれば、適切な処理により2つの画像を合成し、鑑賞者が違和感を抱くことのない自然な画像を生成することができる。   As described above, according to each of the above-described embodiments, it is possible to combine the two images by appropriate processing and generate a natural image that does not cause the viewer to feel uncomfortable.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications can be made within the scope of the gist of the present invention described in the claims.・ Change is possible.
Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined.

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
Also, when a software program that realizes the functions of the above-described embodiments is supplied from a recording medium directly to a system or apparatus having a computer that can execute the program using wired / wireless communication, and the program is executed Are also included in the present invention.
Accordingly, the program code itself supplied and installed in the computer in order to implement the functional processing of the present invention by the computer also realizes the present invention. That is, the computer program itself for realizing the functional processing of the present invention is also included in the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。
また、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードして実行してもよい。
In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS. As a recording medium for supplying the program, for example, a magnetic recording medium such as a hard disk or a magnetic tape, an optical / magneto-optical storage medium, or a nonvolatile semiconductor memory may be used.
A computer program forming the present invention may be stored in a server on a computer network, and a connected client computer may download and execute the computer program.

1 デジタルカメラ、7 後方撮影部、10 前方撮影部、11 CPU、23 内部メモリ 1 Digital Camera, 7 Rear Shooting Unit, 10 Front Shooting Unit, 11 CPU, 23 Internal Memory

Claims (14)

第1の画像を撮影する第1の撮影手段と、
前記第1の撮影手段の撮影方向と逆の撮影方向において、第2の画像を撮影する第2の撮影手段と、
傾き量を取得する取得手段と、
前記取得手段により取得した傾き量に応じて前記第1の画像を回転させる回転手段と、
前記回転手段により回転させた前記第1の画像と、前記第2の画像とを合成する合成手段と、
を有し、
前記合成手段は、前記第1の画像は前記傾き量に応じて回転させるが、前記第2の画像は回転させないで合成することを特徴とする撮影装置。
First photographing means for photographing a first image;
A second photographing means for photographing a second image in a photographing direction opposite to the photographing direction of the first photographing means;
Acquisition means for acquiring the amount of inclination;
A rotating means for rotating the first image according to the amount of inclination acquired by the acquiring means;
Combining means for combining the first image and the second image rotated by the rotating means;
Have
The synthesizer may synthesize the first image without rotating the first image while rotating the first image according to the amount of tilt.
前記取得手段は、前記撮影装置の傾き量を取得し、
前記回転手段は、前記撮影装置の傾き量に応じて前記第1の画像を回転させることを特徴とする請求項1に記載の撮影装置。
The acquisition means acquires the amount of tilt of the photographing device,
The imaging apparatus according to claim 1, wherein the rotation unit rotates the first image according to an inclination amount of the imaging apparatus.
前記取得手段は、前記第1の画像に含まれる被写体の傾き量を取得し、
前記回転手段は、前記撮影装置の被写体の傾き量に応じて前記第1の画像を回転させることを特徴とする請求項1に記載の撮影装置。
The acquisition unit acquires a tilt amount of a subject included in the first image,
The imaging apparatus according to claim 1, wherein the rotation unit rotates the first image in accordance with a tilt amount of a subject of the imaging apparatus.
前記第1の画像に顔が含まれるかを判定する判定手段を有し、
前記回転手段は、前記第1の画像に顔が含まれていないと判定された場合は、当該第1の画像を回転しないことを特徴とする請求項1乃至3何れか1項に記載の撮影装置。
Determining means for determining whether a face is included in the first image;
4. The photographing according to claim 1, wherein the rotation unit does not rotate the first image when it is determined that the face is not included in the first image. 5. apparatus.
前記回転手段は、前記取得手段により取得した傾き量が所定の範囲内である場合に、前記第1の画像を回転させないことを特徴とする請求項1乃至4何れか1項に記載の撮影装置。   5. The photographing apparatus according to claim 1, wherein the rotation unit does not rotate the first image when an inclination amount acquired by the acquisition unit is within a predetermined range. 6. . 前記合成手段は、前記回転させた第1の画像の一部の領域と前記第2の画像を合成することを特徴とする請求項1乃至5何れか1項に記載の撮影装置。   The photographing apparatus according to claim 1, wherein the synthesizing unit synthesizes the second image with a partial region of the rotated first image. 前記合成手段は、前記第1の画像から顔領域を切り出し、切り出した顔領域の画像と前記第2の画像とを合成することを特徴とする請求項1乃至6何れか1項に記載の撮影装置。   7. The photographing according to claim 1, wherein the synthesizing unit cuts out a face area from the first image, and synthesizes the image of the cut out face area and the second image. apparatus. 前記合成手段は、前記第1の画像から円形状または正多角形形状で切り出した画像と前記第2の画像とを合成することを特徴とする請求項6又は7に記載の撮影装置。   The photographing apparatus according to claim 6 or 7, wherein the synthesizing unit synthesizes an image cut out from the first image in a circular shape or a regular polygon shape and the second image. 前記取得手段は、前記第1の撮影手段の撮影方向周りの前記撮影装置の回転量を傾き量として取得することを特徴とする請求項2に記載の撮影装置。   The imaging apparatus according to claim 2, wherein the acquisition unit acquires the rotation amount of the imaging apparatus around the imaging direction of the first imaging unit as an inclination amount. 前記合成手段は、前記第2の画像に前記第1の画像を重畳させて合成することを特徴とする請求項1乃至9何れか1項に記載の撮影装置。   The photographing apparatus according to claim 1, wherein the synthesizing unit synthesizes the first image by superimposing the first image on the second image. 前記第1の撮影手段は、前記第2の画像を撮影している撮影者が被写体として撮影されるように配置されていることを特徴とする請求項1乃至10何れか1項に記載の撮影装置。   11. The photographing according to claim 1, wherein the first photographing unit is arranged so that a photographer photographing the second image is photographed as a subject. apparatus. 撮影装置が実行する撮影方法であって、
第1の画像を撮影する第1の撮影ステップと、
前記第1の撮影ステップにおける撮影方向と逆の撮影方向において、第2の画像を撮影する第2の撮影ステップと、
傾き量を取得する取得ステップと、
前記取得ステップにおいて取得した傾き量に応じて前記第1の画像を回転させる回転ステップと、
前記回転ステップにおいて回転させた前記第1の画像と、前記第2の画像とを合成する合成ステップと
を含み、
前記合成ステップにおいては、前記第1の画像は前記傾き量に応じて回転させるが、前記第2の画像は回転させないで合成することを特徴とする撮影方法。
A shooting method performed by a shooting device,
A first photographing step for photographing a first image;
A second shooting step of shooting a second image in a shooting direction opposite to the shooting direction in the first shooting step;
An acquisition step for acquiring the amount of inclination;
A rotation step of rotating the first image according to the amount of inclination acquired in the acquisition step;
A synthesis step of synthesizing the first image rotated in the rotation step and the second image;
In the synthesizing step, the first image is rotated according to the tilt amount, but the second image is synthesized without being rotated.
コンピュータを、
第1の画像を取得する第1の取得手段と、
前記第1の画像の撮影方向と逆の撮影方向において撮影された第2の画像を取得する第2の取得手段と、
傾き量を取得する取得手段と、
前記取得手段により取得した傾き量に応じて前記第1の画像を回転させる回転手段と、
前記回転手段により回転させた前記第1の画像と、前記第2の画像とを合成する合成手段と
して機能させ、
前記合成手段は、前記第1の画像は前記傾き量に応じて回転させるが、前記第2の画像は回転させないで合成することを特徴とするプログラム。
Computer
First acquisition means for acquiring a first image;
Second acquisition means for acquiring a second image shot in a shooting direction opposite to the shooting direction of the first image;
Acquisition means for acquiring the amount of inclination;
A rotating means for rotating the first image according to the amount of inclination acquired by the acquiring means;
Allowing the first image rotated by the rotating means to function as a combining means for combining the second image;
The program is characterized in that the synthesizing unit rotates the first image according to the tilt amount, but synthesizes the second image without rotating.
請求項13に記載のプログラムを記録したコンピュータにより読み取り可能な記録媒体。   A computer-readable recording medium on which the program according to claim 13 is recorded.
JP2013224584A 2013-10-29 2013-10-29 Imaging apparatus, imaging method, and program Expired - Fee Related JP6327832B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013224584A JP6327832B2 (en) 2013-10-29 2013-10-29 Imaging apparatus, imaging method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013224584A JP6327832B2 (en) 2013-10-29 2013-10-29 Imaging apparatus, imaging method, and program

Publications (2)

Publication Number Publication Date
JP2015088849A true JP2015088849A (en) 2015-05-07
JP6327832B2 JP6327832B2 (en) 2018-05-23

Family

ID=53051236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013224584A Expired - Fee Related JP6327832B2 (en) 2013-10-29 2013-10-29 Imaging apparatus, imaging method, and program

Country Status (1)

Country Link
JP (1) JP6327832B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017110645A1 (en) * 2015-12-22 2018-11-08 シャープ株式会社 Work support device, work support method, work support program, and recording medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193860A (en) * 2002-12-10 2004-07-08 Canon Inc Electronic apparatus
JP2005094741A (en) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd Image pickup device and image synthesizing method
JP2005204015A (en) * 2004-01-15 2005-07-28 Nec Corp Mobile equipment and image processing method
JP2007104359A (en) * 2005-10-05 2007-04-19 Fujifilm Corp Apparatus, method and program for laying out image
JP2009060435A (en) * 2007-08-31 2009-03-19 Olympus Imaging Corp Camera
JP2010016439A (en) * 2008-07-01 2010-01-21 Panasonic Corp Portable unit with camera
JP2012252516A (en) * 2011-06-02 2012-12-20 Nintendo Co Ltd Game system, game device, game program, and image generation method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193860A (en) * 2002-12-10 2004-07-08 Canon Inc Electronic apparatus
JP2005094741A (en) * 2003-08-14 2005-04-07 Fuji Photo Film Co Ltd Image pickup device and image synthesizing method
JP2005204015A (en) * 2004-01-15 2005-07-28 Nec Corp Mobile equipment and image processing method
JP2007104359A (en) * 2005-10-05 2007-04-19 Fujifilm Corp Apparatus, method and program for laying out image
JP2009060435A (en) * 2007-08-31 2009-03-19 Olympus Imaging Corp Camera
JP2010016439A (en) * 2008-07-01 2010-01-21 Panasonic Corp Portable unit with camera
JP2012252516A (en) * 2011-06-02 2012-12-20 Nintendo Co Ltd Game system, game device, game program, and image generation method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017110645A1 (en) * 2015-12-22 2018-11-08 シャープ株式会社 Work support device, work support method, work support program, and recording medium

Also Published As

Publication number Publication date
JP6327832B2 (en) 2018-05-23

Similar Documents

Publication Publication Date Title
US10110804B2 (en) Portrait image synthesis from multiple images captured on a handheld device
JP5115139B2 (en) Composition determination apparatus, composition determination method, and program
US7876334B2 (en) Photography with embedded graphical objects
WO2014071840A1 (en) Method and device for taking photo and video
JP5230013B2 (en) Imaging device
WO2013155804A1 (en) Photograph shooting method and electronic device
JP3630147B2 (en) Subject photographing method and camera apparatus
JP5013282B2 (en) Imaging apparatus and program
JP6104077B2 (en) Photographing equipment and photographing method
JP6327832B2 (en) Imaging apparatus, imaging method, and program
JP2009302910A (en) Imaging device and image reproducer
CN113170050A (en) Image acquisition method, electronic equipment and mobile equipment
JP2011066828A (en) Imaging device, imaging method and program
JP4059241B2 (en) Subject photographing method and camera apparatus
JP2009118084A (en) Digital camera
JP6289037B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2017108203A (en) Imaging apparatus, imaging support method and program
JP6200262B2 (en) Imaging apparatus and control method thereof
JP2012165247A (en) Image processing device, imaging device, and image processing program
JP2005072674A (en) Three-dimensional image generating apparatus and three-dimensional image generating system
JP5424725B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2019056997A (en) Image processing system and image processing method and program
JP2011198178A (en) Electronic device
JP2003298905A (en) Digital camera
JP2004008455A (en) Card set and stereoscopic imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180320

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180417

R151 Written notification of patent or utility model registration

Ref document number: 6327832

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees