JP2012142779A - Imaging apparatus and imaging program - Google Patents

Imaging apparatus and imaging program Download PDF

Info

Publication number
JP2012142779A
JP2012142779A JP2010293996A JP2010293996A JP2012142779A JP 2012142779 A JP2012142779 A JP 2012142779A JP 2010293996 A JP2010293996 A JP 2010293996A JP 2010293996 A JP2010293996 A JP 2010293996A JP 2012142779 A JP2012142779 A JP 2012142779A
Authority
JP
Japan
Prior art keywords
unit
special effect
image
pair
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010293996A
Other languages
Japanese (ja)
Other versions
JP5638941B2 (en
Inventor
Mika Muto
美香 武藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2010293996A priority Critical patent/JP5638941B2/en
Priority to US13/330,160 priority patent/US9113074B2/en
Publication of JP2012142779A publication Critical patent/JP2012142779A/en
Application granted granted Critical
Publication of JP5638941B2 publication Critical patent/JP5638941B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus and an imaging program which are capable of making a subject look better by a background with the photorealistic property of the subject left as it is.SOLUTION: The imaging apparatus is provided with: parallax amount calculation part 323 which overlaps similar regions included in a pair of images each other to calculate the parallax amount of the pair of images; an isolation part 324 which isolates each region of the pair of images into a short distance region and a background region in accordance with the parallax amount calculated by the parallax amount calculation part 323; and an image processing setting part 326 which when a face detected by a face detection part 322 is within the short distance region, sets the background region as a region to apply the special effect processing by an image processing part 14.

Description

本発明は、被写体を撮像して電子的な画像データを生成する撮像装置および撮像プログラムに関する。   The present invention relates to an imaging apparatus and an imaging program for imaging a subject and generating electronic image data.

近年、デジタルカメラやデジタルビデオカメラ等の撮像装置において、被写体を撮像した画像データに特殊効果を施すことによって、消費者の様々な要望に応える技術が知られている。たとえば、被写体を撮像した画像データにワイプやセピア等の特殊効果を施してメモリに記憶する技術が知られている（特許文献１参照）。この技術では、ユーザが特殊効果を選択するエフェクトスイッチを操作した際に選択された特殊効果を施した画像を、表示モニタが表示する画像上の一部に表示させることにより、ユーザに所望の特殊効果を容易に選択させることができるようになっている。   In recent years, in an imaging apparatus such as a digital camera or a digital video camera, there has been known a technique that meets various demands of consumers by applying special effects to image data obtained by imaging a subject. For example, a technique is known in which image data obtained by imaging a subject is subjected to a special effect such as wipe or sepia and stored in a memory (see Patent Document 1). In this technique, an image with a special effect selected when the user operates an effect switch for selecting a special effect is displayed on a part of the image displayed on the display monitor, so that the user can obtain a desired special effect. The effect can be easily selected.

また、撮像した画像内に含まれる人物や花等の主要被写体と背景とにそれぞれ異なる画像処理を行う技術が知られている（特許文献２参照）。この技術では、主要被写体と背景とにそれぞれ異なった画像処理、たとえば感度（ＩＳＯ）処理、シャープネス処理、ぼかし処理または色相変換処理等を行うことにより、主要被写体を背景から際立たせることができる。   In addition, there is known a technique for performing different image processing on a main subject such as a person or a flower and a background included in a captured image (see Patent Document 2). In this technique, the main subject can be made to stand out from the background by performing different image processing, such as sensitivity (ISO) processing, sharpness processing, blurring processing, or hue conversion processing, on the main subject and the background.

特開２００５−３４７８８６号公報JP-A-2005-347886 特開２００２−４４５１６号公報JP 2002-44516 A

しかしながら、従来の撮像装置では、主要被写体および背景それぞれに対して、同一種類でパラメータが異なる画像処理しか行っていなかった。このため、被写体が人物や動物である場合、被写体の写実性をそのままにしながら背景によって被写体を引き立たせることができなかった。   However, in the conventional imaging apparatus, only the same type of image processing with different parameters is performed for each of the main subject and the background. For this reason, when the subject is a person or an animal, the subject cannot be emphasized by the background while maintaining the realism of the subject.

本発明は、上記に鑑みてなされたものであって、被写体の写実性をそのままにしながら背景によって被写体を引き立たせることができる撮像装置および撮像プログラムを提供することを目的とする。   The present invention has been made in view of the above, and an object of the present invention is to provide an imaging apparatus and an imaging program that can make a subject stand out with a background while maintaining the reality of the subject.

上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、被写体を撮像することによって互いに視差を有する一対の画像データを生成する撮像部と、前記一対の画像データそれぞれに対応する一対の画像に対して、複数の画像処理を組み合わせることにより視覚的な効果を生じさせることが可能な特殊効果処理を行う画像処理部と、前記一対の画像それぞれに含まれる類似領域を重畳することにより、該一対の画像の視差量を算出する視差量算出部と、前記視差量算出部が算出した前記視差量に応じて、前記一対の画像それぞれの領域を近距離領域と背景領域とに切り分ける切分け部と、前記一対の画像それぞれに含まれる顔を検出する顔検出部と、前記顔検出部が検出した顔が前記近距離領域内にある場合、前記背景領域を前記画像処理部が前記特殊効果処理を行う領域として設定する画像処理設定部と、を備えたことを特徴とする。   In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes an imaging unit that generates a pair of image data having parallax by imaging a subject, and each of the pair of image data. An image processing unit that performs special effect processing capable of producing a visual effect by combining a plurality of image processings with a corresponding pair of images, and a similar region included in each of the pair of images are superimposed The parallax amount calculation unit that calculates the parallax amount of the pair of images, and according to the parallax amount calculated by the parallax amount calculation unit, the area of each of the pair of images is a short-distance region and a background region. A face detection unit that detects a face included in each of the pair of images, and a face detected by the face detection unit when the face detected by the face detection unit is within the short distance region. The characterized in that said image processing unit is provided with an image processing setting unit for setting a region for the special effects.

また、本発明にかかる撮像装置は、上記発明において、前記顔検出部が検出した顔の特性を特定する特性特定部と、前記特性特定部が特定する特性と前記画像処理部が前記一対の画像に対して実施可能な特殊効果処理との組み合わせに応じた推奨度を与える第１特殊効果処理情報を記憶する第１特殊効果処理情報記憶部と、をさらに備え、前記画像処理設定部は、前記特性特定部が前記顔検出部によって検出された顔の特性を特定した場合、前記第１特殊効果処理情報を参照して、推奨度が高い前記特殊効果処理を前記画像処理部が行う処理として設定することを特徴とする。   In the imaging device according to the present invention, in the above invention, a characteristic specifying unit that specifies a characteristic of the face detected by the face detection unit, a characteristic specified by the characteristic specifying unit, and the image processing unit are the pair of images. A first special effect process information storage unit that stores first special effect process information that gives a recommendation degree according to a combination with a special effect process that can be performed, and the image processing setting unit includes: When the characteristic specifying unit specifies the characteristic of the face detected by the face detecting unit, the special effect processing having a high recommendation level is set as a process to be performed by the image processing unit with reference to the first special effect processing information It is characterized by doing.

また、本発明にかかる撮像装置は、上記発明において、前記画像処理部が前記一対の画像に対して実施可能な特殊効果処理の推奨度を与える第２特殊効果処理情報を記憶する第２特殊効果処理情報記憶部をさらに備え、前記画像処理設定部は、前記顔検出部が検出した顔が前記近距離領域内にない場合、前記第２特殊効果処理情報を参照して、推奨度が高い前記特殊効果処理を前記画像処理部が行う処理として設定することを特徴とする。   In the image pickup apparatus according to the present invention, in the above invention, a second special effect that stores second special effect processing information that gives a recommendation degree of special effect processing that can be performed on the pair of images by the image processing unit. A processing information storage unit, wherein the image processing setting unit refers to the second special effect processing information when the face detected by the face detection unit is not within the short distance region, and the degree of recommendation is high. Special effect processing is set as processing performed by the image processing unit.

また、本発明にかかる撮像装置は、上記発明において、前記一対の画像データに対応する画像を表示する表示部と、前記画像処理部が実施可能な各特殊効果処理に関するアイコンを前記表示部に表示させる表示制御部と、前記表示部が表示するアイコンの選択を指示する操作信号の入力を受け付ける入力部と、を備え、前記画像処理設定部は、前記入力部によって選択されたアイコンに対応する特殊効果処理を設定することを特徴とする。   In the image pickup apparatus according to the present invention, in the above invention, a display unit that displays an image corresponding to the pair of image data and an icon related to each special effect process that can be performed by the image processing unit are displayed on the display unit. A display control unit to be operated, and an input unit that receives an input of an operation signal instructing selection of an icon to be displayed by the display unit, wherein the image processing setting unit has a special function corresponding to the icon selected by the input unit. An effect process is set.

また、本発明にかかる撮像プログラムは、被写体を撮像することによって互いに視差を有する一対の画像データを生成する撮像ステップと、前記一対の画像データそれぞれに対応する一対の画像に対して、複数の画像処理を組み合わせることにより視覚的な効果を生じさせることが可能な特殊効果処理を行う画像処理ステップと、前記一対の画像それぞれに含まれる類似領域を重畳することにより、該一対の画像の視差量を算出する視差量算出ステップと、前記視差量算出ステップが算出した前記視差量に応じて、前記一対の画像それぞれの領域を近距離領域と背景領域とに切り分ける切分けステップと、前記一対の画像それぞれに含まれる顔を検出する顔検出ステップと、前記顔検出ステップが検出した顔が前記近距離領域内にある場合、前記背景領域を前記画像処理部が前記特殊効果処理を行う領域として設定する画像処理設定ステップと、を撮像装置に実行させることを特徴とする。   An imaging program according to the present invention includes a plurality of images for an imaging step of generating a pair of image data having parallax with each other by imaging a subject, and a pair of images corresponding to each of the pair of image data. An image processing step for performing a special effect process capable of producing a visual effect by combining the processes and a similar region included in each of the pair of images are superimposed, thereby reducing a parallax amount between the pair of images. A parallax amount calculating step to calculate, a separation step of dividing each region of the pair of images into a short-distance region and a background region according to the parallax amount calculated by the parallax amount calculating step, and each of the pair of images A face detecting step for detecting a face included in the face, and when the face detected by the face detecting step is within the short distance region, Serial image processing setting step of setting the background area as an area where the image processing unit performs the special effect processing, and wherein the to be executed by the imaging apparatus.

本発明によれば、切分け部が視差量算出部によって算出された視差量に応じて、左目画像および右目画像それぞれの領域を近距離領域と背景領域とに切り分け、画像処理設定部が顔検出部によって検出された顔が近距離領域内である場合、背景領域を画像処理部が特殊効果処理を行う領域として設定する。この結果、被写体の写実性をそのままにしながら背景によって被写体を引き立たせることができるという効果を奏する。   According to the present invention, the segmentation unit segments each region of the left-eye image and the right-eye image into a short-distance region and a background region according to the parallax amount calculated by the parallax amount calculation unit, and the image processing setting unit detects the face When the face detected by the unit is within the short distance region, the background region is set as a region where the image processing unit performs the special effect processing. As a result, there is an effect that the subject can be emphasized by the background while maintaining the reality of the subject.

図１は、本発明の実施の形態１にかかる撮像装置の構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of the imaging apparatus according to the first embodiment of the present invention. 図２は、本発明の実施の形態１にかかる撮像装置の被写体に面する側の構成を示す斜視図である。FIG. 2 is a perspective view illustrating the configuration of the imaging apparatus according to the first embodiment of the present invention on the side facing the subject. 図３は、本発明の実施の形態１にかかる撮像装置の撮影者に面する側の構成を示す斜視図である。FIG. 3 is a perspective view showing the configuration of the imaging apparatus according to the first embodiment of the present invention on the side facing the photographer. 図４は、本発明の実施の形態１にかかる撮像装置の表示部の概略構成を示す模式図である。FIG. 4 is a schematic diagram illustrating a schematic configuration of the display unit of the imaging apparatus according to the first embodiment of the present invention. 図５は、本発明の実施の形態１にかかる撮像装置の撮像部が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。FIG. 5 is a schematic diagram illustrating a situation when the imaging unit of the imaging apparatus according to the first embodiment of the present invention generates two pieces of image data in which one end in the horizontal direction of each field of view overlaps. 図６は、図５に示す状況下で撮像装置の立体画像生成部が生成する２つの画像データそれぞれに対応する２つの画像の一例を示す図である。FIG. 6 is a diagram illustrating an example of two images corresponding to two image data generated by the stereoscopic image generation unit of the imaging device under the situation illustrated in FIG. 5. 図７は、図５に示す状況下で撮像装置の立体画像生成部が生成した左目画像と右目画像とを仮想的に重ねた画像の一例を示す図である。FIG. 7 is a diagram illustrating an example of an image obtained by virtually superposing the left eye image and the right eye image generated by the stereoscopic image generation unit of the imaging apparatus under the situation illustrated in FIG. 5. 図８は、図５に示す状況下で撮像装置の立体画像生成部が生成した左目画像および右目画像を表示部に表示した際にユーザが仮想的に視認する３Ｄ画像の飛び出し距離を説明する図である。FIG. 8 is a diagram for explaining the pop-out distance of a 3D image that is virtually visually recognized by the user when the left-eye image and the right-eye image generated by the stereoscopic image generation unit of the imaging device are displayed on the display unit under the situation illustrated in FIG. It is. 図９は、本発明の実施の形態１にかかる撮像装置が特殊効果撮影モードに設定されている場合に表示部が表示する特殊効果撮影モードにおける特殊効果撮影操作メニュー画面遷移の一例を示す図である。FIG. 9 is a diagram illustrating an example of transition of the special effect shooting operation menu screen in the special effect shooting mode displayed on the display unit when the imaging apparatus according to the first embodiment of the present invention is set to the special effect shooting mode. is there. 図１０は、本発明の実施の形態１にかかる撮像装置の第１特殊効果処理情報記憶部が記憶する第１特殊効果処理情報テーブルの一例を示す図である。FIG. 10 is a diagram illustrating an example of a first special effect processing information table stored in the first special effect processing information storage unit of the imaging apparatus according to the first embodiment of the present invention. 図１１は、本発明の実施の形態１にかかる撮像装置の第２特殊効果処理情報記憶部が記憶する第２特殊効果処理情報テーブルの一例を示す図である。FIG. 11 is a diagram illustrating an example of a second special effect processing information table stored in the second special effect processing information storage unit of the imaging apparatus according to the first embodiment of the present invention. 図１２は、本発明の実施の形態１にかかる撮像装置が行う処理の概要を示すフローチャートである。FIG. 12 is a flowchart illustrating an outline of processing performed by the imaging apparatus according to the first embodiment of the present invention. 図１３は、図１２に示す特殊効果処理設定の概要を示すフローチャートである。FIG. 13 is a flowchart showing an outline of the special effect process setting shown in FIG. 図１４は、本発明の実施の形態１にかかる撮像装置の表示部が表示する画像の一例を示す図である。FIG. 14 is a diagram illustrating an example of an image displayed by the display unit of the imaging apparatus according to the first embodiment of the present invention. 図１５は、本発明の実施の形態２にかかる撮像装置が行う特殊効果処理の概要を示すフローチャートである。FIG. 15 is a flowchart illustrating an outline of special effect processing performed by the imaging apparatus according to the second embodiment of the present invention. 図１６は、本発明の実施の形態２にかかる撮像装置の表示部が表示する画像の一例を示す図である。FIG. 16 is a diagram illustrating an example of an image displayed by the display unit of the imaging apparatus according to the second embodiment of the present invention. 図１７は、本発明の実施の形態の変形例１にかかる撮像装置で被写体を撮影する際の状況を示す図である。FIG. 17 is a diagram illustrating a situation when a subject is photographed by the imaging apparatus according to the first modification of the embodiment of the present invention. 図１８は、図１７に示す状況下で撮像装置の表示部が表示する画面遷移の一例を示す図である。FIG. 18 is a diagram illustrating an example of screen transition displayed on the display unit of the imaging apparatus under the situation illustrated in FIG. 17. 図１９は、本発明の実施の形態の変形例２にかかる撮像装置が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。FIG. 19 is a schematic diagram illustrating a situation when the imaging apparatus according to the second modification of the embodiment of the present invention generates two image data in which one end in the left-right direction of each field of view overlaps.

以下に、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。   DESCRIPTION OF EMBODIMENTS Hereinafter, modes for carrying out the present invention (hereinafter referred to as “embodiments”) will be described with reference to the drawings. The present invention is not limited to the embodiments described below.

（実施の形態１）
図１は、本発明の実施の形態１にかかる撮像装置の構成を示すブッロク図である。図２は、本発明の実施の形態１にかかる撮像装置の被写体に面する側（前面側）の構成を示す斜視図である。図３は、本発明の実施の形態１にかかる撮像装置の撮影者に面する（背面側）の構成を示す斜視図である。図１〜図３に示す撮像装置１は、デジタル一眼レフカメラであり、本体部２と、本体部２に着脱自在なレンズ部３と、を備える。 (Embodiment 1)
FIG. 1 is a block diagram showing the configuration of the imaging apparatus according to the first embodiment of the present invention. FIG. 2 is a perspective view showing the configuration of the side facing the subject (front side) of the imaging apparatus according to the first embodiment of the present invention. FIG. 3 is a perspective view illustrating a configuration (back side) facing the photographer of the imaging apparatus according to the first embodiment of the present invention. An imaging apparatus 1 illustrated in FIGS. 1 to 3 is a digital single-lens reflex camera, and includes a main body unit 2 and a lens unit 3 that can be attached to and detached from the main body unit 2.

図１〜図３に示すように、本体部２は、シャッタ１０と、撮像素子１１と、Ａ／Ｄ変換部１２と、メモリ１３と、画像処理部１４と、撮像素子駆動部１５と、シャッタ駆動部１６と、露出処理部１７と、ＡＦ処理部１８と、タイマー１９と、本体通信部２０と、操作入力部２１と、フラッシュ発光部２２と、フラッシュ充電部２３と、フラッシュ駆動部２４と、表示部２５と、タッチパネル２６と、不揮発性メモリ２７と、外部メモリ２８と、外部通信部２９と、電源供給部３０と、電源部３１と、制御部３２と、を備える。   As shown in FIGS. 1 to 3, the main body 2 includes a shutter 10, an image sensor 11, an A / D converter 12, a memory 13, an image processor 14, an image sensor drive unit 15, and a shutter. Drive unit 16, exposure processing unit 17, AF processing unit 18, timer 19, main body communication unit 20, operation input unit 21, flash light emitting unit 22, flash charging unit 23, and flash drive unit 24 , A display unit 25, a touch panel 26, a nonvolatile memory 27, an external memory 28, an external communication unit 29, a power supply unit 30, a power supply unit 31, and a control unit 32.

シャッタ１０は、撮像素子１１の状態を露光状態または遮光状態に設定する。シャッタ駆動部１６は、ステッピングモータ等を用いて構成され、レリーズ信号に応じてシャッタ１０を駆動する。   The shutter 10 sets the state of the image sensor 11 to an exposure state or a light shielding state. The shutter driving unit 16 is configured by using a stepping motor or the like, and drives the shutter 10 according to a release signal.

撮像素子１１は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像素子駆動部１５は、所定のタイミングで撮像素子１１から画像データ（アナログ信号）をＡ／Ｄ変換部１２に出力させる。   The imaging device 11 is configured using a CCD (Charge Coupled Device), a CMOS (Complementary Metal Oxide Semiconductor), or the like that receives the light collected by the lens unit 3 and converts it into an electrical signal. The image sensor drive unit 15 causes the A / D converter 12 to output image data (analog signal) from the image sensor 11 at a predetermined timing.

Ａ／Ｄ変換部１２は、撮像素子１１から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成してメモリ１３に出力する。   The A / D converter 12 generates digital image data by performing A / D conversion on the analog signal input from the image sensor 11 and outputs the digital image data to the memory 13.

メモリ１３は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を用いて構成される。メモリ１３は、Ａ／Ｄ変換部１２から入力される画像データや撮像装置１の処理中の情報を一時的に記録する。具体的には、メモリ１３は、撮像素子１１が１フレーム毎に順次出力する画像データを一時的に記録する。   The memory 13 is configured using an SDRAM (Synchronous Dynamic Random Access Memory). The memory 13 temporarily records image data input from the A / D conversion unit 12 and information being processed by the imaging apparatus 1. Specifically, the memory 13 temporarily records image data that the image sensor 11 sequentially outputs for each frame.

画像処理部１４は、制御部３２を介してメモリ１３に記録された画像データを取得し、取得した画像データに対して各種の画像処理を施してメモリ１３または不揮発性メモリ２７に出力する。具体的には、画像処理部１４は、画像データに対して、少なくともエッジ強調、ホワイトバランス、色補正およびγ補正を含む通常の画像処理を行う。画像処理部１４は、特殊効果処理部１４１を有する。   The image processing unit 14 acquires the image data recorded in the memory 13 via the control unit 32, performs various image processing on the acquired image data, and outputs the image data to the memory 13 or the nonvolatile memory 27. Specifically, the image processing unit 14 performs normal image processing including at least edge enhancement, white balance, color correction, and γ correction on the image data. The image processing unit 14 includes a special effect processing unit 141.

特殊効果処理部１４１は、画像データに対して複数の画像処理を組み合わせることにより視覚的な効果を生じさせる特殊効果処理を行う。この特殊効果処理としては、たとえばトーンカーブ処理、ぼかし処理および画像合成処理を組み合わせた処理を行う。   The special effect processing unit 141 performs special effect processing for generating a visual effect by combining a plurality of image processings on image data. As this special effect processing, for example, processing combining tone curve processing, blurring processing, and image composition processing is performed.

露出処理部１７は、制御部３２を介してメモリ１３に記録された画像データに基づいて、静止画撮影や動画撮影を行う際の条件、たとえば絞りの設定値、シャッタ速度等を決定することで撮像装置１の自動露出を行う。   The exposure processing unit 17 determines conditions for performing still image shooting and moving image shooting, such as a set value of an aperture, a shutter speed, and the like, based on image data recorded in the memory 13 via the control unit 32. Automatic exposure of the imaging apparatus 1 is performed.

ＡＦ処理部１８は、制御部３２を介してメモリ１３に記録された画像データに基づいて、撮像装置１の自動焦点（Auto Focus）の調整を行う。たとえば、ＡＦ処理部１８は、画像データのコントラストに基づいて、撮像する被写体像の鮮鋭度が最大となるようにレンズ部３を駆動する。   The AF processing unit 18 adjusts the auto focus of the imaging apparatus 1 based on the image data recorded in the memory 13 via the control unit 32. For example, the AF processing unit 18 drives the lens unit 3 so that the sharpness of the captured subject image is maximized based on the contrast of the image data.

タイマー１９は、時間を計時する。タイマー１９は、撮影日時の判定機能を有する。タイマー１９は、撮像された画像データに日時データを付加するため、制御部３２に日時データを出力する。   The timer 19 measures time. The timer 19 has a shooting date / time determination function. The timer 19 outputs the date / time data to the control unit 32 in order to add the date / time data to the captured image data.

本体通信部２０は、本体部２に装着されたレンズ部３との通信を行うための通信インターフェースである。なお、本体通信部２０は、本体部２に設けられた電源部３１からレンズ部３に電力を供給するようにしてもよい。   The main body communication unit 20 is a communication interface for performing communication with the lens unit 3 attached to the main body unit 2. The main body communication unit 20 may supply power to the lens unit 3 from the power supply unit 31 provided in the main body unit 2.

操作入力部２１は、撮像装置１の電源状態をオン状態またはオフ状態に切換える電源スイッチ２１１と、撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ２１２と、撮像装置１に設定された各種撮影モード切換えの指示を与える切換信号を入力する撮影モード切換スイッチ２１３と、撮像装置１の各種設定を選択または決定の指示を与える指示信号を入力する操作スイッチ２１４と、撮像装置１に設定された操作メニュー画面の表示の指示を与える指示信号を入力するメニュースイッチ２１５と、撮像した画像データのレックビュー表示の指示を与える指示信号を入力するプレビュースイッチ２１６と、動画撮影の指示を与える動画レリーズ信号を入力する動画スイッチ２１７と、を有する。操作スイッチ２１４は、メニュー画面等における選択設定を行う上下左右の各方向ボタン２１４ａ〜２１４ｄと、メニュー画面等における各方向ボタン２１４ａ〜２１４ｄによる操作を決定する決定ボタン２１４ｅ（ＯＫボタン）とを有する（図３を参照）。なお、操作スイッチ２１４は、ダイヤルスイッチ等を用いて構成してもよい。   The operation input unit 21 includes a power switch 211 that switches the power supply state of the imaging apparatus 1 to an on state or an off state, a release switch 212 that inputs a release signal that gives a shooting instruction, and various shooting modes set in the imaging apparatus 1. An imaging mode selector switch 213 for inputting a switching signal for giving a switching instruction, an operation switch 214 for inputting an instruction signal for giving instructions for selecting or determining various settings of the imaging apparatus 1, and an operation menu set for the imaging apparatus 1 A menu switch 215 for inputting an instruction signal for giving an instruction to display a screen, a preview switch 216 for inputting an instruction signal for giving an instruction to display a REC view of captured image data, and a moving image release signal for giving an instruction to shoot a moving image are input. A moving image switch 217. The operation switch 214 includes up / down / left / right direction buttons 214a to 214d for performing selection setting on a menu screen and the like, and a determination button 214e (OK button) for determining an operation by the direction buttons 214a to 214d on the menu screen or the like ( (See FIG. 3). The operation switch 214 may be configured using a dial switch or the like.

フラッシュ発光部２２は、キセノンランプやＬＥＤ（Light Emitting Diode）等を用いて構成される。フラッシュ発光部２２は、撮像装置１が撮像する視野領域へ向けて補助光であるストロボ光を照射する。フラッシュ充電部２３は、電源部３１から電源供給を受けて電圧を昇圧して充電する。フラッシュ駆動部２４は、フラッシュ充電部２３が昇圧した電圧をフラッシュ発光部２２に印加させることにより、フラッシュ発光部２２を駆動する。   The flash light emitting unit 22 is configured using a xenon lamp, an LED (Light Emitting Diode), or the like. The flash light emitting unit 22 irradiates strobe light that is auxiliary light toward a field of view imaged by the imaging device 1. The flash charging unit 23 receives power from the power supply unit 31 and boosts the voltage for charging. The flash drive unit 24 drives the flash light emitting unit 22 by applying the voltage boosted by the flash charging unit 23 to the flash light emitting unit 22.

図４は、表示部２５の概略構成を示す模式図である。図４に示すように、表示部２５は、バックライト２５１と、表示パネル２５２と、視差バリア２５３とを有する。バックライト２５１は、ＬＥＤ（Light Emitting Diode）等によって構成され、画像を表示するための光を背面から照射する。表示パネル２５２は、液晶または有機ＥＬ（Electro Luminescence）等の表示パネルによって構成される。視差バリア２５３は、液晶等によって構成され、表示パネル２５２の上面に積層されている。視差バリア２５３は、表示パネル２５２の各画像の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目ＥＲと左目ＥＬとにそれぞれ対応した画像を分離する。このような視差バリア２５３として、たとえばパララックバリア方式が適用される。なお、視差バリア２５３の代わりに、レンティキュラレンズを積層したレンズシートを表示パネル２５２の上面に設けてもよい。 FIG. 4 is a schematic diagram illustrating a schematic configuration of the display unit 25. As illustrated in FIG. 4, the display unit 25 includes a backlight 251, a display panel 252, and a parallax barrier 253. The backlight 251 is configured by an LED (Light Emitting Diode) or the like, and irradiates light for displaying an image from the back side. The display panel 252 is configured by a display panel such as liquid crystal or organic EL (Electro Luminescence). The parallax barrier 253 is made of liquid crystal or the like and is stacked on the upper surface of the display panel 252. Parallax barrier 253, a slit is provided at an interval smaller than the interval of each image of the display panel 252, separates an image corresponding respectively to the right eye E R and the left eye E L of the user. As such a parallax barrier 253, for example, a parallax barrier method is applied. Note that a lens sheet in which lenticular lenses are stacked may be provided on the upper surface of the display panel 252 instead of the parallax barrier 253.

以上の構成を有する表示部２５は、制御部３２から３次元画像（以下「３Ｄ画像」という）データが入力された場合、制御部３２の制御のもとで表示パネル２５２が左端の画像から水平方向に左目画像と右目画像とを交互に表示し、視差バリア２５３が表示パネル２５２の各画像から出た光を分離する。このため、左目画像が左目ＥＬのみに、右目画像が右目ＥＲのみにそれぞれ届く。これにより、ユーザは、表示部２５が表示する３Ｄ画像を立体視することができる。また、表示部２５が表示態様を３Ｄ画像から２次元画像（以下「２Ｄ画像」という）に切り換える際には、視差バリア２５３に印加される電圧がオン状態からオフ状態に変換することによって視差バリア２５３が遮光状態から透過状態に遷移し、左目画像データまたは右目画像データのどちらか一方が表示パネル２５３に出力される。 In the display unit 25 having the above configuration, when three-dimensional image (hereinafter referred to as “3D image”) data is input from the control unit 32, the display panel 252 is horizontal from the leftmost image under the control of the control unit 32. The left eye image and the right eye image are alternately displayed in the direction, and the parallax barrier 253 separates the light emitted from each image on the display panel 252. Therefore, the left eye image only to the left eye E L, right eye image reaches each only the right eye E R. Thereby, the user can stereoscopically view the 3D image displayed on the display unit 25. When the display unit 25 switches the display mode from a 3D image to a two-dimensional image (hereinafter referred to as “2D image”), the voltage applied to the parallax barrier 253 is changed from the on state to the off state, thereby causing the parallax barrier. 253 transits from the light shielding state to the transmission state, and either the left-eye image data or the right-eye image data is output to the display panel 253.

タッチパネル２６は、表示部２５の表示画面上に重ねて設けられる（図３を参照）。タッチパネル２６は、ユーザが表示部２５に表示される情報に基づいて接触（タッチ）した位置を検出し、この接触位置に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。   The touch panel 26 is provided so as to overlap the display screen of the display unit 25 (see FIG. 3). The touch panel 26 detects a position touched by the user based on information displayed on the display unit 25, and accepts an input of an operation signal corresponding to the contact position. In general, the touch panel includes a resistance film method, a capacitance method, an optical method, and the like. In the present embodiment, any type of touch panel is applicable.

不揮発性メモリ２７は、フラッシュメモリを用いて構成される。不揮発性メモリ２７は、撮像装置１を動作させるための各種プログラム、本実施の形態にかかる撮像プログラムおよびプログラムの実行中に使用される各種データやパラメータ等を記憶する。不揮発性メモリ２７は、撮像装置１で実行される各種撮影モードに関する情報を記憶する撮影モード情報記憶部２７１と、画像処理部１４が行う特殊効果処理に関する情報を記憶する特殊効果処理情報記憶部２７２と、表示部２５に３Ｄ画像を表示させる際に用いる左目画像データを記憶する左目画像データ記憶部２７３と、表示部２５に３Ｄ画像を表示させる際に用いる右目画像データを記憶する右目画像データ記憶部２７４と、撮像した左目画像および右目画像それぞれの領域を、近距離領域（被写体領域）と背景領域とに切り分けることが可能な視差量を示す閾値を記憶する閾値記憶部２７５と、を有する。   The nonvolatile memory 27 is configured using a flash memory. The nonvolatile memory 27 stores various programs for operating the imaging device 1, the imaging program according to the present embodiment, various data and parameters used during the execution of the program, and the like. The nonvolatile memory 27 includes a shooting mode information storage unit 271 that stores information related to various shooting modes executed by the imaging apparatus 1 and a special effect processing information storage unit 272 that stores information related to special effect processing performed by the image processing unit 14. A left-eye image data storage unit 273 that stores left-eye image data used when displaying a 3D image on the display unit 25, and a right-eye image data storage that stores right-eye image data used when displaying a 3D image on the display unit 25 And a threshold storage unit 275 that stores a threshold value indicating a parallax amount that can divide each area of the captured left eye image and right eye image into a short distance area (subject area) and a background area.

特殊効果処理情報記憶部２７２は、第１特殊効果処理情報記憶部２７２ａと、第２特殊効果処理情報記憶部２７２ｂとを有する。第１特殊効果処理情報記憶部２７２ａは、特性特定部３２５が特定する特性と画像処理部１４が左目画像および右目画像それぞれに対して実施可能な各特殊効果処理との組み合わせに応じた推奨度を与える第１特殊効果処理情報を記憶する。第２特殊効果処理情報記憶部２７２ｂは、画像処理部１４が左目画像および右目画像それぞれに対して実施可能な各特殊効果処理の推奨度を与える第２特殊効果処理情報を記憶する。   The special effect processing information storage unit 272 includes a first special effect processing information storage unit 272a and a second special effect processing information storage unit 272b. The first special effect processing information storage unit 272a has a recommendation degree corresponding to a combination of the characteristic specified by the characteristic specifying unit 325 and each special effect process that the image processing unit 14 can perform on each of the left eye image and the right eye image. The first special effect processing information to be given is stored. The second special effect processing information storage unit 272b stores second special effect processing information that gives a recommendation degree of each special effect processing that can be performed by the image processing unit 14 on each of the left eye image and the right eye image.

外部メモリ２８は、撮像装置１の外部から装着されるメモリカード等の記録媒体を用いて構成される。外部メモリ２８は、記録媒体インターフェース（図示せず）を介して撮像装置１に装着されることで３Ｄ画像データや２Ｄ画像データ等の情報を記憶する一方、制御部３２の制御のもと、記憶した各種情報を表示部２５、画像処理部１４および不揮発性メモリ２７に出力する。   The external memory 28 is configured using a recording medium such as a memory card mounted from the outside of the imaging device 1. The external memory 28 stores information such as 3D image data and 2D image data by being attached to the imaging apparatus 1 via a recording medium interface (not shown), and stores information under the control of the control unit 32. The various information is output to the display unit 25, the image processing unit 14, and the nonvolatile memory 27.

外部通信部２９は、通信インターフェースとしての機能を有し、ネットワーク（図示せず）を介してサーバ（図示せず）やパーソナルコンピュータ（図示せず）等の外部処理装置と相互方向に送受信を行う。外部通信部２９は、外部処理装置との間で送受信を行うことにより、撮像装置１の各種プログラムおよび特殊効果処理情報等に関するデータを取得して制御部３２に出力する。なお、外部通信部２９は、有線または無線ＬＡＮ（Local Area Network）等を介してネットワークに接続される。   The external communication unit 29 has a function as a communication interface, and performs transmission and reception with an external processing device such as a server (not shown) or a personal computer (not shown) via a network (not shown). . The external communication unit 29 acquires data related to various programs, special effect processing information, and the like of the imaging device 1 by performing transmission and reception with the external processing device, and outputs the data to the control unit 32. The external communication unit 29 is connected to a network via a wired or wireless LAN (Local Area Network) or the like.

電源供給部３０は、撮像装置１の各構成部に電源部３１の電力を供給する。電源部３１は、撮像装置１に着脱自在なバッテリを用いて構成される。なお、電源供給部３０は、外部電源（図示せず）から供給される電力を撮像装置１の各構成部に供給するようにしてもよい。   The power supply unit 30 supplies power of the power supply unit 31 to each component of the imaging device 1. The power supply unit 31 is configured using a battery that is detachable from the imaging apparatus 1. Note that the power supply unit 30 may supply power supplied from an external power source (not shown) to each component of the imaging apparatus 1.

制御部３２は、ＣＰＵ（Central Processing Unit）等を用いて構成される。制御部３２は、操作入力部２１からの操作信号や指示信号に応じて不揮発性メモリ２７からプログラムを読み出して実行し、撮像装置１を構成する各部に対応する指示やデータの転送等を行って撮像装置１の動作を統括的に制御する。制御部３２は、立体画像生成部３２１と、顔検出部３２２と、視差量算出部３２３と、切分け部３２４と、特性特定部３２５と、画像処理設定部３２６と、表示制御部３２７とを有する。   The control unit 32 is configured using a CPU (Central Processing Unit) or the like. The control unit 32 reads out and executes a program from the nonvolatile memory 27 in accordance with an operation signal or instruction signal from the operation input unit 21, and performs an instruction or data transfer corresponding to each unit constituting the imaging device 1. The operation of the image pickup apparatus 1 is comprehensively controlled. The control unit 32 includes a stereoscopic image generation unit 321, a face detection unit 322, a parallax amount calculation unit 323, a segmentation unit 324, a characteristic identification unit 325, an image processing setting unit 326, and a display control unit 327. Have.

立体画像生成部３２１は、画像処理部１４によって画像処理された画像データをメモリ１３から取得し、取得した画像データを用いて３Ｄ画像データを生成する。具体的には、立体画像生成部３２１は、まず、メモリ１３から取得した画像データを左目画像データと右目画像データとにそれぞれ分割する。その後、立体画像生成部３２１は、分割した左目画像データおよび右目画像データそれぞれを所定の縦横比率（たとえばアスペクト比９：１６）で切り出すことによって３Ｄ画像データを生成する。立体画像生成部３２１は、左目画像データおよび右目画像データそれぞれを左目画像データ記憶部２７３および右目画像データ記憶部２７４に記憶させる。なお、立体画像生成部３２１が分割した左目画像データおよび右目画像データそれぞれから切り出す縦横比率を操作入力部２１で変更できるようにしてもよい。   The stereoscopic image generation unit 321 acquires the image data image-processed by the image processing unit 14 from the memory 13, and generates 3D image data using the acquired image data. Specifically, the stereoscopic image generation unit 321 first divides the image data acquired from the memory 13 into left-eye image data and right-eye image data, respectively. Thereafter, the stereoscopic image generation unit 321 generates 3D image data by cutting out each of the divided left-eye image data and right-eye image data at a predetermined aspect ratio (for example, an aspect ratio of 9:16). The stereoscopic image generation unit 321 stores the left eye image data and the right eye image data in the left eye image data storage unit 273 and the right eye image data storage unit 274, respectively. Note that the aspect ratio extracted from each of the left-eye image data and the right-eye image data divided by the stereoscopic image generation unit 321 may be changed by the operation input unit 21.

顔検出部３２２は、左目画像データに対応する左目画像または右目画像データに対応する右目画像のどちらか一方に含まれる人物や動物の顔をパターンマッチングによって検出する。たとえば、顔検出部３２２は、左目画像に含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部３２２は、人物の顔だけでなく、犬や猫等の動物の顔を検出してもよい。   The face detection unit 322 detects the face of a person or an animal included in either the left eye image corresponding to the left eye image data or the right eye image corresponding to the right eye image data by pattern matching. For example, the face detection unit 322 detects the face of a person included in the left eye image by pattern matching. Note that the face detection unit 322 may detect not only the face of a person but also the face of an animal such as a dog or a cat.

視差量算出部３２３は、一対の画像それぞれに含まれる類似領域を重畳することにより、一対の画像の視差量を算出する。具体的には、視差量算出部３２３は、左目画像および右目画像それぞれに含まれる類似領域、たとえば背景領域を重畳することにより、左目画像および右目画像の視差量を算出する。   The parallax amount calculation unit 323 calculates the parallax amount of the pair of images by superimposing similar regions included in each of the pair of images. Specifically, the parallax amount calculation unit 323 calculates the parallax amount of the left eye image and the right eye image by superimposing a similar region, for example, a background region, included in each of the left eye image and the right eye image.

切分け部３２４は、視差量算出部３２３が算出した視差量に応じて、一対の画像それぞれの領域を近距離領域と背景領域とに切り分ける。具体的には、切分け部３２４は、左目画像および右目画像それぞれの領域内で視差量が閾値記憶部２７５に記憶された閾値以上の領域を近距離領域として切り分ける一方、閾値未満を背景領域として切り分ける。   The segmentation unit 324 segments each of the pair of images into a short-distance region and a background region according to the parallax amount calculated by the parallax amount calculation unit 323. Specifically, the segmenting unit 324 segments an area where the parallax amount is greater than or equal to the threshold stored in the threshold storage unit 275 in each of the left-eye image and right-eye image as a short-distance area, while using a region less than the threshold as a background area. Carve out.

特性特定部３２５は、顔検出部３２２が検出した顔の特性を周知の技術を用いて特定する。具体的には、特性特定部３２５は、顔検出部３２２が検出した顔の特性として男性、女性、赤ちゃん（子供）または動物のいずれかであるかを特定する。この特定方法としては、赤ちゃんを特定する場合、顔検出部３２２が検出した顔の特徴点、たとえば目、鼻および唇等の位置を抽出し、抽出した特徴点を赤ちゃんにおける顔の基準サンプルデータと比較することで特定する。さらに、動物を特定する場合、特性特定部３２５は、顔検出部３２２が検出した顔に対して、犬や猫等の動物の顔の複数のサンプルデータを用いて特徴量を抽出し、この特徴量が設定された閾値以上である否かを判定することにより、顔検出部３２２が検出した顔が動物であるか否かを特定する。   The characteristic specifying unit 325 specifies the characteristic of the face detected by the face detecting unit 322 using a known technique. Specifically, the characteristic specifying unit 325 specifies whether the face characteristic detected by the face detection unit 322 is male, female, baby (child), or animal. As the specifying method, when specifying a baby, the facial feature points detected by the face detection unit 322, for example, the positions of eyes, nose, lips, etc. are extracted, and the extracted feature points are used as reference sample data of the face in the baby. Specify by comparing. Furthermore, when specifying an animal, the characteristic specifying unit 325 extracts a feature amount from the face detected by the face detecting unit 322 by using a plurality of sample data of an animal's face such as a dog or a cat. It is determined whether or not the face detected by the face detection unit 322 is an animal by determining whether or not the amount is equal to or greater than a set threshold value.

画像処理設定部３２６は、顔検出部３２２が検出した顔が近距離領域内である場合、背景領域を画像処理部１４が特殊効果処理を行う領域として設定する。画像処理設定部３２６は、特性特定部３２５が顔検出部３２２によって検出された顔の特性を特定した場合、第１特殊効果処理情報記憶部２７２ａが記憶する第１特殊効果処理情報参照して、推奨度が最も高い特殊効果処理を画像処理部１４が行う処理として設定する。画像処理設定部３２６は、顔検出部３２２が検出した顔が近距離領域内にない場合または特性特定部３２５が顔検出部３２２によって検出された顔の特性を特定できない場合、第２特殊効果処理情報記憶部２７２ｂが記憶する第２特殊効果処理情報参照して、推奨度が最も高い特殊効果処理を画像処理部１４が行う処理として設定する。さらに、画像処理設定部３２６は、顔検出部３２２が検出した顔が近距離領域内でない場合または特性特定部３２５が顔検出部３２２によって検出された顔の特性を特定できない場合、左目画像および右目画像の全領域それぞれを画像処理部１４が行う特殊効果処理の領域として設定する。   When the face detected by the face detection unit 322 is within the short distance region, the image processing setting unit 326 sets the background region as a region where the image processing unit 14 performs special effect processing. When the characteristic specifying unit 325 specifies the characteristics of the face detected by the face detecting unit 322, the image processing setting unit 326 refers to the first special effect processing information stored in the first special effect processing information storage unit 272a. The special effect process with the highest recommendation level is set as the process performed by the image processing unit 14. When the face detected by the face detection unit 322 is not in the short distance area, or when the characteristic specifying unit 325 cannot specify the characteristics of the face detected by the face detection unit 322, the image processing setting unit 326 performs the second special effect process. With reference to the second special effect process information stored in the information storage unit 272b, the special effect process with the highest recommendation level is set as the process performed by the image processing unit 14. Furthermore, when the face detected by the face detection unit 322 is not within the short-distance region or when the characteristic specifying unit 325 cannot specify the characteristics of the face detected by the face detection unit 322, the image processing setting unit 326 Each whole area of the image is set as an area for special effect processing performed by the image processing unit 14.

表示制御部３２７は、表示部２５の表示態様を変更する。具体的には、表示制御部３２７は、表示部２５が表示している画像を２Ｄ画像または３Ｄ画像に切り換える制御を行う。表示制御部３２７は、表示部２５が２Ｄ画像を表示しているときに、操作入力部２１から操作信号が入力された場合において、特殊効果処理部１４１が行う特殊効果処理情報に関するアイコンを表示部２５に表示させる。   The display control unit 327 changes the display mode of the display unit 25. Specifically, the display control unit 327 performs control to switch the image displayed on the display unit 25 to a 2D image or a 3D image. The display control unit 327 displays icons related to special effect processing information performed by the special effect processing unit 141 when an operation signal is input from the operation input unit 21 while the display unit 25 displays a 2D image. 25.

レンズ部３は、第１光学系４１と、第２光学系４２と、レンズ駆動部４３と、絞り４４と、絞り４５と、絞り駆動部４６と、ミラー４７と、ミラー４８と、プリズム４９と、レンズ通信部５０と、レンズ記憶部５１と、レンズ制御部５２と、を備える。なお、レンズ部３は、一対の光学系で視差を持って被写体を撮像し、撮像素子１１に左右の被写体像をそれぞれ形成することで３Ｄ撮影ができる交換レンズである。このため、第１光学系４１および第２光学系４２は、同じ構成のため、一方のみを説明する。   The lens unit 3 includes a first optical system 41, a second optical system 42, a lens driving unit 43, a diaphragm 44, a diaphragm 45, a diaphragm driving unit 46, a mirror 47, a mirror 48, and a prism 49. A lens communication unit 50, a lens storage unit 51, and a lens control unit 52. The lens unit 3 is an interchangeable lens that can capture 3D images by capturing a subject with parallax using a pair of optical systems and forming left and right subject images on the image sensor 11. For this reason, since the 1st optical system 41 and the 2nd optical system 42 are the same structures, only one side is demonstrated.

第１光学系４１は、一または複数のレンズを用いて構成される。第１光学系４１は、所定の視野領域から光を集光する。なお、第１光学系４１は、画像を変化させる光学ズーム機能を有してもよい。   The first optical system 41 is configured using one or a plurality of lenses. The first optical system 41 collects light from a predetermined visual field region. Note that the first optical system 41 may have an optical zoom function for changing an image.

レンズ駆動部４３は、ＤＣモータ等を用いて構成される。レンズ駆動部４３は、第１光学系４１および第２光学系４２のレンズそれぞれを光軸Ｌ上および光軸Ｒ上で同期させながら移動させることにより、第１光学系４１および第２光学系４２それぞれのピント位置や焦点距離等の変更を行う。   The lens driving unit 43 is configured using a DC motor or the like. The lens driving unit 43 moves the lenses of the first optical system 41 and the second optical system 42 while synchronizing them on the optical axis L and the optical axis R, so that the first optical system 41 and the second optical system 42 are moved. Each focus position, focal length, etc. are changed.

絞り４４および絞り４５は、第１光学系４１および第２光学系４２がそれぞれ集光した光の入射量を制限することにより露出の調整を行う。   The diaphragm 44 and the diaphragm 45 adjust the exposure by limiting the amount of incident light collected by the first optical system 41 and the second optical system 42, respectively.

絞り駆動部４６は、ステッピングモータ等を用いて構成される。絞り駆動部４６は、絞り４４および絞り４５をそれぞれ同期させながら駆動する。   The aperture driving unit 46 is configured using a stepping motor or the like. The diaphragm driving unit 46 drives the diaphragm 44 and the diaphragm 45 while synchronizing them.

ミラー４７およびミラー４８は、第１光学系４１および第２光学系４２がそれぞれ集光した光をプリズム４９に向けて反射する。   The mirror 47 and the mirror 48 reflect the light collected by the first optical system 41 and the second optical system 42 toward the prism 49, respectively.

プリズム４９は、ミラー４７およびミラー４８からそれぞれ反射された光を撮像素子１１に向けて反射する。これにより、撮像素子１１には、第１光学系４１および第２光学系４２それぞれによって集光された左右一対の被写体像がそれぞれ形成される。   The prism 49 reflects the light reflected from the mirror 47 and the mirror 48 toward the image sensor 11. As a result, a pair of left and right subject images condensed by the first optical system 41 and the second optical system 42 are formed on the image sensor 11.

レンズ通信部５０は、レンズ部３が本体部２に装着された際に本体部２と相互方向に通信を行うための通信インターフェースである。   The lens communication unit 50 is a communication interface for communicating with the main body unit 2 in the mutual direction when the lens unit 3 is attached to the main body unit 2.

レンズ記憶部５１は、フラッシュメモリを用いて構成される。レンズ記憶部５１は、レンズ部３を動作させるための各種プログラムムおよびプログラムの実行中に使用される各種データやパラメータ等を記憶する。   The lens storage unit 51 is configured using a flash memory. The lens storage unit 51 stores various programs for operating the lens unit 3 and various data and parameters used during execution of the program.

レンズ制御部５２は、ＣＰＵ（Central Processing Unit）等を用いて構成される。レンズ制御部５２は、本体部２からの指示信号に応じてレンズ部３の動作を制御する。具体的には、レンズ制御部５２は、本体部２からの指示信号に応じてレンズ駆動部４３を駆動させてレンズ部３のピント合わせを行うとともに、絞り駆動部４６を駆動させて絞り値の変更を行う。なお、レンズ制御部５２は、レンズ部３が本体部２に装着された際に、レンズ部３のピント位置情報、焦点距離情報およびレンズ部３を識別する固有情報を本体部２に送信するようにしてもよい。なお、本実施の形態では、レンズ部３、撮像素子１１およびＡ／Ｄ変換部１２を含む構成が撮像部（以下、「撮像部１００」という）として機能する。すなわち、撮像部１００は、被写体を撮影することによって互いに視差を有する一対の画像データを生成することができる。   The lens control unit 52 is configured using a CPU (Central Processing Unit) or the like. The lens control unit 52 controls the operation of the lens unit 3 in accordance with an instruction signal from the main body unit 2. Specifically, the lens control unit 52 drives the lens driving unit 43 in accordance with an instruction signal from the main body unit 2 to focus the lens unit 3 and drives the aperture driving unit 46 to set the aperture value. Make a change. When the lens unit 3 is attached to the main body unit 2, the lens control unit 52 transmits the focus position information of the lens unit 3, focal length information, and unique information for identifying the lens unit 3 to the main body unit 2. It may be. In the present embodiment, the configuration including the lens unit 3, the imaging device 11, and the A / D conversion unit 12 functions as an imaging unit (hereinafter referred to as “imaging unit 100”). In other words, the imaging unit 100 can generate a pair of image data having parallax with each other by photographing a subject.

以上の構成を有する撮像装置１において、撮像部１００が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況について説明する。図５は、撮像部１００が互いの視野の左右方向の一端部同士が重なりを有する２つの画像データを生成する際の状況を示す模式図である。図５に示すように、撮像部１００は、第１光学系４１および第２光学系４２からの距離が異なる被写体Ｅ１（距離ｄ１）および被写体Ｅ２（距離ｄ２）に対して、距離（基線長）Ｄ１だけ離れた並設された第１光学系４１および第２光学系４２で撮像することにより、左目画像データおよび右目画像データを撮像素子１１上に生成する。 In the imaging apparatus 1 having the above-described configuration, a situation when the imaging unit 100 generates two image data in which one end in the left-right direction of each field of view overlaps will be described. FIG. 5 is a schematic diagram illustrating a situation when the imaging unit 100 generates two pieces of image data in which one end in the horizontal direction of each field of view overlaps. As illustrated in FIG. 5, the imaging unit 100 is configured to detect a distance (baseline) for a subject E1 (distance d 1 ) and a subject E2 (distance d 2 ) having different distances from the first optical system 41 and the second optical system 42. length) by imaging by the first optical system 41 and second optical system 42 which is arranged apart D 1, to generate the left-eye image data and right-eye image data on the image sensor 11.

続いて、立体画像生成部３２１は、撮像素子１１によって生成された画像データを左目画像データと右目画像データとにそれぞれ分割する。その後、立体画像生成部３２１は、分割した左目画像データおよび右目画像データそれぞれを所定の縦横比率で切り出すことによって左目画像および右目画像を生成する。   Subsequently, the stereoscopic image generation unit 321 divides the image data generated by the image sensor 11 into left-eye image data and right-eye image data, respectively. Thereafter, the stereoscopic image generation unit 321 generates a left eye image and a right eye image by cutting out the divided left eye image data and right eye image data at a predetermined aspect ratio.

図６は、図５に示す状況下で立体画像生成部３２１が生成する２つの画像データそれぞれに対応する２つの画像の一例を示す図である。図６において、左目画像ＷＬ１は、立体画像生成部３２１が第１光学系４１によって生成された左目画像データに対応する画像から切り出して生成した画像である。また、図６において、右目画像ＷＲ１は、立体画像生成部３２１が第２光学系４２によって生成された右目画像データに対応する画像から切り出して生成した画像である。図７は、図５に示す状況下で立体画像生成部３２１が生成した左目画像ＷＬ１と右目画像ＷＲ１とを仮想的に重ねた画像（ＷＬＲ１）の一例を示す図である。図８は、図５に示す状況下で立体画像生成部３２１が生成した左目画像ＷＬ１および右目画像ＷＲ１を表示部２５に表示した際にユーザが仮想的に視認する３Ｄ画像の飛び出し距離を説明する図である。 FIG. 6 is a diagram illustrating an example of two images corresponding to two image data generated by the stereoscopic image generation unit 321 under the situation illustrated in FIG. 5. In FIG. 6, the left eye image WL1 is an image generated by the stereoscopic image generating unit 321 cut out from an image corresponding to the left eye image data generated by the first optical system 41. In FIG. 6, the right eye image WR1 is an image generated by the stereoscopic image generation unit 321 cut out from an image corresponding to the right eye image data generated by the second optical system 42. FIG. 7 is a diagram illustrating an example of an image (W LR1 ) obtained by virtually superposing the left eye image W L1 and the right eye image W R1 generated by the stereoscopic image generation unit 321 under the situation illustrated in FIG. 8, the pop-out distance of the 3D image that the user virtually visible when displayed on the display unit 25 the left-eye image W L1 and the right-eye image W R1 stereoscopic image generation unit 321 has generated in the situation shown in FIG. 5 It is a figure explaining.

図６に示すように、立体画像生成部３２１は、第１光学系４１と第２光学系４２との視差によって被写体Ｅ１，Ｅ２それぞれの位置が左右にずれた左目画像ＷＬ１および右目画像ＷＲ１を生成する。 As illustrated in FIG. 6, the stereoscopic image generation unit 321 includes a left-eye image W L1 and a right-eye image W R1 in which the positions of the subjects E1 and E2 are shifted to the left and right due to the parallax between the first optical system 41 and the second optical system 42. Is generated.

続いて、表示制御部３２７は、左目画像ＷＬ１の被写体Ｅ２および右目画像ＷＲ１の被写体Ｅ２を重ねて表示部２５に表示させる（図７を参照）。これにより、ユーザは、被写体Ｅ１の視差によるズレ量ΔＸ１に応じて、被写体Ｅ１が表示パネル２５２からΔＺ１飛び出した立体的な３Ｄ画像を仮想的に視認することができる（図８を参照）。 Subsequently, the display control unit 327 causes the display unit 25 superimposed with object E2 of the subject E2 and right-eye image W R1 of the left-eye image W L1 (see Figure 7). Thus, the user can, depending on the amount of deviation [Delta] X 1 by the parallax of the object E1, viewing the stereoscopic 3D image object E1 flew out [Delta] Z 1 from the display panel 252 virtually (see Figure 8) .

その後、視差量算出部３２３は、左目画像ＷＬ１の被写体Ｅ２および右目画像ＷＲ１の被写体Ｅ２を重畳することにより、視差量を算出する。たとえば、図７に示す状況下では、視差量算出部３２３は、左目画像ＷＬ１および右目画像ＷＲ１どちらか一方の横幅をＸ０とした場合、この横幅Ｘ０の比率に応じた視差量を算出する。 Then, the parallax amount calculation unit 323 by superimposing the object E2 of the subject E2 and right-eye image W R1 of the left-eye image W L1, calculates the amount of parallax. For example, under the situation illustrated in FIG. 7, when the horizontal width of either the left eye image W L1 or the right eye image W R1 is X 0 , the parallax amount calculation unit 323 calculates the parallax amount according to the ratio of the horizontal width X 0. calculate.

続いて、切分け部３２４は、視差量算出部３２３が算出した視差量に応じて、左目画像ＷＬ１および右目画像ＷＲ１それぞれの領域を近距離領域と背景領域とに切り分けることができるか否かを判定する。具体的には、図７に示す状況下では、切分け部３２４は、視差量が横幅Ｘ０に対して、１／１００（１％）以上ずれた領域を近距離領域として切り分ける。たとえば、図５に示す状況下で、撮像する画像の横幅Ｘ０を３５ｍｍとしたとき、第１光学系４１および第２光学系４２から被写体Ｅ１までの距離ｄ１を１０００ｍｍ、第１光学系４１および第２光学系４２から撮像素子１１までの距離Ｆを３５ｍｍ、第１光学系４１の中心から第２光学系４２の中心までの距離Ｄ１を１０ｍｍとし、背景（無限遠）との視差量をΔＸとした場合において、
ΔＸ＝（Ｆ×Ｄ１）／ｄ１＝（３５×１０）／１０００＝０．３５
となる。この状況下で切分け部３２４は、視差量ΔＸが横幅Ｘ０の１／１００（＝０．３５／３５）になるため、左目画像ＷＬ１および右目画像ＷＲ１それぞれの領域を近距離領域と背景領域とに切り分けることができる。具体的には、切分け部３２４は、視差量算出部３２３によって算出された視差量が閾値記憶部２７５に記憶された閾値以上の領域を近距離領域として左目画像ＷＬ１および右目画像ＷＲ１それぞれから切り分ける。 Subsequently, the segmenting unit 324 can segment each of the left eye image WL1 and the right eye image WR1 into a short-distance region and a background region according to the parallax amount calculated by the parallax amount calculating unit 323. Determine whether. Specifically, in a situation shown in FIG. 7, the switching classification unit 324, isolate the parallax amount relative to the width X 0, the shifted region 1/100 (1%) or more as a short range. For example, in the situation shown in FIG. 5, when the horizontal width X 0 of the image to be captured is 35 mm, the distance d 1 from the first optical system 41 and the second optical system 42 to the subject E 1 is 1000 mm, and the first optical system 41 The distance F from the second optical system 42 to the image sensor 11 is 35 mm, the distance D 1 from the center of the first optical system 41 to the center of the second optical system 42 is 10 mm, and the amount of parallax with the background (infinity) Is ΔX,
ΔX = (F × D 1 ) / d 1 = (35 × 10) /1000=0.35
It becomes. Under this circumstance, since the parallax amount ΔX is 1/100 (= 0.35 / 35) of the lateral width X 0 , the segmenting unit 324 determines that each of the left eye image W L1 and the right eye image W R1 is a short distance area. It can be divided into a background area. Specifically, the segmenting unit 324 sets each of the left-eye image W L1 and the right-eye image W R1 as a short-distance region in which the parallax amount calculated by the parallax amount calculating unit 323 is equal to or larger than the threshold stored in the threshold storage unit 275. Carve from.

このように、視差量算出部３２３は、左目画像ＷＬ１の被写体Ｅ２および右目画像ＷＲ１の被写体Ｅ２を重畳することにより、視差量を算出する。その後、切分け部３２４は、視差量算出部３２３が算出した視差量に応じて、左目画像ＷＬ１および右目画像ＷＲ１それぞれの領域を近距離領域と背景領域とに切り分ける。 Thus, the parallax amount calculation unit 323 by superimposing the object E2 of the subject E2 and right-eye image W R1 of the left-eye image W L1, calculates the amount of parallax. Thereafter, the segmenting unit 324 segments each of the left eye image WL1 and the right eye image WR1 into a short-distance region and a background region according to the parallax amount calculated by the parallax amount calculating unit 323.

つぎに、撮像装置１が特殊効果処理を行う特殊効果撮影モード（アートフィルタ撮影モード）の設定方法について説明する。なお、本実施の形態にかかる撮像装置１は、複数の撮影モード、たとえば、撮影シーン自動判別撮影モードやマニュアル撮影モードを有するが、以下の説明においては、特殊効果撮影モードの設定方法のみについて説明する。   Next, a setting method of a special effect shooting mode (art filter shooting mode) in which the imaging apparatus 1 performs special effect processing will be described. The imaging apparatus 1 according to the present embodiment has a plurality of shooting modes, for example, a shooting scene automatic determination shooting mode and a manual shooting mode. In the following description, only the setting method of the special effect shooting mode will be described. To do.

まず、ユーザが電源スイッチ２１１を操作することにより、撮像装置１の起動に伴って、制御部３２は、撮像装置１の撮影モードが特殊効果撮影モードに設定されているか否かを判断する。具体的には、制御部３２は、撮影モード切換スイッチ２１３が特殊効果撮影モード（ＡＲＴ）に設定されているか否かを判断する（図２および図３を参照）。撮像装置１の撮影モードが特殊効果撮影モードに設定されていない場合、制御部３２は、他の撮影モードに対応した操作メニュー画面やライブビュー画像を表示部２５に表示させる。   First, when the user operates the power switch 211, the control unit 32 determines whether or not the shooting mode of the imaging device 1 is set to the special effect shooting mode when the imaging device 1 is activated. Specifically, the control unit 32 determines whether or not the shooting mode changeover switch 213 is set to the special effect shooting mode (ART) (see FIGS. 2 and 3). When the shooting mode of the imaging apparatus 1 is not set to the special effect shooting mode, the control unit 32 causes the display unit 25 to display an operation menu screen or a live view image corresponding to another shooting mode.

これに対して、撮像装置１の撮影モードが特殊効果撮影モードに設定されている場合、表示制御部３２７は、特殊効果撮影モードに対応する特殊効果撮影操作メニュー画面を表示部２５に表示させる。   On the other hand, when the shooting mode of the imaging apparatus 1 is set to the special effect shooting mode, the display control unit 327 causes the display unit 25 to display a special effect shooting operation menu screen corresponding to the special effect shooting mode.

図９は、撮像装置１が特殊効果撮影モードに設定されている場合に表示部２５が表示する特殊効果撮影モードにおける特殊効果撮影操作メニュー画面遷移の一例を示す図である。   FIG. 9 is a diagram illustrating an example of transition of the special effect shooting operation menu screen in the special effect shooting mode displayed on the display unit 25 when the imaging apparatus 1 is set to the special effect shooting mode.

図９に示すように、表示制御部３２７は、撮像装置１が特殊効果撮影モードに設定された場合、特殊効果撮影モードにおける特殊効果撮影操作メニュー画面Ｗ１１を表示部２５に表示させる（図９（ａ）を参照）。特殊効果撮影操作メニュー画面Ｗ１１には、撮像装置１で実行可能な各特殊効果処理に関する情報がアイコンＡ１〜Ａ９として表示されている。   As shown in FIG. 9, when the imaging apparatus 1 is set to the special effect shooting mode, the display control unit 327 displays the special effect shooting operation menu screen W11 in the special effect shooting mode on the display unit 25 (FIG. 9 ( see a)). On the special effect shooting operation menu screen W11, information regarding each special effect process that can be executed by the imaging apparatus 1 is displayed as icons A1 to A9.

続いて、表示制御部３２７は、ユーザが操作スイッチ２１４の上ボタン２１４ａまたは下ボタン２１４ｂを操作することにより、操作スイッチ２１４から入力される操作信号に応じて表示部２５が表示する特殊効果撮影操作メニュー画面Ｗ１１の内容を表示部２５に切り換えさせる。具体的には、表示制御部３２７は、操作スイッチ２１４から入力される操作信号に応じて、特殊効果撮影操作メニュー画面Ｗ１１内に表示されるアイコンＡ１〜Ａ９の色を変更するとともに、選択されたアイコンに対応する特殊効果処理のタイトル、たとえば「ファンタジックフォーカス」、「ラフモノクローム」および「ジオラマ」等を表示部２５に表示させる（図９（ａ）→図９（ｂ）→図９（ｃ））。これにより、ユーザは、所望の特殊効果処理を選択することができるとともに、選択した特殊効果処理を直感的に確認することができる。   Subsequently, the display control unit 327 displays a special effect shooting operation displayed on the display unit 25 in response to an operation signal input from the operation switch 214 when the user operates the upper button 214a or the lower button 214b of the operation switch 214. The content of the menu screen W11 is switched to the display unit 25. Specifically, the display control unit 327 changes the colors of the icons A1 to A9 displayed in the special effect shooting operation menu screen W11 according to the operation signal input from the operation switch 214 and is selected. Titles of special effect processing corresponding to the icons, such as “Fantastic Focus”, “Rough Monochrome”, “Diorama”, etc. are displayed on the display unit 25 (FIG. 9A → FIG. 9B → FIG. 9C). ). Thus, the user can select a desired special effect process and intuitively confirm the selected special effect process.

その後、制御部３２は、ユーザによって操作スイッチ２１４の決定ボタン２１４ｅが操作された際に表示部２５が特殊効果撮影操作メニュー画面Ｗ１１で現在表示している特殊効果処理、たとえば「ファンタジックフォーカス」（図９（ａ）を参照）を特殊効果撮影モードの特殊効果処理として撮像装置１に設定する。なお、設定された特殊効果処理に関する情報は、メモリ１３に記憶される。   Thereafter, the control unit 32 performs special effect processing that is currently displayed on the special effect shooting operation menu screen W11 when the determination button 214e of the operation switch 214 is operated by the user, for example, “Fantastic Focus” (FIG. 9 (a)) is set in the imaging apparatus 1 as the special effect processing in the special effect shooting mode. Information regarding the set special effect processing is stored in the memory 13.

続いて、表示制御部３２７は、特殊効果撮影操作メニュー画面Ｗ１１で選択された特殊効果処理を画像処理部１４が行った画像データに対応するライブビュー画像を表示部２５に表示させる。これにより、ユーザは、撮像した画像データに対して選択した特殊効果処理が施されたライブビュー画像をリアルタイムで確認しながら撮影の構図を決定することができる。   Subsequently, the display control unit 327 causes the display unit 25 to display a live view image corresponding to the image data obtained by the image processing unit 14 performing the special effect processing selected on the special effect shooting operation menu screen W11. Thereby, the user can determine the composition of shooting while confirming in real time the live view image on which the selected special effect processing has been performed on the captured image data.

つぎに、図１０および図１１を参照して、画像処理部１４が特殊効果撮影モードで実行する特殊効果処理の処理内容について説明する。図１０は、第１特殊効果処理情報記憶部２７２ａが記憶する第１特殊効果処理情報テーブルの一例を示す図である。図１１は、第２特殊効果処理情報記憶部２７２ｂが記憶する第２特殊効果処理情報テーブルの一例を示す図である。   Next, with reference to FIG. 10 and FIG. 11, processing contents of special effect processing executed by the image processing unit 14 in the special effect shooting mode will be described. FIG. 10 is a diagram illustrating an example of a first special effect processing information table stored in the first special effect processing information storage unit 272a. FIG. 11 is a diagram illustrating an example of a second special effect processing information table stored in the second special effect processing information storage unit 272b.

図１０に示すように、第１特殊効果処理情報テーブルＴ１には、特殊効果撮影モードで画像処理部１４が左目画像および右目画像それぞれに対して実行可能な各特殊効果処理と、各特殊効果処理の画像処理の内容が記載されている。さらに、第１特殊効果処理情報テーブルＴ１には、特性特定部３２５が特定する顔の特性と、画像処理部１４が左目画像および右目画像それぞれに対して実施可能な各特殊効果処理との組み合わせに応じた推奨度が記載されている。たとえば、設定された特殊効果撮影モードの特殊効果処理「Ａｒｔ１」の「ファンタジックフォーカス」で特性特定部３２５が顔を「男性」と特定した場合、処理内容として「トーンカーブ処理（弱い）」、「ぼかし処理（強い）」および「合成処理」が記載され、推奨度として「４」が記載されている。ここで、合成処理とは、画像処理部１４がトーンカーブ処理を行った画像データと、ぼかし処理を行った画像データとを合成した画像データを生成する画像処理である。また、設定された特殊効果撮影モードの特殊効果処理「Ａｒｔ１」の「ファンタジックフォーカス」で特性特定部３２５が顔を「女性」と特定した場合、処理内容として「トーンカーブ処理（強い）」、「ぼかし処理（弱い）」および「合成処理」が記載され、推奨度として「１」が記載されている。   As shown in FIG. 10, the first special effect processing information table T1 includes special effect processing that can be executed by the image processing unit 14 for each of the left eye image and the right eye image in the special effect shooting mode, and each special effect processing. The contents of the image processing are described. Further, the first special effect processing information table T1 includes combinations of face characteristics specified by the characteristic specifying unit 325 and special effect processes that the image processing unit 14 can perform on each of the left eye image and the right eye image. The degree of recommendation according to is described. For example, when the characteristic specifying unit 325 specifies the face as “male” in “Fantastic focus” of the special effect processing “Art 1” in the set special effect shooting mode, the processing contents are “tone curve processing (weak)”, “ “Blurring processing (strong)” and “synthesis processing” are described, and “4” is described as the recommendation level. Here, the synthesizing process is an image process for generating image data obtained by synthesizing the image data subjected to the tone curve process by the image processing unit 14 and the image data subjected to the blurring process. Further, when the characteristic specifying unit 325 specifies the face as “female” in “Fantastic focus” of the special effect processing “Art 1” in the set special effect shooting mode, “tone curve processing (strong)”, “ “Blurring processing (weak)” and “combination processing” are described, and “1” is described as the recommendation level.

さらに、設定された特殊効果撮影モードの特殊効果処理が「Ａｒｔ７」の「墨絵」で特性特定部３２５が顔を「男性」と特定した場合、処理内容として「色彩判定ブロック化処理」、「２値化処理」および「エッジ処理（弱め）」が記載され、推奨度として「７」が記載されている。ここで、色彩判定ブロック化処理とは、画像内で類似する色を同じ色に変換するとともに、画素間を同じ大きさでブロックにまとめる画像処理である。   Furthermore, when the special effect processing of the set special effect shooting mode is “Art 7” and “Sumi-e” and the characteristic specifying unit 325 specifies the face as “male”, the processing contents are “color determination blocking process”, “2” “Value processing” and “Edge processing (weak)” are described, and “7” is described as the recommendation level. Here, the color determination blocking process is an image process in which similar colors in an image are converted into the same color and pixels are grouped into blocks with the same size.

このように、第１特殊効果処理情報テーブルＴ１には、特性特定部３２５が特定した顔の特性に応じて、画像処理部１４が行う各特殊効果処理の推奨度が記載されているとともに、各特殊効果処理に記載された画像処理のパラメータを変更して記載されている。たとえば、赤ちゃんまたはペットの場合、撮影する画像の背景が地面になりがちになるうえ、赤ちゃんまたはペットはふっくら見える方が可愛く写る。このため、赤ちゃんまたはペットの場合、背景をぼかす特殊効果処理（ファンタジックフォーカス）の推奨度を最も高くすることで、被写体と背景との境界を強調させる。これにより、被写体のイメージに相応しい雰囲気で背景から被写体を引き立たせることができる。なお、第１特殊効果処理情報テーブルＴ１には、被写体の特性を３種類のみしか記載していないが、たとえば年齢またはペットの種類ごとに各特殊効果処理および推奨度を記載してもよい。さらに、被写体の数や動きに応じた各特殊効果処理や推奨度を記載してもよい。   As described above, the first special effect processing information table T1 describes the recommended degree of each special effect process performed by the image processing unit 14 according to the face characteristics specified by the characteristic specifying unit 325, and each The image processing parameters described in the special effect processing are changed and described. For example, in the case of a baby or a pet, the background of the image to be taken tends to be on the ground, and the baby or pet looks cute when it looks plump. For this reason, in the case of a baby or a pet, the boundary between the subject and the background is emphasized by making the recommendation degree of the special effect processing (fantasy focus) for blurring the background the highest. As a result, the subject can be emphasized from the background in an atmosphere suitable for the image of the subject. In the first special effect processing information table T1, only three types of subject characteristics are described. However, for example, each special effect processing and recommendation level may be described for each age or pet type. Furthermore, each special effect process and recommendation level according to the number and movement of the subject may be described.

つぎに、第２特殊効果処理情報記憶部２７２ｂが記憶する第２特殊効果処理情報テーブルについて説明する。図１１に示すように、第２特殊効果処理情報テーブルＴ２には、特殊効果撮影モードで画像処理部１４が左目画像および右目画像それぞれに対して実行可能な各特殊効果処理と、各特殊効果処理の画像処理の内容が記載されている。たとえば、設定された特殊効果撮影モードの特殊効果処理「Ａｒｔ１」の「ファンタジックフォーカス」の場合、処理内容として「トーンカーブ処理（弱い）」、「ぼかし処理（強い）」および「合成処理」が記載され、推奨度として「１」が記載されている。   Next, the second special effect processing information table stored in the second special effect processing information storage unit 272b will be described. As shown in FIG. 11, the second special effect process information table T2 includes special effect processes that can be executed by the image processing unit 14 for each of the left eye image and the right eye image in the special effect shooting mode, and each special effect process. The contents of the image processing are described. For example, in the case of “Fantastic focus” of special effect processing “Art1” in the set special effect shooting mode, “tone curve processing (weak)”, “blurring processing (strong)”, and “compositing processing” are described as processing contents. “1” is described as the recommendation level.

さらに、設定された特殊効果撮影モードの特殊効果処理が「Ａｒｔ９」の「ジオラマ」の場合、処理内容として「色相・彩度処理」、「コントラスト処理」、「３回ぼかし処理」および「３回合成処理」が記載され、推奨度として「９」が記載されている。ここで、３回ぼかし処理とは、画像処理部１４が色彩・彩度処理後、コントラスト処理を行った画像データに対してぼかし処理を３回行う処理である。また、３回合成処理とは、画像処理部１４がぼかし処理を行うごとに、ぼかし処理前の画像データと、ぼかし処理後の画像データとを合成した画像データを生成する画像処理である。   Furthermore, when the special effect processing of the set special effect shooting mode is “Art 9” “Diorama”, the processing contents are “hue / saturation processing”, “contrast processing”, “three times blurring processing”, and “three times”. “Composition process” is described, and “9” is described as the recommendation level. Here, the three-time blurring process is a process in which the image processing unit 14 performs the blurring process three times on the image data subjected to the contrast process after the color / saturation process. The three-time composition process is an image process for generating image data obtained by synthesizing the image data before the blur process and the image data after the blur process every time the image processing unit 14 performs the blur process.

このように、ユーザによって特殊効果処理を撮像装置１に手動設定する際に２Ｄ画像を想定した特殊効果処理の推奨度を低く設定することで、ユーザに対して推奨度の高い特殊効果処理を積極的に選択させる。これにより、３Ｄ画像を撮影する際に２次元的な位置と３次元的な位置とでつじつまが合わなくなる特殊効果処理が選択されることを低減することができる。   As described above, when the special effect processing is manually set in the imaging apparatus 1 by the user, the special effect processing with a high recommendation degree is positively set for the user by setting the recommendation degree of the special effect processing assuming the 2D image low. To choose. As a result, it is possible to reduce the selection of special effect processing that does not match the two-dimensional position and the three-dimensional position when capturing a 3D image.

つぎに、本実施の形態１にかかる撮像装置１が行う処理について説明する。図１２は、撮像装置１が行う処理の概要を示すフローチャートである。   Next, processing performed by the imaging apparatus 1 according to the first embodiment will be described. FIG. 12 is a flowchart illustrating an outline of processing performed by the imaging apparatus 1.

図１２に示すように、まず、制御部３２は、撮像装置１が撮影モードであるか否かを判断する（ステップＳ１０１）。撮像装置１が撮影モードである場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１は後述するステップＳ１０２に移行する。一方、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１はステップＳ１１２に移行する。   As shown in FIG. 12, first, the control unit 32 determines whether or not the imaging apparatus 1 is in the shooting mode (step S101). When the imaging device 1 is in the shooting mode (step S101: Yes), the imaging device 1 proceeds to step S102 described later. On the other hand, when the imaging device 1 is not set to the shooting mode (step S101: No), the imaging device 1 proceeds to step S112.

ステップＳ１０１において、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）について説明する。この場合、表示制御部３２７は、撮像部１００が一定の微小な時間間隔で連続的に生成する一対の画像データに対応する３Ｄ画像のライブビュー画像を表示部２５に表示させる（ステップＳ１０２）。具体的には、表示制御部３２７は、撮像部１００によって生成された一対の画像データに対して、立体画像生成部３２１が左目画像データおよび右目画像データそれぞれを切り出して生成した３Ｄ画像のライブビュー画像を表示部２５に表示させる。   A case where the imaging apparatus 1 is set to the shooting mode in step S101 (step S101: Yes) will be described. In this case, the display control unit 327 causes the display unit 25 to display a 3D live view image corresponding to a pair of image data that the imaging unit 100 continuously generates at a constant minute time interval (step S102). Specifically, the display control unit 327 performs a live view of a 3D image generated by the stereoscopic image generation unit 321 by cutting out the left-eye image data and the right-eye image data from the pair of image data generated by the imaging unit 100. The image is displayed on the display unit 25.

続いて、制御部３２は、撮影モードが特殊効果撮影モードであるか否かを判断する（ステップＳ１０３）。撮影モードが特殊効果撮影モードである場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、撮像する画像に対して視覚的な効果を生じさせる特殊効果設定処理を実行し（ステップＳ１０４）、ステップＳ１０５に移行する。   Subsequently, the control unit 32 determines whether or not the shooting mode is the special effect shooting mode (step S103). When the shooting mode is the special effect shooting mode (step S103: Yes), the imaging apparatus 1 executes a special effect setting process for generating a visual effect on the image to be captured (step S104), and the process proceeds to step S105. Transition.

これに対して、撮影モードが特殊効果撮影モードでない場合（ステップＳ１０３：Ｎｏ）、撮像装置１は後述するステップＳ１０５に移行する。   On the other hand, when the shooting mode is not the special effect shooting mode (step S103: No), the imaging apparatus 1 proceeds to step S105 described later.

レリーズスイッチ２１２が操作された撮影を指示するレリーズ信号が入力された場合（ステップＳ１０５：Ｙｅｓ）、撮像装置１は撮影を行う（ステップＳ１０６）。   When a release signal instructing shooting by operating the release switch 212 is input (step S105: Yes), the imaging apparatus 1 performs shooting (step S106).

続いて、制御部３２は、撮像した画像データから画像ファイルを作成する（ステップＳ１０７）。この画像ファイルは、たとえば、撮像部１００によって生成された左目画像および右目画像それぞれに対して、画像処理部１４が特殊効果処理を背景領域に行った画像データから生成したものである。   Subsequently, the control unit 32 creates an image file from the captured image data (step S107). This image file is generated from, for example, image data obtained by performing special effect processing on the background area by the image processing unit 14 for each of the left-eye image and the right-eye image generated by the imaging unit 100.

その後、制御部３２は、生成した画像ファイルを外部メモリ２８に記憶させる（ステップＳ１０８）。   Thereafter, the control unit 32 stores the generated image file in the external memory 28 (step S108).

続いて、電源スイッチ２１１が操作されることにより撮像装置１の電源がオフであるか否かを判断する（ステップＳ１０９）。撮像装置１の電源がオフである場合（ステップＳ１０９：Ｙｅｓ）、撮像装置１は本処理を終了する。   Subsequently, it is determined whether or not the power of the imaging apparatus 1 is turned off by operating the power switch 211 (step S109). When the power supply of the imaging device 1 is off (step S109: Yes), the imaging device 1 ends this process.

これに対して、撮像装置１の電源がオフでない場合（ステップＳ１０９：Ｎｏ）、制御部３２は、撮影モード切換スイッチ２１３が操作されたとき（ステップＳ１１０：Ｙｅｓ）、撮影モード切換スイッチ２１３から入力される操作信号に応じて撮像装置１のモードを切り換え（ステップＳ１１１）、撮像装置１はステップＳ１０１に戻る。   On the other hand, when the power of the imaging device 1 is not off (step S109: No), the control unit 32 inputs from the shooting mode changeover switch 213 when the shooting mode changeover switch 213 is operated (step S110: Yes). The mode of the imaging device 1 is switched according to the operation signal to be performed (step S111), and the imaging device 1 returns to step S101.

ステップＳ１０１において、撮像装置１が撮影モードでない場合（ステップＳ１０１：Ｎｏ）について説明する。この場合、制御部３２は、撮像装置１が再生モードであるか否かを判断する（ステップＳ１１２）。撮像装置１が再生モードでない場合（ステップＳ１１２：Ｎｏ）、撮像装置１はステップＳ１０１に戻る。   A case where the imaging apparatus 1 is not in the shooting mode in step S101 (step S101: No) will be described. In this case, the control unit 32 determines whether or not the imaging device 1 is in the reproduction mode (step S112). When the imaging device 1 is not in the reproduction mode (step S112: No), the imaging device 1 returns to step S101.

これに対して、撮像装置１が再生モードである場合（ステップＳ１１２：Ｙｅｓ）、表示制御部３２７は、表示部２５に外部メモリ２８が記憶する画像ファイルを一覧表示させる（ステップＳ１１３）。   On the other hand, when the imaging device 1 is in the reproduction mode (step S112: Yes), the display control unit 327 displays a list of image files stored in the external memory 28 on the display unit 25 (step S113).

続いて、制御部３２は、表示部２５が表示している画像ファイルの一覧から画像ファイルが選択された場合（ステップＳ１１４：Ｙｅｓ）、表示制御部３２７は、選択された画像ファイルに含まれる画像データに対応する画像を表示部２５に表示させる（ステップＳ１１５）。   Subsequently, when an image file is selected from the list of image files displayed on the display unit 25 (step S114: Yes), the control unit 32 displays the image included in the selected image file. An image corresponding to the data is displayed on the display unit 25 (step S115).

その後、制御部３２は、画像再生の終了操作が行われたか否かを判断する（ステップＳ１１６）。具体的には、制御部３２は、撮影モード切換スイッチ２１３が操作されることにより、再生モードから撮影モードに切り換えられたか否かを判断する。画像再生の終了操作が行われていない場合（ステップＳ１１６：Ｎｏ）、撮像装置１は上述したステップＳ１１３に戻る。一方、画像再生の終了操作が行われた場合（ステップＳ１１６：Ｙｅｓ）、撮像装置１はステップＳ１０９に移行する。   Thereafter, the control unit 32 determines whether or not an image reproduction end operation has been performed (step S116). Specifically, the control unit 32 determines whether or not the playback mode has been switched to the shooting mode by operating the shooting mode switch 213. When the image reproduction end operation has not been performed (step S116: No), the imaging apparatus 1 returns to step S113 described above. On the other hand, when the image reproduction end operation is performed (step S116: Yes), the imaging apparatus 1 proceeds to step S109.

つぎに、図１２に示したステップＳ１０４の特殊効果処理設定について説明する。図１３は、図１２に示す特殊効果設定処理の概要を示すフローチャートである。   Next, the special effect process setting in step S104 shown in FIG. 12 will be described. FIG. 13 is a flowchart showing an outline of the special effect setting process shown in FIG.

図１３に示すように、まず、視差量算出部３２３は、左目画像および右目画像それぞれに含まれる周辺領域を重ねるように左目画像および右目画像を重畳し（ステップＳ２０１）、左目画像および右目画像における視差量を算出する（ステップＳ２０２）。たとえば、視差量算出部３２３は、左目画像および右目画像それぞれに含まれる背景を重畳することにより、左目画像および右目画像における視差量を算出する。   As illustrated in FIG. 13, first, the parallax amount calculation unit 323 superimposes the left eye image and the right eye image so as to overlap the peripheral regions included in the left eye image and the right eye image (step S201), and in the left eye image and the right eye image, The amount of parallax is calculated (step S202). For example, the parallax amount calculation unit 323 calculates the parallax amount in the left eye image and the right eye image by superimposing the backgrounds included in the left eye image and the right eye image, respectively.

続いて、切分け部３２４は、視差量算出部３２３が算出した視差量に応じて、左目画像および右目画像の領域それぞれを近距離領域と背景領域とに切り分ける切分け処理を行う（ステップＳ２０３）。具体的には、切分け部３２４は、視差量算出部３２３が算出した視差量が閾値記憶部２７５に記憶された閾値以上の領域があるか否かを判定する。その後視差量算出部３２３が算出した視差量が閾値記憶部２７５に記憶された閾値以上の領域がある場合、視差量算出部３２３が算出した視差量が閾値記憶部２７５に記憶された閾値以上の領域を近距離領域として切り分ける。左目画像および右目画像の領域それぞれを近距離領域と背景領域とに切り分けることができた場合（ステップＳ２０３：Ｙｅｓ）、顔検出部３２２は、左目画像または右目画像における近距離領域に含まれる人物の顔を検出する（ステップＳ２０４）。   Subsequently, the segmentation unit 324 performs segmentation processing for segmenting each of the left eye image region and the right eye image region into a short-distance region and a background region according to the parallax amount calculated by the parallax amount calculation unit 323 (step S203). . Specifically, the segmenting unit 324 determines whether or not there is an area where the parallax amount calculated by the parallax amount calculating unit 323 is equal to or larger than the threshold stored in the threshold storage unit 275. Thereafter, when there is an area where the parallax amount calculated by the parallax amount calculating unit 323 is equal to or larger than the threshold stored in the threshold storage unit 275, the parallax amount calculated by the parallax amount calculating unit 323 is equal to or larger than the threshold stored in the threshold storage unit 275. The area is divided as a short distance area. When each of the left eye image area and the right eye image area can be separated into a short distance area and a background area (step S203: Yes), the face detection unit 322 detects the person included in the short distance area in the left eye image or the right eye image. A face is detected (step S204).

その後、特性特定部３２５は、顔検出部３２２によって検出された顔の特性を特定する特性特定処理を行う（ステップＳ２０５）。顔検出部３２２によって検出された顔の特性を特定することができた場合（ステップＳ２０５：Ｙｅｓ）、画像処理設定部３２６は、特殊効果処理情報記憶部２７２が記憶する特殊効果処理情報テーブルＴ１を参照して、ユーザによる特殊効果処理の手動設定がなれければ、特性特定部３２５が特定した特性に応じて、推奨度が最も高い特殊効果処理を画像処理部１４が行う処理として設定する（ステップＳ２０６）。たとえば、特性特定部３２５が顔検出部３２２によって検出された顔を男性であると特定した場合、画像処理設定部３２６は、推奨度が最も高い特殊効果処理（図１０を参照）を画像処理部１４が行う処理として設定する。   Thereafter, the characteristic specifying unit 325 performs a characteristic specifying process for specifying the characteristics of the face detected by the face detecting unit 322 (step S205). When the characteristics of the face detected by the face detection unit 322 can be specified (step S205: Yes), the image processing setting unit 326 stores the special effect processing information table T1 stored in the special effect processing information storage unit 272. If the special effect processing is manually set by the user, the special effect processing with the highest recommendation level is set as processing to be performed by the image processing unit 14 according to the characteristic specified by the characteristic specifying unit 325 (step S1). S206). For example, when the characteristic identification unit 325 identifies the face detected by the face detection unit 322 as a male, the image processing setting unit 326 performs the special effect processing (see FIG. 10) with the highest recommendation level (see FIG. 10). 14 is set as processing to be performed.

続いて、画像処理部１４は、画像処理設定部３２６によって設定された特殊効果処理を背景領域に対して行う（ステップＳ２０７）。これにより、表示部２５が表示するライブビュー画像は、背景領域のみ特殊効果処理が施された３Ｄ画像になるので、近距離領域（主要被写体）が背景領域に比較して強調されたものとなる。   Subsequently, the image processing unit 14 performs the special effect processing set by the image processing setting unit 326 on the background area (step S207). As a result, the live view image displayed by the display unit 25 is a 3D image in which only the background region is subjected to the special effect processing, and thus the short-distance region (main subject) is emphasized compared to the background region. .

その後、メニュースイッチ２１５が操作された場合（ステップＳ２０８：Ｙｅｓ）、表示制御部３２７は、特殊効果処理情報に関する特殊効果アイコンを表示部２５に表示させる（ステップＳ２０９）。具体的には、図１４に示すように、表示制御部３２７は、表示部２５の表示画面Ｗ２１上にライブビュー画像Ｗ２１ａおよび特殊効果処理に関する特殊効果アイコンＡ１１〜Ａ１４および特殊効果アイコンの切り換えの指示が入力される切換アイコンＡ２１，Ａ２２を表示部２５に表示させる。この際、表示制御部３２７は、３Ｄ画像に対して適用可能な特殊効果処理のみ特殊効果アイコンを表示部２５に表示させるようにしてもよい。   Thereafter, when the menu switch 215 is operated (step S208: Yes), the display control unit 327 causes the display unit 25 to display a special effect icon related to the special effect processing information (step S209). Specifically, as illustrated in FIG. 14, the display control unit 327 instructs to switch the special effect icons A11 to A14 and the special effect icons related to the live view image W21a and the special effect processing on the display screen W21 of the display unit 25. Is displayed on the display unit 25. At this time, the display control unit 327 may display a special effect icon on the display unit 25 only for special effect processing applicable to the 3D image.

続いて、表示部２５が表示する特殊効果アイコンを選択する操作が行われ、特殊効果処理が選択された場合（ステップＳ２１０：Ｙｅｓ）、画像処理設定部３２６は、その時点で設定されている特殊効果処理を選択された特殊効果処理に設定を変更する（ステップＳ２１１）。その後、撮像装置１は図１２のメインルーチンに戻る。   Subsequently, when an operation for selecting a special effect icon displayed on the display unit 25 is performed and the special effect process is selected (step S210: Yes), the image processing setting unit 326 sets the special effect icon set at that time. The setting of the effect process is changed to the selected special effect process (step S211). Thereafter, the imaging apparatus 1 returns to the main routine of FIG.

切分け部３２４が左目画像および右目画像それぞれにおいて近距離領域と背景領域とに切り分けることができなかった場合（ステップＳ２０３：Ｎｏ）、または特性特定部３２５が顔検出部３２２によって検出された顔の特性を特定することができなかった場合（ステップＳ２０５：Ｎｏ）について説明する。この場合、画像処理部１４は、第２特殊効果処理情報記憶部２７２ｂが記憶する第２特殊効果処理情報テーブルＴ２を参照して、ユーザによる特殊効果処理の手動設定がなければ推奨度の最も高い特殊効果処理を左目画像および右目画像の全体領域それぞれに行う（ステップＳ２１２）。   When the segmenting unit 324 cannot segment the short-distance region and the background region in each of the left-eye image and the right-eye image (step S203: No), or the face specifying unit 325 detects the face detected by the face detection unit 322. A case where the characteristic could not be specified (step S205: No) will be described. In this case, the image processing unit 14 refers to the second special effect processing information table T2 stored in the second special effect processing information storage unit 272b, and has the highest recommendation level unless manual setting of special effect processing is performed by the user. Special effect processing is performed on each of the entire areas of the left eye image and the right eye image (step S212).

続いて、メニュースイッチ２１５が操作された場合（ステップＳ２１３：Ｙｅｓ）、表示制御部３２７は、特殊効果処理情報に関する特殊効果アイコン（図１４を参照）を表示部２５に表示させる（ステップＳ２１４）。   Subsequently, when the menu switch 215 is operated (step S213: Yes), the display control unit 327 causes the display unit 25 to display a special effect icon (see FIG. 14) regarding the special effect processing information (step S214).

その後、表示部２５が表示する特殊効果アイコンを選択する操作が行われ、特殊効果処理が選択された場合（ステップＳ２１５：Ｙｅｓ）、画像処理設定部３２６は、その時点で設定されている特殊効果処理から選択された特殊効果処理に設定する（ステップＳ２１６）。その後、撮像装置１は図１２のメインルーチンに戻る。   Thereafter, when an operation for selecting a special effect icon displayed on the display unit 25 is performed and the special effect process is selected (step S215: Yes), the image processing setting unit 326 displays the special effect set at that time. The special effect process selected from the process is set (step S216). Thereafter, the imaging apparatus 1 returns to the main routine of FIG.

以上説明した本発明の実施の形態１によれば、切分け部３２４が視差量算出部３２３によって算出された視差量に応じて、左目画像および右目画像それぞれの領域を近距離領域と背景領域とに切り分け、画像処理設定部３２６が顔検出部３２２によって検出された顔が近距離領域内にある場合、背景領域を画像処理部１４が特殊効果処理を行う領域として設定する。この結果、被写体の写実性をそのままにしながら背景によって被写体を引き立たせることができる。   According to Embodiment 1 of the present invention described above, according to the amount of parallax calculated by the parallax amount calculation unit 323 by the segmenting unit 324, the areas of the left-eye image and the right-eye image are divided into a short-distance area and a background area. When the face detected by the face detection unit 322 is within the short distance region, the image processing setting unit 326 sets the background region as a region where the image processing unit 14 performs the special effect processing. As a result, it is possible to make the subject stand out with the background while maintaining the reality of the subject.

さらに、本発明の実施の形態１によれば、特性特定部３２５が顔検出部３２２によって検出された顔の特性を特定した場合、第１特殊効果処理情報テーブルＴ１を参照して、推奨度の最も高い特殊効果処理を画像処理部１４が行う処理として設定する。これにより、被写体の特性に応じて、被写体と背景との境界を強調させることができるので、より被写体のイメージに相応しい雰囲気で被写体を引き立たせることができる。   Furthermore, according to Embodiment 1 of the present invention, when the characteristic specifying unit 325 specifies the characteristics of the face detected by the face detecting unit 322, the recommended degree of recommendation is referred to by referring to the first special effect processing information table T1. The highest special effect processing is set as processing performed by the image processing unit 14. As a result, the boundary between the subject and the background can be emphasized according to the characteristics of the subject, so that the subject can be emphasized in an atmosphere more suitable for the image of the subject.

（実施の形態２）
つぎに、本発明の実施の形態２について説明する。本発明の実施の形態２では、撮像装置１が行う特殊効果設定処理が実施の形態１と異なる。このため、本発明の実施の形態２にかかる撮像装置が行う特殊効果設定処理のみ説明する。なお、本発明の実施の形態２にかかる撮像装置は、上述した撮像装置１と同様の構成を有するため説明を省略する。 (Embodiment 2)
Next, a second embodiment of the present invention will be described. In the second embodiment of the present invention, the special effect setting process performed by the imaging apparatus 1 is different from the first embodiment. Therefore, only the special effect setting process performed by the imaging apparatus according to the second embodiment of the present invention will be described. Note that the imaging apparatus according to the second embodiment of the present invention has the same configuration as that of the imaging apparatus 1 described above, and a description thereof will be omitted.

図１５は、本実施の形態２にかかる撮像装置１が行う特殊効果設定処理の概要を示すフローチャートである。   FIG. 15 is a flowchart illustrating an outline of special effect setting processing performed by the imaging apparatus 1 according to the second embodiment.

図１５に示すように、まず、顔検出部３２２は、左目画像および右目画像それぞれに含まれる顔を検出する（ステップＳ３０１）。   As shown in FIG. 15, first, the face detection unit 322 detects a face included in each of the left eye image and the right eye image (step S301).

続いて、制御部３２は、顔検出部３２２が左目画像および右目画像からそれぞれ検出した顔の顔領域が所定値以上であるか否かを判断する（ステップＳ３０２）。具体的には、制御部３２は、顔検出部３２２が左目画像および右目画像からそれぞれ検出した顔の顔領域が、たとえば画像全体に対して５％以上占めるか否かを判断する。顔の顔領域が所定値以上である場合（ステップＳ３０２：Ｙｅｓ）、撮像装置１はステップＳ３０３に移行する。   Subsequently, the control unit 32 determines whether or not the face area of the face detected by the face detection unit 322 from the left eye image and the right eye image is greater than or equal to a predetermined value (step S302). Specifically, the control unit 32 determines whether the face area of the face detected by the face detection unit 322 from the left eye image and the right eye image occupies, for example, 5% or more of the entire image. When the face area of the face is greater than or equal to the predetermined value (step S302: Yes), the imaging device 1 proceeds to step S303.

その後、視差量算出部３２３は、顔検出部３２２が検出した左目画像の顔領域および右目画像の顔領域を重畳し（ステップＳ３０３）、左目画像および右目画像の視差量を算出する（ステップＳ３０４）。   Thereafter, the parallax amount calculation unit 323 superimposes the face region of the left eye image and the face region of the right eye image detected by the face detection unit 322 (step S303), and calculates the parallax amount of the left eye image and the right eye image (step S304). .

続いて、切分け部３２４は、視差量算出部３２３が算出した視差量に応じて、左目画像および右目画像の領域それぞれを近距離領域と背景領域とに切り分ける切分け処理を行う（ステップＳ３０５）。左目画像および右目画像の領域それぞれを近距離領域と背景領域とに切り分けることができた場合（ステップＳ３０５：Ｙｅｓ）、撮像装置１はステップＳ３０６に移行する。   Subsequently, the segmentation unit 324 performs segmentation processing to segment each of the left eye image region and the right eye image region into a short-distance region and a background region according to the parallax amount calculated by the parallax amount calculation unit 323 (step S305). . When each of the left eye image area and the right eye image area can be divided into a short distance area and a background area (step S305: Yes), the imaging apparatus 1 proceeds to step S306.

その後、特性特定部３２５は、顔検出部３２２によって検出された顔の特性を特定する（ステップＳ３０６）。顔検出部３２２によって検出された顔の特性を特定することができた場合（ステップＳ３０６：Ｙｅｓ）、画像処理設定部３２６は、特性特定部３２５が特定した特性に応じて、第１特殊効果処理情報記憶部２７２ａが記憶する特殊効果処理情報テーブルＴ１を参照し、ユーザによる特殊効果処理の手動設定がなければ、推奨度が最も高い特殊効果処理を画像処理部１４が行う処理として設定する。（ステップＳ３０７）。   Thereafter, the characteristic specifying unit 325 specifies the characteristics of the face detected by the face detecting unit 322 (step S306). When the characteristics of the face detected by the face detection unit 322 can be specified (step S306: Yes), the image processing setting unit 326 performs the first special effect process according to the characteristics specified by the characteristic specification unit 325. With reference to the special effect processing information table T1 stored in the information storage unit 272a, if there is no manual setting of the special effect processing by the user, the special effect processing with the highest recommendation level is set as the processing performed by the image processing unit 14. (Step S307).

続いて、画像処理部１４は、画像処理設定部３２６によって設定された特殊効果処理を左目画像および右目画像それぞれの背景領域に対して行う（ステップＳ３０８）。これにより、表示部２５が表示するライブビュー画像は、背景領域のみ特殊効果が施された３Ｄ画像になるので、近距離領域が背景領域に比較して強調されたものとなる。   Subsequently, the image processing unit 14 performs the special effect processing set by the image processing setting unit 326 on the background regions of the left eye image and the right eye image (step S308). As a result, the live view image displayed by the display unit 25 is a 3D image in which the special effect is applied only to the background region, and thus the short-distance region is emphasized compared to the background region.

その後、メニュースイッチ２１５が操作された場合（ステップＳ３０９：Ｙｅｓ）、表示制御部３２７は、特殊効果アイコンを表示部２５に表示させる（ステップＳ３１０）。   Thereafter, when the menu switch 215 is operated (step S309: Yes), the display control unit 327 displays a special effect icon on the display unit 25 (step S310).

続いて、表示部２５が表示する３Ｄ画像の近距離領域がタッチされ（ステップＳ３１１：Ｙｅｓ）、所定時間内、たとえば３秒以内に特殊効果アイコンを操作する操作が行われ、特殊効果処理が選択された場合（ステップＳ３１２：Ｙｅｓ）、画像処理部１４は、選択された特殊効果処理を近距離領域に対して行う（ステップＳ３１３）。その後、撮像装置１は図１２のメインルーチンに戻る。   Subsequently, the short distance area of the 3D image displayed on the display unit 25 is touched (step S311: Yes), and an operation for operating the special effect icon is performed within a predetermined time, for example, within 3 seconds, and the special effect processing is selected. If it has been performed (step S312: Yes), the image processing unit 14 performs the selected special effect processing on the short-distance region (step S313). Thereafter, the imaging apparatus 1 returns to the main routine of FIG.

図１６は、図１５のステップＳ３１１〜Ｓ３１３の処理の概要を説明する模式図である。図１６に示すように、ユーザは、まず、表示部２５が表示画像Ｗ３１上に表示するライブビュー画像Ｗ３１ａの近距離領域Ｅ１１にタッチする（図１６（ａ））。その後、ユーザは、所望の特殊効果アイコンとして特殊効果アイコンＡ１１をタッチする（図１６（ｂ））。この場合、画像処理部１４は、特殊効果アイコンに応じた特殊効果処理を近距離領域Ｅ１１に対して行う。その後、ユーザは、手動設定による特殊効果処理の決定を指示する操作信号の入力を受け付ける決定アイコンＡ３３をタッチする（図１６（ｃ））。これにより、画像処理部１４は、近距離領域に対してユーザが所望する特殊効果処理を行うことができる。なお、図１６の画像Ｗ３１ａは、３Ｄ画像を模式的に平面で示している。   FIG. 16 is a schematic diagram for explaining an overview of the processing in steps S311 to S313 in FIG. As shown in FIG. 16, the user first touches the short distance area E11 of the live view image W31a that the display unit 25 displays on the display image W31 (FIG. 16A). Thereafter, the user touches the special effect icon A11 as a desired special effect icon (FIG. 16B). In this case, the image processing unit 14 performs special effect processing corresponding to the special effect icon on the short-distance region E11. Thereafter, the user touches a determination icon A33 that receives an input of an operation signal instructing determination of special effect processing by manual setting (FIG. 16C). Thereby, the image processing unit 14 can perform special effect processing desired by the user on the short-distance region. Note that the image W31a in FIG. 16 schematically illustrates a 3D image on a plane.

図１５に戻り、説明を続ける。ステップＳ３１１において表示部２５が表示する３Ｄ画像の近距離領域（人物）がタッチされず（ステップＳ３１１：Ｎｏ）、特殊効果アイコンを操作する操作が行われ、特殊効果処理が選択された場合（ステップＳ３１４：Ｙｅｓ）、画像処理設定部３２６は、画像全体に対してその時点で設定されている特殊効果処理から選択された特殊効果処理に設定する（ステップＳ３１５）。その後、撮像装置１は図１２のメインルーチンに戻る。なお、近距離領域がタッチされた場合、背景領域のみに特殊効果処理が設定されるようにしてもよい。   Returning to FIG. 15, the description will be continued. When the short-distance area (person) of the 3D image displayed on the display unit 25 in step S311 is not touched (step S311: No), an operation for operating the special effect icon is performed, and special effect processing is selected (step S311) (S314: Yes), the image processing setting unit 326 sets the special effect processing selected from the special effect processing set at that time for the entire image (step S315). Thereafter, the imaging apparatus 1 returns to the main routine of FIG. Note that when the short distance area is touched, the special effect process may be set only for the background area.

顔検出部３２２が検出した顔領域が所定値以上でない場合（ステップＳ３０２：Ｎｏ）、左目画像および右目画像それぞれにおいて近距離領域と背景領域とに切り分けることができなかった場合（ステップＳ３０５：Ｎｏ）、または顔検出部３２２によって検出された顔の特性を特定することができなかった場合（ステップＳ３０６：Ｎｏ）について説明する。この場合、画像処理部１４は、第２特殊効果処理情報記憶部２７２ｂが記憶する特殊効果処理情報テーブルＴ２を参照して、ユーザによる特殊効果処理の手動設定がなければ、推奨度が最も高い特殊効果処理を左目画像および右目画像の全領域それぞれに対して行う（ステップＳ３１６）。   When the face area detected by the face detection unit 322 is not equal to or greater than the predetermined value (step S302: No), when the left eye image and the right eye image cannot be separated into the short distance area and the background area (step S305: No). A case where the characteristics of the face detected by the face detection unit 322 could not be specified (step S306: No) will be described. In this case, the image processing unit 14 refers to the special effect processing information table T2 stored in the second special effect processing information storage unit 272b, and if the special effect processing is not manually set by the user, the special recommendation having the highest degree of recommendation. The effect process is performed for each of the entire regions of the left eye image and the right eye image (step S316).

続いて、メニュースイッチ２１５が操作された場合（ステップＳ３１７：Ｙｅｓ）、表示制御部３２７は、特殊効果アイコンを表示部２５に表示させる（ステップＳ３１８）。   Subsequently, when the menu switch 215 is operated (step S317: Yes), the display control unit 327 displays a special effect icon on the display unit 25 (step S318).

その後、表示部２５が表示する特殊効果アイコンを選択する操作が行われ、特殊効果処理が選択された場合（ステップＳ３１９：Ｙｅｓ）、画像処理設定部３２６は、その時点で設定されている特殊効果処理から選択された特殊効果処理に設定する（ステップＳ３２０）。その後、撮像装置１は図１２のメインルーチンに戻る。   Thereafter, when an operation for selecting a special effect icon displayed on the display unit 25 is performed and special effect processing is selected (step S319: Yes), the image processing setting unit 326 displays the special effect set at that time. The special effect process selected from the process is set (step S320). Thereafter, the imaging apparatus 1 returns to the main routine of FIG.

以上説明した本発明の実施の形態２によれば、上述した実施の形態１と同様の効果を有する。さらに、画像処理部１４は、ユーザが手動設定によって設定した特殊効果処理を近距離領域に対して行うことができる。この結果、近距離領域および背景領域それぞれに対して異なる特殊効果処理を行うことができ、撮像する画像に対してより独創的な表現を行うことができる。   According to the second embodiment of the present invention described above, the same effects as those of the first embodiment described above are obtained. Further, the image processing unit 14 can perform special effect processing set by the user by manual setting on the short-distance region. As a result, different special effect processing can be performed on each of the short-distance region and the background region, and more original expression can be performed on the captured image.

なお、本実施の形態１，２では、特性特定部３２５が顔検出部３２２によって検出された顔の特性を特定した場合、第１特殊効果処理情報テーブルＴ１を参照して、推奨度の最も高い特殊効果処理を画像処理部１４が行う処理として設定し、画像処理設定部３２６が背景領域を画像処理部１４が特殊効果処理を行う領域として設定していたが、たとえば、メニュースイッチ２１５等によって背景領域に設定された特殊効果処理を変更するようにしてもよい。   In the first and second embodiments, when the characteristic specifying unit 325 specifies the characteristic of the face detected by the face detecting unit 322, the highest recommendation degree is obtained with reference to the first special effect processing information table T1. Special effect processing is set as processing performed by the image processing unit 14, and the image processing setting unit 326 sets the background region as a region where the image processing unit 14 performs special effect processing. You may make it change the special effect process set to the area | region.

（変形例１）
上述した実施の形態では、画像処理設定部３２６が、特性特定部３２５によって特定された顔の特性に応じて、画像処理部１４が行う特殊効果処理の内容を設定していたが、たとえば顔検出部３２２によって検出された顔を登録するとともに、登録した顔に対応付けて画像処理部１４が行う特殊効果処理の内容を設定してもよい。 (Modification 1)
In the above-described embodiment, the image processing setting unit 326 sets the contents of the special effect processing performed by the image processing unit 14 according to the face characteristics specified by the characteristic specifying unit 325. The face detected by the unit 322 may be registered, and the content of special effect processing performed by the image processing unit 14 may be set in association with the registered face.

図１７は、本実施の形態の変形例１にかかる撮像装置１で被写体を撮影する際の状況を示す図である。図１８は、図１７に示す状況下で表示部２５が表示する画面遷移の一例を示す図である。なお、上述した撮像装置１と同様の構成を有するため説明を省略する。   FIG. 17 is a diagram illustrating a situation when a subject is photographed by the imaging apparatus 1 according to the first modification of the present embodiment. FIG. 18 is a diagram illustrating an example of a screen transition displayed on the display unit 25 under the situation illustrated in FIG. Since the configuration is the same as that of the imaging device 1 described above, the description thereof is omitted.

図１７および図１８に示すように、ユーザは、たとえば図１８の表示画面Ｗ４０上に表示されるライブビュー画像Ｗ４０ａを見ながら被写体Ｅ５０を撮影する際の構図を決定する。図１８に示す状況下で、表示制御部３２７は、顔検出部３２２が検出した顔領域に対応するフレームＦ１をライブビュー画像Ｗ４０ａに表示させる。この際、ユーザが表示部２５によって表示されるライブビュー画像Ｗ４０ａ上のフレームＦ１をタッチした場合、制御部３２は、タッチパネル２６から入力される操作信号に応じてフレームＦ１の顔の特性を含む顔情報を不揮発性メモリ２７に記憶させる。   As shown in FIGS. 17 and 18, the user determines the composition for photographing the subject E50 while viewing the live view image W40a displayed on the display screen W40 in FIG. 18, for example. Under the situation shown in FIG. 18, the display control unit 327 displays the frame F1 corresponding to the face area detected by the face detection unit 322 on the live view image W40a. At this time, when the user touches the frame F1 on the live view image W40a displayed by the display unit 25, the control unit 32 includes a face including the characteristics of the face of the frame F1 according to the operation signal input from the touch panel 26. Information is stored in the nonvolatile memory 27.

続いて、表示制御部３２７は、特殊効果処理アイコンＡ１１〜Ａ１９を表示画面Ｗ４０上の右領域Ｒ４０に表示させる。その後、制御部３２は、ユーザが表示部２５によって表示される特殊効果処理アイコンＡ１１〜Ａ１９のいずれかをタッチした場合（図１８（ａ））、ユーザがタッチした特殊効果アイコンに応じた特殊効果処理の内容を、不揮発性メモリ２７に記憶させた顔に対応付けて記憶させる。   Subsequently, the display control unit 327 displays the special effect process icons A11 to A19 in the right region R40 on the display screen W40. Thereafter, when the user touches any of the special effect processing icons A11 to A19 displayed by the display unit 25 (FIG. 18A), the control unit 32 displays the special effect corresponding to the special effect icon touched by the user. The contents of the process are stored in association with the face stored in the nonvolatile memory 27.

その後、表示制御部３２７は、表示部２５が表示する表示画面Ｗ４０上の右領域Ｒ４０に設定された特殊効果処理の内容に対応する特殊効果処理を表示させるとともに、表示画面Ｗ４０の下領域Ｒ４１に補助メッセージを表示させる（図１８（ｂ））。   Thereafter, the display control unit 327 displays special effect processing corresponding to the content of the special effect processing set in the right region R40 on the display screen W40 displayed by the display unit 25, and in the lower region R41 of the display screen W40. An auxiliary message is displayed (FIG. 18B).

このように、本実施の形態の変形例によれば、顔検出部３２２が不揮発性メモリ２７に記憶された顔情報と一致する顔を検出した場合、画像処理設定部３２６が顔情報に対応付けられた特殊効果処理の内容を画像処理部１４に自動的に設定することができる。   Thus, according to the modification of the present embodiment, when the face detection unit 322 detects a face that matches the face information stored in the nonvolatile memory 27, the image processing setting unit 326 associates the face information with the face information. The contents of the special effect processing thus performed can be automatically set in the image processing unit 14.

（変形例２）
また、上述した実施の形態では、３Ｄ撮影可能なレンズ部３を用いて一対の画像データを生成していたが、たとえば、１つの光学系のみを有する構成とし、この構成で連続的に撮像することにより、一対の画像データを生成することができる。具体的には、図１９に示すように、ユーザが撮像装置２００を左から右に向けて移動（矢印Ｃ）させながら被写体Ｅ１００を連続的に撮像することにより、被写体に対して視差を有する一対の画像データを生成するようにしてもよい。 (Modification 2)
In the above-described embodiment, a pair of image data is generated using the lens unit 3 capable of 3D shooting. For example, a configuration having only one optical system is used, and continuous imaging is performed with this configuration. Thus, a pair of image data can be generated. Specifically, as shown in FIG. 19, the user continuously images the subject E100 while moving the imaging device 200 from the left to the right (arrow C), whereby a pair having parallax with respect to the subject. The image data may be generated.

（その他の実施の形態）
また、上述した実施の形態では、画像処理部１４は、撮影時に特殊効果処理を行っていたが、たとえば外部メモリ２８に記憶された画像データを再生する際の３Ｄ画像または２Ｄ画像に対して本処理を行ってもよい。 (Other embodiments)
In the above-described embodiment, the image processing unit 14 performs the special effect processing at the time of shooting. For example, the image processing unit 14 performs the main processing on the 3D image or 2D image when the image data stored in the external memory 28 is reproduced. Processing may be performed.

また、上述した実施の形態では、静止画撮影を例に説明したが、動画撮影においても本処理を適応することができる。   In the embodiment described above, still image shooting has been described as an example, but this processing can also be applied to moving image shooting.

また、上述した実施の形態では、撮像装置１をデジタル一眼デジタルカメラとして説明していたが、たとえばレンズ部３と本体部２とが一体に形成されたデジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等の撮影機能と表示機能を備えた各種電子機器に適用することができる。   In the above-described embodiment, the imaging apparatus 1 is described as a digital single-lens digital camera. However, for example, a digital camera, a digital video camera, and a camera-equipped mobile phone in which a lens unit 3 and a main unit 2 are integrally formed. The present invention can be applied to various electronic devices having a photographing function and a display function.

１，２００ 撮像装置
２ 本体部
３ レンズ部
１０ シャッタ
１１ 撮像素子
１２ Ａ／Ｄ変換部
１３ メモリ
１４ 画像処理部
１５ 撮像素子駆動部
１６ シャッタ駆動部
１７ 露出処理部
１８ ＡＦ処理部
１９ タイマー
２０ 本体通信部
２１ 操作入力部
２２ フラッシュ発光部
２３ フラッシュ充電部
２４ フラッシュ駆動部
２５ 表示部
２６ タッチパネル
２７ 不揮発性メモリ
２８ 外部メモリ
２９ 外部通信部
３０ 電源供給部
３１ 電源部
３２ 制御部
４１ 第１光学系
４２ 第２光学系
４３ レンズ駆動部
４４，４５ 絞り
４６ 絞り駆動部
４７，４８ ミラー
４９ プリズム
５０ レンズ通信部
５１ レンズ記憶部
５２ レンズ制御部
１４１ 特殊効果処理部
２１１ 電源スイッチ
２１２ レリーズスイッチ
２１３ 撮影モード切換スイッチ
２１４ 操作スイッチ
２１５ メニュースイッチ
２１６ プレビュースイッチ
２１７ 動画スイッチ
２５１ バックライト
２５２ 表示パネル
２５３ 視差バリア
２７１ 撮影モード情報記憶部
２７２ 特殊効果処理情報記憶部
２７３ 左目画像データ記憶部
２７４ 右目画像データ記憶部
２７５ 閾値記憶部
３２１ 立体画像生成部
３２２ 顔検出部
３２３ 視差量算出部
３２４ 切分け部
３２５ 特性特定部
３２６ 画像処理設定部
３２７ 表示制御部 DESCRIPTION OF SYMBOLS 1,200 Image pick-up device 2 Main body part 3 Lens part 10 Shutter 11 Image pick-up element 12 A / D conversion part 13 Memory 14 Image processing part 15 Image pick-up element drive part 16 Shutter drive part 17 Exposure process part 18 AF process part 19 Timer 20 Main body communication Unit 21 operation input unit 22 flash light emitting unit 23 flash charging unit 24 flash drive unit 25 display unit 26 touch panel 27 nonvolatile memory 28 external memory 29 external communication unit 30 power supply unit 31 power source unit 32 control unit 41 first optical system 42 first 2 optical system 43 lens drive unit 44, 45 stop 46 stop drive unit 47, 48 mirror 49 prism 50 lens communication unit 51 lens storage unit 52 lens control unit 141 special effect processing unit 211 power switch 212 release switch 213 shooting mode switch 214 Operation switch 215 Menu switch 216 Preview switch 217 Movie switch 251 Backlight 252 Display panel 253 Parallax barrier 271 Shooting mode information storage unit 272 Special effect processing information storage unit 273 Left eye image data storage unit 274 Right eye image data storage unit 275 Threshold storage unit 321 Stereo image generation unit 322 Face detection unit 323 Parallax amount calculation unit 324 Segmentation unit 325 Character identification unit 326 Image processing setting unit 327 Display control unit

Claims (5)

被写体を撮像することによって互いに視差を有する一対の画像データを生成する撮像部と、
前記一対の画像データそれぞれに対応する一対の画像に対して、複数の画像処理を組み合わせることにより視覚的な効果を生じさせることが可能な特殊効果処理を行う画像処理部と、
前記一対の画像それぞれに含まれる類似領域を重畳することにより、該一対の画像の視差量を算出する視差量算出部と、
前記視差量算出部が算出した前記視差量に応じて、前記一対の画像それぞれの領域を近距離領域と背景領域とに切り分ける切分け部と、
前記一対の画像それぞれに含まれる顔を検出する顔検出部と、
前記顔検出部が検出した顔が前記近距離領域内にある場合、前記背景領域を前記画像処理部が前記特殊効果処理を行う領域として設定する画像処理設定部と、
を備えたことを特徴とする撮像装置。 An imaging unit that generates a pair of image data having parallax by imaging a subject;
An image processing unit that performs special effect processing capable of producing a visual effect by combining a plurality of image processing with respect to a pair of images corresponding to each of the pair of image data;
A parallax amount calculation unit that calculates the parallax amount of the pair of images by superimposing similar regions included in each of the pair of images;
According to the parallax amount calculated by the parallax amount calculation unit, a separation unit that divides each region of the pair of images into a short-distance region and a background region;
A face detection unit for detecting a face included in each of the pair of images;
An image processing setting unit configured to set the background region as a region where the image processing unit performs the special effect processing when the face detected by the face detection unit is within the short distance region;
An imaging apparatus comprising: 前記顔検出部が検出した顔の特性を特定する特性特定部と、
前記特性特定部が特定する特性と前記画像処理部が前記一対の画像に対して実施可能な特殊効果処理との組み合わせに応じた推奨度を与える第１特殊効果処理情報を記憶する第１特殊効果処理情報記憶部と、
をさらに備え、
前記画像処理設定部は、前記特性特定部が前記顔検出部によって検出された顔の特性を特定した場合、前記第１特殊効果処理情報を参照して、推奨度が高い前記特殊効果処理を前記画像処理部が行う処理として設定することを特徴とする請求項１に記載の撮像装置。 A characteristic specifying unit for specifying the characteristics of the face detected by the face detecting unit;
A first special effect that stores first special effect processing information that provides a degree of recommendation according to a combination of the characteristic specified by the characteristic specifying unit and the special effect processing that can be performed on the pair of images by the image processing unit. A processing information storage unit;
Further comprising
The image processing setting unit refers to the first special effect processing information when the characteristic specifying unit specifies the characteristic of the face detected by the face detecting unit, and performs the special effect processing with a high recommendation level. The imaging apparatus according to claim 1, wherein the imaging apparatus is set as a process performed by an image processing unit. 前記画像処理部が前記一対の画像に対して実施可能な特殊効果処理の推奨度を与える第２特殊効果処理情報を記憶する第２特殊効果処理情報記憶部をさらに備え、
前記画像処理設定部は、前記顔検出部が検出した顔が前記近距離領域内にない場合、前記第２特殊効果処理情報を参照して、推奨度が高い前記特殊効果処理を前記画像処理が行う処理として設定することを特徴とする請求項１または２に記載の撮像装置。 A second special effect processing information storage unit that stores second special effect processing information that gives a recommendation degree of special effect processing that can be performed on the pair of images by the image processing unit;
The image processing setting unit refers to the second special effect processing information when the face detected by the face detection unit is not in the short distance area, and the image processing performs the special effect processing having a high recommendation level. The imaging apparatus according to claim 1, wherein the imaging apparatus is set as a process to be performed. 前記一対の画像データに対応する画像を表示する表示部と、
前記画像処理部が実施可能な各特殊効果処理に関するアイコンを前記表示部に表示させる表示制御部と、
前記表示部が表示するアイコンの選択を指示する操作信号の入力を受け付ける入力部と、
を備え、
前記画像処理設定部は、前記入力部によって選択されたアイコンに対応する特殊効果処理を設定することを特徴とする請求項１〜３のいずれか一つに記載の撮像装置。 A display unit for displaying an image corresponding to the pair of image data;
A display control unit that causes the display unit to display an icon related to each special effect process that can be performed by the image processing unit;
An input unit that receives an input of an operation signal instructing selection of an icon displayed by the display unit;
With
The imaging apparatus according to claim 1, wherein the image processing setting unit sets special effect processing corresponding to the icon selected by the input unit. 被写体を撮像することによって互いに視差を有する一対の画像データを生成する撮像ステップと、
前記一対の画像データそれぞれに対応する一対の画像に対して、複数の画像処理を組み合わせることにより視覚的な効果を生じさせることが可能な特殊効果処理を行う画像処理ステップと、
前記一対の画像それぞれに含まれる類似領域を重畳することにより、該一対の画像の視差量を算出する視差量算出ステップと、
前記視差量算出ステップが算出した前記視差量に応じて、前記一対の画像それぞれの領域を近距離領域と背景領域とに切り分ける切分けステップと、
前記一対の画像それぞれに含まれる顔を検出する顔検出ステップと、
前記顔検出ステップが検出した顔が前記近距離領域内にある場合、前記背景領域を前記画像処理部が前記特殊効果処理を行う領域として設定する画像処理設定ステップと、
を撮像装置に実行させることを特徴とする撮像プログラム。 An imaging step of generating a pair of image data having parallax from each other by imaging a subject;
An image processing step for performing a special effect process capable of producing a visual effect by combining a plurality of image processes on a pair of images corresponding to each of the pair of image data;
A parallax amount calculating step of calculating a parallax amount of the pair of images by superimposing similar regions included in each of the pair of images;
According to the parallax amount calculated by the parallax amount calculating step, a separation step of dividing each region of the pair of images into a short-distance region and a background region;
A face detection step of detecting a face included in each of the pair of images;
An image processing setting step for setting the background region as a region where the image processing unit performs the special effect processing when the face detected by the face detection step is within the short distance region;
An imaging program for causing an imaging apparatus to execute the above.
JP2010293996A 2010-12-22 2010-12-28 Imaging apparatus and imaging program Expired - Fee Related JP5638941B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010293996A JP5638941B2 (en) 2010-12-28 2010-12-28 Imaging apparatus and imaging program
US13/330,160 US9113074B2 (en) 2010-12-22 2011-12-19 Imaging apparatus, imaging method, and computer readable storage medium for applying special effects processing to an automatically set region of a stereoscopic image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010293996A JP5638941B2 (en) 2010-12-28 2010-12-28 Imaging apparatus and imaging program

Publications (2)

Publication Number Publication Date
JP2012142779A true JP2012142779A (en) 2012-07-26
JP5638941B2 JP5638941B2 (en) 2014-12-10

Family

ID=46678618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010293996A Expired - Fee Related JP5638941B2 (en) 2010-12-22 2010-12-28 Imaging apparatus and imaging program

Country Status (1)

Country Link
JP (1) JP5638941B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015068470A1 (en) * 2013-11-06 2015-05-14 凸版印刷株式会社 3d-shape measurement device, 3d-shape measurement method, and 3d-shape measurement program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053748A (en) * 2007-08-23 2009-03-12 Nikon Corp Image processing apparatus, image processing program, and camera
JP2010206774A (en) * 2009-02-05 2010-09-16 Fujifilm Corp Three-dimensional image output device and method
WO2012001970A1 (en) * 2010-06-30 2012-01-05 富士フイルム株式会社 Image processing device, method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053748A (en) * 2007-08-23 2009-03-12 Nikon Corp Image processing apparatus, image processing program, and camera
JP2010206774A (en) * 2009-02-05 2010-09-16 Fujifilm Corp Three-dimensional image output device and method
WO2012001970A1 (en) * 2010-06-30 2012-01-05 富士フイルム株式会社 Image processing device, method, and program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015068470A1 (en) * 2013-11-06 2015-05-14 凸版印刷株式会社 3d-shape measurement device, 3d-shape measurement method, and 3d-shape measurement program
CN105705903A (en) * 2013-11-06 2016-06-22 凸版印刷株式会社 3D-shape measurement device, 3D-shape measurement method, and 3D-shape measurement program
JPWO2015068470A1 (en) * 2013-11-06 2017-03-09 凸版印刷株式会社 3D shape measuring apparatus, 3D shape measuring method, and 3D shape measuring program
US10347029B2 (en) 2013-11-06 2019-07-09 Toppan Printing Co., Ltd. Apparatus for measuring three dimensional shape, method for measuring three dimensional shape and three dimensional shape measurement program

Also Published As

Publication number Publication date
JP5638941B2 (en) 2014-12-10

Similar Documents

Publication Publication Date Title
US9113074B2 (en) Imaging apparatus, imaging method, and computer readable storage medium for applying special effects processing to an automatically set region of a stereoscopic image
JP4497211B2 (en) Imaging apparatus, imaging method, and program
US8599245B2 (en) Image processing apparatus, camera, and image processing method
US20120154547A1 (en) Imaging device, control method thereof, and program
JP4661824B2 (en) Image processing apparatus, method, and program
WO2015192547A1 (en) Method for taking three-dimensional picture based on mobile terminal, and mobile terminal
JP5449551B2 (en) Image output apparatus, method and program
JP2012070144A (en) Display apparatus
JP2010226362A (en) Imaging apparatus and control method thereof
WO2013146067A1 (en) Image processing device, imaging device, image processing method, recording medium, and program
JP2011035643A (en) Multiple eye photography method and apparatus, and program
JP2012178688A (en) Stereoscopic image photographing device
JP2012257105A (en) Stereoscopic image obtaining apparatus
JP2014036362A (en) Imaging device, control method therefor, and control program
JP5754044B2 (en) Imaging apparatus and image communication system
CN106878606B (en) Image generation method based on electronic equipment and electronic equipment
US9124866B2 (en) Image output device, method, and recording medium therefor
US9094671B2 (en) Image processing device, method, and recording medium therefor
JP5638941B2 (en) Imaging apparatus and imaging program
JP4632060B2 (en) Image recording apparatus, method and program
JP2012134873A (en) Imaging apparatus and imaging program
JP2011096263A (en) Three-dimensional display device, method and program
JP2014220618A (en) Image processing apparatus
JP2013074428A (en) Self-photographing determination device, imaging apparatus, program, and self-photographing determination method
JP2013046343A (en) Image pickup device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140722

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141023

R151 Written notification of patent or utility model registration

Ref document number: 5638941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees