JP2014068081A - Imaging apparatus and control method of the same, program and storage medium - Google Patents

Imaging apparatus and control method of the same, program and storage medium Download PDF

Info

Publication number
JP2014068081A
JP2014068081A JP2012210148A JP2012210148A JP2014068081A JP 2014068081 A JP2014068081 A JP 2014068081A JP 2012210148 A JP2012210148 A JP 2012210148A JP 2012210148 A JP2012210148 A JP 2012210148A JP 2014068081 A JP2014068081 A JP 2014068081A
Authority
JP
Japan
Prior art keywords
image
subject
images
background
imaging apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012210148A
Other languages
Japanese (ja)
Inventor
Masakazu Tsuchihashi
正和 土橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012210148A priority Critical patent/JP2014068081A/en
Publication of JP2014068081A publication Critical patent/JP2014068081A/en
Pending legal-status Critical Current

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To achieve an art of easily performing panoramic photography including a photographer as a subject.SOLUTION: An imaging apparatus including photographing means and synthesizing means for synthesizing a plurality of images photographed by the photographing means comprises: subject detection means for detecting a subject from an image photographed by the photographing means; background extraction means for extracting a background region from the plurality of images on the basis of the detection result by the subject detection means; background image creation means for synthesizing the images from which the background regions are extracted so as to link the images to create a background image having wider field angle than that of each of the plurality of images; and panoramic image synthesizing means for selecting the image from which the subject is detected and synthesizing the selected image with the background image created by the background image creation means to create a panoramic image.

Description

本発明は、パノラマ撮影画像を生成する技術に関するものである。   The present invention relates to a technique for generating a panoramic image.

近年、単眼式のカメラシステムを用いてパノラマ画像を撮影する方法が提案されている。撮影者は撮影方向を変化(パン)させながら撮影を行う。この撮影により生成された複数の素材画像を繋ぎ合わせることで、1つの広い画角を持つ画像をつくることができる。例えば、特許文献1では撮影方向を順次変化させて撮像することにより複数の画像領域が繋ぎ合わされたパノラマ状の全体画像を生成する方法が開示されている。   In recent years, a method for capturing a panoramic image using a monocular camera system has been proposed. The photographer shoots while changing (panning) the shooting direction. An image having one wide angle of view can be created by connecting a plurality of material images generated by this photographing. For example, Patent Document 1 discloses a method of generating a panoramic overall image in which a plurality of image areas are connected by capturing images while sequentially changing the shooting direction.

特開2009−284522号公報JP 2009-284522 A

しかしながら、上記特許文献1では、同じ被写体が複数の素材画像にわたって大きく写り込んでいる場合、具体的には、撮影者自身を被写体に含むパノラマ撮影をしようとした場合、うまく合成できないことがある。パノラマ画像を撮影するには、図11のように、撮影者は撮像装置1100を自分に向け自分を中心に回転しながら撮影を行う。このとき撮影された素材画像は図12のようにフレームに対して同じような位置に撮影者である自分自身が大きく写り込んだものとなる。上記特許文献1により、これら素材画像を合成しようとした場合、生成される画像は図13のように撮影者が全体的に連なったものとなる。これは、上記特許文献1ではパノラマ合成に使用する画像領域をフレームに対して固定の位置(中央)としているためである。   However, in the above-mentioned Patent Document 1, when the same subject is largely reflected over a plurality of material images, specifically, when panoramic shooting including the photographer himself as a subject is attempted, there is a case where the composition cannot be performed well. In order to shoot a panoramic image, as shown in FIG. 11, the shooter takes a picture while turning the imaging apparatus 1100 toward himself / herself and rotating around him / her. The material image photographed at this time is a large image of the photographer himself at the same position with respect to the frame as shown in FIG. When these material images are to be combined according to the above-mentioned Patent Document 1, the generated image is a series of photographers as shown in FIG. This is because in Patent Document 1 described above, the image region used for panorama synthesis is set at a fixed position (center) with respect to the frame.

本発明は、上記課題に鑑みてなされ、その目的は、撮影者自身を被写体に含むパノラマ撮影を容易に行うことができる技術を実現することである。   The present invention has been made in view of the above problems, and an object thereof is to realize a technique capable of easily performing panoramic photographing including a photographer himself as a subject.

上記課題を解決し、目的を達成するために、本発明の撮像装置は、撮影手段と、前記撮影手段により撮影された複数の画像を合成する合成手段とを有する撮像装置であって、前記撮影手段により撮影された画像から被写体を検出する被写体検出手段と、前記被写体検出手段の検出結果に基づいて前記複数の画像から背景領域を抽出する背景抽出手段と、前記背景領域が抽出された画像を繋ぎ合わせるように合成して前記複数の画像よりも画角の広い背景画像を生成する背景画像生成手段と、前記複数の画像から前記被写体検出手段により被写体が検出された画像を選択し、前記生成された背景画像に合成してパノラマ画像を生成するパノラマ画像合成手段と、を有する。   In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention is an imaging apparatus that includes an imaging unit and a synthesis unit that combines a plurality of images captured by the imaging unit. Subject detection means for detecting a subject from an image photographed by the means, background extraction means for extracting a background area from the plurality of images based on a detection result of the subject detection means, and an image from which the background area has been extracted. A background image generation unit that generates a background image having a wider angle of view than the plurality of images by combining the images so as to be connected, and an image in which the subject is detected by the subject detection unit is selected from the plurality of images, and the generation is performed. Panoramic image synthesizing means for synthesizing the generated background image to generate a panoramic image.

本発明によれば、撮影者自身を被写体に含むパノラマ撮影を容易に行うことができる。   According to the present invention, it is possible to easily perform panoramic shooting including the photographer himself as a subject.

本発明に係る実施形態の撮像装置の構成を示すブロック図。1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention. 実施形態1のパノラマ画像合成処理を示すフローチャート。5 is a flowchart illustrating panoramic image synthesis processing according to the first embodiment. パノラマ撮影モードにおいて背景領域を通知するためのUI画面を例示する図。The figure which illustrates UI screen for notifying a background area in panoramic photography mode. パノラマ撮影モードにおいて片手持ちを促すためのUI画面を例示する図。The figure which illustrates UI screen for encouraging one hand holding in panorama photography mode. パノラマ撮影モードにおいて撮影された素材画像を例示する図。The figure which illustrates the material image image | photographed in the panoramic photography mode. 本実施形態のパノラマ画像合成処理を説明する図。The figure explaining the panorama image synthetic | combination process of this embodiment. 素材画像から人物画像を選択する様子を示す図。The figure which shows a mode that a person image is selected from a material image. 実施形態2のパノラマ画像合成処理を説明する図。FIG. 9 is a diagram for explaining panoramic image synthesis processing according to the second embodiment. 実施形態2のパノラマ画像合成処理を示すフローチャート。9 is a flowchart illustrating panoramic image synthesis processing according to the second embodiment. 実施形態3のパノラマ画像合成処理を示すフローチャート。10 is a flowchart illustrating panoramic image synthesis processing according to the third embodiment. パノラマ撮影方法を説明する図。The figure explaining the panoramic photography method. 従来のパノラマ撮影モードにおいて撮影された画像を例示する図。The figure which illustrates the image image | photographed in the conventional panoramic imaging mode. 従来のパノラマ画像合成処理により生成されたパノラマ画像を例示する図。The figure which illustrates the panorama image produced | generated by the conventional panorama image synthetic | combination process.

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。   Hereinafter, embodiments for carrying out the present invention will be described in detail. The embodiment described below is an example for realizing the present invention, and should be appropriately modified or changed according to the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment. Moreover, you may comprise combining suitably one part of each embodiment mentioned later.

[実施形態1]以下、本発明を、デジタルカメラなどの撮像装置に適用した実施形態について説明する。   [Embodiment 1] An embodiment in which the present invention is applied to an imaging apparatus such as a digital camera will be described below.

<装置構成>図1を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。   <Apparatus Configuration> With reference to FIG. 1, an outline of the configuration and functions of an imaging apparatus according to an embodiment of the present invention will be described.

図1において、撮影レンズ101はフォーカスレンズやズームレンズ、IS(Image Stabilizer)レンズ等を含み、被写体を捕捉し、撮像素子104の撮像面上に結像させる。絞り102は撮影レンズ101から入射される被写体像の光量を所定量に制限する。シャッター103は撮像素子104への露光量を制御する。撮像素子104は、撮影レンズ101により結像された被写体を、CMOSイメージセンサ等を構成する光電変換素子により電気信号に変換して、プリアンプ105を介してAGC回路106へ出力する。AGC回路(オートゲインコントロール回路)106は、プリアンプ105により雑音が除去された後、デジタル信号に変換する前のアナログ信号のゲインを調整することにより画像信号のレベル調整を行う。   In FIG. 1, a photographing lens 101 includes a focus lens, a zoom lens, an IS (Image Stabilizer) lens, and the like, captures a subject, and forms an image on the imaging surface of the imaging element 104. The diaphragm 102 limits the amount of light of the subject image incident from the photographing lens 101 to a predetermined amount. The shutter 103 controls the exposure amount to the image sensor 104. The imaging element 104 converts the subject imaged by the photographing lens 101 into an electrical signal by a photoelectric conversion element that constitutes a CMOS image sensor or the like, and outputs it to the AGC circuit 106 via the preamplifier 105. The AGC circuit (auto gain control circuit) 106 adjusts the level of the image signal by adjusting the gain of the analog signal before being converted into a digital signal after the noise is removed by the preamplifier 105.

A/D変換部107は、AGC回路106のアナログ信号出力をデジタル信号に変換する。   The A / D converter 107 converts the analog signal output of the AGC circuit 106 into a digital signal.

映像信号処理部108は、A/D変換部107からのデジタル画像信号に対して所定のフィルタ処理や色変換処理、ガンマ処理を施し、現像データを作成すると共に、JPEGなどの圧縮処理を行い、画像メモリ130に出力する。また、映像信号処理部108は、所定の処理を施した画像データを、露出算出部142、合焦検出部143、背景抽出部144、パノラマ画像合成部145へ出力する。   The video signal processing unit 108 performs predetermined filter processing, color conversion processing, and gamma processing on the digital image signal from the A / D conversion unit 107, creates development data, and performs compression processing such as JPEG, Output to the image memory 130. Further, the video signal processing unit 108 outputs the image data subjected to the predetermined processing to the exposure calculation unit 142, the focus detection unit 143, the background extraction unit 144, and the panoramic image synthesis unit 145.

露出算出部142は、映像信号処理部108により現像処理された画像データから露出値を算出し、信号処理ユニット120を介してシステムコントローラ110に出力する。   The exposure calculation unit 142 calculates an exposure value from the image data developed by the video signal processing unit 108 and outputs the exposure value to the system controller 110 via the signal processing unit 120.

合焦検出部143は、映像信号処理部108により現像処理された画像データから合焦状態を検出し、検出結果を信号処理ユニット120を介してシステムコントローラ110に出力する。   The focus detection unit 143 detects a focus state from the image data developed by the video signal processing unit 108 and outputs the detection result to the system controller 110 via the signal processing unit 120.

背景抽出部144は、後述するパノラマ撮影により得られた素材画像から被写体領域以外の背景領域を抽出し、抽出結果を信号処理ユニット120を介してシステムコントローラ110に出力する。   The background extraction unit 144 extracts a background area other than the subject area from a material image obtained by panoramic photography, which will be described later, and outputs the extraction result to the system controller 110 via the signal processing unit 120.

パノラマ画像合成部145は、後述するパノラマ撮影により得られた複数の素材画像を繋ぎ合わせて合成することで、パノラマ画像を生成し、信号処理ユニット120を介してシステムコントローラ110に出力する。   The panorama image composition unit 145 generates a panorama image by connecting and synthesizing a plurality of material images obtained by panorama shooting described later, and outputs the panorama image to the system controller 110 via the signal processing unit 120.

信号処理ユニット120は、映像信号処理部108により生成された画像データを、表示用のアナログ信号に変換して表示部150に出力する。表示部150は、液晶ディスプレイや有機ELディスプレイからなる。   The signal processing unit 120 converts the image data generated by the video signal processing unit 108 into an analog signal for display and outputs it to the display unit 150. The display unit 150 includes a liquid crystal display or an organic EL display.

方位情報取得部121は、撮像装置100の姿勢や向き等の方位情報を取得し、信号処理ユニット120を介してシステムコントローラ110に出力する。   The azimuth information acquisition unit 121 acquires azimuth information such as the orientation and orientation of the imaging apparatus 100 and outputs the azimuth information to the system controller 110 via the signal processing unit 120.

位置情報取得部122は、GPS信号を受信することにより撮像装置100の位置情報を取得し、信号処理ユニット120を介してシステムコントローラ110に出力する。   The position information acquisition unit 122 acquires the position information of the imaging apparatus 100 by receiving the GPS signal, and outputs the position information to the system controller 110 via the signal processing unit 120.

加速度情報取得部123は、加速度センサにより撮像装置100の加速度情報を取得し、信号処理ユニット120を介してシステムコントローラ110に出力する。   The acceleration information acquisition unit 123 acquires acceleration information of the imaging device 100 by an acceleration sensor and outputs the acceleration information to the system controller 110 via the signal processing unit 120.

I/F部124は、有線通信または無線通信によりPCや外部記憶装置等に接続可能であり、接続先から取得した情報を信号処理ユニット120を介してシステムコントローラ110に出力する。   The I / F unit 124 can be connected to a PC, an external storage device, or the like by wired communication or wireless communication, and outputs information acquired from the connection destination to the system controller 110 via the signal processing unit 120.

モード設定部125は、各種ボタンやタッチパネル等からなるユーザ操作を受け付ける操作手段であり、撮像装置100の動作モードを、通常撮影モードや再生モード、後述するパノラマ撮影モード等へ切り替えるためのモード切替指示を信号処理ユニット120を介してシステムコントローラ110に出力する。   The mode setting unit 125 is an operation unit that accepts user operations including various buttons, a touch panel, and the like, and a mode switching instruction for switching the operation mode of the imaging apparatus 100 to a normal shooting mode, a playback mode, a panoramic shooting mode described later, and the like. Is output to the system controller 110 via the signal processing unit 120.

レリーズ検出部126は、撮像装置100のシャッターボタンの半押しや全押しによるスイッチ状態を検出し、検出結果を信号処理ユニット120を介してシステムコントローラ110に出力する。   The release detection unit 126 detects a switch state caused by half-pressing or full-pressing the shutter button of the imaging apparatus 100 and outputs a detection result to the system controller 110 via the signal processing unit 120.

システムコントローラ110は、CPU、ROM、RAM等を含み、撮像装置全体を統括して制御する。具体的には、システムコントローラ110は、レリーズ検出部126によりシャッターボタンの半押しが検出されると、WB算出部141で算出されWB値、露出算出部142で算出された露出値、合焦検出部143で検出された合焦状態に基づいて、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の撮像準備動作を開始する。また、システムコントローラ110は、信号処理ユニット120を介して入力される方位情報、位置情報、加速度情報に応じて、後述するパノラマ撮影処理を行う。   The system controller 110 includes a CPU, a ROM, a RAM, and the like, and controls the entire image pickup apparatus. Specifically, when the release detection unit 126 detects that the shutter button is half-pressed, the system controller 110 calculates the WB value calculated by the WB calculation unit 141, the exposure value calculated by the exposure calculation unit 142, and the focus detection. Based on the in-focus state detected by the unit 143, imaging preparation operations such as AF (auto focus) processing, AE (auto exposure) processing, AWB (auto white balance) processing, and EF (flash pre-flash) processing are started. . Further, the system controller 110 performs a panorama shooting process described later according to the azimuth information, the position information, and the acceleration information input via the signal processing unit 120.

ズーム制御部111は、システムコントローラ110からの制御信号に従って撮影レンズ101を駆動し、ズーミングを行う。   The zoom control unit 111 drives the photographing lens 101 according to a control signal from the system controller 110 to perform zooming.

ISレンズ制御部112は、システムコントローラ110からの制御信号に従って手ブレ補正用のISレンズを駆動し、手ブレ補正を行う。   The IS lens control unit 112 drives an IS lens for camera shake correction according to a control signal from the system controller 110 to perform camera shake correction.

フォーカス制御部113は、システムコントローラ110からの制御信号に従って撮影レンズ101を駆動し、被写体に合焦させる。   The focus control unit 113 drives the photographing lens 101 according to a control signal from the system controller 110 to focus on the subject.

絞り制御部114は、システムコントローラ110からの制御信号に従って絞り102を駆動し、露出を調整する。   The diaphragm control unit 114 drives the diaphragm 102 in accordance with a control signal from the system controller 110 to adjust exposure.

シャッター制御部115は、システムコントローラ110からの制御信号に従ってシャッター103のレリーズを行うと共に、そのタイミングに従って撮像素子104を駆動制御する。   The shutter control unit 115 releases the shutter 103 in accordance with a control signal from the system controller 110 and drives and controls the image sensor 104 in accordance with the timing.

フラッシュ制御部116は、システムコントローラ110からの制御信号に従ってフラッシュ117を発光する。   The flash control unit 116 emits the flash 117 in accordance with a control signal from the system controller 110.

画像メモリ130に保存された画像データは、I/F部124を介してコンピュータなどの外部機器へ出力可能である。   Image data stored in the image memory 130 can be output to an external device such as a computer via the I / F unit 124.

<パノラマ画像合成処理>図2を参照して、本実施形態のパノラマ撮影画像からパノラマ画像を合成する処理について説明する。なお、図2の処理は、システムコントローラ110が、ROMに格納された制御プログラムを、RAMのワークエリアに展開し、実行することで実現される。   <Panorama Image Composition Processing> Processing for synthesizing a panorama image from a panorama shot image according to this embodiment will be described with reference to FIG. The processing in FIG. 2 is realized by the system controller 110 developing and executing a control program stored in the ROM in the RAM work area.

ユーザ操作や電源投入時の設定によりパノラマ撮影モードが選択されると図2の処理を開始し、システムコントローラ110は、撮影開始トリガー待ち状態になる。ここで、モード設定部125を介したユーザ操作等によって、撮像装置100を以下のようなパノラマ撮影に適した設定に変更することもできる。すなわち、背景領域のみの背景パノラマ画像を合成するためには、素材画像における人物が写っていない部分(背景領域)が必要となる。この背景領域が少ないとパノラマ画像合成用の素材画像の連続性がなくなり、パノラマ画像が成立しなくなる。このため、撮影時に背景領域の面積を大きくとるように撮像装置の設定を変更することで、背景画像のパノラマ合成処理を効率的・効果的に行えるようにする。   When the panoramic shooting mode is selected by a user operation or power-on setting, the processing of FIG. 2 is started, and the system controller 110 enters a shooting start trigger waiting state. Here, the imaging apparatus 100 can be changed to a setting suitable for panoramic photography as described below by a user operation or the like via the mode setting unit 125. That is, in order to synthesize a background panoramic image only of the background area, a part (background area) in which the person is not captured in the material image is required. When the background area is small, the continuity of the material image for panoramic image synthesis is lost, and the panoramic image is not established. For this reason, by changing the setting of the imaging device so as to increase the area of the background area at the time of shooting, the panorama synthesis process of the background image can be performed efficiently and effectively.

背景領域を大きくとるような設定として以下のようなものが考えられる。   The following can be considered as a setting for taking a large background area.

(1)撮影レンズの画角を広角側に変更する
広角側にすることにより、素材画像に対する人物の割合を小さくすることができ、背景領域を大きくとることができる。すなわち、
(2)人物の位置を端部に移動させる
背景領域を素材画像の片方だけからとる場合、人物をその反対側に寄せることで背景領域を大きくとることができる。人物を端部に寄せる方法としては、ISレンズをずらす方法や撮像素子をずらす方法等が考えられる。また、バリアングル機能や前面ディスプレイなど、撮影者が自分の姿を確認しながらパノラマ撮影できる場合は、UI画面上に予め背景領域となる部分を表示し、撮影者に背景領域を確保しながら撮影するよう注意を促すことも考えられる(図3参照)。
(1) Changing the angle of view of the photographic lens to the wide angle side By setting the wide angle side, the ratio of the person to the material image can be reduced, and the background area can be increased. That is,
(2) Move the position of the person to the end When the background area is taken from only one side of the material image, the background area can be made larger by moving the person to the opposite side. As a method of bringing a person to the end, a method of shifting an IS lens, a method of shifting an image sensor, or the like can be considered. In addition, if the photographer can take a panoramic shot while checking his / her appearance, such as the vari-angle function or the front display, the portion that becomes the background area is displayed in advance on the UI screen, and the photographer takes a picture while securing the background area. It may be possible to call attention (see FIG. 3).

(3)片手持ちをするよう撮影者に促す
両手持ちよりも片手持ちの方が背景領域を大きくとることができるため、UI画面に片手持ちするようにガイダンスを表示する、音声でアナウンスする等が考えられる(図4参照)。
(3) Encourage the photographer to hold the camera with one hand Since the background area can be made larger with one hand than with both hands, guidance can be displayed on the UI screen so that it can be held with one hand. Possible (see FIG. 4).

また、人物と背景の両方にピントを合わせるために、パノラマ撮影モード設定時は被写界深度を大きくするために、ISO感度を高めに設定し絞り値を大きくする等が考えられる。   In order to focus on both the person and the background, in order to increase the depth of field when the panoramic shooting mode is set, it is conceivable to increase the ISO sensitivity and increase the aperture value.

本実施形態では、素材画像の周辺部分をパノラマ画像合成用として使用することになるので、撮影レンズの各種収差補正(歪曲補正、周辺光量補正、コマ収差等)を適切に行うことで画像接合部を目立たないようにする。   In this embodiment, since the peripheral portion of the material image is used for panoramic image synthesis, various kinds of aberration correction (distortion correction, peripheral light amount correction, coma aberration, etc.) of the photographic lens are appropriately performed, so that the image joint portion Make it inconspicuous.

S201では、システムコントローラ110は、撮影者により撮影開始トリガーが入力されると、素材画像の撮影を開始する。このとき、撮影者は、図11に示すように撮像装置100を自分に向けて構え、撮影開始と同時に自分を中心に回転する。   In S <b> 201, the system controller 110 starts capturing a material image when a capturing start trigger is input by the photographer. At this time, the photographer holds the imaging apparatus 100 toward himself as shown in FIG. 11, and rotates around himself / herself simultaneously with the start of photographing.

ここで、撮影開始トリガーとしては、シャッターボタンのオン、撮影タイマーによる開始、加速度センサでスイングを検知する、撮像装置の姿勢(向き)が所定の方位と一致する等が考えられる。   Here, as the shooting start trigger, it is conceivable that the shutter button is turned on, the shooting timer is started, a swing is detected by an acceleration sensor, the posture (orientation) of the imaging device matches a predetermined direction, and the like.

S202では、システムコントローラ110は、パノラマ画像合成に使用する素材画像を撮影終了トリガーを受けるまで繰り返し撮影する。   In S202, the system controller 110 repeatedly shoots a material image used for panoramic image synthesis until receiving a shooting end trigger.

S203では、システムコントローラ110は、撮影者により撮影終了トリガーが入力されると、素材画像の撮影を終了する。ここで、撮影終了トリガーとしては、シャッターボタンのオフ、タイマーによる終了、加速度センサで撮像装置の停止を検知する、撮像装置の姿勢(向き)が所定の方位と一致する等が考えられる。   In S203, the system controller 110 ends the shooting of the material image when the shooting end trigger is input by the photographer. Here, as the shooting end trigger, it is conceivable that the shutter button is turned off, the timer is ended, the stop of the image pickup apparatus is detected by an acceleration sensor, the posture (orientation) of the image pickup apparatus matches a predetermined direction, and the like.

S204では、システムコントローラ110は、S201からS203までに撮影された素材画像からパノラマ画像合成に使用する領域として、撮影者の写っていない領域(背景領域)のみを背景領域の素材画像として抽出する。抽出方法としては、公知の被写体検出方法、例えば顔検出方法を用いて被写体領域を特定し、特定した被写体領域を含む短冊領域(パンニング方向に対して垂直な方向に列単位で分割された領域)を除外した領域を抽出する。ちなみに顔検出方法については予め記憶された目、口などの情報に基づくパターンマッチングなどが例として挙げられる。図5は撮影された素材画像の例である。背景領域として画像500の左端の領域501または右端の領域502または両方を抽出する。また、被写体領域の特定はすべての画像に行う必要は必ずしもなく、1つの画像の被写体(撮影者)検出結果に基づいて他の画像の抽出領域を決定しても良い。さらに、上述したようなUIによって被写体領域は常に所定領域に収まるとみなして、所定の被写体領域と被写体領域以外の背景領域が予め設定されていてもよい。   In S204, the system controller 110 extracts only a region (background region) in which the photographer is not captured as a background region material image as a region used for panoramic image synthesis from the material images photographed in S201 to S203. As an extraction method, a known subject detection method, for example, a face detection method is used to identify a subject region, and a strip region including the identified subject region (region divided in units of columns in a direction perpendicular to the panning direction) Extract the area excluding. Incidentally, as for the face detection method, pattern matching based on information such as eyes and mouth stored in advance is exemplified. FIG. 5 is an example of a photographed material image. As the background area, the leftmost area 501 or the rightmost area 502 of the image 500 or both are extracted. The subject region need not be specified for all images, and the extraction region of another image may be determined based on the subject (photographer) detection result of one image. Further, the subject area may always be included in the predetermined area by the UI as described above, and a predetermined subject area and a background area other than the subject area may be set in advance.

S205では、システムコントローラ110は、S204で抽出された背景領域のみの画像を1枚の背景パノラマ画像に合成する背景画像生成処理を行う。背景画像の合成では、背景画像の撮影順に、撮像装置がパンされた方向に画像が繋がるように合成していく。合成する位置は左側と右側の画像でマッチングを行い、ある範囲でサーチしたときに一番評価の高い位置とする。   In S205, the system controller 110 performs a background image generation process that combines the image of only the background area extracted in S204 with one background panorama image. In the synthesis of the background image, the synthesis is performed so that the images are connected in the panning direction of the imaging device in the order of photographing the background image. The positions to be combined are matched with the left and right images, and the highest evaluated position is obtained when searching within a certain range.

図6は本実施形態のパノラマ画像を合成する様子を示している。パノラマ撮影により得られた複数の素材画像から撮影者の写っていない部分(背景領域)を抽出し、その背景領域のみを用いて背景パノラマ画像を合成する。背景パノラマ画像を合成した後、素材画像から撮影者が写っている画像(人物画像)を選択し、背景パノラマ画像上に重ねて合成する。   FIG. 6 shows how a panoramic image of this embodiment is synthesized. A portion (background region) where a photographer is not captured is extracted from a plurality of material images obtained by panoramic photographing, and a background panoramic image is synthesized using only the background region. After the background panorama image is synthesized, an image (person image) in which the photographer is photographed is selected from the material images, and is superimposed on the background panorama image and synthesized.

図6では2枚の画像を合成する様子を示しており、パノラマ画像を撮影するときの規則として例えば横方向に最小10%、最大50%オーパーラップさせ、且つ縦方向のずれを夫々5%以下に定めた場合、オーバーラップする最小範囲は図中の領域603となり、オーバーラップする最大範囲は領域604となる。そして、図中の領域603内にある点Pに対応する点は、図中の領域605に存在することとなる。すなわち、領域605がサーチ領域となる。このサーチ領域605内において点Pを走査させながらマッチングを行い、評価の高い位置を見つける。   FIG. 6 shows a state in which two images are combined. As a rule for shooting a panoramic image, for example, a minimum overlap of 10% and a maximum of 50% in the horizontal direction, and a vertical shift of 5% or less, respectively. In this case, the minimum overlapping range is a region 603 in the drawing, and the maximum overlapping range is a region 604. And the point corresponding to the point P in the area | region 603 in a figure will exist in the area | region 605 in a figure. That is, the area 605 becomes a search area. Matching is performed while scanning the point P in the search area 605 to find a highly evaluated position.

S206では、システムコントローラ110は、S205で合成した背景パノラマ画像に重ねるための撮影者の写っている素材画像(人物画像)を選択する。ここで選択する枚数は1枚でなくてもよい。撮像装置100の表示部150上にS205で合成した背景パノラマ画像を表示し、その画像上に人物画像を重ねて表示する。撮影者はボタン操作等で表示する人物画像を切り替えることができる。   In S206, the system controller 110 selects a material image (person image) in which the photographer is photographed to be superimposed on the background panoramic image synthesized in S205. The number selected here may not be one. The background panoramic image synthesized in S205 is displayed on the display unit 150 of the imaging apparatus 100, and the person image is displayed over the image. The photographer can switch the person image to be displayed by a button operation or the like.

このとき人物画像を重ねる位置は、背景パノラマ画像を合成する際に使用した複数の素材画像の中から人物画像と同じものを選び、それぞれの背景領域が重なるように配置する(図7参照)
撮影者は表示部150を見ながら自分の画像(素材画像)を選択する。
At this time, the position where the person images are superimposed is selected from the plurality of material images used when the background panorama image is synthesized, and is arranged so that the background areas overlap each other (see FIG. 7).
The photographer selects his / her image (material image) while viewing the display unit 150.

ここで、撮影者による人物画像の選択を補助するために、撮像装置がお勧めの素材画像を選択し、撮影者に選択可能に提示してもよい。お勧め素材画像の選択方法としては以下のようなものが考えられる。   Here, in order to assist the photographer in selecting a human image, the imaging device may select a recommended material image and present it to the photographer in a selectable manner. The following can be considered as a method for selecting a recommended material image.

(4)パノラマ画像に対して任意の位置になる人物画像
パノラマ画像の中央にくる人物画像や、3分割構図になるようパノラマ画像の3分の1の位置にくる人物画像等、任意の位置になる人物画像を選択し撮影者に提示する。
(4) A person image at an arbitrary position with respect to the panorama image A person image at the center of the panorama image or a person image at a position one third of the panorama image so as to form a three-part composition Is selected and presented to the photographer.

(5)目を閉じていない人物画像
顔認識等を用いて人物画像の目の開閉を判断し、眼の閉じていない画像を選択する。
(5) Person image without eyes closed Judgment of opening / closing of eyes of a person image using face recognition or the like, and selecting an image without eyes closed.

(6)逆光にならない人物画像
(7)特定の方向を向いている人物画像
撮像装置が特定の方位を向いているときに撮影された人物画像を選択する。
(6) A person image that is not backlit (7) A person image that faces a specific direction A person image that is captured when the imaging device is facing a specific direction is selected.

(8)特定の方向と被っていない人物画像
撮像装置が特定の方位を向いているときに撮影された人物画像を選択しない。例えば、GPS情報等からランドマークのある方向が分かる場合、その方向に人物が被らないような人物画像を選択できる。
(8) Person image not covered with specific direction The person image photographed when the imaging device is facing a specific direction is not selected. For example, when the direction of the landmark is known from GPS information or the like, it is possible to select a person image that does not cover a person in that direction.

上記複数の条件を考慮した判定を行っても良い。   The determination may be performed in consideration of the plurality of conditions.

S207では、システムコントローラ110は、S205で生成した背景パノラマ画像と、S206で選択された人物画像とを合成する。合成位置はS206で人物画像を表示した背景画像上である。   In S207, the system controller 110 synthesizes the background panorama image generated in S205 and the person image selected in S206. The composition position is on the background image on which the person image is displayed in S206.

このときの撮影の状況によっては、人物画像において背景領域として使用しなかった側の画像の縁が背景画像と必ずしも奇麗に重ならないことがある。そのため、人物画像の背景領域として使わなかった側の画像の縁をぼかし処理をして、切れ目を目立たなくする等の処理をしてもよい。   Depending on the shooting situation at this time, the edge of the image that is not used as the background area in the person image may not necessarily overlap cleanly with the background image. For this reason, it may be possible to perform processing such as blurring an edge of an image on the side that is not used as a background area of a person image so that the cut is inconspicuous.

[実施形態2]図8及び図9を参照して、実施形態2のパノラマ画像合成処理について説明する。なお、本実施形態の撮像装置の構成は、実施形態1と同様である。   [Embodiment 2] With reference to FIGS. 8 and 9, the panoramic image composition processing of Embodiment 2 will be described. Note that the configuration of the imaging apparatus of the present embodiment is the same as that of the first embodiment.

図8は実施形態2のパノラマ画像を合成する様子を示している。本実施形態では、撮影者の写っている素材画像(人物画像)を1枚決め、それより左側は素材画像の左端だけを、それより右側は素材画像の右端だけを使用してパノラマ画像を合成する。人物画像の決定は素材画像の撮影後に行う。   FIG. 8 shows a state in which the panoramic image of the second embodiment is synthesized. In this embodiment, one material image (person image) showing the photographer is determined, and the panorama image is synthesized using only the left edge of the material image on the left side and only the right edge of the material image on the right side. To do. The person image is determined after the material image is taken.

<パノラマ画像合成処理>図9を参照して、本実施形態のパノラマ撮影画像からパノラマ画像を合成する処理について説明する。なお、図9の処理も、システムコントローラ110が、ROMに格納された制御プログラムを、RAMのワークエリアに展開し、実行することで実現される。   <Panorama Image Synthesis Processing> Processing for synthesizing a panorama image from a panorama shot image according to this embodiment will be described with reference to FIG. 9 is also realized by the system controller 110 developing and executing a control program stored in the ROM in the work area of the RAM.

図9において、S901〜S903は、図2のS201〜S203と同様の処理を行う。   9, S901 to S903 perform the same processing as S201 to S203 in FIG.

S904では、システムコントローラ110は、図2のS206と同様に、S901からS903で撮影した素材画像から背景領域に重ねるための撮影者の写っている素材画像(人物画像)を選択する。ここで選択する枚数は1枚でなくてもよい。撮像装置100の表示部150上に人物画像を表示する。撮影者はボタン操作等で表示する人物画像を切り替えながら自分の画像(素材画像)を選択する。   In S904, the system controller 110 selects a material image (person image) showing a photographer to be superimposed on the background area from the material images photographed in S901 to S903, as in S206 of FIG. The number selected here may not be one. A person image is displayed on the display unit 150 of the imaging apparatus 100. The photographer selects his / her image (material image) while switching the person image to be displayed by button operation or the like.

ここで、撮影者による人物画像の選択を補助するために、撮像装置がお勧めの素材画像を選択し、撮影者に選択可能に提示してもよい。お勧め素材画像の選択方法としては上記S206と同様である。   Here, in order to assist the photographer in selecting a human image, the imaging device may select a recommended material image and present it to the photographer in a selectable manner. The method for selecting a recommended material image is the same as that in S206.

S905では、システムコントローラ110は、図2のS204と同様に、S901からS903までに撮影された素材画像からパノラマ画像合成に使用する背景領域を抽出する。   In S905, the system controller 110 extracts a background area used for panoramic image synthesis from the material images photographed in S901 to S903, as in S204 of FIG.

S906とS907では、システムコントローラ110は、S904で選択した人物画像と、S905で抽出した背景領域の画像を1枚のパノラマ画像に合成する。   In S906 and S907, the system controller 110 combines the person image selected in S904 and the background region image extracted in S905 into one panoramic image.

このパノラマ画像合成では、撮影順に素材画像を並べ、人物画像として選択された素材画像を中心に、素材画像の左側から抽出した背景画像は左側に、素材画像の右側から抽出した背景画像は右側に、それぞれ繋がるように合成していく。合成する位置は左側と右側の画像でマッチングを行い、ある範囲でサーチしたときに一番評価の高い位置とする。マッチング方法は実施形態1と同様である。   In this panoramic image composition, material images are arranged in the order of shooting, with the background image extracted from the left side of the material image centered on the material image selected as the person image, the background image extracted from the right side of the material image is on the right side. , And combine them so that they are connected. The positions to be combined are matched with the left and right images, and the highest evaluated position is obtained when searching within a certain range. The matching method is the same as in the first embodiment.

[実施形態3]図10を参照して、実施形態3のパノラマ画像合成処理について説明する。なお、本実施形態の撮像装置の構成は、実施形態1と同様である。   [Third Embodiment] With reference to FIG. 10, a panoramic image synthesis process according to a third embodiment will be described. Note that the configuration of the imaging apparatus of the present embodiment is the same as that of the first embodiment.

本実施形態では、図8に示す実施形態2と同様に、撮影者の写っている素材画像(人物画像)を1枚決め、それより左側は素材画像の左端だけを、それより右側は素材画像の右端だけを使用してパノラマ画像を合成する。人物画像の決定は素材画像の撮影前または撮影中に行う。   In the present embodiment, as in the second embodiment shown in FIG. 8, one material image (person image) in which the photographer is photographed is determined, the left side of the material image is only the left edge of the material image, and the right side is the material image. A panoramic image is synthesized using only the right edge of. The person image is determined before or during the shooting of the material image.

<パノラマ画像合成処理>図10を参照して、本実施形態の撮影画像からパノラマ画像を合成する処理について説明する。なお、図10の処理も、システムコントローラ110が、ROMに格納された制御プログラムを、RAMのワークエリアに展開し、実行することで実現される。   <Panorama Image Synthesis Processing> Processing for synthesizing a panoramic image from a captured image according to this embodiment will be described with reference to FIG. Note that the processing of FIG. 10 is also realized by the system controller 110 developing and executing a control program stored in the ROM in the work area of the RAM.

図10において、S1001は、図2のS201と同様の処理を行い、S1006〜S1009は、図9のS903〜S907と同様の処理を行う。   10, S1001 performs the same processing as S201 of FIG. 2, and S1006 to S1009 performs the same processing as S903 to S907 of FIG.

S1002とS1003では、システムコントローラ110は、パノラマ画像合成で使用する背景用の素材画像を人物画像の撮影位置になるまで繰り返し撮影する。このときISレンズまたは撮像素子の移動等で人物が素材画像の端になるように撮影すると、背景領域を大きくとることができる。   In S1002 and S1003, the system controller 110 repeatedly shoots the background material image used in the panoramic image synthesis until the person image capturing position is reached. At this time, if the person is photographed so as to be at the edge of the material image by moving the IS lens or the image sensor, the background area can be enlarged.

S1003で人物画像の撮影位置になった場合、背景用の素材画像の撮影を中断して、人物画像の撮影を行う。このとき、人物画像の撮影に備え、人物が画像の中央になるよう、ISレンズまたは撮像素子を移動させる。   When the position of the person image is reached in S1003, the background material image is interrupted and the person image is captured. At this time, the IS lens or the image sensor is moved so that the person is in the center of the image in preparation for taking a human image.

人物画像の撮影位置の判定方法は以下のようなものが考えられる。   The following method can be considered as the method for determining the shooting position of a person image.

(9)パノラマ画像に対して任意の位置になる人物画像
撮影開始前に、合成後のパノラマ画像の長さや、撮影時間、方位が分かる場合はスイング角度等を決めておき、それらの設定から完成されるパノラマ画像に対して、人物が特定の位置になるように人物画像を撮影する。
(9) Human image at an arbitrary position with respect to the panorama image Before the start of shooting, if you know the length, shooting time, and orientation of the combined panorama image, determine the swing angle, etc. and complete from those settings A person image is photographed so that the person is at a specific position with respect to the panorama image to be displayed.

特定の位置として、画像の中央、3分割構図にあたる位置等が考えられる。   As the specific position, the center of the image, a position corresponding to a three-part composition, or the like can be considered.

(10)目を閉じていない人物画像
顔認識等を用いて人物画像の目の開閉を判断し、眼の閉じていないタイミングで撮影する。
(10) Person image with eyes not closed The face of the person image is determined to be opened or closed using face recognition or the like, and the image is taken when the eyes are not closed.

(11)逆光にならない人物画像
逆にならない位置で撮影する。
(11) A person image that is not backlit Take a picture at a position that is not backlit.

(12)特定の方向を向いている人物画像
撮像装置が特定の方位を向いているときに人物画像を撮影する。
(12) A person image facing a specific direction A person image is captured when the imaging apparatus is facing a specific direction.

向いている方向を取得できる撮像装置において、撮像装置が特定の方位を向いているときに人物画像を撮影する。   In an imaging apparatus that can acquire a direction in which the camera is facing, a person image is captured when the imaging apparatus is facing a specific direction.

(13)特定の方向と被っていない人物画像
撮像装置が特定の方位を向いているとき以外に人物画像を撮影する。例えば、GPS情報等からランドマークのある方向が分かる場合、その方向と人物が被らないように撮影する。
(13) Human image not covered with specific direction A human image is taken except when the imaging device is facing a specific direction. For example, when the direction of the landmark is known from GPS information or the like, shooting is performed so that the person and the direction are not covered.

上記複数の条件を考慮した判定を行っても良い。また、撮影者のボタン操作等、任意のタイミングで人物画像の撮影を行っても良い。   The determination may be performed in consideration of the plurality of conditions. Further, a person image may be taken at an arbitrary timing such as a button operation of the photographer.

S1004では、システムコントローラ110は、撮影者の写っている素材画像(人物画像)を撮影する。撮影枚数は1枚でなくても良い。また、フラッシュ117を発光することで人物の顔を明るく撮影することもできる。   In S1004, the system controller 110 captures a material image (person image) in which the photographer is photographed. The number of shots need not be one. In addition, it is possible to brightly photograph a human face by emitting the flash 117.

S1005とS1006では、システムコントローラ110は、撮影終了トリガーを受けるまで、素材画像の撮影を繰り返す。このとき、ISレンズまたは撮像素子の移動等で、人物がS1002で撮影された素材画像とは反対側の端部に位置するように撮影する。   In S1005 and S1006, the system controller 110 repeats the capturing of the material image until receiving a capturing end trigger. At this time, due to the movement of the IS lens or the image sensor, the person is photographed so as to be positioned at the end opposite to the material image photographed in S1002.

S1006で撮影終了後、図9のS905〜S907と同様に、人物画像と背景領域画像を1枚のパノラマ画像に合成する。   After the end of shooting in S1006, the person image and the background area image are combined into one panoramic image, as in S905 to S907 of FIG.

[他の実施形態]本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。   [Other Embodiments] The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the program code. It is processing to do. In this case, the program and the storage medium storing the program constitute the present invention.

Claims (13)

撮影手段と、前記撮影手段により撮影された複数の画像を合成する合成手段とを有する撮像装置であって、
前記撮影手段により撮影された画像から被写体を検出する被写体検出手段と、
前記被写体検出手段の検出結果に基づいて前記複数の画像から背景領域を抽出する背景抽出手段と、
前記背景領域が抽出された画像を繋ぎ合わせるように合成して前記複数の画像よりも画角の広い背景画像を生成する背景画像生成手段と、
前記複数の画像から前記被写体検出手段により被写体が検出された画像を選択し、前記背景画像生成手段により生成された背景画像に合成してパノラマ画像を生成するパノラマ画像合成手段と、を有することを特徴とする撮像装置。
An imaging apparatus comprising: an imaging unit; and a combining unit that combines a plurality of images captured by the imaging unit,
Subject detection means for detecting a subject from an image photographed by the photographing means;
Background extraction means for extracting a background region from the plurality of images based on a detection result of the subject detection means;
A background image generating means for generating a background image having a wider angle of view than the plurality of images by combining the extracted background regions so as to connect the extracted images;
A panorama image synthesizing unit that selects an image in which the subject is detected by the subject detection unit from the plurality of images and synthesizes the image with the background image generated by the background image generation unit to generate a panorama image. An imaging device that is characterized.
撮影手段と、前記撮影手段により撮影された複数の画像を合成する合成手段とを有する撮像装置であって、
前記撮影手段により撮影された画像から被写体を検出する被写体検出手段と、
前記複数の画像のうちの1つの画像に対して、他の画像の前記被写体領域以外の領域を合成して、前記複数の画像それぞれよりも画角の広いパノラマ画像を生成するパノラマ画像合成手段と、を有し、
前記パノラマ画像合成手段によって、前記1つの画像に対して左の画角に合成される画像は、前記他の画像から前記被写体が検出された領域の左側の領域を抽出して合成したものであり、前記1つの画像に対して右の画角に合成される画像は、前記他の画像から前記被写体が検出された領域の右側の領域を抽出して合成したものであることを特徴とする撮像装置。
An imaging apparatus comprising: an imaging unit; and a combining unit that combines a plurality of images captured by the imaging unit,
Subject detection means for detecting a subject from an image photographed by the photographing means;
Panorama image synthesizing means for synthesizing an area other than the subject area of another image with one of the plurality of images to generate a panoramic image having a wider angle of view than each of the plurality of images; Have
The image synthesized at the left angle of view with respect to the one image by the panoramic image synthesizing means is obtained by extracting and synthesizing the left area of the area where the subject is detected from the other image. The image combined at the right angle of view with respect to the one image is obtained by extracting and synthesizing a region on the right side of the region where the subject is detected from the other image. apparatus.
前記撮像装置の動作モードをパノラマ撮影モードに設定するモード設定手段を更に有することを特徴とする請求項1または2に記載の撮像装置。   The imaging apparatus according to claim 1, further comprising mode setting means for setting an operation mode of the imaging apparatus to a panoramic shooting mode. 前記パノラマ撮影モードにおいて、撮影レンズを広角側に変更するズーム制御手段と、
絞り値を大きい値に変更する絞り制御手段と、を更に有することを特徴とする請求項3に記載の撮像装置。
Zoom control means for changing the photographic lens to the wide angle side in the panoramic shooting mode;
The imaging apparatus according to claim 3, further comprising aperture control means for changing the aperture value to a large value.
前記パノラマ撮影モードにおいて、前記撮影手段は、手ブレ補正用のレンズまたは撮像素子をずらすことにより被写体の位置を端部に移動することを特徴とする請求項3に記載の撮像装置。   The imaging apparatus according to claim 3, wherein in the panoramic shooting mode, the imaging unit moves the position of the subject to an end by shifting a lens for correcting camera shake or an imaging element. 前記パノラマ撮影モードにおいて、前記背景領域となる部分を表示する表示手段を更に有することを特徴とする請求項3に記載の撮像装置。   The imaging apparatus according to claim 3, further comprising display means for displaying a portion to be the background area in the panoramic shooting mode. 前記複数の画像から撮影者が写っている画像を選択可能に提示する提示手段を更に有することを特徴とする請求項1ないし6のいずれか1項に記載の撮像装置。   The imaging apparatus according to claim 1, further comprising a presentation unit that presents an image of a photographer in a selectable manner from the plurality of images. 前記複数の画像から前記被写体が検出された画像を選択することに代えて、前記撮影手段は、前記画像の撮影中に前記被写体の写っている画像の撮影位置となった場合、当該画像の撮影を中断して、前記被写体の写っている画像の撮影を行うことを特徴とする請求項2に記載の撮像装置。   Instead of selecting an image in which the subject is detected from the plurality of images, the photographing unit captures the image when the photographing position of the image in which the subject is captured is captured during the photographing of the image. The imaging apparatus according to claim 2, wherein the image is captured while the subject is captured. 前記被写体の写っている画像の撮影を行う場合に、前記撮影手段は、手ブレ補正用のレンズまたは撮像素子をずらすことにより前記被写体が画像の中央に位置するように撮影位置を変更することを特徴とする請求項8に記載の撮像装置。   When photographing an image in which the subject is photographed, the photographing means changes the photographing position so that the subject is located at the center of the image by shifting a lens for correcting camera shake or an image sensor. The imaging apparatus according to claim 8, wherein the imaging apparatus is characterized. 撮影手段と、前記撮影手段により撮影された複数の画像を合成する合成手段とを有する撮像装置の制御方法であって、
前記撮影手段により撮影された画像から被写体を検出する被写体検出ステップと、
前記被写体検出ステップの検出結果に基づいて前記複数の画像から背景領域を抽出する背景抽出ステップと、
前記背景領域が抽出された画像を繋ぎ合わせるように合成して前記複数の画像よりも画角の広い背景画像を生成する背景画像生成ステップと、
前記複数の画像から前記被写体検出ステップにより被写体が検出された画像を選択し、前記背景画像生成ステップにより生成された背景画像に合成してパノラマ画像を生成するパノラマ画像合成ステップと、を有することを特徴とする撮像装置の制御方法。
An imaging apparatus control method comprising: an imaging unit; and a combining unit that combines a plurality of images captured by the imaging unit,
A subject detection step of detecting a subject from an image photographed by the photographing means;
A background extraction step of extracting a background region from the plurality of images based on a detection result of the subject detection step;
A background image generation step of generating a background image having a wider angle of view than the plurality of images by combining the extracted background regions so as to connect the extracted images;
A panoramic image synthesis step of selecting an image in which the subject is detected by the subject detection step from the plurality of images and synthesizing the image with the background image generated by the background image generation step to generate a panoramic image. A control method for an imaging apparatus.
撮影手段と、前記撮影手段により撮影された複数の画像を合成する合成手段とを有する撮像装置の制御方法であって、
前記撮影手段により撮影された画像から被写体を検出する被写体検出ステップと、
前記複数の画像のうちの1つの画像に対して、他の画像の前記被写体領域以外の領域を合成して、前記複数の画像それぞれよりも画角の広いパノラマ画像を生成するパノラマ画像合成ステップと、を有し、
前記パノラマ画像合成ステップによって、前記1つの画像に対して左の画角に合成される画像は、前記他の画像から前記被写体が検出された領域の左側の領域を抽出して合成したものであり、前記1つの画像に対して右の画角に合成される画像は、前記他の画像から前記被写体が検出された領域の右側の領域を抽出して合成したものであることを特徴とする撮像装置の制御方法。
An imaging apparatus control method comprising: an imaging unit; and a combining unit that combines a plurality of images captured by the imaging unit,
A subject detection step of detecting a subject from an image photographed by the photographing means;
A panoramic image synthesis step of synthesizing an area other than the subject area of another image with one image of the plurality of images to generate a panoramic image having a wider angle of view than each of the plurality of images; Have
The image synthesized at the left angle of view with respect to the one image by the panoramic image synthesis step is an image obtained by extracting an area on the left side of the area where the subject is detected from the other image. The image combined at the right angle of view with respect to the one image is obtained by extracting and synthesizing a region on the right side of the region where the subject is detected from the other image. Control method of the device.
コンピュータを、請求項1ないし9のいずれか1項に記載された撮像装置の各手段として機能させるためのプログラム。   The program for functioning a computer as each means of the imaging device described in any one of Claims 1 thru | or 9. コンピュータを、請求項1ないし9のいずれか1項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータにより読み取り可能な記憶媒体。   A computer-readable storage medium storing a program for causing a computer to function as each unit of the imaging apparatus according to any one of claims 1 to 9.
JP2012210148A 2012-09-24 2012-09-24 Imaging apparatus and control method of the same, program and storage medium Pending JP2014068081A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012210148A JP2014068081A (en) 2012-09-24 2012-09-24 Imaging apparatus and control method of the same, program and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012210148A JP2014068081A (en) 2012-09-24 2012-09-24 Imaging apparatus and control method of the same, program and storage medium

Publications (1)

Publication Number Publication Date
JP2014068081A true JP2014068081A (en) 2014-04-17

Family

ID=50744109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012210148A Pending JP2014068081A (en) 2012-09-24 2012-09-24 Imaging apparatus and control method of the same, program and storage medium

Country Status (1)

Country Link
JP (1) JP2014068081A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3107278A3 (en) * 2015-06-16 2017-02-15 LG Electronics Inc. Mobile terminal and method of controlling the same
JP2019054447A (en) * 2017-09-15 2019-04-04 キヤノン株式会社 Imaging control apparatus and control method therefor, program and storage medium
JP2019067312A (en) * 2017-10-04 2019-04-25 キヤノン株式会社 Image processor, imaging device, and image processor control method and program
JP2019068243A (en) * 2017-09-29 2019-04-25 キヤノン株式会社 Image processing apparatus, imaging apparatus, control method of image processing apparatus, and program
KR20190066384A (en) * 2017-12-05 2019-06-13 한국항공대학교산학협력단 Apparatus and method for compose panoramic image based on image segment

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3107278A3 (en) * 2015-06-16 2017-02-15 LG Electronics Inc. Mobile terminal and method of controlling the same
US10033925B2 (en) 2015-06-16 2018-07-24 Lg Electronics Inc. Mobile terminal and method of controlling the same
JP2019054447A (en) * 2017-09-15 2019-04-04 キヤノン株式会社 Imaging control apparatus and control method therefor, program and storage medium
JP7030458B2 (en) 2017-09-15 2022-03-07 キヤノン株式会社 Imaging control device, its control method, and program, and storage medium
JP2019068243A (en) * 2017-09-29 2019-04-25 キヤノン株式会社 Image processing apparatus, imaging apparatus, control method of image processing apparatus, and program
JP2019067312A (en) * 2017-10-04 2019-04-25 キヤノン株式会社 Image processor, imaging device, and image processor control method and program
JP7023662B2 (en) 2017-10-04 2022-02-22 キヤノン株式会社 Image processing device, image pickup device, control method and program of image processing device
KR20190066384A (en) * 2017-12-05 2019-06-13 한국항공대학교산학협력단 Apparatus and method for compose panoramic image based on image segment
KR101994112B1 (en) 2017-12-05 2019-06-28 한국항공대학교산학협력단 Apparatus and method for compose panoramic image based on image segment

Similar Documents

Publication Publication Date Title
JP2013013050A (en) Imaging apparatus and display method using imaging apparatus
US8576320B2 (en) Digital photographing apparatus and method of controlling the same
JP2014057247A (en) Imaging apparatus, imaging processing method and program
JP2011109427A (en) Compound-eye imaging apparatus
JP5228354B2 (en) Digital camera
JP2008104069A (en) Digital camera and program of digital camera
JP2014068081A (en) Imaging apparatus and control method of the same, program and storage medium
JP2009171428A (en) Control method and program for digital camera apparatus and electronic zoom
JP2005143112A (en) Camera and method concerning the same
JP4747673B2 (en) Electronic camera and image processing program
JP5448868B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2019169985A (en) Image processing apparatus
JP2018033013A (en) Control device, imaging apparatus, control method, program, and memory medium
JP2008054031A (en) Digital camera and display control method
JP6242428B2 (en) Imaging apparatus and imaging method
JP2008199443A (en) Imaging apparatus and control method therefor
JP2014107777A (en) Imaging apparatus, imaging method and program
JP2006165600A (en) Photographing apparatus
JP2009139423A (en) Imaging apparatus and subject distance calculating method
JP2009071717A (en) Image pickup apparatus and focusing condition displaying method
JP6357922B2 (en) Image processing apparatus, image processing method, and program
JP5967422B2 (en) Imaging apparatus, imaging processing method, and program
JP2010034838A (en) Electronic camera
JP6724527B2 (en) Imaging device, imaging control method and program
JP6013574B2 (en) Imaging apparatus and imaging method