JP2020061760A

JP2020061760A - Imaging apparatus

Info

Publication number: JP2020061760A
Application number: JP2019231500A
Authority: JP
Inventors: 大大塚; Masaru Otsuka
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2019-12-23
Filing date: 2019-12-23
Publication date: 2020-04-16
Anticipated expiration: 2031-05-10
Also published as: JP7001087B2; JP2022036153A

Abstract

To provide an imaging apparatus capable of performing suitable imaging.SOLUTION: An imaging apparatus comprises: an imaging unit for imaging a plurality of images while changing an imaging direction; a display unit for displaying an image captured by the imaging unit; and an image processing unit for generating a composite image on the basis of the plurality of images. When the imaging unit cannot acquire an image suitable for generation of a composite image, the display unit switches to a warning display to a user.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置に関する。 The present invention relates to an image pickup device.

従来、デジタルカメラなどをパンさせながら複数の画像を撮像し、それらの画像を順次つなぎ合わせることにより、パノラマ画像を生成する。例えば、特許文献１には、動画のフレーム画像を用いて、パノラマ合成処理する技術が開示されている。 Conventionally, a panoramic image is generated by capturing a plurality of images while panning a digital camera or the like and sequentially joining the images. For example, Patent Document 1 discloses a technique of performing panorama synthesis processing using moving image frame images.

特開２０００−２４４８１４号公報JP-A-2000-244814

しかしながら、従来技術では、パンによる移動量が大きすぎて画像と画像とをつなぎ合わせることができない場合、再度最初から画像を撮像し直さなければならない。 However, in the conventional technique, when the amount of movement due to panning is too large to combine the images, it is necessary to capture the image again from the beginning.

本実施形態の課題は、好適な撮像が可能な撮像装置を提供することにある。 An object of the present embodiment is to provide an imaging device capable of suitable imaging.

本発明を例示する撮像装置の一態様は、撮像方向を変更しながら複数の画像を撮像する撮像部と、撮像部によって撮像された画像を表示する表示部と、複数の画像に基づいて合成画像を生成する画像処理部と、を備え、表示部は、撮像部が合成画像の生成に適した画像を取得できない場合、ユーザへの警告表示に切り替える。 One aspect of an image pickup apparatus exemplifying the present invention is an image pickup unit that picks up a plurality of images while changing an image pickup direction, a display unit that displays an image picked up by the image pickup unit, and a composite image based on the plurality of images. And an image processing unit that generates a. The display unit switches to a warning display to the user when the image capturing unit cannot acquire an image suitable for generating a composite image.

本実施形態によれば、好適な撮像が可能な撮像装置を提供することができる。 According to this embodiment, it is possible to provide an imaging device capable of performing suitable imaging.

一の実施形態のデジタルカメラの構成を示すブロック図Block diagram showing the configuration of a digital camera of one embodiment 一の実施形態のデジタルカメラの画像処理の動作を示すフローチャートFlowchart showing the operation of the image processing of the digital camera of one embodiment パノラマモードにおけるモニタの表示の一例を示す図（その１）The figure which shows one example of the display of the monitor in panorama mode (the 1) パノラマモードにおけるモニタの表示の一例を示す図（その２）The figure which shows one example of the display of the monitor in panorama mode (the 2) パノラマモードにおけるモニタの表示の別例を示す図The figure which shows another example of the display of the monitor in panorama mode パノラマモードにおけるモニタの表示の他の例を示す図The figure which shows the other example of the display of the monitor in the panorama mode.

図１は、本発明の一の実施形態のデジタルカメラの構成を示すブロック図である。 FIG. 1 is a block diagram showing the configuration of a digital camera according to an embodiment of the present invention.

本実施形態のデジタルカメラは、撮像光学系１１、撮像素子１２、ＡＦＥ１３、ＣＰＵ１４、メモリ１５、モニタ１６、記録インタフェース（Ｉ／Ｆ）１７、操作部材１９、レリーズ釦２０、タッチパネル２１、バスから構成される。ＣＰＵ１４、メモリ１５、モニタ１６、記録Ｉ／Ｆ１７は、バスを介して情報伝達可能にそれぞれ接続される。また、操作部材１９、レリーズ釦２０、タッチパネル２１は、それぞれＣＰＵ１４に接続される。なお、本実施形態のデジタルカメラは、撮影モードの１機能として、被写界を分割撮像した複数の画像から１枚のパノラマ画像を生成するパノラマモードを有するものとする。 The digital camera of this embodiment includes an image pickup optical system 11, an image pickup device 12, an AFE 13, a CPU 14, a memory 15, a monitor 16, a recording interface (I / F) 17, an operation member 19, a release button 20, a touch panel 21, and a bus. To be done. The CPU 14, the memory 15, the monitor 16, and the recording I / F 17 are connected to each other via a bus so that information can be transmitted. The operation member 19, the release button 20, and the touch panel 21 are connected to the CPU 14, respectively. Note that the digital camera of the present embodiment has, as one function of the shooting mode, a panoramic mode in which one panoramic image is generated from a plurality of images obtained by dividing and shooting a field.

撮像光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成される。撮像光学系１１のレンズ位置は、レンズ駆動部（不図示）によって光軸方向に調整される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。 The imaging optical system 11 is composed of a plurality of lens groups including a zoom lens and a focusing lens. The lens position of the imaging optical system 11 is adjusted in the optical axis direction by a lens driving unit (not shown). Note that, for simplicity, the imaging optical system 11 is illustrated as a single lens in FIG.

撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写界を撮像するデバイスである。この撮像素子１２の出力はＡＦＥ１３に入力される。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤ等）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳ等）であってもよい。 The image pickup device 12 is a device for picking up an image of a field formed by a light flux that has passed through the image pickup optical system 11. The output of the image pickup device 12 is input to the AFE 13. The image pickup device 12 of the present embodiment may be a progressive scan type solid state image pickup device (CCD or the like) or an XY address type solid state image pickup device (CMOS or the like).

また、撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２は、カラーの画像を取得できる。 Further, a plurality of light receiving elements are arranged in a matrix on the light receiving surface of the image pickup element 12. In each light receiving element of the image sensor 12, red (R), green (G), and blue (B) color filters are arranged according to a known Bayer array. Therefore, each light receiving element of the image pickup element 12 outputs an image signal corresponding to each color by color separation by the color filter. Thereby, the image sensor 12 can acquire a color image.

ここで、デジタルカメラの撮影モードにおいて、撮像素子１２はレリーズ釦２０の全押し操作に応答して記録画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮影待機時にも所定の時間間隔で構図確認用の低解像度画像（スルー画像）を撮像する。このスルー画像のデータは、撮像素子１２から間引き読み出しで出力される。スルー画像のデータは、モニタ１６での画像表示や、ＣＰＵ１４による各種の演算処理などに使用される。また、撮像素子１２は、撮影モードが動画モードやパノラマモードの場合、本画像として、所定のフレームレート（３０ｆｐｓや６０ｆｐｓなど）で動画を撮像するものとする。 Here, in the shooting mode of the digital camera, the image sensor 12 captures a recorded image (main image) in response to the full-press operation of the release button 20. Further, the image sensor 12 in the shooting mode also captures a low-resolution image (through image) for composition confirmation at predetermined time intervals even during standby for shooting. The data of this through image is output from the image sensor 12 by thinning-out reading. The through image data is used for image display on the monitor 16 and various arithmetic processing by the CPU 14. Further, when the shooting mode is the moving image mode or the panorama mode, the image pickup device 12 takes a moving image as a main image at a predetermined frame rate (30 fps, 60 fps, etc.).

ＡＦＥ１３は、撮像素子１２の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１３は、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換を行う。ＡＦＥ１３の出力は、ＣＰＵ１４に接続される。なお、本実施形態では、撮像素子１２とＡＦＥ１３とで撮像部を構成する。 The AFE 13 is an analog front end circuit that performs analog signal processing on the output of the image sensor 12. The AFE 13 performs correlated double sampling, adjustment of the image signal gain, and A / D conversion of the image signal. The output of the AFE 13 is connected to the CPU 14. In the present embodiment, the image pickup device 12 and the AFE 13 form an image pickup unit.

ＣＰＵ１４は、デジタルカメラの動作を統括的に制御するプロセッサである。ＣＰＵ１４は、制御プログラムを実行することにより、スルー画像のデータに基づいて、位相差検出方式やコントラスト検出方式による公知のオートフォーカス（ＡＦ）制御、自動露出（ＡＥ）演算、オートホワイトバランス演算などを行う。また、ＣＰＵ１４は、設定画面、撮像された本画像やスルー画像の表示処理なども行う。さらに、ＣＰＵ１４は、メモリ１５に記憶された画像処理プログラムの実行により、ＡＦＥ１３から出力されるデジタル画像信号に対する画像処理を行う画像処理部２２として動作する。 The CPU 14 is a processor that generally controls the operation of the digital camera. By executing the control program, the CPU 14 performs well-known autofocus (AF) control, automatic exposure (AE) calculation, automatic white balance calculation, etc. by the phase difference detection method and the contrast detection method based on the through image data. To do. Further, the CPU 14 also performs a setting screen, a display process of the captured main image and through image, and the like. Further, the CPU 14 operates as an image processing unit 22 that performs image processing on the digital image signal output from the AFE 13 by executing the image processing program stored in the memory 15.

画像処理部２２は、ＡＦＥ１３から出力されるデジタル画像信号に対して、各種画像処理（例えば、色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、本実施形態の画像処理部２２は、後述するように、撮影モードが上記パノラマモードに設定された場合、公知のパノラマ合成処理に基づいて、動画撮像されるフレーム（対象画像）を、時系列順につなぎ合わせてパノラマ合成して、パノラマ画像（合成画像）を生成する。 The image processing unit 22 performs various image processing (for example, color interpolation processing, gradation conversion processing, contour emphasis processing, white balance adjustment, etc.) on the digital image signal output from the AFE 13. In addition, as will be described later, the image processing unit 22 of the present embodiment, when the shooting mode is set to the panorama mode, sets a frame (target image) for moving image capturing based on a known panorama synthesis process. A panoramic image (composite image) is generated by connecting in sequence order and performing panorama synthesis.

メモリ１５は、デジタルカメラによって撮像された画像データや、ＣＰＵ１４によって実行される制御プログラムや画像処理プログラムなどを記憶する。メモリ１５には、不揮発性の半導体メモリ等を用いることができる。 The memory 15 stores image data captured by a digital camera, a control program executed by the CPU 14, an image processing program, and the like. A non-volatile semiconductor memory or the like can be used as the memory 15.

モニタ１６は、液晶モニタなどのモニタであり、ＣＰＵ１４の指示に応じて各種設定画面や画像を表示する。 The monitor 16 is a monitor such as a liquid crystal monitor, and displays various setting screens and images according to instructions from the CPU 14.

記録Ｉ／Ｆ１７には、記憶媒体１８を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体１８に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１８の一例としてメモリカードを示す。 The recording I / F 17 is formed with a connector for connecting the storage medium 18. Then, the recording I / F 17 writes / reads data to / from the storage medium 18 connected to the connector. The storage medium 18 is composed of a hard disk, a memory card having a built-in semiconductor memory, or the like. A memory card is shown in FIG. 1 as an example of the storage medium 18.

操作部材１９は、例えば、コマンドダイヤル、十字状のカーソルキー、決定釦等で構成される。そして、操作部材１９はデジタルカメラの各種入力をユーザから受け付ける。例えば、操作部材１９は、デジタルカメラの動作モードの切替操作や、設定画面での入力操作などに用いられる。 The operation member 19 includes, for example, a command dial, a cross-shaped cursor key, an enter button, and the like. Then, the operation member 19 receives various inputs of the digital camera from the user. For example, the operation member 19 is used for an operation of switching the operation mode of the digital camera, an input operation on a setting screen, and the like.

レリーズ釦２０は、半押し操作による撮像前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザから受け付ける。 The release button 20 receives from the user an instruction input to start an AF operation before image capturing by a half-press operation and an instruction input to start an image capturing operation by a full-press operation.

タッチパネル２１は、パネル表面に接触したスタイラス（または指先等）の位置を検出し、検出した位置情報をＣＰＵ１４に出力することでユーザからの指示入力を受け付ける。なお、タッチパネル２１の構成は、静電容量式または感圧式のいずれでもよい。本実施形態のタッチパネル２１は、モニタ１６と同形状の透明のパネルで構成され、モニタ１６の表面全体に積層配置される。ユーザは、モニタ１６に表示されたＧＵＩ形式の釦を視認しつつ、タッチパネル２１を介してＣＰＵ１４に指示入力する。 The touch panel 21 detects the position of the stylus (or fingertip, etc.) in contact with the surface of the panel and outputs the detected position information to the CPU 14 to receive an instruction input from the user. The touch panel 21 may be of a capacitance type or a pressure sensitive type. The touch panel 21 of the present embodiment is composed of a transparent panel having the same shape as the monitor 16, and is stacked on the entire surface of the monitor 16. The user inputs an instruction to the CPU 14 via the touch panel 21 while visually recognizing the GUI-type button displayed on the monitor 16.

次に、図２のフローチャートを参照しつつ、本実施形態のデジタルカメラによる画像処理の動作について説明する。なお、以下において、操作部材１９を介して、ユーザにより撮影モードがパノラマモードに予め設定されているものとする。 Next, the operation of image processing by the digital camera of this embodiment will be described with reference to the flowchart of FIG. In the following, it is assumed that the user has previously set the shooting mode to the panoramic mode via the operation member 19.

ユーザにより操作部材１９のうちの電源釦が押されると、ＣＰＵ１４は、デジタルカメラに電源を投入し各部を初期化する。ＣＰＵ１４は、撮影モードで撮像待機時の場合、撮像素子１２にスルー画像の撮像を開始させ、例えば、そのスルー画像をモニタ１６の表示範囲３０全体に表示する（図３ａ）。ＣＰＵ１４は、ユーザによるレリーズ釦２０の全押し操作の撮像指示に応答して、撮像素子１２にパノラマモードによる被写界の動画撮像を開始させる。同時に、ユーザは、デジタルカメラのパン動作を開始する。なお、本実施形態では、ユーザは、水平方向にデジタルカメラをパンするものとして説明するが、垂直方向などの場合も同様であり説明を省略する。 When the power button of the operation member 19 is pressed by the user, the CPU 14 turns on the power of the digital camera and initializes each unit. The CPU 14 causes the image sensor 12 to start capturing a through image in the image capturing standby state in the image capturing mode, and displays the through image in the entire display range 30 of the monitor 16 (FIG. 3a), for example. The CPU 14 causes the image sensor 12 to start capturing a moving image of the scene in the panoramic mode in response to the user's instruction to fully press the release button 20. At the same time, the user starts the pan operation of the digital camera. In the present embodiment, the user will be described as panning the digital camera in the horizontal direction, but the same applies to the case in the vertical direction and the like description is omitted.

また、ＣＰＵ１４は、パノラマモードの動画撮像を開始すると、モニタ１６の表示を、図３ａに示す表示から図３ｂに示す表示に切り替える。つまり、図３ｂに示すように、ＣＰＵ１４は、スルー画像に代えて、動画撮像された動画のフレームを、モニタ１６の表示範囲３０の右側に配置される表示領域４０に縮小してリアルタイム表示する。一方、ＣＰＵ１４は、後述するパノラマ合成処理により順次生成されるパノラマ画像の一部を、表示範囲３０の左側に配置された表示領域５０にリアルタイム表示する。ただし、図３ｂに示すように、動画撮像開始時点では、パノラマ合成処理されたパノラマ画像がないことから、表示領域５０には何も表示されない。 Further, when starting the moving image capturing in the panorama mode, the CPU 14 switches the display on the monitor 16 from the display shown in FIG. 3a to the display shown in FIG. 3b. That is, as shown in FIG. 3B, the CPU 14 reduces the moving image frame instead of the through image to the display area 40 arranged on the right side of the display range 30 of the monitor 16 and displays it in real time. On the other hand, the CPU 14 displays, in real time, a part of panoramic images sequentially generated by a panorama synthesizing process, which will be described later, in the display area 50 arranged on the left side of the display range 30. However, as shown in FIG. 3B, at the start of moving image capturing, since there is no panoramic image subjected to the panorama synthesis processing, nothing is displayed in the display area 50.

ステップＳ１０１：ＣＰＵ１４は、ＡＥＦ１３を介して、撮像素子１２から出力される１番目のフレームを読み込み、パノラマ合成処理の基準となる合成画像として設定する。そして、ＣＰＵ１４は、２番目のフレームを読み込み、上記合成画像につなぎ合わせられる対象画像として設定する。 Step S101: The CPU 14 reads the first frame output from the image sensor 12 via the AEF 13, and sets it as a composite image that serves as a reference for panorama composition processing. Then, the CPU 14 reads the second frame and sets it as a target image to be stitched to the composite image.

ステップＳ１０２：画像処理部２２は、公知の画像処理により、対象画像および合成画像のエッジ量や色情報などの画像特徴量を抽出する。画像処理部２２は、抽出した画像特徴量に基づいて、対象画像と合成画像との相関処理などにより、ユーザのデジタルカメラのパン動作により、合成画像に対する対象画像の移動量およびパン方向が検出できたか否かを判定する。画像処理部２２は、移動量およびパン方向が検出できた場合、ステップＳ１０３（ＹＥＳ側）へ移行し、移動量およびパン方向が検出できなかった場合、ステップＳ１０６（ＮＯ側）へ移行する。 Step S102: The image processing unit 22 extracts image feature amounts such as edge amounts and color information of the target image and the combined image by known image processing. The image processing unit 22 can detect the movement amount and the pan direction of the target image with respect to the composite image by the pan operation of the digital camera of the user by the correlation processing of the target image and the composite image based on the extracted image feature amount. It is determined whether or not. If the movement amount and the pan direction can be detected, the image processing unit 22 proceeds to step S103 (YES side), and if the movement amount and the pan direction cannot be detected, the image processing unit 22 proceeds to step S106 (NO side).

ステップＳ１０３：画像処理部２２は、ステップＳ１０２において検出された移動量およびパン方向に基づいて、対象画像によって新たに撮像された画像領域を合成画像につなぎ合わせるパノラマ合成処理を施す。 Step S103: The image processing unit 22 performs a panorama synthesis process of joining the image area newly captured by the target image to the synthetic image based on the movement amount and the pan direction detected in step S102.

ステップＳ１０４：画像処理部２２は、求めたパン方向をモニタ１６に矢印６０で表示すると同時に、ステップＳ１０３においてパノラマ合成された合成画像を、表示領域５０にパン方向とは逆の方向にスライドさせながらリアルタイム表示する（図４ａ）。ここで、図４ａは、一例として、パノラマ合成処理開始直後のモニタ１６の表示状態を示す。 Step S104: The image processing unit 22 displays the obtained pan direction on the monitor 16 with an arrow 60, and at the same time, slides the panorama composite image in step S103 in the display area 50 in the direction opposite to the pan direction. Display in real time (Fig. 4a). Here, FIG. 4A shows, as an example, the display state of the monitor 16 immediately after the start of the panorama synthesis processing.

なお、対象画像が合成画像に対して上下にずれて、または斜めに撮像された画像の場合、ＣＰＵ１４は、その対象画像がパノラマ合成された合成画像を表示するにあたり、表示領域５０からはみ出した画像領域をトリミングして表示することが好ましい。あるいは、ＣＰＵ１４は、はみ出した画像領域も表示するように、合成画像を縮小表示してもよい。 When the target image is an image that is vertically shifted or obliquely captured with respect to the composite image, the CPU 14 displays the composite image in which the target image is panoramic composited, and the image is out of the display area 50. It is preferable to trim and display the area. Alternatively, the CPU 14 may display the combined image in a reduced size so as to display the image area that extends out.

ステップＳ１０５：ＣＰＵ１４は、ユーザによる再度レリーズ釦２０の全押し操作の撮像終了指示を受け付けたか否かを判定する。ＣＰＵ１４は、撮像終了指示を受け付けた場合、パノラマモードの動画撮像を終了する。画像処理部２２は、合成画像をパノラマ画像ファイルとして生成し、メモリ１５または記憶媒体１８に記録する。ＣＰＵ１４は一連の処理を終了する。なお、本実施形態では、ＣＰＵ１４は、例えば、１番目のフレームの画像の縦幅で合成画像の縦サイズをトリミングして、パノラマ画像ファイルを生成するのが好ましい。また、ユーザがデジタルカメラを垂直方向にパンする場合、ＣＰＵ１４は、例えば、１番目のフレームの画像の横幅で合成画像の横サイズをトリミングするのが好ましい。 Step S105: The CPU 14 determines whether or not the user has again received an imaging end instruction of the full-press operation of the release button 20. When the CPU 14 receives the image capturing end instruction, the CPU 14 ends the panorama mode moving image capturing. The image processing unit 22 generates a composite image as a panoramic image file and records it in the memory 15 or the storage medium 18. The CPU 14 ends the series of processes. In the present embodiment, the CPU 14 preferably trims the vertical size of the composite image with the vertical width of the image of the first frame to generate the panoramic image file. Further, when the user pans the digital camera in the vertical direction, the CPU 14 preferably trims the horizontal size of the composite image by the horizontal width of the image of the first frame, for example.

一方、ＣＰＵ１４は、撮像終了指示を受け付けていない場合、ステップＳ１０１（ＮＯ側）へ移行し、次に撮像されたフレームを対象画像として読み込む。ＣＰＵ１４は、その対象画像に対して、ステップＳ１０１〜ステップＳ１０４の処理を行う。 On the other hand, if the CPU 14 has not received the image capturing end instruction, the CPU 14 proceeds to step S101 (NO side) and reads the next captured frame as a target image. The CPU 14 performs the processes of steps S101 to S104 on the target image.

ステップＳ１０６：画像処理部２２は、ユーザのよるデジタルカメラのパン動作の速度が速すぎて移動量が大きすぎたり、デジタルカメラの姿勢が大きく変化しすぎたりなど、対象画像の合成画像に対する移動量およびパン方向を検出できなかった場合、その検出失敗をユーザに伝える。すなわち、画像処理部２２は、図４ｂに示すような警告表示をモニタ１６に表示してユーザに伝える。例えば、画像処理部２２は、移動量が検出可能で合成画像につなぎ合わされる対象画像を撮像させるために、ユーザに対してデジタルカメラのパンすべき方向を、矢印６０に代えて矢印７０で表示し指示する。また、画像処理部２２は、記号７１や文章７２のような警告を、矢印７０とともにモニタ１６に表示してもよい。あるいは、画像処理部２２は、警告表示の別例として、合成画像において対象画像がつなぎ合わされるべき領域を、シェーディングした領域７３のように示してもよい。 Step S106: The image processing unit 22 moves the target image with respect to the composite image such that the panning speed of the digital camera by the user is too fast and the moving amount is too large, or the posture of the digital camera changes too much. If the pan direction cannot be detected, the user is notified of the detection failure. That is, the image processing unit 22 displays a warning display as shown in FIG. 4b on the monitor 16 to inform the user. For example, the image processing unit 22 displays the direction in which the digital camera should be panned by the arrow 70, instead of the arrow 60, to the user in order to capture the target image whose movement amount can be detected and which is joined to the composite image. And instruct. Further, the image processing unit 22 may display a warning such as the symbol 71 or the sentence 72 on the monitor 16 together with the arrow 70. Alternatively, the image processing unit 22 may indicate, as another example of the warning display, a region where the target images are to be joined in the composite image like a shaded region 73.

なお、ＣＰＵ１４は、ユーザがデジタルカメラを、例えば、パンさせず一定時間停止させてしまったり、矢印６０とは異なる方向にパンさせてしまったりなどの場合にも、ユーザに上記警告表示することが好ましい。 The CPU 14 may display the above warning to the user even when the user stops the digital camera for a certain period of time without panning or pans in a direction different from the arrow 60. preferable.

ステップＳ１０７：画像処理部２２は、ステップＳ１０２において抽出した合成画像の画像特徴量を、例えば、ＣＰＵ１４の不図示の内部メモリなどに一時的に記憶する。なお、記憶される合成画像の画像特徴量は、合成画像のうち、対象画像がつなぎ合わされるべき側の端から、対象画像と同じ、または７０〜８０％程度の大きさの画像領域の画像特徴量だけでもよい。これにより、メモリ容量を小さくすることができ、回路規模の小型化を図ることができる。 Step S107: The image processing unit 22 temporarily stores the image feature amount of the composite image extracted in step S102 in, for example, an internal memory (not shown) of the CPU 14. Note that the image feature amount of the stored composite image is the image feature of the image region of the same or 70 to 80% of the size of the target image from the end on the side where the target images are to be joined in the composite image. Only the amount is enough. As a result, the memory capacity can be reduced, and the circuit scale can be reduced.

ステップＳ１０８：画像処理部２２は、ユーザに表示領域４０のフレームを参照させつつ、警告表示に基づいて、例えば、矢印７０方向へパン動作させ、撮像素子１２により撮像された次のフレーム（例えば、３番目のフレーム）を新たな対象画像として読み込む。 Step S108: The image processing unit 22 causes the user to refer to the frame in the display area 40, and pans in the direction of arrow 70, for example, based on the warning display, and moves to the next frame imaged by the image sensor 12 (for example, The third frame) is read as a new target image.

ステップＳ１０９：画像処理部２２は、ステップＳ１０８において読み込んだ対象画像の画像特徴量を抽出する。画像処理部２２は、抽出した対象画像の画像特徴量と内部メモリ（不図示）に記憶された合成画像の画像特徴量とに基づいて、合成処理に対する対象画像の移動量およびパン方向が検出できたか否かを判定する。画像処理部２２は、移動量およびパン方向が検出できた場合、ステップＳ１１０（ＹＥＳ側）へ移行する。一方、画像処理部２２は、移動量およびパン方向が検出できなかった場合、ステップＳ１０８（ＮＯ側）へ移行する。画像処理部２２は、合成処理に対する対象画像の移動量およびパン方向が検出されるまで、ステップＳ１０８〜ステップＳ１０９の処理を行う。 Step S109: The image processing unit 22 extracts the image feature amount of the target image read in step S108. The image processing unit 22 can detect the movement amount and the pan direction of the target image with respect to the combining process based on the extracted image feature amount of the target image and the image feature amount of the combined image stored in the internal memory (not shown). It is determined whether or not. If the movement amount and the pan direction can be detected, the image processing unit 22 proceeds to step S110 (YES side). On the other hand, when the movement amount and the pan direction cannot be detected, the image processing unit 22 proceeds to step S108 (NO side). The image processing unit 22 performs the processes of steps S108 to S109 until the movement amount and the pan direction of the target image with respect to the combining process are detected.

ステップＳ１１０：画像処理部２２は、図４ｂに示す警告表示を解除し、図４ｃに示す表示に切り替える。画像処理部２２は、ステップＳ１０３へ移行して、ステップＳ１０８で新たに読み込んだ対象画像を合成画像につなぎ合わせるパノラマ合成処理を再開する。 Step S110: The image processing unit 22 cancels the warning display shown in FIG. 4b and switches to the display shown in FIG. 4c. The image processing unit 22 proceeds to step S103, and restarts the panorama combining process of connecting the target image newly read in step S108 to the combined image.

このように、本実施形態では、たとえ合成画像に対して大きくデジタルカメラがパンされたとしても、動画とそれまでにパノラマ合成された合成画像とをリアルタイム表示することにより、どこまでパノラマ合成が行われ、どこでパノラマ合成に失敗したかを容易に判別することができ、パノラマ合成に失敗したところまでデジタルカメラの撮像方向を容易に戻すことができる。これにより、最初から再度パノラマモードによる撮像を行うことなく、確度高くパノラマ画像を生成することができる。
《実施形態の補足事項》
（１）上記実施形態では、画像処理部２２の処理を、ＣＰＵ１４においてソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてその処理をハードウエア的に実現してもよい。 As described above, according to the present embodiment, even if the digital camera is greatly panned with respect to the composite image, the panorama composition is performed by displaying the moving image and the panorama composite image in real time in real time. It is possible to easily determine where the panorama combination fails, and easily return the imaging direction of the digital camera to the place where the panorama combination fails. As a result, a panoramic image can be generated with high accuracy without performing imaging in the panorama mode again from the beginning.
<< Supplementary Information of Embodiment >>
(1) In the above embodiment, an example in which the processing of the image processing unit 22 is realized by software in the CPU 14 has been described, but the processing may be realized by hardware using an ASIC.

（２）上記実施形態では、画像処理部２２が、対象画像と合成画像との画像領域全体の画像特徴量に基づいて、対象画像の移動量およびパン方向を検出したが、本発明はこれに限定されない。例えば、所定の幅の糊しろ部分を対象画像および合成画像の周囲にそれぞれ設定し、画像処理部２２は、その糊しろ部分以外の画像領域内の画像特徴量に基づいて、対象画像の合成処理に対する移動量およびパン方向を検出してもよい。 (2) In the above embodiment, the image processing unit 22 detects the movement amount and the pan direction of the target image based on the image feature amount of the entire image area of the target image and the composite image. Not limited. For example, a margin portion having a predetermined width is set around each of the target image and the composite image, and the image processing unit 22 processes the target image based on the image feature amount in the image area other than the margin portion. The movement amount and the pan direction with respect to may be detected.

また、デジタルカメラが加速度センサや電子ジャイロなどを備え、画像処理部２２が検出した移動量およびパン方向と加速度センサなどが検出した移動量およびパン方向とに基づいて、画像処理部２２は、合成画像に対象画像をつなぎ合わせてもよい。これにより、より正確なパノラマ合成が可能となる。 In addition, the digital camera includes an acceleration sensor, an electronic gyro, and the like, and the image processing unit 22 synthesizes based on the movement amount and the pan direction detected by the image processing unit 22 and the movement amount and the pan direction detected by the acceleration sensor and the like. The target image may be connected to the image. This enables more accurate panorama composition.

（３）上記実施形態では、ユーザがデジタルカメラのパンを開始することにより、ＣＰＵ１４は、モニタ１６の表示範囲３０のうち、右側の表示領域４０に動画のフレームをリアルタイム表示し、左側の表示領域５０にパノラマ合成処理された合成画像をスライド表示するとしたが、本発明はこれに限定されない。例えば、図５ａに示すように、ＣＰＵ１４は、モニタ１６の中央より上側の表示領域４０’に動画のフレームをリアルタイム表示し、下側の表示領域５０’に合成画像をパノラマ合成処理の進み具合に応じてリアルタイム表示してもよい。図５ｂは、合成画像に対する対象画像の移動量およびパン方向の検出に失敗した場合の警告表示例を示す。 (3) In the above-described embodiment, when the user starts panning the digital camera, the CPU 14 real-time displays a frame of a moving image in the display area 40 on the right side of the display range 30 of the monitor 16, and the display area on the left side. Although it has been stated that the panorama composite processing composite image is displayed on the slide 50, the present invention is not limited to this. For example, as shown in FIG. 5a, the CPU 14 displays a frame of a moving image in real time on a display area 40 ′ above the center of the monitor 16 and displays a composite image on a display area 50 ′ on the lower side according to the progress of panorama composition processing. It may be displayed in real time accordingly. FIG. 5b shows an example of a warning display when detection of the movement amount and pan direction of the target image with respect to the composite image fails.

なお、パノラマモードによる撮像開始前に、ＣＰＵ１４は、操作部材１９などを介して、ユーザから１８０度や３６０度などのパノラマ撮像する撮像範囲の指定を受け付け、その撮像範囲に応じた表示領域５０’の大きさを設定してもよい。これにより、ユーザにとってどの範囲まで撮像が完了したかを容易に認識することができる。また、ＣＰＵ１４は、設定された撮像範囲まで撮像が完了した場合、レリーズ釦２０が再度全押し操作されなくても、自動的にパノラマモードの撮像を終了してもよい。 Before the start of image capturing in the panorama mode, the CPU 14 accepts, via the operation member 19 or the like, a user's designation of an image capturing range for panorama image capturing such as 180 degrees or 360 degrees, and the display area 50 ′ according to the image capturing range. The size of may be set. This allows the user to easily recognize to what extent imaging has been completed. Further, when the image pickup is completed within the set image pickup range, the CPU 14 may automatically end the image pickup in the panorama mode without fully pressing the release button 20 again.

さらに、ＣＰＵ１４は、パノラマ合成処理が順調に行われている間は、図３ａに示す表示範囲３０に動画のフレームの全画面表示を行い、合成処理に対する対象画像の移動量およびパン方向の検出に失敗した場合、図４ｂや図５ｂに示す警告表示に切り替えてもよい。 Further, while the panorama compositing process is being performed smoothly, the CPU 14 performs full-screen display of moving image frames in the display range 30 shown in FIG. 3a to detect the movement amount and pan direction of the target image with respect to the compositing process. In case of failure, the warning display may be switched to that shown in FIG. 4b or 5b.

また、図６は、ユーザがデジタルカメラを垂直方向にパンさせて、タワーや高層ビルなどを撮像する場合のモニタ１６の表示の一例を示す。 Further, FIG. 6 shows an example of the display of the monitor 16 when the user pans the digital camera in the vertical direction to image a tower, a skyscraper, or the like.

（４）上記実施形態では、ステップＳ１０５において、ＣＰＵ１４は、ユーザによりレリーズ釦２０の再度全押し操作された場合、パノラマモードによる撮像を終了するとしたが、本発明はこれに限定されず、例えば、パノラマモードによる撮像の間いつでも、ユーザは、レリーズ釦２０の全押し操作することができ、ＣＰＵ１４は、その撮像終了の割り込みを受け付けられることが好ましい。 (4) In the above embodiment, in step S105, the CPU 14 ends the image capturing in the panorama mode when the release button 20 is fully pressed by the user, but the present invention is not limited to this. It is preferable that the user can fully press the release button 20 at any time during the image capturing in the panorama mode, and the CPU 14 can accept the interrupt of the image capturing end.

（５）上記実施形態では、動画撮像してパノラマ合成するとしたが、本発明はこれに限定されず、連写や１枚ずつ静止画を撮像してパノラマ合成する場合にも適用することができる。 (5) In the above-described embodiment, the moving image is captured and the panorama composition is performed. However, the present invention is not limited to this, and the present invention can be applied to continuous shooting and capturing still images one by one and performing panorama composition. .

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。 The features and advantages of the embodiments will be apparent from the above detailed description. It is intended that the claims extend to the features and advantages of the embodiments as described above without departing from the spirit and scope of the claims. Further, any person having ordinary knowledge in the technical field should be able to easily conceive of any improvement and change, and it is not intended to limit the scope of the embodiments having the invention to those described above. It is also possible to have appropriate modifications and equivalents included within the scope disclosed in.

１１…撮像光学系、１２…撮像素子、１３…ＡＦＥ、１４…ＣＰＵ、１５…メモリ、１６…モニタ、１７…記録Ｉ／Ｆ、１８…記憶媒体、１９…操作部材、２０…レリーズ釦、２１…タッチパネル、２２…画像処理部
11 ... Imaging optical system, 12 ... Imaging element, 13 ... AFE, 14 ... CPU, 15 ... Memory, 16 ... Monitor, 17 ... Recording I / F, 18 ... Storage medium, 19 ... Operation member, 20 ... Release button, 21 ... touch panel, 22 ... image processing unit

Claims

An imaging unit that captures a plurality of images while changing the imaging direction,
A display unit that displays an image captured by the image capturing unit;
An image processing unit that generates a composite image based on the plurality of images,
The image capturing apparatus, wherein the display unit switches to a warning display to the user when the image capturing unit cannot acquire an image suitable for generating the composite image.

The imaging device according to claim 1, wherein the warning display is a display indicating an imaging direction to be changed by the user.

The image pickup apparatus according to claim 1, wherein the warning display is a display showing an area in the composite image where the images picked up by the image pickup unit should be joined.

The image pickup apparatus according to claim 1, wherein the warning display is a display by a symbol or a sentence.