JP2015144347A - Imaging device and imaging method - Google Patents

Imaging device and imaging method Download PDF

Info

Publication number
JP2015144347A
JP2015144347A JP2014016685A JP2014016685A JP2015144347A JP 2015144347 A JP2015144347 A JP 2015144347A JP 2014016685 A JP2014016685 A JP 2014016685A JP 2014016685 A JP2014016685 A JP 2014016685A JP 2015144347 A JP2015144347 A JP 2015144347A
Authority
JP
Japan
Prior art keywords
imaging
image data
frame
reference value
imaging frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014016685A
Other languages
Japanese (ja)
Other versions
JP6220276B2 (en
Inventor
隆弘 河田
Takahiro Kawada
隆弘 河田
哲 溝口
Satoru Mizoguchi
哲 溝口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2014016685A priority Critical patent/JP6220276B2/en
Publication of JP2015144347A publication Critical patent/JP2015144347A/en
Application granted granted Critical
Publication of JP6220276B2 publication Critical patent/JP6220276B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve user operability during imaging while securing picture quality.SOLUTION: An imaging device 1 comprises: an imaging unit 20 for acquiring picture data by imaging a picture cut out by an imaging frame showing an imaging region; an imaging position identification unit 21 for identifying a position of the imaging frame at which picture data for panoramic pictures is to be acquired; a light quantity detection unit 24 for detecting a light quantity which is a quantity of light input to the imaging device 1; a frame position detection unit 22 for detecting a position of the imaging frame; a determination unit 23 for determining whether or not the imaging frame is positioned at a position of the imaging frame at which picture data for panoramic pictures is to be acquired, on the basis of the position of the imaging frame at which picture data for panoramic pictures is to be acquired and the position of the imaging frame; a reference value setting unit 25 for setting a reference value of moving speed of the imaging frame on the basis of the determination and the light quantity; and a control unit 26 for performing control based on the reference value.

Description

本発明は、撮像装置及び撮像方法に関する。   The present invention relates to an imaging apparatus and an imaging method.

パノラマ画像の生成は、ユーザがカメラを少しずつ移動させて撮像を行い、これにより得られた複数の画像データを繋ぎ合わせることにより行われる。撮像時においてユーザが過度にカメラを速く移動させた場合には、撮像した画像データ中の被写体が流れるようにぶれてしまい、画像品質が悪くなるおそれがある。画像品質を担保する上で許容されるカメラの移動速度は、カメラ周辺の光量に応じて決まる。そこで、撮像範囲の測光を行い、カメラ周辺の光量に応じてカメラの移動速度閾値を設定する技術がある(例えば、特許文献1参照)。   The panoramic image is generated by the user moving the camera little by little to capture an image, and connecting a plurality of image data obtained thereby. When the user moves the camera excessively fast at the time of imaging, the subject in the captured image data may be shaken so that the image quality may deteriorate. The movement speed of the camera allowed for ensuring the image quality is determined according to the amount of light around the camera. Therefore, there is a technique for performing photometry of the imaging range and setting a moving speed threshold value of the camera according to the amount of light around the camera (see, for example, Patent Document 1).

特許文献1に記載された技術により、カメラ周辺の光量に応じて、カメラの移動速度閾値を設定することができる。すなわち、光量が多くカメラのシャッタースピードを早くできる環境下においては比較的速くカメラを移動させることを許容する閾値を設定し、光量が少なくカメラのシャッタースピードを早くできない環境下においては比較的遅くカメラを移動させることのみを許容する閾値を設定することができる。これにより、画像品質を担保しながら、極力、速くカメラを移動させることを許容し、撮像時におけるユーザの操作性向上を図っている。   With the technique described in Patent Document 1, the moving speed threshold of the camera can be set according to the amount of light around the camera. In other words, a threshold is set that allows the camera to move relatively fast in an environment where there is a large amount of light and the camera shutter speed can be increased, and a camera that is relatively slow in an environment where the light amount is low and the camera shutter speed cannot be increased. It is possible to set a threshold value that only allows the movement of. This allows the camera to be moved as quickly as possible while ensuring the image quality, thereby improving the operability of the user during imaging.

特開2009−232275号公報JP 2009-232275 A

ここで、画像品質を担保する上で許容されるカメラの移動速度は、撮像中において常に一定ではなく、撮像中のタイミングに応じて異なる。すなわち、特許文献1に記載された技術のように、単にカメラ周辺の光量に応じてカメラの移動速度閾値を設定しただけでは、カメラの移動速度閾値を適切に設定することができず、ユーザの操作性向上が最大限図られているとは言えない。   Here, the moving speed of the camera allowed for ensuring the image quality is not always constant during imaging, and varies depending on the timing during imaging. That is, as in the technique described in Patent Document 1, simply setting the camera moving speed threshold value according to the amount of light around the camera cannot set the camera moving speed threshold value appropriately. It cannot be said that the operability has been improved to the maximum extent.

具体的には、パノラマ画像用の画像データを撮像する場合には、画像データの繋ぎ合わせを行う必要があるため、十分な画像品質が必要となる。一方で、撮像位置がパノラマ画像用の画像データを撮像すべき撮像位置になっているか否かを判断するため、撮像された画像から現時点の撮像位置が検知される。撮像位置の検知においては、パノラマ画像用の画像データほどの画像品質は必要ない。従って、パノラマ画像用の画像データを撮像する場合に合わせてカメラの移動速度を決めるとすると、ユーザの操作性向上が最大限図られているとは言えない。   Specifically, when image data for a panoramic image is captured, it is necessary to connect the image data, so that sufficient image quality is required. On the other hand, the current imaging position is detected from the captured image in order to determine whether or not the imaging position is the imaging position where the image data for the panoramic image should be captured. In the detection of the imaging position, the image quality as high as the image data for the panoramic image is not necessary. Therefore, if the moving speed of the camera is determined in accordance with the image data for panoramic images, the user's operability cannot be improved to the maximum extent.

本発明は上記実情に鑑みてなされたものであり、画像品質を担保しながら、撮像時におけるユーザの操作性を向上させることができる撮像装置及び撮像方法を提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object thereof is to provide an imaging apparatus and an imaging method capable of improving user operability during imaging while ensuring image quality.

本発明に係る撮像装置は、複数のパノラマ画像用の画像データを合成してパノラマ画像データを生成するため、複数のパノラマ画像用の画像データを取得する撮像装置であって、撮像領域を示す撮像フレームにより切り出される画像を撮像することにより画像データを取得する撮像手段と、パノラマ画像用の画像データを取得すべき撮像フレームの位置を特定する撮像位置特定手段と、撮像装置に入力する光の量である光量を検知する光量検知手段と、撮像手段によって取得された複数の画像データに基づいて、撮像フレームの位置を検知するフレーム位置検知手段と、撮像位置特定手段によって特定されたパノラマ画像用の画像データを取得すべき撮像フレームの位置、及びフレーム位置検知手段によって検知された撮像フレームの位置に基づいて、当該撮像フレームが、パノラマ画像用の画像データを取得すべき撮像フレームの位置又は当該位置の近傍に位置するか否かを判定する判定手段と、判定手段による判定、及び光量検知手段によって検知された光量に基づいて撮像フレームの移動速度の基準値を設定する基準値設定手段と、基準値設定手段によって設定された基準値に基づいた制御を行う制御手段と、を備える。   An imaging apparatus according to the present invention is an imaging apparatus that acquires image data for a plurality of panoramic images in order to generate panoramic image data by combining image data for a plurality of panoramic images. Imaging means for acquiring image data by capturing an image cut out by a frame, imaging position specifying means for specifying the position of an imaging frame from which image data for panoramic images should be acquired, and the amount of light input to the imaging apparatus A light amount detecting means for detecting a light amount, a frame position detecting means for detecting the position of an imaging frame based on a plurality of image data acquired by the imaging means, and a panorama image specified by the imaging position specifying means The position of the imaging frame from which image data should be acquired and the position of the imaging frame detected by the frame position detection means Accordingly, the determination unit that determines whether or not the imaging frame is located at or near the position of the imaging frame from which image data for panoramic images is to be acquired, the determination by the determination unit, and the light amount detection unit Reference value setting means for setting a reference value of the moving speed of the imaging frame based on the detected light amount, and control means for performing control based on the reference value set by the reference value setting means.

また、本発明に係る撮像方法は、複数のパノラマ画像用の画像データを合成してパノラマ画像データを生成するため、複数のパノラマ画像用の画像データを取得する撮像装置による撮像方法であって、撮像領域を示す撮像フレームにより切り出される画像を撮像することにより画像データを取得する撮像ステップと、パノラマ画像用の画像データを取得すべき撮像フレームの位置を特定する撮像位置特定ステップと、撮像装置に入力する光の量である光量を検知する光量検知ステップと、撮像ステップにおいて取得された複数の画像データに基づいて、撮像フレームの位置を検知するフレーム位置検知ステップと、撮像位置特定ステップにおいて特定されたパノラマ画像用の画像データを取得すべき撮像フレームの位置、及びフレーム位置検知ステップにおいて検知された撮像フレームの位置に基づいて、当該撮像フレームが、パノラマ画像用の画像データを取得すべき撮像フレームの位置又は当該位置の近傍に位置するか否かを判定する判定ステップと、判定ステップにおける判定、及び光量検知ステップにおいて検知された光量に基づいて撮像フレームの移動速度の基準値を設定する基準値設定ステップと、基準値設定ステップにおいて設定された基準値に基づいた制御を行う制御ステップと、を含む。   An imaging method according to the present invention is an imaging method by an imaging device that acquires image data for a plurality of panoramic images in order to generate panoramic image data by combining a plurality of panoramic image image data. An imaging step for acquiring image data by capturing an image cut out by an imaging frame indicating an imaging region, an imaging position specifying step for specifying a position of an imaging frame from which image data for panoramic images should be acquired, and an imaging device A light amount detection step for detecting a light amount that is the amount of light to be input, a frame position detection step for detecting the position of the imaging frame, and an imaging position specifying step based on the plurality of image data acquired in the imaging step. The position of the imaging frame from which image data for panoramic images should be acquired and the frame position detection A determination step of determining whether or not the imaging frame is located at or near the position of the imaging frame from which image data for panoramic images is to be acquired based on the position of the imaging frame detected in the step; A reference value setting step for setting a reference value for the moving speed of the imaging frame based on the determination in the determination step and the light amount detected in the light amount detection step, and control based on the reference value set in the reference value setting step Control steps.

これらの発明によれば、撮像フレームの位置がパノラマ画像用の画像データを取得すべき位置であるか否かが判定される。また、撮像装置に入力する光量が検知される。そして、上述した撮像フレームの位置に関する判定結果と光量とに基づいて、撮像フレームの移動速度の基準値が設定され、当該基準値に基づいた制御が行われる。光量を考慮して移動速度の基準値を設定することで、撮像環境に応じた基準値を設定することができる。また、移動速度の基準値が、撮像フレームの位置を考慮して設定されたものであるため、撮像フレームの位置がパノラマ画像用の画像データを取得すべき位置(又はその近傍)である場合と、そうでない場合とで、異なる制御を行うことができる。これにより、例えば、十分な画像品質が必要とされるパノラマ画像用の画像データを取得する場合には画像品質を優先した制御を行い、それ以外の場合には、移動速度を優先し、ユーザの操作性向上を図った制御を行うことができる。以上より、本発明によれば、画像品質を担保しながら、撮像時におけるユーザの操作性を向上させることができる。   According to these inventions, it is determined whether or not the position of the imaging frame is a position where image data for a panoramic image should be acquired. Further, the amount of light input to the imaging device is detected. A reference value for the moving speed of the imaging frame is set based on the determination result regarding the position of the imaging frame and the amount of light, and control based on the reference value is performed. By setting the reference value of the moving speed in consideration of the amount of light, the reference value corresponding to the imaging environment can be set. In addition, since the reference value of the moving speed is set in consideration of the position of the imaging frame, the position of the imaging frame is a position (or the vicinity thereof) where the panoramic image data should be acquired. Different control can be performed depending on whether or not this is the case. Thereby, for example, when acquiring image data for a panoramic image that requires sufficient image quality, control is performed with priority on the image quality, and in other cases, the movement speed is prioritized, and the user's Control capable of improving operability can be performed. As described above, according to the present invention, it is possible to improve user operability during imaging while ensuring image quality.

また、基準値設定手段は、判定手段によって、撮像フレームがパノラマ画像用の画像データを取得すべき撮像フレームの位置又は当該位置の近傍に位置すると判定された場合に基準値として第2の基準値を設定し、それ以外の場合に基準値として当該第2の基準値よりも大きい第1の基準値を設定してもよい。撮像フレームがパノラマ画像用の画像データを取得すべき位置に位置する場合の基準値よりも、それ以外の位置に位置する場合の基準値を大きくすることで、十分な画像品質が必要とされるパノラマ画像用の画像データを取得する場合には、移動速度よりも画像品質を優先した制御を行い、パノラマ画像用の画像データほどの画像品質を必要とされないそれ以外の場合には、より移動速度を優先し、ユーザの操作性向上を図った制御を行うことが可能となる。   Further, the reference value setting unit is configured to use the second reference value as a reference value when the determination unit determines that the imaging frame is located at or near the position of the imaging frame from which image data for panoramic images is to be acquired. In other cases, a first reference value larger than the second reference value may be set as a reference value. Sufficient image quality is required by increasing the reference value when the imaging frame is located at a position other than the reference value when the imaging frame is located at a position where the image data for the panoramic image is to be acquired. When acquiring panoramic image data, control is given priority to the image quality over the moving speed. In other cases where the image quality is not as high as the panoramic image data, the moving speed is higher. Therefore, it is possible to perform control for improving user operability.

また、フレーム位置検知手段は、撮像フレームの移動速度を検知し、制御手段は、判定手段によって、撮像フレームがパノラマ画像用の画像データを取得すべき撮像フレームの位置又は当該位置の近傍に位置すると判定され、かつフレーム位置検知手段によって検知された撮像フレームの移動速度が基準値設定手段によって設定された第2の基準値を下回った場合に、撮像手段に対して複数のパノラマ画像用の画像データを取得させるよう制御してもよい。撮像フレームの移動速度が、第1の基準値と比較して小さく設定された第2の基準値を下回った場合にパノラマ画像用の画像データを取得させるように制御することで、十分な画像品質が必要とされるパノラマ画像用の画像データの画像品質を担保することができる。また、パノラマ画像用の画像データの自動的な取得が可能となる。   The frame position detection means detects the moving speed of the imaging frame, and the control means determines that the imaging means is positioned at or near the position of the imaging frame from which the image data for panoramic image should be acquired by the determination means. When the moving speed of the imaging frame detected and detected by the frame position detection means is lower than the second reference value set by the reference value setting means, the image data for a plurality of panoramic images is provided to the imaging means. You may control to acquire. By controlling so that the image data for the panoramic image is acquired when the moving speed of the imaging frame is lower than the second reference value set smaller than the first reference value, sufficient image quality is obtained. The image quality of the image data for the panoramic image that is required can be ensured. In addition, it is possible to automatically acquire image data for a panoramic image.

また、制御手段は、基準値に基づいた出力を行ってもよい。基準値に基づく出力を行うことで、ユーザに対して基準値毎の適切な操作を促すことができ、ユーザの操作性がより向上する。   The control means may perform output based on the reference value. By performing output based on the reference value, it is possible to prompt the user to perform an appropriate operation for each reference value, and the operability for the user is further improved.

また、フレーム位置検知手段は、撮像フレームの移動速度を検知し、制御手段は、フレーム位置検知手段によって検知された移動速度、及び基準値に基づいた出力を行ってもよい。移動速度及び基準値に基づく出力を行うことで、例えば撮像フレームを過度に速く動かすユーザ等に対して適切な操作を促すことができ、ユーザの操作性がより向上する。   The frame position detection unit may detect the moving speed of the imaging frame, and the control unit may perform output based on the moving speed detected by the frame position detection unit and a reference value. By performing output based on the moving speed and the reference value, for example, an appropriate operation can be urged to a user who moves the imaging frame too fast, and the operability for the user is further improved.

本発明によれば、画像品質を担保しながら、撮像時におけるユーザの操作性を向上させることができる撮像装置及び撮像方法を提供することができる。   According to the present invention, it is possible to provide an imaging apparatus and an imaging method capable of improving user operability during imaging while ensuring image quality.

本発明の一実施形態に係る撮像装置の外観構成を示す外観図である。1 is an external view illustrating an external configuration of an imaging apparatus according to an embodiment of the present invention. 図1に示す撮像装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the imaging device shown in FIG. 図1に示す撮像装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the imaging device shown in FIG. 輝度とカメラ操作スピードの上限値との関係を示す図である。It is a figure which shows the relationship between a brightness | luminance and the upper limit of camera operation speed. タッチパネルディスプレイに表示されるメッセージ例を示す図である。It is a figure which shows the example of a message displayed on a touchscreen display. 撮像装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of an imaging device.

以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted.

図1は、本発明の一実施形態に係る撮像装置の外観構成を示す外観図である。図1に示すように、撮像装置1は、例えば筐体2で構成される携帯端末であって、筐体2の一方の表面に配置されたタッチパネルディスプレイ4及びカメラ6を有している。撮像装置1は、タッチパネルディスプレイ4がユーザによりタッチ操作(指やタッチペンなどによる操作)されると、カメラ6の操作や、各種アプリケーションにおける動作などを実行する。   FIG. 1 is an external view showing an external configuration of an imaging apparatus according to an embodiment of the present invention. As illustrated in FIG. 1, the imaging device 1 is a mobile terminal configured by a housing 2, for example, and includes a touch panel display 4 and a camera 6 disposed on one surface of the housing 2. When the touch panel display 4 is touched (operated by a finger, a touch pen, or the like) by the user, the imaging apparatus 1 executes an operation of the camera 6 or operations in various applications.

カメラ6は、筐体2のタッチパネルディスプレイ4が配置されている面である前面2aに配置される前面側カメラ6aと、前面2aと対向する面である背面2bに配置される背面側カメラ6bとを含む。カメラ6は、通常の携帯端末に設けられているカメラの撮像機能を有し、カメラ6が向けられた所定領域の画像を撮像できるようになっている。タッチパネルディスプレイ4内にはシャッタボタン12が表示されており、撮像装置1は、ユーザのタッチ操作によりこのシャッタボタン12が押圧されたことを検出すると、撮像した画像をデータとして取得する。なお、撮像装置1は、シャッタボタン12の押圧を検出するタイミングに限らず、後述する撮像フレームの移動に応じたタイミングでも、撮像した画像をデータとして取得する。   The camera 6 includes a front-side camera 6a disposed on the front surface 2a that is a surface on which the touch panel display 4 of the housing 2 is disposed, and a back-side camera 6b disposed on the back surface 2b that is a surface facing the front surface 2a. including. The camera 6 has an imaging function of a camera provided in a normal mobile terminal, and can capture an image of a predetermined area to which the camera 6 is directed. A shutter button 12 is displayed in the touch panel display 4. When the imaging device 1 detects that the shutter button 12 is pressed by a user's touch operation, the captured image is acquired as data. Note that the imaging device 1 acquires the captured image as data not only at the timing of detecting the pressing of the shutter button 12 but also at the timing according to the movement of the imaging frame described later.

撮像装置1は、複数のパノラマ画像用の画像データを合成してパノラマ画像データを生成するためのパノラマ画像撮像モードを有している。撮像装置1は、撮像装置1によって取得された複数のパノラマ画像用の画像データからパノラマ画像(パノラマ写真)を生成するパノラマ写真生成システムに含まれていてもよい。なお、パノラマ画像の生成には、従来と同じ方法を用いることができる。撮像装置1は、パノラマ画像撮像モードに設定された状態で連続的にカメラ6による撮像を行うことにより、撮像領域を示す撮像フレームにより切り出される画像を画面表示用の画像データ(画面表示用データ)として取得する。取得された画面表示用データは、タッチパネルディスプレイ4に表示される。また、撮像装置1は、ユーザによるシャッタボタン12の押圧を検知すると、撮像領域を示す撮像フレームにより切り出される画像のうちパノラマ画像用の(パノラマ画像として利用される)複数の画像データを取得する。以降、パノラマ画像用の複数の画像データのうちの一つを単に「第1の画像データ40」といい、複数の画像データのうち第1の画像データ40と隣り合い、かつ、重なり合う領域を有する画像データを単に「第2の画像データ」という。第2の画像データは、第1の画像データ40が取得された後に取得される。第1の画像データ40及び第2の画像データを繰り返し取得することで、パノラマ画像用の複数の画像データの全てを取得する。すなわち、第2の画像データは、次に取得される画像データに対しては第1の画像データ40となる。   The imaging device 1 has a panoramic image imaging mode for synthesizing a plurality of panoramic image data and generating panoramic image data. The imaging device 1 may be included in a panoramic photo generation system that generates a panoramic image (panoramic photo) from a plurality of panoramic image data acquired by the imaging device 1. Note that the same method as the conventional method can be used to generate the panoramic image. The imaging device 1 continuously captures images with the camera 6 in the state set to the panoramic image imaging mode, thereby image data for screen display (screen display data) of an image cut out by the imaging frame indicating the imaging region. Get as. The acquired screen display data is displayed on the touch panel display 4. In addition, when detecting the pressing of the shutter button 12 by the user, the imaging device 1 acquires a plurality of image data for a panoramic image (used as a panoramic image) among images cut out by an imaging frame indicating an imaging region. Hereinafter, one of the plurality of image data for the panoramic image is simply referred to as “first image data 40”, and has a region adjacent to and overlapping with the first image data 40 of the plurality of image data. The image data is simply referred to as “second image data”. The second image data is acquired after the first image data 40 is acquired. By repeatedly acquiring the first image data 40 and the second image data, all of the plurality of image data for the panoramic image are acquired. That is, the second image data becomes the first image data 40 for the next acquired image data.

撮像装置1は、第1の画像データ40を取得すると、タッチパネルディスプレイ4に第1の画像データ40と枠46a及び矢印46bからなる撮像ガイドとを表示する。撮像ガイドは、パノラマ写真を撮像する際にユーザ操作を誘引するためのガイド表示である。撮像ガイドの枠46aは、パノラマ画像の生成に必要な複数の画像データを取得するため、撮像フレーム42の位置が第2の画像データを切り出すべき位置に合うようにガイドするものであり、撮像フレーム42の形状に対応した種々の形状を呈している。以下、撮像装置1がパノラマ画像撮像モードに設定された状態における、撮像装置1の構成について、図2〜図6を用いて詳細に説明する。   When the imaging device 1 acquires the first image data 40, the imaging device 1 displays the first image data 40 and an imaging guide including a frame 46a and an arrow 46b on the touch panel display 4. The imaging guide is a guide display for inviting a user operation when capturing a panoramic photograph. The imaging guide frame 46a guides the position of the imaging frame 42 to the position where the second image data should be cut out in order to acquire a plurality of image data necessary for generating a panoramic image. Various shapes corresponding to the shape of 42 are exhibited. Hereinafter, the configuration of the imaging apparatus 1 in a state where the imaging apparatus 1 is set to the panoramic image imaging mode will be described in detail with reference to FIGS.

図2は、図1に示す撮像装置1のハードウェア構成を示すブロック図である。撮像装置1は、図2に示すように、カメラ6、カメラの制御処理、オペレーティングシステム及びアプリケーションプログラムなどを実行するCPU101、ROM及びRAMで構成される主記憶部102、ハードディスク及びメモリなどで構成される補助記憶部103、タッチパネルディスプレイ4などの入力部104、タッチパネルディスプレイ4などの出力部105で構成される。後述する撮像部、撮像位置特定部、光量検知部、フレーム位置検知部、判定部、基準値設定部、制御部における各機能は、CPU101および主記憶部102に所定のソフトウェアを読み込ませ、CPU101の制御の下で、実行される。   FIG. 2 is a block diagram showing a hardware configuration of the imaging apparatus 1 shown in FIG. As shown in FIG. 2, the imaging apparatus 1 includes a camera 6, a CPU 101 that executes camera control processing, an operating system, an application program, and the like, a main storage unit 102 that includes a ROM and a RAM, a hard disk, a memory, and the like. An auxiliary storage unit 103, an input unit 104 such as a touch panel display 4, and an output unit 105 such as a touch panel display 4. Each function in an imaging unit, an imaging position specifying unit, a light amount detection unit, a frame position detection unit, a determination unit, a reference value setting unit, and a control unit, which will be described later, causes the CPU 101 and the main storage unit 102 to read predetermined software. Executed under control.

図3は、図1に示す撮像装置の機能的構成を示すブロック図である。図3に示すように、撮像装置1は、機能的には、撮像部20、撮像位置特定部21、フレーム位置検知部22、判定部23、光量検知部24、基準値設定部25、及び制御部26を備えている。以下、各構成について説明する。   FIG. 3 is a block diagram illustrating a functional configuration of the imaging apparatus illustrated in FIG. 1. As illustrated in FIG. 3, the imaging device 1 functionally includes an imaging unit 20, an imaging position specifying unit 21, a frame position detection unit 22, a determination unit 23, a light amount detection unit 24, a reference value setting unit 25, and control. A portion 26 is provided. Each configuration will be described below.

撮像部20は、撮像フレームにより切り出される画像を撮像することにより画像データを取得する撮像手段である。撮像フレームは、被写体領域のうち画像データとして切り出される領域、すなわち撮像領域を示している。撮像フレームは例えば、カメラ6が向けられた方向を中心とする所定の領域を、矩形を呈する枠により示すものである。   The imaging unit 20 is an imaging unit that acquires image data by capturing an image cut out by an imaging frame. The imaging frame indicates an area cut out as image data in the subject area, that is, an imaging area. The imaging frame indicates, for example, a predetermined area centered in the direction in which the camera 6 is directed by a rectangular frame.

撮像部20によって撮像される画像は、大きく以下の2種類に分けられる。すなわち、第1に、画面表示用データである。第2に、パノラマ画像用の(パノラマ画像として利用される)画像データである第1の画像データ40及び第2の画像データである。画面表示用データは、フレーム位置検知部22による撮像フレームの位置検知にも用いられる画像であり、画像の特徴点(詳細は後述)の取得に必要となる画像である。画面表示用データは、パノラマ画像用の画像データではないため、パノラマ画像用の画像データほどの画像品質は必要とされない。一方、パノラマ画像用の画像データは、他のパノラマ画像用の画像データと合成されてパノラマ画像(パノラマ写真)を生成するための画像データである。パノラマ画像用の画像データは、パノラマ写真としてユーザが見ることを前提とした画像であるため、比較的高い画像品質が求められる。   Images captured by the imaging unit 20 are roughly divided into the following two types. That is, first, it is screen display data. Secondly, there are first image data 40 and second image data which are image data for a panoramic image (used as a panoramic image). The screen display data is an image that is also used for detecting the position of the imaging frame by the frame position detection unit 22 and is an image that is necessary for acquiring feature points (details will be described later) of the image. Since the screen display data is not image data for panoramic images, the image quality is not as high as that for image data for panoramic images. On the other hand, the image data for the panoramic image is image data for generating a panoramic image (panoramic photograph) by being combined with the image data for other panoramic images. Since the image data for the panoramic image is an image that is assumed to be viewed by the user as a panoramic photo, a relatively high image quality is required.

パノラマ画像撮像モードに設定され、ユーザの操作が特段行われていない状態においては、撮像部20は、撮像フレームにより切り出される画像を画面表示用データとして取得する。また、撮像部20は、ユーザによりシャッタボタン12が押圧されたことを検出すると、パノラマ画像用の画像データのうちの一つである第1の画像データ40を取得する。撮像部20は、第1の画像データ40を取得した後、判定部23により撮像フレームが第2の画像データを取得すべき位置に到達した旨が出力され、制御部26により所定の制御がなされるまでは、撮像フレームにより切り出される画像を画面表示用データとして取得する。撮像部20は、画面表示用データの取得を連続的に行う。また、撮像部20は、第1の画像データ40を取得した後、判定部23により撮像フレームが第2の画像データを取得すべき位置に到達した旨が出力され、制御部26により所定の制御がなされると、パノラマ画像用の画像データのうちの一つである第2の画像データを取得する。   In a state where the panoramic image imaging mode is set and the user's operation is not particularly performed, the imaging unit 20 acquires an image cut out by the imaging frame as screen display data. Further, when detecting that the shutter button 12 is pressed by the user, the imaging unit 20 acquires first image data 40 that is one of the image data for the panoramic image. After acquiring the first image data 40, the imaging unit 20 outputs that the imaging frame has reached the position where the second image data should be acquired by the determination unit 23, and the control unit 26 performs predetermined control. Until then, the image cut out by the imaging frame is acquired as screen display data. The imaging unit 20 continuously acquires screen display data. In addition, after acquiring the first image data 40, the imaging unit 20 outputs that the imaging frame has reached the position where the second image data should be acquired by the determination unit 23, and the control unit 26 performs predetermined control. Is performed, the second image data, which is one of the panoramic image data, is acquired.

なお、判定部23により撮像フレームが第2の画像データを取得すべき位置に到達した旨の出力がされ、制御部26により所定の制御がなされてから、撮像部20により第2の画像データが取得されるまでの時間は、予め設定した時間以内としてもよい。これにより、ユーザは最初の第1の画像データ40の取得の際のみシャッタボタン12の操作を行い、最初の第1の画像データ40の取得以降は、撮像フレームの移動に応じて撮像部20により自動的にパノラマ画像の生成に必要な複数の画像データを取得することができる。   The determination unit 23 outputs that the imaging frame has reached the position where the second image data should be acquired, and after the control unit 26 performs predetermined control, the imaging unit 20 outputs the second image data. The time until acquisition may be within a preset time. Thus, the user operates the shutter button 12 only when the first first image data 40 is acquired, and after the acquisition of the first first image data 40, the user performs the operation by the imaging unit 20 according to the movement of the imaging frame. A plurality of image data necessary for generating a panoramic image can be acquired automatically.

撮像部20は、第1の画像データ40及び第2の画像データの取得を複数回繰り返すことにより、パノラマ画像用の複数の画像データの全てを取得する。撮像部20が取得した画面表示用データは、フレーム位置検知部22に出力される。また、撮像部20が取得した第1の画像データ40及び第2の画像データは、撮像位置特定部21、フレーム位置検知部22、及び光量検知部24に出力される。   The imaging unit 20 acquires all of the plurality of panoramic image data by repeating the acquisition of the first image data 40 and the second image data a plurality of times. The screen display data acquired by the imaging unit 20 is output to the frame position detection unit 22. Further, the first image data 40 and the second image data acquired by the imaging unit 20 are output to the imaging position specifying unit 21, the frame position detection unit 22, and the light amount detection unit 24.

撮像位置特定部21は、パノラマ画像用の画像データを取得すべき撮像フレームの位置を特定する撮像位置特定手段である。撮像位置特定部21は、撮像部20により出力された第1の画像データ40に基づき、第1の画像データ40の次に取得されるパノラマ画像用の画像データである第2の画像データを取得すべき撮像フレームの位置を特定する。具体的には、撮像位置特定部21は、第1の画像データ40を切り出した位置から第2の画像データを切り出すべき位置まで撮像フレームが移動すべき方向及び距離を特定することで、第2の画像データを取得すべき撮像フレームの位置を特定する。なお、以下では、第2の画像データを切り出すべき位置まで撮像フレームが移動すべき距離を、単に「撮像フレームが移動すべき距離Z」という場合がある。撮像位置特定部21は、第2の画像データを切り出すべき位置まで撮像フレームが移動すべき方向、及び、撮像フレームが移動すべき距離Zを、判定部23に出力する。   The imaging position specifying unit 21 is an imaging position specifying unit that specifies the position of an imaging frame from which image data for a panoramic image is to be acquired. The imaging position specifying unit 21 acquires second image data which is image data for a panoramic image acquired next to the first image data 40 based on the first image data 40 output from the imaging unit 20. The position of the imaging frame to be specified is specified. Specifically, the imaging position specifying unit 21 specifies the direction and distance to which the imaging frame should move from the position where the first image data 40 is cut out to the position where the second image data is to be cut out. The position of the imaging frame from which the image data is to be acquired is specified. In the following, the distance that the imaging frame should move to the position where the second image data should be cut out may be simply referred to as “distance Z that the imaging frame should move”. The imaging position specifying unit 21 outputs the direction in which the imaging frame should move to the position where the second image data should be cut out and the distance Z to which the imaging frame should move to the determination unit 23.

例えば、撮像位置特定部21は、予め設定された方向を、第2の画像データを切り出すべき位置まで撮像フレームが移動すべき方向として特定してもよい。また、撮像位置特定部21は、後述するフレーム位置検知部22により検知された撮像フレームが移動した方向を、第2の画像データを切り出すべき位置まで撮像フレームが移動すべき方向として特定してもよい。すなわち、撮像位置特定部21は、第1の画像データ40が取得された後に、撮像フレームが動いた、あるいは動き出した際の移動方向を、フレーム位置検知部22より取得し、当該移動方向を、第2の画像データを切り出すべき位置まで撮像フレームが移動すべき方向として特定してもよい。   For example, the imaging position specifying unit 21 may specify a preset direction as a direction in which the imaging frame should move to a position where the second image data should be cut out. Further, the imaging position specifying unit 21 may specify the direction in which the imaging frame detected by the frame position detection unit 22 described later has moved as the direction in which the imaging frame should move to the position where the second image data should be cut out. Good. That is, after the first image data 40 is acquired, the imaging position specifying unit 21 acquires the movement direction when the imaging frame moves or starts moving from the frame position detection unit 22, and the movement direction is The direction in which the imaging frame should move to the position where the second image data should be cut out may be specified.

例えば、撮像位置特定部21は、予め設定された距離を、撮像フレームが移動すべき距離Zとして特定してもよい。ここで、パノラマ画像は、第1の画像データと第2の画像データとが重複する部分におけるそれぞれの特徴点を画像データの繋ぎ目とし、それぞれの画像データを合成することにより生成される。画像の特徴点とは、画像の境目や角といった特徴となる点であり、例えば画像の色彩が大きく変化する箇所、濃淡の濃い箇所、輪郭などである。予め設定する距離を大きくした場合には、第1の画像データ40と第2の画像データとを合成する際にそれぞれの画像の重複する部分(画像データ同士の繋ぎ目となる部分)の画像に特徴点が少なく、画像データの合成が困難となる場合がある。そのため、予め設定する距離は、特徴点が少ない画像データを考慮し、小さいものとすることが好ましい。具体的には、撮像フレームが移動すべき距離Zを移動した状態の撮像フレームと第1の画像データ40とが重なり合う領域の面積が、撮像フレームの全面積の75%程度とされることが好ましい。   For example, the imaging position specifying unit 21 may specify a preset distance as the distance Z to which the imaging frame should move. Here, the panoramic image is generated by synthesizing each image data with each feature point in a portion where the first image data and the second image data overlap each other as a joint of the image data. An image feature point is a point that becomes a feature such as a border or corner of an image, and is, for example, a location where the color of the image changes greatly, a dark portion, a contour, or the like. When the distance set in advance is increased, when the first image data 40 and the second image data are combined, the overlapping images of the respective images (portions that serve as joints between the image data) are displayed. There may be few feature points and it may be difficult to synthesize image data. For this reason, it is preferable that the distance set in advance is small in consideration of image data with few feature points. Specifically, it is preferable that the area of the region where the imaging frame and the first image data 40 in a state in which the imaging frame has moved the distance Z to be moved overlap is about 75% of the total area of the imaging frame. .

また、撮像位置特定部21は、例えば、第1の画像データ40中に含まれる特徴点の数に応じて、撮像フレームが移動すべき距離Zを特定してもよい。これにより、第1の画像データ40中に多くの特徴点が含まれ画像データの合成が容易であると想定される場合には撮像フレームが移動すべき距離Zを大きくし、第1の画像データ40中に特徴点が少ししか含まれておらず画像データの合成が困難であると想定される場合には撮像フレームが移動すべき距離Zを小さくすることができ、画像データの合成に必要となる画像の特徴点の数を確保した上で、無駄のない撮像操作を実現できる。具体的には、移動フレームが移動すべき距離Zを大きくする場合には、撮像フレームが移動すべき距離Zを移動した状態の撮像フレームと第1の画像データ40とが重なり合う領域の面積が、撮像フレームの全面積の25%程度とされることが好ましい。また、移動フレームが移動すべき距離Zを小さくする場合には、撮像フレームが移動すべき距離Zを移動した状態の撮像フレームと第1の画像データ40とが重なり合う領域の面積が、撮像フレームの全面積の75%程度とされることが好ましい。   Further, the imaging position specifying unit 21 may specify the distance Z to which the imaging frame should move according to, for example, the number of feature points included in the first image data 40. As a result, when it is assumed that many feature points are included in the first image data 40 and the synthesis of the image data is easy, the distance Z to which the imaging frame should move is increased, and the first image data 40 includes only a few feature points and it is assumed that it is difficult to synthesize image data, the distance Z to which the imaging frame should move can be reduced, which is necessary for the synthesis of image data. It is possible to realize a wasteful imaging operation while securing the number of feature points of the image. Specifically, when increasing the distance Z to which the moving frame should move, the area of the region where the imaging frame and the first image data 40 in a state where the imaging frame has moved the distance Z to be moved is It is preferably about 25% of the total area of the imaging frame. When the distance Z to which the moving frame should move is reduced, the area of the region where the first image data 40 and the imaging frame in the state where the distance Z to which the imaging frame should move is overlapped is the area of the imaging frame. It is preferably about 75% of the total area.

フレーム位置検知部22は、撮像部20によって取得された複数の画像データに基づいて、撮像フレームの位置を検知するフレーム位置検知手段である。具体的には、フレーム位置検知部22は、撮像部20により出力された画面表示用データにおける特徴点の位置座標と、撮像部20により出力された第1の画像データ40における特徴点の位置座標とから算出される特徴点の位置座標の変化に基づいて、第1の画像データ40を切り出した位置から撮像フレームが移動した方向、及び、第1の画像データ40を切り出した位置から撮像フレームが移動した距離(以下、単に「撮像フレームが移動した距離X」という)を特定し、撮像フレームの位置を検知する。   The frame position detection unit 22 is a frame position detection unit that detects the position of the imaging frame based on a plurality of image data acquired by the imaging unit 20. Specifically, the frame position detection unit 22 includes the position coordinates of the feature points in the screen display data output from the imaging unit 20 and the position coordinates of the feature points in the first image data 40 output from the imaging unit 20. Based on the change in the position coordinates of the feature points calculated from the above, the direction in which the imaging frame has moved from the position where the first image data 40 was cut out, and the imaging frame from the position where the first image data 40 was cut out The distance moved (hereinafter simply referred to as “distance X the imaging frame has moved”) is specified, and the position of the imaging frame is detected.

フレーム位置検知部22は、例えば、画像データから画素値として輝度成分の値を有する輝度画像データを作成し、当該輝度画像データにおいてエッジ等を検出することにより、画面表示用データ及び第1の画像データ40における特徴点を検出する。そして、フレーム位置検知部22は、画面表示用データと第1の画像データ40とを比較し、同一の特徴点の変化(移動方向及び移動量)に基づいて、第1の画像データ40を切り出した位置から撮像フレームが移動した方向、及び、撮像フレームが移動した距離Xを特定する。フレーム位置検知部22は、第1の画像データ40を切り出した位置から撮像フレームが移動した方向、及び、撮像フレームが移動した距離Xを判定部23に出力する。なお、撮像フレームの移動速度が速い等により、画面表示用データの特徴点を検出することができなかった場合には、フレーム位置検知部22は、撮像フレームが移動した距離Xを特定できなかった旨を判定部23に出力する。   For example, the frame position detection unit 22 creates luminance image data having a luminance component value as a pixel value from the image data, and detects an edge or the like in the luminance image data, whereby the screen display data and the first image are detected. A feature point in the data 40 is detected. Then, the frame position detection unit 22 compares the screen display data with the first image data 40, and cuts out the first image data 40 based on the same feature point change (movement direction and movement amount). The direction in which the imaging frame has moved from the determined position and the distance X to which the imaging frame has moved are specified. The frame position detection unit 22 outputs the direction in which the imaging frame has moved from the position where the first image data 40 has been cut out and the distance X to which the imaging frame has moved to the determination unit 23. Note that if the feature point of the screen display data could not be detected due to the fast moving speed of the imaging frame or the like, the frame position detection unit 22 could not identify the distance X to which the imaging frame moved. To the determination unit 23.

また、フレーム位置検知部22は、撮像フレームの移動速度を検知する。具体的には、フレーム位置検知部22は、撮像部20によって直近に取得された画像データにおける特徴点の位置座標、及び、撮像部20によって直近の一つ前に取得された画像データにおける特徴点の位置座標から算出した撮像フレームが移動した距離と、撮像部20によって直近に取得された画像が出力された時刻(タイミング)、及び、撮像部20によって直近の一つ前に取得された画像が出力された時刻(タイミング)の時間差とから、撮像フレームの移動速度を算出する。フレーム位置検知部22は、撮像フレームの移動速度を、制御部26に出力する。なお、特徴点を検出することができなかったために撮像フレームの移動速度を検知できなかった場合には、フレーム位置検知部22は、撮像フレームの移動速度を検知できなかった旨を制御部26に出力する。フレーム位置検知部22は、撮像フレームの位置の検知、及び、撮像フレームの移動速度の検知を、予め設定された所定の間隔でリアルタイムに行う。   The frame position detector 22 detects the moving speed of the imaging frame. Specifically, the frame position detection unit 22 includes the position coordinates of the feature points in the image data most recently acquired by the imaging unit 20 and the feature points in the image data acquired immediately before by the imaging unit 20. The distance traveled by the imaging frame calculated from the position coordinates, the time (timing) at which the most recently acquired image was output by the imaging unit 20, and the image acquired immediately before by the imaging unit 20 are The moving speed of the imaging frame is calculated from the time difference of the output time (timing). The frame position detection unit 22 outputs the moving speed of the imaging frame to the control unit 26. If the moving speed of the imaging frame cannot be detected because the feature point could not be detected, the frame position detection unit 22 informs the control unit 26 that the moving speed of the imaging frame could not be detected. Output. The frame position detection unit 22 detects the position of the imaging frame and the detection of the moving speed of the imaging frame in real time at predetermined intervals set in advance.

判定部23は、撮像位置特定部21によって特定されたパノラマ画像用の画像データを取得すべき撮像フレームの位置、及び、フレーム位置検知部22によって検知された撮像フレームの位置に基づいて、撮像フレームが、パノラマ画像用の画像データを取得すべき撮像フレームの位置に位置するか否かを判定する判定手段である。   Based on the position of the imaging frame from which the panoramic image data specified by the imaging position specifying unit 21 is to be acquired and the position of the imaging frame detected by the frame position detection unit 22, the determination unit 23 Is a determination unit that determines whether or not the image data for the panoramic image is located at the position of the imaging frame to be acquired.

具体的には、判定部23は、撮像位置特定部21により出力された第2の画像データを切り出すべき位置まで撮像フレームが移動すべき方向、及び、撮像フレームが移動すべき距離Zと、フレーム位置検知部22により出力された第1の画像データ40を切り出した位置から撮像フレームが移動した方向、及び、撮像フレームが移動した距離Xとの差分が、予め記憶された所定の閾値αに到達したか(α以下又はα未満になったか)否かを判定する。すなわち、判定部23は、撮像位置特定部21及びフレーム位置検知部22により出力された、方向及び距離によって決まるパノラマ画像用の画像データを取得すべき撮像フレームの位置と現時点の撮像フレームの位置との差分が閾値αに到達したか否かを判定する。所定の閾値αは、例えば撮像フレームが移動すべき距離Zと撮像フレームが移動した距離Xとがほぼ等しいと見なせるほど小さい画素数単位の値とすることができる。そして、判定部23は、所定の閾値αに到達したと判断した場合に、撮像フレームが、パノラマ画像用の画像データを取得すべき撮像フレームの位置、すなわち第2の画像データを切り出すべき位置に位置していると判定する。また、判定部23は、フレーム位置検知部22により撮像フレームが移動した距離Xを特定できなかった旨出力された場合には、所定の閾値αに到達していないと判定する。判定部23は、上記判定を所定の間隔でリアルタイムに行う。   Specifically, the determination unit 23 determines the direction in which the imaging frame should move to the position where the second image data output by the imaging position specifying unit 21 should be cut out, the distance Z that the imaging frame should move, and the frame The difference between the direction in which the imaging frame has moved from the position where the first image data 40 output by the position detection unit 22 is cut out and the distance X to which the imaging frame has moved reaches a predetermined threshold α stored in advance. Whether or not (below α or less than α) is determined. That is, the determination unit 23 outputs the panoramic image data determined by the direction and distance and output from the imaging position specifying unit 21 and the frame position detection unit 22, and the current imaging frame position. It is determined whether or not the difference between the two has reached the threshold value α. For example, the predetermined threshold value α can be set to a value in units of the number of pixels that is so small that the distance Z to which the imaging frame should move and the distance X to which the imaging frame has moved can be regarded as substantially equal. When the determination unit 23 determines that the predetermined threshold value α has been reached, the imaging frame is located at the position of the imaging frame from which the panoramic image data is to be acquired, that is, the position at which the second image data is to be extracted. It is determined that it is located. The determination unit 23 determines that the predetermined threshold value α has not been reached when the frame position detection unit 22 outputs that the distance X to which the imaging frame has moved cannot be specified. The determination unit 23 performs the determination in real time at a predetermined interval.

なお、判定部23は、制御部26によって、撮像フレームの移動速度が、画面表示用データを取得する際の撮像フレームの速度閾値S1(詳細は後述)を下回っている旨が出力された場合に限り、上述した判定を行うこととしてもよい。後述するように、速度閾値S1は、撮像部20が撮像フレームの位置検知に用いられる画像である画面表示用データを取得する際の撮像フレームの移動速度の閾値である。すなわち、撮像フレームの移動速度が速度閾値S1を下回っている場合とは、撮像部20が、位置検知に用いられる画面表示用データを適切に取得することができる場合である。よって、速度閾値S1を下回っている場合に判定部23が上述した判定を行うことで、判定部23による判定を確実に行うことができる。判定部23は、撮像フレームが、第2の画像データを切り出すべき位置に位置していると判定した場合には、判定結果を基準値設定部25に出力する。一方、判定部23は、撮像フレームが、第2の画像データを切り出すべき位置に位置していないと判定した場合には、判定結果を制御部26に出力する。   Note that the determination unit 23 outputs when the control unit 26 outputs that the moving speed of the imaging frame is lower than the imaging frame speed threshold S1 (details will be described later) when the screen display data is acquired. As long as the above-described determination is performed. As will be described later, the speed threshold value S1 is a threshold value of the moving speed of the imaging frame when the imaging unit 20 acquires screen display data that is an image used for position detection of the imaging frame. That is, the case where the moving speed of the imaging frame is lower than the speed threshold S1 is a case where the imaging unit 20 can appropriately acquire screen display data used for position detection. Therefore, when the determination unit 23 performs the above-described determination when the speed is lower than the speed threshold S1, the determination by the determination unit 23 can be reliably performed. If the determination unit 23 determines that the imaging frame is located at a position where the second image data is to be extracted, the determination unit 23 outputs the determination result to the reference value setting unit 25. On the other hand, when the determination unit 23 determines that the imaging frame is not located at the position where the second image data is to be extracted, the determination unit 23 outputs the determination result to the control unit 26.

光量検知部24は、撮像装置1に入力する光の量である光量を検知する光量検知手段である。具体的には、光量検知部24は、撮像部20から入力した画像データから光量を検知する。光量検知部24は、例えば撮像部20から入力した画像データ中の各画素の輝度値等から光量を検知する。例えば、光量検知部24は、画像データ中の各画素の輝度値を、いわゆるYUV情報のY値から取得する(輝度Yを取得する)。YUV情報とは、輝度信号(Y)、輝度信号と青色成分の差(U)、及び、輝度信号と赤色成分の差(V)の3つの情報で色を表す形式である。例えば、光量検知部24は、画像データに含まれる画素の輝度Yの平均を上記の光量として算出する。また、光量検知部24は、カメラ6のレンズを通り撮像装置1に入力した撮像範囲の輝度を測定する測光センサーであってもよい。なお、光量検知部24は、測光センサーとしての機能のみを有するものでなくてもよく、例えば、CCD(Charge Coupled Device)やCOMS(Complementary Metal Oxide Semiconductor)等の撮像素子であって、測光センサーとしての機能を有するものであってもよい。光量検知部24は、撮像装置に用いられる測光センサーが通常有する機能を有するものであればよい。光量検知部24は、検知した光量を、基準値設定部25に出力する。   The light amount detection unit 24 is a light amount detection unit that detects a light amount that is the amount of light input to the imaging apparatus 1. Specifically, the light amount detection unit 24 detects the light amount from the image data input from the imaging unit 20. The light quantity detection unit 24 detects the light quantity from, for example, the luminance value of each pixel in the image data input from the imaging unit 20. For example, the light amount detection unit 24 acquires the luminance value of each pixel in the image data from the Y value of so-called YUV information (acquires luminance Y). YUV information is a format that expresses a color with three pieces of information: a luminance signal (Y), a difference (U) between the luminance signal and the blue component, and a difference (V) between the luminance signal and the red component. For example, the light amount detection unit 24 calculates the average luminance Y of the pixels included in the image data as the light amount. Further, the light amount detection unit 24 may be a photometric sensor that measures the luminance of the imaging range that is input to the imaging device 1 through the lens of the camera 6. The light quantity detection unit 24 may not have only a function as a photometric sensor. For example, the light quantity detection unit 24 may be an imaging element such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (COMS), and may be used as a photometric sensor. It may have the function. The light amount detection unit 24 may be any unit that has a function normally provided by a photometric sensor used in an imaging apparatus. The light amount detection unit 24 outputs the detected light amount to the reference value setting unit 25.

光量検知部24は、撮像部20により第1の画像データ40又は第2の画像データ(画像データ自体又は画像データを取得した旨)が出力されたタイミングで、光量を検知し、検知した結果を基準値設定部25に出力する。なお、光量検知部24が光量を検知し出力するタイミングは上記タイミングに限定されない。例えば、光量検知部24は、判定部23により撮像フレームが第2の画像データを切り出すべき位置に位置していると判定された際に、当該判定結果の出力を受けて、光量の検知及び出力を行うものであってもよい。なお、光量検知部24が検知した光量に基づいて、カメラ6のシャッタースピードが設定される。光量が多い場合にはシャッタースピードが比較的速く設定され、光量が少ない場合にはシャッタースピードが比較的遅く設定される。シャッタースピードが速く設定された場合には、シャッタースピードが遅く設定された場合と比較して、撮像フレームを比較的速く移動させた場合であっても、綺麗な画質で撮像することができる。   The light amount detection unit 24 detects the light amount at the timing when the first image data 40 or the second image data (the image data itself or the fact that the image data has been acquired) is output by the imaging unit 20, and the detection result is obtained. The data is output to the reference value setting unit 25. The timing at which the light amount detector 24 detects and outputs the light amount is not limited to the above timing. For example, when the determination unit 23 determines that the imaging frame is located at a position where the second image data should be cut out, the light amount detection unit 24 receives the output of the determination result, and detects and outputs the light amount. It may be what performs. Note that the shutter speed of the camera 6 is set based on the amount of light detected by the light amount detector 24. When the amount of light is large, the shutter speed is set relatively fast, and when the amount of light is small, the shutter speed is set relatively slow. When the shutter speed is set fast, it is possible to pick up images with a clear image quality even when the imaging frame is moved relatively fast compared to when the shutter speed is set slow.

基準値設定部25は、撮像フレームの移動速度の基準値を設定する基準値設定手段である。基準値設定部25が設定する基準値としては、撮像部20が第2の画像データを取得する際の撮像フレームの移動速度の基準値(第2の基準値)である速度閾値S2、及び、撮像部20が画面表示用データを取得する際の撮像フレームの移動速度の基準値(第1の基準値)である速度閾値S1が含まれている。速度閾値S2は、判定部23によって、撮像フレームがパノラマ画像用の画像データを取得すべき撮像フレームの位置に位置する、すなわち、第2の画像データを切り出すべき位置に位置していると判定された場合に設定される閾値である。一方、速度閾値S1は、それ以外の場合に設定される閾値である。   The reference value setting unit 25 is a reference value setting unit that sets a reference value for the moving speed of the imaging frame. The reference value set by the reference value setting unit 25 includes a speed threshold S2 that is a reference value (second reference value) of the moving speed of the imaging frame when the imaging unit 20 acquires the second image data, and A speed threshold S1 that is a reference value (first reference value) of the moving speed of the imaging frame when the imaging unit 20 acquires screen display data is included. The speed threshold S2 is determined by the determination unit 23 that the imaging frame is located at the position of the imaging frame from which panoramic image data is to be acquired, that is, the second image data is to be extracted. This is a threshold value set in the case of On the other hand, the speed threshold value S1 is a threshold value set in other cases.

図4に示されるように、カメラ6の操作スピードの上限値(撮像フレームの移動速度の上限値)である速度閾値S2及び速度閾値S1は、いずれも光量検知部24によって検知された光量(例えば輝度Y)に応じて設定される可変値であり、輝度Yが大きいほど大きい値が設定される。同じ輝度Y下においては、速度閾値S2よりも速度閾値S1のほうが大きな値が設定される。なお、従来から知られているように、輝度Yが大きくなるにつれて、速度閾値S2及び速度閾値S1は指数関数的に増加する。基準値設定部25は、速度閾値(速度閾値S2及び速度閾値S1)と光量との関係(例えば、図4に示す当該関係を示す情報)を予め記憶している。そして、基準値設定部25は、予め記憶している速度閾値と光量との関係に基づき、光量に応じた速度閾値を設定する。   As shown in FIG. 4, the speed threshold value S2 and the speed threshold value S1 that are upper limit values of the operation speed of the camera 6 (upper limit value of the moving speed of the imaging frame) are both the light amounts detected by the light amount detection unit 24 (for example, Is a variable value set according to the luminance Y), and a larger value is set as the luminance Y increases. Under the same luminance Y, the speed threshold value S1 is set to a larger value than the speed threshold value S2. As conventionally known, as the luminance Y increases, the speed threshold S2 and the speed threshold S1 increase exponentially. The reference value setting unit 25 stores in advance a relationship between the speed threshold (speed threshold S2 and speed threshold S1) and the amount of light (for example, information indicating the relationship shown in FIG. 4). Then, the reference value setting unit 25 sets a speed threshold corresponding to the light quantity based on the relationship between the speed threshold value and the light quantity stored in advance.

基準値設定部25は、撮像部20によって第1の画像データが取得された後、光量検知部24によって検知された光量に基づいて速度閾値S1を設定する。また、基準値設定部25は、判定部23による判定、及び光量検知部24によって検知された光量に基づいて速度閾値S2を設定する。具体的には、基準値設定部25は、判定部23により撮像フレームが第2の画像データを切り出すべき位置に位置していると判定された場合に、光量に応じた速度閾値S2を設定する。なお、基準値設定部25は、判定部23による判定時に撮像フレームの位置がわからなくなった場合には、速度閾値S1を設定する。また、基準値設定部25は、判定部23により撮像フレームが第2の画像データを切り出すべき位置に位置していると判定された後に、撮像フレームが第2の画像データを切り出すべき位置に位置しなくなった場合には、速度閾値S1を設定する。基準値設定部25は、設定した速度閾値S2又は速度閾値S1を、制御部26に出力する。   The reference value setting unit 25 sets the speed threshold value S <b> 1 based on the light amount detected by the light amount detection unit 24 after the first image data is acquired by the imaging unit 20. The reference value setting unit 25 sets the speed threshold S2 based on the determination by the determination unit 23 and the light amount detected by the light amount detection unit 24. Specifically, the reference value setting unit 25 sets a speed threshold S2 corresponding to the light amount when the determination unit 23 determines that the imaging frame is located at a position where the second image data should be extracted. . The reference value setting unit 25 sets the speed threshold value S1 when the position of the imaging frame is not known at the time of determination by the determination unit 23. Further, the reference value setting unit 25 determines that the imaging frame is positioned at a position where the second image data should be extracted after the determination unit 23 determines that the imaging frame is positioned at the position where the second image data should be extracted. If not, a speed threshold S1 is set. The reference value setting unit 25 outputs the set speed threshold value S2 or the speed threshold value S1 to the control unit 26.

制御部26は、基準値設定部25によって設定された基準値に基づいた制御を行う制御手段である。具体的には、制御部26は、基準値設定部25によって設定された速度閾値S2又は速度閾値S1と、フレーム位置検知部22によって出力された撮像フレームの移動速度とをリアルタイムに比較し、所定の制御を行う。すなわち、制御部26は、判定部23によって撮像フレームがパノラマ画像用の画像データを取得すべき撮像フレームの位置に位置する(第2の画像データを切り出すべき位置に位置する)と判定され、かつ、撮像フレームの移動速度が速度閾値S2を下回った場合に、撮像部20に対して第2の画像データを取得させるように制御する。この場合の撮像部20による第2の画像データの取得は、自動で行われる。制御部26は、撮像部20に対して第2の画像データを取得させるように制御させた後に、基準値設定部25によって設定された速度閾値S2をリセットする。一方で、制御部26は、撮像フレームの移動速度が速度閾値S2を下回っていない(超えている)場合には、所定の警告を出力(例えば、画面表示等の出力)するとともに、再度、フレーム位置検知部22に出力された撮像フレームの移動速度と、速度閾値S2とを比較する。   The control unit 26 is a control unit that performs control based on the reference value set by the reference value setting unit 25. Specifically, the control unit 26 compares the speed threshold S2 or the speed threshold S1 set by the reference value setting unit 25 with the moving speed of the imaging frame output by the frame position detection unit 22 in real time, Control. That is, the control unit 26 determines that the imaging frame is positioned at the position of the imaging frame from which the panoramic image data is to be acquired (positioned at the position where the second image data is to be extracted) by the determination unit 23, and When the moving speed of the imaging frame falls below the speed threshold S2, the imaging unit 20 is controlled to acquire the second image data. The acquisition of the second image data by the imaging unit 20 in this case is automatically performed. The control unit 26 controls the imaging unit 20 to acquire the second image data, and then resets the speed threshold value S2 set by the reference value setting unit 25. On the other hand, when the moving speed of the imaging frame does not fall below (exceeds) the speed threshold value S2, the control unit 26 outputs a predetermined warning (for example, an output such as a screen display) and again, the frame The moving speed of the imaging frame output to the position detector 22 is compared with the speed threshold S2.

上述した所定の警告は以下のように行われる。すなわち、制御部26は、撮像フレームの移動速度を落とすことをすすめる内容を、タッチパネルディスプレイ4に表示する。制御部26は、例えば図5(b)に示されるように、「STOP」「光量が少ないので、撮影場所でカメラをしっかり止めて下さい」とのメッセージが書かれた図形をタッチパネルディスプレイ4に表示し、ユーザによる撮像フレームの移動の速度を遅くすることを試みる。光量が少なく許容される速度閾値S2が小さいケースで撮像フレームの移動速度が速くされると被写体が流れて撮像されてしまう(比較的高い画像品質での撮像ができない)課題がある。上記メッセージを出力することで、あらゆる輝度環境でユーザ自身が速度閾値S2を判断することなく、被写体が流れて撮像されてしまう課題を解決することができる。   The predetermined warning described above is performed as follows. That is, the control unit 26 displays on the touch panel display 4 the content that recommends reducing the moving speed of the imaging frame. For example, as shown in FIG. 5 (b), the control unit 26 displays on the touch panel display 4 a figure with a message “STOP” and “Please keep the camera firmly at the shooting location because the amount of light is low”. The user tries to slow down the moving speed of the imaging frame. There is a problem that when the moving speed of the imaging frame is increased in the case where the allowable light speed threshold S2 is small and the amount of light is small, the subject flows and is imaged (capturing with relatively high image quality is not possible). By outputting the message, it is possible to solve the problem that the subject flows and is imaged without the user himself / herself determining the speed threshold S2 in any luminance environment.

このような所定の警告は、あらゆる輝度環境において、被写体が流れて撮像されたり、パノラマ画像の繋ぎ目が不連続になることの無いように行うものである。このような所定の警告は、速度閾値S2の撮像フレームの移動速度との乖離度合に応じて複数設定されていてもよい。また、制御部26は、撮像フレームの移動速度にかかわらず、光量に基づいて設定される速度閾値S2が予め設定される所定値よりも小さいことをもって図5(b)に示されるメッセージが書かれた図形をタッチパネルディスプレイ4に表示することとしてもよい。   Such a predetermined warning is performed so as not to cause a subject to flow and be imaged in any luminance environment and to prevent discontinuity of the joints of panoramic images. A plurality of such predetermined warnings may be set according to the degree of deviation from the moving speed of the imaging frame of the speed threshold S2. Further, the control unit 26 writes the message shown in FIG. 5B when the speed threshold S2 set based on the light amount is smaller than a predetermined value regardless of the moving speed of the imaging frame. The displayed figure may be displayed on the touch panel display 4.

なお、制御部26は、上記の所定の警告の出力のみを行い、上記の第2の画像データの自動的な取得を行わないこととしてもよい。その場合、画面出力をした後にユーザの操作により第2の画像データの取得が行われることとしてもよい。また、制御部26は、上記の第2の画像データの自動的な取得のみを行い、上記の所定の警告の出力を行わないこととしてもよい。   Note that the control unit 26 may output only the predetermined warning and may not automatically acquire the second image data. In that case, the second image data may be acquired by a user operation after the screen output. Further, the control unit 26 may perform only the automatic acquisition of the second image data and does not output the predetermined warning.

また、制御部26は、基準値設定部25により速度閾値S1が設定されている状態において、撮像フレームの移動速度が速度閾値S1を下回った場合に、判定部23に対して、撮像フレームの移動速度が速度閾値S1を下回っている旨を出力する。判定部23は、当該出力があった後に、撮像フレームが第2の画像データを取得すべき位置にいるか否かを判定する。一方で、制御部26は、撮像フレームの移動速度が速度閾値S1を下回っていない(超えている)場合には、所定の警告を出力する。当該所定の警告は、例えば図5(a)に示されるように、「光量が少ないので、カメラをゆっくり動かして下さい」とのメッセージが書かれた図形をタッチパネルディスプレイ4に表示するものである。光量が少なく許容される速度閾値S1が小さいケースで撮像フレームの移動速度が速くされると十分に特徴点を取得することができない課題がある。この場合には、撮像フレームの位置検知を行うことができないおそれがある。ユーザにカメラをゆっくり動かす必要があることを伝える表示を行うことで、あらゆる輝度環境でユーザ自身が速度閾値S1を判断することなく、特徴点数を減らさずに撮像することができる。また、制御部26は、撮像フレームの移動速度にかかわらず、光量に基づいて設定される速度閾値S1が予め設定される所定値よりも小さいことをもって図5(a)に示されるメッセージが書かれた図形をタッチパネルディスプレイ4に表示することとしてもよい。   In addition, when the speed threshold S1 is set by the reference value setting unit 25, the control unit 26 moves the imaging frame to the determination unit 23 when the moving speed of the imaging frame falls below the speed threshold S1. Outputs that the speed is below the speed threshold S1. The determination unit 23 determines whether or not the imaging frame is at a position where the second image data should be acquired after the output. On the other hand, when the moving speed of the imaging frame is not less than (exceeds) the speed threshold value S1, the control unit 26 outputs a predetermined warning. For example, as shown in FIG. 5A, the predetermined warning is to display a graphic with a message “Please move the camera slowly because the amount of light is small” on the touch panel display 4. There is a problem in that the feature points cannot be sufficiently acquired when the moving speed of the imaging frame is increased in a case where the allowable light speed threshold S1 is small with a small amount of light. In this case, there is a possibility that the position of the imaging frame cannot be detected. By performing display that informs the user that the camera needs to be moved slowly, it is possible to capture an image without reducing the number of feature points without the user himself / herself determining the speed threshold S1 in any luminance environment. Further, the control unit 26 writes the message shown in FIG. 5A when the speed threshold S1 set based on the light amount is smaller than a predetermined value regardless of the moving speed of the imaging frame. The displayed figure may be displayed on the touch panel display 4.

制御部26は、当該所定の警告を出力した後に、再度、フレーム位置検知部22に出力された撮像フレームの移動速度と、速度閾値S1とを比較する。なお、判定部23によって、撮像フレームが第2の画像データを取得すべき位置にいないと判定された場合には、制御部26は、再度、フレーム位置検知部22に出力された撮像フレームの移動速度と、速度閾値S1とを比較する。なお、制御部26は、フレーム位置検知部22から移動速度を検知できなかった旨出力された場合には、速度閾値S1又は速度閾値S2を下回っていない(超えている)と判定する。   After outputting the predetermined warning, the control unit 26 again compares the moving speed of the imaging frame output to the frame position detection unit 22 with the speed threshold S1. When the determination unit 23 determines that the imaging frame is not at the position where the second image data should be acquired, the control unit 26 again moves the imaging frame output to the frame position detection unit 22. The speed is compared with the speed threshold S1. Note that when the frame position detection unit 22 outputs that the moving speed cannot be detected, the control unit 26 determines that the speed threshold value S1 or the speed threshold value S2 is not below (exceeds).

また、制御部26は、タッチパネルディスプレイ4に撮像ガイドを示す図形を表示させることにより、第1の画像データ40を切り出した位置から第2の画像データを切り出すべき位置までの撮像フレームの移動をガイドするものであってもよい。この場合には、例えば、制御部26は、撮像部20により出力された第1の画像データ40と、撮像位置特定部21により出力された撮像フレームが移動すべき距離Zと、フレーム位置検知部22により出力された撮像フレームが移動した距離Xとから、第2の画像データを切り出すべき位置までの撮像フレームの移動方向、移動距離等を表す撮像ガイドを示す図形を、タッチパネルディスプレイ4に表示する。   Further, the control unit 26 displays a figure indicating the imaging guide on the touch panel display 4 to guide the movement of the imaging frame from the position where the first image data 40 is extracted to the position where the second image data is to be extracted. You may do. In this case, for example, the control unit 26, the first image data 40 output by the imaging unit 20, the distance Z to which the imaging frame output by the imaging position specifying unit 21 should move, and the frame position detection unit The touch panel display 4 displays a graphic indicating an imaging guide indicating a moving direction, a moving distance, and the like of the imaging frame from the distance X to which the imaging frame output by 22 moves to the position where the second image data should be cut out. .

次に、撮像装置1を用いた撮像方法において、図6を参照しながら説明する。   Next, an imaging method using the imaging apparatus 1 will be described with reference to FIG.

図6に示されるように、撮像装置1において、例えばユーザにより撮像を行うアプリケーションが起動され、パノラマ画像撮像モードが設定され、シャッタボタン12が押下されると、撮像部20によって、撮像フレームにより切り出される第1の画像データ40が取得される(S11:撮像ステップ)。続いて、撮像部20によって、リアルタイムに画面表示用の画像データが取得される。続いて、撮像位置特定部21によって、撮像部20が出力した第1の画像データ40に基づき、撮像フレームが移動すべき距離Zが特定され、第2の画像データを取得すべき撮像フレームの位置が特定される(S12:撮像位置特定ステップ)。   As illustrated in FIG. 6, in the imaging apparatus 1, for example, when an application that performs imaging is started by the user, the panoramic image imaging mode is set, and the shutter button 12 is pressed, the imaging unit 20 extracts the image by the imaging frame. First image data 40 to be acquired is acquired (S11: imaging step). Subsequently, image data for screen display is acquired by the imaging unit 20 in real time. Subsequently, the imaging position specifying unit 21 specifies the distance Z to which the imaging frame should move based on the first image data 40 output by the imaging unit 20, and the position of the imaging frame from which the second image data should be acquired. Is specified (S12: imaging position specifying step).

続いて、光量検知部24によって、撮像装置1に入力する光の量である光量が検知される(S13:光量検知ステップ)。なお、ステップS13は、ステップS12の前に行われてもよい。続いて、基準値設定部25によって、光量検知部24が出力した光量に基づいて速度閾値S1が設定される(S14:基準値設定ステップ)。続いて、フレーム位置検知部22によって、第1の画像データ40とリアルタイムに取得される画面表示用データとに基づき、撮像フレームが移動した方向及び距離Xが特定される。そして、撮像フレームが移動した方向及び距離Xから撮像フレームの位置が検知されるとともに、撮像フレームの移動速度が検知される(S15:フレーム位置検知ステップ)。   Subsequently, the light amount detection unit 24 detects a light amount that is the amount of light input to the imaging device 1 (S13: light amount detection step). Note that step S13 may be performed before step S12. Subsequently, the speed threshold value S1 is set by the reference value setting unit 25 based on the light amount output from the light amount detection unit 24 (S14: reference value setting step). Subsequently, based on the first image data 40 and the screen display data acquired in real time, the direction and distance X in which the imaging frame has moved is specified by the frame position detection unit 22. Then, the position of the imaging frame is detected from the moving direction of the imaging frame and the distance X, and the moving speed of the imaging frame is detected (S15: frame position detection step).

続いて、制御部26によって、撮像フレームの移動速度が速度閾値S1を超えていないか判定される(S16)。S16において撮像フレームの移動速度が速度閾値S1を超えていると判定された場合(S16:NO)には、制御部26によって、所定の警告がタッチパネルディスプレイ4に表示される(S17:制御ステップ)。その後、制御部26によって、S15の処理が再度行われる。   Subsequently, the control unit 26 determines whether the moving speed of the imaging frame exceeds the speed threshold S1 (S16). When it is determined in S16 that the moving speed of the imaging frame exceeds the speed threshold S1 (S16: NO), a predetermined warning is displayed on the touch panel display 4 by the control unit 26 (S17: control step). . Thereafter, the control unit 26 performs the process of S15 again.

一方、S16において撮像フレームの移動速度が速度閾値S1を超えていないと判定された場合(S16:YES)には、判定部23によって、撮像フレームが第2の画像データを取得すべき位置に位置しているかが判定される(S18:判定ステップ)。S18において第2の画像データを取得すべき位置でないと判定された場合(S18:NO)には、S15の処理が再度行われる。   On the other hand, when it is determined in S16 that the moving speed of the imaging frame does not exceed the speed threshold S1 (S16: YES), the determination unit 23 positions the imaging frame at a position where the second image data is to be acquired. It is determined whether or not (S18: determination step). If it is determined in S18 that the second image data is not to be acquired (S18: NO), the process of S15 is performed again.

一方、S18において第2の画像データを取得すべき位置であると判定された場合(S18:YES)には、基準値設定部25によって、光量検知部24が出力した光量に基づいて速度閾値S2が設定される(S19:基準値設定ステップ)。続いて、フレーム位置検知部22によって、撮像フレームの移動速度が検知される(S20)。続いて、制御部26によって、撮像フレームの移動速度が速度閾値S2を超えていないか判定される(S21)。   On the other hand, if it is determined in S18 that the second image data is to be acquired (S18: YES), the reference value setting unit 25 uses the speed threshold S2 based on the light amount output from the light amount detection unit 24. Is set (S19: reference value setting step). Subsequently, the moving speed of the imaging frame is detected by the frame position detection unit 22 (S20). Subsequently, the control unit 26 determines whether the moving speed of the imaging frame exceeds the speed threshold S2 (S21).

S21において撮像フレームの移動速度が速度閾値S2を超えていると判定された場合(S21:NO)には、制御部26によって、所定の警告がタッチパネルディスプレイ4に表示される(S22:制御ステップ)。その後、制御部16によって、速度閾値S2を超えている旨の出力が基準値設定部25に出力され、S21の処理が再度行われる。なお、図示はしていないが、S21の処置の後に、第2の画像データを取得すべき位置であるか否かが判断できない場合、及び、第2の画像データを取得すべき位置でなくなった場合には、速度閾値S1が設定され、S14の処理から再度行われる。一方で、S21において撮像フレームの移動速度が速度閾値S2を超えていないと判定された場合(S21:YES)には、制御部26は撮像部20に対して第2の画像データを取得するよう指示し、撮像部20によって第2の画像データが取得される(ステップS23:撮像ステップ)。その後、制御部26によって速度閾値S2がリセットされる。なお、上述したように、第2の画像データは、次の画像データに対しては第1の画像データ40であるため、S23の処理は、次の画像データ取得に関してはS11の処理である。   When it is determined in S21 that the moving speed of the imaging frame exceeds the speed threshold S2 (S21: NO), a predetermined warning is displayed on the touch panel display 4 by the control unit 26 (S22: control step). . Thereafter, the control unit 16 outputs an output indicating that the speed threshold value S2 is exceeded to the reference value setting unit 25, and the process of S21 is performed again. Although not shown, if it is not possible to determine whether or not it is the position where the second image data is to be acquired after the treatment of S21, and the position where the second image data is to be acquired is lost. In this case, the speed threshold S1 is set, and the process from S14 is performed again. On the other hand, when it is determined in S21 that the moving speed of the imaging frame does not exceed the speed threshold S2 (S21: YES), the control unit 26 acquires the second image data from the imaging unit 20. The second image data is acquired by the imaging unit 20 (step S23: imaging step). Thereafter, the speed threshold S2 is reset by the control unit 26. As described above, since the second image data is the first image data 40 for the next image data, the process of S23 is the process of S11 for the next image data acquisition.

次に、本実施形態の作用効果について説明する。   Next, the function and effect of this embodiment will be described.

本実施形態に係る撮像装置1によれば、判定部23により、撮像フレームの位置がパノラマ画像用の画像データを取得すべき位置であるか否かが判定される。また、光量検知部24により、撮像装置1に入力する光量が検知される。そして、上述した撮像フレームの位置に関する判定結果と光量とに基づいて、基準値設定部25により撮像フレームの移動速度の速度閾値S1又は速度閾値S2が設定され、速度閾値S1又は速度閾値S2に基づいた制御が行われる。光量を考慮して速度閾値S1又は速度閾値S2を設定することで、撮像環境に応じた速度閾値を設定することができる。例えば、従来、光量を考慮せずに一定の速度閾値を設定していた場合においては、以下のような問題があった。すなわち、光量が少ないシーンではシャッタースピードを遅くせざるを得ないため、撮像画像中の被写体が流れるようにぶれないよう、カメラを静止する撮像操作が必要となるのに対し、光量の多いシーンではシャッタースピードを速くできるためカメラを静止しなくても綺麗な画質で撮像できるにもかかわらず、静止操作を強いていた。この点、光量に応じて速度閾値を設定することで、ユーザにとってスムーズな撮像を実現することができる。   According to the imaging apparatus 1 according to the present embodiment, the determination unit 23 determines whether or not the position of the imaging frame is a position where image data for panoramic images should be acquired. Further, the light amount detection unit 24 detects the light amount input to the imaging device 1. Then, based on the determination result regarding the position of the imaging frame and the amount of light, the reference value setting unit 25 sets the speed threshold S1 or the speed threshold S2 of the moving speed of the imaging frame, and based on the speed threshold S1 or the speed threshold S2. Control is performed. By setting the speed threshold S1 or the speed threshold S2 in consideration of the amount of light, the speed threshold corresponding to the imaging environment can be set. For example, conventionally, when a constant speed threshold value is set without considering the amount of light, there are the following problems. In other words, the shutter speed must be slowed in scenes with low light levels, so an imaging operation that stops the camera is necessary to prevent the subject in the captured image from flowing. Although the shutter speed can be increased, the camera must be stationary even though the camera can capture high-quality images without having to stand still. In this respect, by setting the speed threshold according to the amount of light, it is possible to realize smooth imaging for the user.

また、速度閾値S1又は速度閾値S2が、撮像フレームの位置を考慮して設定されたものであるため、撮像フレームの位置がパノラマ画像用の画像データを取得すべき位置である場合と、そうでない場合とで、異なる制御を行うことができる。これにより、例えば、十分な画像品質が必要とされるパノラマ画像用の画像データを取得する場合には画像品質を優先した制御を行い、それ以外の場合には、移動速度を優先し、ユーザの操作性向上を図った制御を行うことができる。以上より、本発明によれば、画像品質を担保しながら、撮像時におけるユーザの操作性を向上させることができる。   In addition, since the speed threshold S1 or the speed threshold S2 is set in consideration of the position of the imaging frame, the case where the position of the imaging frame is a position where image data for a panoramic image should be acquired is not. Different control can be performed depending on the case. Thereby, for example, when acquiring image data for a panoramic image that requires sufficient image quality, control is performed with priority on the image quality, and in other cases, the movement speed is prioritized, and the user's Control capable of improving operability can be performed. As described above, according to the present invention, it is possible to improve user operability during imaging while ensuring image quality.

また、基準値設定部25は、判定部23によって、撮像フレームがパノラマ画像用の画像データを取得すべき撮像フレームの位置に位置すると判定された場合に、速度閾値S2を設定し、それ以外の場合に速度閾値S2よりも大きい速度閾値S1を設定してもよい。撮像フレームがパノラマ画像用の画像データを取得すべき位置に位置する場合の速度閾値S2よりも、それ以外の位置に位置する場合の速度閾値S1を大きくすることで、十分な画像品質が必要とされるパノラマ画像用の画像データを取得する場合には、移動速度よりも画像品質を優先した制御を行い、パノラマ画像用の画像データほどの画像品質を必要とされないそれ以外の場合には、より移動速度を優先し、ユーザの操作性向上を図った制御を行うことが可能となる。   The reference value setting unit 25 sets the speed threshold S2 when the determination unit 23 determines that the imaging frame is located at the position of the imaging frame from which panoramic image data is to be acquired. In this case, a speed threshold S1 larger than the speed threshold S2 may be set. Sufficient image quality is required by increasing the speed threshold value S1 when the imaging frame is located at a position other than the speed threshold value S2 when the imaging frame is located at a position where panoramic image data should be acquired. When acquiring image data for a panoramic image, control is performed with priority given to image quality over moving speed, and in other cases where image quality as high as panoramic image image data is not required, It is possible to perform control that gives priority to the moving speed and improves user operability.

また、フレーム位置検知部22は、撮像フレームの移動速度を検知し、制御部26は、判定部23によって、撮像フレームがパノラマ画像用の画像データを取得すべき撮像フレームの位置に位置すると判定され、かつフレーム位置検知部22によって検知された撮像フレームの移動速度が基準値設定部25によって設定された速度閾値S2を下回った場合に、撮像部20に対して複数のパノラマ画像用の画像データを取得させるよう制御してもよい。撮像フレームの移動速度が、速度閾値S1と比較して小さく設定された速度閾値S2を下回った場合にパノラマ画像用の画像データを取得させるように制御することで、十分な画像品質が必要とされるパノラマ画像用の画像データの画像品質を担保することができる。また、パノラマ画像用の画像データの自動的な取得が可能となる。   The frame position detection unit 22 detects the moving speed of the imaging frame, and the control unit 26 determines that the imaging frame is located at the position of the imaging frame from which the panoramic image data should be acquired by the determination unit 23. When the moving speed of the imaging frame detected by the frame position detection unit 22 is lower than the speed threshold S2 set by the reference value setting unit 25, a plurality of panoramic image data is sent to the imaging unit 20. You may control to make it acquire. When the moving speed of the imaging frame is lower than the speed threshold S2 set smaller than the speed threshold S1, control is performed so that image data for a panoramic image is acquired, so that sufficient image quality is required. The image quality of the image data for the panoramic image can be ensured. In addition, it is possible to automatically acquire image data for a panoramic image.

また、制御部26が、速度閾値S1,S2に基づいた出力を行うことで、ユーザに対して基準値毎の適切な操作を促すことができ、ユーザの操作性がより向上する。   Moreover, the control part 26 can prompt the user to perform an appropriate operation for each reference value by performing output based on the speed threshold values S1 and S2, and the operability for the user is further improved.

また、フレーム位置検知部22が、撮像フレームの移動速度を検知し、制御部26が、フレーム位置検知部22によって検知された移動速度、及び速度閾値S1,S2に基づいた出力を行うことで、例えば撮像フレームを過度に速く動かすユーザ等に対して適切な操作を促すことができ、ユーザの操作性がより向上する。   In addition, the frame position detection unit 22 detects the moving speed of the imaging frame, and the control unit 26 performs an output based on the moving speed detected by the frame position detection unit 22 and the speed thresholds S1 and S2. For example, an appropriate operation can be urged to a user who moves the imaging frame too quickly, and the operability for the user is further improved.

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されない。例えば、判定部23により撮像フレームが第2の画像データを切り出すべき位置に位置していると判定され、制御部26により速度閾値S2が設定され、撮像フレームの移動速度が速度閾値S2を下回っている場合に第2の画像データが取得されるとして説明したが、これに限定されない。すなわち、判定部23が、撮像位置特定部21により出力された撮像フレームが移動すべき距離Zと、フレーム位置検知部22により出力された撮像フレームが移動した距離Xとの差分が、予め記憶された所定の閾値β(上述したαよりも大きい閾値)に到達したか(β以下又はβ未満になったか)否かを判定してもよい。所定の閾値βに到達した場合とは、少なくとも撮像フレームがパノラマ画像用の画像データを取得すべき位置の近傍に位置する場合である。この場合、判定部23が閾値βに到達した旨を基準値設定部25に出力することで、速度閾値S2が設定される。さらに撮像フレームが閾値αに到達した段階で判定部23が制御部26にその旨を出力し制御部26の制御により第2の画像データが取得される。このように、判定部23は、現時点の撮像フレームが、第2の画像データを取得すべき撮像フレームの位置の近傍に位置するか否かを判定することとしてもよい。これにより、撮像フレームが第2の画像データを切り出すべき位置に位置する前段階で速度閾値S2を設定し、第2の画像データを切り出すべき位置に向けて、スムーズに撮像フレームの速度を落とすことができる。   The preferred embodiment of the present invention has been described above, but the present invention is not limited to the above embodiment. For example, the determination unit 23 determines that the imaging frame is located at a position where the second image data should be cut out, the control unit 26 sets the speed threshold value S2, and the moving speed of the imaging frame falls below the speed threshold value S2. However, the present invention is not limited to this. That is, the determination unit 23 stores in advance a difference between the distance Z to which the imaging frame output by the imaging position specifying unit 21 should move and the distance X to which the imaging frame output by the frame position detection unit 22 has moved. It may be determined whether or not a predetermined threshold value β (threshold value larger than α described above) has been reached (below β or less than β). The case where the predetermined threshold value β is reached is a case where at least the imaging frame is located in the vicinity of the position where the panoramic image data is to be acquired. In this case, the speed threshold S2 is set by outputting to the reference value setting unit 25 that the determination unit 23 has reached the threshold value β. Further, when the imaging frame reaches the threshold value α, the determination unit 23 outputs a message to that effect to the control unit 26, and second image data is acquired under the control of the control unit 26. Thus, the determination unit 23 may determine whether or not the current imaging frame is located in the vicinity of the position of the imaging frame from which the second image data is to be acquired. As a result, the speed threshold S2 is set before the imaging frame is located at the position where the second image data should be cut out, and the speed of the imaging frame is smoothly reduced toward the position where the second image data should be cut out. Can do.

1 撮像装置、6…カメラ、20…撮像部、21…撮像位置特定部、22…フレーム位置検知部、23…判定部、24…光量検知部、25…基準値設定部、26…制御部、101…CPU、102…主記憶部、103…補助記憶部、104…入力部、105…出力部、S1,S2…速度閾値。   DESCRIPTION OF SYMBOLS 1 Imaging device, 6 ... Camera, 20 ... Imaging part, 21 ... Imaging position specific | specification part, 22 ... Frame position detection part, 23 ... Determination part, 24 ... Light quantity detection part, 25 ... Reference value setting part, 26 ... Control part, DESCRIPTION OF SYMBOLS 101 ... CPU, 102 ... Main memory part, 103 ... Auxiliary memory part, 104 ... Input part, 105 ... Output part, S1, S2 ... Speed threshold value.

Claims (6)

複数のパノラマ画像用の画像データを合成してパノラマ画像データを生成するため、前記複数のパノラマ画像用の画像データを取得する撮像装置であって、
撮像領域を示す撮像フレームにより切り出される画像を撮像することにより画像データを取得する撮像手段と、
前記パノラマ画像用の画像データを取得すべき撮像フレームの位置を特定する撮像位置特定手段と、
前記撮像装置に入力する光の量である光量を検知する光量検知手段と、
前記撮像手段によって取得された複数の画像データに基づいて、前記撮像フレームの位置を検知するフレーム位置検知手段と、
前記撮像位置特定手段によって特定された前記パノラマ画像用の画像データを取得すべき撮像フレームの位置、及び前記フレーム位置検知手段によって検知された前記撮像フレームの位置に基づいて、当該撮像フレームが、前記パノラマ画像用の画像データを取得すべき撮像フレームの位置又は当該位置の近傍に位置するか否かを判定する判定手段と、
前記判定手段による判定、及び前記光量検知手段によって検知された光量に基づいて撮像フレームの移動速度の基準値を設定する基準値設定手段と、
前記基準値設定手段によって設定された基準値に基づいた制御を行う制御手段と、
を備える撮像装置。
An image pickup apparatus that acquires image data for a plurality of panoramic images in order to generate panoramic image data by combining image data for a plurality of panoramic images,
Imaging means for acquiring image data by capturing an image cut out by an imaging frame indicating an imaging region;
Imaging position specifying means for specifying the position of an imaging frame from which the image data for the panoramic image is to be acquired;
A light amount detection means for detecting a light amount that is an amount of light input to the imaging device;
Frame position detection means for detecting the position of the imaging frame based on a plurality of image data acquired by the imaging means;
Based on the position of the imaging frame from which the image data for the panoramic image specified by the imaging position specifying unit is to be acquired, and the position of the imaging frame detected by the frame position detection unit, the imaging frame is Determining means for determining whether or not the image data for the panoramic image is to be acquired or located near the position of the imaging frame;
A reference value setting unit that sets a reference value of the moving speed of the imaging frame based on the determination by the determination unit and the light amount detected by the light amount detection unit;
Control means for performing control based on the reference value set by the reference value setting means;
An imaging apparatus comprising:
前記基準値設定手段は、前記判定手段によって、前記撮像フレームが前記パノラマ画像用の画像データを取得すべき撮像フレームの位置又は当該位置の近傍に位置すると判定された場合に前記基準値として第2の基準値を設定し、それ以外の場合に前記基準値として当該第2の基準値よりも大きい第1の基準値を設定する、請求項1記載の撮像装置。   The reference value setting means sets the second reference value as the reference value when the determination means determines that the imaging frame is located at or near the position of the imaging frame from which the image data for the panoramic image is to be acquired. The imaging apparatus according to claim 1, wherein a first reference value larger than the second reference value is set as the reference value in other cases. 前記フレーム位置検知手段は、前記撮像フレームの移動速度を検知し、
前記制御手段は、前記判定手段によって、前記撮像フレームが前記パノラマ画像用の画像データを取得すべき撮像フレームの位置又は当該位置の近傍に位置すると判定され、かつ前記フレーム位置検知手段によって検知された前記撮像フレームの移動速度が前記基準値設定手段によって設定された前記第2の基準値を下回った場合に、前記撮像手段に対して前記複数のパノラマ画像用の画像データを取得させるよう制御する、請求項2に記載の撮像装置。
The frame position detecting means detects a moving speed of the imaging frame;
The control means determines that the imaging frame is located at or near the position of the imaging frame from which the image data for the panoramic image is to be acquired, and is detected by the frame position detection means. When the moving speed of the imaging frame is lower than the second reference value set by the reference value setting unit, the imaging unit is controlled to acquire image data for the plurality of panoramic images. The imaging device according to claim 2.
前記制御手段は、前記基準値に基づいた出力を行う請求項1〜3の何れか一項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the control unit performs output based on the reference value. 前記フレーム位置検知手段は、前記撮像フレームの移動速度を検知し、
前記制御手段は、前記フレーム位置検知手段によって検知された移動速度、及び前記基準値に基づいた出力を行う、請求項4に記載の撮像装置。
The frame position detecting means detects a moving speed of the imaging frame;
The imaging apparatus according to claim 4, wherein the control unit performs output based on the moving speed detected by the frame position detection unit and the reference value.
複数のパノラマ画像用の画像データを合成してパノラマ画像データを生成するため、前記複数のパノラマ画像用の画像データを取得する撮像装置による撮像方法であって、
撮像領域を示す撮像フレームにより切り出される画像を撮像することにより画像データを取得する撮像ステップと、
前記パノラマ画像用の画像データを取得すべき撮像フレームの位置を特定する撮像位置特定ステップと、
前記撮像装置に入力する光の量である光量を検知する光量検知ステップと、
前記撮像ステップにおいて取得された複数の画像データに基づいて、前記撮像フレームの位置を検知するフレーム位置検知ステップと、
前記撮像位置特定ステップにおいて特定された前記パノラマ画像用の画像データを取得すべき撮像フレームの位置、及び前記フレーム位置検知ステップにおいて検知された前記撮像フレームの位置に基づいて、当該撮像フレームが、前記パノラマ画像用の画像データを取得すべき撮像フレームの位置又は当該位置の近傍に位置するか否かを判定する判定ステップと、
前記判定ステップにおける判定、及び前記光量検知ステップにおいて検知された光量に基づいて撮像フレームの移動速度の基準値を設定する基準値設定ステップと、
前記基準値設定ステップにおいて設定された基準値に基づいた制御を行う制御ステップと、
を含む撮像方法。

In order to generate panoramic image data by combining image data for a plurality of panoramic images, an imaging method by an imaging device that acquires image data for the plurality of panoramic images,
An imaging step of acquiring image data by capturing an image cut out by an imaging frame indicating an imaging region;
An imaging position specifying step of specifying the position of the imaging frame from which the image data for the panoramic image is to be acquired;
A light amount detection step for detecting a light amount that is an amount of light input to the imaging device;
A frame position detection step for detecting the position of the imaging frame based on a plurality of image data acquired in the imaging step;
Based on the position of the imaging frame from which the image data for the panoramic image specified in the imaging position specifying step is to be acquired, and the position of the imaging frame detected in the frame position detection step, the imaging frame is A determination step for determining whether or not the image data for the panoramic image is to be acquired or located near the position of the imaging frame;
A reference value setting step of setting a reference value of the moving speed of the imaging frame based on the determination in the determination step and the light amount detected in the light amount detection step;
A control step for performing control based on the reference value set in the reference value setting step;
An imaging method including:

JP2014016685A 2014-01-31 2014-01-31 Imaging apparatus and imaging method Active JP6220276B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014016685A JP6220276B2 (en) 2014-01-31 2014-01-31 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014016685A JP6220276B2 (en) 2014-01-31 2014-01-31 Imaging apparatus and imaging method

Publications (2)

Publication Number Publication Date
JP2015144347A true JP2015144347A (en) 2015-08-06
JP6220276B2 JP6220276B2 (en) 2017-10-25

Family

ID=53889142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014016685A Active JP6220276B2 (en) 2014-01-31 2014-01-31 Imaging apparatus and imaging method

Country Status (1)

Country Link
JP (1) JP6220276B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188811A (en) * 1997-09-04 1999-03-30 Sony Corp Camcorder and photographing method
JP2008289095A (en) * 2007-05-21 2008-11-27 Olympus Imaging Corp Imaging apparatus, display method and program
JP2009232276A (en) * 2008-03-24 2009-10-08 Olympus Imaging Corp Image pickup device
JP2009232275A (en) * 2008-03-24 2009-10-08 Olympus Imaging Corp Image pickup device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188811A (en) * 1997-09-04 1999-03-30 Sony Corp Camcorder and photographing method
JP2008289095A (en) * 2007-05-21 2008-11-27 Olympus Imaging Corp Imaging apparatus, display method and program
JP2009232276A (en) * 2008-03-24 2009-10-08 Olympus Imaging Corp Image pickup device
JP2009232275A (en) * 2008-03-24 2009-10-08 Olympus Imaging Corp Image pickup device

Also Published As

Publication number Publication date
JP6220276B2 (en) 2017-10-25

Similar Documents

Publication Publication Date Title
EP3599760B1 (en) Image processing method and apparatus
US8237853B2 (en) Image sensing apparatus and control method therefor
EP2273450B1 (en) Target tracking and detecting in images
JP4834725B2 (en) Method and apparatus for incorporating iris color in red-eye correction
EP2768214A2 (en) Method of tracking object using camera and camera system for object tracking
EP2076022A2 (en) Image capture device that records image accordant with predetermined condition and program
US10044943B2 (en) Display control apparatus, display controlling method, and program, for enlarging and displaying part of image around focus detection area
US20150189142A1 (en) Electronic apparatus and method of capturing moving subject by using the same
US11722771B2 (en) Information processing apparatus, imaging apparatus, and information processing method each of which issues a notification of blur of an object, and control method for the imaging apparatus
US9177395B2 (en) Display device and display method for providing image display in first color mode and second color mode
US20200177814A1 (en) Image capturing apparatus and method of controlling image capturing apparatus
US8537266B2 (en) Apparatus for processing digital image and method of controlling the same
US8866934B2 (en) Image pickup apparatus capable of deleting video effect superimposed on moving image, method of controlling the apparatus, and moving image-recording apparatus, as well as storage medium
JP6693071B2 (en) Imaging device, imaging control method, and program
US9264603B2 (en) Imaging apparatus and imaging method
JP2015097322A (en) Imaging apparatus, control method of the same, program, and storage medium
JP2014110596A (en) Image pickup device, control method, and program therefor, and recording medium
JP2008263478A (en) Imaging apparatus
US20220279106A1 (en) Video creation method
WO2014129533A1 (en) Imaging device, control program and exposure control method
JP6220276B2 (en) Imaging apparatus and imaging method
US11336802B2 (en) Imaging apparatus
US9525815B2 (en) Imaging apparatus, method for controlling the same, and recording medium to control light emission
US20230162707A1 (en) Imaging apparatus, method of controlling imaging apparatus, and program
JP6318535B2 (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170929

R150 Certificate of patent or registration of utility model

Ref document number: 6220276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250