JP2023055075A - Imaging apparatus and method for controlling the same - Google Patents

Imaging apparatus and method for controlling the same Download PDF

Info

Publication number
JP2023055075A
JP2023055075A JP2021164185A JP2021164185A JP2023055075A JP 2023055075 A JP2023055075 A JP 2023055075A JP 2021164185 A JP2021164185 A JP 2021164185A JP 2021164185 A JP2021164185 A JP 2021164185A JP 2023055075 A JP2023055075 A JP 2023055075A
Authority
JP
Japan
Prior art keywords
region
clipping
image
resolution
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021164185A
Other languages
Japanese (ja)
Inventor
勇輔 川合
Yusuke Kawai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2021164185A priority Critical patent/JP2023055075A/en
Publication of JP2023055075A publication Critical patent/JP2023055075A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

To prevent reduction in a resolution feeling of a cut-out image.SOLUTION: A control unit 101 moves an imaging unit 105 in a direction perpendicular to an imaging optical axis on the basis of a total shake correction amount to achieve image blur (image shake) correction operation. The control unit 101 specifies a high resolution feeling position P1 (for example, an optical center P0) that is a position with the highest resolution feeling in a picked-up image area 303 that is an image formed in an effective pixel area of the imaging unit 105. The control unit 101 determines a cut-out center Px that is a center position (center of gravity) of a cut-out area 304 to be closest to the high resolution feeling position P1 within a range in which the cut-out area 304 falls within the picked-up image area 303.SELECTED DRAWING: Figure 4

Description

本発明は、像振れ補正機能を有する撮像装置およびその制御方法に関する。 The present invention relates to an imaging apparatus having an image blur correction function and a control method thereof.

近年のスチルカメラ、ビデオカメラ等の多くの撮像装置には、像ブレ補正(像振れ補正)機能が搭載されている。像ブレ補正を光学的に行うタイプには主として2種類がある。1つ目の種類は、主に像ブレ補正専用の補正レンズを光軸に垂直な方向に移動させることにより像ブレ補正動作を実現するタイプ(以下、レンズシフト像ブレ補正と呼ぶ)である。また、2つ目の種類は、撮像素子を光軸に垂直な方向に移動させることにより像ブレ補正動作を実現するタイプ(以下、センサシフト像ブレ補正と呼ぶ)である。 2. Description of the Related Art In recent years, many imaging devices such as still cameras and video cameras are equipped with an image blur correction (image blur correction) function. There are mainly two types of optical image blur correction. The first type is a type (hereinafter referred to as lens shift image blur correction) that realizes an image blur correction operation by moving a correction lens dedicated to image blur correction in a direction perpendicular to the optical axis. The second type is a type that implements an image blur correction operation by moving the imaging device in a direction perpendicular to the optical axis (hereinafter referred to as sensor shift image blur correction).

一方、像ブレ補正を電子的に行う技術も知られている。特許文献1では、動画撮影時に撮像素子によって撮像された画像の各点における像ブレ量が全体的に抑制されるように、画像データの出力範囲を決定する手法が提案されている。 On the other hand, a technique for electronically correcting image blur is also known. Japanese Unexamined Patent Application Publication No. 2004-100000 proposes a method of determining an output range of image data so as to suppress the amount of image blur at each point of an image captured by an image pickup device when shooting a moving image.

特開2020-106598号公報Japanese Patent Application Laid-Open No. 2020-106598

しかしながら、上述したセンサシフト像ブレ補正を行うと、撮像素子の中心がレンズの光学中心からずれ、撮像画像領域の中心の解像感が低くなる場合がある。また、解像感の低下の度合いは像ブレ補正量が大きいほど大きくなる。そのため、従来のように、一律に、撮像画像領域の中心付近を切り出し領域の中心として切り出す手法では、得られる切り出し画像の解像感が低下する場合があった。 However, when the sensor shift image blur correction described above is performed, the center of the image pickup device may shift from the optical center of the lens, and the sense of resolution at the center of the captured image area may be lowered. Further, the degree of reduction in the sense of resolution increases as the amount of image blur correction increases. For this reason, in the conventional method of uniformly cutting out the vicinity of the center of the captured image area as the center of the cutout area, the resolution of the obtained cutout image may be deteriorated.

本発明は、切り出し画像の解像感の低下を抑制することを目的とする。 SUMMARY OF THE INVENTION An object of the present invention is to suppress deterioration in resolution of a clipped image.

上記目的を達成するために本発明は、被写体を撮像する撮像素子と、検出された撮像装置の振れに基づいて、前記撮像素子を、撮像光軸に垂直な方向に移動させることで像振れを補正する補正手段と、前記撮像素子によって得られた撮像画像から切り出す切り出し領域の位置を決定する決定手段と、前記決定手段により決定された位置に従って前記切り出し領域を前記撮像画像から切り出す切り出し手段と、を有し、前記決定手段は、前記撮像画像の領域の中心と比較して解像感の高い位置が存在する場合は、当該解像感の高い位置に前記切り出し領域の位置を決定する。 In order to achieve the above object, the present invention provides an image pickup device that picks up an image of a subject, and based on the detected shake of the image pickup device, moves the image pickup device in a direction perpendicular to the imaging optical axis to reduce image blur. Correcting means for correcting, determining means for determining the position of a cutout region to be cut out from the captured image obtained by the imaging device, cutting out means for cutting out the cutout region from the captured image according to the position determined by the determining means, and, if there is a position with a high sense of resolution compared to the center of the area of the captured image, the determination means determines the position of the clipping area at the position with a high sense of resolution.

本発明によれば、切り出し画像の解像感の低下を抑制することができる。 According to the present invention, it is possible to suppress deterioration in resolution of the clipped image.

撮像装置のブロック図である。1 is a block diagram of an imaging device; FIG. パノラマ撮影処理を示すフローチャートである。4 is a flowchart showing panorama shooting processing. イメージサークル、撮像画像領域、切り出し領域の相対的な関係を示す模式的概念図である。FIG. 4 is a schematic conceptual diagram showing the relative relationship among an image circle, a captured image area, and a cutout area; 切り出し処理を示すフローチャートである。9 is a flowchart showing clipping processing; イメージサークル、撮像画像領域、切り出し領域の相対的な関係を示す模式的概念図である。FIG. 4 is a schematic conceptual diagram showing the relative relationship among an image circle, a captured image area, and a cutout area; 合成境界からの距離と合成比率との関係を示す図である。FIG. 10 is a diagram showing the relationship between the distance from the synthesis boundary and the synthesis ratio;

以下、図面を参照して本発明の実施の形態を説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図1は、本発明の一実施の形態に係る撮像装置のブロック図である。この撮像装置は、一例としてデジタルカメラ100として構成される。 FIG. 1 is a block diagram of an imaging device according to one embodiment of the present invention. This imaging device is configured as a digital camera 100 as an example.

デジタルカメラ100は、静止画を撮像することができ、且つ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能である。さらに、デジタルカメラ100は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。 The digital camera 100 can capture a still image, record information on a focus position, calculate a contrast value, and synthesize images. Furthermore, the digital camera 100 can perform enlargement processing or reduction processing on an image captured and stored or an image input from the outside.

制御部101は、例えばCPUやMPUなどのシグナルプロセッサである。制御部101は、予めROM107に格納されたプログラムを読み出して実行することで、デジタルカメラ100の各部を制御する。例えば、制御部101は、撮像部105に対して撮像の開始と終了の指令を出し、画像処理部109に対して画像処理の指令を出す。操作部112によってユーザによる指令がデジタルカメラ100に入力され、入力された指令は制御部101を通してデジタルカメラ100の各部分に伝達される。 The control unit 101 is, for example, a signal processor such as a CPU or MPU. The control unit 101 controls each unit of the digital camera 100 by reading and executing a program stored in advance in the ROM 107 . For example, the control unit 101 issues an imaging start and end command to the imaging unit 105 and issues an image processing command to the image processing unit 109 . A user's command is input to the digital camera 100 by the operation unit 112 , and the input command is transmitted to each part of the digital camera 100 through the control unit 101 .

駆動部102は、モータなどによって構成され、制御部101の指令の下で、光学系103を機械的に動作させる。例えば、駆動部102は、制御部101の指令に基づいて、光学系103に含まれるフォーカスレンズの位置を移動させ、光学系103の焦点距離を調整する。 The drive unit 102 is configured by a motor or the like, and mechanically operates the optical system 103 under the command of the control unit 101 . For example, the drive unit 102 moves the position of the focus lens included in the optical system 103 to adjust the focal length of the optical system 103 based on a command from the control unit 101 .

光学系103は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される撮像光学系である。この絞りは、透過する光量を調整する機構である。光学系103におけるレンズの位置を変えることによって合焦位置を変えることができる。通信部104は、主に制御部101の指令の元で、制御部101と光学系103との間で情報を伝達する。 The optical system 103 is an imaging optical system including a zoom lens, a focus lens, an aperture, and the like. This diaphragm is a mechanism that adjusts the amount of transmitted light. By changing the position of the lens in the optical system 103, the focus position can be changed. The communication unit 104 mainly transmits information between the control unit 101 and the optical system 103 under the command of the control unit 101 .

撮像部105は、被写体を撮像する撮像素子であり、入射された光信号を電気信号に変換する光電変換を行う。撮像部105には例えば、CCDセンサやCMOSセンサなどを適用することができる。撮像部105は、動画撮像モードにおいて、時間的に連続する複数の画像を動画の各々のフレームとして撮像することができる。 The image capturing unit 105 is an image capturing element that captures an image of a subject, and performs photoelectric conversion to convert an incident optical signal into an electrical signal. For example, a CCD sensor, a CMOS sensor, or the like can be applied to the imaging unit 105 . The imaging unit 105 can capture a plurality of temporally continuous images as each frame of a moving image in the moving image capturing mode.

振れ検出部106は、デジタルカメラ100に加わる振れ、揺れを検出する。振れ検出部106には、一例として、振れ、揺れの角速度を検出するジャイロセンサ等が用いられる。振れ検出部106により検出された振れデータは制御部101に供給される。 A shake detection unit 106 detects shake and shake applied to the digital camera 100 . A gyro sensor or the like that detects the angular velocity of shake or shake is used as the shake detection unit 106, for example. Shake data detected by the shake detector 106 is supplied to the controller 101 .

ROM107は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。RAM108は、書き換え可能な揮発性メモリであり、デジタルカメラ100が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。 The ROM 107 is a read-only non-volatile memory as a recording medium, and stores the operation program of each block included in the digital camera 100, as well as parameters required for the operation of each block. A RAM 108 is a rewritable volatile memory, and is used as a temporary storage area for data output during operation of each block of the digital camera 100 .

画像処理部109は、撮像部105から出力された画像、あるいは内蔵メモリ111に記録されている画像に対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、画像処理部109は、撮像部105により撮像された画像に対して、JPEGなどの規格で圧縮処理を行う。 An image processing unit 109 performs various image processing such as white balance adjustment, color interpolation, and filtering on the image output from the imaging unit 105 or the image recorded in the built-in memory 111 . Further, the image processing unit 109 compresses the image captured by the imaging unit 105 according to a standard such as JPEG.

画像処理部109は、特定の処理を行う回路を集めた集積回路(ASIC)で構成される。なお、制御部101がROM107から読み出したプログラムに従って処理することで、制御部101が画像処理部109の機能の一部または全部を兼用するようにしてもよい。制御部101が画像処理部109の全ての機能を兼用する場合には、画像処理部109をハードウェアとして有する必要はない。 The image processing unit 109 is composed of an integrated circuit (ASIC) that is a collection of circuits that perform specific processing. Note that the control unit 101 may perform processing according to a program read from the ROM 107 so that the control unit 101 may share some or all of the functions of the image processing unit 109 . If the control unit 101 shares all the functions of the image processing unit 109, it is not necessary to have the image processing unit 109 as hardware.

表示部110は、液晶ディスプレイや有機ELディスプレイなどである。表示部110には、RAM108に一時保存されている画像、内蔵メモリ111に保存されている画像、あるいはデジタルカメラ100の設定画面などが表示される。 The display unit 110 is a liquid crystal display, an organic EL display, or the like. The display unit 110 displays an image temporarily stored in the RAM 108, an image stored in the built-in memory 111, a setting screen of the digital camera 100, or the like.

内蔵メモリ111には、撮像部105が撮像した画像、画像処理部109の処理を得た画像、画像撮像時の合焦位置の情報などが記録される。内蔵メモリ111の代わりに、メモリカードなどを採用してもよい。 The built-in memory 111 records an image captured by the imaging unit 105, an image processed by the image processing unit 109, information on the focus position at the time of image capturing, and the like. A memory card or the like may be employed instead of the built-in memory 111 .

操作部112は、例えば、デジタルカメラ100に設けられるボタンやスイッチ、キー、モードダイアルなどである。操作部112は、表示部110に兼用されるタッチパネルを含んでもよい。ユーザによる指令は、操作部112を経由して制御部101に送られる。 The operation unit 112 is, for example, buttons, switches, keys, mode dials, etc. provided in the digital camera 100 . The operation unit 112 may include a touch panel that is also used as the display unit 110 . A command from the user is sent to the control unit 101 via the operation unit 112 .

本実施の形態では、撮像部105を撮像光軸に垂直な方向に移動させることにより像ブレ(像振れ)補正動作を実現する「センサシフト像ブレ補正」が採用される。この像ブレ補正では、制御部101は、振れ総補正量に基づいて撮像部105を撮像光軸に垂直な方向に移動させる。 In the present embodiment, “sensor shift image blur correction” is adopted, which implements an image blur correction operation by moving the imaging unit 105 in a direction perpendicular to the imaging optical axis. In this image blur correction, the control unit 101 moves the imaging unit 105 in a direction perpendicular to the imaging optical axis based on the total shake correction amount.

また、本実施の形態では、パノラマ合成処理を採用している。例えば、ユーザが撮像装置をスイングしている最中に、時間的に連続する複数枚の画像を撮像し、撮像画像の中心付近を短冊状に切り出し、複数の切り出し領域を合成することでパノラマ画像が得られる。特に、スイング中に複数枚の画像を撮像するごとに像ブレ補正を行うことで被写体のブレが少ないパノラマ画像を得ることができる。本実施の形態では、パノラマ撮影において、ユーザが撮影方向をパン方向に変化させながら撮影を行うことを想定しているが、スイング方向は問わない。 Also, in the present embodiment, panorama synthesis processing is adopted. For example, while the user is swinging the imaging device, a plurality of temporally continuous images are captured, the vicinity of the center of the captured image is cut out in a strip shape, and the plurality of cut-out regions are combined to create a panoramic image. is obtained. In particular, by performing image blur correction each time a plurality of images are captured during a swing, a panorama image with little subject blur can be obtained. In the present embodiment, it is assumed that the user performs panorama shooting while changing the shooting direction in the pan direction, but the swing direction does not matter.

図2は、パノラマ撮影処理を示すフローチャートである。この処理は、制御部101が、ROM107に格納されたプログラムをRAM108に展開して実行することにより実現される。この処理は、例えば操作部112によってユーザからパノラマ撮影が指示されると開始される。この処理において、制御部101は、本発明における補正手段、決定手段、切り出し手段の一例である。 FIG. 2 is a flowchart showing panorama photographing processing. This processing is realized by the control unit 101 developing a program stored in the ROM 107 in the RAM 108 and executing the program. This process is started, for example, when the user instructs panorama shooting through the operation unit 112 . In this processing, the control unit 101 is an example of the correcting means, determining means, and clipping means in the present invention.

まず、ステップS101では、制御部101は、撮像部105による露光を開始する。ステップS102では、制御部101は、振れ検出部106から振れデータ(振れの角速度データ)を取得する。ステップS103では、制御部101は、ステップS102で取得した振れデータに対し、温度ドリフト等で発生するオフセット成分の除去を行った後、積分により角度データへ変換する。そして制御部101は、変換後の角度データに、ズーム倍率や被写体距離に関するゲインを乗じることで、振れ補正量を算出する。 First, in step S<b>101 , the control unit 101 starts exposure by the imaging unit 105 . In step S<b>102 , the control unit 101 acquires shake data (shake angular velocity data) from the shake detection unit 106 . In step S103, the control unit 101 removes offset components generated by temperature drift and the like from the vibration data acquired in step S102, and then converts the data into angle data by integration. Then, the control unit 101 multiplies the angle data after conversion by gains related to the zoom magnification and the object distance to calculate the shake correction amount.

ステップS104では、制御部101は、撮像部105による露光が終了したか否かを判別する。そして制御部101は、撮像部105による露光が終了していない場合は、ステップS102に戻り、撮像部105による露光が終了した場合はステップS105に進む。ステップS105では、制御部101は、露光開始から露光終了までの間の振れ補正量の総量、すなわちステップS102、S103を繰り返すことで取得された振れ補正量の総量である「振れ総補正量」を取得する。 In step S104, the control unit 101 determines whether the exposure by the imaging unit 105 has ended. If the exposure by the imaging unit 105 is not finished, the control unit 101 returns to step S102, and if the exposure by the imaging unit 105 is finished, the process proceeds to step S105. In step S105, the control unit 101 determines the total amount of shake correction from the start of exposure to the end of exposure, that is, the total amount of shake correction obtained by repeating steps S102 and S103. get.

ステップS106では、ステップS105で取得した振れ総補正量に基づき、後述する切り出し処理(図4)を実行する。ステップS107では、今回の露光が2枚目以降の撮像のためのものであるか否かを判別する。そして制御部101は、今回の露光が1枚目の撮像のためのものである場合は、ステップS101に戻り、今回の露光が2枚目以降の撮像のためのものである場合は、ステップS108に進む。ここで、切り出し処理で用いる各領域および位置について説明する。 In step S106, a later-described clipping process (FIG. 4) is executed based on the total shake correction amount acquired in step S105. In step S107, it is determined whether or not the current exposure is for the second and subsequent shots. If the current exposure is for the first shot, the control unit 101 returns to step S101, and if the current exposure is for the second shot or later, step S108. proceed to Here, each area and position used in the clipping process will be described.

図3(a)~(c)で、センサシフト像ブレ補正を用いたパノラマ撮影時のスイングブレ補正の態様を説明する。図3(a)~(c)は、イメージサークル、撮像画像領域、切り出し領域の相対的な関係を示す模式的概念図である。図3(a)~(c)において、イメージサークル301は、光学系103を通った光により撮像面上に形成される円形の像である。光学中心P0は光学系103の中心である。通常、撮像光軸は光学中心P0を通る。撮像画像領域303は、撮像部105の有効画素領域に形成された画像である。図3(a)~(c)では、イメージサークル301に対する撮像画像領域303の相対的な位置が示されている。 Aspects of swing blur correction during panorama shooting using sensor shift image blur correction will be described with reference to FIGS. FIGS. 3A to 3C are schematic conceptual diagrams showing the relative relationship among the image circle, captured image area, and clipping area. In FIGS. 3A to 3C, an image circle 301 is a circular image formed on the imaging plane by light passing through the optical system 103. In FIG. The optical center P 0 is the center of the optical system 103 . Normally, the imaging optical axis passes through the optical center P0. A captured image area 303 is an image formed in the effective pixel area of the imaging unit 105 . 3(a)-(c) show the relative position of the captured image area 303 with respect to the image circle 301. FIG.

切り出し領域304は、パノラマ合成に使用する短冊状の領域である。なお、切り出し領域304が短冊状であることは必須でない。撮像画像中心P2は、撮像画像領域303の中心位置(重心)である。切り出し中心Pxは、切り出し領域304の中心位置(重心)である。高解像感位置P1は、イメージサークル301内で解像感が最も高い位置として特定された位置である。 A cropped area 304 is a strip-shaped area used for panorama synthesis. Note that it is not essential that the cutout region 304 is strip-shaped. The captured image center P2 is the center position (center of gravity) of the captured image area 303 . The cutout center Px is the center position (center of gravity) of the cutout region 304 . The high-resolution position P1 is a position specified as a position with the highest sense of resolution within the image circle 301 .

図3(a)では、露光開始時(ブレ補正前且つ切り出し前)のイメージサークル301と撮像画像領域303との位置関係を示している。この時点では撮像画像中心P2は光学中心P0と一致している。ただし、露光開始時に撮像画像中心P2と光学中心P0とが一致していることは必須でない。 FIG. 3A shows the positional relationship between the image circle 301 and the captured image area 303 at the start of exposure (before shake correction and before clipping). At this point, the captured image center P2 coincides with the optical center P0. However, it is not essential that the captured image center P2 and the optical center P0 match at the start of exposure.

図3(b)、(c)において、矢印は、パノラマ撮影におけるユーザのスイング方向を示している。図3(b)、(c)はそれぞれ、従来方式、本実施の形態での光学中心P0と切り出し中心Pxとの位置関係の一例を示している。 In FIGS. 3B and 3C, arrows indicate the user's swing direction in panoramic photography. 3(b) and 3(c) respectively show an example of the positional relationship between the optical center P0 and the cutting center Px in the conventional method and the present embodiment.

パノラマ撮影では、スイング方向と逆方向に像ブレ補正を行うことで被写体ブレを抑制するのが一般的である。図3(b)では、像ブレ補正の結果、撮像画像領域303がイメージサークル301内に収まる限界まで到達した様子を示している。従来方式では、撮像画像中心P2を切り出し領域304の切り出し中心Pxとして決定していた。 In panoramic photography, subject blur is generally suppressed by performing image blur correction in the direction opposite to the swing direction. FIG. 3B shows a state in which the captured image area 303 reaches the limit within the image circle 301 as a result of the image blur correction. In the conventional method, the captured image center P2 is determined as the cutout center Px of the cutout region 304 .

そのため、撮像画像領域303がイメージサークル301に収まる限界の位置に設定されると、光学中心P0と撮像画像中心P2とは大きく離れてしまう。パノラマ撮影においてユーザのスイング速度は一定でない場合もあるため、露光毎に光学中心P0と切り出し中心Pxとの位置関係が変わることが多い。一般的に光学中心P0から離れた位置ほど解像感は低くなる。従って、一律に、撮像画像領域303の中心付近を切り出し領域304の中心として切り出し、複数の切り出し領域を合成する従来の手法では、生成されるパノラマ画像に短冊状の解像感ムラが生じる場合があった。 Therefore, when the captured image area 303 is set to the limit position within the image circle 301, the optical center P0 and the captured image center P2 are greatly separated. Since the swing speed of the user may not be constant in panoramic photography, the positional relationship between the optical center P0 and the cropping center Px often changes for each exposure. In general, the farther away the position is from the optical center P0, the lower the sense of resolution. Therefore, in the conventional method of uniformly cutting out the vicinity of the center of the captured image area 303 as the center of the cut-out area 304 and synthesizing a plurality of cut-out areas, there are cases where strip-shaped resolution unevenness occurs in the generated panorama image. there were.

そこで、本実施の形態では、制御部101は、撮像画像中心P2と比較して解像感の高い位置が存在する場合は、当該解像感の高い位置に切り出し中心Pxを決定する。例えば、高解像感位置P1が光学中心P0であり、且つ、撮像画像中心P2と比較して解像感の高い位置であったとする。制御部101は、図3(c)に示すように、高解像感位置P1(ここでは光学中心P0と一致)を切り出し中心Pxとして決定する。そして、制御部101は、切り出し中心Pxを切り出し領域304の中心として切り出し領域304を切り出す。このような処理を、時間的に連続する画像のそれぞれに対して施すことで、合成されるパノラマ画像の解像感ムラが抑制される。 Therefore, in the present embodiment, when there is a position with a higher sense of resolution than the captured image center P2, the control unit 101 determines the cutout center Px at the position with a higher sense of resolution. For example, it is assumed that the perceived high resolution position P1 is the optical center P0 and is a position with a higher perceived resolution than the captured image center P2. As shown in FIG. 3C, the control unit 101 determines the high-resolution position P1 (which coincides with the optical center P0 here) as the cutout center Px. Then, the control unit 101 cuts out the cutout region 304 with the cutout center Px as the center of the cutout region 304 . By performing such processing on each of the temporally continuous images, the resolution unevenness of the synthesized panorama image is suppressed.

図4は、図3のステップS106で実行される切り出し処理を示すフローチャートである。図5(a)~(c)は、イメージサークル、撮像画像領域、切り出し領域の相対的な関係を示す模式的概念図である。図3、図5を参照しつつ切り出し処理を説明する。 FIG. 4 is a flow chart showing the clipping process executed in step S106 of FIG. FIGS. 5A to 5C are schematic conceptual diagrams showing the relative relationship among the image circle, captured image area, and clipping area. The clipping process will be described with reference to FIGS. 3 and 5. FIG.

ステップS201では、制御部101は、像ブレ補正反映後の撮像画像領域303を特定する。像ブレ補正は、図3のステップS105の後であって、図4のステップS201の実行前に完了している。すなわち、露光ごとに、振れ総補正量に基づき撮像部105を駆動して像ブレ振れ補正が実行される。その結果として、イメージサークル301に収まる範囲で撮像画像領域303が定まる。例えば、図3(b)、(c)、図5(a)に示すように撮像画像領域303が特定される。 In step S201, the control unit 101 identifies the captured image area 303 after image blur correction is reflected. Image blur correction is completed after step S105 in FIG. 3 and before execution of step S201 in FIG. That is, for each exposure, image blur correction is performed by driving the imaging unit 105 based on the total shake correction amount. As a result, the captured image area 303 is determined within the range of the image circle 301 . For example, a captured image area 303 is identified as shown in FIGS. 3B, 3C, and 5A.

ステップS202では、制御部101は、高解像感位置P1を特定する。ここで、高解像感位置P1の特定方法として2つの特定方法が考えられ、いずれの特定方法を採用してもよい。まず、第1の特定方法は、光学中心P0を高解像感位置P1と特定する方法である。第2の特定方法は、レンズ(光学系103)の空間周波数に基づいて高解像感位置P1を特定する方法である。第2の特定方法では、通信部104を通してレンズの空間周波数特性に関するデータを取得できた場合は、制御部101は、空間周波数特性におけるコントラストおよび/または解像感の高い領域の中心を、高解像感位置P1として特定してもよい。例えば、図3(a)、(b)、図5(a)では、高解像感位置P1が特定されている。 In step S202, the control unit 101 identifies the high-resolution position P1. Here, two identification methods are conceivable as a method for identifying the high-resolution position P1, and either identification method may be adopted. First, the first identification method is a method of identifying the optical center P0 as the high-resolution position P1. A second identification method is a method of identifying the high-resolution position P1 based on the spatial frequency of the lens (optical system 103). In the second specifying method, when data about the spatial frequency characteristics of the lens can be acquired through the communication unit 104, the control unit 101 determines the center of the region with high contrast and/or high resolution in the spatial frequency characteristics as a high-resolution image. It may be specified as the image sensing position P1. For example, in FIGS. 3A, 3B, and 5A, a high-resolution position P1 is specified.

ステップS203では、制御部101は、仮に、切り出し中心Pxを高解像感位置P1に一致させた場合に、切り出し中心Pxで規定される切り出し領域304の候補が撮像画像領域303内(撮像画像の領域内)に収まるか否かを判別する。なお、切り出し領域304の画角の初期値(高さおよび幅)は予め定められ、その情報がROM107に格納されている。例えば、図3(c)に示す例では、高解像感位置P1を切り出し中心Pxとした場合の切り出し領域304の候補は撮像画像領域303内に収まる。しかし、図5(a)に示す例では、高解像感位置P1を切り出し中心Pxとした場合の切り出し領域304の候補は撮像画像領域303からはみ出し、撮像画像領域303内に収まらない。 In step S203, if the cutout center Px is coincident with the perceived high-resolution position P1, the control unit 101 determines that a candidate for the cutout region 304 defined by the cutout center Px is within the captured image region 303 (of the captured image). area). Note that the initial values (height and width) of the angle of view of the cutout region 304 are determined in advance, and the information is stored in the ROM 107 . For example, in the example shown in FIG. 3C, the candidate for the clipping region 304 when the high-resolution position P1 is set as the clipping center Px falls within the captured image region 303 . However, in the example shown in FIG. 5A, the candidate for the clipping region 304 when the high-resolution position P1 is the clipping center Px protrudes from the captured image region 303 and does not fit within the captured image region 303 .

ステップS203での判別の結果、制御部101は、高解像感位置P1を切り出し中心Pxとした場合の切り出し領域304の候補が撮像画像領域303内に収まる場合は、ステップS205に進む。しかし、高解像感位置P1を切り出し中心Pxとした場合の切り出し領域304の候補が撮像画像領域303内に収まらない場合は、制御部101は、ステップS204を実行してからステップS205に進む。 As a result of the determination in step S203, if the candidate for the clipping region 304 with the high-resolution position P1 as the clipping center Px fits within the captured image region 303, the control unit 101 proceeds to step S205. However, if the candidate for the clipping region 304 with the high-resolution position P1 as the clipping center Px does not fit within the captured image region 303, the control unit 101 executes step S204 and then proceeds to step S205.

ステップS204では、制御部101は、切り出し領域304の候補を補正する。ここで、切り出し領域304の候補の補正方法は2つ考えられ、これらのいずれの補正方法を採用してもよい。 In step S<b>204 , the control unit 101 corrects the candidates for the clipping region 304 . Here, there are two conceivable methods for correcting the candidate for the clipping region 304, and any of these correcting methods may be adopted.

まず、第1の補正方法では、制御部101は、切り出し領域304の候補が撮像画像領域303内に収まるように、切り出し領域304の候補の幅を狭める。その際、制御部101は、切り出し中心Pxの位置を補正する必要はない。例えば、図5(a)に示す例の場合、制御部101は、第1の補正方法により、図5(b)に示すように、切り出し領域304の候補の幅を狭くし、上記候補が撮像画像領域303内に収まるようにする。なお、幅に限定されず、撮像画像領域303内に収まるように、切り出し領域304の候補の画角を狭めてもよい。 First, in the first correction method, the control unit 101 narrows the width of the candidate for the clipping region 304 so that the candidate for the clipping region 304 fits within the captured image region 303 . At that time, the control unit 101 does not need to correct the position of the cutout center Px. For example, in the case of the example shown in FIG. 5A, the control unit 101 narrows the width of the candidate for the clipping region 304 by the first correction method, as shown in FIG. It should fit within the image area 303 . Note that the angle of view of the candidate for the clipping region 304 may be narrowed so as to fit within the captured image region 303 without being limited to the width.

第2の補正方法では、制御部101は、切り出し領域304の候補が撮像画像領域303内に収まる範囲で、高解像感位置P1に最も近い位置に切り出し中心Pxの位置を補正する。その際、制御部101は、切り出し領域304の候補の画角を変更する必要はない。例えば、図5(a)に示す例の場合、制御部101は、第2の補正方法により、図5(c)に示すように、上記候補が撮像画像領域303内に収まる範囲で、高解像感位置P1に最も近くなるように切り出し中心Pxの位置をずらす。 In the second correction method, the control unit 101 corrects the position of the cutout center Px to a position closest to the high-resolution position P1 within a range in which the candidate for the cutout region 304 fits within the captured image region 303 . At this time, the control unit 101 does not need to change the angle of view of the clipping region 304 candidate. For example, in the case of the example shown in FIG. 5(a), the control unit 101 uses the second correction method to obtain a high-resolution image within a range in which the candidates fit within the captured image area 303, as shown in FIG. 5(c). The position of the cutout center Px is shifted so as to be closest to the image sensing position P1.

ステップS205では、制御部101は、直前に取得された切り出し領域304と今回決定した切り出し中心Pxに従って切り出される今回の切り出し領域304の候補との間に、所定量の画角の重複が生じるか否かを判別する。ここでいう「直前に取得された切り出し領域304」は、ステップS101~S106の前回ループで取得された切り出し領域304のことである。そして制御部101は、今回の切り出し領域304の候補と直前に取得された切り出し領域304の両者間に所定量の画角の重複が生じる場合は、適切な画像合成が可能であるので、ステップS207に進む。しかし、両者間に所定量の画角の重複が生じない場合は、制御部101はステップS206に進む。ステップS206では、制御部101は、両者間に所定量の画角の重複が生じるように切り出し中心Pxを補正(シフト)してから、ステップS207に進む。 In step S205, the control unit 101 determines whether or not a predetermined amount of angle of view overlaps between the previously acquired clipping region 304 and the current clipping region 304 candidate clipped according to the currently determined clipping center Px. determine whether The “previously obtained clipped region 304” here is the clipped region 304 obtained in the previous loop of steps S101 to S106. If a predetermined amount of angle of view overlaps between the candidate for the clipped region 304 this time and the clipped region 304 acquired immediately before, the control unit 101 can appropriately combine the images. proceed to However, if there is no overlap of the angle of view of the predetermined amount between the two, the control unit 101 proceeds to step S206. In step S206, the control unit 101 corrects (shifts) the cut-out center Px so that a predetermined amount of overlap of field angles occurs between the two, and then proceeds to step S207.

ステップS207では、制御部101は、現在の仮決定状態にある切り出し中心Pxを、今回の切り出しで採用する切り出し中心Pxとして確定する。切り出し中心Pxが確定されることで、切り出し領域304の候補は正式な切り出し領域304として確定される。切り出し領域304の画角(幅)が第1の補正方法(S204)により変更されている場合は、変更後の画角が採用される。ステップS208では、制御部101は、確定された切り出し領域304を撮像画像領域303から切り出し、その後、図4に示す処理を終了する。 In step S207, the control unit 101 determines the currently tentatively determined cutout center Px as the cutout center Px to be adopted in the current cutout. By determining the clipping center Px, the candidate for the clipping region 304 is determined as the formal clipping region 304 . If the angle of view (width) of the cutout region 304 has been changed by the first correction method (S204), the changed angle of view is adopted. In step S208, the control unit 101 cuts out the fixed cutout region 304 from the captured image region 303, and then ends the processing shown in FIG.

図2のステップS108では、制御部101は、切り出し領域304の位置合わせ処理を行う。この位置合わせ処理について説明する。 In step S<b>108 in FIG. 2 , the control unit 101 performs alignment processing for the cutout region 304 . This alignment processing will be described.

まず、制御部101は、ステップS106で切り出した1つ前の(直前の)切り出し領域304を位置合わせの基準とし、今回切り出した切り出し領域304を位置合わせの対象とする。次に、制御部101は、直前の切り出し領域304と今回の切り出し領域304との位置ずれ量を算出する。まず、制御部101は、直前の切り出し領域304に複数のブロックを設定する。制御部101は、各々のブロックのサイズが同じになるように設定することが好ましい。 First, the control unit 101 uses the previous (immediately before) cutout region 304 cut out in step S106 as a reference for alignment, and sets the cutout region 304 cut out this time as a target for alignment. Next, the control unit 101 calculates the amount of positional deviation between the previous cutout region 304 and the current cutout region 304 . First, the control unit 101 sets a plurality of blocks in the previous clipping area 304 . Control unit 101 preferably sets the size of each block to be the same.

次に、制御部101は、今回の切り出し領域304における、上記設定したそれぞれのブロックと同じ位置に、該ブロックよりも広い範囲を、探索範囲として設定する。そして制御部101は、対象画像のそれぞれの探索範囲において、直前の切り出し領域304に設定したブロックとの輝度の差分絶対値和(Sum of Absolute Difference、以下、SADをいう)が最小となる対応点を算出する。制御部101は、直前の切り出し領域304に設定したブロックの中心と前述した対応点とから、位置ずれをベクトルとして算出する。制御部101は、前述する対応点の算出において、SADのほかに、差分二乗和(Sum of Squared Difference、以下SSDをいう)などを用いてもよい。あるいは、制御部101は、正規化相互相関(Normalized Cross Correlation、以下NCCをいう)などを用いてもよい。 Next, the control unit 101 sets, as a search range, a range wider than the blocks at the same positions as the respective blocks set above in the cutout region 304 this time. Then, in each search range of the target image, the control unit 101 selects a corresponding point that has a minimum sum of absolute differences in brightness (Sum of Absolute Difference, hereinafter referred to as SAD) from the block set in the immediately preceding clipping region 304. Calculate The control unit 101 calculates the positional deviation as a vector from the center of the block set in the previous cutout region 304 and the corresponding point described above. In calculating the corresponding points described above, the control unit 101 may use a sum of squared differences (hereinafter referred to as SSD) or the like in addition to the SAD. Alternatively, control section 101 may use Normalized Cross Correlation (hereafter referred to as NCC) or the like.

次に、制御部101で、直前の切り出し領域304と今回の切り出し領域304との位置ずれ量から変換係数を算出する。制御部101は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定されるわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。 Next, the control unit 101 calculates a conversion coefficient from the amount of positional deviation between the previous cutout region 304 and the current cutout region 304 . The control unit 101 uses, for example, a projective transform coefficient as the transform coefficient. However, the transform coefficients are not limited to projective transform coefficients, and affine transform coefficients or simplified transform coefficients with only horizontal and vertical shifts may be used.

画像処理部109は、制御部101が算出した変換係数を用いて対象の切り出し領域に対して変換を行う。例えば、制御部101は、式(1)を用いて変形を行うことができる。 The image processing unit 109 uses the conversion coefficients calculated by the control unit 101 to convert the target cutout region. For example, the control unit 101 can transform using equation (1).

Figure 2023055075000002
Figure 2023055075000002

式(1)において、(x´、y´)は変形を行った後の座標を示し、(x、y)は変形を行う前の座標を示す。行列Aは制御部101が算出した変形係数を示す。 In Equation (1), (x', y') indicate coordinates after deformation, and (x, y) indicate coordinates before deformation. Matrix A indicates the deformation coefficients calculated by the control unit 101 .

ステップS109では、制御部101は、切り出し領域の合成処理を行う。制御部101は、位置合わせ処理(ステップS108)での切り出し領域同士のつなぎ目が目立たないように加重平均合成を行う。その際、制御部101は、図6に例示するような合成比率カーブを用いてもよい。 In step S<b>109 , the control unit 101 performs processing for synthesizing the clipped regions. The control unit 101 performs weighted average synthesis so that the seams between the clipped regions in the alignment process (step S108) are inconspicuous. At that time, the control unit 101 may use a synthesis ratio curve as illustrated in FIG.

図6は、切り出し領域304が重なり合う範囲における合成境界からの距離と合成比率との関係を示す図である。この関係を示す情報はROM107に格納されている。制御部101は、切り出し領域304が重なり合う範囲における合成境界からの距離に応じて、図6に示す合成比率カーブに従って加重平均合成を行ってもよい。なお、用いる合成方法は限定されるものではなく、加算平均合成など異なる手法を用いてもよい。 FIG. 6 is a diagram showing the relationship between the distance from the synthesis boundary and the synthesis ratio in the range where the cutout regions 304 overlap. Information indicating this relationship is stored in the ROM 107 . The control unit 101 may perform weighted average synthesis according to the synthesis ratio curve shown in FIG. Note that the combining method to be used is not limited, and a different technique such as arithmetic mean combining may be used.

ステップS110では、制御部101は、パノラマ撮影が終了したか否かを判別する。パノラマ撮影の終了トリガーは問わず、例えば、ユーザ操作があった場合や、撮影サイズが最大撮影サイズを超えた場合などである。そして制御部101は、パノラマ撮影が終了していない場合はステップS101に戻り、パノラマ撮影が終了した場合はステップS111に進む。ステップS109での合成処理が繰り返されることによって、パノラマ画像が生成される。ステップS111では、制御部101は、一連のパノラマ撮影により生成されたパノラマ画像を保存する。パノラマ画像の保存先は問わず、内蔵メモリ111、メモリカードまたはクラウド等である。ステップS111の後、制御部101は、図2に示す処理を終了する。 In step S110, the control unit 101 determines whether or not the panorama shooting has ended. Regardless of the panorama shooting end trigger, for example, there is a user operation, or the shooting size exceeds the maximum shooting size. Then, the control unit 101 returns to step S101 if the panorama shooting has not ended, and proceeds to step S111 if the panorama shooting has ended. A panorama image is generated by repeating the synthesizing process in step S109. In step S111, the control unit 101 saves a panorama image generated by a series of panorama imaging. The panorama image may be stored in the built-in memory 111, a memory card, the cloud, or the like regardless of where it is stored. After step S111, the control unit 101 terminates the processing shown in FIG.

本実施の形態によれば、制御部101は、振れ総補正量に基づいて撮像部105を撮像光軸に垂直な方向に移動させる。制御部101は、撮像画像中心P2よりも解像感の高い位置として高解像感位置P1が存在する場合は、高解像感位置P1に切り出し中心Pxを決定する。そして制御部101は、時間的に連続して得られた複数の撮像画像からそれぞれ切り出された切り出し領域304を合成する。これにより、センサシフト像ブレ補正を利用したパノラマ合成においては解像感ムラがないパノラマ画像を生成することができる。 According to this embodiment, the control unit 101 moves the imaging unit 105 in the direction perpendicular to the imaging optical axis based on the total shake correction amount. When the high-resolution position P1 exists as a position having a higher sense of resolution than the captured image center P2, the control unit 101 determines the cutting center Px at the high-resolution position P1. Then, the control unit 101 synthesizes the clipped regions 304 that are clipped from a plurality of captured images that are temporally consecutively obtained. As a result, it is possible to generate a panorama image with no uneven resolution in panorama synthesis using sensor shift image blur correction.

なお、本発明を、画像合成をしないで単一画像を得るために切り出しを行うケースに適用してもよい。その場合、切り出し領域304の画像(切り出し画像)の解像感の低下を抑制することができる。また、この場合はステップS205、S206を廃止してもよい。 It should be noted that the present invention may be applied to a case where clipping is performed to obtain a single image without image synthesis. In this case, it is possible to suppress deterioration in resolution of the image (cutout image) of the cutout region 304 . In this case, steps S205 and S206 may be omitted.

なお、高解像感位置P1が存在する場合であっても、必ずしも高解像感位置P1を切り出し中心Pxとすることは必須でない。すなわち、制御部101は、撮像画像中心P2と比較して解像感の高い位置に切り出し中心Pxを決定してもよい。 Note that even if the perceived high-resolution position P1 exists, it is not essential to set the perceived high-resolution position P1 as the cropping center Px. That is, the control unit 101 may determine the cutout center Px at a position with a higher sense of resolution than the captured image center P2.

本実施の形態によればまた、高解像感位置P1に切り出し中心Pxを一致させた場合の切り出し領域304(候補)が撮像画像領域303内に収まるときは、高解像感位置P1に切り出し中心Pxが決定される(S203でYes)。これにより、解像感の低下を効果的に抑制することができる。一方、切り出し領域304(候補)が撮像画像領域303内に収まらないときは、切り出し領域304(候補)が補正される(S204)。これにより、解像感の低下を抑制しつつ、撮像画像領域303内で切り出し領域304を決定することが確保される。 According to the present embodiment, when the clipping region 304 (candidate) when the clipping center Px is aligned with the perceived high resolution position P1 fits within the captured image region 303, the clipping is performed at the perceived high resolution position P1. The center Px is determined (Yes in S203). As a result, it is possible to effectively suppress deterioration in resolution. On the other hand, when the clipping region 304 (candidate) does not fit within the captured image region 303, the clipping region 304 (candidate) is corrected (S204). As a result, it is ensured that the clipping area 304 is determined within the captured image area 303 while suppressing the deterioration of the sense of resolution.

画像合成を行う場合、制御部101は、今回の切り出し領域304の候補と直前に取得された切り出し領域304の両者間に所定量の画角の重複が生じるように切り出し中心Pxを決定する(S205、S206)。これにより、適切な画像合成を行うことができる。 When performing image synthesis, the control unit 101 determines the clipping center Px so that a predetermined amount of angle of view overlaps between the current clipping region 304 candidate and the previously acquired clipping region 304 (S205). , S206). Accordingly, appropriate image synthesis can be performed.

なお、ステップS204で、第1、第2の補正方法を組み合わせて適用してもよい。また、第1の補正方法において、画角を変更することは、幅を狭くすることに限定されず、上下方向のサイズを変更してもよい。 Note that in step S204, the first and second correction methods may be combined and applied. Further, in the first correction method, changing the angle of view is not limited to narrowing the width, and may change the size in the vertical direction.

なお、切り出し領域304の位置を表現する上で、切り出し中心Pxのように重心位置で表現することは必須でない。長方形の頂点等のように、予め定義を定めて切り出し領域304の位置を表現してもよい。 It should be noted that, in expressing the position of the cutout region 304, it is not essential to express the position of the center of gravity like the cutout center Px. The position of the clipping region 304 may be expressed by defining a definition in advance, such as the vertex of a rectangle.

なお、本発明はデジタルカメラ100以外の撮像装置に適用してもよい。例えば、撮像素子を内蔵した携帯機器や、画像を撮像することができるネットワークカメラなどにも適用可能である。なお、本発明が適用される撮像装置は、画像処理装置と呼称されてもよい。 Note that the present invention may be applied to imaging devices other than the digital camera 100 . For example, the present invention can be applied to mobile devices having built-in imaging devices, network cameras capable of capturing images, and the like. An imaging device to which the present invention is applied may be called an image processing device.

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。 Although the present invention has been described in detail based on its preferred embodiments, the present invention is not limited to these specific embodiments, and various forms without departing from the gist of the present invention can be applied to the present invention. included.

(他の実施形態)
本発明は、上記した実施形態の1以上の機能を実現するプログラムをネットワークや非一過性の記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。以上のプログラムおよび以上のプログラムを記憶する記憶媒体は、本発明を構成する。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or device via a network or a non-transitory storage medium, and one or more processors of the computer of the system or device It is also possible to implement the process of reading and executing the The above program and a storage medium storing the above program constitute the present invention. The invention can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.

101 制御部
105 撮像部
303 撮像画像領域
304 切り出し領域
P0 光学中心
P1 高解像感位置
P2 撮像画像中心
Px 切り出し中心
101 control unit 105 imaging unit 303 captured image area 304 cutout area P0 optical center P1 high resolution position P2 captured image center Px cutout center

Claims (10)

被写体を撮像する撮像素子と、
検出された撮像装置の振れに基づいて、前記撮像素子を、撮像光軸に垂直な方向に移動させることで像振れを補正する補正手段と、
前記撮像素子によって得られた撮像画像から切り出す切り出し領域の位置を決定する決定手段と、
前記決定手段により決定された位置に従って前記切り出し領域を前記撮像画像から切り出す切り出し手段と、を有し、
前記決定手段は、前記撮像画像の領域の中心と比較して解像感の高い位置が存在する場合は、当該解像感の高い位置に前記切り出し領域の位置を決定することを特徴とする撮像装置。
an imaging device for imaging a subject;
correction means for correcting image blur by moving the image pickup device in a direction perpendicular to the imaging optical axis based on the detected shake of the imaging device;
Determination means for determining a position of a clipping region to be clipped from the captured image obtained by the imaging device;
a clipping means for clipping the clipping region from the captured image according to the position determined by the determining means;
When there is a position with a high sense of resolution compared to the center of the area of the captured image, the determination means determines the position of the clipping area at the position where the sense of resolution is high. Device.
前記決定手段は、解像感が最も高い位置を特定し、解像感が最も高い前記位置に前記切り出し領域の位置を一致させた場合の前記切り出し領域が前記撮像画像の領域内に収まるときは、解像感が最も高い前記位置に前記切り出し領域の位置を決定することを特徴とする請求項1に記載の撮像装置。 The determination means specifies a position with the highest sense of resolution, and when the position of the cutout region is aligned with the position with the highest sense of resolution, the cutout region falls within the region of the captured image. 2. The imaging apparatus according to claim 1, wherein the position of the clipping area is determined at the position where the sense of resolution is highest. 前記決定手段は、解像感が最も高い前記位置に前記切り出し領域の位置を一致させた場合の前記切り出し領域が前記撮像画像の領域内に収まらないときは、前記切り出し領域を補正することを特徴とする請求項2に記載の撮像装置。 The determining means corrects the clipped region when the clipped region does not fit within the region of the captured image when the position of the clipped region matches the position of the highest sense of resolution. 3. The imaging device according to claim 2. 前記決定手段は、前記切り出し領域を補正する際、前記切り出し領域が前記撮像画像の領域内に収まるように、前記切り出し領域の画角を狭めることを特徴とする請求項3に記載の撮像装置。 4. The imaging apparatus according to claim 3, wherein, when correcting the clipped region, the determining unit narrows the angle of view of the clipped region so that the clipped region fits within the region of the captured image. 前記決定手段は、前記切り出し領域を補正する際、前記切り出し領域が前記撮像画像の領域内に収まる範囲で、解像感が最も高い前記位置に最も近くなるように前記切り出し領域の位置を決定することを特徴とする請求項3に記載の撮像装置。 When correcting the cutout region, the determining means determines the position of the cutout region so as to be closest to the position with the highest sense of resolution within a range in which the cutout region fits within the region of the captured image. 4. The imaging device according to claim 3, characterized in that: 前記決定手段は、撮像光学系の光学中心を、解像感が最も高い前記位置と特定することを特徴とする請求項2乃至5のいずれか1項に記載の撮像装置。 6. The imaging apparatus according to any one of claims 2 to 5, wherein the determining means specifies the optical center of the imaging optical system as the position with the highest sense of resolution. 前記決定手段は、撮像光学系の空間周波数特性に基づいて、解像感が最も高い前記位置を特定することを特徴とする請求項2乃至5のいずれか1項に記載の撮像装置。 6. The imaging apparatus according to any one of claims 2 to 5, wherein the determining means specifies the position with the highest sense of resolution based on the spatial frequency characteristics of an imaging optical system. 時間的に連続して得られた複数の撮像画像から前記切り出し手段によりそれぞれ切り出された前記切り出し領域を合成する合成手段を有することを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。 8. The apparatus according to any one of claims 1 to 7, further comprising synthesizing means for synthesizing said clipped regions respectively clipped by said clipping means from a plurality of captured images obtained successively in time. Imaging device. 前記決定手段は、前記複数の撮像画像が得られた場合、今回の前記切り出し領域と直前に取得された前記切り出し領域との間に所定量の画角の重複が生じるように今回の前記切り出し領域の位置を決定することを特徴とする請求項8に記載の撮像装置。 When the plurality of captured images are obtained, the determining means determines the current clipping region so that a predetermined amount of angle of view overlaps between the current clipping region and the clipping region acquired immediately before. 9. The imaging device of claim 8, wherein the position of the . 被写体を撮像する撮像素子と、検出された撮像装置の振れに基づいて、前記撮像素子を、撮像光軸に垂直な方向に移動させることで像振れを補正する補正手段と、を有する撮像装置の制御方法であって、
前記撮像素子によって得られた撮像画像から切り出す切り出し領域の位置を決定する決定ステップと、
前記決定ステップにより決定された位置に従って前記切り出し領域を前記撮像画像から切り出す切り出しステップと、を有し、
前記決定ステップは、前記撮像画像の領域の中心と比較して解像感の高い位置が存在する場合は、当該解像感の高い位置に前記切り出し領域の位置を決定することを特徴とする撮像装置の制御方法。

An imaging device comprising: an imaging device for imaging a subject; and correction means for correcting image blur by moving the imaging device in a direction perpendicular to an imaging optical axis based on detected vibration of the imaging device. A control method comprising:
a determination step of determining the position of a cutout region to be cut out from the captured image obtained by the imaging device;
a clipping step of clipping the clipping region from the captured image according to the position determined by the determining step;
In the determination step, when there is a position with a high sense of resolution compared to the center of the region of the captured image, the position of the cutout region is determined at the position where the sense of resolution is high. How to control the device.

JP2021164185A 2021-10-05 2021-10-05 Imaging apparatus and method for controlling the same Pending JP2023055075A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021164185A JP2023055075A (en) 2021-10-05 2021-10-05 Imaging apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021164185A JP2023055075A (en) 2021-10-05 2021-10-05 Imaging apparatus and method for controlling the same

Publications (1)

Publication Number Publication Date
JP2023055075A true JP2023055075A (en) 2023-04-17

Family

ID=85986300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021164185A Pending JP2023055075A (en) 2021-10-05 2021-10-05 Imaging apparatus and method for controlling the same

Country Status (1)

Country Link
JP (1) JP2023055075A (en)

Similar Documents

Publication Publication Date Title
CN110166695B (en) Camera anti-shake method and device, electronic equipment and computer readable storage medium
JP5036599B2 (en) Imaging device
JP6906947B2 (en) Image processing equipment, imaging equipment, image processing methods and computer programs
JP2010524279A (en) Distance map generation type multi-lens camera
JP2009193421A (en) Image processing device, camera device, image processing method, and program
KR101728042B1 (en) Digital photographing apparatus and control method thereof
JP6833498B2 (en) Imaging device, imaging method and computer program
CN110177212B (en) Image processing method and device, electronic equipment and computer readable storage medium
JP6656035B2 (en) Image processing apparatus, imaging apparatus, and control method for image processing apparatus
JP4420906B2 (en) Imaging device
JP7174120B2 (en) IMAGING DEVICE, PROGRAM, RECORDING MEDIUM, AND CONTROL METHOD
JP6529533B2 (en) Imaging device, control method of imaging device, and program
JP2015204470A (en) Imaging apparatus, control method thereof, and program
KR101630307B1 (en) A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium
JP2015233211A (en) Imaging apparatus, control method thereof, and program
JP2008053787A (en) Multiple-lens electronic camera and parallax correcting method of multi-lens electronic camera
JP2017212698A (en) Imaging apparatus, control method for imaging apparatus, and program
JP2023055075A (en) Imaging apparatus and method for controlling the same
CN114554041A (en) Image pickup apparatus, image pickup method, and storage medium
JP2017183983A (en) Imaging apparatus, control method and control program of the same
JP6961423B2 (en) Image processing equipment, imaging equipment, control methods for image processing equipment, programs and recording media
JP2020160773A (en) Image processing device, imaging device, image processing method, and program
JP7458769B2 (en) Image processing device, imaging device, image processing method, program and recording medium
JP2016032180A (en) Imaging apparatus, control method and program
JP6828069B2 (en) Imaging equipment, imaging methods and programs