JP2021175046A - Imaging apparatus, method for controlling the same, and program - Google Patents

Imaging apparatus, method for controlling the same, and program Download PDF

Info

Publication number
JP2021175046A
JP2021175046A JP2020076074A JP2020076074A JP2021175046A JP 2021175046 A JP2021175046 A JP 2021175046A JP 2020076074 A JP2020076074 A JP 2020076074A JP 2020076074 A JP2020076074 A JP 2020076074A JP 2021175046 A JP2021175046 A JP 2021175046A
Authority
JP
Japan
Prior art keywords
subject
rolling shutter
acquisition means
correction
tracked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020076074A
Other languages
Japanese (ja)
Inventor
尚佳 丸橋
Hisaka Maruhashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020076074A priority Critical patent/JP2021175046A/en
Publication of JP2021175046A publication Critical patent/JP2021175046A/en
Pending legal-status Critical Current

Links

Images

Abstract

To reduce, when tracking and photographing a subject, distortion of a subject when performing rolling shutter distortion correction.SOLUTION: The present invention is an imaging apparatus that picks up an image in a rolling shutter system, and has: first acquisition means that acquires information on a subject that is tracked and photographed; second acquisition means that acquires information on at least one drive of pan drive and tilt drive of the imaging apparatus; changing means that changes the correction strength of rolling shutter distortion correction based on the information on the subject acquired by the first acquisition means and the information on the pan or tilt drive acquired by the second acquisition means; and correction means that performs the rolling shutter distortion correction with the correction strength changed by the changing means.SELECTED DRAWING: Figure 2

Description

本発明は、撮像装置、その制御方法、プログラムおよび記録媒体に関するものである。 The present invention relates to an image pickup apparatus, a control method thereof, a program, and a recording medium.

撮像装置に用いられるCMOSセンサは、センサの上部と下部との間で読み出しラグが生じることが知られている。このようなCMOSセンサをパンチルト駆動が可能なカメラに用いると、パン駆動させた場合には画像が斜めに歪み、チルト駆動させた場合には画像が伸び縮みする、ローリングシャッタ歪みが生じるために、ローリングシャッタ歪み補正を行うことが有効である。 It is known that the CMOS sensor used in the image pickup apparatus has a read-out lag between the upper part and the lower part of the sensor. When such a CMOS sensor is used in a camera capable of pan-tilt drive, the image is distorted diagonally when pan-driven, and the image expands and contracts when tilt-driven, resulting in rolling shutter distortion. It is effective to correct the rolling shutter distortion.

近年、パンチルト駆動が可能なカメラでは、被写体を自動で追尾できるような追尾機能を備えている。このようなカメラで、追尾中のカメラの動きに応じてローリングシャッタ歪み補正を行ってしまうと、追尾対象の被写体の歪みが更に増してしまう。これは、追尾中にカメラの動きに応じてローリングシャッタ歪み補正を行ったことに起因する。すなわち、追尾対象の被写体の速度と合わせるようにパンチルト駆動することで、被写体が画面内の所定位置で静止しているように見える。相対的に静止している被写体であればローリングシャッタ歪みが生じず、ローリングシャッタ歪み補正を行う必要がないにも関わらず補正を行ってしまうためである。 In recent years, cameras capable of pan-tilt drive have a tracking function that can automatically track a subject. If the rolling shutter distortion is corrected according to the movement of the camera during tracking with such a camera, the distortion of the subject to be tracked will further increase. This is due to the fact that the rolling shutter distortion correction was performed according to the movement of the camera during tracking. That is, by driving the pan / tilt so as to match the speed of the subject to be tracked, the subject appears to be stationary at a predetermined position on the screen. This is because rolling shutter distortion does not occur in a relatively stationary subject, and correction is performed even though it is not necessary to perform rolling shutter distortion correction.

特許文献1には、動き検出手段により検出された動き量と、合焦検出手段により検出された合焦度合いから、ローリングシャッタ方式に起因する歪みの補正量を決定し、画像の各ラインの読み出し位置を変更することで歪みの補正を行う撮像装置が開示されている。 In Patent Document 1, the amount of correction of distortion caused by the rolling shutter method is determined from the amount of motion detected by the motion detecting means and the degree of focusing detected by the focusing detecting means, and each line of the image is read out. An imaging device that corrects distortion by changing the position is disclosed.

特開2013−38482号公報Japanese Unexamined Patent Publication No. 2013-38482

しかしながら、特許文献1では、合焦度合いによって追従していると判断した場合にローリングシャッタ歪み補正を行わないようにしているが、実際に追従していなかった場合には被写体が歪んでしまうおそれがある。
本発明は、上述したような問題点に鑑みてなされたものであり、被写体を追尾して撮影する場合にローリングシャッタ歪み補正をしたときの被写体の歪みを低減させることを目的とする。
However, in Patent Document 1, although the rolling shutter distortion correction is not performed when it is determined that the subject is following according to the degree of focusing, the subject may be distorted if the subject is not actually followed. be.
The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to reduce the distortion of the subject when the rolling shutter distortion is corrected when the subject is tracked and photographed.

本発明は、ローリングシャッタ方式で画像を撮影する撮像装置であって、追尾して撮影する被写体の情報を取得する第1の取得手段と、前記撮像装置のパン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の情報を取得する第2の取得手段と、前記第1の取得手段により取得された被写体の情報と、前記第2の取得手段により取得された駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する変更手段と、前記変更手段により変更された補正強度によりローリングシャッタ歪み補正を行う補正手段と、を有することを特徴とする。 The present invention is an imaging device that captures an image by a rolling shutter method, and is at least one of a first acquisition means for acquiring information on a subject to be tracked and captured, and a pan drive and a tilt drive of the imaging device. The rolling shutter is based on the second acquisition means for acquiring the information of the one drive, the information of the subject acquired by the first acquisition means, and the drive information acquired by the second acquisition means. It is characterized by having a changing means for changing the correction strength of distortion correction and a correction means for performing rolling shutter distortion correction by the correction strength changed by the changing means.

本発明によれば、被写体を追尾して撮影する場合にローリングシャッタ歪み補正をしたときの被写体の歪みを低減させることができる。 According to the present invention, it is possible to reduce the distortion of the subject when the rolling shutter distortion is corrected when the subject is tracked and photographed.

カメラの構成を示す図である。It is a figure which shows the structure of a camera. 第1の実施形態のカメラの動作を示すフローチャートである。It is a flowchart which shows the operation of the camera of 1st Embodiment. 追尾対象の被写体の一例を示す図である。It is a figure which shows an example of the subject to be tracked. 追尾対象の被写体の一例を示す図である。It is a figure which shows an example of the subject to be tracked. 第2の実施形態のカメラの動作を示すフローチャートである。It is a flowchart which shows the operation of the camera of 2nd Embodiment. 第3の実施形態のカメラの動作を示すフローチャートである。It is a flowchart which shows the operation of the camera of 3rd Embodiment. 第4の実施形態のカメラの動作を示すフローチャートである。It is a flowchart which shows the operation of the camera of 4th Embodiment. 第5の実施形態のカメラの動作を示すフローチャートである。It is a flowchart which shows the operation of the camera of 5th Embodiment. 第6の実施形態のカメラの動作を示すフローチャートである。It is a flowchart which shows the operation of the camera of 6th Embodiment. 第7の実施形態のカメラの動作を示すフローチャートである。It is a flowchart which shows the operation of the camera of 7th Embodiment.

以下、本発明の好ましい実施形態について図面を参照して説明する。本実施形態では、撮像装置として、パン駆動およびチルト駆動が可能なカメラについて説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In the present embodiment, a camera capable of pan drive and tilt drive as an image pickup device will be described.

<第1の実施形態>
図1は、カメラ100の構成の一例を示す図である。
カメラ100は、レンズ群101、光学フィルタ102、撮像素子103、AGC104、A/D変換部105、映像信号処理部106、露出制御部107、光学制御部108、動き情報取得部109、RS歪み補正量演算部110、映像信号出力部111を有する。また、カメラ100は、パンチルトモータ112、パンチルト駆動部113、パルス変調部114等を有する。
<First Embodiment>
FIG. 1 is a diagram showing an example of the configuration of the camera 100.
The camera 100 includes a lens group 101, an optical filter 102, an image sensor 103, an AGC 104, an A / D conversion unit 105, a video signal processing unit 106, an exposure control unit 107, an optical control unit 108, a motion information acquisition unit 109, and RS distortion correction. It has a quantity calculation unit 110 and a video signal output unit 111. Further, the camera 100 includes a pan-tilt motor 112, a pan-tilt drive unit 113, a pulse modulation unit 114, and the like.

レンズ群101は、被写体からの光を撮像素子103上に集光する光学系である。レンズ群101には、被写体に対するピント合わせを行うフォーカスレンズ、画角を調整するズームレンズ等が含まれる。レンズ群101を通してカメラ100内に入射した光は光学フィルタ102を通過して撮像素子103で受光される。光学フィルタ102は、例えば赤外線カットフィルタ(IRCF)等が用いられる。映像情報は、撮像素子103の受光面の画素毎に所定の順序で配列されたカラーフィルタを通り、撮像素子103で結像される。撮像素子103は、撮影対象の映像情報をアナログ信号として出力する。撮像素子103は、ローリングシャッタ方式で撮影するCMOSセンサである。撮像素子103で出力された映像は、AGC104でゲインコントロールされて映像信号の輝度の調整が行われる。輝度の調整が行われた映像信号は、A/D変換部105でアナログ撮像信号からデジタル撮像信号に変換される。 The lens group 101 is an optical system that collects light from the subject on the image sensor 103. The lens group 101 includes a focus lens for focusing on a subject, a zoom lens for adjusting an angle of view, and the like. The light incident on the camera 100 through the lens group 101 passes through the optical filter 102 and is received by the image sensor 103. As the optical filter 102, for example, an infrared cut filter (IRCF) or the like is used. The video information passes through color filters arranged in a predetermined order for each pixel on the light receiving surface of the image sensor 103, and is imaged by the image sensor 103. The image sensor 103 outputs video information to be photographed as an analog signal. The image sensor 103 is a CMOS sensor that photographs by a rolling shutter method. The image output by the image sensor 103 is gain-controlled by the AGC 104 to adjust the brightness of the image signal. The video signal whose brightness has been adjusted is converted from an analog image pickup signal to a digital image pickup signal by the A / D conversion unit 105.

映像信号処理部106は、A/D変換部105で変換されたデジタル撮像信号に所定の処理を施し、画素毎に輝度信号と色信号とを出力する。映像信号処理部106は、出力用の映像を生成すると共に、カメラ制御を行うための各パラメータを生成する。カメラ制御を行うための各パラメータとして、例えば絞りの制御、ピント合わせの制御、色味を調整するホワイトバランス制御等に用いられる。 The video signal processing unit 106 performs predetermined processing on the digital imaging signal converted by the A / D conversion unit 105, and outputs a luminance signal and a color signal for each pixel. The video signal processing unit 106 generates a video for output and also generates parameters for controlling the camera. As each parameter for camera control, for example, it is used for aperture control, focusing control, white balance control for adjusting color, and the like.

露出制御部107は、映像信号処理部106から出力される輝度情報から撮影画面内の輝度情報を算出し、撮影画像を所望の明るさに調整するために絞りおよびAGC104を制御する。
また、ピント合わせは、映像信号処理部106で生成された映像信号から高周波成分を抜き出し、高周波成分の値をフォーカスピント情報(フォーカス評価値)として、フォーカス評価値が最大となるように光学制御部108によりレンズ群101を制御する。また、光学制御部108は光学フィルタ102の挿抜動作も行う。
The exposure control unit 107 calculates the brightness information in the shooting screen from the brightness information output from the video signal processing unit 106, and controls the aperture and the AGC 104 in order to adjust the shot image to a desired brightness.
Further, in focusing, a high-frequency component is extracted from the video signal generated by the video signal processing unit 106, and the value of the high-frequency component is used as focus focus information (focus evaluation value), and the optical control unit maximizes the focus evaluation value. The lens group 101 is controlled by 108. The optical control unit 108 also performs an insertion / removal operation of the optical filter 102.

パルス変調部114は、PWM波形に変換してパンチルト駆動部113に出力する。パンチルト駆動部113は、パンチルトモータ112を駆動する。パンチルトモータ112が駆動されることによって、レンズ群101とセンサとを含む撮像光学系がパンチルト方向に移動する。 The pulse modulation unit 114 converts it into a PWM waveform and outputs it to the pan / tilt drive unit 113. The pan-tilt drive unit 113 drives the pan-tilt motor 112. By driving the pan-tilt motor 112, the imaging optical system including the lens group 101 and the sensor moves in the pan-tilt direction.

動き情報取得部109は、映像信号処理部106から出力された映像信号に基づいて、追尾する被写体の情報を取得する。被写体の情報には、例えば、追尾する被写体の移動方向や移動速度等の動き情報が含まれる。
ローリングシャッタ歪み補正量演算部110は、パンチルト駆動部113から取得したパンチルト駆動の情報と、動き情報取得部109で取得された追尾対象の被写体の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更して、補正量を算出する。
映像信号出力部111は、ローリングシャッタ歪み補正量演算部110により算出された補正量に基づいて幾何変換を行うことで、ローリングシャッタ歪み補正を行う。映像信号出力部111は補正した後の映像信号を出力する。
The motion information acquisition unit 109 acquires information on the subject to be tracked based on the video signal output from the video signal processing unit 106. The subject information includes, for example, motion information such as the moving direction and moving speed of the subject to be tracked.
The rolling shutter distortion correction amount calculation unit 110 determines the correction strength of the rolling shutter distortion correction based on the pan-tilt drive information acquired from the pan-tilt drive unit 113 and the information of the subject to be tracked acquired by the motion information acquisition unit 109. Change and calculate the correction amount.
The video signal output unit 111 corrects the rolling shutter distortion by performing geometric transformation based on the correction amount calculated by the rolling shutter distortion correction amount calculation unit 110. The video signal output unit 111 outputs the corrected video signal.

<第1の実施形態>
第1の実施形態では、追尾対象の被写体の情報と、パンチルト駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
図2は、第1の実施形態のカメラ100の動作を示すフローチャートである。図2のフローチャートは、カメラ100の電源がオンされることで開始される。
<First Embodiment>
In the first embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on the information of the subject to be tracked and the information of the pan / tilt drive will be described.
FIG. 2 is a flowchart showing the operation of the camera 100 of the first embodiment. The flowchart of FIG. 2 starts when the power of the camera 100 is turned on.

S201では、動き情報取得部109は、追尾する対象(追尾対象)の被写体を検出する。具体的に、動き情報取得部109は、画像内の人や車等の動体を物体認識で認識し、認識した動体を追尾対象の被写体として検出する。なお、動き情報取得部109は、ユーザにより手動で選択された画像内の被写体を、追尾対象の被写体として検出してもよい。 In S201, the motion information acquisition unit 109 detects the subject to be tracked (tracking target). Specifically, the motion information acquisition unit 109 recognizes a moving object such as a person or a car in the image by object recognition, and detects the recognized moving object as a subject to be tracked. The motion information acquisition unit 109 may detect a subject in the image manually selected by the user as a subject to be tracked.

S202では、動き情報取得部109は、検出した追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、現フレームと前フレームとの背景差分等を比較することで、追尾対象の被写体の画面内での動きベクトル量を算出する。また、動き情報取得部109は、算出された動きベクトル量から追尾対象の被写体の移動方向および被写体の速度を算出する。 In S202, the motion information acquisition unit 109 acquires the information of the detected subject to be tracked. Specifically, the motion information acquisition unit 109 calculates the amount of motion vector in the screen of the subject to be tracked by comparing the background difference between the current frame and the previous frame. Further, the motion information acquisition unit 109 calculates the moving direction of the subject to be tracked and the speed of the subject from the calculated motion vector amount.

図3(a)は、前フレーム301の一例を示す図である。
前フレーム301では、パンが右から左に駆動し、パン駆動の速度と、右から左へ移動する追尾対象の被写体302の速度とが一致しているため、被写体302が画像の中央に位置している状態である。パン駆動の速度と、追尾対象の被写体302の速度とが同一速度で移動しているために追尾対象の被写体302は静止しているように見える。この場合、ローリングシャッタ歪み補正を行っていない状態であれば、追尾対象の被写体302は斜めに歪むことなく撮影されている。
FIG. 3A is a diagram showing an example of the front frame 301.
In the front frame 301, the pan is driven from right to left, and the speed of the pan drive and the speed of the subject 302 to be tracked moving from right to left match, so that the subject 302 is located in the center of the image. It is in a state of being. Since the pan-driven speed and the speed of the subject 302 to be tracked are moving at the same speed, the subject 302 to be tracked appears to be stationary. In this case, if the rolling shutter distortion correction is not performed, the subject 302 to be tracked is photographed without being obliquely distorted.

図3(b)は、現フレーム303の一例を示す図である。
現フレーム303では、パンが右から左に駆動し、追尾対象の被写体304が前フレーム301までの速度とは異なる速度、すなわちこの場合低速で移動したことによって、パン駆動の速度と、追尾対象の被写体の速度とに差異が生じている。したがって、追尾対象の被写体304が画像の中央に位置ではなく端に位置している状態である。この状態で、前フレーム301と同様にローリングシャッタ歪み補正を行わない場合には、追尾対象の被写体304が歪んで撮影されてしまう。このように歪んで撮影されるのは、パン駆動の速度と追尾対象の被写体304の速度とに差異が生じたため、追尾対象の被写体304が静止して見えなくなってしまったためである。
FIG. 3B is a diagram showing an example of the current frame 303.
In the current frame 303, the pan is driven from right to left, and the subject 304 to be tracked moves at a speed different from the speed up to the previous frame 301, that is, at a low speed in this case. There is a difference in the speed of the subject. Therefore, the subject 304 to be tracked is not located at the center of the image but at the edge. In this state, if the rolling shutter distortion correction is not performed as in the case of the front frame 301, the subject 304 to be tracked will be distorted and photographed. The reason why the image is distorted in this way is that the speed of the pan drive and the speed of the subject 304 to be tracked are different from each other, so that the subject 304 to be tracked is stationary and cannot be seen.

ここで、S202において算出される、パン駆動に対して相対的な追尾対象の被写体の移動方向は、図3(a)、図3(b)の場合は右であり、被写体の速度は算出されたベクトル量とフレームレート等を用いて算出することができる。左向きをプラスの速度、右向きをマイナスの速度とすると、図3(a)、図3(b)の場合には、追尾対象の被写体が相対的に右方向に移動しているため被写体の速度はマイナスとなる。 Here, the moving direction of the subject to be tracked relative to the pan drive calculated in S202 is the right in the case of FIGS. 3A and 3B, and the speed of the subject is calculated. It can be calculated using the vector quantity and the frame rate. Assuming that the leftward direction is a positive speed and the rightward direction is a negative speed, in the cases of FIGS. 3 (a) and 3 (b), the subject to be tracked is relatively moving to the right, so the speed of the subject is It will be negative.

S203では、RS歪み補正量演算部110は、パンチルト駆動部113からパンチルト駆動の情報を取得する。具体的には、RS歪み補正量演算部110は、パンチルト駆動部113からパン駆動の駆動方向の情報を取得する。RS歪み補正量演算部110は、パンチルト駆動部113がパンを右向きに駆動している場合には右向きの情報を取得し、パンを左向きに駆動している場合には左向きの情報を取得する。図3(a)、図3(b)の場合には右から左へ移動しており、左向きの情報が取得される。なお、左向きをプラス、右向きをマイナスとしているので、この場合の駆動速度はプラスとなる。 In S203, the RS distortion correction amount calculation unit 110 acquires the pan-tilt drive information from the pan-tilt drive unit 113. Specifically, the RS distortion correction amount calculation unit 110 acquires information on the pan drive drive direction from the pan / tilt drive unit 113. The RS distortion correction amount calculation unit 110 acquires rightward information when the pan / tilt drive unit 113 drives the pan to the right, and acquires leftward information when the pan / tilt drive unit 113 drives the pan to the left. In the case of FIGS. 3A and 3B, the information is moving from right to left, and information pointing to the left is acquired. Since the leftward direction is positive and the rightward direction is negative, the drive speed in this case is positive.

S204では、RS歪み補正量演算部110は、S202で取得した追尾対象の被写体の移動方向と、S203で取得したパン駆動の駆動方向とを比較する。追尾対象の被写体の移動方向と、パン駆動の駆動方向とが同一の場合には、ローリングシャッタ歪み補正の補正強度を変更せず終了する。一方、追尾対象の被写体の移動方向と、パン駆動の駆動方向とが異なる場合にはS205に進む。 In S204, the RS distortion correction amount calculation unit 110 compares the moving direction of the subject to be tracked acquired in S202 with the pan-driven drive direction acquired in S203. When the moving direction of the subject to be tracked and the driving direction of the pan drive are the same, the process ends without changing the correction intensity of the rolling shutter distortion correction. On the other hand, if the moving direction of the subject to be tracked is different from the driving direction of the pan drive, the process proceeds to S205.

S205では、RS歪み補正量演算部110は、パン駆動の速度から追尾対象の被写体の速度を減算した値が所定以上であるか否かを判定する。RS歪み補正量演算部110は、パンチルト駆動部113からパン駆動の速度を取得することができる。なお、RS歪み補正量演算部110は、ジャイロセンサの値を用いてパン駆動の速度を算出してもよい。パン駆動の速度から追尾対象の被写体の速度を減算した値が所定以上ではない場合には、ローリングシャッタ歪み補正の補正強度を変更せず終了する。一方、パン駆動の速度から追尾対象の被写体の速度を減算した値が所定以上の場合には、追尾対象の被写体の速度と、パン駆動の速度との差異によって被写体が静止しているようには見えなくなり歪んでしまうため、歪みを防止するためにS206に進む。 In S205, the RS distortion correction amount calculation unit 110 determines whether or not the value obtained by subtracting the speed of the subject to be tracked from the pan-driven speed is equal to or higher than a predetermined value. The RS distortion correction amount calculation unit 110 can acquire the pan drive speed from the pan / tilt drive unit 113. The RS distortion correction amount calculation unit 110 may calculate the pan drive speed using the value of the gyro sensor. If the value obtained by subtracting the speed of the subject to be tracked from the pan drive speed is not more than a predetermined value, the process ends without changing the correction intensity of the rolling shutter distortion correction. On the other hand, when the value obtained by subtracting the speed of the subject to be tracked from the speed of the pan drive is equal to or higher than a predetermined value, the subject may be stationary due to the difference between the speed of the subject to be tracked and the speed of the pan drive. Since it becomes invisible and distorted, the process proceeds to S206 to prevent distortion.

S206では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を増加させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、パン駆動の速度から追尾対象の被写体の速度を減算した値が所定未満である場合よりも、ローリングシャッタ歪み補正の補正強度を増加させる。映像信号出力部111は、ローリングシャッタ歪み補正量演算部110により算出された補正量に基づいて幾何変換を行うことで、ローリングシャッタ歪み補正を行う。
図4は、ローリングシャッタ歪み補正を行って表示されたフレーム401の一例を示す図である。図4に示すように、ローリングシャッタ歪み補正の補正強度を増加させることで、追尾対象の被写体の速度とパン駆動の速度とに差異が生じて被写体402が端に位置しても歪みのない被写体402を撮影することができる。
In S206, the RS distortion correction amount calculation unit 110 increases the correction intensity of the rolling shutter distortion correction to calculate the correction amount. That is, the RS distortion correction amount calculation unit 110 increases the correction strength of the rolling shutter distortion correction as compared with the case where the value obtained by subtracting the speed of the subject to be tracked from the pan drive speed is less than a predetermined value. The video signal output unit 111 corrects the rolling shutter distortion by performing geometric transformation based on the correction amount calculated by the rolling shutter distortion correction amount calculation unit 110.
FIG. 4 is a diagram showing an example of the frame 401 displayed after performing rolling shutter distortion correction. As shown in FIG. 4, by increasing the correction intensity of the rolling shutter distortion correction, there is a difference between the speed of the subject to be tracked and the speed of the pan drive, and the subject without distortion even if the subject 402 is located at the edge. 402 can be photographed.

本実施形態によれば、パン駆動の情報と、追尾して撮影する被写体の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更することでローリングシャッタ歪み補正をしたときの被写体の歪みを低減させることができる。 According to the present embodiment, the distortion of the subject when the rolling shutter distortion correction is performed is reduced by changing the correction intensity of the rolling shutter distortion correction based on the pan drive information and the information of the subject to be tracked and photographed. Can be made to.

なお、本実施形態では、追尾対象の被写体の移動方向と、パン駆動の駆動方向とが異なる場合の方が速度差が大きくなるために、ローリングシャッタ歪み補正の補正強度を増加させている。しかしながら、追尾対象の被写体の移動方向と、パン駆動の駆動方向とが同一の場合であっても速度差が生じている場合にはローリングシャッタ歪み補正の補正強度を増加させるようにしてもよい。すなわち、パン駆動の速度と、被写体の速度との速度差が所定以上である場合には、ローリングシャッタ歪み補正の補正強度を増加させるようにしてもよい。 In the present embodiment, the speed difference is larger when the moving direction of the subject to be tracked and the driving direction of the pan drive are different, so that the correction strength of the rolling shutter distortion correction is increased. However, even when the moving direction of the subject to be tracked and the driving direction of the pan drive are the same, if there is a speed difference, the correction strength of the rolling shutter distortion correction may be increased. That is, when the speed difference between the pan drive speed and the speed of the subject is equal to or greater than a predetermined speed, the correction strength of the rolling shutter distortion correction may be increased.

また、本実施形態では、対象の被写体を追尾する場合について説明したが、被写体を追尾せずにパン駆動している場合には、RS歪み補正量演算部110は、被写体を追尾してパン駆動している場合よりもローリングシャッタ歪み補正の補正強度を増加させてもよい。
また、本実施形態では、パン駆動の場合について説明したが、この場合に限られず、パン駆動およびチルト駆動のうち少なくとも何れかの駆動(パンチルト駆動)の場合でも同様に適用することができる。
Further, in the present embodiment, the case of tracking the target subject has been described, but when the subject is pan-driven without being tracked, the RS distortion correction amount calculation unit 110 tracks the subject and pan-drives the subject. The correction strength of the rolling shutter distortion correction may be increased as compared with the case where the rolling shutter distortion is corrected.
Further, in the present embodiment, the case of pan drive has been described, but the present invention is not limited to this case, and the same can be applied to at least one of pan drive and tilt drive (pan tilt drive).

<第2の実施形態>
第2の実施形態では、追尾対象の被写体の位置の情報に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
図5は、第2の実施形態のカメラ100の動作を示すフローチャートである。なお、図5のフローチャートは、カメラ100の電源がオンされることで開始される。
<Second embodiment>
In the second embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on the information on the position of the subject to be tracked will be described.
FIG. 5 is a flowchart showing the operation of the camera 100 of the second embodiment. The flowchart of FIG. 5 starts when the power of the camera 100 is turned on.

S501では、RS歪み補正量演算部110は、パンチルト駆動部113からパンチルト駆動の情報を取得する。具体的には、RS歪み補正量演算部110は、パンチルト駆動部113の状態の情報を取得して、パンチルト駆動が駆動中であるか否かを判定する。パンチルト駆動部113が駆動中ではない場合にはローリングシャッタ歪み補正の補正強度を変更することなく終了する。一方、パンチルト駆動部113が駆動中の場合にはS502に進む。 In S501, the RS distortion correction amount calculation unit 110 acquires the pan-tilt drive information from the pan-tilt drive unit 113. Specifically, the RS distortion correction amount calculation unit 110 acquires information on the state of the pan-tilt drive unit 113 and determines whether or not the pan-tilt drive is being driven. When the pan-tilt drive unit 113 is not being driven, the process ends without changing the correction strength of the rolling shutter distortion correction. On the other hand, when the pan / tilt drive unit 113 is being driven, the process proceeds to S502.

S502では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の画像内での位置を確認する。
S503では、動き情報取得部109は、被写体の位置が画像内で同じ位置であるか否かを判定する。例えば、動き情報取得部109は動体検出や物体認識した動体の重心位置が前フレームと現フレームとを比較して所定のピクセル数以内に位置する場合に、被写体の位置が画像内で同じ位置であると判定する。被写体の位置が画像内で同じ位置である場合には追尾対象の被写体を追尾していると考えられ、被写体が静止しているように見える。被写体の位置が画像内で異なる位置である場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の位置が画像内で同じ位置である場合にはS504に進む。
In S502, the motion information acquisition unit 109 acquires information on the subject to be tracked. Specifically, the motion information acquisition unit 109 confirms the position of the subject to be tracked in the image.
In S503, the motion information acquisition unit 109 determines whether or not the positions of the subjects are the same in the image. For example, when the motion information acquisition unit 109 positions the center of gravity of the moving object that detects the moving object or recognizes the object within a predetermined number of pixels by comparing the previous frame and the current frame, the position of the subject is the same in the image. Judge that there is. When the positions of the subjects are the same in the image, it is considered that the subject to be tracked is being tracked, and the subject appears to be stationary. If the position of the subject is different in the image, the process ends without changing the correction intensity of the rolling shutter distortion correction. On the other hand, if the positions of the subjects are the same in the image, the process proceeds to S504.

S504では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の位置が画像内で異なる位置である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。 In S504, the RS distortion correction amount calculation unit 110 reduces the correction strength of the rolling shutter distortion correction to calculate the correction amount. That is, the RS distortion correction amount calculation unit 110 lowers the correction intensity of the rolling shutter distortion correction as compared with the case where the positions of the subjects are different positions in the image.

本実施形態によれば、被写体の位置が画像内で同じ位置である場合には、ローリングシャッタ歪み補正の補正強度を低下させることで、ローリングシャッタ歪み補正による被写体の歪みを防止することができる。
なお、本実施形態では、対象の被写体を追尾する場合について説明したが、被写体を追尾せずにパン駆動している場合に、被写体の位置が画像内で同じ位置である場合にも適用することができる。
また、本実施形態では、S503からNOに進むことでローリングシャッタ歪み補正の補正強度を変更しないで終了する場合について説明したが、S503からNOに進むことで図2のフローチャートを実行するなどして適宜、他の実施形態と組み合わせてもよい。
According to the present embodiment, when the positions of the subjects are the same in the image, the distortion of the subject due to the rolling shutter distortion correction can be prevented by lowering the correction intensity of the rolling shutter distortion correction.
In the present embodiment, the case of tracking the target subject has been described, but it is also applied to the case where the position of the subject is the same in the image when the subject is pan-driven without tracking the subject. Can be done.
Further, in the present embodiment, the case where the rolling shutter distortion correction is terminated without changing the correction strength by proceeding from S503 to NO has been described, but the flowchart of FIG. 2 is executed by proceeding from S503 to NO. It may be combined with other embodiments as appropriate.

<第3の実施形態>
以下の実施形態では、追尾対象の被写体の情報に基づいてローリングシャッタ歪み補正の補正強度を変更する。第3の実施形態では、追尾対象の被写体の種類に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
<Third embodiment>
In the following embodiment, the correction intensity of the rolling shutter distortion correction is changed based on the information of the subject to be tracked. In the third embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on the type of the subject to be tracked will be described.

S601では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の種類の情報を取得する。
S602では、動き情報取得部109は、被写体の種類が人であるか否かを判定する。被写体の種類が人以外(例えば、車両等の乗り物)である場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の種類が人である場合には603に進む。
In S601, the motion information acquisition unit 109 acquires information on the subject to be tracked. Specifically, the motion information acquisition unit 109 acquires information on the type of the subject to be tracked.
In S602, the motion information acquisition unit 109 determines whether or not the type of the subject is a person. When the type of the subject is other than a person (for example, a vehicle such as a vehicle), the process ends without changing the correction strength of the rolling shutter distortion correction. On the other hand, if the type of subject is a person, the process proceeds to 603.

S603では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の種類が人以外である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。 In S603, the RS distortion correction amount calculation unit 110 reduces the correction strength of the rolling shutter distortion correction to calculate the correction amount. That is, the RS distortion correction amount calculation unit 110 lowers the correction strength of the rolling shutter distortion correction as compared with the case where the type of the subject is other than a person.

本実施形態によれば、被写体が人である場合には、ローリングシャッタ歪み補正の補正強度を低下させることで、ローリングシャッタ歪み補正による被写体の歪みを少なくして人の顔を認識しやすくすることができる。
なお、図6のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S602からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
According to the present embodiment, when the subject is a person, the correction strength of the rolling shutter distortion correction is lowered to reduce the distortion of the subject due to the rolling shutter distortion correction and make it easier to recognize the human face. Can be done.
The flowchart of FIG. 6 may be added between S201 and S202 of the flowchart of FIG. 2 described above, and may be appropriately combined with other embodiments such as proceeding to S202 when branching from S602 to NO. ..

<第4の実施形態>
第4の実施形態では、追尾対象の被写体の大きさに基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
<Fourth Embodiment>
In the fourth embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on the size of the subject to be tracked will be described.

S701では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の大きさの情報を取得する。
S702では、動き情報取得部109は、被写体の大きさが所定以上であるか否かを判定する。被写体の大きさが所定未満である場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の大きさが所定以上である場合にはS703に進む。
In S701, the motion information acquisition unit 109 acquires information on the subject to be tracked. Specifically, the motion information acquisition unit 109 acquires information on the size of the subject to be tracked.
In S702, the motion information acquisition unit 109 determines whether or not the size of the subject is equal to or larger than a predetermined size. If the size of the subject is less than the specified size, the process ends without changing the correction intensity of the rolling shutter distortion correction. On the other hand, if the size of the subject is larger than a predetermined size, the process proceeds to S703.

S703では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の大きさが所定未満である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。
なお、図7のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S702からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S703, the RS distortion correction amount calculation unit 110 reduces the correction strength of the rolling shutter distortion correction to calculate the correction amount. That is, the RS distortion correction amount calculation unit 110 lowers the correction strength of the rolling shutter distortion correction as compared with the case where the size of the subject is smaller than a predetermined size.
The flowchart of FIG. 7 may be added between S201 and S202 of the flowchart of FIG. 2 described above, and may be combined with other embodiments as appropriate, such as proceeding to S202 when branching from S702 to NO. ..

<第5の実施形態>
第5の実施形態では、追尾対象の被写体の位置に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
<Fifth Embodiment>
In the fifth embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on the position of the subject to be tracked will be described.

S801では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の位置の情報を取得する。
S802では、動き情報取得部109は、被写体の位置が画面外に外れたか否かを判定する。被写体の位置が画面外に外れておらず画面内に存在している場合には、補正強度が適切な強度になるように変更する。一方、被写体の位置が画面外に外れて存在しない場合にはS803に進む。
In S801, the motion information acquisition unit 109 acquires information on the subject to be tracked. Specifically, the motion information acquisition unit 109 acquires information on the position of the subject to be tracked.
In S802, the motion information acquisition unit 109 determines whether or not the position of the subject is off the screen. If the position of the subject does not deviate from the screen and exists in the screen, change the correction strength so that it becomes an appropriate strength. On the other hand, if the position of the subject is out of the screen and does not exist, the process proceeds to S803.

S803では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正が所定以上の強度で有効になっていれば、ローリングシャッタ歪み補正の補正強度を変更しないで終了する。したがって、ローリングシャッタ歪み補正を行うことで、背景等の被写体が歪むのを抑制することができる。
なお、図8のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S802からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S803, if the rolling shutter distortion correction is effective with an intensity equal to or higher than a predetermined value, the RS distortion correction amount calculation unit 110 ends without changing the correction intensity of the rolling shutter distortion correction. Therefore, by performing the rolling shutter distortion correction, it is possible to suppress the distortion of the subject such as the background.
The flowchart of FIG. 8 may be added between S201 and S202 of the flowchart of FIG. 2 described above, and may be combined with other embodiments as appropriate, such as proceeding to S202 when branching from S802 to NO. ..

<第6の実施形態>
第6の実施形態では、追尾対象の被写体以外の被写体に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
<Sixth Embodiment>
In the sixth embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on a subject other than the subject to be tracked will be described.

S901では、動き情報取得部109は、被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体以外の被写体を検出する。
S902では、動き情報取得部109は、追尾対象の被写体以外の被写体が画面内に存在するか否かを判定する。追尾対象の被写体以外の被写体が存在しない場合には、補正強度が適切な強度になるように変更する。一方、追尾対象の被写体以外の被写体が存在する場合にはS903に進む。
In S901, the motion information acquisition unit 109 acquires the information of the subject. Specifically, the motion information acquisition unit 109 detects a subject other than the subject to be tracked.
In S902, the motion information acquisition unit 109 determines whether or not a subject other than the subject to be tracked exists in the screen. If there is no subject other than the subject to be tracked, change the correction intensity so that it is appropriate. On the other hand, if there is a subject other than the subject to be tracked, the process proceeds to S903.

S903では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正が所定以上の強度で有効になっていれば、ローリングシャッタ歪み補正の補正強度を変更しないで終了する。
なお、図9のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S902からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S903, if the rolling shutter distortion correction is effective with an intensity equal to or higher than a predetermined value, the RS distortion correction amount calculation unit 110 ends without changing the correction intensity of the rolling shutter distortion correction.
The flowchart of FIG. 9 may be added between S201 and S202 of the flowchart of FIG. 2 described above, and may be combined with other embodiments as appropriate, such as proceeding to S202 when branching from S902 to NO. ..

<第7の実施形態>
第7の実施形態では、追尾対象の被写体の動作に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
<7th Embodiment>
In the seventh embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on the movement of the subject to be tracked will be described.

S1001では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の動作の情報を取得する。
S1002では、動き情報取得部109は、被写体の動作が歩きであるか否かを判定する。被写体の動作が歩きではない場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の動作が歩きである場合にはS1003に進む。
In S1001, the motion information acquisition unit 109 acquires information on the subject to be tracked. Specifically, the motion information acquisition unit 109 acquires motion information of the subject to be tracked.
In S1002, the motion information acquisition unit 109 determines whether or not the motion of the subject is walking. If the movement of the subject is not walking, the process ends without changing the correction strength of the rolling shutter distortion correction. On the other hand, when the movement of the subject is walking, the process proceeds to S1003.

S1003では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の動作が歩き以外である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。
なお、図10のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S1002からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S1003, the RS distortion correction amount calculation unit 110 reduces the correction strength of the rolling shutter distortion correction to calculate the correction amount. That is, the RS distortion correction amount calculation unit 110 lowers the correction strength of the rolling shutter distortion correction as compared with the case where the movement of the subject is other than walking.
The flowchart of FIG. 10 may be added between S201 and S202 of the flowchart of FIG. 2 described above, and may be appropriately combined with other embodiments such as proceeding to S202 when branching from S1002 to NO. ..

<その他の実施形態>
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムをネットワークまたは各種記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(CPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、該プログラムおよび該プログラムを格納した記録媒体は本発明を構成する。
<Other Embodiments>
The present invention is also realized by executing the following processing. That is, in a process in which a program that realizes the functions of the above-described embodiment is supplied to a system or device via a network or various recording media, and a computer (CPU, MPU, etc.) of the system or device reads and executes the program code. be. In this case, the program and the recording medium in which the program is stored constitute the present invention.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、本発明の範囲内で変更等が可能であり、上述した実施形態を適時組み合わせてもよい。 Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment, and can be changed within the scope of the present invention, and the above-described embodiments can be combined in a timely manner. You may.

100:カメラ 103:撮像素子 109:動き情報取得部 110:RS歪み補正量演算部 111:映像信号出力部 100: Camera 103: Image sensor 109: Motion information acquisition unit 110: RS distortion correction amount calculation unit 111: Video signal output unit

Claims (16)

ローリングシャッタ方式で画像を撮影する撮像装置であって、
追尾して撮影する被写体の情報を取得する第1の取得手段と、
前記撮像装置のパン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の情報を取得する第2の取得手段と、
前記第1の取得手段により取得された被写体の情報と、前記第2の取得手段により取得された駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する変更手段と、
前記変更手段により変更された補正強度によりローリングシャッタ歪み補正を行う補正手段と、を有することを特徴とする撮像装置。
An imaging device that captures images using the rolling shutter method.
The first acquisition means for acquiring information on the subject to be tracked and photographed,
A second acquisition means for acquiring information on driving at least one of pan drive and tilt drive of the image pickup apparatus, and
A changing means for changing the correction intensity of the rolling shutter distortion correction based on the subject information acquired by the first acquisition means and the drive information acquired by the second acquisition means.
An image pickup apparatus comprising: a correction means for correcting rolling shutter distortion by a correction intensity changed by the changing means.
前記第1の取得手段は、追尾して撮影する被写体の移動方向の情報を取得し、
前記第2の取得手段は、前記駆動の情報に基づく駆動方向の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の移動方向と、前記第2の取得手段により取得された駆動方向とに基づいてローリングシャッタ歪み補正の補正強度を変更することを特徴とする請求項1に記載の撮像装置。
The first acquisition means acquires information on the moving direction of the subject to be tracked and photographed, and obtains information on the moving direction of the subject.
The second acquisition means acquires information on the driving direction based on the driving information, and obtains information on the driving direction.
The changing means
Claim 1 is characterized in that the correction intensity of the rolling shutter distortion correction is changed based on the moving direction of the subject acquired by the first acquisition means and the drive direction acquired by the second acquisition means. The imaging apparatus according to.
前記第1の取得手段は、追尾して撮影する被写体の速度の情報を取得し、
前記第2の取得手段は、前記駆動の情報としての駆動の速度の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の速度と、前記第2の取得手段により取得された駆動の速度との速度差が所定以上である場合には、速度差が所定未満である場合よりもローリングシャッタ歪み補正の補正強度を増加させることを特徴とする請求項1または2に記載の撮像装置。
The first acquisition means acquires information on the speed of the subject to be tracked and photographed, and obtains information on the speed of the subject.
The second acquisition means acquires drive speed information as the drive information, and obtains information on the drive speed.
The changing means
When the speed difference between the speed of the subject acquired by the first acquisition means and the drive speed acquired by the second acquisition means is greater than or equal to a predetermined value, the speed difference is less than a predetermined value. The imaging apparatus according to claim 1 or 2, further comprising increasing the correction intensity of the rolling shutter distortion correction.
前記変更手段は、
被写体を追尾せずに駆動する場合には被写体を追尾して駆動する場合よりもローリングシャッタ歪み補正の補正強度を増加させることを特徴とする請求項1ないし3の何れか1項に記載の撮像装置。
The changing means
The imaging according to any one of claims 1 to 3, wherein when the subject is driven without tracking, the correction intensity of the rolling shutter distortion correction is increased as compared with the case where the subject is tracked and driven. Device.
前記第1の取得手段は、追尾して撮影する被写体の位置の情報を取得し、
前記第2の取得手段は、パン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の状態の情報を取得し、
前記変更手段は、
前記第2の取得手段により取得された、前記撮像装置のパン駆動およびチルト駆動の少なくとも一方の駆動の状態が駆動中であって、前記第1の取得手段により取得された被写体の位置が画像内で同じ位置である場合には、異なる位置である場合よりもローリングシャッタ歪み補正の補正強度を低下させることを特徴とする請求項1ないし4の何れか1項に記載の撮像装置。
The first acquisition means acquires information on the position of the subject to be tracked and photographed, and obtains information on the position of the subject.
The second acquisition means acquires information on the state of at least one of the pan drive and the tilt drive, and obtains information on the drive state.
The changing means
At least one of the pan drive and tilt drive states of the image pickup apparatus acquired by the second acquisition means is being driven, and the position of the subject acquired by the first acquisition means is in the image. The image pickup apparatus according to any one of claims 1 to 4, wherein when the positions are the same, the correction intensity of the rolling shutter distortion correction is lowered as compared with the case where the positions are different.
前記第1の取得手段は、追尾して撮影する被写体の種類の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の種類に基づいてローリングシャッタ歪み補正の補正強度を変更することを特徴とする請求項1ないし5の何れか1項に記載の撮像装置。
The first acquisition means acquires information on the type of subject to be tracked and photographed.
The changing means
The imaging apparatus according to any one of claims 1 to 5, wherein the correction intensity of the rolling shutter distortion correction is changed based on the type of the subject acquired by the first acquisition means.
前記変更手段は、
前記第1の取得手段により取得された被写体の種類が人である場合には、人以外である場合よりもローリングシャッタ歪み補正の補正強度を低下させることを特徴とする請求項6に記載の撮像装置。
The changing means
The imaging according to claim 6, wherein when the type of the subject acquired by the first acquisition means is a person, the correction intensity of the rolling shutter distortion correction is lowered as compared with the case where the subject is not a person. Device.
前記第1の取得手段は、追尾して撮影する被写体の大きさの情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の大きさに基づいてローリングシャッタ歪み補正の補正強度を変更することを特徴とする請求項1ないし7の何れか1項に記載の撮像装置。
The first acquisition means acquires information on the size of the subject to be tracked and photographed.
The changing means
The imaging apparatus according to any one of claims 1 to 7, wherein the correction intensity of the rolling shutter distortion correction is changed based on the size of the subject acquired by the first acquisition means.
前記変更手段は、
前記第1の取得手段により取得された被写体の大きさが所定以上である場合には、所定未満である場合よりもローリングシャッタ歪み補正の補正強度を低下させることを特徴とする請求項8に記載の撮像装置。
The changing means
The eighth aspect of the present invention is characterized in that when the size of the subject acquired by the first acquisition means is larger than a predetermined size, the correction intensity of the rolling shutter distortion correction is lower than that when the size is smaller than the predetermined size. Imaging device.
前記第1の取得手段は、追尾して撮影する被写体の位置の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の位置が画面外に外れた場合には、ローリングシャッタ歪み補正の補正強度を変更しないことを特徴とする請求項1ないし9の何れか1項に記載の撮像装置。
The first acquisition means acquires information on the position of the subject to be tracked and photographed, and obtains information on the position of the subject.
The changing means
The method according to any one of claims 1 to 9, wherein the correction intensity of the rolling shutter distortion correction is not changed when the position of the subject acquired by the first acquisition means deviates from the screen. Imaging device.
前記第1の取得手段は、追尾して撮影する被写体以外の被写体の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された、追尾して撮影する被写体以外の被写体が存在する場合には、ローリングシャッタ歪み補正の補正強度を変更しないことを特徴とする請求項1ないし10の何れか1項に記載の撮像装置。
The first acquisition means acquires information on a subject other than the subject to be tracked and photographed.
The changing means
Any of claims 1 to 10, wherein the correction intensity of the rolling shutter distortion correction is not changed when there is a subject other than the subject to be tracked and photographed acquired by the first acquisition means. The imaging apparatus according to item 1.
前記第1の取得手段は、追尾して撮影する被写体の動作の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の動作に基づいてローリングシャッタ歪み補正の補正強度を変更することを特徴とする請求項1ないし11の何れか1項に記載の撮像装置。
The first acquisition means acquires information on the movement of the subject to be tracked and photographed, and obtains information on the movement of the subject.
The changing means
The imaging apparatus according to any one of claims 1 to 11, wherein the correction intensity of the rolling shutter distortion correction is changed based on the movement of the subject acquired by the first acquisition means.
前記変更手段は、
前記第1の取得手段により取得された被写体の動作が歩きである場合には、歩き以外である場合よりもローリングシャッタ歪み補正の補正強度を低下させることを特徴とする請求項12に記載の撮像装置。
The changing means
The imaging according to claim 12, wherein when the movement of the subject acquired by the first acquisition means is walking, the correction intensity of the rolling shutter distortion correction is lowered as compared with the case other than walking. Device.
ローリングシャッタ方式で画像を撮影する撮像装置の制御方法であって、
追尾して撮影する被写体の情報を取得する第1の取得ステップと、
前記撮像装置のパン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の情報を取得する第2の取得ステップと、
前記第1の取得ステップにより取得された被写体の情報と、前記第2の取得ステップにより取得された駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する変更ステップと、
前記変更ステップにより変更された補正強度によりローリングシャッタ歪み補正を行う補正ステップと、を有することを特徴とする撮像装置の制御方法。
This is a control method for an image pickup device that captures images using the rolling shutter method.
The first acquisition step to acquire the information of the subject to be tracked and photographed,
A second acquisition step of acquiring information on driving of at least one of pan drive and tilt drive of the image pickup apparatus, and
A change step of changing the correction intensity of the rolling shutter distortion correction based on the subject information acquired by the first acquisition step and the drive information acquired by the second acquisition step.
A control method for an image pickup apparatus, comprising: a correction step of performing rolling shutter distortion correction with a correction intensity changed by the change step.
コンピュータを、請求項1ないし13の何れか1項に記載された撮像装置の各手段として機能させるためのプログラム。 A program for causing a computer to function as each means of the image pickup apparatus according to any one of claims 1 to 13. コンピュータを、請求項1ないし13の何れか1項に記載された撮像装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記録媒体。 A computer-readable recording medium containing a program for causing the computer to function as each means of the imaging device according to any one of claims 1 to 13.
JP2020076074A 2020-04-22 2020-04-22 Imaging apparatus, method for controlling the same, and program Pending JP2021175046A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020076074A JP2021175046A (en) 2020-04-22 2020-04-22 Imaging apparatus, method for controlling the same, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020076074A JP2021175046A (en) 2020-04-22 2020-04-22 Imaging apparatus, method for controlling the same, and program

Publications (1)

Publication Number Publication Date
JP2021175046A true JP2021175046A (en) 2021-11-01

Family

ID=78279998

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020076074A Pending JP2021175046A (en) 2020-04-22 2020-04-22 Imaging apparatus, method for controlling the same, and program

Country Status (1)

Country Link
JP (1) JP2021175046A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023123371A1 (en) * 2021-12-31 2023-07-06 Qualcomm Incorporated Image correction based on activity detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023123371A1 (en) * 2021-12-31 2023-07-06 Qualcomm Incorporated Image correction based on activity detection

Similar Documents

Publication Publication Date Title
US7801432B2 (en) Imaging apparatus and method for controlling the same
KR101034109B1 (en) Image capture apparatus and computer readable recording medium storing with a program
US7830415B2 (en) Camera having an image stabilizer
KR101142316B1 (en) Image selection device and method for selecting image
KR100906166B1 (en) Digital imaging apparatus with camera shake compensation and adaptive sensitivity switching function
US8717490B2 (en) Imaging apparatus, focusing method, and computer-readable recording medium recording program
CN107800957B (en) Image pickup apparatus and motion vector detection method
JP4434151B2 (en) Imaging device
WO2013021767A1 (en) Device and method for detecting moving objects
USRE45900E1 (en) Imaging apparatus and control method
JP4645413B2 (en) Imaging device
JP4487811B2 (en) Imaging device
JP2018146663A (en) Image tremor correction device, control method of the same, imaging device, and lens device
JP4898151B2 (en) Imaging apparatus and imaging method
JP2021175046A (en) Imaging apparatus, method for controlling the same, and program
JP2008090059A (en) Imaging apparatus and autofocus control method therefor
KR101630307B1 (en) A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium
JP2006267220A (en) Auto focus system
JP2008046181A (en) Focus controller, focus control method, imaging apparatus and program
JP6584259B2 (en) Image blur correction apparatus, imaging apparatus, and control method
JP5219474B2 (en) Imaging apparatus and control method thereof
JP2002330335A (en) Still picture image pickup device
JP6843651B2 (en) Image processing device, control method of image processing device, and program
JP6935269B2 (en) Image blur correction device and its control method, imaging device
JP2010286577A (en) Electronic camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230417

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240327