JP2021175046A - Imaging apparatus, method for controlling the same, and program - Google Patents
Imaging apparatus, method for controlling the same, and program Download PDFInfo
- Publication number
- JP2021175046A JP2021175046A JP2020076074A JP2020076074A JP2021175046A JP 2021175046 A JP2021175046 A JP 2021175046A JP 2020076074 A JP2020076074 A JP 2020076074A JP 2020076074 A JP2020076074 A JP 2020076074A JP 2021175046 A JP2021175046 A JP 2021175046A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- rolling shutter
- acquisition means
- correction
- tracked
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims description 27
- 238000012937 correction Methods 0.000 claims abstract description 169
- 238000005096 rolling process Methods 0.000 claims abstract description 88
- 230000003287 optical effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
Images
Abstract
Description
本発明は、撮像装置、その制御方法、プログラムおよび記録媒体に関するものである。 The present invention relates to an image pickup apparatus, a control method thereof, a program, and a recording medium.
撮像装置に用いられるCMOSセンサは、センサの上部と下部との間で読み出しラグが生じることが知られている。このようなCMOSセンサをパンチルト駆動が可能なカメラに用いると、パン駆動させた場合には画像が斜めに歪み、チルト駆動させた場合には画像が伸び縮みする、ローリングシャッタ歪みが生じるために、ローリングシャッタ歪み補正を行うことが有効である。 It is known that the CMOS sensor used in the image pickup apparatus has a read-out lag between the upper part and the lower part of the sensor. When such a CMOS sensor is used in a camera capable of pan-tilt drive, the image is distorted diagonally when pan-driven, and the image expands and contracts when tilt-driven, resulting in rolling shutter distortion. It is effective to correct the rolling shutter distortion.
近年、パンチルト駆動が可能なカメラでは、被写体を自動で追尾できるような追尾機能を備えている。このようなカメラで、追尾中のカメラの動きに応じてローリングシャッタ歪み補正を行ってしまうと、追尾対象の被写体の歪みが更に増してしまう。これは、追尾中にカメラの動きに応じてローリングシャッタ歪み補正を行ったことに起因する。すなわち、追尾対象の被写体の速度と合わせるようにパンチルト駆動することで、被写体が画面内の所定位置で静止しているように見える。相対的に静止している被写体であればローリングシャッタ歪みが生じず、ローリングシャッタ歪み補正を行う必要がないにも関わらず補正を行ってしまうためである。 In recent years, cameras capable of pan-tilt drive have a tracking function that can automatically track a subject. If the rolling shutter distortion is corrected according to the movement of the camera during tracking with such a camera, the distortion of the subject to be tracked will further increase. This is due to the fact that the rolling shutter distortion correction was performed according to the movement of the camera during tracking. That is, by driving the pan / tilt so as to match the speed of the subject to be tracked, the subject appears to be stationary at a predetermined position on the screen. This is because rolling shutter distortion does not occur in a relatively stationary subject, and correction is performed even though it is not necessary to perform rolling shutter distortion correction.
特許文献1には、動き検出手段により検出された動き量と、合焦検出手段により検出された合焦度合いから、ローリングシャッタ方式に起因する歪みの補正量を決定し、画像の各ラインの読み出し位置を変更することで歪みの補正を行う撮像装置が開示されている。 In Patent Document 1, the amount of correction of distortion caused by the rolling shutter method is determined from the amount of motion detected by the motion detecting means and the degree of focusing detected by the focusing detecting means, and each line of the image is read out. An imaging device that corrects distortion by changing the position is disclosed.
しかしながら、特許文献1では、合焦度合いによって追従していると判断した場合にローリングシャッタ歪み補正を行わないようにしているが、実際に追従していなかった場合には被写体が歪んでしまうおそれがある。
本発明は、上述したような問題点に鑑みてなされたものであり、被写体を追尾して撮影する場合にローリングシャッタ歪み補正をしたときの被写体の歪みを低減させることを目的とする。
However, in Patent Document 1, although the rolling shutter distortion correction is not performed when it is determined that the subject is following according to the degree of focusing, the subject may be distorted if the subject is not actually followed. be.
The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to reduce the distortion of the subject when the rolling shutter distortion is corrected when the subject is tracked and photographed.
本発明は、ローリングシャッタ方式で画像を撮影する撮像装置であって、追尾して撮影する被写体の情報を取得する第1の取得手段と、前記撮像装置のパン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の情報を取得する第2の取得手段と、前記第1の取得手段により取得された被写体の情報と、前記第2の取得手段により取得された駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する変更手段と、前記変更手段により変更された補正強度によりローリングシャッタ歪み補正を行う補正手段と、を有することを特徴とする。 The present invention is an imaging device that captures an image by a rolling shutter method, and is at least one of a first acquisition means for acquiring information on a subject to be tracked and captured, and a pan drive and a tilt drive of the imaging device. The rolling shutter is based on the second acquisition means for acquiring the information of the one drive, the information of the subject acquired by the first acquisition means, and the drive information acquired by the second acquisition means. It is characterized by having a changing means for changing the correction strength of distortion correction and a correction means for performing rolling shutter distortion correction by the correction strength changed by the changing means.
本発明によれば、被写体を追尾して撮影する場合にローリングシャッタ歪み補正をしたときの被写体の歪みを低減させることができる。 According to the present invention, it is possible to reduce the distortion of the subject when the rolling shutter distortion is corrected when the subject is tracked and photographed.
以下、本発明の好ましい実施形態について図面を参照して説明する。本実施形態では、撮像装置として、パン駆動およびチルト駆動が可能なカメラについて説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In the present embodiment, a camera capable of pan drive and tilt drive as an image pickup device will be described.
<第1の実施形態>
図1は、カメラ100の構成の一例を示す図である。
カメラ100は、レンズ群101、光学フィルタ102、撮像素子103、AGC104、A/D変換部105、映像信号処理部106、露出制御部107、光学制御部108、動き情報取得部109、RS歪み補正量演算部110、映像信号出力部111を有する。また、カメラ100は、パンチルトモータ112、パンチルト駆動部113、パルス変調部114等を有する。
<First Embodiment>
FIG. 1 is a diagram showing an example of the configuration of the camera 100.
The camera 100 includes a
レンズ群101は、被写体からの光を撮像素子103上に集光する光学系である。レンズ群101には、被写体に対するピント合わせを行うフォーカスレンズ、画角を調整するズームレンズ等が含まれる。レンズ群101を通してカメラ100内に入射した光は光学フィルタ102を通過して撮像素子103で受光される。光学フィルタ102は、例えば赤外線カットフィルタ(IRCF)等が用いられる。映像情報は、撮像素子103の受光面の画素毎に所定の順序で配列されたカラーフィルタを通り、撮像素子103で結像される。撮像素子103は、撮影対象の映像情報をアナログ信号として出力する。撮像素子103は、ローリングシャッタ方式で撮影するCMOSセンサである。撮像素子103で出力された映像は、AGC104でゲインコントロールされて映像信号の輝度の調整が行われる。輝度の調整が行われた映像信号は、A/D変換部105でアナログ撮像信号からデジタル撮像信号に変換される。
The
映像信号処理部106は、A/D変換部105で変換されたデジタル撮像信号に所定の処理を施し、画素毎に輝度信号と色信号とを出力する。映像信号処理部106は、出力用の映像を生成すると共に、カメラ制御を行うための各パラメータを生成する。カメラ制御を行うための各パラメータとして、例えば絞りの制御、ピント合わせの制御、色味を調整するホワイトバランス制御等に用いられる。
The video
露出制御部107は、映像信号処理部106から出力される輝度情報から撮影画面内の輝度情報を算出し、撮影画像を所望の明るさに調整するために絞りおよびAGC104を制御する。
また、ピント合わせは、映像信号処理部106で生成された映像信号から高周波成分を抜き出し、高周波成分の値をフォーカスピント情報(フォーカス評価値)として、フォーカス評価値が最大となるように光学制御部108によりレンズ群101を制御する。また、光学制御部108は光学フィルタ102の挿抜動作も行う。
The
Further, in focusing, a high-frequency component is extracted from the video signal generated by the video
パルス変調部114は、PWM波形に変換してパンチルト駆動部113に出力する。パンチルト駆動部113は、パンチルトモータ112を駆動する。パンチルトモータ112が駆動されることによって、レンズ群101とセンサとを含む撮像光学系がパンチルト方向に移動する。
The
動き情報取得部109は、映像信号処理部106から出力された映像信号に基づいて、追尾する被写体の情報を取得する。被写体の情報には、例えば、追尾する被写体の移動方向や移動速度等の動き情報が含まれる。
ローリングシャッタ歪み補正量演算部110は、パンチルト駆動部113から取得したパンチルト駆動の情報と、動き情報取得部109で取得された追尾対象の被写体の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更して、補正量を算出する。
映像信号出力部111は、ローリングシャッタ歪み補正量演算部110により算出された補正量に基づいて幾何変換を行うことで、ローリングシャッタ歪み補正を行う。映像信号出力部111は補正した後の映像信号を出力する。
The motion
The rolling shutter distortion correction
The video
<第1の実施形態>
第1の実施形態では、追尾対象の被写体の情報と、パンチルト駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
図2は、第1の実施形態のカメラ100の動作を示すフローチャートである。図2のフローチャートは、カメラ100の電源がオンされることで開始される。
<First Embodiment>
In the first embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on the information of the subject to be tracked and the information of the pan / tilt drive will be described.
FIG. 2 is a flowchart showing the operation of the camera 100 of the first embodiment. The flowchart of FIG. 2 starts when the power of the camera 100 is turned on.
S201では、動き情報取得部109は、追尾する対象(追尾対象)の被写体を検出する。具体的に、動き情報取得部109は、画像内の人や車等の動体を物体認識で認識し、認識した動体を追尾対象の被写体として検出する。なお、動き情報取得部109は、ユーザにより手動で選択された画像内の被写体を、追尾対象の被写体として検出してもよい。
In S201, the motion
S202では、動き情報取得部109は、検出した追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、現フレームと前フレームとの背景差分等を比較することで、追尾対象の被写体の画面内での動きベクトル量を算出する。また、動き情報取得部109は、算出された動きベクトル量から追尾対象の被写体の移動方向および被写体の速度を算出する。
In S202, the motion
図3(a)は、前フレーム301の一例を示す図である。
前フレーム301では、パンが右から左に駆動し、パン駆動の速度と、右から左へ移動する追尾対象の被写体302の速度とが一致しているため、被写体302が画像の中央に位置している状態である。パン駆動の速度と、追尾対象の被写体302の速度とが同一速度で移動しているために追尾対象の被写体302は静止しているように見える。この場合、ローリングシャッタ歪み補正を行っていない状態であれば、追尾対象の被写体302は斜めに歪むことなく撮影されている。
FIG. 3A is a diagram showing an example of the
In the
図3(b)は、現フレーム303の一例を示す図である。
現フレーム303では、パンが右から左に駆動し、追尾対象の被写体304が前フレーム301までの速度とは異なる速度、すなわちこの場合低速で移動したことによって、パン駆動の速度と、追尾対象の被写体の速度とに差異が生じている。したがって、追尾対象の被写体304が画像の中央に位置ではなく端に位置している状態である。この状態で、前フレーム301と同様にローリングシャッタ歪み補正を行わない場合には、追尾対象の被写体304が歪んで撮影されてしまう。このように歪んで撮影されるのは、パン駆動の速度と追尾対象の被写体304の速度とに差異が生じたため、追尾対象の被写体304が静止して見えなくなってしまったためである。
FIG. 3B is a diagram showing an example of the
In the
ここで、S202において算出される、パン駆動に対して相対的な追尾対象の被写体の移動方向は、図3(a)、図3(b)の場合は右であり、被写体の速度は算出されたベクトル量とフレームレート等を用いて算出することができる。左向きをプラスの速度、右向きをマイナスの速度とすると、図3(a)、図3(b)の場合には、追尾対象の被写体が相対的に右方向に移動しているため被写体の速度はマイナスとなる。 Here, the moving direction of the subject to be tracked relative to the pan drive calculated in S202 is the right in the case of FIGS. 3A and 3B, and the speed of the subject is calculated. It can be calculated using the vector quantity and the frame rate. Assuming that the leftward direction is a positive speed and the rightward direction is a negative speed, in the cases of FIGS. 3 (a) and 3 (b), the subject to be tracked is relatively moving to the right, so the speed of the subject is It will be negative.
S203では、RS歪み補正量演算部110は、パンチルト駆動部113からパンチルト駆動の情報を取得する。具体的には、RS歪み補正量演算部110は、パンチルト駆動部113からパン駆動の駆動方向の情報を取得する。RS歪み補正量演算部110は、パンチルト駆動部113がパンを右向きに駆動している場合には右向きの情報を取得し、パンを左向きに駆動している場合には左向きの情報を取得する。図3(a)、図3(b)の場合には右から左へ移動しており、左向きの情報が取得される。なお、左向きをプラス、右向きをマイナスとしているので、この場合の駆動速度はプラスとなる。
In S203, the RS distortion correction
S204では、RS歪み補正量演算部110は、S202で取得した追尾対象の被写体の移動方向と、S203で取得したパン駆動の駆動方向とを比較する。追尾対象の被写体の移動方向と、パン駆動の駆動方向とが同一の場合には、ローリングシャッタ歪み補正の補正強度を変更せず終了する。一方、追尾対象の被写体の移動方向と、パン駆動の駆動方向とが異なる場合にはS205に進む。
In S204, the RS distortion correction
S205では、RS歪み補正量演算部110は、パン駆動の速度から追尾対象の被写体の速度を減算した値が所定以上であるか否かを判定する。RS歪み補正量演算部110は、パンチルト駆動部113からパン駆動の速度を取得することができる。なお、RS歪み補正量演算部110は、ジャイロセンサの値を用いてパン駆動の速度を算出してもよい。パン駆動の速度から追尾対象の被写体の速度を減算した値が所定以上ではない場合には、ローリングシャッタ歪み補正の補正強度を変更せず終了する。一方、パン駆動の速度から追尾対象の被写体の速度を減算した値が所定以上の場合には、追尾対象の被写体の速度と、パン駆動の速度との差異によって被写体が静止しているようには見えなくなり歪んでしまうため、歪みを防止するためにS206に進む。
In S205, the RS distortion correction
S206では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を増加させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、パン駆動の速度から追尾対象の被写体の速度を減算した値が所定未満である場合よりも、ローリングシャッタ歪み補正の補正強度を増加させる。映像信号出力部111は、ローリングシャッタ歪み補正量演算部110により算出された補正量に基づいて幾何変換を行うことで、ローリングシャッタ歪み補正を行う。
図4は、ローリングシャッタ歪み補正を行って表示されたフレーム401の一例を示す図である。図4に示すように、ローリングシャッタ歪み補正の補正強度を増加させることで、追尾対象の被写体の速度とパン駆動の速度とに差異が生じて被写体402が端に位置しても歪みのない被写体402を撮影することができる。
In S206, the RS distortion correction
FIG. 4 is a diagram showing an example of the
本実施形態によれば、パン駆動の情報と、追尾して撮影する被写体の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更することでローリングシャッタ歪み補正をしたときの被写体の歪みを低減させることができる。 According to the present embodiment, the distortion of the subject when the rolling shutter distortion correction is performed is reduced by changing the correction intensity of the rolling shutter distortion correction based on the pan drive information and the information of the subject to be tracked and photographed. Can be made to.
なお、本実施形態では、追尾対象の被写体の移動方向と、パン駆動の駆動方向とが異なる場合の方が速度差が大きくなるために、ローリングシャッタ歪み補正の補正強度を増加させている。しかしながら、追尾対象の被写体の移動方向と、パン駆動の駆動方向とが同一の場合であっても速度差が生じている場合にはローリングシャッタ歪み補正の補正強度を増加させるようにしてもよい。すなわち、パン駆動の速度と、被写体の速度との速度差が所定以上である場合には、ローリングシャッタ歪み補正の補正強度を増加させるようにしてもよい。 In the present embodiment, the speed difference is larger when the moving direction of the subject to be tracked and the driving direction of the pan drive are different, so that the correction strength of the rolling shutter distortion correction is increased. However, even when the moving direction of the subject to be tracked and the driving direction of the pan drive are the same, if there is a speed difference, the correction strength of the rolling shutter distortion correction may be increased. That is, when the speed difference between the pan drive speed and the speed of the subject is equal to or greater than a predetermined speed, the correction strength of the rolling shutter distortion correction may be increased.
また、本実施形態では、対象の被写体を追尾する場合について説明したが、被写体を追尾せずにパン駆動している場合には、RS歪み補正量演算部110は、被写体を追尾してパン駆動している場合よりもローリングシャッタ歪み補正の補正強度を増加させてもよい。
また、本実施形態では、パン駆動の場合について説明したが、この場合に限られず、パン駆動およびチルト駆動のうち少なくとも何れかの駆動(パンチルト駆動)の場合でも同様に適用することができる。
Further, in the present embodiment, the case of tracking the target subject has been described, but when the subject is pan-driven without being tracked, the RS distortion correction
Further, in the present embodiment, the case of pan drive has been described, but the present invention is not limited to this case, and the same can be applied to at least one of pan drive and tilt drive (pan tilt drive).
<第2の実施形態>
第2の実施形態では、追尾対象の被写体の位置の情報に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
図5は、第2の実施形態のカメラ100の動作を示すフローチャートである。なお、図5のフローチャートは、カメラ100の電源がオンされることで開始される。
<Second embodiment>
In the second embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on the information on the position of the subject to be tracked will be described.
FIG. 5 is a flowchart showing the operation of the camera 100 of the second embodiment. The flowchart of FIG. 5 starts when the power of the camera 100 is turned on.
S501では、RS歪み補正量演算部110は、パンチルト駆動部113からパンチルト駆動の情報を取得する。具体的には、RS歪み補正量演算部110は、パンチルト駆動部113の状態の情報を取得して、パンチルト駆動が駆動中であるか否かを判定する。パンチルト駆動部113が駆動中ではない場合にはローリングシャッタ歪み補正の補正強度を変更することなく終了する。一方、パンチルト駆動部113が駆動中の場合にはS502に進む。
In S501, the RS distortion correction
S502では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の画像内での位置を確認する。
S503では、動き情報取得部109は、被写体の位置が画像内で同じ位置であるか否かを判定する。例えば、動き情報取得部109は動体検出や物体認識した動体の重心位置が前フレームと現フレームとを比較して所定のピクセル数以内に位置する場合に、被写体の位置が画像内で同じ位置であると判定する。被写体の位置が画像内で同じ位置である場合には追尾対象の被写体を追尾していると考えられ、被写体が静止しているように見える。被写体の位置が画像内で異なる位置である場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の位置が画像内で同じ位置である場合にはS504に進む。
In S502, the motion
In S503, the motion
S504では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の位置が画像内で異なる位置である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。
In S504, the RS distortion correction
本実施形態によれば、被写体の位置が画像内で同じ位置である場合には、ローリングシャッタ歪み補正の補正強度を低下させることで、ローリングシャッタ歪み補正による被写体の歪みを防止することができる。
なお、本実施形態では、対象の被写体を追尾する場合について説明したが、被写体を追尾せずにパン駆動している場合に、被写体の位置が画像内で同じ位置である場合にも適用することができる。
また、本実施形態では、S503からNOに進むことでローリングシャッタ歪み補正の補正強度を変更しないで終了する場合について説明したが、S503からNOに進むことで図2のフローチャートを実行するなどして適宜、他の実施形態と組み合わせてもよい。
According to the present embodiment, when the positions of the subjects are the same in the image, the distortion of the subject due to the rolling shutter distortion correction can be prevented by lowering the correction intensity of the rolling shutter distortion correction.
In the present embodiment, the case of tracking the target subject has been described, but it is also applied to the case where the position of the subject is the same in the image when the subject is pan-driven without tracking the subject. Can be done.
Further, in the present embodiment, the case where the rolling shutter distortion correction is terminated without changing the correction strength by proceeding from S503 to NO has been described, but the flowchart of FIG. 2 is executed by proceeding from S503 to NO. It may be combined with other embodiments as appropriate.
<第3の実施形態>
以下の実施形態では、追尾対象の被写体の情報に基づいてローリングシャッタ歪み補正の補正強度を変更する。第3の実施形態では、追尾対象の被写体の種類に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
<Third embodiment>
In the following embodiment, the correction intensity of the rolling shutter distortion correction is changed based on the information of the subject to be tracked. In the third embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on the type of the subject to be tracked will be described.
S601では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の種類の情報を取得する。
S602では、動き情報取得部109は、被写体の種類が人であるか否かを判定する。被写体の種類が人以外(例えば、車両等の乗り物)である場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の種類が人である場合には603に進む。
In S601, the motion
In S602, the motion
S603では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の種類が人以外である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。
In S603, the RS distortion correction
本実施形態によれば、被写体が人である場合には、ローリングシャッタ歪み補正の補正強度を低下させることで、ローリングシャッタ歪み補正による被写体の歪みを少なくして人の顔を認識しやすくすることができる。
なお、図6のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S602からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
According to the present embodiment, when the subject is a person, the correction strength of the rolling shutter distortion correction is lowered to reduce the distortion of the subject due to the rolling shutter distortion correction and make it easier to recognize the human face. Can be done.
The flowchart of FIG. 6 may be added between S201 and S202 of the flowchart of FIG. 2 described above, and may be appropriately combined with other embodiments such as proceeding to S202 when branching from S602 to NO. ..
<第4の実施形態>
第4の実施形態では、追尾対象の被写体の大きさに基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
<Fourth Embodiment>
In the fourth embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on the size of the subject to be tracked will be described.
S701では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の大きさの情報を取得する。
S702では、動き情報取得部109は、被写体の大きさが所定以上であるか否かを判定する。被写体の大きさが所定未満である場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の大きさが所定以上である場合にはS703に進む。
In S701, the motion
In S702, the motion
S703では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の大きさが所定未満である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。
なお、図7のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S702からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S703, the RS distortion correction
The flowchart of FIG. 7 may be added between S201 and S202 of the flowchart of FIG. 2 described above, and may be combined with other embodiments as appropriate, such as proceeding to S202 when branching from S702 to NO. ..
<第5の実施形態>
第5の実施形態では、追尾対象の被写体の位置に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
<Fifth Embodiment>
In the fifth embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on the position of the subject to be tracked will be described.
S801では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の位置の情報を取得する。
S802では、動き情報取得部109は、被写体の位置が画面外に外れたか否かを判定する。被写体の位置が画面外に外れておらず画面内に存在している場合には、補正強度が適切な強度になるように変更する。一方、被写体の位置が画面外に外れて存在しない場合にはS803に進む。
In S801, the motion
In S802, the motion
S803では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正が所定以上の強度で有効になっていれば、ローリングシャッタ歪み補正の補正強度を変更しないで終了する。したがって、ローリングシャッタ歪み補正を行うことで、背景等の被写体が歪むのを抑制することができる。
なお、図8のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S802からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S803, if the rolling shutter distortion correction is effective with an intensity equal to or higher than a predetermined value, the RS distortion correction
The flowchart of FIG. 8 may be added between S201 and S202 of the flowchart of FIG. 2 described above, and may be combined with other embodiments as appropriate, such as proceeding to S202 when branching from S802 to NO. ..
<第6の実施形態>
第6の実施形態では、追尾対象の被写体以外の被写体に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
<Sixth Embodiment>
In the sixth embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on a subject other than the subject to be tracked will be described.
S901では、動き情報取得部109は、被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体以外の被写体を検出する。
S902では、動き情報取得部109は、追尾対象の被写体以外の被写体が画面内に存在するか否かを判定する。追尾対象の被写体以外の被写体が存在しない場合には、補正強度が適切な強度になるように変更する。一方、追尾対象の被写体以外の被写体が存在する場合にはS903に進む。
In S901, the motion
In S902, the motion
S903では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正が所定以上の強度で有効になっていれば、ローリングシャッタ歪み補正の補正強度を変更しないで終了する。
なお、図9のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S902からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S903, if the rolling shutter distortion correction is effective with an intensity equal to or higher than a predetermined value, the RS distortion correction
The flowchart of FIG. 9 may be added between S201 and S202 of the flowchart of FIG. 2 described above, and may be combined with other embodiments as appropriate, such as proceeding to S202 when branching from S902 to NO. ..
<第7の実施形態>
第7の実施形態では、追尾対象の被写体の動作に基づいてローリングシャッタ歪み補正の補正強度を変更する場合について説明する。
<7th Embodiment>
In the seventh embodiment, a case where the correction intensity of the rolling shutter distortion correction is changed based on the movement of the subject to be tracked will be described.
S1001では、動き情報取得部109は、追尾対象の被写体の情報を取得する。具体的には、動き情報取得部109は、追尾対象の被写体の動作の情報を取得する。
S1002では、動き情報取得部109は、被写体の動作が歩きであるか否かを判定する。被写体の動作が歩きではない場合にはローリングシャッタ歪み補正の補正強度を変更しないで終了する。一方、被写体の動作が歩きである場合にはS1003に進む。
In S1001, the motion
In S1002, the motion
S1003では、RS歪み補正量演算部110は、ローリングシャッタ歪み補正の補正強度を低下させて、補正量を算出する。すなわち、RS歪み補正量演算部110は、被写体の動作が歩き以外である場合よりも、ローリングシャッタ歪み補正の補正強度を低下させる。
なお、図10のフローチャートは、上述した図2のフローチャートのS201とS202との間に追加し、S1002からNOに分岐した場合にS202に進むなどして適宜、他の実施形態と組み合わせてもよい。
In S1003, the RS distortion correction
The flowchart of FIG. 10 may be added between S201 and S202 of the flowchart of FIG. 2 described above, and may be appropriately combined with other embodiments such as proceeding to S202 when branching from S1002 to NO. ..
<その他の実施形態>
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するプログラムをネットワークまたは各種記録媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(CPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、該プログラムおよび該プログラムを格納した記録媒体は本発明を構成する。
<Other Embodiments>
The present invention is also realized by executing the following processing. That is, in a process in which a program that realizes the functions of the above-described embodiment is supplied to a system or device via a network or various recording media, and a computer (CPU, MPU, etc.) of the system or device reads and executes the program code. be. In this case, the program and the recording medium in which the program is stored constitute the present invention.
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、本発明の範囲内で変更等が可能であり、上述した実施形態を適時組み合わせてもよい。 Although the preferred embodiment of the present invention has been described in detail above, the present invention is not limited to the specific embodiment, and can be changed within the scope of the present invention, and the above-described embodiments can be combined in a timely manner. You may.
100:カメラ 103:撮像素子 109:動き情報取得部 110:RS歪み補正量演算部 111:映像信号出力部 100: Camera 103: Image sensor 109: Motion information acquisition unit 110: RS distortion correction amount calculation unit 111: Video signal output unit
Claims (16)
追尾して撮影する被写体の情報を取得する第1の取得手段と、
前記撮像装置のパン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の情報を取得する第2の取得手段と、
前記第1の取得手段により取得された被写体の情報と、前記第2の取得手段により取得された駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する変更手段と、
前記変更手段により変更された補正強度によりローリングシャッタ歪み補正を行う補正手段と、を有することを特徴とする撮像装置。 An imaging device that captures images using the rolling shutter method.
The first acquisition means for acquiring information on the subject to be tracked and photographed,
A second acquisition means for acquiring information on driving at least one of pan drive and tilt drive of the image pickup apparatus, and
A changing means for changing the correction intensity of the rolling shutter distortion correction based on the subject information acquired by the first acquisition means and the drive information acquired by the second acquisition means.
An image pickup apparatus comprising: a correction means for correcting rolling shutter distortion by a correction intensity changed by the changing means.
前記第2の取得手段は、前記駆動の情報に基づく駆動方向の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の移動方向と、前記第2の取得手段により取得された駆動方向とに基づいてローリングシャッタ歪み補正の補正強度を変更することを特徴とする請求項1に記載の撮像装置。 The first acquisition means acquires information on the moving direction of the subject to be tracked and photographed, and obtains information on the moving direction of the subject.
The second acquisition means acquires information on the driving direction based on the driving information, and obtains information on the driving direction.
The changing means
Claim 1 is characterized in that the correction intensity of the rolling shutter distortion correction is changed based on the moving direction of the subject acquired by the first acquisition means and the drive direction acquired by the second acquisition means. The imaging apparatus according to.
前記第2の取得手段は、前記駆動の情報としての駆動の速度の情報を取得し、
前記変更手段は、
前記第1の取得手段により取得された被写体の速度と、前記第2の取得手段により取得された駆動の速度との速度差が所定以上である場合には、速度差が所定未満である場合よりもローリングシャッタ歪み補正の補正強度を増加させることを特徴とする請求項1または2に記載の撮像装置。 The first acquisition means acquires information on the speed of the subject to be tracked and photographed, and obtains information on the speed of the subject.
The second acquisition means acquires drive speed information as the drive information, and obtains information on the drive speed.
The changing means
When the speed difference between the speed of the subject acquired by the first acquisition means and the drive speed acquired by the second acquisition means is greater than or equal to a predetermined value, the speed difference is less than a predetermined value. The imaging apparatus according to claim 1 or 2, further comprising increasing the correction intensity of the rolling shutter distortion correction.
被写体を追尾せずに駆動する場合には被写体を追尾して駆動する場合よりもローリングシャッタ歪み補正の補正強度を増加させることを特徴とする請求項1ないし3の何れか1項に記載の撮像装置。 The changing means
The imaging according to any one of claims 1 to 3, wherein when the subject is driven without tracking, the correction intensity of the rolling shutter distortion correction is increased as compared with the case where the subject is tracked and driven. Device.
前記第2の取得手段は、パン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の状態の情報を取得し、
前記変更手段は、
前記第2の取得手段により取得された、前記撮像装置のパン駆動およびチルト駆動の少なくとも一方の駆動の状態が駆動中であって、前記第1の取得手段により取得された被写体の位置が画像内で同じ位置である場合には、異なる位置である場合よりもローリングシャッタ歪み補正の補正強度を低下させることを特徴とする請求項1ないし4の何れか1項に記載の撮像装置。 The first acquisition means acquires information on the position of the subject to be tracked and photographed, and obtains information on the position of the subject.
The second acquisition means acquires information on the state of at least one of the pan drive and the tilt drive, and obtains information on the drive state.
The changing means
At least one of the pan drive and tilt drive states of the image pickup apparatus acquired by the second acquisition means is being driven, and the position of the subject acquired by the first acquisition means is in the image. The image pickup apparatus according to any one of claims 1 to 4, wherein when the positions are the same, the correction intensity of the rolling shutter distortion correction is lowered as compared with the case where the positions are different.
前記変更手段は、
前記第1の取得手段により取得された被写体の種類に基づいてローリングシャッタ歪み補正の補正強度を変更することを特徴とする請求項1ないし5の何れか1項に記載の撮像装置。 The first acquisition means acquires information on the type of subject to be tracked and photographed.
The changing means
The imaging apparatus according to any one of claims 1 to 5, wherein the correction intensity of the rolling shutter distortion correction is changed based on the type of the subject acquired by the first acquisition means.
前記第1の取得手段により取得された被写体の種類が人である場合には、人以外である場合よりもローリングシャッタ歪み補正の補正強度を低下させることを特徴とする請求項6に記載の撮像装置。 The changing means
The imaging according to claim 6, wherein when the type of the subject acquired by the first acquisition means is a person, the correction intensity of the rolling shutter distortion correction is lowered as compared with the case where the subject is not a person. Device.
前記変更手段は、
前記第1の取得手段により取得された被写体の大きさに基づいてローリングシャッタ歪み補正の補正強度を変更することを特徴とする請求項1ないし7の何れか1項に記載の撮像装置。 The first acquisition means acquires information on the size of the subject to be tracked and photographed.
The changing means
The imaging apparatus according to any one of claims 1 to 7, wherein the correction intensity of the rolling shutter distortion correction is changed based on the size of the subject acquired by the first acquisition means.
前記第1の取得手段により取得された被写体の大きさが所定以上である場合には、所定未満である場合よりもローリングシャッタ歪み補正の補正強度を低下させることを特徴とする請求項8に記載の撮像装置。 The changing means
The eighth aspect of the present invention is characterized in that when the size of the subject acquired by the first acquisition means is larger than a predetermined size, the correction intensity of the rolling shutter distortion correction is lower than that when the size is smaller than the predetermined size. Imaging device.
前記変更手段は、
前記第1の取得手段により取得された被写体の位置が画面外に外れた場合には、ローリングシャッタ歪み補正の補正強度を変更しないことを特徴とする請求項1ないし9の何れか1項に記載の撮像装置。 The first acquisition means acquires information on the position of the subject to be tracked and photographed, and obtains information on the position of the subject.
The changing means
The method according to any one of claims 1 to 9, wherein the correction intensity of the rolling shutter distortion correction is not changed when the position of the subject acquired by the first acquisition means deviates from the screen. Imaging device.
前記変更手段は、
前記第1の取得手段により取得された、追尾して撮影する被写体以外の被写体が存在する場合には、ローリングシャッタ歪み補正の補正強度を変更しないことを特徴とする請求項1ないし10の何れか1項に記載の撮像装置。 The first acquisition means acquires information on a subject other than the subject to be tracked and photographed.
The changing means
Any of claims 1 to 10, wherein the correction intensity of the rolling shutter distortion correction is not changed when there is a subject other than the subject to be tracked and photographed acquired by the first acquisition means. The imaging apparatus according to item 1.
前記変更手段は、
前記第1の取得手段により取得された被写体の動作に基づいてローリングシャッタ歪み補正の補正強度を変更することを特徴とする請求項1ないし11の何れか1項に記載の撮像装置。 The first acquisition means acquires information on the movement of the subject to be tracked and photographed, and obtains information on the movement of the subject.
The changing means
The imaging apparatus according to any one of claims 1 to 11, wherein the correction intensity of the rolling shutter distortion correction is changed based on the movement of the subject acquired by the first acquisition means.
前記第1の取得手段により取得された被写体の動作が歩きである場合には、歩き以外である場合よりもローリングシャッタ歪み補正の補正強度を低下させることを特徴とする請求項12に記載の撮像装置。 The changing means
The imaging according to claim 12, wherein when the movement of the subject acquired by the first acquisition means is walking, the correction intensity of the rolling shutter distortion correction is lowered as compared with the case other than walking. Device.
追尾して撮影する被写体の情報を取得する第1の取得ステップと、
前記撮像装置のパン駆動およびチルト駆動のうちの少なくともいずれか一つの駆動の情報を取得する第2の取得ステップと、
前記第1の取得ステップにより取得された被写体の情報と、前記第2の取得ステップにより取得された駆動の情報とに基づいてローリングシャッタ歪み補正の補正強度を変更する変更ステップと、
前記変更ステップにより変更された補正強度によりローリングシャッタ歪み補正を行う補正ステップと、を有することを特徴とする撮像装置の制御方法。 This is a control method for an image pickup device that captures images using the rolling shutter method.
The first acquisition step to acquire the information of the subject to be tracked and photographed,
A second acquisition step of acquiring information on driving of at least one of pan drive and tilt drive of the image pickup apparatus, and
A change step of changing the correction intensity of the rolling shutter distortion correction based on the subject information acquired by the first acquisition step and the drive information acquired by the second acquisition step.
A control method for an image pickup apparatus, comprising: a correction step of performing rolling shutter distortion correction with a correction intensity changed by the change step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020076074A JP2021175046A (en) | 2020-04-22 | 2020-04-22 | Imaging apparatus, method for controlling the same, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020076074A JP2021175046A (en) | 2020-04-22 | 2020-04-22 | Imaging apparatus, method for controlling the same, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021175046A true JP2021175046A (en) | 2021-11-01 |
Family
ID=78279998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020076074A Pending JP2021175046A (en) | 2020-04-22 | 2020-04-22 | Imaging apparatus, method for controlling the same, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021175046A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023123371A1 (en) * | 2021-12-31 | 2023-07-06 | Qualcomm Incorporated | Image correction based on activity detection |
-
2020
- 2020-04-22 JP JP2020076074A patent/JP2021175046A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023123371A1 (en) * | 2021-12-31 | 2023-07-06 | Qualcomm Incorporated | Image correction based on activity detection |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7801432B2 (en) | Imaging apparatus and method for controlling the same | |
KR101034109B1 (en) | Image capture apparatus and computer readable recording medium storing with a program | |
US7830415B2 (en) | Camera having an image stabilizer | |
KR101142316B1 (en) | Image selection device and method for selecting image | |
KR100906166B1 (en) | Digital imaging apparatus with camera shake compensation and adaptive sensitivity switching function | |
US8717490B2 (en) | Imaging apparatus, focusing method, and computer-readable recording medium recording program | |
CN107800957B (en) | Image pickup apparatus and motion vector detection method | |
JP4434151B2 (en) | Imaging device | |
WO2013021767A1 (en) | Device and method for detecting moving objects | |
USRE45900E1 (en) | Imaging apparatus and control method | |
JP4645413B2 (en) | Imaging device | |
JP4487811B2 (en) | Imaging device | |
JP2018146663A (en) | Image tremor correction device, control method of the same, imaging device, and lens device | |
JP4898151B2 (en) | Imaging apparatus and imaging method | |
JP2021175046A (en) | Imaging apparatus, method for controlling the same, and program | |
JP2008090059A (en) | Imaging apparatus and autofocus control method therefor | |
KR101630307B1 (en) | A digital photographing apparatus, a method for controlling the same, and a computer-readable storage medium | |
JP2006267220A (en) | Auto focus system | |
JP2008046181A (en) | Focus controller, focus control method, imaging apparatus and program | |
JP6584259B2 (en) | Image blur correction apparatus, imaging apparatus, and control method | |
JP5219474B2 (en) | Imaging apparatus and control method thereof | |
JP2002330335A (en) | Still picture image pickup device | |
JP6843651B2 (en) | Image processing device, control method of image processing device, and program | |
JP6935269B2 (en) | Image blur correction device and its control method, imaging device | |
JP2010286577A (en) | Electronic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230417 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240327 |