JP2020118758A - Imaging device and method of controlling the same - Google Patents

Imaging device and method of controlling the same Download PDF

Info

Publication number
JP2020118758A
JP2020118758A JP2019007781A JP2019007781A JP2020118758A JP 2020118758 A JP2020118758 A JP 2020118758A JP 2019007781 A JP2019007781 A JP 2019007781A JP 2019007781 A JP2019007781 A JP 2019007781A JP 2020118758 A JP2020118758 A JP 2020118758A
Authority
JP
Japan
Prior art keywords
image
correction
unit
image pickup
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019007781A
Other languages
Japanese (ja)
Other versions
JP7301542B2 (en
Inventor
悦也 高見
Etsuya Takami
悦也 高見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019007781A priority Critical patent/JP7301542B2/en
Publication of JP2020118758A publication Critical patent/JP2020118758A/en
Application granted granted Critical
Publication of JP7301542B2 publication Critical patent/JP7301542B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

To provide an imaging device that effectively corrects changes in a shape and a magnification of a subject depending on a particular region due to panning and tilting vibration prevention.SOLUTION: An imaging device 100 is provided that comprises an imaging unit 102 for imaging a subject and outputting an imaged image, and a universal head 110 for changing an imaging direction by driving the imaging unit 102. The imaging device 100 controls the universal head 110 to correct camera shake associated with the imaged image due to vibration applied on the imaging unit 102. The imaging device 100 determines a particular region in the imaged image and a correction point serving as a reference of image correction processing on the particular region. Imaging information corresponding to the imaging point of the imaging unit 102 and the correction point is calculated, and then the image correction processing is performed on the particular region based on the imaging information.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置およびその制御方法に関する。 The present invention relates to an image pickup device and a control method thereof.

バスや電車や船舶等の公共交通機関等に設置される撮像装置として、ネットワークカメラが提案されている。ネットワークカメラは、公共交通機関等に設置されることで、光学防振や電子防振では除去できない大きな振幅を持つ振れが生じることがある。したがって、被写体を撮影する撮像部に加わる振れに応じて、撮像部を水平方向または垂直方向に回転駆動させることで、撮像画像に係る像ブレを補正する像ブレ補正（以下、「パン・チルト防振」と記述）が必要となる。 A network camera has been proposed as an imaging device installed in a public transportation system such as a bus, a train, or a ship. When the network camera is installed in public transportation or the like, shake with a large amplitude that cannot be removed by optical vibration isolation or electronic vibration isolation may occur. Therefore, the image blur correction (hereinafter, referred to as “pan/tilt prevention”) for correcting the image blur of the captured image by rotating the image capture unit in the horizontal direction or the vertical direction according to the shake applied to the image capture unit that captures the subject Shake”) is required.

撮像部の振れは、シフト方向の揺れも伴うので、パン・チルト防振によって撮影点と被写体の位置とに応じた撮影角度が変化する。したがって、撮像部の基準となる撮影位置（振れの中心）を示す基準撮影点以外の撮影点から被写体を撮影すると、基準撮影点で撮影した被写体に比べて、被写体のあおり（形状変化）が生じてしまう。また、大きな振れにより生じる像ブレをパン・チルト防振で補正する場合は、撮影点と被写体との距離（撮影距離）が変化する。したがって、基準撮影点以外の撮影点からの撮影では、基準撮影点からの撮影に比べて、被写体の大きさの変化（倍率変化）の変化を生じてしまう。その結果、被写体の形状変化や倍率変化の影響により、プライバシーマスクに係る所定の領域や、圧縮伸張率を任意に設定するための所定の指定領域がズレる。また、顔検出や人物検出、動体検知、通過検知、混雑検知、軌跡検知、置き去り／持ち去り検知等の、所定の画像解析の精度が劣化する。 Since the shake of the image pickup unit is accompanied by the shake in the shift direction, the shooting angle according to the shooting point and the position of the subject is changed by the pan/tilt image stabilization. Therefore, when a subject is photographed from a shooting point other than the reference shooting point that indicates the shooting position (center of shake) that is the reference of the imaging unit, the subject tilts (changes in shape) compared to the subject shot at the reference shooting point. Will end up. Further, when the image blur caused by the large shake is corrected by the pan/tilt image stabilization, the distance (shooting distance) between the shooting point and the subject changes. Therefore, shooting from a shooting point other than the reference shooting point causes a change in the size of the subject (change in magnification) as compared with shooting from the reference shooting point. As a result, a predetermined area related to the privacy mask and a predetermined designated area for arbitrarily setting the compression/expansion rate are deviated due to the influence of the shape change and the magnification change of the subject. Further, the accuracy of predetermined image analysis such as face detection, person detection, moving body detection, passage detection, congestion detection, trajectory detection, leaving/carrying away detection, etc. deteriorates.

特許文献１は、焦点距離に応じて、回転方向およびあおり方向の像ブレの補正を制限し、並進方向の像ブレ補正量を大きくする撮像装置を開示している。また、特許文献２は、幾何変形画像と幾何変形処理を受けていない画像との間での動きベクトルに基づいて算出される防振パラメータを用いて画像の変形処理を行う撮像装置を開示している。 Japanese Unexamined Patent Application Publication No. 2006-242242 discloses an image pickup apparatus that restricts image blur correction in the rotation direction and the tilt direction and increases the image blur correction amount in the translation direction according to the focal length. In addition, Patent Document 2 discloses an image pickup apparatus that performs image deformation processing using image stabilization parameters calculated based on motion vectors between a geometrically deformed image and an image that has not undergone geometric deformation processing. There is.

特開２０１４−１２８０１４号公報JP, 2014-128014, A 特開２０１２−１２４９３９号公報JP2012-124939A

パン・チルト防振においては、通常の手ぶれ補正等に比べて、撮影点の移動（変位）が大きいので、撮影点と被写体の角度、および撮影点と被写体の距離は大きく変化する。したがって、被写体の形状または大きさが大きく変化する場合がある。このため、撮像画像内の注視領域によって、被写体のあおり（形状変化）や大きさの変化（倍率変化）を補正する量も異なる。注視領域は、所定の指定領域または所定の画像解析に係る検出領域である。特許文献１、特許文献２が開示するいずれの撮像装置によっても、パン・チルト防振により生じる、注視領域に応じた被写体のあおり（形状変化）や大きさの変化（倍率変化）を効果的に補正することはできない。本発明は、パン・チルト防振により生じる、注視領域に応じた被写体の形状変化や倍率変化を効果的に補正する撮像装置の提供を目的とする。 In pan/tilt image stabilization, the movement (displacement) of the shooting point is larger than that in ordinary camera shake correction, so that the angle between the shooting point and the subject and the distance between the shooting point and the subject greatly change. Therefore, the shape or size of the subject may change significantly. Therefore, the amount of correction of the tilt (shape change) or size change (magnification change) of the subject varies depending on the gaze area in the captured image. The gaze area is a predetermined designated area or a detection area related to a predetermined image analysis. In any of the image pickup devices disclosed in Patent Document 1 and Patent Document 2, the tilt (shape change) and size change (magnification change) of the object depending on the gaze area, which are caused by the pan/tilt image stabilization, are effectively performed. It cannot be corrected. It is an object of the present invention to provide an image pickup apparatus that effectively corrects a change in the shape of a subject and a change in magnification that occur due to a pan/tilt image stabilization depending on a gaze area.

本発明の一実施形態の撮像装置は、被写体を撮影して撮像画像を出力する撮像手段と、前記撮像手段を駆動して、撮像方向を変更する駆動手段と、前記駆動手段を制御して、前記撮像手段に加わる振れにより生じる前記撮像画像に係る像ブレを補正する補正制御手段と、前記撮像画像における注視領域と、前記注視領域に対する画像補正処理の基準となる補正点を決定する決定手段と、前記撮像手段の撮影点と前記補正点とに応じた撮像情報を算出する算出手段と、前記算出された撮像情報に基づいて、前記注視領域に対して画像補正処理を行う画像補正手段と、を備える。 An image pickup apparatus according to an embodiment of the present invention controls an image pickup unit that picks up an image of a subject and outputs a picked-up image, a drive unit that drives the image pickup unit and changes an image pickup direction, and controls the drive unit. A correction control unit that corrects an image blur associated with the captured image caused by a shake applied to the image capturing unit, a gaze region in the captured image, and a determination unit that determines a correction point serving as a reference of an image correction process for the gaze region. A calculation unit that calculates image pickup information according to the image pickup point of the image pickup unit and the correction point; and an image correction unit that performs an image correction process on the gaze area based on the calculated image pickup information, Equipped with.

本発明の撮像装置によれば、パン・チルト防振により生じる、注視領域に応じた被写体の形状変化や倍率変化を効果的に補正することができる。 According to the imaging device of the present invention, it is possible to effectively correct a change in the shape of a subject or a change in magnification that occurs due to pan/tilt image stabilization depending on the gaze area.

撮像装置の構成例を示す図である。It is a figure which shows the structural example of an imaging device. 画像補正処理を説明するフローチャートである。It is a flowchart explaining an image correction process. 画像補正処理を説明するフローチャートである。It is a flowchart explaining an image correction process. 画像補正処理を説明するフローチャートである。It is a flowchart explaining an image correction process. 注視領域と補正点の一例を説明する図である。It is a figure explaining an example of a gaze field and a correction point. 図２のＳ２０６の処理を説明する図である。It is a figure explaining the process of S206 of FIG. 画像の切り出し領域を説明する図である。It is a figure explaining the cut-out area of an image. 重み付けテーブルの一例を示す図である。It is a figure which shows an example of a weighting table.

（実施例１）
図１は、本実施形態の撮像装置の構成例を示す図である。
図１に示す撮像装置１００は、公共交通機関等に設置されるネットワークカメラである。本発明は、ネットワークカメラ以外の、動画像を撮像する機能を備えた様々な機器に適用することができる。本発明は、例えば、ビデオカメラやスチルカメラ、撮像機能を備えた携帯電話、携帯情報端末等に適用可能である。 (Example 1)
FIG. 1 is a diagram showing a configuration example of the image pickup apparatus of the present embodiment.
The imaging device 100 shown in FIG. 1 is a network camera installed in public transportation or the like. The present invention can be applied to various devices having a function of capturing a moving image other than the network camera. The present invention can be applied to, for example, a video camera, a still camera, a mobile phone having an imaging function, a mobile information terminal, and the like.

撮像装置１００は、ＣＰＵ１０１乃至圧縮伸長部１２０を備える。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１は、中央演算処理装置であって、撮像装置１００全体を制御する。ＣＰＵ１０１は、振動情報解析部１０１−１、注視領域算出部１０１−２、撮像情報算出部１０１−３、パン・チルト防振制御部１０１−４、画像補正制御部１０１−５、制御部１０１−６を備える。 The image pickup apparatus 100 includes a CPU 101 to a compression/expansion unit 120. A CPU (Central Processing Unit) 101 is a central processing unit and controls the entire imaging device 100. The CPU 101 includes a vibration information analysis unit 101-1, a gaze area calculation unit 101-2, an imaging information calculation unit 101-3, a pan/tilt image stabilization control unit 101-4, an image correction control unit 101-5, and a control unit 101-. 6 is provided.

制御部１０１−６は、ＣＰＵ１０１全体を制御する。振動情報解析部１０１−１は、ジャイロセンサ１１３から取得された撮像部１０２の振動情報（角速度情報）を解析して、撮像部１０２の振動波形を求める。パン・チルト防振制御部１０１−４は、振動情報解析部１０１−１によって求められた撮像部１０２の振動波形に基づき、アクチュエータ１１１を介して雲台１１０を制御する。 The control unit 101-6 controls the entire CPU 101. The vibration information analysis unit 101-1 analyzes the vibration information (angular velocity information) of the image pickup unit 102 acquired from the gyro sensor 113, and obtains the vibration waveform of the image pickup unit 102. The pan/tilt image stabilization control unit 101-4 controls the camera platform 110 via the actuator 111 based on the vibration waveform of the image capturing unit 102 obtained by the vibration information analysis unit 101-1.

注視領域算出部１０１−２は、注視領域を算出（決定）する。注視領域は、プライバーマスク等の処理や圧縮データの生成処理に係る所定の指定領域、または顔検出、人物検出、動体検知、通過検知、混雑検知、軌跡検知、置き去り／持ち去り検知等の画像解析に係る検出領域のうちから決定される。撮像情報算出部１０１−３は、注視領域に対する画像補正処理の基準となる位置を示す補正点に基づいて、所定の撮像情報（例えば、後述する撮影角度の差）を算出する。画像補正制御部１０１−５は、撮像情報算出部１０１−３によって算出された撮像情報に基づいて、注視領域に対する画像補正処理に必要な情報（例えば、後述する画像の切り出し領域と幾何変換係数）を算出する。画像補正制御部１０１−５は、算出した情報を画像補正部１１８に通知する。 The gaze area calculation unit 101-2 calculates (determines) a gaze area. The gaze area is a specified area related to processing such as privacy mask processing and compressed data generation processing, or image analysis such as face detection, person detection, moving object detection, passage detection, congestion detection, trajectory detection, leaving/taking away detection, etc. Is determined from among the detection areas according to. The imaging information calculation unit 101-3 calculates predetermined imaging information (for example, a difference in imaging angle described below) based on a correction point indicating a position serving as a reference for image correction processing with respect to the gaze area. The image correction control unit 101-5, based on the image pickup information calculated by the image pickup information calculation unit 101-3, information necessary for the image correction processing for the gaze area (for example, a cutout area of an image and a geometric conversion coefficient described later). To calculate. The image correction control unit 101-5 notifies the image correction unit 118 of the calculated information.

撮像部１０２は、被写体を撮影して撮像画像を出力する。撮像部１０２は、ズームレンズ１０２−１、フォーカスレンズ１０２−２、絞り１０２―３、およびイメージセンサ等を有する撮像素子１０２−４を備える。ズームレンズ１０２−１は、レンズ制御部１０８により、光軸に沿って駆動する。フォーカスレンズ１０２−２は、レンズ制御部１０８により、光軸に沿って駆動する。絞り１０２−３は、レンズ制御部１０８により駆動されて動作する。また、レンズ制御部１０８は、制御部１０１−６によって制御される。 The image capturing unit 102 captures a subject and outputs a captured image. The image pickup unit 102 includes an image pickup element 102-4 having a zoom lens 102-1, a focus lens 102-2, a diaphragm 102-3, an image sensor and the like. The zoom lens 102-1 is driven by the lens control unit 108 along the optical axis. The focus lens 102-2 is driven along the optical axis by the lens control unit 108. The diaphragm 102-3 is driven and operated by the lens control unit 108. The lens controller 108 is controlled by the controller 101-6.

雲台１１０は、パン駆動部とチルト駆動部とを有する。パン駆動部は、ボトムケースとターンテーブルとを有し、ターンテーブルが水平方向に回転することで、撮像部１０２を水平方向に回転駆動（パンニング）する。パン駆動部は、水平方向に−１７５度から＋１７５度まで回転することができる。チルト駆動部は、ターンテーブルの上に備えられた支柱と撮像部１０２とを有し、撮像部１０２を垂直方向に回転駆動（チルティング）する。チルト駆動部は、水平方向０度から真上方向９０度まで回転することができる。アクチュエータ１１１は、バス１０６を介したＣＰＵ１０１の制御にしたがって、雲台１１０を制御する。アクチュエータ１１１の制御にしたがって、雲台１１０が有するパン駆動部とチルト駆動部が、撮像部１０２を水平方向または垂直方向に回転駆動する。これにより、撮像部１０２が、撮像方向を変更して撮影することができる。また、前述したパン・チルト防振制御部１０１−４は、撮像部１０２に加わる振れに応じた雲台１１０の制御により、撮像部１０２を水平方向または垂直方向に回転駆動して、撮像画像に係る像ブレを補正（パン・チルト防振）する補正制御手段として機能する。 The platform 110 has a pan drive unit and a tilt drive unit. The pan driving unit has a bottom case and a turntable, and the image pickup unit 102 is rotationally driven (panning) in the horizontal direction by rotating the turntable in the horizontal direction. The pan drive can be rotated horizontally from -175 degrees to +175 degrees. The tilt drive unit includes a support provided on the turntable and the image pickup unit 102, and rotationally drives (tilts) the image pickup unit 102 in the vertical direction. The tilt drive unit can rotate from 0 degree in the horizontal direction to 90 degrees in the upward direction. The actuator 111 controls the platform 110 according to the control of the CPU 101 via the bus 106. Under the control of the actuator 111, the pan drive unit and the tilt drive unit of the platform 110 rotate the image pickup unit 102 in the horizontal direction or the vertical direction. Accordingly, the image capturing unit 102 can change the image capturing direction and capture an image. Further, the pan/tilt image stabilization control unit 101-4 described above rotationally drives the image capturing unit 102 in the horizontal direction or the vertical direction by controlling the pan/tilt head 110 according to the shake applied to the image capturing unit 102 to form a captured image. It functions as a correction control unit that corrects the related image blur (pan/tilt image stabilization).

ジャイロセンサ１１３は、撮像部１０２のパンニング方向（水平方向）およびチルティング方向（垂直方向）の角速度を検出する。検出した角速度情報は、撮像部１０２に加わる振れに対応する。角速度情報は、バス１０６を介してＣＰＵ１０１によって取得され、パン・チルト防振に用いられる。撮像素子１０２−４は、ズームレンズ１０２−１、フォーカスレンズ１０２−２、および絞り１０２−３を通過した被写体光を光電変換して、撮像画像に係るアナログ画像信号を生成する。生成されたアナログ画像信号は、相関二重サンプリング等のサンプリング処理による増幅処理が施された後、Ａ／Ｄ変換部１０３に出力される。増幅処理に用いられるパラメータは、ＣＰＵ１０１によって制御される。 The gyro sensor 113 detects the angular velocities of the imaging unit 102 in the panning direction (horizontal direction) and the tilting direction (vertical direction). The detected angular velocity information corresponds to the shake applied to the image pickup unit 102. The angular velocity information is acquired by the CPU 101 via the bus 106 and used for pan/tilt image stabilization. The image sensor 102-4 photoelectrically converts subject light that has passed through the zoom lens 102-1, the focus lens 102-2, and the aperture 102-3 to generate an analog image signal related to a captured image. The generated analog image signal is output to the A/D conversion unit 103 after being subjected to amplification processing by sampling processing such as correlated double sampling. The parameters used in the amplification process are controlled by the CPU 101.

Ａ／Ｄ変換部１０３は、増幅されたアナログ画像信号をデジタル画像信号に変換する。Ａ／Ｄ変換部１０３は、変換によって得られたデジタル画像信号を画像入力コントローラ１０４に出力する。画像入力コントローラ１０４は、Ａ／Ｄ変換部１０３から出力されたデジタル画像信号を取り込み、画像信号処理部１０５に出力する。画像信号処理部１０５は、画像入力コントローラ１０４から入力されたデジタル画像信号に対して、撮像素子１０２−４から出力される撮像時の感度情報に基づいて、各種デジタル画像処理を施す。感度情報は、例えば、ＡＧＣ（自動利得制御）ゲインまたはＩＳＯ（国際標準化機構）感度である。デジタル画像処理が施された画像は、バス１０６を介してＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０７に格納される。デジタル画像処理は、例えばオフセット処理、ガンマ補正処理、ゲイン処理、ＲＧＢ補間処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等である。また、画像信号処理部１０５は、画像の所定の指定領域にマスク処理を施すプライバーマスク等の処理を実行する。 The A/D converter 103 converts the amplified analog image signal into a digital image signal. The A/D conversion unit 103 outputs the digital image signal obtained by the conversion to the image input controller 104. The image input controller 104 takes in the digital image signal output from the A/D conversion unit 103 and outputs it to the image signal processing unit 105. The image signal processing unit 105 performs various kinds of digital image processing on the digital image signal input from the image input controller 104 based on the sensitivity information at the time of image output output from the image sensor 102-4. The sensitivity information is, for example, AGC (Automatic Gain Control) gain or ISO (International Organization for Standardization) sensitivity. The image subjected to the digital image processing is stored in a RAM (Random Access Memory) 107 via a bus 106. The digital image processing is, for example, offset processing, gamma correction processing, gain processing, RGB interpolation processing, noise reduction processing, contour correction processing, color tone correction processing, light source type determination processing, and the like. Further, the image signal processing unit 105 executes processing such as a private mask for masking a predetermined designated area of the image.

ＲＡＭ１０７は、ＳＲＡＭやＤＲＡＭ等の揮発性メモリである。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０９は、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリである。記憶装置１１２はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ｅＭＭＣ（組み込み用のマルチメディアカード）等の記憶装置である。撮像装置１００の機能を実現するためのプログラムや、当該プログラムが実行される際に用いられるデータは、ＲＯＭ１０９または記憶装置１１２に予め格納される。これらのプログラムやデータは、ＣＰＵ１０１による制御のもと、バス１０６を介して適宜ＲＡＭ１０７に取り込まれ、ＣＰＵ１０１によって実行される。 The RAM 107 is a volatile memory such as SRAM or DRAM. A ROM (Read Only Memory) 109 is a non-volatile memory such as an EEPROM or a flash memory. The storage device 112 is a storage device such as an HDD (Hard Disk Drive), SSD (Solid State Drive), and eMMC (embedded multimedia card). A program for realizing the function of the image pickup apparatus 100 and data used when the program is executed are stored in the ROM 109 or the storage device 112 in advance. Under the control of the CPU 101, these programs and data are appropriately loaded into the RAM 107 via the bus 106 and executed by the CPU 101.

Ｉ／Ｆ１１４は入出力に係る各種インタフェースである。Ｉ／Ｆ１１４は、リレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、タッチパネル、キーボードやポインティングデバイス（例えばマウス）等の入力装置１１５と接続し、指示情報を受信する。そして、Ｉ／Ｆ１１４は、受信した指示情報を、バス１０６を介して、ＣＰＵ１０１に通知する。また、Ｉ／Ｆ１１４は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａ Ｄｉｓｐｌａｙ）等の表示装置１１６と接続し、ＲＡＭ１０７に一時的に記録された画像や操作メニュー等の情報を表示する。Ｉ／Ｆ１１４は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介してネットワーク１２１と接続する。 The I/F 114 is various interfaces related to input/output. The I/F 114 is connected to an input device 115 such as an operation key including a relays switch or a power switch, a cross key, a joystick, a touch panel, a keyboard or a pointing device (for example, a mouse), and receives instruction information. Then, the I/F 114 notifies the CPU 101 of the received instruction information via the bus 106. The I/F 114 is connected to a display device 116 such as an LCD (Liquid Crystal Display) and displays information such as images and operation menus temporarily recorded in the RAM 107. The I/F 114 is connected to the network 121 via a LAN (Local Area Network).

画像補正部１１８は、画像補正制御部１０１−５から通知された情報に基づいて、注視領域に対して画像補正処理を行う。これにより、パン・チルト防振によって生じる被写体のあおり（形状変化）や大きさの変化（倍率変化）が補正される。具体的には、画像補正部１１８は、画像の幾何変形処理を行う。 The image correction unit 118 performs image correction processing on the gaze area based on the information notified from the image correction control unit 101-5. As a result, the tilt (shape change) and size change (magnification change) of the subject caused by pan/tilt image stabilization are corrected. Specifically, the image correction unit 118 performs geometric deformation processing of the image.

画像解析部１１９は、所定の検出領域を対象に、顔検出、人物検出、動体検知、通過検知、混雑検知、軌跡検知、置き去り／持ち去り検知等の画像解析を行う。画像解析結果は、バス１０６を介してＣＰＵ１０１に通知される。圧縮伸長部１２０は、ＣＰＵ１０１の制御にしたがい、画像に圧縮処理を施して圧縮データを生成する。圧縮伸長部１２０は、所定の指定領域の圧縮率を変えて、圧縮データを生成する機能を有する。圧縮データは、Ｉ／Ｆ１１４を介して、表示装置１１６やネットワーク１２１に出力される。また、圧縮伸長部１２０は、記憶装置１１２に格納された圧縮データに所定形式の伸張処理を施して非圧縮データを生成する。圧縮伸長部１２０は、静止画像に対しては、ＪＰＥＧ規格に準拠した圧縮方式を、動画像に対しては、ＭＯＴＩＯＩＮ−ＪＰＥＧやＭＰＥＧ２、ＡＶＣ／Ｈ．２６４、ＡＶＣ／Ｈ．２６５の規格に準拠した圧縮伸長を行う。 The image analysis unit 119 performs image analysis such as face detection, person detection, moving body detection, passage detection, congestion detection, trajectory detection, and leaving/carrying away detection on a predetermined detection area. The image analysis result is notified to the CPU 101 via the bus 106. Under the control of the CPU 101, the compression/expansion unit 120 compresses an image to generate compressed data. The compression/decompression unit 120 has a function of changing the compression rate of a predetermined designated area and generating compressed data. The compressed data is output to the display device 116 and the network 121 via the I/F 114. The compression/decompression unit 120 also performs decompression processing of a predetermined format on the compressed data stored in the storage device 112 to generate non-compressed data. The compression/decompression unit 120 uses a compression method conforming to the JPEG standard for still images, and MOTIOIN-JPEG, MPEG2, AVC/H.264 for moving images. H.264, AVC/H. The compression/expansion according to the H.265 standard is performed.

図２は、実施例１の撮像装置が実行する画像補正処理を説明するフローチャートである。
実施例１の撮像装置１００は、パン・チルト防振を施したことによって発生する被写体のあおり（形状変化）や大きさの変化（倍率変化）を、注視領域に対する画像補正処理によって補正する。撮像装置１００は、注視領域に対応する補正点を決定し、決定した補正点と撮像部１０２の撮影点とに応じた撮像情報を算出し、撮像情報に応じて決まる画像の切り出し領域と幾何変形係数とに基づいて、切り出し領域の画像の幾何変形処理を実行する。撮影点は、撮像部１０２の撮影位置を示す。本実施形態では、撮像装置１００は、補正点を注視領域に係る幾何変換中心点に決定する。図２に示すＳは、ステップ番号を示す。 FIG. 2 is a flowchart illustrating an image correction process executed by the image pickup apparatus according to the first embodiment.
The image pickup apparatus 100 according to the first embodiment corrects a subject's tilt (shape change) and size change (magnification change) caused by pan/tilt image stabilization through image correction processing for the gaze area. The image capturing apparatus 100 determines a correction point corresponding to the gaze area, calculates image capturing information according to the determined correction point and the image capturing point of the image capturing unit 102, and cuts out a region and geometrically deforms an image determined according to the image capturing information. The geometric deformation processing of the image of the cutout area is executed based on the coefficient. The shooting point indicates the shooting position of the image pickup unit 102. In the present embodiment, the imaging device 100 determines the correction point as the geometric transformation center point related to the gazing area. S shown in FIG. 2 indicates a step number.

Ｓ２０１において、撮影情報算出部１０１−３が、制御部１０１−６およびバス１０６を介して、撮像情報を取得する。具体的には、撮影情報算出部１０１−３は、ＲＯＭ１０９または記憶装置１１２に格納されている焦点距離等のレンズに係る情報（レンズ情報）および撮影画角（ＦＯＶ）の情報を取得する。撮像装置１００が、交換式のレンズユニットを有する場合は、撮影情報算出部１０１−３は、制御部１０１−６およびバス１０６を介して、レンズ制御部１０８からレンズ情報を取得する。撮影情報算出部１０１−３が、レンズ制御部１０８からレンズ識別子を取得し、取得したレンズ識別子に応じて、ＲＯＭ１０９または記憶装置１１２に予め格納されているレンズ情報を取得してもよい。撮影情報算出部１０１−３が、制御部１０１−６、バス１０６、Ｉ／Ｆ１１４、およびネットワーク１２１を介して、レンズ識別子に応じたレンズ情報を、所定のサーバから取得してもよい。本実施例は、レンズ情報の取得方法を制限するものではない。 In S201, the shooting information calculation unit 101-3 acquires the shooting information via the control unit 101-6 and the bus 106. Specifically, the shooting information calculation unit 101-3 acquires information on the lens (lens information) such as the focal length stored in the ROM 109 or the storage device 112 and information on the shooting field angle (FOV). When the imaging device 100 has an interchangeable lens unit, the imaging information calculation unit 101-3 acquires the lens information from the lens control unit 108 via the control unit 101-6 and the bus 106. The imaging information calculation unit 101-3 may acquire the lens identifier from the lens control unit 108 and acquire the lens information stored in advance in the ROM 109 or the storage device 112 according to the acquired lens identifier. The imaging information calculation unit 101-3 may acquire lens information corresponding to the lens identifier from a predetermined server via the control unit 101-6, the bus 106, the I/F 114, and the network 121. The present embodiment does not limit the lens information acquisition method.

次に、Ｓ２０２において、振動情報解析部１０１−１が、制御部１０１−６およびバス１０６を介して、ジャイロセンサ１１３から現在の撮像部１０２の振動情報（角速度情報）を取得する。続いて、Ｓ２０３において、振動情報解析部１０１−１が、Ｓ２０２において取得した現在の撮像部１０２の振動情報（角速度情報）と、過去に取得した撮像部１０２の振動情報とに基づいて、撮像部１０２の振動波形を算出する。振動情報解析部１０１−１は、算出した撮像部１０２の振動波形に応じてパン・チルト防振する際の波形（パン・チルト防振波形）を算出する。Ｓ２０４において、パン・チルト防振制御部１０１−４が、Ｓ２０３において算出されたパン・チルト防振波形に基づき、制御部１０１−６、バス１０６およびアクチュエータ１１１を介して雲台１１０を制御する。これにより、パン・チルト防振制御部１０１−４は、現在の撮像部１０２の変位に応じたパン・チルト防振を実行する。 Next, in S202, the vibration information analysis unit 101-1 acquires the current vibration information (angular velocity information) of the imaging unit 102 from the gyro sensor 113 via the control unit 101-6 and the bus 106. Then, in S203, the vibration information analysis unit 101-1 uses the image pickup unit based on the current vibration information (angular velocity information) of the image pickup unit 102 acquired in S202 and the vibration information of the image pickup unit 102 acquired in the past. The vibration waveform of 102 is calculated. The vibration information analysis unit 101-1 calculates a waveform for pan/tilt vibration isolation (pan/tilt vibration isolation waveform) according to the calculated vibration waveform of the imaging unit 102. In S204, the pan/tilt image stabilization control unit 101-4 controls the camera platform 110 via the control unit 101-6, the bus 106, and the actuator 111 based on the pan/tilt image stabilization waveform calculated in S203. As a result, the pan/tilt image stabilization control unit 101-4 executes pan/tilt image stabilization according to the current displacement of the imaging unit 102.

次に、Ｓ２０５において、注視領域算出部１０１−２が、注視領域を決定する。具体的には、注視領域算出部１０１−２は、バス１０６を介して、画像処理部１０５が用いるプライバシーマスクに係る所定の指定領域や、圧縮伸長部１２０が用いる圧縮率を任意に指定するための所定の指定領域等を取得する。また、注視領域算出部１０１−２は、バス１０６を介して、画像解析部１１９が実行する顔検出、人物検出、動体検知、通過検知、混雑検知、軌跡検知、置き去り／持ち去り検知等の所定の画像解析に係る検出領域を取得する。注視領域算出部１０１−２は、取得した領域から注視領域を決定する。実施例１では、注視領域算出部１０１−２は、取得した領域から一つの注視領域を決定する。注視領域算出部１０１−２は、決定した注視領域内に対応する補正点を決定する。具体的には、注視領域算出部１０１−２は、注視領域内の所定の位置を画像上の補正点に決定する。注視領域算出部１０１−２は、決定した注視領域と補正点の情報を撮像情報算出部１０１−３に通知する。 Next, in S205, the gaze area calculation unit 101-2 determines the gaze area. Specifically, the gazing area calculation unit 101-2 arbitrarily specifies, through the bus 106, a predetermined designated area related to the privacy mask used by the image processing unit 105 and a compression rate used by the compression/expansion unit 120. The predetermined designated area and the like are acquired. In addition, the gaze area calculation unit 101-2 performs a predetermined process such as face detection, person detection, moving object detection, passage detection, congestion detection, trajectory detection, left-behind/take-away detection, etc. performed by the image analysis unit 119 via the bus 106. The detection area related to the image analysis of is acquired. The gaze area calculation unit 101-2 determines the gaze area from the acquired area. In the first embodiment, the gaze area calculation unit 101-2 determines one gaze area from the acquired areas. The gaze area calculation unit 101-2 determines a correction point corresponding to the determined gaze area. Specifically, the gaze area calculation unit 101-2 determines a predetermined position within the gaze area as a correction point on the image. The gaze area calculation unit 101-2 notifies the imaging information calculation unit 101-3 of information on the determined gaze area and correction points.

図５は、注視領域と補正点の一例を説明する図である。
図５（Ａ）に示す画像５００は、撮像装置１００が撮像部１０２によって基準撮影点から撮影した際に得られる撮像画像である。基準撮影点は、撮像部１０２の基準となる撮影位置を示す。注視領域５００−１は、所定の指定領域または所定の画像解析に係る検出領域である。補正点５００−１は、注視領域５００−１に対応する補正点である。図５（Ｂ）に示す画像５０１は、パン・チルト防振を施している際の撮像画像である。すなわち、画像５０１は、撮像装置１００が基準撮影点とは異なる撮影点から撮影した際の撮像画像である。注視領域５０１−１は、画像５０１から決定された注視領域である。補正点５０１−２は、注視領域５０１−１に対応する補正点である。図５に示す注視領域は、所定の指定領域または所定の画像解析に係る検出領域を制限するものではない。 FIG. 5 is a diagram illustrating an example of a gaze area and correction points.
An image 500 illustrated in FIG. 5A is a captured image obtained when the image capturing apparatus 100 captures an image from the reference image capturing point by the image capturing unit 102. The reference shooting point indicates a shooting position serving as a reference of the image pickup unit 102. The gaze area 500-1 is a predetermined designated area or a detection area related to a predetermined image analysis. The correction point 500-1 is a correction point corresponding to the gaze area 500-1. An image 501 illustrated in FIG. 5B is a captured image when pan/tilt image stabilization is performed. That is, the image 501 is a captured image when the image capturing apparatus 100 captures from a capturing point different from the reference capturing point. The gaze area 501-1 is a gaze area determined from the image 501. The correction point 501-2 is a correction point corresponding to the gaze area 501-1. The gaze area shown in FIG. 5 does not limit the predetermined designated area or the predetermined detection area for image analysis.

図２の説明に戻る。Ｓ２０６において、撮像情報算出部１０１−３が、Ｓ２０１で取得されたレンズ情報と撮影画角（ＦＯＶ）の情報に基づき、Ｓ２０５で決定した画像上の補正点に対応する実空間上の補正点を算出する。そして、撮像情報算出部１０１−３は、算出した実空間上の補正点と、Ｓ２０４においてパン・チルト防振が施されている現在の撮影点との距離を算出する。また、撮像情報算出部１０１−３は、実空間上の補正点と基準撮影点との距離を算出する。そして、撮像情報算出部１０１−３は、現在の撮影点からの撮影と基準撮影点からの撮影との間での倍率差を撮像情報として算出する。 Returning to the explanation of FIG. In S206, the imaging information calculation unit 101-3 determines a correction point in the real space corresponding to the correction point on the image determined in S205, based on the lens information and the shooting angle of view (FOV) information acquired in S201. calculate. Then, the imaging information calculation unit 101-3 calculates the distance between the calculated correction point in the real space and the current shooting point on which the pan/tilt image stabilization has been performed in S204. The imaging information calculation unit 101-3 also calculates the distance between the correction point in the real space and the reference shooting point. Then, the imaging information calculation unit 101-3 calculates, as the imaging information, the difference in magnification between the shooting from the current shooting point and the shooting from the reference shooting point.

図６は、図２のＳ２０６の処理を説明する図である。
撮影点６００は、基準撮影点を示す。撮影点６０１は、パン・チルト防振を施している場合の、基準撮影点とは異なる現在の撮影点を示す。補正点６０２は、画像上の補正点が座標変換された、実空間での補正点を示す。撮像情報算出部１０１−３は、撮影点６００と補正点６０２の距離である撮影距離６００−２を算出する。また、撮像情報算出部１０１−３は、撮影点６０１と補正点６０２の距離である撮影距離６０１−２を算出する。そして、撮像情報算出部１０１−３は、撮影距離６００−２と撮影距離６０１−２との差分から、基準撮影点からの撮影と現在の撮影点からの撮影との間の倍率比ｆｄｉｆｆを算出する。倍率比ｆｄｉｆｆは、撮影距離６００−２をｆｂａｓｅ、撮影距離６０１−２をｆｎとして、以下の式（１）により求めることができる。
ｆｄｉｆｆ＝ｆｂａｓｅ／ｆｎ・・・式（１） FIG. 6 is a diagram illustrating the processing of S206 of FIG.
The shooting point 600 indicates a reference shooting point. A shooting point 601 indicates a current shooting point different from the reference shooting point when the pan/tilt image stabilization is applied. A correction point 602 indicates a correction point in the real space obtained by coordinate conversion of the correction point on the image. The imaging information calculation unit 101-3 calculates a shooting distance 600-2 that is the distance between the shooting point 600 and the correction point 602. The imaging information calculation unit 101-3 also calculates a shooting distance 601-2, which is the distance between the shooting point 601 and the correction point 602. Then, the imaging information calculation unit 101-3 calculates the magnification ratio fdiff between the shooting from the reference shooting point and the shooting from the current shooting point from the difference between the shooting distance 600-2 and the shooting distance 601-2. To do. The magnification ratio fdiff can be calculated by the following equation (1), where fbase is the shooting distance 600-2 and fn is the shooting distance 601-2.
fdiff=fbase/fn... Formula (1)

図２の説明に戻る。Ｓ２０７において、撮像情報算出部１０１−３が、Ｓ２０５で決定した画像上の補正点に対応する実空間上の補正点と、Ｓ２０４においてパン・チルト防振が施されている現在の実空間上の撮影点とに応じて決まる撮影角度θｂａｓｅを算出する。また、撮像情報算出部１０１−３は、実空間上の補正点と基準撮影点とに応じて決まる撮影角度θｎを算出する。そして、撮像情報算出部１０１−３は、以下の式（２）に基づいて、現在の撮影点からの撮影と基準撮影点からの撮影との間での、撮影点と補正点とに応じて決まる撮影角度の差θｄｉｆｆを撮像情報として算出する。
θｄｉｆｆ＝θｎ−θｂａｓｅ・・・式（２） Returning to the explanation of FIG. In step S207, the imaging information calculation unit 101-3 causes the correction point in the real space corresponding to the correction point on the image determined in step S205 and the current real space on which the pan/tilt image stabilization has been performed in step S204. A shooting angle θbase determined according to the shooting point is calculated. The imaging information calculation unit 101-3 also calculates a shooting angle θn that is determined according to the correction point in the real space and the reference shooting point. Then, the imaging information calculation unit 101-3, based on the following equation (2), according to the shooting point and the correction point between the shooting from the current shooting point and the shooting from the reference shooting point. The difference θdiff between the determined shooting angles is calculated as the imaging information.
θdiff=θn-θbase Equation (2)

図６中の撮影角度６００−１は、撮影点６００から補正点６０２を撮影する際の撮影角度θｂａｓｅを示す。撮影角度６０１−１は、撮影点６０１から補正点６０２を撮影する際の撮影角度θｎを示す。 A shooting angle 600-1 in FIG. 6 indicates a shooting angle θbase when shooting the correction point 602 from the shooting point 600. The shooting angle 601-1 indicates a shooting angle θn when shooting the correction point 602 from the shooting point 601.

次に、図２のＳ２０８において、画像補正制御部１０１−５が、画像補正処理を行うか否かを判断する。前述したｆｄｉｆｆまたはθｄｉｆｆのうちの一つ以上が所定の閾値を超えている場合、画像補正制御部１０１−５が、画像補正処理を行うと判断して、処理がＳ２０９に進む。ｆｄｉｆｆまたはθｄｉｆｆのうちの一つ以上が所定の閾値を超えていない場合、画像補正制御部１０１−５が、画像補正処理を行わないと判断して、処理がＳ２１１に進む。 Next, in S208 of FIG. 2, the image correction control unit 101-5 determines whether to perform the image correction process. When one or more of the above-mentioned fdiff or θdiff exceeds the predetermined threshold value, the image correction control unit 101-5 determines to perform the image correction process, and the process proceeds to S209. If at least one of fdiff and θdiff does not exceed the predetermined threshold value, the image correction control unit 101-5 determines not to perform the image correction process, and the process proceeds to S211.

Ｓ２０９において、画像補正制御部１０１−５が、Ｓ２０６で算出した倍率比ｆｄｉｆｆとＳ２０７で算出した角度差θｄｉｆｆに基づいて、画像の切り出し領域と、幾何変換係数を算出する。切り出し領域Ａは、ステップＳ２０６で算出した倍率比ｆｄｉｆｆおよびステップＳ２０１で取得した撮影画角（ＦＯＶ）を用いて、式（３）のように表現できる。
Ａ＝ｆｄｉｆｆ＊ＦＯＶ・・・式（３） In step S209, the image correction control unit 101-5 calculates the cutout region of the image and the geometric conversion coefficient based on the magnification ratio fdiff calculated in step S206 and the angular difference θdiff calculated in step S207. The cutout area A can be expressed as in Expression (3) using the magnification ratio fdiff calculated in step S206 and the shooting angle of view (FOV) acquired in step S201.
A=fdiff*FOV Equation (3)

図７は、画像の切り出し領域を説明する図である。
画像補正制御部１０１−５は、図７（Ａ）に示すように、倍率比ｆｄｉｆｆと撮影画角（ＦＯＶ）とに基づいて、補正点を基準とした画像の切り出し領域を算出する。算出した切り出し領域は、注視領域に対応している。 FIG. 7 is a diagram illustrating an image cutout area.
As shown in FIG. 7A, the image correction control unit 101-5 calculates the cutout region of the image based on the correction point based on the magnification ratio fdiff and the shooting angle of view (FOV). The calculated cutout area corresponds to the gaze area.

次に、幾何変換係数の算出について説明する。撮像装置１００は、画像補正処理として、透視変換による画像の幾何変換処理を実行する。透視変換に係る手法は、公知であるので省略する。また、撮像装置１００は、アフィン変換や射影変換等の任意の幾何変換を用いてもよい。補正角度は、図２のＳ２０７で算出した角度差θｄｉｆｆと同等であり、補正角度から幾何変換係数を算出することができる。補正角度から幾何変換係数を算出する手段は、幾何変換手法に依存し、公知であるので、省略する。また、本実施例は、幾何変換の手法を制限するものではない。 Next, the calculation of the geometric conversion coefficient will be described. The image capturing apparatus 100 executes geometric transformation processing of an image by perspective transformation as image correction processing. A method related to perspective transformation is known and will not be described. Further, the image capturing apparatus 100 may use any geometric transformation such as affine transformation or projective transformation. The correction angle is equivalent to the angle difference θdiff calculated in S207 of FIG. 2, and the geometric conversion coefficient can be calculated from the correction angle. The means for calculating the geometrical transformation coefficient from the correction angle depends on the geometrical transformation method and is well known, so the description thereof will be omitted. Further, the present embodiment does not limit the method of geometric conversion.

図２のＳ２１０において、画像補正部１１８が、Ｓ２０９で算出された画像の切り出し領域と幾何変換係数とに基づいて、画像の幾何変換を実行する。画像補正部１１８は、例えば、図７（Ａ）に示す切り出し領域の画像に対して幾何変換処理を実行する。これにより、図７（Ｂ）に示すように、被写体のあおり（形状変化）や大きさの変化（倍率変化）が補正された補正画像が得られる。 In S210 of FIG. 2, the image correction unit 118 executes the geometric transformation of the image based on the cut-out region of the image and the geometric transformation coefficient calculated in S209. The image correction unit 118 executes, for example, a geometric conversion process on the image of the cutout area shown in FIG. As a result, as shown in FIG. 7B, a corrected image in which the tilt (shape change) and the size change (magnification change) of the subject are corrected can be obtained.

Ｓ２１１において、ＣＰＵ１０１が、像ブレ補正処理（防振処理）が継続されるかを判断する。防振機能が無効に設定された場合、ＣＰＵ１０１は、防振処理が継続されないと判断する。そして、処理が終了する。防振機能が無効に設定されておらず、有効である場合、ＣＰＵ１０１は、防振処理が継続されると判断する。そして、処理がＳ２０２に戻る。防振機能の有効または無効は、入力装置１１５もしくはネットワーク１２１を介して任意に設定することができる。本実施例の撮像装置１００によれば、パン・チルト防振によって発生する被写体のあおり（形状変化）や大きさの変化（倍率変化）を、注視領域に応じて効果的に補正することができる。 In S211, the CPU 101 determines whether the image blur correction process (anti-shake process) is continued. When the image stabilization function is set to be invalid, the CPU 101 determines that the image stabilization process is not continued. Then, the process ends. When the image stabilization function is not set to be invalid and is valid, the CPU 101 determines that the image stabilization process is continued. Then, the process returns to S202. Whether to enable or disable the image stabilization function can be arbitrarily set via the input device 115 or the network 121. According to the image pickup apparatus 100 of the present embodiment, the tilt (shape change) and size change (magnification change) of a subject caused by pan/tilt image stabilization can be effectively corrected according to the gaze area. ..

（実施例２）
図３は、実施例２の撮像装置が実行する画像補正処理を説明するフローチャートである。
実施例２の撮像装置は、複数の注視領域の各々に対応する補正点の重心を、画像補正処理の基準とする補正点として、ｆｄｉｆｆとθｄｉｆｆの算出に用いる。図２に示すＳは、ステップ番号を示す。 (Example 2)
FIG. 3 is a flowchart illustrating an image correction process executed by the image pickup apparatus according to the second embodiment.
The image pickup apparatus according to the second embodiment uses the center of gravity of the correction points corresponding to each of the plurality of gaze areas as the correction points that are used as the reference for the image correction processing in calculating fdiff and θdiff. S shown in FIG. 2 indicates a step number.

Ｓ３０１乃至Ｓ３０４は、図２のＳ２０１乃至Ｓ２０４と同様である。Ｓ３０５において、注視領域算出部１０１−２が、複数の注視領域と、各々の注視領域に対応する補正点を決定する。これにより、複数の補正点が決定される。Ｓ３０６において、撮像情報算出部１０１−３が、Ｓ３０５で決定された複数の補正点に対して重み付けを行う。撮像情報算出部１０１−３は、例えば、補正点と、重み付けに用いられる係数とが対応付けられたテーブルである重み付けテーブルを参照して、複数の補正点に対して重み付けを行う。重み付けテーブルは、例えば、ＲＯＭ１０９または記憶装置１１２に記憶される。 S301 to S304 are the same as S201 to S204 in FIG. In S305, the gaze area calculation unit 101-2 determines a plurality of gaze areas and correction points corresponding to each gaze area. Thereby, a plurality of correction points are determined. In S306, the imaging information calculation unit 101-3 weights the plurality of correction points determined in S305. The imaging information calculation unit 101-3 weights a plurality of correction points with reference to, for example, a weighting table that is a table in which correction points are associated with coefficients used for weighting. The weighting table is stored in the ROM 109 or the storage device 112, for example.

図８は、重み付けテーブルの一例を示す図である。
図８に示す重み付けテーブル７００には、領域１乃至５のそれぞれが示す注視領域の補正点ごとに、関連機能、機能優先係数７０１、検出利用頻度係数７０２、優先度設定係数７０３、重み付け係数７０４が設定される。
関連機能は、各々の注視領域の機能を示す。例えば、領域２に対応する関連機能は、人物検出であるので、領域２は、画像解析部１１９による人物検出という機能に用いられることがわかる。 FIG. 8 is a diagram showing an example of the weighting table.
In the weighting table 700 shown in FIG. 8, a related function, a function priority coefficient 701, a detection use frequency coefficient 702, a priority setting coefficient 703, and a weighting coefficient 704 are set for each correction point of the gaze area indicated by each of the areas 1 to 5. Is set.
The related function indicates the function of each gaze area. For example, since the related function corresponding to the area 2 is person detection, it can be understood that the area 2 is used for the function of person detection by the image analysis unit 119.

機能優先係数７０１は、注視領域の機能に応じて決まる優先度を示す係数である。検出利用頻度係数７０２は、画像解析部１１９による注視領域の画像解析結果の利用頻度に応じた係数である。画像解析結果の利用方法としては、通知イベントと紐付けて、表示装置１１６へ画像解析結果を表示する方法、ネットワーク１２１を介してメール等で通知する方法等がある。また、画像解析結果に応じて、所定のアクションイベントを発生させてもよい。例えば、画像解析結果に応じて、雲台１１０を駆動してパン・チルトするようにしてもよい。画像解析結果の利用方法は、公知であるので、詳細な説明を省略する。 The function priority coefficient 701 is a coefficient indicating the priority determined according to the function of the gaze area. The detection use frequency coefficient 702 is a coefficient according to the use frequency of the image analysis result of the gaze area by the image analysis unit 119. As a method of using the image analysis result, there are a method of displaying the image analysis result on the display device 116 in association with a notification event, a method of notifying by mail via the network 121, and the like. Further, a predetermined action event may be generated according to the image analysis result. For example, the pan/tilt head 110 may be driven to pan/tilt according to the image analysis result. Since the method of using the image analysis result is publicly known, detailed description will be omitted.

優先度設定係数７０３は、入力装置１１５もしくはネットワーク１２１を介して任意に設定される優先度である。重み付け係数７０４は、重み付けの際に各注視領域の補正点に対して付与される係数である。撮像情報算出部１０１−３は、機能優先度係数７０１乃至優先度設定係数７０３に基づいて、重み付け係数７０４を算出する。撮像情報算出部１０１−３は、算出した重み付け係数に基づき、それぞれの補正点に対して重み付けを実行した後、全ての補正点の重心を、補正点として決定する。当該決定された補正点が、画像補正処理の基準となり、ｆｄｉｆｆとθｄｉｆｆの算出に用いられる。本実施例は、重み付けの係数の演算方法を制限するものではない。図３のＳ３０７乃至Ｓ３１２は、図２のＳ２０８乃至Ｓ２１１と同様の処理である。実施例２の撮像装置１００によれば、パン・チルト防振によって発生する被写体のあおり（形状変化）や大きさの変化（倍率変化）を、複数の注視領域に応じて効果的に補正することができる。 The priority setting coefficient 703 is a priority arbitrarily set via the input device 115 or the network 121. The weighting coefficient 704 is a coefficient given to the correction point of each gaze area at the time of weighting. The imaging information calculation unit 101-3 calculates the weighting coefficient 704 based on the function priority coefficient 701 to the priority setting coefficient 703. The imaging information calculation unit 101-3 weights each correction point based on the calculated weighting coefficient, and then determines the centroids of all the correction points as the correction points. The determined correction point serves as a reference for image correction processing and is used for calculating fdiff and θdiff. The present embodiment does not limit the calculation method of the weighting coefficient. S307 to S312 of FIG. 3 are the same processes as S208 to S211 of FIG. According to the imaging apparatus 100 of the second embodiment, the tilt (shape change) and size change (magnification change) of a subject caused by pan/tilt image stabilization can be effectively corrected according to a plurality of gaze areas. You can

（実施例３）
図４は、実施例３の撮像装置が実行する画像補正処理を説明するフローチャートである。
実施例３の撮像装置１００は、前述した注視領域に対する画像補正処理を、処理の負荷に応じて制限する。具体的には、撮像装置１００は、幾何変換係数の大きさに応じて、画像の幾何変換処理を制限する。図３に示すＳは、ステップ番号を示す。 (Example 3)
FIG. 4 is a flowchart illustrating an image correction process executed by the image pickup apparatus according to the third embodiment.
The image pickup apparatus 100 according to the third embodiment limits the above-described image correction processing for the gaze area according to the processing load. Specifically, the image capturing apparatus 100 limits the geometric conversion processing of the image according to the size of the geometric conversion coefficient. S shown in FIG. 3 indicates a step number.

Ｓ４０１乃至Ｓ４０９は、図２のＳ２０１乃至Ｓ２０９と同様である。Ｓ４１０において、撮像情報算出部１０１−３が、幾何変形処理を実行するかを判断する。Ｓ４０９で算出された幾何変換係数が、所定の閾値を超えていない場合は、幾何変形処理に関する撮像装置１００の負荷は低い。したがって、この場合は、画像補正制御部１０１−５は、幾何変形処理を実行すると判断する。閾値は、ＣＰＵ１０１の稼働状況や同画像のフレームレートなどから算出される。幾何変換係数が、所定の閾値を超えている場合は、幾何変形処理に関する撮像装置１００の負荷は高い。したがって、この場合は、画像補正制御部１０１−５は、幾何変形処理を実行しない（制限する）と判断して、処理がＳ４１１に進む。Ｓ４１１は、図２のＳ２１０と同様である。なお、図４に示す例では、幾何変換係数の大きさに応じて、画像の幾何変換処理を制限しているが、画像の幾何変換処理を制限する条件は、幾何変換係数の大きさに限定されない。 S401 to S409 are the same as S201 to S209 in FIG. In S410, the imaging information calculation unit 101-3 determines whether to execute the geometric deformation process. When the geometric conversion coefficient calculated in S409 does not exceed the predetermined threshold, the load of the image pickup apparatus 100 on the geometric deformation process is low. Therefore, in this case, the image correction control unit 101-5 determines to execute the geometric deformation process. The threshold value is calculated from the operating status of the CPU 101, the frame rate of the image, and the like. When the geometric transformation coefficient exceeds a predetermined threshold, the load of the image pickup apparatus 100 on the geometric transformation process is high. Therefore, in this case, the image correction control unit 101-5 determines not to execute (restrict) the geometric deformation process, and the process proceeds to S411. S411 is the same as S210 of FIG. Note that, in the example shown in FIG. 4, the geometric conversion processing of the image is limited according to the size of the geometric conversion coefficient, but the condition for limiting the geometric conversion processing of the image is limited to the size of the geometric conversion coefficient. Not done.

次に、Ｓ４１２において、画像補正制御部１０１−５が、画像補正部１１８による画像補正処理（幾何変換処理）に関する情報である幾何変換補正情報を生成する。Ｓ４０８またはＳ４１０で、幾何変換による画像補正処理を実行しないと判断された場合は、Ｓ４１２において、画像補正制御部１０１−５は、未補正に係る幾何変換補正情報を生成する。また、Ｓ４０８、Ｓ４１０で、幾何変換による画像補正処理を実行すると判断された場合は、画像補正制御部１０１−５は、補正点と幾何変換補正係数等を含む幾何変換補正情報を生成する。 Next, in step S412, the image correction control unit 101-5 generates geometric conversion correction information that is information regarding the image correction processing (geometric conversion processing) by the image correction unit 118. When it is determined in S408 or S410 that the image correction processing by geometric conversion is not performed, the image correction control unit 101-5 generates uncorrected geometric conversion correction information in S412. Further, when it is determined in S408 and S410 that the image correction processing by geometric transformation is to be executed, the image correction control unit 101-5 generates geometric transformation correction information including correction points and geometric transformation correction coefficients.

画像補正制御部１０１−５は、幾何変換補正情報を、画像補正処理の後に処理を実行する所定の処理部に通知する。例えば、画像補正制御部１０１−５は、幾何変換補正情報を画像解析部１１９、圧縮伸張部１２０に通知する。例えば、圧縮伸張部１２０は、画像の圧縮処理の実行と共に、幾何変換補正情報をメタデータとして統合し、圧縮データを生成する。また、ＣＰＵ１０１が、バス１０６およびＩ／Ｆ１１４、ネットワーク１２１を介して、画像解析装置等の外部装置に圧縮データを通知してもよい。当該通知を受けた画像解析装置は、幾何変換補正情報に基づく解析処理を実行することができる。Ｓ４１３は、図２のＳ２１１と同様である。 The image correction control unit 101-5 notifies the geometric conversion correction information to a predetermined processing unit that executes processing after the image correction processing. For example, the image correction control unit 101-5 notifies the geometric analysis correction information to the image analysis unit 119 and the compression/decompression unit 120. For example, the compression/expansion unit 120 performs compression processing of an image, integrates geometric transformation correction information as metadata, and generates compressed data. Further, the CPU 101 may notify the external device such as the image analysis device of the compressed data via the bus 106, the I/F 114, and the network 121. The image analysis device that has received the notification can execute the analysis process based on the geometric transformation correction information. S413 is the same as S211 of FIG.

実施例３の撮像装置１００によれば、パン・チルト防振によって発生する被写体のあおり（形状変化）や大きさの変化（倍率変化）を、注視領域に対して効果的に補正することができるとともに、処理の負荷に応じて画像補正処理を制限することができる。上述した実施例１乃至３を任意に組み合わせてもよい。例えば、実施例３の変形例として、実施例２と同様に、複数の注視領域の各々の補正点の重心を画像補正処理の基準として、ｆｄｉｆｆおよびθｄｉｆｆを算出するようにしてもよい。 According to the image pickup apparatus 100 of the third embodiment, the tilt (shape change) and the size change (magnification change) of the subject caused by the pan/tilt image stabilization can be effectively corrected for the gaze area. At the same time, the image correction processing can be limited according to the processing load. The first to third embodiments described above may be combined arbitrarily. For example, as a modified example of the third embodiment, fdiff and θdiff may be calculated using the center of gravity of the correction points of each of the plurality of gaze areas as the reference for the image correction processing, as in the second embodiment.

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１００ 撮像装置
１０１ ＣＰＵ
１０２ 撮像部 100 image pickup device 101 CPU
102 Imaging unit

Claims (10)

被写体を撮影して撮像画像を出力する撮像手段と、
前記撮像手段を駆動して、撮像方向を変更する駆動手段と、
前記駆動手段を制御して、前記撮像手段に加わる振れにより生じる前記撮像画像に係る像ブレを補正する補正制御手段と、
前記撮像画像における注視領域と、前記注視領域に対する画像補正処理の基準となる補正点を決定する決定手段と、
前記撮像手段の撮影点と前記補正点とに応じた撮像情報を算出する算出手段と、
前記算出された撮像情報に基づいて、前記注視領域に対して画像補正処理を行う画像補正手段と、を備える
ことを特徴とする撮像装置。 Imaging means for photographing a subject and outputting a captured image;
Drive means for driving the image pickup means to change the image pickup direction;
A correction control unit that controls the drive unit to correct an image blur associated with the captured image caused by a shake applied to the image capturing unit;
A gaze area in the captured image, and a determination unit that determines a correction point that serves as a reference for image correction processing for the gaze area,
Calculation means for calculating image pickup information according to the image pickup point of the image pickup means and the correction point;
An image pickup device comprising: an image correction unit that performs an image correction process on the gaze area based on the calculated image pickup information. 前記算出手段は、現在の撮影点からの撮影と基準撮影点からの撮影との間での、倍率比、または前記撮影点と前記補正点とに応じて決まる撮影角度の差を前記撮像情報として算出する
ことを特徴とする請求項１に記載の撮像装置。 The calculating means uses, as the imaging information, a magnification ratio between the shooting from the current shooting point and the shooting from the reference shooting point, or a difference in shooting angle determined according to the shooting point and the correction point. The image pickup apparatus according to claim 1, wherein the image pickup apparatus is calculated. 前記画像補正手段は、前記倍率比または前記撮影角度の差が閾値を超えていない場合は、前記画像補正処理を実行しない
ことを特徴とする請求項２に記載の撮像装置。 The image pickup apparatus according to claim 2, wherein the image correction unit does not execute the image correction process when the magnification ratio or the difference between the shooting angles does not exceed a threshold value. 前記設定手段は、複数の前記注視領域と、各々の注視領域に対応する補正点を決定し、
前記算出手段は、前記決定された複数の注視領域に対して重み付けを行った上で、全ての前記補正点の重心を求め、求めた前記重心を補正点として、前記撮像情報を算出する
ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。 The setting means determines a plurality of gaze areas and correction points corresponding to each gaze area,
The calculating means calculates the center of gravity of all the correction points after weighting the determined plurality of gaze areas, and calculates the imaging information by using the calculated center of gravity as a correction point. The image pickup apparatus according to claim 1, wherein the image pickup apparatus is an image pickup apparatus. 前記設定手段は、所定の指定領域または所定の画像解析に係る検出領域を前記注視領域として設定する
ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。 The imaging device according to any one of claims 1 to 4, wherein the setting unit sets a predetermined designated area or a predetermined detection area related to image analysis as the gaze area. 前記画像補正手段は、前記撮像情報に基づいて、画像の切り出し領域と幾何変形係数とを算出し、算出された画像の切り出し領域と幾何変形係数とに基づいて、前記切り出し領域の画像の幾何変形処理を行う
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 The image correction unit calculates a cutout region of an image and a geometric deformation coefficient based on the image pickup information, and based on the calculated cutout region and geometric deformation coefficient of the image, the geometric deformation of the image of the cutout region. The image pickup apparatus according to claim 1, wherein processing is performed. 前記画像補正手段は、前記幾何変形係数が所定の閾値を超えている場合は、前記画像補正処理を制限する
ことを特徴とする請求項６に記載の撮像装置。 The image pickup apparatus according to claim 6, wherein the image correction means limits the image correction processing when the geometric deformation coefficient exceeds a predetermined threshold value. 前記画像補正処理に関する情報を外部装置に通知する通知手段を備える
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。 The image pickup apparatus according to any one of claims 1 to 7, further comprising a notification unit that notifies an external device of information regarding the image correction processing. 前記駆動手段は、前記撮像手段を水平方向または垂直方向に回転駆動する
ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。 The imaging device according to any one of claims 1 to 8, wherein the drive unit rotationally drives the imaging unit in a horizontal direction or a vertical direction. 被写体を撮影して撮像画像を出力する撮像手段と、前記撮像手段を駆動して、撮像方向を変更する駆動手段と、を備える撮像装置の制御方法であって、
前記駆動手段を制御して、前記撮像手段に加わる振れにより生じる前記撮像画像に係る像ブレを補正する工程と、
前記撮像画像における注視領域と、前記注視領域に対する画像補正処理の基準となる補正点を決定する工程と、
前記撮像手段の撮影点と前記補正点とに応じた撮像情報を算出する工程と、
前記算出された撮像情報に基づいて、前記画像補正処理を行う工程と、を有する
ことを特徴とする制御方法。 A control method for an image pickup apparatus, comprising: an image pickup unit that photographs a subject and outputs a picked-up image; and a drive unit that drives the image pickup unit to change an image pickup direction.
A step of controlling the driving means to correct an image blur related to the captured image caused by a shake applied to the imaging means;
A gazing area in the captured image, and a step of determining a correction point serving as a reference for image correction processing for the gazing area,
Calculating imaging information according to the imaging point of the imaging means and the correction point;
A step of performing the image correction process based on the calculated image pickup information.
JP2019007781A 2019-01-21 2019-01-21 Imaging device and its control method Active JP7301542B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019007781A JP7301542B2 (en) 2019-01-21 2019-01-21 Imaging device and its control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019007781A JP7301542B2 (en) 2019-01-21 2019-01-21 Imaging device and its control method

Publications (2)

Publication Number Publication Date
JP2020118758A true JP2020118758A (en) 2020-08-06
JP7301542B2 JP7301542B2 (en) 2023-07-03

Family

ID=71890626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019007781A Active JP7301542B2 (en) 2019-01-21 2019-01-21 Imaging device and its control method

Country Status (1)

Country Link
JP (1) JP7301542B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237251A (en) * 2009-03-30 2010-10-21 Canon Inc Imaging apparatus and control method of the same
JP2013192270A (en) * 2013-06-17 2013-09-26 Canon Inc Imaging apparatus, control method for the same, and program
JP2015022027A (en) * 2013-07-16 2015-02-02 キヤノン株式会社 Image pickup device and method for controlling the same
JP2018189730A (en) * 2017-04-28 2018-11-29 キヤノン株式会社 Image tremor correction device and control method for the same, program therefor, and storage medium
JP2020046498A (en) * 2018-09-18 2020-03-26 株式会社日立国際電気 Imaging device and tremor-damping method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010237251A (en) * 2009-03-30 2010-10-21 Canon Inc Imaging apparatus and control method of the same
JP2013192270A (en) * 2013-06-17 2013-09-26 Canon Inc Imaging apparatus, control method for the same, and program
JP2015022027A (en) * 2013-07-16 2015-02-02 キヤノン株式会社 Image pickup device and method for controlling the same
JP2018189730A (en) * 2017-04-28 2018-11-29 キヤノン株式会社 Image tremor correction device and control method for the same, program therefor, and storage medium
JP2020046498A (en) * 2018-09-18 2020-03-26 株式会社日立国際電気 Imaging device and tremor-damping method

Also Published As

Publication number Publication date
JP7301542B2 (en) 2023-07-03

Similar Documents

Publication Publication Date Title
US9019387B2 (en) Imaging device and method of obtaining image
JP5205337B2 (en) Target tracking device, image tracking device, operation control method thereof, and digital camera
JP2005252626A (en) Image pickup device and image processing method
EP3644598A1 (en) Control apparatus, imaging apparatus, control method, and program
KR102529479B1 (en) Control apparatus, control method, and storage medium
US20130120635A1 (en) Subject detecting method and apparatus, and digital photographing apparatus
JP2013017165A (en) Imaging apparatus
JP2007243335A (en) Camera shake correction method, camera shake correction apparatus, and imaging apparatus
JP6223161B2 (en) Image processing apparatus, imaging apparatus including the same, and image processing method
JP6282133B2 (en) Imaging device, control method thereof, and control program
JP6152991B2 (en) Image generation apparatus, camera apparatus, image display apparatus, and image generation method
JP2014050039A (en) Image processor, image processing method and computer program
JP7301542B2 (en) Imaging device and its control method
JP6231816B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2020129019A (en) Imaging device and control method therefor
US8619119B2 (en) Digital photographing apparatus
JP2016111561A (en) Information processing device, system, information processing method, and program
JP5341655B2 (en) Imaging apparatus and control method thereof
JP6316030B2 (en) Imaging apparatus and control method thereof
JP2015095670A (en) Imaging apparatus, control method thereof and control program
JP2012253451A (en) Imaging device and program
JP2012029138A (en) Imaging apparatus
JP2024074622A (en) Imaging device, its control means, and program
JP6381212B2 (en) Imaging apparatus and control method thereof
JP2007235806A (en) Image processor, photographic device, image processing method, and control program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230621

R151 Written notification of patent or utility model registration

Ref document number: 7301542

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151