JP2018142939A - Imaging device, imaging system, method for controlling the same, and program - Google Patents

Imaging device, imaging system, method for controlling the same, and program Download PDF

Info

Publication number
JP2018142939A
JP2018142939A JP2017037717A JP2017037717A JP2018142939A JP 2018142939 A JP2018142939 A JP 2018142939A JP 2017037717 A JP2017037717 A JP 2017037717A JP 2017037717 A JP2017037717 A JP 2017037717A JP 2018142939 A JP2018142939 A JP 2018142939A
Authority
JP
Japan
Prior art keywords
distortion correction
area
evaluation
evaluation value
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017037717A
Other languages
Japanese (ja)
Other versions
JP6971589B2 (en
JP2018142939A5 (en
Inventor
憲太朗 小暮
Kentaro Kogure
憲太朗 小暮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017037717A priority Critical patent/JP6971589B2/en
Publication of JP2018142939A publication Critical patent/JP2018142939A/en
Publication of JP2018142939A5 publication Critical patent/JP2018142939A5/ja
Application granted granted Critical
Publication of JP6971589B2 publication Critical patent/JP6971589B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide, in an omnidirectional camera including a wide angle lens, means that, even when designated to distribute videos corresponding to different display modes to a plurality of users, can photograph a video with an optimal photographing parameter according to the combination of the display modes.SOLUTION: An omnidirectional camera including a wide angle lens comprises: means that performs distortion correction processing adapted to a display mode designated by a user; and means that designates an evaluation area for calculating an evaluation value to determine a photographing parameter for lens control and image processing, and the omnidirectional camera changes the evaluation area on the basis of the combination of the display modes (i.e., distortion correction processing) designated by the user.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置、撮像システム、その制御方法およびプログラムに関し、特に、被写体撮影時のカメラ制御に用いる画像信号の評価エリアの設定に関する。   The present invention relates to an imaging apparatus, an imaging system, a control method thereof, and a program, and more particularly to setting of an evaluation area of an image signal used for camera control at the time of photographing an object.

従来、監視カメラの種別の1つとして広角レンズを搭載した全方位カメラが浸透してきている。1台で360°監視することができるので、台数・コストの削減につながる。また、全方位カメラ魚眼画像(全方位画像)をそのまま出力する以外に、複数種類の表示形態に対応して歪補正処理を施した画像や映像を出力可能なカメラが一般的である。また、人体検知や動体検知といった各種Video Content Analysis(以下、VCA)等を使用する際には、魚眼画像(全方位画像)に対して歪補正を施した後の画像を用いることも多い。更に、複数種類の歪補正処理を行った複数の映像を出力可能であり、撮影環境や設置環境に応じた監視ができることも特徴のひとつである。   Conventionally, an omnidirectional camera equipped with a wide-angle lens has been penetrating as one type of surveillance camera. One unit can monitor 360 °, which leads to reduction of the number and cost. Further, in addition to outputting an omnidirectional camera fisheye image (omnidirectional image) as it is, a camera that can output images and videos subjected to distortion correction processing corresponding to a plurality of types of display forms is generally used. In addition, when using various Video Content Analysis (hereinafter referred to as VCA) such as human body detection or moving body detection, an image obtained by performing distortion correction on a fisheye image (omnidirectional image) is often used. Further, it is one of the features that a plurality of images that have been subjected to a plurality of types of distortion correction processing can be output, and monitoring according to the shooting environment and the installation environment can be performed.

全方位カメラで切り出し範囲(表示範囲)を設定可能な構成において、特許文献1には、歪補正後の撮像画像における分割領域毎に画像処理パラメータを算出し、切り出し領域の画像に対して混合補正を行う方法が開示されている。   In a configuration in which a clipping range (display range) can be set with an omnidirectional camera, Patent Document 1 calculates image processing parameters for each divided region in a captured image after distortion correction, and performs mixed correction on the image in the clipping region. A method of performing is disclosed.

特開2015−226149号公報JP2015-226149A

しかしながら、特許文献1では、全方位画像全体を1つの矩形に補正するように歪補正処理を行う構成について記載されているだけで、それ以外の異なる歪補正を施す場合については開示されていない。すなわち、ユーザーにより異なる歪補正を施したカメラの映像が要求された場合に、露出制御や画像処理などのカメラ制御が適切にされない場合がある。   However, Patent Document 1 describes only a configuration for performing distortion correction processing so as to correct the entire omnidirectional image into one rectangle, and does not disclose a case of performing other different distortion correction. That is, when a camera image with different distortion correction is requested by the user, camera control such as exposure control and image processing may not be performed properly.

そこで、本発明の目的は、複数種類の異なる歪補正処理を施した映像を出力可能な構成において、出力する映像に最適なカメラ制御が可能な手段を提供することである。   Therefore, an object of the present invention is to provide means capable of optimal camera control for an output video in a configuration capable of outputting a video having been subjected to a plurality of different distortion correction processes.

上記目的を達成するために、本発明は、被写体を撮像して画像信号を生成する撮像手段と、前記画像信号から評価値を算出する評価値算出手段と、前記評価値算出手段で評価する領域を設定する評価エリア設定手段と、前記評価値算出手段の結果に応じて前記撮像手段を制御する制御手段と、前記画像信号に対して1つ以上の歪補正処理を行う歪補正手段と、を有し、前記評価エリア設定手段は、前記1つ以上の歪補正処理の種類に応じて前記評価エリアを変更することを特徴とする。   In order to achieve the above object, the present invention provides an imaging unit that images a subject to generate an image signal, an evaluation value calculation unit that calculates an evaluation value from the image signal, and an area that is evaluated by the evaluation value calculation unit Evaluation area setting means for setting the image, control means for controlling the imaging means according to the result of the evaluation value calculation means, and distortion correction means for performing one or more distortion correction processes on the image signal, And the evaluation area setting means changes the evaluation area in accordance with the type of the one or more distortion correction processes.

本発明によれば、複数種類の異なる歪補正処理を施した映像を出力可能な構成において、出力する映像に最適なカメラ制御を実現することができる。   According to the present invention, it is possible to realize optimal camera control for a video to be output in a configuration capable of outputting a video subjected to a plurality of different types of distortion correction processing.

本発明の実施形態に係る撮像システムの構成例を示す図The figure which shows the structural example of the imaging system which concerns on embodiment of this invention. 本発明の実施形態に係る撮像装置の撮像部の構成例を示す図The figure which shows the structural example of the imaging part of the imaging device which concerns on embodiment of this invention. 本発明の実施形態に係る映像(ストリーム)の種類の例Examples of types of video (stream) according to the embodiment of the present invention 本発明の実施形態に係る全方位カメラで天井から床方向を撮影した画像の例Example of image taken from ceiling to floor with omnidirectional camera according to an embodiment of the present invention 本発明の実施形態に係る全方位画像をダブルパノラマで表示した画像の例Example of an image in which an omnidirectional image according to an embodiment of the present invention is displayed in a double panorama 本発明の実施形態に係る歪補正処理後に出力される画像の例Examples of images output after distortion correction processing according to an embodiment of the present invention 第1の実施形態に係る撮像装置の評価エリアの設定処理を示すフローチャート6 is a flowchart showing processing for setting an evaluation area of the imaging apparatus according to the first embodiment. 第1の実施形態に係る図4および図5の歪補正処理が設定されている場合の評価エリアが設定された画像の例Example of an image in which an evaluation area is set when the distortion correction processing in FIGS. 4 and 5 according to the first embodiment is set 第1の実施形態に係る図6および図6の歪補正処理が設定されている場合の評価エリアが設定された画像の例Example of an image in which an evaluation area is set when the distortion correction processing in FIGS. 6 and 6 according to the first embodiment is set 第1の実施形態に係る図8および図9の評価エリアを考慮した場合の評価エリアが設定された画像の例Example of an image in which an evaluation area is set in consideration of the evaluation areas of FIGS. 8 and 9 according to the first embodiment 第2の実施形態に係る複数の映像に対して複数種類の歪補正処理が選択されている場合の例を示す表Table showing an example in which a plurality of types of distortion correction processing are selected for a plurality of videos according to the second embodiment 本発明の第2の実施形態に係る撮像システムの評価エリア設定処理を示すフローチャートThe flowchart which shows the evaluation area setting process of the imaging system which concerns on the 2nd Embodiment of this invention. 第2の実施形態に係る評価エリア選択部で任意の評価エリアが選択されている場合の画像の例Example of an image when an arbitrary evaluation area is selected by the evaluation area selection unit according to the second embodiment 第2の実施形態に係る歪補正選択部で歪補正が選択されている場合の評価エリアが設定された画像の例Example of an image in which an evaluation area is set when distortion correction is selected by the distortion correction selection unit according to the second embodiment

以下に、本発明の好ましい実施形態の一例を、添付の図面に基づいて詳細に説明する。以下では、撮像装置としてカメラを用いる場合を例に説明する。   Hereinafter, an example of a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, a case where a camera is used as the imaging device will be described as an example.

図1は、第1の実施形態に係る撮像システムの構成例を示す図である。図1において、撮像装置10は、クライアント装置11(情報処理装置)と相互に通信可能な状態に接続されている。   FIG. 1 is a diagram illustrating a configuration example of an imaging system according to the first embodiment. In FIG. 1, the imaging device 10 is connected to a client device 11 (information processing device) in a state where it can communicate with each other.

撮像装置10が有する撮像部101(撮像手段)は、被写体像を撮像するための撮像部(撮像手段)である。撮像部101は、不図示の撮像光学系としてのレンズから入射した光を、不図示の撮像素子が電気信号に変換する。撮像部101の動作は、後述する評価値算出部103により取得される評価値算出結果や、不図示の画像解析手段による画像認識結果や被写体情報に基づいて、制御部104によって制御される。   An imaging unit 101 (imaging unit) included in the imaging apparatus 10 is an imaging unit (imaging unit) for capturing a subject image. In the imaging unit 101, an imaging element (not shown) converts light incident from a lens as an imaging optical system (not shown) into an electrical signal. The operation of the imaging unit 101 is controlled by the control unit 104 based on an evaluation value calculation result acquired by an evaluation value calculation unit 103 described later, an image recognition result by an image analysis unit (not shown), and subject information.

画像生成部102は、撮像部101から出力された輝度信号および色信号からRGB画像やYUV画像等の画像信号を生成する。   The image generation unit 102 generates an image signal such as an RGB image or a YUV image from the luminance signal and the color signal output from the imaging unit 101.

評価値算出部103は、画像生成部102で生成された画像信号の所定のエリアを評価して評価値を算出する。評価値としては、例えば、輝度成分、色成分、エッジ成分、コントラスト値、ノイズ成分、絞り情報、フォーカス情報、振れ情報などを算出できる。また、評価値は画像信号の領域毎に重み付けを変更してもよい。   The evaluation value calculation unit 103 evaluates a predetermined area of the image signal generated by the image generation unit 102 and calculates an evaluation value. As the evaluation value, for example, a luminance component, a color component, an edge component, a contrast value, a noise component, aperture information, focus information, shake information, and the like can be calculated. Further, the evaluation value may be changed in weight for each area of the image signal.

制御部104は、撮像装置10の全体を制御し、撮像や画像処理、映像出力、などの制御を行う。図示しないCPU(コンピュータ)、メモリ(ROM、RAM)を有し、CPUはメモリからロードしたコンピュータプログラムに従い、撮像装置10の各機能ブロックの制御およびそのために必要な演算を行う。例えば、撮像部101内の、撮像素子202内での露光時間制御、AGC204内のゲイン制御等の露出制御およびホワイトバランスを制御する。また、レンズ201のズーム動作やフォーカス動作の制御を行う。   The control unit 104 controls the entire imaging apparatus 10 and controls imaging, image processing, video output, and the like. A CPU (computer) and a memory (ROM, RAM) (not shown) are provided, and the CPU controls each functional block of the image pickup apparatus 10 and performs a calculation necessary for the operation according to a computer program loaded from the memory. For example, exposure control and white balance control such as exposure time control in the image sensor 202 and gain control in the AGC 204 in the imaging unit 101 are controlled. Also, the zoom operation and focus operation of the lens 201 are controlled.

評価エリア設定部105は、評価値算出部103で評価値を算出するために評価する評価エリアを設定し、設定された評価エリアの信号に基づいて、撮像部101や、後述する画像処理部を制御するためのパラメータが決定される。エリアは複数設定することが可能で、全体エリアやエリア内の所定領域、エリアの中心からの距離等に応じて評価値を算出する際の重み付けを変更してもよい。   The evaluation area setting unit 105 sets an evaluation area to be evaluated in order to calculate the evaluation value by the evaluation value calculation unit 103, and the imaging unit 101 or an image processing unit to be described later is set based on the signal of the set evaluation area. Parameters for controlling are determined. A plurality of areas can be set, and the weight for calculating the evaluation value may be changed according to the entire area, a predetermined area in the area, the distance from the center of the area, or the like.

画像処理部106は、例えば、Digital Signal Processing(DSP)などから構成され、デジタル信号に対して色変換、信号処理された画像の階調変換を行うガンマ処理、ノイズ低減処理など種々の画像処理を行う。画像処理部106の動作は、評価値算出部103により取得される評価値算出結果や、不図示の画像解析手段による画像認識結果や被写体情報に基づいて、制御部104によって制御される。   The image processing unit 106 includes, for example, digital signal processing (DSP), and performs various image processing such as color conversion on a digital signal, gamma processing that performs gradation conversion of a signal-processed image, and noise reduction processing. Do. The operation of the image processing unit 106 is controlled by the control unit 104 based on an evaluation value calculation result acquired by the evaluation value calculation unit 103, an image recognition result by an image analysis unit (not shown), and subject information.

歪補正処理部107は、画像処理部106で画像処理を施された画像に対して幾何学的変換などの歪補正処理を行う。   The distortion correction processing unit 107 performs distortion correction processing such as geometric transformation on the image subjected to image processing by the image processing unit 106.

歪補正設定部108は、歪補正処理部107で行う歪補正の種類を設定する。歪補正の種類は、通信部109を介しクライアント装置11(情報処理装置)から設定可能である。例えば、外部端末により出力映像(ストリーム)の種類を選択し、歪補正設定部108がその出力映像(ストリーム)の種類の情報に基づいた歪補正の種類を設定する。また、例えば、画像認識や動体検知などの解析機能や、解析機能が設定されている領域に基づいて歪補正の種類を設定してもよい。   The distortion correction setting unit 108 sets the type of distortion correction performed by the distortion correction processing unit 107. The type of distortion correction can be set from the client device 11 (information processing device) via the communication unit 109. For example, the type of output video (stream) is selected by an external terminal, and the distortion correction setting unit 108 sets the type of distortion correction based on information on the type of the output video (stream). Further, for example, the type of distortion correction may be set based on an analysis function such as image recognition or moving object detection, or a region where the analysis function is set.

通信部109は、歪補正処理107で歪補正された画像信号をクライアント装置11(情報処理装置)などの外部端末へ、要求された画像を出力し、また、映像配信を行う。画像信号の出力先、映像の配信先はカメラに内蔵されているディスプレイや独立している外部のディスプレイでもよい。また、画像信号から複数の映像ストリームを生成し出力してもよい。また、本システムの状態や処理結果などを外部ネットワークを介して外部端末に出力し、または本システムの動作を制御するための制御情報などを外部端末から入力するために用いられる。制御部104が、通信部109を介して入力された情報を取得し、その情報に基づいて各機能ブロックの制御を行う。   The communication unit 109 outputs the requested image to the external terminal such as the client apparatus 11 (information processing apparatus), and distributes the video signal. The output destination of the image signal and the distribution destination of the video may be a display built in the camera or an independent external display. A plurality of video streams may be generated from the image signal and output. Further, it is used for outputting the state of the system and processing results to an external terminal via an external network, or inputting control information for controlling the operation of the system from the external terminal. The control unit 104 acquires information input via the communication unit 109 and controls each functional block based on the information.

クライアント装置11(情報処理装置)に関して以下に説明する。評価エリア選択部111は、ユーザー操作により画像信号上の任意の評価エリアを選択する。   The client device 11 (information processing device) will be described below. The evaluation area selection unit 111 selects an arbitrary evaluation area on the image signal by a user operation.

歪補正選択部112は、ユーザー操作により歪補正の種類を選択する。   The distortion correction selection unit 112 selects a distortion correction type by a user operation.

表示部113は、撮像装置10の出力部109からの出力を任意の表示形式で表示する。   The display unit 113 displays the output from the output unit 109 of the imaging device 10 in an arbitrary display format.

通信部114は、選択された評価エリアや歪補正の種類または出力映像(ストリーム)の種類の情報や、撮像装置10に対する指示、画像解析結果などの情報を撮像装置10へ出力する。また、撮像装置10より出力された画像信号を入力し、表示部113へ表示させる。   The communication unit 114 outputs information such as the selected evaluation area, distortion correction type or output video (stream) type information, an instruction to the imaging device 10, and an image analysis result to the imaging device 10. Further, the image signal output from the imaging device 10 is input and displayed on the display unit 113.

ここで、図2は本発明の実施形態に係る撮像装置の撮像部の構成例を示す図である。撮像部101は、レンズ201、撮像素子202、CDS回路203、AGC204、A/D変換205を備える。   Here, FIG. 2 is a diagram illustrating a configuration example of the imaging unit of the imaging apparatus according to the embodiment of the present invention. The imaging unit 101 includes a lens 201, an imaging element 202, a CDS circuit 203, an AGC 204, and an A / D conversion 205.

レンズ201は、数枚のレンズ群からなり、被写体像を撮像素子202に結像する。レンズ201は歪みが多く画角が広い広角レンズや魚眼レンズでもよい。本実施形態では、魚眼レンズの場合に関して説明する。   The lens 201 is composed of several lens groups, and forms a subject image on the image sensor 202. The lens 201 may be a wide-angle lens or a fish-eye lens with a large distortion and a wide angle of view. In the present embodiment, the case of a fisheye lens will be described.

撮像素子202は、例えばCCDやCMOSなどであり、撮像光学系としてのレンズ201を介して結像された被写体像を電気信号に変換する。   The image sensor 202 is, for example, a CCD or a CMOS, and converts a subject image formed through a lens 201 as an imaging optical system into an electrical signal.

CDS回路203(Correlated Double Sampling回路)は、撮像素子202から出力された電気信号に対して雑音軽減を行う相関二重サンプリング処理などを実施する。   A CDS circuit 203 (Correlated Double Sampling circuit) performs correlated double sampling processing that performs noise reduction on the electrical signal output from the image sensor 202.

AGCアンプ204(Automatic Gain Control回路)は、カメラの利得制御を自動で行うゲインコントロールアンプ回路であり、CDS回路203から出力された電気信号に対して増幅処理などを行う。   An AGC amplifier 204 (Automatic Gain Control circuit) is a gain control amplifier circuit that automatically controls the gain of the camera, and performs amplification processing on the electrical signal output from the CDS circuit 203.

A/D変換205は、AGCアンプ204により増幅処理されたアナログ信号をデジタル信号へと変換する。   The A / D converter 205 converts the analog signal amplified by the AGC amplifier 204 into a digital signal.

ここで図3を用いて、映像(ストリーム)の種類と、歪補正設定部108で選択される歪補正の種類の例を説明する。図3は、本発明の実施形態に係る出力映像(ストリーム)の種類の例である。なお、映像の種類および歪み補正の種類は1例であり、分割数、分割エリアの形状などは以下に限られない。   Here, an example of the type of video (stream) and the type of distortion correction selected by the distortion correction setting unit 108 will be described with reference to FIG. FIG. 3 is an example of types of output video (stream) according to the embodiment of the present invention. Note that the type of video and the type of distortion correction are examples, and the number of divisions, the shape of divided areas, and the like are not limited to the following.

(A)は、魚眼と称する。全方位画像の全領域が有効領域で、撮影した映像をそのまま配信する。歪補正設定部108では、歪補正処理をしない設定となる。   (A) is called fisheye. The entire area of the omnidirectional image is the effective area, and the captured video is distributed as it is. The distortion correction setting unit 108 is set not to perform distortion correction processing.

(B)は、ダブルパノラマと称する。全方位画像を2分割し、歪補正処理を施した画像を合成したパノラマ画像として配信する。歪補正設定部108では、2分割された領域をそれぞれ矩形になるよう歪補正の種類を設定する。   (B) is called a double panorama. The omnidirectional image is divided into two and distributed as a panoramic image obtained by synthesizing the image subjected to distortion correction processing. The distortion correction setting unit 108 sets the type of distortion correction so that each of the two divided areas is rectangular.

(C)は、シングルパノラマと称する。全方位画像を1つのパノラマ画像として配信する。歪補正設定部108では、全方位画像が1つの矩形になるような歪補正処理の種類を設定する。   (C) is called single panorama. An omnidirectional image is distributed as one panoramic image. The distortion correction setting unit 108 sets the type of distortion correction processing so that the omnidirectional image becomes one rectangle.

(D)は、4画ストリームと称する。全方位画像を4つの領域を切り出し、それぞれを1つのストリームとして配信する。歪補正設定部108では、4つの領域それぞれを矩形になる歪補正処理の種類を設定する。この図の例の場合、4分割であるので4本のストリームとして配信するが、分割数はこれに限られない。   (D) is referred to as a 4-stroke stream. Four areas are cut out from the omnidirectional image, and each is distributed as one stream. The distortion correction setting unit 108 sets the type of distortion correction processing in which each of the four areas is rectangular. In the case of the example in this figure, since it is divided into four, it is distributed as four streams, but the number of divisions is not limited to this.

(E)は、4画合成と称する。(D)と同様に、全方位画像を4つの領域を切り出して画像補正を施すが、最終的に4つの画像を合成して配信する。歪補正設定部108で選択される歪補正処理の種類は、(D)と同様である。分割数はこれに限られない。   (E) is referred to as 4-stroke composition. As in (D), four areas of the omnidirectional image are cut out and subjected to image correction. Finally, the four images are synthesized and distributed. The type of distortion correction processing selected by the distortion correction setting unit 108 is the same as (D). The number of divisions is not limited to this.

なお、図3に示した例において、(B)、(D)、(E)の映像ストリームが選択されている場合は、全体画像の中心部分は映像として配信されない。   In the example shown in FIG. 3, when the video streams (B), (D), and (E) are selected, the central portion of the entire image is not distributed as video.

ここで、図4〜図6を用いて歪補正処理部107で歪補正処理される画像の例を説明する。図4は、本発明の実施形態に係る全方位カメラで天井から床方向を撮影した画像の例である。図4の画像30は、天井に設置された魚眼レンズを備えたカメラで、床に対して垂直な方向を撮影した場合の歪補正がされていない画像全体を示す。これは図3(A)の魚眼画像と同等の画像である。   Here, an example of an image subjected to distortion correction processing by the distortion correction processing unit 107 will be described with reference to FIGS. FIG. 4 is an example of an image obtained by photographing the floor direction from the ceiling with the omnidirectional camera according to the embodiment of the present invention. An image 30 in FIG. 4 shows an entire image that has not been subjected to distortion correction when a direction perpendicular to the floor is photographed by a camera equipped with a fisheye lens installed on the ceiling. This is an image equivalent to the fisheye image of FIG.

図5は、本発明の実施形態に係る全方位画像をダブルパノラマ画像の例である。図3(B)に示したように、本実施形態において、ダブルパノラマとは、全方位画像の全体を2分割し、それぞれに対して歪補正を行い並べた画像形態である。図4の魚眼画像から、画像30うちの破線で区切られた一部の領域300の部分を除外して、同じく破線で区切られた領域301、領域302をそれぞれ切り出して歪補正処理を行い、領域302を上下反転させている。この場合、図4の破線で区切られた領域300が無効領域、領域301および領域302が有効領域である。   FIG. 5 is an example of a double panoramic image as an omnidirectional image according to the embodiment of the present invention. As shown in FIG. 3B, in this embodiment, the double panorama is an image form in which the entire omnidirectional image is divided into two parts, and distortion correction is performed on each of the two images. 4, by excluding a part of the region 300 delimited by the broken line in the image 30, the region 301 and the region 302 also similarly delimited by the broken line are cut out, and distortion correction processing is performed. The region 302 is turned upside down. In this case, an area 300 divided by a broken line in FIG. 4 is an invalid area, and an area 301 and an area 302 are valid areas.

さらに、別の歪補正処理の例として、図6は、第1の実施形態に係る歪補正処理後に出力される画像の例である。図4の実線で区切られた領域400〜402を部分的に切り出して、図6の領域401〜402のように切り出した部分画像を繋げて1つの画像として生成している。この場合、図4の実線で区切られた領域400〜402が有効領域、それ以外が無効領域である。なお、ここでは切り出し領域を1つの画像として合成しているが、それぞれを別の映像ストリームとして配信する構成としてもよい。   Further, as another example of the distortion correction process, FIG. 6 is an example of an image output after the distortion correction process according to the first embodiment. Regions 400 to 402 divided by solid lines in FIG. 4 are partially cut out, and the partial images cut out like regions 401 to 402 in FIG. 6 are connected to generate one image. In this case, the areas 400 to 402 divided by the solid line in FIG. 4 are valid areas, and the other areas are invalid areas. Although the cutout areas are combined as one image here, each may be distributed as a separate video stream.

(第1の実施形態)
ここで、図7および図10を用いて、本発明の第1の実施形態について詳細に説明する。まず、図7のフローチャートを用いて、設定されている歪補正処理の種類に応じて露出制御時の測光に用いる評価エリアを設定する際の例を説明する。
(First embodiment)
Here, the first embodiment of the present invention will be described in detail with reference to FIGS. First, an example of setting an evaluation area used for photometry at the time of exposure control according to the set type of distortion correction processing will be described using the flowchart of FIG.

図7は、本発明の第1の実施形態に係る撮像装置の評価エリアの設定処理を示すフローチャートである。図7のフローチャートは、制御部104によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部104が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。ここでは、撮像部101、画像生成部102、評価値算出部103、制御部104、評価エリア設定部105、画像処理部106、歪補正処理部107、歪補正設定部108、通信部109が主に動作することにより処理が実現される。   FIG. 7 is a flowchart showing an evaluation area setting process of the imaging apparatus according to the first embodiment of the present invention. The flowchart in FIG. 7 illustrates a processing procedure executed by the control unit 104 controlling each processing block. This is realized by developing a program stored in a memory (ROM) of the control unit 104 in the memory (RAM) and executing it by the CPU. Here, the imaging unit 101, the image generation unit 102, the evaluation value calculation unit 103, the control unit 104, the evaluation area setting unit 105, the image processing unit 106, the distortion correction processing unit 107, the distortion correction setting unit 108, and the communication unit 109 are mainly used. The processing is realized by operating in the same manner.

まず、ステップS101では、歪補正設定部108で設定される歪補正処理の種類が複数設定されているか判定する。歪補正設定部108において単一種類の歪補正処理が設定されている場合はステップS102へ進み、複数種類の歪補正処理が設定されている場合は、ステップS103へ進む。   First, in step S101, it is determined whether a plurality of distortion correction processing types set by the distortion correction setting unit 108 are set. If a single type of distortion correction process is set in the distortion correction setting unit 108, the process proceeds to step S102, and if a plurality of types of distortion correction process is set, the process proceeds to step S103.

ステップS102へ進んだ場合、設定されている歪補正処理は単一種類であるため、評価エリア設定部105は、歪補正設定部108で設定されている現在の歪補正処理の種類に応じた評価エリアを設定する。例えば、歪補正設定部108において図3(B)および図5に示したダブルパノラマの例のような歪補正処理が設定されている場合は、評価エリア設定部105は、ダブルパノラマにおける有効領域を評価エリアとして設定する。具体的には、図8に示すように、撮像範囲全体のうち灰色領域801を露出制御のための測光に用いる評価エリアとして設定する。ここで、図8に示す格子状の部分は、評価エリア設定部105で設定可能な評価領域を表していて、格子で示された領域ごとに評価エリアとするか否かを設定可能である。また、歪補正設定部108において図6のような歪補正処理が設定されている場合は、評価エリア設定部105は、図9に示すように灰色領域901〜903を露出制御のための測光に用いる評価エリアとして設定する。   When the process proceeds to step S102, since the set distortion correction process is of a single type, the evaluation area setting unit 105 evaluates according to the type of the current distortion correction process set by the distortion correction setting unit 108. Set the area. For example, when the distortion correction processing such as the double panorama example shown in FIGS. 3B and 5 is set in the distortion correction setting unit 108, the evaluation area setting unit 105 sets the effective area in the double panorama. Set as an evaluation area. Specifically, as shown in FIG. 8, the gray area 801 in the entire imaging range is set as an evaluation area used for photometry for exposure control. Here, the grid-like portion shown in FIG. 8 represents an evaluation area that can be set by the evaluation area setting unit 105, and it is possible to set whether or not to set an evaluation area for each area indicated by the grid. When the distortion correction processing as shown in FIG. 6 is set in the distortion correction setting unit 108, the evaluation area setting unit 105 uses the gray areas 901 to 903 for photometry for exposure control as shown in FIG. Set as the evaluation area to be used.

一方、ステップS103へ進んだ場合、歪補正設定部108において複数種類の歪補正処理が設定されているので、その設定された歪補正処理の種類の組み合わせを取得する。ここで、図11には、複数の映像1〜5が出力映像として選択されている場合に、対応する歪補正設定部108の歪補正の種類の例を表として示している。例えば、歪補正処理1は図5のダブルパノラマと同様の歪補正処理で、歪補正処理2は図6の領域切り出しの場合と同様歪補正処理とする。例えば、取得した歪補正処理の組み合わせが図11の映像4(魚眼)を除いた組合せだったとして、以下説明する。   On the other hand, when the process proceeds to step S103, since a plurality of types of distortion correction processing are set in the distortion correction setting unit 108, a combination of the set types of distortion correction processing is acquired. Here, FIG. 11 shows a table of examples of distortion correction types of the corresponding distortion correction setting unit 108 when a plurality of videos 1 to 5 are selected as output videos. For example, the distortion correction process 1 is a distortion correction process similar to the double panorama of FIG. 5, and the distortion correction process 2 is a distortion correction process similar to the case of the area cutout of FIG. 6. For example, the following description will be made assuming that the acquired combination of distortion correction processing is a combination excluding the image 4 (fisheye) in FIG.

ステップS104へ進み、評価エリア設定部105は、歪補正処理の種類の組み合わせを考慮した評価エリアを設定する。取得した歪補正処理の組み合わせが図11の映像4(魚眼)を除いた組合せだった場合、歪補正処理1(ダブルパノラマ対応の歪補正)および歪補正処理2(領域切り出しに対応した歪補正)の2種類の歪補正処理が設定されていることになる。その場合は、評価エリア設定部105は、図8と図9を組み合わせた図10の灰色領域1001を露出制御のための測光に用いる評価エリアとして設定する。   Proceeding to step S104, the evaluation area setting unit 105 sets an evaluation area in consideration of a combination of types of distortion correction processing. When the acquired combination of distortion correction processing is a combination excluding the image 4 (fisheye) in FIG. 11, distortion correction processing 1 (distortion correction corresponding to double panorama) and distortion correction processing 2 (distortion correction corresponding to area clipping) ) Two types of distortion correction processing are set. In this case, the evaluation area setting unit 105 sets the gray area 1001 in FIG. 10 that is a combination of FIGS. 8 and 9 as an evaluation area used for photometry for exposure control.

以上のフローにより、評価エリア設定部105は評価エリアを設定し、その設定された評価エリアにおいて評価値算出部103で算出された評価値に基づいて露出制御を行う。以上、露出制御のフローについて説明したが、設定された評価エリアから評価値算出部103でエッジ成分やコントラスト値を評価値として算出することでフォーカス制御を行うことも可能である。また、色成分を評価値として算出して、ホワイトバランス制御やカラーバランス制御を行ってもよい。さらに、評価値算出部103でノイズ成分を評価値として算出して、ノイズ低減処理や種々のフィルタ処理などの画像処理を行ってもよい。   Through the above flow, the evaluation area setting unit 105 sets an evaluation area, and performs exposure control based on the evaluation value calculated by the evaluation value calculation unit 103 in the set evaluation area. The flow of exposure control has been described above, but it is also possible to perform focus control by calculating an edge component or contrast value as an evaluation value by the evaluation value calculation unit 103 from the set evaluation area. Alternatively, white balance control or color balance control may be performed by calculating a color component as an evaluation value. Further, the evaluation value calculation unit 103 may calculate a noise component as an evaluation value, and perform image processing such as noise reduction processing and various filter processing.

(第2の実施形態)
次に、図12〜図14を用いて本実施の形態における第2の実施形態の一例を示す。第2の実施形態では、歪補正処理の設定とは別に、例えばユーザー指示等により評価エリアが選択可能な構成とする。また、本実施形態においては、クライアント装置11の歪補正選択部112により映像配信(ストリーム)の種類を選択し、撮像装置10は通信部109を介して受信した映像配信の種類に応じて、歪補正設定部108に歪補正処理の種類を設定する。ユーザーが歪補正選択部112により映像配信(ストリーム)の種類を選択し、例えば、図11に示すように複数の映像1〜5に対応する対応する歪補正処理の種類(歪補正処理1、2)が、歪補正設定部108に設定される。
(Second Embodiment)
Next, an example of the second embodiment in the present embodiment will be described with reference to FIGS. In the second embodiment, separately from the distortion correction processing setting, for example, an evaluation area can be selected by a user instruction or the like. In this embodiment, the type of video delivery (stream) is selected by the distortion correction selection unit 112 of the client device 11, and the imaging device 10 performs distortion according to the type of video delivery received via the communication unit 109. The type of distortion correction processing is set in the correction setting unit 108. The user selects the type of video distribution (stream) using the distortion correction selection unit 112, and for example, as shown in FIG. 11, the type of distortion correction processing corresponding to a plurality of videos 1 to 5 (distortion correction processing 1, 2). ) Is set in the distortion correction setting unit 108.

まず、図12に示すフローチャートを用いて、ユーザーがクライアント装置11上で任意の評価エリアを選択している場合における露出制御の測光に用いる評価エリアを設定する制御の例を説明する。   First, an example of control for setting an evaluation area used for photometry of exposure control when the user has selected an arbitrary evaluation area on the client device 11 will be described using the flowchart shown in FIG.

図12は、本発明の第2の実施形態に係る撮像システムの評価エリア設定処理を示すフローチャートである。図12のフローチャートは、制御部104によって、各処理ブロックを制御し実行される処理手順を図示したものである。制御部104が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。図12のステップS101〜ステップS104に関しては、それぞれ前述の第1の実施形態の図7のステップS101〜ステップS104と同様の処理のため説明を省略する。   FIG. 12 is a flowchart showing an evaluation area setting process of the imaging system according to the second embodiment of the present invention. The flowchart of FIG. 12 illustrates a processing procedure executed by the control unit 104 controlling each processing block. This is realized by developing a program stored in a memory (ROM) of the control unit 104 in the memory (RAM) and executing it by the CPU. Since steps S101 to S104 in FIG. 12 are the same as steps S101 to S104 in FIG. 7 in the first embodiment, description thereof will be omitted.

次に、ステップS205では、評価エリア選択部111で、任意の評価エリアが選択されているかどうかを判定する。評価エリア選択部111により選択された任意の評価エリアを受信していない場合は処理を終了し、評価エリア設定部105は、前述のステップS104までの処理で設定された評価エリアを最終的な評価エリアとして設定する。   In step S205, the evaluation area selection unit 111 determines whether an arbitrary evaluation area is selected. If an arbitrary evaluation area selected by the evaluation area selection unit 111 has not been received, the process ends, and the evaluation area setting unit 105 performs a final evaluation on the evaluation area set in the process up to step S104 described above. Set as area.

評価エリア選択部111により選択された任意の評価エリアの情報を受信している場合は、ステップS206へ進む。ここで、評価エリア選択部111は、図13に示すUIの例のように、クライアント装置11の表示部113に全体画像を表示し、その画像上でユーザーが灰色領域1401のように領域を設定することで任意の評価エリアを選択させる。評価エリア選択のために表示する画像は実際に撮影している全方位画像の全体を表示してもよいし、事前記録しておいた画像上で指定する構成としてもよい。また、パノラマ画像を表示する構成としてもよい。評価エリアの設定方法は領域を囲むとか、評価領域ごとに1つ1つ選択していく、など既知の技術により指定可能である。ここでは、図13の灰色領域1401が評価エリア選択部111で選択されていることとする。なお、選択した任意の評価エリアの情報は、通信部を介して撮像装置へ送られる。   When the information of the arbitrary evaluation area selected by the evaluation area selection unit 111 is received, the process proceeds to step S206. Here, the evaluation area selection unit 111 displays the entire image on the display unit 113 of the client apparatus 11 as in the example of the UI illustrated in FIG. 13, and the user sets an area such as a gray area 1401 on the image. By doing so, an arbitrary evaluation area is selected. The image to be displayed for selecting the evaluation area may be the entire omnidirectional image actually taken or may be designated on the image recorded in advance. Moreover, it is good also as a structure which displays a panoramic image. The evaluation area setting method can be specified by a known technique such as surrounding an area or selecting each evaluation area one by one. Here, it is assumed that the gray area 1401 in FIG. 13 is selected by the evaluation area selection unit 111. Information on the selected arbitrary evaluation area is sent to the imaging apparatus via the communication unit.

ステップS206では、評価エリア選択部111で選択された任意の評価エリアに、歪補正設定部108で設定されている歪補正処理の種類に基づいた無効領域が含まれているかどうかを判定する。例えば、図5(ダブルパノラマ)が設定されている場合は図8に示すように中央付近の一部の白領域が無効領域であり、任意の評価エリアである図13の灰色領域1401に含まれている。評価エリア選択部111で選択された任意の評価エリア内に、歪補正設定部108に設定されている歪補正処理に基づく無効領域が含まれている場合は、ステップS207へ進む。含まれていない場合は、ステップS208へ進む。   In step S206, it is determined whether the arbitrary evaluation area selected by the evaluation area selection unit 111 includes an invalid area based on the type of distortion correction processing set by the distortion correction setting unit 108. For example, when FIG. 5 (double panorama) is set, as shown in FIG. 8, a part of the white area near the center is an invalid area and is included in the gray area 1401 of FIG. 13 which is an arbitrary evaluation area. ing. If an invalid area based on the distortion correction process set in the distortion correction setting unit 108 is included in any evaluation area selected by the evaluation area selection unit 111, the process proceeds to step S207. If not included, the process proceeds to step S208.

ステップS207では、評価エリア選択部111で選択された評価エリアから、歪補正設定部108に設定されている歪補正処理に基づく無効領域を除外する。例えば、図5(ダブルパノラマ)が設定されている場合は、図14に示すように選択された任意の評価エリアから、歪補正処理に基づく無効領域(画像の中央部分)を除外した灰色領域1501を評価エリアとして設定する。その後、ステップS208へ進む。   In step S207, the invalid area based on the distortion correction process set in the distortion correction setting unit 108 is excluded from the evaluation area selected by the evaluation area selection unit 111. For example, when FIG. 5 (double panorama) is set, the gray area 1501 excluding the invalid area (the central part of the image) based on the distortion correction processing from the arbitrary evaluation area selected as shown in FIG. Is set as the evaluation area. Thereafter, the process proceeds to step S208.

ステップS208では、評価エリア選択部111で選択されている任意の評価エリア(無効領域を除外したエリア)と、歪補正選択部112で選択されている(歪補正設定部108に設定されている)歪補正処理の有効領域に基づいて最終的な評価エリアを設定する。例えば、任意の評価エリアと歪補正処理の有効領域が重なる部分を最終的な評価エリアとして設定する。又は、例えば、任意の評価エリアと有効領域すべてを最終的な評価エリアとし、評価エリア選択部111で選択されている任意の評価エリアの領域の評価値算出部103で算出する評価値の重み付けを上げるように構成してもよい。   In step S208, an arbitrary evaluation area (area excluding the invalid area) selected by the evaluation area selection unit 111 and a distortion correction selection unit 112 are selected (set in the distortion correction setting unit 108). A final evaluation area is set based on the effective area of the distortion correction process. For example, a portion where an arbitrary evaluation area and an effective area of distortion correction processing overlap is set as a final evaluation area. Alternatively, for example, the arbitrary evaluation area and all the effective areas are set as final evaluation areas, and the evaluation value calculated by the evaluation value calculation unit 103 of the area of the arbitrary evaluation area selected by the evaluation area selection unit 111 is weighted. You may comprise so that it may raise.

ステップS206〜S208においても、複数のクライアント装置の歪補正選択部112により、複数の映像が選択されている場合は、歪補正処理の種類の組み合わせに基づいて、有効領域、無効領域を算出し、評価エリア設定を行う。さらに、図11の例の場合は、歪補正処理1が最も適用されている映像数が多いので、歪補正処理1の有効領域に対する評価エリアの領域の評価値算出部103で算出される評価値の重み付けを上げるように制御してもよい。   Also in steps S206 to S208, when a plurality of videos are selected by the distortion correction selection unit 112 of the plurality of client devices, an effective area and an invalid area are calculated based on a combination of distortion correction processing types. Set the evaluation area. Furthermore, in the case of the example in FIG. 11, since the number of videos to which distortion correction processing 1 is most applied is large, the evaluation value calculated by the evaluation value calculation unit 103 of the evaluation area for the effective area of distortion correction processing 1 Control may be performed to increase the weighting.

以上説明したように、本実施形態によれば、任意の評価エリアが設定されている場合に、歪補正処理に基づく評価エリアと、別に選択された任意の評価エリアの両方を加味した評価エリアを設定することができる。   As described above, according to the present embodiment, when an arbitrary evaluation area is set, an evaluation area including both an evaluation area based on the distortion correction process and an arbitrary evaluation area selected separately is selected. Can be set.

なお、本発明について、撮像装置10に歪補正処理部107を持つ構成を例に説明したが、撮像装置10からは撮像した画像全体を配信し、外部のサーバまたはクライアント装置側で歪補正処理を実行する構成としてもよい。   Although the present invention has been described by taking as an example a configuration in which the imaging apparatus 10 includes the distortion correction processing unit 107, the entire captured image is distributed from the imaging apparatus 10, and distortion correction processing is performed on the external server or client apparatus side. It may be configured to execute.

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更などが可能である。例えば、上述した実施形態では、撮像装置として説明したカメラには、デジタルスチルカメラやデジタルビデオカメラに適用することができる。   As mentioned above, although this invention was demonstrated with various embodiment, this invention is not limited only to these embodiment, A change etc. are possible within the scope of the present invention. For example, in the above-described embodiment, the camera described as the imaging device can be applied to a digital still camera or a digital video camera.

本発明において、撮像部101、画像生成部102、評価値算出部103、制御部104、評価エリア設定部105、画像処理部106、歪補正処理部107、歪補正設定部108、通信部109の動作は、CPUがプログラムを実行することで実現してもよい。   In the present invention, the imaging unit 101, the image generation unit 102, the evaluation value calculation unit 103, the control unit 104, the evaluation area setting unit 105, the image processing unit 106, the distortion correction processing unit 107, the distortion correction setting unit 108, and the communication unit 109. The operation may be realized by the CPU executing a program.

以上が本発明の好ましい実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。例えば、上述した実施形態で、撮像装置として説明したカメラは、デジタルスチルカメラやデジタルビデオカメラに適用することができる。   The above is a description of a preferred embodiment of the present invention. However, the present invention is not limited to the above-described embodiment within the scope of the technical idea of the present invention, and is adapted as appropriate according to the target circuit form. What to do. For example, the camera described as the imaging device in the above-described embodiment can be applied to a digital still camera or a digital video camera.

また、本発明は、例えばシステム、装置、方法、コンピュータプログラムもしくは記録媒体などとしての実施形態も可能であり、具体的には、1つの装置で実現しても、複数の装置からなるシステムに適用してもよい。本実施形態に係る撮像装置を構成する各手段および撮像装置の制御方法の各ステップは、コンピュータのメモリなどに記憶されたプログラムが動作することによっても実現できる。このコンピュータプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。   Further, the present invention can be embodied as a system, apparatus, method, computer program, or recording medium, for example. Specifically, the present invention can be applied to a system composed of a plurality of apparatuses even if it is realized by one apparatus. May be. Each means of the imaging apparatus according to the present embodiment and each step of the imaging apparatus control method can also be realized by operating a program stored in a memory of a computer or the like. The computer program and a computer-readable recording medium on which the program is recorded are included in the present invention.

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。   The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

101 撮像部
102 画像信号生成手段
103 評価値算出部
104 評価エリア設定部
105 制御部
106 画像処理部
107 歪補正処理部
108 歪補正選択部
109 通信部
DESCRIPTION OF SYMBOLS 101 Image pick-up part 102 Image signal generation means 103 Evaluation value calculation part 104 Evaluation area setting part 105 Control part 106 Image processing part 107 Distortion correction processing part 108 Distortion correction selection part 109 Communication part

Claims (16)

被写体を撮像して画像信号を生成する撮像手段と、
前記画像信号から評価値を算出する評価値算出手段と、
前記評価値算出手段で評価する領域を設定する評価エリア設定手段と、
前記評価値算出手段の結果に応じて前記撮像手段を制御する制御手段と、
前記画像信号に対して1つ以上の歪補正処理を行う歪補正手段と、を有し、
前記評価エリア設定手段は、前記1つ以上の歪補正処理の種類に応じて前記評価エリアを変更することを特徴とする撮像装置。
Imaging means for imaging a subject and generating an image signal;
Evaluation value calculating means for calculating an evaluation value from the image signal;
Evaluation area setting means for setting an area to be evaluated by the evaluation value calculating means;
Control means for controlling the imaging means according to the result of the evaluation value calculating means;
Distortion correction means for performing one or more distortion correction processing on the image signal,
The image pickup apparatus, wherein the evaluation area setting means changes the evaluation area according to the type of the one or more distortion correction processes.
前記1つ以上の歪補正処理には、前記画像信号の一部の領域を除外して歪補正処理をする歪補正処理が含まれることを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the one or more distortion correction processes include a distortion correction process that performs a distortion correction process by excluding a partial region of the image signal. 前記1つ以上の歪補正処理には、前記画像信号の一部の領域の1以上を切り出し、切り出し画像の各々に対して歪補正処理をする歪補正処理が含まれることを特徴とする請求項1または2に記載の撮像装置。   The one or more distortion correction processes include a distortion correction process in which one or more of a partial region of the image signal is cut out and distortion correction processing is performed on each of the cut out images. The imaging apparatus according to 1 or 2. 前記評価値算出手段は、輝度成分、色成分、コントラスト値、エッジ成分、ノイズ成分の内の少なくとも1つを評価値として算出することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。   4. The evaluation value calculating unit according to claim 1, wherein the evaluation value calculating unit calculates at least one of a luminance component, a color component, a contrast value, an edge component, and a noise component as an evaluation value. Imaging device. 前記制御手段は、前記評価値算出手段により算出された評価値に基づいて、前記撮像手段の露出制御、フォーカス制御、ホワイトバランス制御、画像処理のうちの少なくとも1つを行うことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。   The control means performs at least one of exposure control, focus control, white balance control, and image processing of the imaging means based on the evaluation value calculated by the evaluation value calculation means. Item 5. The imaging device according to any one of Items 1 to 4. 選択された任意の評価エリア、または、前記歪補正手段で実行される歪補正処理の種類についての情報を外部から受信する通信手段、
をさらに有することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。
A communication unit that receives information about an arbitrary selected evaluation area or a type of distortion correction processing executed by the distortion correction unit;
The imaging apparatus according to claim 1, further comprising:
前記任意の評価エリアが選択されていて、かつ、前記歪補正処理手段において前記画像信号の一部を除外して歪補正処理が実行される場合は、
前記評価エリア設定手段は、設定する評価エリアから、前記歪補正処理で除外される画像信号の一部の領域を除外することを特徴とする請求項6に記載の撮像システム。
When the arbitrary evaluation area is selected and the distortion correction processing is executed by excluding a part of the image signal in the distortion correction processing means,
The imaging system according to claim 6, wherein the evaluation area setting unit excludes a partial area of the image signal to be excluded from the distortion correction processing from an evaluation area to be set.
前記任意の評価エリアが選択されていて、かつ、前記歪補正手段で歪補正処理が実行される有効領域に前記任意の評価エリアの全領域または一部の領域が含まれる場合は、
前記評価エリア設定手段は、前記有効領域と前記任意の評価エリアが重なる領域の前記評価値算出手段で算出する評価値の重み付けを変更することを特徴とする請求項6又は7に記載の撮像装置。
When the arbitrary evaluation area is selected and the entire area or a part of the arbitrary evaluation area is included in the effective area where the distortion correction processing is executed by the distortion correction unit,
The imaging apparatus according to claim 6, wherein the evaluation area setting unit changes weighting of the evaluation value calculated by the evaluation value calculation unit in a region where the effective region and the arbitrary evaluation area overlap. .
前記評価エリア設定手段は、前記1つ以上の歪補正処理のそれぞれに対応する映像ストリームが外部から要求されている数に応じて、前記評価値算出手段で算出される評価値の重み付けを変更することを特徴とする請求項6乃至8のいずれか1項に記載の撮像システム。   The evaluation area setting means changes the weight of the evaluation value calculated by the evaluation value calculation means according to the number of externally requested video streams corresponding to each of the one or more distortion correction processes. The imaging system according to any one of claims 6 to 8, wherein: 被写体を撮像して画像信号を生成する撮像手段と、
前記画像信号から評価値を算出する評価値算出手段と、
前記評価値算出手段で評価する領域を設定する評価エリア設定手段と、
前記評価値算出手段の結果に応じて前記撮像手段を制御する制御手段と、
1つ以上の映像配信の種類を選択する選択手段と、を有し、
前記評価エリア設定手段は、前記1つ以上の映像配信の種類に応じて前記評価エリアを変更することを特徴とする撮像システム。
Imaging means for imaging a subject and generating an image signal;
Evaluation value calculating means for calculating an evaluation value from the image signal;
Evaluation area setting means for setting an area to be evaluated by the evaluation value calculating means;
Control means for controlling the imaging means according to the result of the evaluation value calculating means;
Selecting means for selecting one or more types of video distribution;
The said evaluation area setting means changes the said evaluation area according to the said one or more types of video delivery, The imaging system characterized by the above-mentioned.
被写体を撮像して画像信号を生成するステップと、
前記画像信号から評価値を算出するステップと、
前記評価値算出手段で評価する領域を設定するステップと、
前記評価値算出手段の結果に応じて前記撮像手段を制御するステップと、
前記画像信号に対して1つ以上の歪補正処理を行うステップと、
前記1つ以上の歪補正処理の種類に応じて前記評価エリアを変更するステップと、
を有することを特徴とする撮像装置の制御方法。
Imaging a subject to generate an image signal;
Calculating an evaluation value from the image signal;
Setting an area to be evaluated by the evaluation value calculating means;
Controlling the imaging means according to the result of the evaluation value calculating means;
Performing one or more distortion correction processes on the image signal;
Changing the evaluation area according to the type of the one or more distortion correction processes;
A method for controlling an imaging apparatus, comprising:
請求項11に記載の各ステップをコンピュータによって実行させるためのコンピュータプログラム。   A computer program for causing a computer to execute each step according to claim 11. 請求項12に記載のプログラムを記載したコンピュータで読み取り可能な記録媒体。   A computer-readable recording medium on which the program according to claim 12 is described. 被写体を撮像して画像信号を生成するステップと、
前記画像信号から評価値を算出するステップと、
前記評価値算出手段で評価する領域を設定するステップと、
前記評価値算出手段の結果に応じて前記撮像手段を制御するステップと、
1つ以上の映像配信の種類を選択するステップと、
前記1つ以上の映像配信の種類に応じて前記評価エリアを変更するステップと、
を有することを特徴とする撮像システムの制御方法。
Imaging a subject to generate an image signal;
Calculating an evaluation value from the image signal;
Setting an area to be evaluated by the evaluation value calculating means;
Controlling the imaging means according to the result of the evaluation value calculating means;
Selecting one or more video delivery types;
Changing the evaluation area according to the one or more types of video distribution;
A control method for an imaging system, comprising:
請求項14に記載の各ステップをコンピュータによって実行させるためのコンピュータプログラム。   A computer program for causing a computer to execute each step according to claim 14. 請求項15に記載のプログラムを記載したコンピュータで読み取り可能な記録媒体。   The computer-readable recording medium which described the program of Claim 15.
JP2017037717A 2017-02-28 2017-02-28 Imaging device, imaging system, its control method and program Active JP6971589B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017037717A JP6971589B2 (en) 2017-02-28 2017-02-28 Imaging device, imaging system, its control method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017037717A JP6971589B2 (en) 2017-02-28 2017-02-28 Imaging device, imaging system, its control method and program

Publications (3)

Publication Number Publication Date
JP2018142939A true JP2018142939A (en) 2018-09-13
JP2018142939A5 JP2018142939A5 (en) 2020-02-13
JP6971589B2 JP6971589B2 (en) 2021-11-24

Family

ID=63526898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017037717A Active JP6971589B2 (en) 2017-02-28 2017-02-28 Imaging device, imaging system, its control method and program

Country Status (1)

Country Link
JP (1) JP6971589B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020201879A (en) * 2019-06-13 2020-12-17 富士通クライアントコンピューティング株式会社 Image processing apparatus and image processing program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118387A (en) * 2006-11-02 2008-05-22 Canon Inc Imaging device
JP2008244730A (en) * 2007-03-27 2008-10-09 Sony Corp Imaging apparatus
US20110074982A1 (en) * 2009-09-29 2011-03-31 Samsung Electronics Co., Ltd. Apparatus and method for digital photographing
JP2014103547A (en) * 2012-11-20 2014-06-05 Xacti Corp Electronic camera
WO2015087772A1 (en) * 2013-12-11 2015-06-18 三菱電機株式会社 Image processing device and method, program and storage medium
JP2015226149A (en) * 2014-05-27 2015-12-14 三菱電機株式会社 Image processing system, imaging apparatus and recording apparatus
JP2017028633A (en) * 2015-07-27 2017-02-02 株式会社リコー Video distribution terminal, program, and video distribution method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118387A (en) * 2006-11-02 2008-05-22 Canon Inc Imaging device
JP2008244730A (en) * 2007-03-27 2008-10-09 Sony Corp Imaging apparatus
US20110074982A1 (en) * 2009-09-29 2011-03-31 Samsung Electronics Co., Ltd. Apparatus and method for digital photographing
JP2014103547A (en) * 2012-11-20 2014-06-05 Xacti Corp Electronic camera
WO2015087772A1 (en) * 2013-12-11 2015-06-18 三菱電機株式会社 Image processing device and method, program and storage medium
JP2015226149A (en) * 2014-05-27 2015-12-14 三菱電機株式会社 Image processing system, imaging apparatus and recording apparatus
JP2017028633A (en) * 2015-07-27 2017-02-02 株式会社リコー Video distribution terminal, program, and video distribution method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020201879A (en) * 2019-06-13 2020-12-17 富士通クライアントコンピューティング株式会社 Image processing apparatus and image processing program

Also Published As

Publication number Publication date
JP6971589B2 (en) 2021-11-24

Similar Documents

Publication Publication Date Title
JP6267502B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP2014123809A (en) Imaging apparatus, imaging system, and imaging apparatus control method
JP6070283B2 (en) Imaging apparatus, exposure control method, and program
JP2015019354A (en) Imaging apparatus, image processing apparatus, and control method therefor
JP6376934B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
WO2020158509A1 (en) Image capturing apparatus, image capturing method, and carrier means
JP6971589B2 (en) Imaging device, imaging system, its control method and program
JP6569263B2 (en) Image processing apparatus, image processing method, and program
CN109672810B (en) Image processing apparatus, image processing method, and storage medium
JP6379812B2 (en) Image processing system
JP7150462B2 (en) Information processing device, information processing method and program
JP6176073B2 (en) Imaging system and program
JP2008017198A (en) Device and method for calculating light source color, and photographing device
JP6157274B2 (en) Imaging apparatus, information processing method, and program
JP2015080157A (en) Image processing device, image processing method and program
JP2017212698A (en) Imaging apparatus, control method for imaging apparatus, and program
JP2010041540A (en) Imaging apparatus and program
JP2016208118A (en) Image processing apparatus, image processing method, and program
JP2020053960A (en) Imaging apparatus, control method of the same, and program
JP2018037747A (en) Information processing device, and control method and program of same
US20230388637A1 (en) Image capturing apparatus, information processing apparatus, control method, and storage medium
JP2019134332A (en) Image processor and control method therefor
JP6849351B2 (en) Image processing equipment, image processing methods, and programs
JP6271985B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP2019083489A (en) Imaging apparatus, method of controlling the same and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210927

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211102

R151 Written notification of patent or utility model registration

Ref document number: 6971589

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151