JP2020205530A

JP2020205530A - Control device, imaging system, and control method

Info

Publication number: JP2020205530A
Application number: JP2019112176A
Authority: JP
Inventors: 伊藤　靖; Yasushi Ito; 靖伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-06-17
Filing date: 2019-06-17
Publication date: 2020-12-24

Abstract

To allow appropriate information to be determined for each of a plurality of imaging apparatuses even if standard information is not predetermined.SOLUTION: A control device that determines first metadata for image data for a predetermined period imaged by each of a plurality of imaging apparatuses includes acquisition means for acquiring second metadata about the image data from each of the plurality of imaging apparatuses, and determination means for determining first metadata based on a plurality of pieces of second metadata acquired by the acquisition means and determining the common first metadata for image data captured by the plurality of imaging apparatuses when the plurality of pieces of second metadata satisfies a predetermined condition.SELECTED DRAWING: Figure 4

Description

本発明は、制御装置、撮像システム、制御方法に関する。 The present invention relates to a control device, an imaging system, and a control method.

例えば、スタジアムにおいて行われるスポーツの撮影において、スタジアム内の様々な場所に設置した複数の撮像装置（カメラ）によって、様々な角度から同一の被写体を撮影する場合がある。このとき、それぞれの撮像装置は、撮像装置自身が決定する情報に応じて撮影する。 For example, in the shooting of sports performed in a stadium, the same subject may be shot from various angles by a plurality of image pickup devices (cameras) installed at various places in the stadium. At this time, each imaging device takes a picture according to the information determined by the imaging device itself.

特許文献１には、１つの撮像装置に対して所定の設定を行うための情報がユーザから入力されると、当該撮像装置が他の撮像機器に当該情報を送信することによって、複数の撮像装置において同一の設定を行う技術が示されている。 In Patent Document 1, when information for making a predetermined setting for one imaging device is input from a user, the imaging device transmits the information to another imaging device, so that a plurality of imaging devices The technique for making the same setting is shown in.

特開２００８−１５４０７３号公報Japanese Unexamined Patent Publication No. 2008-154073

ここで、特許文献１では、ユーザが入力した情報を基準として、複数の撮像装置は当該基準と同様の設定を行っている。しかしながら、ユーザの入力がない場合などの基準が予め定められていない場合には、特許文献１の技術は適用できない。 Here, in Patent Document 1, the plurality of imaging devices are set in the same manner as the reference based on the information input by the user. However, the technique of Patent Document 1 cannot be applied when the standard is not set in advance, such as when there is no user input.

従って、基準の情報が予め定まられていない場合にも、複数の撮像装置それぞれについて適当な情報を決定できることを目的とする。 Therefore, it is an object of the present invention that appropriate information can be determined for each of the plurality of imaging devices even when the reference information is not determined in advance.

本発明の第１の態様は、
複数の撮像装置のそれぞれが撮像した所定の期間の画像データに対する第１メタデータを決定する制御装置であって、
複数の撮像装置のそれぞれから前記画像データについての第２メタデータを取得する取得手段と、
前記取得手段が取得した複数の第２メタデータに基づいて、前記第１メタデータを決定し、前記複数の第２メタデータが所定の条件を満たす場合には、前記複数の撮像装置が撮像した画像データに対して共通の前記第１メタデータを決定する決定手段と、
を備えることを特徴とする制御装置である。 The first aspect of the present invention is
A control device that determines the first metadata for image data of a predetermined period captured by each of a plurality of imaging devices.
An acquisition means for acquiring the second metadata about the image data from each of the plurality of image pickup devices, and
The first metadata is determined based on the plurality of second metadata acquired by the acquisition means, and when the plurality of second metadata satisfy a predetermined condition, the plurality of imaging devices take an image. A determination means for determining the first metadata common to the image data,
It is a control device characterized by being provided with.

本発明の第２の態様は、
複数の撮像装置のそれぞれが撮像した所定の期間の画像データに対する第１メタデータを決定する制御方法であって、
複数の撮像装置のそれぞれから前記画像データについての第２メタデータを取得する取得工程と、
前記取得工程において取得された複数の第２メタデータに基づいて、前記第１メタデータを決定し、前記複数の第２メタデータが所定の条件を満たす場合には、前記複数の撮像装置が撮像した画像データに対して共通の前記第１メタデータを決定する決定工程と、
を有することを特徴とする制御方法である。 A second aspect of the present invention is
It is a control method for determining the first metadata for the image data of a predetermined period captured by each of the plurality of imaging devices.
An acquisition process for acquiring second metadata about the image data from each of the plurality of image pickup devices, and
The first metadata is determined based on the plurality of second metadata acquired in the acquisition step, and when the plurality of second metadata satisfy a predetermined condition, the plurality of imaging devices take an image. A determination step of determining the first metadata common to the image data
It is a control method characterized by having.

本発明によれば、基準の情報が予め定まられていない場合にも、複数の撮像装置それぞれについて適当な情報を決定することができる。 According to the present invention, even when the reference information is not determined in advance, it is possible to determine appropriate information for each of the plurality of imaging devices.

実施形態１に係る撮像システムの外観を示す図である。It is a figure which shows the appearance of the image pickup system which concerns on Embodiment 1. FIG. 実施形態１に係る撮像装置の構成を示す図である。It is a figure which shows the structure of the image pickup apparatus which concerns on Embodiment 1. FIG. 実施形態１に係るＭａｘＣＬＬの算出方法を示すフローチャートである。It is a flowchart which shows the calculation method of MaxCLL which concerns on Embodiment 1. 実施形態１に係る新ＭａｘＣＬＬの決定方法を示すフローチャートである。It is a flowchart which shows the determination method of the new MaxCLL which concerns on Embodiment 1. 実施形態１に係るトーンマッピングを示す図である。It is a figure which shows the tone mapping which concerns on Embodiment 1. 実施形態１に係る新ＭａｘＣＬＬを説明する図である。It is a figure explaining the new MaxCLL which concerns on Embodiment 1. FIG. 変形例１に係る新ＭａｘＣＬＬを説明する図である。It is a figure explaining the new MaxCLL which concerns on modification 1. FIG. 変形例２に係る新ＭａｃＣＬＬを説明する図である。It is a figure explaining the new MacCLL which concerns on modification 2. FIG.

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

＜実施形態１＞
本実施形態では、複数の撮像装置において適当に決定する情報として、複数の撮像装置が撮像した画像データに付加される情報であるメタデータを決定する撮像システムについて説明する。より具体的には、メタデータとして、各シーンに対応する期間または各フレームにおける画像データの最大輝度値を示すＭａｘＣＬＬ（ＭａｘｉｍｕｍＣｏｎｔｅｎｔＬｉｇｈｔＬｅｖｅｌ）を用いる場合について説明する。しかしながら、メタデータは、例えば、ゲイン設定、露出の値、音量設定を示すものなどであってもよい。より詳細には、メタデータは、撮影環境に応じて複数の撮像装置の画像データに対して、それぞれに異なる情報にされ得るようなものであれば任意のメタデータであってもよい。 <Embodiment 1>
In the present embodiment, an imaging system for determining metadata, which is information added to image data captured by a plurality of imaging devices, will be described as information appropriately determined by the plurality of imaging devices. More specifically, a case where MaxCLL (Maximum Content Light Level) indicating the maximum luminance value of the image data in the period corresponding to each scene or each frame is used as the metadata will be described. However, the metadata may be, for example, one indicating a gain setting, an exposure value, a volume setting, or the like. More specifically, the metadata may be any metadata as long as it can be different information for the image data of the plurality of imaging devices according to the shooting environment.

ここで、標準ダイナミックレンジ画像信号（ＳＤＲ画像信号）よりも大幅に広い範囲の輝度を表現することができる高ダイナミックレンジ画像信号（以下、ＨＤＲ画像信号）がある。ＭａｘＣＬＬは、ＨＤＲ画像信号を符号化して得られる画像データに付加される。この場合、ＭａｘＣＬＬは、その画像の再生に適した輝度変換を表示装置が実行するために利用される。より詳細には、例えば、画像の再生に適したトーンマッピングを、表示装置が選択するために用いられる。ここで、本実施形態におけるトーンマッピングとは、画像データの輝度値（画素値）から、表示装置（表示部）における表示輝度へのマッピングである。 Here, there is a high dynamic range image signal (hereinafter, HDR image signal) capable of expressing brightness in a significantly wider range than a standard dynamic range image signal (SDR image signal). MaxCLL is added to the image data obtained by encoding the HDR image signal. In this case, MaxCLL is used by the display device to perform a luminance conversion suitable for reproducing the image. More specifically, for example, a display device is used to select a tone mapping suitable for reproducing an image. Here, the tone mapping in the present embodiment is a mapping from the brightness value (pixel value) of the image data to the display brightness in the display device (display unit).

また、ＭａｘＣＬＬは、撮像装置が設置されている場所などの撮影環境の違いにより値が異なる。例えば、太陽の位置やスタジアムの照明、屋根の有無などの撮影環境の違いにより、ＭａｘＣＬＬは変化する。撮像装置のそれぞれが決定するＭａｘＣＬＬは、同じ被写体の撮影がされる場合であっても、例えば、日向に設置した撮像装置では、明るく（高い数値で）記録される。一方、日陰に設置した撮像装置では、ＭａｘＣＬＬは、暗く（低い数値で）記録される。 Further, the value of MaxCLL differs depending on the difference in the shooting environment such as the place where the imaging device is installed. For example, MaxCLL changes depending on the difference in shooting environment such as the position of the sun, the lighting of the stadium, and the presence or absence of a roof. The MaxCLL determined by each of the imaging devices is recorded brightly (at a high numerical value), for example, in the imaging device installed in the sun, even when the same subject is photographed. On the other hand, in the image pickup device installed in the shade, MaxCLL is recorded darkly (at a low numerical value).

［撮像システムの外観］
図１は、実施形態１に係る撮像システム１の外観を示している。撮像システム１は、撮像装置１００Ａ〜１００Ｆを有している。撮像装置１００Ａ〜１００Ｆのそれぞれは、フィールド１０１における撮像対象の人物１０２をそれぞれ異なる場所（方向）から撮像している。 [Appearance of imaging system]
FIG. 1 shows the appearance of the imaging system 1 according to the first embodiment. The imaging system 1 has imaging devices 100A to 100F. Each of the image pickup devices 100A to 100F images the person 102 to be imaged in the field 101 from different places (directions).

また、本実施形態では、撮像装置１００Ａが、他の撮像装置１００Ｂ〜１００Ｆの制御
をすることが可能である。つまり、撮像装置１００Ａがマスターであり、撮像装置１００Ｂ〜１００Ｆがスレーブであるということができる。また、撮像装置１００Ａと撮像装置１００Ｂ〜１００Ｆのそれぞれとはケーブル１０９を介して互いに通信可能であり、例えば、ゲンロック信号（同期信号）の通信が行われる。ここで、ゲンロックとは、業務用の撮像装置などが外部からの同期信号を取得して、外部と同期をとる仕組みである。 Further, in the present embodiment, the imaging device 100A can control other imaging devices 100B to 100F. That is, it can be said that the imaging device 100A is the master and the imaging devices 100B to 100F are slaves. Further, the image pickup device 100A and each of the image pickup devices 100B to 100F can communicate with each other via the cable 109, and for example, a genlock signal (synchronous signal) is communicated. Here, the genlock is a mechanism in which a commercial imaging device or the like acquires a synchronization signal from the outside and synchronizes with the outside.

［撮像装置の構成］
次に、図２を用いて、撮像装置１００Ａ〜１００Ｆのそれぞれの構成について説明する。なお、撮像装置１００Ａ〜１００Ｆのそれぞれは、互いに同じ構成を有しているため、以下では１つの撮像装置１００Ａの構成を例として説明する。 [Configuration of imaging device]
Next, each configuration of the imaging devices 100A to 100F will be described with reference to FIG. Since each of the imaging devices 100A to 100F has the same configuration as each other, the configuration of one imaging device 100A will be described below as an example.

撮像装置１００Ａは、レンズ部２０１、撮像素子２０２、撮像処理部２０３、記録部２０４、表示処理部２０５、表示部２０６、算出部２０７、送受信部２０８、信号生成部２１０、決定部２１１を有する。撮像装置１００Ａは、送受信部２０８によって、伝送路２０９を介して、他の撮像装置と通信可能である。 The image pickup device 100A includes a lens unit 201, an image pickup element 202, an image pickup processing unit 203, a recording unit 204, a display processing unit 205, a display unit 206, a calculation unit 207, a transmission / reception unit 208, a signal generation unit 210, and a determination unit 211. The image pickup device 100A can communicate with other image pickup devices via the transmission line 209 by the transmission / reception unit 208.

レンズ部２０１は、撮像素子２０２の撮像面上に被写体像を結像する。レンズ部２０１は、ズーム機能、焦点調節機能および、絞り調節機能を備える。 The lens unit 201 forms a subject image on the image pickup surface of the image pickup element 202. The lens unit 201 includes a zoom function, a focus adjustment function, and an aperture adjustment function.

撮像素子２０２は、多数の光電変換素子が配列された構成を有し、レンズ部２０１によって結像された被写体光学像を画素単位の画像信号に変換する。撮像素子２０２は、例えば、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサや、ＣＣＤ（ＣｈａｒｇｅｄＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサである。 The image sensor 202 has a configuration in which a large number of photoelectric conversion elements are arranged, and converts the subject optical image imaged by the lens unit 201 into a pixel-based image signal. The image sensor 202 is, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charged Coupled Device) image sensor.

撮像処理部２０３は、撮像素子２０２に起因するデータの欠落などに対する補正を画像信号に施した後、当該画像信号に画像処理を施して画像データとして記録部２０４に記録する。なお、本実施形態では、撮像処理部２０３は、ＭａｘＣＬＬに対応したＨＤＲ１０＋と呼ばれる規格に準拠するように画像データを記録する。 The image pickup processing unit 203 corrects the image signal for lack of data due to the image pickup element 202, and then performs image processing on the image signal and records it in the recording unit 204 as image data. In this embodiment, the image pickup processing unit 203 records image data so as to conform to a standard called HDR10 + corresponding to MaxCLL.

記録部２０４は、画像データを記録（記憶）しており、例えば、ＲＡＭ、ＳＤカード、ＣＦカードなどの記録素子である。 The recording unit 204 records (stores) image data, and is, for example, a recording element such as a RAM, an SD card, or a CF card.

表示処理部２０５は、表示部２０６に表示するための最適な画像データに変換するための、リサイズ機能やパネルガンマ調整機能などを備える。 The display processing unit 205 includes a resizing function, a panel gamma adjustment function, and the like for converting into the optimum image data for display on the display unit 206.

表示部２０６は、表示手段であり、例えば、ＥＶＦ（ＥｌｅｃｔｒｏｎｉｃＶｉｅｗ
Ｆｉｎｄｅｒ）や液晶モニターである。なお、表示部２０６は、必ずしも撮像装置２００Ａの内部に存在する必要はなく、外部に存在するモニターであってもよい。 The display unit 206 is a display means, for example, an EVF (Electronic Viewfinder).
Finder) and LCD monitor. The display unit 206 does not necessarily have to exist inside the image pickup apparatus 200A, and may be a monitor existing outside.

算出部２０７は、撮影と同時に、記録部２０４に記録された画像データを読み出し、当該画像データからＭａｘＣＬＬを算出（決定）する。算出部２０７は、撮影した画像データに対して、算出したＭａｘＣＬＬを紐付け（付加）して記録部２０４に記録する。なお、ＭａｘＣＬＬの詳細な算出方法は、図３を用いて後述する。 At the same time as shooting, the calculation unit 207 reads out the image data recorded in the recording unit 204 and calculates (determines) MaxCLL from the image data. The calculation unit 207 associates (adds) the calculated MaxCLL with the captured image data and records it in the recording unit 204. The detailed calculation method of MaxCLL will be described later with reference to FIG.

送受信部２０８は、伝送路２０９を介して、他の撮像装置との情報の送受信を行う。本実施形態では、送受信部２０８は、例えば、同期信号（ゲンロック信号）やＭａｘＣＬＬを送受信する。 The transmission / reception unit 208 transmits / receives information to / from another imaging device via the transmission line 209. In the present embodiment, the transmission / reception unit 208 transmits / receives, for example, a synchronization signal (genlock signal) or MaxCLL.

伝送路２０９は、撮像装置同士を接続するケーブルであり、例えば、ＢＮＣ（Ｂａｙｏ
ｎｅｔＮｅｉｌｌＣｏｎｃｅｌｍａｎ；同軸）ケーブルである。伝送路２０９では、算出部２０７が生成したＭａｘＣＬＬや、外部の撮像装置から入力されたＭａｘＣＬＬが、例えば、同期信号に重畳されて送受信される。 The transmission line 209 is a cable that connects the image pickup devices to each other, and is, for example, BNC (Bayo).
net Neil Concelman (coaxial) cable. In the transmission line 209, MaxCLL generated by the calculation unit 207 and MaxCLL input from an external imaging device are transmitted and received, for example, superimposed on a synchronization signal.

信号生成部２１０は、画像信号の伝送を行う際、信号の読み出しタイミングを伝えるための同期信号を生成し、撮像素子２０２や撮像処理部２０３に対して送信する。また、信号生成部２１０は、生成した同期信号を外部へ出力することも可能である。さらに、信号生成部２１０は、外部から同期信号を受信して、撮像素子２０２や撮像処理部２０３に送信する同期信号と同期することも可能である。 When transmitting an image signal, the signal generation unit 210 generates a synchronization signal for transmitting the signal read timing and transmits the synchronization signal to the image sensor 202 and the image processing unit 203. The signal generation unit 210 can also output the generated synchronization signal to the outside. Further, the signal generation unit 210 can also receive a synchronization signal from the outside and synchronize with the synchronization signal transmitted to the image sensor 202 and the image pickup processing unit 203.

なお、マスターである撮像装置１００Ａでは、送受信部２０８および信号生成部２１０が送信状態であれば、ゲンロック信号に準拠した同期信号を、スレーブである撮像装置１００Ｂ〜１００Ｆに送信する。このとき、撮像装置１００Ｂ〜１００Ｆの送受信部２０８および信号生成部２１０は、当該同期信号を受信するための受信状態である。 In the master imaging device 100A, if the transmission / reception unit 208 and the signal generation unit 210 are in the transmitting state, a synchronization signal conforming to the genlock signal is transmitted to the slave imaging devices 100B to 100F. At this time, the transmission / reception unit 208 and the signal generation unit 210 of the image pickup devices 100B to 100F are in a reception state for receiving the synchronization signal.

決定部２１１は、新たなＭａｘＣＬＬ（新ＭａｘＣＬＬ）を画像データに付加して記録部２０４に記憶する。つまり、決定部２１１は、算出部２０７が算出したＭａｘＣＬＬを新ＭａｘＣＬＬに更新するともいえる。なお、必ずしも更新される必要はなく、例えば、新ＭａｘＣＬＬと元のＭａｘＣＬＬとが並存する形で記録されていてもよい。ここで、新ＭａｘＣＬＬは、撮像装置１００Ａ〜１００Ｆのそれぞれが画像データに対してトーンマッピングを選択するために用いる、ＭａｘＣＬＬである。 The determination unit 211 adds a new MaxCLL (new MaxCLL) to the image data and stores it in the recording unit 204. That is, it can be said that the determination unit 211 updates the MaxCLL calculated by the calculation unit 207 to the new MaxCLL. It is not always necessary to update, and for example, the new MaxCLL and the original MaxCLL may be recorded in a coexisting manner. Here, the new MaxCLL is a MaxCLL used by each of the image pickup devices 100A to 100F to select tone mapping for image data.

なお、マスターである撮像装置１００Ａの決定部２１１は、算出部２０７からのＭａｘＣＬＬと、外部の撮像装置１００Ｂ〜１００Ｆから取得した複数のＭａｘＣＬＬから新ＭａｘＣＬＬを決定し、記録部２０４に記録する。また、撮像装置１００Ａの決定部２１１は、生成した新ＭａｘＣＬＬを、送受信部２０８を介して外部に出力する。一方、スレーブである撮像装置１００Ｂ〜１００Ｆの決定部２１１は、撮像装置１００Ａから取得した新ＭａｘＣＬＬを自身の記録部２０４に記録する。 The determination unit 211 of the imaging device 100A, which is the master, determines the new MaxCLL from the MaxCLL from the calculation unit 207 and a plurality of MaxCLLs acquired from the external imaging devices 100B to 100F, and records them in the recording unit 204. Further, the determination unit 211 of the image pickup apparatus 100A outputs the generated new MaxCLL to the outside via the transmission / reception unit 208. On the other hand, the determination unit 211 of the image pickup devices 100B to 100F, which are slaves, records the new MaxCLL acquired from the image pickup apparatus 100A in its own recording unit 204.

［ＭａｘＣＬＬの算出方法］
ここで、図３のフローチャートを用いて、撮影と同時に、算出部２０７がＭａｘＣＬＬを算出（決定）する方法の一例を説明する。 [Calculation method of MaxCLL]
Here, using the flowchart of FIG. 3, an example of a method in which the calculation unit 207 calculates (determines) MaxCLL at the same time as shooting will be described.

Ｓ３０１では、算出部２０７は、変数Ｙ’を初期化する（変数Ｙ’＝０にする）。ここで、変数Ｙ’は、１つのシーンにおける画像データの最大輝度値を格納するための変数である。 In S301, the calculation unit 207 initializes the variable Y'(sets the variable Y'= 0). Here, the variable Y'is a variable for storing the maximum luminance value of the image data in one scene.

Ｓ３０２では、算出部２０７は、記録部２０４から、画像データの１フレームにおける１つの画素データを読み出す。 In S302, the calculation unit 207 reads one pixel data in one frame of the image data from the recording unit 204.

Ｓ３０３では、算出部２０７は、読み出した画素データが１フレームの終わりに対応するデータか否かを判定する。終わりに対応するデータであれば、Ｓ３０７に遷移し、終わりに対応するデータでなければ、Ｓ３０４へ遷移する。 In S303, the calculation unit 207 determines whether or not the read pixel data corresponds to the end of one frame. If it is the data corresponding to the end, it transitions to S307, and if it is not the data corresponding to the end, it transitions to S304.

Ｓ３０４では、算出部２０７は、Ｓ３０２にて読み出した画素データの輝度値Ｙを取得する。 In S304, the calculation unit 207 acquires the luminance value Y of the pixel data read in S302.

Ｓ３０５では、算出部２０７は、読み出した輝度値Ｙと変数Ｙ’の大小関係を比較する。輝度値Ｙの方が変数Ｙ’より大きい場合には、Ｓ３０６へ遷移し、それ以外の場合には、Ｓ３０２へ遷移する。 In S305, the calculation unit 207 compares the magnitude relationship between the read luminance value Y and the variable Y'. If the luminance value Y is larger than the variable Y', the transition to S306 is performed, and in other cases, the transition to S302 is performed.

Ｓ３０６では、算出部２０７は、取得した輝度値Ｙを変数Ｙ’に代入し、変数Ｙ’を保持する。Ｓ３０６の処理が終了すると、Ｓ３０２に遷移して、算出部２０７は、対象の画素を変えて、Ｓ３０２の処理を再度実行する。 In S306, the calculation unit 207 substitutes the acquired luminance value Y into the variable Y'and holds the variable Y'. When the processing of S306 is completed, the process shifts to S302, and the calculation unit 207 changes the target pixel and executes the processing of S302 again.

Ｓ３０７では、算出部２０７は、フレーム間の輝度差分の監視やユーザ操作などにより、画像データのシーンが変化したか否かを判定する。シーンが変化した場合には、Ｓ３０８に遷移する。シーンが変化しない場合には、Ｓ３０２に遷移して、算出部２０７は、対象のフレームを次のフレームに変えて処理を繰り返す。なお、シーンの変化は、画像データに付加された、シーンを示すメタデータによって判定されてもよい。 In S307, the calculation unit 207 determines whether or not the scene of the image data has changed by monitoring the brightness difference between frames, user operation, or the like. When the scene changes, the transition to S308 occurs. If the scene does not change, the process proceeds to S302, and the calculation unit 207 changes the target frame to the next frame and repeats the process. The change in the scene may be determined by the metadata indicating the scene added to the image data.

Ｓ３０８では、算出部２０７は、変数Ｙ’を、シーンにおける最大の輝度値であるＭａｘＣＬＬとして決定（算出）する。このように、本実施形態では、ＭａｘＣＬＬの算出は、シーンが変化するごと（シーンに対応する期間が経過するごと）に実施される。しかし、例えば、Ｓ３０３において１フレームが終了したと判定される場合にはＳ３０８に遷移することによって、フレームごとにＭａｘＣＬＬの算出が実施されてもよい。 In S308, the calculation unit 207 determines (calculates) the variable Y'as MaxCLL, which is the maximum brightness value in the scene. As described above, in the present embodiment, the calculation of MaxCLL is performed every time the scene changes (every time the period corresponding to the scene elapses). However, for example, when it is determined in S303 that one frame has ended, MaxCLL may be calculated for each frame by transitioning to S308.

［新ＭａｘＣＬＬの決定方法］
撮像システム１が実施する新ＭａｘＣＬＬを決定する方法を、図４、図５を用いて説明する。図４は、マスターである撮像装置１００Ａとスレーブである撮像装置１００Ｂの処理を示したシーケンス図である。なお、以下では、撮像装置１００Ｂを用いてスレーブである撮像装置の処理を説明するが、撮像装置１００Ｃ〜１００Ｆのいずれも撮像装置１００Ｂと同様の処理を実施する。 [Method of determining new MaxCLL]
The method of determining the new MaxCLL carried out by the imaging system 1 will be described with reference to FIGS. 4 and 5. FIG. 4 is a sequence diagram showing the processing of the master imaging device 100A and the slave imaging device 100B. In the following, the processing of the image pickup device that is a slave will be described using the image pickup device 100B, but all of the image pickup devices 100C to 100F perform the same processing as that of the image pickup device 100B.

まず、本実施形態におけるＭａｘＣＬＬと表示輝度との関係について、図５の一例を用いて説明する。図５では、縦軸は、表示輝度を示し、横軸は、入力される輝度値を示している。 First, the relationship between MaxCLL and display luminance in the present embodiment will be described with reference to an example of FIG. In FIG. 5, the vertical axis represents the display luminance and the horizontal axis represents the input luminance value.

例えば、各撮像装置の表示部２０６が、ＭａｘＣＬＬ５０１のメタデータが付与された画像データを取得した場合、表示部２０６は、ＭａｘＣＬＬ５０１が表示輝度の最大値であるようなトーンマッピング５０２を選択する。また、ＭａｘＣＬＬ５０３のメタデータが付与された画像データを取得した場合には、表示部２０６は、ＭａｘＣＬＬ５０３が表示輝度の最大値であるようなトーンマッピング５０４を選択する。つまり、ＭａｘＣＬＬを取得した表示部２０６は、このＭａｘＣＬＬが、表示装置の最大輝度であるようなトーンマッピングを選択する。なお、このようなトーンマッピングの仕組みは、ＨＤＲ１０＋というＨＤＲ１０の拡張規格によって規格（規定）されている。 For example, when the display unit 206 of each imaging device acquires image data to which the metadata of MaxCLL501 is added, the display unit 206 selects the tone mapping 502 such that MaxCLL501 is the maximum value of the display brightness. Further, when the image data to which the metadata of MaxCLL503 is added is acquired, the display unit 206 selects the tone mapping 504 such that MaxCLL503 is the maximum value of the display brightness. That is, the display unit 206 that has acquired the MaxCLL selects the tone mapping such that the MaxCLL is the maximum brightness of the display device. It should be noted that such a tone mapping mechanism is standardized (specified) by an extended standard of HDR10 called HDR10 +.

このため、撮影環境に依存して、撮像装置１００Ａ〜１００Ｆにおいて異なるＭａｘＣＬＬが決定されると、撮像装置１００Ａ〜１００Ｆにおいて異なるトーンマッピングが選択される。このため、撮像装置１００Ａ〜１００Ｆそれぞれが撮像した画像データに対応する画像が表示される際に、表示輝度が大きく異なってしまうことがある。そこで、以下では、図４を用いて、このような表示輝度の違いを抑制すべく、撮像された複数の画像データに対して共通する新ＭａｘＣＬＬを撮像システム１が決定する方法を説明する。 Therefore, when different MaxCLLs are determined in the imaging devices 100A to 100F depending on the shooting environment, different tone mappings are selected in the imaging devices 100A to 100F. Therefore, when the images corresponding to the image data captured by the image pickup devices 100A to 100F are displayed, the display brightness may be significantly different. Therefore, in the following, a method of determining a new MaxCLL common to a plurality of captured image data in order to suppress such a difference in display brightness will be described with reference to FIG.

Ｓ４０１では、撮像装置１００Ａは、送受信部２０８によって、撮像装置１００Ｂに対して同期信号（垂直同期信号）を送信する。なお、このとき、撮像装置１００Ａは、撮像装置１００Ｃ〜１００Ｆのそれぞれに対しても同様に同期信号を送信する。
Ｓ４０２では、撮像装置１００Ｂは、送受信部２０８によって、同期信号を受信する。 In S401, the image pickup apparatus 100A transmits a synchronization signal (vertical synchronization signal) to the imaging apparatus 100B by the transmission / reception unit 208. At this time, the image pickup apparatus 100A similarly transmits a synchronization signal to each of the image pickup apparatus 100C to 100F.
In S402, the image pickup apparatus 100B receives the synchronization signal by the transmission / reception unit 208.

Ｓ４０３では、撮像装置１００Ｂの信号生成部２１０は、取得した同期信号により処理
タイミングの同期をする。
Ｓ４０４では、撮像装置１００Ｂの算出部２０７は、図３を用いて上述したように、撮像装置１００Ｂの記録部２０４に記録された画像データからＭａｘＣＬＬを算出する。なお、このとき、Ｓ４０４’として、撮像装置１００Ａの算出部２０７も同様に自身のＭａｘＣＬＬを算出するとよい。なお、撮像装置１００ＡのＭａｘＣＬＬは、Ｓ４０４において算出される必要はなく、Ｓ４０４’の前工程や後工程において算出されていてもよい。 In S403, the signal generation unit 210 of the image pickup apparatus 100B synchronizes the processing timing with the acquired synchronization signal.
In S404, the calculation unit 207 of the image pickup apparatus 100B calculates MaxCLL from the image data recorded in the recording unit 204 of the image pickup apparatus 100B as described above with reference to FIG. At this time, it is preferable that the calculation unit 207 of the image pickup apparatus 100A also calculates its own MaxCLL as S404'. The MaxCLL of the image pickup apparatus 100A does not need to be calculated in S404, and may be calculated in the pre-process or post-process of S404'.

Ｓ４０５では、撮像装置１００Ｂは、送受信部２０８によって、Ｓ４０４にて生成したＭａｘＣＬＬを、撮像装置１００Ａに送信する。なお、この際、ＭａｘＣＬＬとともに画像データも送信されてもよい。つまり、撮像装置１００Ｂは、画像データにＭａｘＣＬＬを付加して送信してもよい。 In S405, the image pickup device 100B transmits the MaxCLL generated in S404 to the image pickup device 100A by the transmission / reception unit 208. At this time, image data may be transmitted together with MaxCLL. That is, the image pickup apparatus 100B may add MaxCLL to the image data and transmit the image data.

Ｓ４０６では、撮像装置１００Ａの決定部２１１は、送受信部２０８を介して、撮像装置１００ＢからＭａｘＣＬＬを受信する。なお、このとき、撮像装置１００Ａの決定部２１１は、撮像装置１００Ｃ〜１００Ｆのそれぞれからも同様に、ＭａｘＣＬＬを受信する。また、Ｓ４０６にて撮像装置１００Ａの決定部２１１は、撮像装置１００Ａの算出部２０７が算出したＭａｘＣＬＬを取得するとよい。つまり、Ｓ４０６では、撮像装置１００Ａの決定部２１１は、全ての撮像装置１００Ａ〜１００ＦからＭａｘＣＬＬを取得しているため、本実施形態では、取得手段でもあるということができる。 In S406, the determination unit 211 of the image pickup device 100A receives MaxCLL from the image pickup device 100B via the transmission / reception unit 208. At this time, the determination unit 211 of the image pickup device 100A also receives MaxCLL from each of the image pickup devices 100C to 100F in the same manner. Further, in S406, the determination unit 211 of the image pickup apparatus 100A may acquire the MaxCLL calculated by the calculation unit 207 of the image pickup apparatus 100A. That is, in S406, since the determination unit 211 of the image pickup apparatus 100A acquires MaxCLL from all the imaging apparatus 100A to 100F, it can be said that it is also an acquisition means in the present embodiment.

Ｓ４０７では、撮像装置１００Ａの決定部２１１は、撮像装置１００Ａ〜１００Ｆから取得した全てのＭａｘＣＬＬの平均値を、新ＭａｘＣＬＬに決定する。なお、新ＭａｘＣＬＬは、取得した全てのＭａｘＣＬＬの平均値である必要はなく、例えば、取得した全てのＭａｘＣＬＬの中央値や、取得した全てのＭａｘＣＬＬのうちの最大値と最小値との平均であってもよい。 In S407, the determination unit 211 of the image pickup apparatus 100A determines the average value of all MaxCLLs acquired from the imaging apparatus 100A to 100F in the new MaxCLL. The new MaxCLL does not have to be the average value of all the acquired MaxCLLs, for example, the median value of all the acquired MaxCLLs and the average value of the maximum value and the minimum value of all the acquired MaxCLLs. You may.

Ｓ４０８では、撮像装置１００Ａの決定部２１１は、記録部２０４に新ＭａｘＣＬＬを記録する。つまり、決定部２１１は、記録部２０４に記録されたＭａｘＣＬＬを新ＭａｘＣＬＬに更新する。 In S408, the determination unit 211 of the image pickup apparatus 100A records the new MaxCLL in the recording unit 204. That is, the determination unit 211 updates the MaxCLL recorded in the recording unit 204 to the new MaxCLL.

Ｓ４０９では、撮像装置１００Ａは、Ｓ４０７にて生成した新ＭａｘＣＬＬを撮像装置１００Ｂに送信する。なお、撮像装置１００Ａは、撮像装置１００Ｃ〜１００Ｆに対しても同様に、新ＭａｘＣＬＬを送信する。 In S409, the image pickup apparatus 100A transmits the new MaxCLL generated in S407 to the image pickup apparatus 100B. The imaging device 100A also transmits the new MaxCLL to the imaging devices 100C to 100F.

Ｓ４１０では、撮像装置１００Ｂは、新ＭａｘＣＬＬを受信する。
Ｓ４１１では、撮像装置１００Ｂの決定部２１１は、記録部２０４に新ＭａｘＣＬＬを記録する。つまり、決定部２１１は、記録部２０４に記録されたＭａｘＣＬＬを新ＭａｘＣＬＬに更新する。 In S410, the image pickup apparatus 100B receives the new MaxCLL.
In S411, the determination unit 211 of the image pickup apparatus 100B records the new MaxCLL in the recording unit 204. That is, the determination unit 211 updates the MaxCLL recorded in the recording unit 204 to the new MaxCLL.

ここで、本実施形態が示すように新ＭａｘＣＬＬが決定されることによる効果を図６を用いて説明する。図６において、撮像装置１００Ａ〜１００Ｆのそれぞれが算出したＭａｘＣＬＬがそれぞれ６００Ａ〜６００Ｆである。そして、ＭａｘＣＬＬ６００Ａ〜６００Ｆの平均値がＭａｘＣＬＬ６００である。従って、本実施形態によれば、新ＭａｘＣＬＬは、ＭａｘＣＬＬ６００が示す値である。 Here, the effect of determining the new MaxCLL as shown in the present embodiment will be described with reference to FIG. In FIG. 6, MaxCLL calculated by each of the imaging devices 100A to 100F is 600A to 600F, respectively. The average value of MaxCLL600A to 600F is MaxCLL600. Therefore, according to the present embodiment, the new MaxCLL is a value indicated by the MaxCLL600.

このように、共通する新ＭａｘＣＬＬを決定して、撮像装置１００Ａ〜１００Ｆにおいて新ＭａｘＣＬＬを用いることによれば、撮像装置１００Ａ〜１００Ｆに対応する画像データに対して共通するトーンマッピングが選択される。これによって、撮像装置１００Ａ〜１００Ｆのそれぞれが撮像した画像データに対する表示輝度の差が抑制される。より詳細には、ＭａｘＣＬＬが大きかった画像データは暗くされて、ＭａｘＣＬＬが小さかった
画像データは明るくされることによって、表示される画像間の表示輝度の差が抑制される。 In this way, by determining the common new MaxCLL and using the new MaxCLL in the image pickup devices 100A to 100F, the common tone mapping for the image data corresponding to the image pickup devices 100A to 100F is selected. As a result, the difference in display brightness with respect to the image data captured by each of the image pickup devices 100A to 100F is suppressed. More specifically, the image data having a large MaxCLL is darkened, and the image data having a small MaxCLL is brightened, so that the difference in display brightness between the displayed images is suppressed.

なお、自身が算出したＭａｘＣＬＬが小さい撮像装置１００Ａ，１００Ｅ，１００Ｆについての画像は、ＭａｘＣＬＬが大きくされるが、もともとの入力される輝度値が小さいため相対的に暗く表示される。一方、自身が算出したＭａｘＣＬＬが大きい撮像装置１００Ｃについての画像は、ＭａｘＣＬＬが小さくされるため、高輝度において若干の白潰れはあるものの、相対的に明るく表示される。 The images of the image pickup devices 100A, 100E, and 100F having a small MaxCLL calculated by themselves are displayed relatively dark because the MaxCLL is large but the originally input luminance value is small. On the other hand, the image of the image pickup apparatus 100C having a large MaxCLL calculated by itself is displayed relatively brightly, although there is some white crushing at high brightness because the MaxCLL is made small.

本実施形態によれば、このように、複数の撮像装置が撮像した画像データに対して共通の適当な情報（メタデータ）である新ＭａｘＣＬＬが決定できる。つまり、基準の情報が予め定まられていない場合にも、複数の撮像装置それぞれについて適当な情報を決定できる。このため、撮影環境に依存するような撮像装置間の表示（記録）輝度の違いが軽減できる。 According to the present embodiment, the new MaxCLL, which is appropriate information (meta data) common to the image data captured by the plurality of imaging devices, can be determined in this way. That is, even when the reference information is not determined in advance, appropriate information can be determined for each of the plurality of imaging devices. Therefore, it is possible to reduce the difference in display (recording) brightness between the imaging devices, which depends on the shooting environment.

なお、本実施形態では、撮像装置１００Ａが新ＭａｘＣＬＬを決定する例を説明したが、撮像装置１００Ａ〜１００Ｆでない、例えば、制御装置が新ＭａｘＣＬＬを決定してもよい。この場合には、当該制御装置は、送受信部２０８および決定部２１１を有し、撮像装置１００Ａ〜１００Ｆから取得したＭａｘＣＬＬから、上述と同様に新ＭａｘＣＬＬを決定する。そして、制御装置が、撮像装置１００Ａ〜１００Ｆに対して新ＭａｘＣＬＬを送信することによって本実施形態と同様の効果が得られる。従って、本実施形態に係る撮像装置１００Ａは、当該制御装置を含んでいるということもできる。また、本実施形態に係る送受信部２０８および決定部２１１を合わせて制御装置であるということもできる。 In the present embodiment, the example in which the image pickup apparatus 100A determines the new MaxCLL has been described, but the image pickup apparatus 100A to 100F may be determined, for example, the control device may determine the new MaxCLL. In this case, the control device has a transmission / reception unit 208 and a determination unit 211, and determines a new MaxCLL from the MaxCLL acquired from the image pickup devices 100A to 100F in the same manner as described above. Then, the control device transmits the new MaxCLL to the image pickup devices 100A to 100F, so that the same effect as that of the present embodiment can be obtained. Therefore, it can be said that the imaging device 100A according to the present embodiment includes the control device. Further, it can be said that the transmission / reception unit 208 and the determination unit 211 according to the present embodiment are combined to be a control device.

［変形例１］
実施形態１では、全ての撮像装置１００Ａ〜１００Ｆが算出したＭａｘＣＬＬの平均値を新ＭａｘＣＬＬとしたが、全てのＭａｘＣＬＬの平均値を新ＭａｘＣＬＬとすることには限られない。本変形例では、撮像装置１００Ａは、撮像装置１００Ａ〜１００Ｆが算出したＭａｘＣＬＬがある条件を満たす場合には、一部のＭａｘＣＬＬの平均値を新ＭａｘＣＬＬとする。 [Modification 1]
In the first embodiment, the average value of MaxCLL calculated by all the imaging devices 100A to 100F is set to the new MaxCLL, but the average value of all MaxCLL is not limited to the new MaxCLL. In this modification, when the MaxCLL calculated by the image pickup devices 100A to 100F satisfies a certain condition, the image pickup apparatus 100A sets the average value of some MaxCLLs as the new MaxCLL.

本変形例に係る撮像システム１は、実施形態１と新ＭａｘＣＬＬの決定方法に係るＳ４０７の処理のみが異なるため、以下では、Ｓ４０７の処理のみを説明する。 Since the imaging system 1 according to this modification differs only in the processing of S407 according to the method of determining the new MaxCLL from the first embodiment, only the processing of S407 will be described below.

Ｓ４０７では、撮像装置１００Ａの決定部２１１は、取得したＭａｘＣＬＬの一部に他のＭａｘＣＬＬと比較して突出して高い値または低い値が含まれている場合には、取得したＭａｘＣＬＬのうち当該値を除いたものの平均値を新ＭａｘＣＬＬとして決定する。具体的には、まず、決定部２１１は、取得したＭａｘＣＬＬそれぞれと、取得した全てのＭａｘＣＬＬの平均値との差分を判定する。決定部２１１は、取得したＭａｘＣＬＬのうちに当該平均値と当該所定の値より大きい差分があるようなＭａｘＣＬＬがある場合には、当該ＭａｘＣＬＬを除いたＭａｘＣＬＬの平均値を新ＭａｘＣＬＬと決定する。つまり、取得したＭａｘＣＬＬのうち当該差分が所定の値以下のＭａｘＣＬＬの平均値が新ＭａｘＣＬＬにされる。なお、当該平均値に限らず、中央値や、最大値と最小値の平均であってもよい。なお、本変形例では、所定の値は、予め決定された値であってもよいし、例えば、全てのＭａｘＣＬＬの平均値の所定の割合の値であってもよい。なお、以下では、他のＭａｘＣＬＬと比較して突出して高い値または低い値を「外れ値」と呼ぶ。 In S407, when the determination unit 211 of the image pickup apparatus 100A contains a prominently high value or a low value as compared with the other MaxCLL in a part of the acquired MaxCLL, the determination unit 211 of the acquired MaxCLL determines the value. The average value of the excluded ones is determined as the new MaxCLL. Specifically, first, the determination unit 211 determines the difference between each of the acquired MaxCLLs and the average value of all the acquired MaxCLLs. If there is a MaxCLL in the acquired MaxCLL that has a difference larger than the average value and the predetermined value, the determination unit 211 determines the average value of the MaxCLL excluding the MaxCLL as the new MaxCLL. That is, among the acquired MaxCLL, the average value of the MaxCLL whose difference is equal to or less than a predetermined value is set as the new MaxCLL. The average value is not limited to the average value, and may be the median value or the average of the maximum value and the minimum value. In this modification, the predetermined value may be a predetermined value, or may be, for example, a value of a predetermined ratio of the average value of all MaxCLLs. In the following, prominently higher or lower values as compared with other MaxCLLs will be referred to as "outliers".

なお、外れ値であるか否かは、上述の方法に限らず、例えば、全てのＭａｘＣＬＬうち一部が、所定の範囲外あるか否かや、所定の偏差値の範囲外にあるか否かなどによって判定されてもよい。 It should be noted that whether or not the outliers are outliers is not limited to the above-mentioned method, and for example, whether or not some of all MaxCLLs are out of the predetermined range and whether or not they are out of the predetermined deviation value range. It may be determined by such as.

例えば、決定部２１１は、図７（Ａ）が示すような場合には、ＭａｘＣＬＬ６００Ａ〜６００Ｆの一部であるＭａｘＣＬＬ６００Ｃが、外れ値あると判定する。この場合、決定部２１１は、ＭａｘＣＬＬ６００Ａ，６００Ｂ，６００Ｄ〜６００Ｆの平均値であるＭａｘＣＬＬ６００を、新ＭａｘＣＬＬとする。この新ＭａｘＣＬＬを各撮像装置が用いると、撮像装置１００Ｃが撮影した画像については、必要以上に表示輝度が暗くされるため正常な表示（記録）にならない。しかしながら、他の撮像装置が撮像された画像については、他の画像との表示輝度の違いが軽減された画像として表示（記録）できる。 For example, the determination unit 211 determines that the MaxCLL600C, which is a part of the MaxCLL600A to 600F, has an outlier in the case shown in FIG. 7A. In this case, the determination unit 211 uses MaxCLL600, which is an average value of MaxCLL600A, 600B, 600D to 600F, as the new MaxCLL. When this new MaxCLL is used by each imaging device, the image captured by the imaging device 100C is not displayed (recorded) normally because the display brightness is darker than necessary. However, an image captured by another imaging device can be displayed (recorded) as an image in which the difference in display brightness from the other image is reduced.

また同様に、決定部２１１は、図７（Ｂ）が示すような場合には、ＭａｘＣＬＬ６００Ａ〜６００Ｆの一部であるＭａｘＣＬＬ６００Ｆが、外れ値であると判定する。この場合、決定部２１１は、ＭａｘＣＬＬ６００Ａ〜６００Ｅの平均値であるＭａｘＣＬＬ６００を、新ＭａｘＣＬＬとする。この新ＭａｘＣＬＬを用いることによれば、撮像装置１００Ｆが撮影した画像については、必要以上に表示輝度が明るくされるため正常な表示（記録）にならない。しかしながら、他の撮像装置が撮像された画像については、他の画像との表示輝度の違いが軽減された画像が表示（記録）できる。 Similarly, in the case shown in FIG. 7B, the determination unit 211 determines that MaxCLL600F, which is a part of MaxCLL600A to 600F, is an outlier. In this case, the determination unit 211 uses the MaxCLL600, which is the average value of the MaxCLL600A to 600E, as the new MaxCLL. According to the use of this new MaxCLL, the image captured by the image pickup apparatus 100F cannot be displayed (recorded) normally because the display brightness becomes brighter than necessary. However, with respect to an image captured by another imaging device, an image in which the difference in display brightness from the other image is reduced can be displayed (recorded).

なお、本実施形態では、取得したＭａｘＣＬＬのうちに外れ値が存在しない場合には、決定部２１１は、実施形態１が示す場合と同様に、取得した全てのＭａｘＣＬＬの平均値を新ＭａｘＣＬＬに決定するとよい。 In the present embodiment, when there are no outliers in the acquired MaxCLL, the determination unit 211 determines the average value of all the acquired MaxCLLs as the new MaxCLL, as in the case of the first embodiment. You should do it.

なお、例えば、決定部２１１は、取得したＭａｘＣＬＬにおける最大値と最小値との差分が所定の値より小さい場合には、実施形態１のように新ＭａｘＣＬＬを決定する。それ以外の場合には、決定部２１１は、本変形例のように新ＭａｘＣＬＬを決定してもよい。 In addition, for example, when the difference between the maximum value and the minimum value in the acquired MaxCLL is smaller than a predetermined value, the determination unit 211 determines the new MaxCLL as in the first embodiment. In other cases, the determination unit 211 may determine the new MaxCLL as in the present modification.

このように、本変形例では、撮像装置１００Ａは、外れ値に該当するＭａｘＣＬＬが存在する場合には、当該外れ値を除いて新ＭａｘＣＬＬを決定する。これによれば、実施形態１のように全てのＭａｘＣＬＬから新ＭａｘＣＬＬを決定する場合には、当該外れ値によって新ＭａｘＣＬＬが必要以上に低い値や高い値にされてしまうところを、本変形例では、抑制することができる。つまり、本実施形態によれば、より好適に新ＭａｘＣＬＬを決定することができる。 As described above, in the present modification, when the MaxCLL corresponding to the outlier exists, the image pickup apparatus 100A determines the new MaxCLL by excluding the outlier. According to this, when the new MaxCLL is determined from all the MaxCLLs as in the first embodiment, the value of the new MaxCLL is set to a lower value or a higher value than necessary due to the outliers. , Can be suppressed. That is, according to the present embodiment, the new MaxCLL can be determined more preferably.

［変形例２］
実施形態１では、全ての場合において、全ての撮像装置が撮影した画像データにおいて共通する新ＭａｘＣＬＬを決定する。一方、本変形例では、以下に示す条件が満たされていない場合には、撮像装置１００Ａは、撮像装置１００Ａ〜１００Ｆにおいて共通する新ＭａｘＣＬＬを決定しない。より詳細には、撮像装置１００Ａは、撮像装置１００Ａ〜１００Ｆのそれぞれについて、新ＭａｘＣＬＬを決定する。 [Modification 2]
In the first embodiment, in all cases, a new MaxCLL that is common to the image data captured by all the imaging devices is determined. On the other hand, in this modification, if the following conditions are not satisfied, the image pickup apparatus 100A does not determine the new MaxCLL common to the imaging apparatus 100A to 100F. More specifically, the imaging device 100A determines a new MaxCLL for each of the imaging devices 100A to 100F.

Ｓ４０７では、まず、撮像装置１００Ａの決定部２１１は、撮像装置１００Ａ〜１００Ｆから取得したＭａｘＣＬＬ６００Ａ〜６００Ｆの値が大きく異なっているか否かを判定する。なお、以下では、取得されたＭａｘＣＬＬの値が大きく異なっていることを、ＭａｘＣＬＬの「ばらつきが大きい」と呼ぶ。 In S407, first, the determination unit 211 of the image pickup apparatus 100A determines whether or not the values of the MaxCLL600A to 600F acquired from the image pickup apparatus 100A to 100F are significantly different. In the following, the fact that the acquired MaxCLL values are significantly different is referred to as “large variation” of MaxCLL.

例えば、決定部２１１は、ＭａｘＣＬＬ６００Ａ〜６００Ｆを昇順（降順）に並べて、２つの隣接するＭａｘＣＬＬの差分が所定の値以上である数が、所定数以上存在する場合には、ＭａｘＣＬＬ６００Ａ〜６００Ｆのばらつきが大きいと判定できる。また、例えば
、決定部２１１は、それぞれ最も近い値のＭａｘＣＬＬ同士の差分が所定の値以上である数が、所定数以上存在する場合に、ＭａｘＣＬＬ６００Ａ〜６００Ｆのばらつきが大きいと判定してもよい。さらには、決定部２１１は、ＭａｘＣＬＬ６００Ａ〜６００Ｆにおける分散が所定値より大きければ、ＭａｘＣＬＬ６００Ａ〜６００Ｆのばらつきが大きいと判定してもよい。なお、本変形例では、所定の値は、予め決定された値であってもよいし、例えば、全てのＭａｘＣＬＬの平均値の所定の割合の値であってもよい。 For example, in the determination unit 211, MaxCLL600A to 600F are arranged in ascending order (descending order), and when the difference between two adjacent MaxCLLs is equal to or greater than a predetermined value, the MaxCLL600A to 600F varies. It can be judged to be large. Further, for example, the determination unit 211 may determine that the MaxCLL600A to 600F have a large variation when there are a predetermined number or more in which the difference between the MaxCLLs having the closest values is a predetermined value or more. Further, the determination unit 211 may determine that the variation in MaxCLL600A to 600F is large if the variance in MaxCLL600A to 600F is larger than a predetermined value. In this modification, the predetermined value may be a predetermined value, or may be, for example, a value of a predetermined ratio of the average value of all MaxCLLs.

ここで、ＭａｘＣＬＬ６００Ａ〜６００Ｆの場合には、決定部２１１は、新ＭａｘＣＬＬを、ＭａｘＣＬＬ６００Ａ〜６００Ｆのそれぞれについて決定する。具体的には、決定部２１１は、例えば、撮像装置１００Ａについての新ＭａｘＣＬＬとしてＭａｘＣＬＬ６００Ａを決定し、撮像装置１００Ｂについての新ＭａｘＣＬＬとしてＭａｘＣＬＬ６００Ｂを決定する。つまり、決定部２１１は、ＭａｘＣＬＬを取得した撮像装置についての新ＭａｘＣＬＬとして、当該取得したＭａｘＣＬＬを決定する。従って、決定部２１１は、新ＭａｘＣＬＬを決定していないということもできる。 Here, in the case of MaxCLL600A to 600F, the determination unit 211 determines the new MaxCLL for each of the MaxCLL600A to 600F. Specifically, the determination unit 211 determines the MaxCLL600A as the new MaxCLL for the image pickup apparatus 100A, and determines the MaxCLL600B as the new MaxCLL for the image pickup apparatus 100B, for example. That is, the determination unit 211 determines the acquired MaxCLL as a new MaxCLL for the imaging device that has acquired the MaxCLL. Therefore, it can be said that the determination unit 211 has not determined the new MaxCLL.

なお、ＭａｘＣＬＬ６００Ａ〜６００Ｆのばらつきが大きくない場合には、決定部２１１は、実施形態１と同様に、新ＭａｘＣＬＬを決定するとよい。 When the variation of MaxCLL 600A to 600F is not large, the determination unit 211 may determine the new MaxCLL as in the first embodiment.

なお、Ｓ４０７において、決定部２１１は、ＭａｘＣＬＬ６００Ａ〜６００Ｆにおける最大値と最小値との差分が所定の値以上場合に、ＭａｘＣＬＬ６００Ａ〜６００Ｆのばらつきが大きいと判定してもよい。つまり、決定部２１１は、ＭａｘＣＬＬ６００Ａ〜６００Ｆにおける最大値と最小値との差分が所定の値より小さい場合には、実施形態１が示すように新ＭａｘＣＬＬを決定して、それ以外の場合には、本変形例が示すように新ＭａｘＣＬＬを決定してもよい。 In S407, the determination unit 211 may determine that the MaxCLL600A to 600F have a large variation when the difference between the maximum value and the minimum value in the MaxCLL600A to 600F is a predetermined value or more. That is, the determination unit 211 determines the new MaxCLL as shown in the first embodiment when the difference between the maximum value and the minimum value in the MaxCLL600A to 600F is smaller than the predetermined value, and in other cases, the determination unit 211 determines the new MaxCLL. A new MaxCLL may be determined as shown in this modification.

このように、ＭａｘＣＬＬ６００Ａ〜６００Ｆのばらつきが大きい場合には、撮像装置１００Ａ〜１００Ｆが撮像した画像データに対して、大きな輝度変化をさせる必要がある共通する新ＭａｘＣＬＬの決定は行われない。これによって、好適な新ＭａｘＣＬＬが決定可能であり、ＭａｘＣＬＬ６００Ａ〜６００Ｆのばらつきが大きい場合における画像の視認性の低下を抑制することができる。 As described above, when the variation of MaxCLL 600A to 600F is large, the common new MaxCLL that needs to make a large change in brightness with respect to the image data captured by the image pickup apparatus 100A to 100F is not determined. Thereby, a suitable new MaxCLL can be determined, and it is possible to suppress a decrease in the visibility of the image when the variation of the MaxCLLs 600A to 600F is large.

なお、上述した実施形態１、変形例１，２は、下記の例のように任意に組合わせることが可能である。つまり、撮像装置１００Ａが取得したＭａｘＣＬＬの値に応じて場合分けをして、新ＭａｘＣＬＬの決定方法を組合わせることができる。 It should be noted that the above-described first embodiment and modified examples 1 and 2 can be arbitrarily combined as in the following examples. That is, the new MaxCLL determination method can be combined by classifying the cases according to the MaxCLL value acquired by the image pickup apparatus 100A.

１つ目の例として、決定部２１１は、ＭａｘＣＬＬ６００Ａ〜６００Ｆにおける最大値と最小値との差分が所定の値より小さい場合には、実施形態１が示すように新ＭａｘＣＬＬを決定する。次に、それ以外の場合であり、かつ、上述のように外れ値があると判定される場合には、決定部２１１は、変形例１が示すように新ＭａｘＣＬＬを決定する。そして、この２つの場合のいずれにも属さないような場合には、決定部２１１は、ＭａｘＣＬＬ６００Ａ〜６００Ｆのばらつきが大きいとして、本変形例のように新ＭａｘＣＬＬを決定してもよい。 As a first example, when the difference between the maximum value and the minimum value in MaxCLL 600A to 600F is smaller than a predetermined value, the determination unit 211 determines the new MaxCLL as shown in the first embodiment. Next, in other cases, and when it is determined that there is an outlier as described above, the determination unit 211 determines the new MaxCLL as shown in the modification 1. Then, in the case where it does not belong to either of these two cases, the determination unit 211 may determine the new MaxCLL as in the present modification, assuming that the MaxCLL 600A to 600F have a large variation.

２つ目の例として、決定部２１１は、ＭａｘＣＬＬ６００Ａ〜６００Ｆにおける最大値と最小値との差分が所定の値より小さい場合には、実施形態１が示すように新ＭａｘＣＬＬを決定する。次に、それ以外の場合であり、ＭａｘＣＬＬ６００Ａ〜６００Ｆのばらつきが大きい場合には、決定部２１１は、本変形例のように新ＭａｘＣＬＬを決定する。そして、この２つの場合のいずれにも属さないような場合には、決定部２１１は、変形例１のように新ＭａｘＣＬＬを決定してもよい。 As a second example, when the difference between the maximum value and the minimum value in MaxCLL 600A to 600F is smaller than a predetermined value, the determination unit 211 determines the new MaxCLL as shown in the first embodiment. Next, in other cases, when the variation of MaxCLL 600A to 600F is large, the determination unit 211 determines the new MaxCLL as in the present modification. Then, if it does not belong to either of these two cases, the determination unit 211 may determine the new MaxCLL as in the first modification.

なお、上記の各実施形態や各変形例の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。 It should be noted that each functional unit of each of the above-described embodiments and modifications may or may not be individual hardware. The functions of two or more functional units may be realized by common hardware. Each of the plurality of functions of one functional unit may be realized by individual hardware. Two or more functions of one functional unit may be realized by common hardware. Further, each functional unit may or may not be realized by hardware such as ASIC, FPGA, and DSP. For example, the device may have a processor and a memory (storage medium) in which a control program is stored. Then, the function of at least a part of the functional parts of the device may be realized by the processor reading the control program from the memory and executing it.

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments)
The present invention supplies a program that realizes one or more functions of the above embodiments to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

１：撮像システム、１００Ａ：撮像装置、２１１：決定部 1: Imaging system, 100A: Imaging device, 211: Decision unit

Claims

A control device that determines the first metadata for image data of a predetermined period captured by each of a plurality of imaging devices.
An acquisition means for acquiring the second metadata about the image data from each of the plurality of image pickup devices, and
The first metadata is determined based on the plurality of second metadata acquired by the acquisition means, and when the plurality of second metadata satisfy a predetermined condition, the plurality of imaging devices take an image. A determination means for determining the first metadata common to the image data,
A control device characterized by comprising.

The predetermined period is a period corresponding to one scene, and is
The second metadata indicates the maximum luminance value of one image data in the one scene.
The control device according to claim 1.

When the plurality of second metadata satisfy the predetermined condition, the determination means determines the average value of the plurality of second metadata as the first metadata.
The control device according to claim 1 or 2, wherein the control device is characterized by the above.

The case where the plurality of second metadata satisfies the predetermined condition is the case where the difference between the maximum value and the minimum value of the plurality of second metadata is smaller than the first value.
The control device according to claim 3.

When the plurality of second metadata satisfy the predetermined condition, the determination means obtains the first metadata based on the second metadata excluding a part of the plurality of second metadata. decide,
The control device according to claim 1 or 2, wherein the control device is characterized by the above.

When the plurality of second metadata satisfy the predetermined condition, the determining means sets the average value of the second metadata excluding a part of the plurality of second metadata as the first meta. Determined as data,
The control device according to claim 5.

The case where the plurality of second metadata satisfy the predetermined condition is a case where there is a second metadata such that the difference from the average value of the plurality of second metadata is larger than the second value. ,
When the plurality of second metadata satisfy the predetermined condition, the determination means is based on the second metadata in which the difference is equal to or less than the second value among the plurality of second metadata. Determine the first metadata,
The control device according to claim 5 or 6, wherein the control device is characterized by the above.

The determination means is
When the plurality of second metadata do not satisfy the predetermined conditions, the second metadata of each of the plurality of imaging devices is determined as the first metadata of each of the plurality of imaging devices.
The control device according to any one of claims 1 to 7, wherein the control device is characterized by the above.

The control device according to any one of claims 1 to 8.
With multiple imaging devices
With
Each of the plurality of imaging devices
The second metadata for the captured image data is recorded in the recording means.
When the first metadata determined by the determination means is acquired, the second metadata recorded in the recording means is updated to the first metadata.
An imaging system characterized by this.

It is a control method for determining the first metadata for the image data of a predetermined period captured by each of the plurality of imaging devices.
An acquisition process for acquiring second metadata about the image data from each of the plurality of image pickup devices, and
The first metadata is determined based on the plurality of second metadata acquired in the acquisition step, and when the plurality of second metadata satisfy a predetermined condition, the plurality of imaging devices take an image. A determination step of determining the first metadata common to the image data
A control method characterized by having.

A program that causes a computer to function as each means of the control device according to any one of claims 1 to 8.