JP2020048159A - Imaging control device, imaging control method, and program - Google Patents

Imaging control device, imaging control method, and program Download PDF

Info

Publication number
JP2020048159A
JP2020048159A JP2018177291A JP2018177291A JP2020048159A JP 2020048159 A JP2020048159 A JP 2020048159A JP 2018177291 A JP2018177291 A JP 2018177291A JP 2018177291 A JP2018177291 A JP 2018177291A JP 2020048159 A JP2020048159 A JP 2020048159A
Authority
JP
Japan
Prior art keywords
imaging
unit
adjustment
image
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018177291A
Other languages
Japanese (ja)
Other versions
JP2020048159A5 (en
JP7224826B2 (en
Inventor
萌美 浦野
Megumi Urano
萌美 浦野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018177291A priority Critical patent/JP7224826B2/en
Publication of JP2020048159A publication Critical patent/JP2020048159A/en
Publication of JP2020048159A5 publication Critical patent/JP2020048159A5/ja
Application granted granted Critical
Publication of JP7224826B2 publication Critical patent/JP7224826B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

To provide an imaging control device for achieving both expansion of a dynamic range and adjustment of overall appropriate brightness by improving overexposure, underexposure, and gradation jump in other areas when setting exposure and imaging parameters, a control method, and a program.SOLUTION: The imaging control device includes: imaging means for capturing a plurality of images having different exposures; synthesis means for synthesizing the images having different exposures captured by the imaging means; adjustment processing means for adjusting a dynamic range by controlling exposure in the imaging means and synthesis in the synthesis means; detecting means for detecting a region containing an abnormality related to gradation of the images obtained by the synthesis means as a result of adjusting the dynamic range by the adjustment processing means; and notification means for notifying the detection result of the detecting means.SELECTED DRAWING: Figure 5

Description

本発明は、複数の画像を合成してダイナミックレンジの広い合成画像を得る技術に関する。   The present invention relates to a technique for obtaining a synthesized image having a wide dynamic range by synthesizing a plurality of images.

近年、ネットワークカメラを利用した監視システムが広く普及している。ネットワークカメラは大規模な公共機関や量販店などにおける監視カメラとして幅広い分野で利用されているため、屋内および屋外などの照度差の大きな環境または照明が異なる環境などに対してダイナミックレンジの拡大が望まれている。特許文献1では、露出条件の異なる複数の画像を合成することでダイナミックレンジを拡大する技術(以降、WDR)が開示されている。
一方、複数の画像を合成する際に、それぞれに飽和領域が存在しないように合成前に撮影手段の露出を設定する方法が特許文献2で記載されている。
In recent years, surveillance systems using network cameras have become widespread. Since network cameras are used in a wide range of fields as surveillance cameras in large-scale public institutions and mass merchandisers, it is desirable to expand the dynamic range in environments with large illuminance differences, such as indoors and outdoors, or environments with different lighting. It is rare. Patent Document 1 discloses a technique (hereinafter, WDR) for expanding a dynamic range by combining a plurality of images having different exposure conditions.
On the other hand, when a plurality of images are synthesized, a method of setting the exposure of the photographing unit before the synthesis so that a saturated region does not exist in each of the images is described in Patent Document 2.

特許第3546853号Patent No. 3546853 特開2010−136239号公報JP 2010-136239 A

しかしながら、WDR撮影の様な画像合成について、特にユーザーの関心領域に合わせて露出設定や撮像パラメータ設定した場合に他の領域で白とび、黒つぶれ、階調とびなどの弊害が発生してしまう場合がある。その場合、ダイナミックレンジの拡大と全体の適正明るさの調整を両立することが困難である。
本発明は上記のような問題を改善することを目的としている。即ち、ダイナミックレンジの拡大と画面の適正な明るさの調整を容易に実現できる撮像制御装置を提供することを目的とする。
However, with regard to image synthesis such as WDR shooting, particularly when exposure setting and imaging parameters are set in accordance with a user's region of interest, adverse effects such as overexposure, underexposure, and overexposure occur in other regions. There is. In this case, it is difficult to achieve both expansion of the dynamic range and adjustment of the overall appropriate brightness.
An object of the present invention is to improve the above problems. That is, an object of the present invention is to provide an imaging control device capable of easily realizing expansion of a dynamic range and adjustment of appropriate brightness of a screen.

前記課題を解決するために、本発明に係る撮像制御装置は、露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、
前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、
前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、
前記検出手段の検出結果を通知する通知手段と、を有することを特徴とする
In order to solve the above problem, an imaging control device according to the present invention includes: an imaging unit configured to capture a plurality of images having different exposures;
Combining means for combining a plurality of images having different exposures taken by the image pickup means;
Adjustment processing means for adjusting a dynamic range by controlling exposure in the imaging means and synthesis in the synthesis means,
A detection unit that detects a region including an abnormality related to gradation in an image obtained by the synthesis unit as a result of adjusting a dynamic range by the adjustment processing unit;
Notification means for notifying the detection result of the detection means.

本発明によれば、露出の異なる複数画像の合成画像に異常領域があっても、適宜確認しつつダイナミックレンジ調整が可能となり、ダイナミックレンジの拡大と画面の適正な明るさの調整を容易に実現できる。   ADVANTAGE OF THE INVENTION According to this invention, even if there is an abnormal area in a composite image of a plurality of images having different exposures, it is possible to adjust the dynamic range while appropriately checking, and easily realize the expansion of the dynamic range and the adjustment of the appropriate brightness of the screen. it can.

第1実施例に係るシステム構成図。FIG. 1 is a system configuration diagram according to a first embodiment. 第1実施例に係るカメラの機能ブロック図。FIG. 2 is a functional block diagram of the camera according to the first embodiment. 第1実施例に係るビューワークライアントのブロック図。FIG. 2 is a block diagram of a viewer client according to the first embodiment. 第1実施例に係るカメラサーバーの画像処理部のブロック図。FIG. 3 is a block diagram of an image processing unit of the camera server according to the first embodiment. 第1実施例に係る処理のフローチャート。9 is a flowchart of a process according to the first embodiment. 第1実施例に係るユーザー操作画面を説明する図。FIG. 4 is a diagram illustrating a user operation screen according to the first embodiment. 第1実施例に係る図6のヒストグラムを説明する図。FIG. 7 is a view for explaining the histogram of FIG. 6 according to the first embodiment. 第1実施例に係るWDR合成を説明するブロック図。FIG. 3 is a block diagram illustrating WDR combining according to the first embodiment. 第1実施例に係るガンマカーブを説明する図。FIG. 4 is a diagram illustrating a gamma curve according to the first embodiment. 第1実施例に異常領域判定するための領域分割を説明する図。FIG. 7 is a diagram for describing area division for determining an abnormal area in the first embodiment. 第1実施例に係るユーザー操作画面を説明する図。FIG. 4 is a diagram illustrating a user operation screen according to the first embodiment. 第2実施例に係る処理のフローチャート。9 is a flowchart of a process according to a second embodiment. 第3実施例に係る露出と階調段差を説明する図。FIG. 13 is a diagram for explaining exposure and a gradation step according to the third embodiment. 第3実施例に係る露出と階調段差を説明する図。FIG. 13 is a diagram for explaining exposure and a gradation step according to the third embodiment. 第4実施例に係る処理のフローチャート。13 is a flowchart of a process according to a fourth embodiment. 第5実施例に係る処理のフローチャート。15 is a flowchart of a process according to a fifth embodiment.

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
<第1実施例>
以下、図面を参照して説明する。以下の説明においては、本発明の一実施例としてネットワークカメラなどの撮像制御装置について説明する。なお、撮像制御装置は、ネットワークカメラに限らない。たとえば、デジタル一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダなどを含む。あるいはカメラ付きタブレット端末、PHS、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮像機能を有する別の携帯の装置であってもよい。
図1は、本発明の第一実施例にかかわるネットワークカメラの概略構成の一例を示す図である。図1に示すように、ネットワークカメラ100はカメラサーバー110とビューワークライアント120とネットワーク130とを有している。カメラサーバー110とビューワークライアント120とは別々の装置であって通信路としてのネットワーク130を介して接続されている。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
<First embodiment>
Hereinafter, description will be made with reference to the drawings. In the following description, an imaging control device such as a network camera will be described as one embodiment of the present invention. Note that the imaging control device is not limited to a network camera. For example, it includes a digital single-lens reflex camera, a mirrorless single-lens camera, a compact digital camera, a camcorder, and the like. Alternatively, another portable device having an imaging function such as a tablet terminal with a camera, a PHS, a smartphone, a feature phone, and a portable game machine may be used.
FIG. 1 is a diagram showing an example of a schematic configuration of a network camera according to the first embodiment of the present invention. As shown in FIG. 1, the network camera 100 has a camera server 110, a viewer client 120, and a network 130. The camera server 110 and the viewer client 120 are separate devices and are connected via a network 130 as a communication path.

カメラサーバー110はネットワーク130を介して、ネットワークカメラにより撮影(撮像)された画像の画像データを配信する。
ビューワークライアント120はカメラサーバー110にアクセスしてカメラの設定を変更し、当該カメラでの撮像の結果得られた画像データを処理し、あるいは蓄積された画像データなどを処理して、処理後の画像データに基づく画像の表示を行うものである。
ネットワーク130は、カメラサーバー110とビューワークライアント120とを通信可能に接続するものであり、例えば、Ethernet等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されている。なお、本実施例において、ネットワーク130はカメラサーバー110とビューワークライアント120との間の通信が支障なく行えるものであれば、その通信規格や規模、構成は問わない。したがって、ネットワーク130としては、インターネットからLANにいたるまで適用が可能である。
The camera server 110 distributes image data of an image photographed (captured) by the network camera via the network 130.
The viewer client 120 accesses the camera server 110 to change the settings of the camera, processes image data obtained as a result of imaging by the camera, or processes accumulated image data and the like, and processes the processed image data. An image is displayed based on the data.
The network 130 communicably connects the camera server 110 and the viewer client 120, and includes, for example, a plurality of routers, switches, cables, and the like that satisfy a communication standard such as Ethernet. In the present embodiment, the communication standard, scale, and configuration of the network 130 are not limited as long as communication between the camera server 110 and the viewer client 120 can be performed without any trouble. Therefore, the network 130 can be applied from the Internet to the LAN.

図2は、本実施例におけるカメラサーバー110の構成を示すブロック図である。
撮像光学系201は対物レンズ、ズームレンズ、フォーカスレンズ、光学絞り、等から構成され被写体の光情報を後述の撮像素子部202へ集光する。撮像素子部202は、撮像光学系201にて集光された光情報を電気信号へと変換する素子でCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxicide Semiconductor)センサなどで構成され、カラーフィルタなどと組み合わせることで色情報を取得する。また、すべての画素に対して、任意の露出時間を設定可能な撮像センサとする。CPU(Central Processing Unit)203は、撮像制御装置の各構成の処理すべてに関わる制御を行うコンピュータとして機能し、記憶媒体としてのROM(Read Only Memory)204や、RAM(Random Access Memory)205に格納された命令(コンピュータプログラム)を順次に読み込み、解釈し、その結果に従って処理を実行する。また、撮像系制御部206は撮像光学系201に対して、フォーカスレンズを駆動しフォーカスを合わせる、絞りを調整するなどのCPU203から指示された制御を行う。
FIG. 2 is a block diagram illustrating a configuration of the camera server 110 according to the present embodiment.
The imaging optical system 201 includes an objective lens, a zoom lens, a focus lens, an optical diaphragm, and the like, and condenses light information of a subject to an imaging element unit 202 described later. The imaging element unit 202 is an element that converts light information collected by the imaging optical system 201 into an electric signal, and includes a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) sensor and the like, and includes a color filter and the like. Get color information by combining with In addition, an imaging sensor that can set an arbitrary exposure time for all pixels is used. A CPU (Central Processing Unit) 203 functions as a computer that controls all processes of each component of the imaging control device, and is stored in a ROM (Read Only Memory) 204 as a storage medium and a RAM (Random Access Memory) 205. The read instructions (computer programs) are sequentially read and interpreted, and processing is executed according to the results. Further, the imaging system control unit 206 performs control on the imaging optical system 201 instructed by the CPU 203, such as driving a focus lens to adjust a focus and adjusting an aperture.

より詳細には、絞りの駆動制御はプログラムAE(Automatic Exposure)、シャッター速度優先AE、絞り優先AEなどに応じて変化する。即ち、ユーザーが設定する上記の撮影モードに応じて計算された露出値に基づいて行われる。また、CPU203はAE制御に併せてAF(Auto Focus)制御を行う。AF制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。なお、この種のAEおよびAFの構成および制御については周知であるため、ここでの詳細な説明は省略する。
撮像素子部202において光電変換されて得られた電気信号は、画像処理部207に入力される。画像処理部207では、後述の画像処理を行い、輝度信号Y、色差信号Cb,Crを生成する。
エンコーダ部208は、画像処理部207にて処理した画像データをJpegやH.264などの所定の圧縮フォーマットに変換する処理を行う。
通信部209は、ネットワーク130との通信の処理を行う。具体的には、ネットワーク130を経由して撮影された画像データをビューワークライアント120へ配信する。
また、ビューワークライアント120からのカメラ操作コマンドおよび指定した領域のガンマ特性の選択結果を受信し、それに対するレスポンスや画像データ以外の必要なデータの送受信を行う。
More specifically, the aperture drive control changes according to a program AE (Automatic Exposure), a shutter speed priority AE, an aperture priority AE, and the like. That is, the exposure is performed based on the exposure value calculated according to the above-described shooting mode set by the user. Further, the CPU 203 performs AF (Auto Focus) control together with the AE control. An active method, a phase difference detection method, a contrast detection method, or the like is applied to the AF control. Since the configuration and control of this type of AE and AF are well known, a detailed description thereof will be omitted.
An electric signal obtained by photoelectric conversion in the imaging element unit 202 is input to the image processing unit 207. The image processing unit 207 performs image processing described later to generate a luminance signal Y and color difference signals Cb and Cr.
The encoder unit 208 converts the image data processed by the image processing unit 207 into a JPEG or H.264 image data. A process for converting to a predetermined compression format such as H.264 is performed.
The communication unit 209 performs communication with the network 130. Specifically, the image data shot via the network 130 is delivered to the viewer client 120.
Further, it receives a camera operation command from the viewer client 120 and a selection result of the gamma characteristic of the specified area, and transmits and receives a response thereto and necessary data other than image data.

図3は、本実施例におけるビューワークライアント120の構成を示すブロック図である。
CPU301は、ビューワークライアント120における動作を統括的に制御するコンピュータである。ROM302は、CPU301が処理を実行するために必要な制御用コンピュータプログラム等を記憶する不揮発性メモリである。RAM303は、CPU301の主メモリ、ワークエリア等として機能する。すなわち、CPU301は、処理の実行に際してROM302から必要なプログラム等をRAM303にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
FIG. 3 is a block diagram illustrating a configuration of the viewer client 120 according to the present embodiment.
The CPU 301 is a computer that totally controls the operation of the viewer client 120. The ROM 302 is a non-volatile memory that stores a control computer program and the like necessary for the CPU 301 to execute processing. The RAM 303 functions as a main memory, a work area, and the like for the CPU 301. That is, the CPU 301 loads necessary programs and the like from the ROM 302 into the RAM 303 at the time of executing processing, and realizes various functional operations by executing the programs and the like.

HDD(Hard Disk Drive)304は、例えば、CPU301がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、HDD304には、例えば、CPU301がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
操作入力部305は電源ボタンやキーボードやマウスやタッチパネル等の操作デバイスからの入力部でありユーザーインターフェースとして機能する。通信部306は、ネットワーク130との通信の処理を行う。具体的には、例えば撮影された画像データをネットワーク130を経由してカメラサーバー110から受信する。また、カメラ操作コマンドをカメラサーバー110へ送信し、そのレスポンスや画像データ以外の必要なデータの受信などを行う。
表示部307は、カメラサーバー110の各種制御パラメータを入力するためのGUI(Graphical User Interface)などから構成される。ビューワークライアント120の各要素の一部または全部の機能は、CPU301がプログラムを実行することで実現することができる。ただし、ビューワークライアント120の各要素のうち少なくとも一部を専用のハードウェアとして構成してもよい。この場合、専用のハードウェアは、CPU301の制御に基づいて動作する。
The HDD (Hard Disk Drive) 304 stores, for example, various data and various information required when the CPU 301 performs processing using a program. The HDD 304 stores, for example, various data and various information obtained by the CPU 301 performing a process using a program or the like.
The operation input unit 305 is an input unit from an operation device such as a power button, a keyboard, a mouse, and a touch panel, and functions as a user interface. The communication unit 306 performs processing for communication with the network 130. Specifically, for example, captured image data is received from the camera server 110 via the network 130. In addition, a camera operation command is transmitted to the camera server 110, and a response thereof and necessary data other than image data are received.
The display unit 307 includes a GUI (Graphical User Interface) for inputting various control parameters of the camera server 110, and the like. Some or all of the functions of each element of the viewer client 120 can be realized by the CPU 301 executing a program. However, at least some of the components of the viewer client 120 may be configured as dedicated hardware. In this case, the dedicated hardware operates based on the control of the CPU 301.

図4は本実施例の画像処理部207の内部ブロック図である。画像処理部207は現像処理部400とダイナミックレンジ拡張処理部410の2つのブロックに分かれている。現像処理部400は、撮像素子部202より入力された画像データに対して、レンズなど光学系の歪補正などを行う光学補正部401、センサのシェーディング補正などを行うセンサ補正部402を含む。更にゲイン調整を行うゲイン調整部403、ノイズリダクション処理を行うNR処理部404、WB(White Balance)の調整を行うWB調整部405を含む。また、ガンマ補正を行うガンマ補正部406、シャープネス処理を行うシャープネス処理部407、色処理を行う色処理部408、ヒストグラム解析処理部409などを含む。現像処理部400の出力は、メモリ420に蓄えられる。ダイナミックレンジ拡張処理部410は、ガンマ調整部411、WDR(Wide Dynamic Range)合成処理部412などを持ち、メモリ420に蓄えられた現像処理後の複数枚の画像を合成処理することで、ダイナミックレンジの広い画像を生成することができる。   FIG. 4 is an internal block diagram of the image processing unit 207 of this embodiment. The image processing unit 207 is divided into two blocks, a development processing unit 400 and a dynamic range expansion processing unit 410. The development processing unit 400 includes an optical correction unit 401 that performs distortion correction of an optical system such as a lens and the like and a sensor correction unit 402 that performs shading correction of a sensor on image data input from the imaging element unit 202. Further, it includes a gain adjustment unit 403 for performing gain adjustment, an NR processing unit 404 for performing noise reduction processing, and a WB adjustment unit 405 for adjusting WB (White Balance). The image processing apparatus further includes a gamma correction unit 406 that performs gamma correction, a sharpness processing unit 407 that performs sharpness processing, a color processing unit 408 that performs color processing, a histogram analysis processing unit 409, and the like. The output of the development processing unit 400 is stored in the memory 420. The dynamic range expansion processing unit 410 includes a gamma adjustment unit 411, a WDR (Wide Dynamic Range) synthesis processing unit 412, and the like. Image can be generated.

次に図5を用いて、ビューワークライアント120の動作フローについて説明する。まず、S501において、カメラサーバー110でWDR用の撮影をしWDR合成処理した合成画像をビューワークライアント120において表示する。WDR用の撮影の方法に関しては後述する。本ステップ以降においてビューワ―クライアント120から調整指示がカメラサーバー110にコマンドとして発行される。発行された調整の指示コマンドをカメラサーバー110が受信すると、画像調整フローが開始される。一方で、カメラサーバー110の画像配信は図5のフローの開始に限らず続けられる。
まず、S502において、ユーザーがビューワークライアント120で表示部307に表示された画像を見ながらWDR調整を指定する。WDR調整は、たとえば、複数の異なるカーブでガンマ変換するためのガンマテーブルを保持しておきそれらの中からガンマテーブルを選択することでWDRの強度を輝度に応じて指定してもよい。あるいは、gainレベルなどの他のカメラパラメータも同時に変更するようにしてもよい。図6は、撮影シーンの一例を表示しているUIを示しており、網掛けで示す窓601は外と室内602を含む範囲が撮影された画像が表示されている。
Next, an operation flow of the viewer client 120 will be described with reference to FIG. First, in step S <b> 501, a combined image obtained by performing WDR shooting using the camera server 110 and performing WDR combining processing is displayed on the viewer client 120. The method of shooting for WDR will be described later. After this step, an adjustment instruction is issued from the viewer client 120 to the camera server 110 as a command. When the camera server 110 receives the issued adjustment instruction command, an image adjustment flow is started. On the other hand, the image distribution of the camera server 110 is continued without being limited to the start of the flow in FIG.
First, in S502, the user designates WDR adjustment while viewing the image displayed on the display unit 307 with the viewer client 120. In the WDR adjustment, for example, a gamma table for performing gamma conversion with a plurality of different curves may be held, and the gamma table may be selected from the gamma tables to specify the WDR intensity according to the luminance. Alternatively, another camera parameter such as a gain level may be changed at the same time. FIG. 6 shows a UI displaying an example of a shooting scene. A window 601 indicated by hatching displays an image of a range including the outside and the room 602.

窓601の枠の内側に示されている屋外の画像と窓601の枠の外側に示されている室内602、603の画像とは異なる光源の影響を受けており、窓601の枠の内側の画像領域と室内602,603の画像領域では輝度差が大きいとする。603は602に比べて601の外光の影響が少なく暗い環境である。また本ステップS502においては、ユーザーが図6(A)または(B)に示すようなGUIを用いてWDR調整レベルを選択する。ここで、選択の仕方は図6(A)のようにWDRのON、OFFスイッチをONにして、WDRレベル調整用のスライドバーで調整の強弱を設定できるようにしてもよい。あるいは図6(B)のようなメニュー選択によって、WDRのON、OFFの選択や、WDRをONした状態で、更にプルダウンメニュー等によって数段階のレベル設定の中から一つを選択してもよいがこれらの方法に限定されない。また、選択された調整レベルを通信部からコマンドとしてカメラサーバー110側へ送信する。
ここで、WDRの合成処理およびWDR調整について本実施例では図7〜9を用いて説明するが、これに限定されない。
本実施例では、露出アンダーの画像(アンダー露出画像)、適正な露出の画像(適正露出画像)、露出オーバーの画像(オーバー露出画像)の、3種類の露出の画像を3枚撮影したのちにこれらを合成している。それぞれの露出時間はWDR調整の強度に応じて変更可能となっている。
The outdoor image shown inside the frame of the window 601 and the images of the rooms 602 and 603 shown outside the frame of the window 601 are affected by different light sources, and the image inside the frame of the window 601 is different. It is assumed that the luminance difference is large between the image area and the image areas of the rooms 602 and 603. Reference numeral 603 denotes a dark environment in which the influence of external light of 601 is smaller than that of 602. In this step S502, the user selects a WDR adjustment level using a GUI as shown in FIG. 6 (A) or (B). Here, as a selection method, as shown in FIG. 6A, the ON / OFF switch of the WDR may be turned ON, and the strength of the adjustment may be set by a slide bar for WDR level adjustment. Alternatively, WDR ON / OFF may be selected by menu selection as shown in FIG. 6B, or one of several levels may be selected from a plurality of level settings by pull-down menu or the like while WDR is ON. Are not limited to these methods. Also, the selected adjustment level is transmitted from the communication unit to the camera server 110 as a command.
In this embodiment, the WDR combining process and the WDR adjustment will be described with reference to FIGS. 7 to 9, but the present invention is not limited to this.
In the present embodiment, three underexposed images (underexposed images), properly exposed images (properly exposed images), and overexposed images (overexposed images) are taken, and then three images are taken. These are synthesized. Each exposure time can be changed according to the strength of the WDR adjustment.

図7は、図6のシーンにおける各画像のヒストグラムを示している。アンダー露出画像のヒストグラムを701、適正露出画像のヒストグラムを702、オーバー露出画像のヒストグラムを703に示す。適正露出は、画像上で広い範囲を占める室内光に対して適正な露出となっている。また、オーバー露出は、図6の網掛けで示される窓の外に露出があっている。
図8は、合成処理を説明するブロック図である。前述のとおり露出の異なる3つの画像に対して、ガンマ補正部406において図9で後述するようなガンマ補正をそれぞれ行った後にいったん図4のメモリ420に保持される。保持された画像に対して、前述のWDR合成処理部412において、階調補正として所定値のオフセット加算もしくは階調の伸長処理を行う。次に、それぞれの画像が加算され合成される。合成されたのちに、前述のガンマ調整部411においてガンマ調整が行われ出力画像として出力される。
FIG. 7 shows a histogram of each image in the scene of FIG. A histogram 701 of the underexposed image, a histogram 702 of the properly exposed image, and a histogram 703 of the overexposed image are shown. The proper exposure is an appropriate exposure for room light that occupies a wide area on an image. In the overexposure, the window is exposed outside the shaded window in FIG.
FIG. 8 is a block diagram illustrating the combining process. As described above, the gamma correction unit 406 performs gamma correction on the three images having different exposures as described later with reference to FIG. 9 and then temporarily stores the gamma correction in the memory 420 in FIG. The stored image is subjected to offset addition of a predetermined value or gradation expansion processing as gradation correction in the WDR synthesis processing unit 412 described above. Next, the respective images are added and combined. After the synthesis, the above-described gamma adjustment unit 411 performs gamma adjustment, and outputs the output image.

図9(A)に露出の異なる3種類の画像にガンマ補正部406によってそれぞれ適用されるガンマ曲線を示す。ガンマ曲線は、入力輝度に対する出力輝度信号の入出力特性を示しており、アンダー露出画像に適用されるガンマ曲線901、適正露出画像に適用されるガンマ曲線902、オーバー露出画像に適用される903を示している。横軸の入力は、各画像の露出差を考慮した値になっている。縦軸は8ビットの出力値である。出力値の上限はこれに限らない。まず、WDR調整がなされなかった場合の合成結果を図9(B)に示す。図9(A)に示すガンマ曲線に対して、適正露出のガンマ曲線はオフセット加算によって256オフセット加算され、オーバー露出のガンマ曲線はオフセット加算によって512オフセットされ加算されることで、図9(B)において910に示す特性を示す。この特性では、オーバー露出の画像は出力輝度512〜767の範囲で出力される。この図9(B)に示される合成画像の再現域では、入力階調に対する出力階調の連続性が保たれている、一方、特にダイナミックレンジの狭い表示装置において明部が潰れてしまう場合がある。   FIG. 9A shows gamma curves applied by the gamma correction unit 406 to three types of images having different exposures. The gamma curve indicates the input / output characteristics of the output luminance signal with respect to the input luminance, and includes a gamma curve 901 applied to an underexposed image, a gamma curve 902 applied to a properly exposed image, and a 903 applied to an overexposed image. Is shown. The input on the horizontal axis is a value considering the exposure difference of each image. The vertical axis is an 8-bit output value. The upper limit of the output value is not limited to this. First, FIG. 9B shows a synthesis result when WDR adjustment is not performed. With respect to the gamma curve shown in FIG. 9A, the gamma curve of the proper exposure is added by 256 offsets by offset addition, and the gamma curve of the overexposure is offset by 512 offsets and added, so that FIG. 9B Shows the characteristics shown in 910. With this characteristic, an overexposed image is output in a range of output luminance 512 to 767. In the reproduction range of the synthesized image shown in FIG. 9B, the continuity of the output gray scale with respect to the input gray scale is maintained. On the other hand, particularly in a display device having a narrow dynamic range, a bright portion may be crushed. is there.

次に、本実施例のWDR調整において、オーバー露出画像を調整する場合の合成結果を図9(C)に示す。もちろん、用意する所定の調整テーブルはこれに限らず、アンダー露出画像を対象とするもの、すべての露出画像を対象とするもの、またゲイン調整などを加えてテーブル作成してもよい。図9(A)に示すガンマ曲線に対して、適正露出のガンマ曲線はオフセット加算によって256オフセット加算される(920のカーブ)。一方、オーバー露出画像は、オフセット加算ではなくガンマの伸長処理によって921のa〜dに示すような特性を選択可能にしている。これにより、オーバー露出画像の明暗差が大きくなり、ダイナミックレンジの狭い表示装置においてもユーザーが選択したガンマ特性によって視認性を広げることができる。
本実施例では、撮影エリア全体を合成するが、これに限らず撮影される画像エリアの少なくとも一部でももちろんよい。また、合成方法に関しては、異なる露出の複数の画像を所定の露出の度合で分類し、暗部領域においては適性露出と露出オーバーの階調が足し合わされ、明部領域においては適性露出と露出アンダーの階調が足しあわされるようにしてもよい。
Next, FIG. 9C shows a synthesis result in the case of adjusting an overexposed image in the WDR adjustment of the present embodiment. Of course, the predetermined adjustment table to be prepared is not limited to this, and may be a table for underexposed images, a table for all exposed images, or a table created by adding gain adjustment and the like. With respect to the gamma curve shown in FIG. 9A, the gamma curve with proper exposure is subjected to 256 offset addition by offset addition (curve 920). On the other hand, the characteristics shown in 921 a to 921 d can be selected for the overexposed image by gamma expansion processing instead of offset addition. As a result, the difference in brightness between overexposed images is increased, and visibility can be widened by a gamma characteristic selected by a user even in a display device with a narrow dynamic range.
In the present embodiment, the entire photographing area is synthesized. However, the present invention is not limited to this. Further, regarding the synthesizing method, a plurality of images having different exposures are classified according to a predetermined exposure degree, and the appropriate exposure and the overexposed gradation are added in the dark area, and the appropriate exposure and the underexposure are added in the bright area. The gradations may be added.

さらに、ビューワークライアント120はカメラサーバー110に対して指示を出して、ガンマ調整以外の画像処理をさせてもよい。例えば、ホワイトバランス調整、ノイズリダクション処理やシャープネス処理、コントラスト調整、彩度調整も異なる露出画像ごとに処理設定を変えてもよい。
また、本実施例ではビューワークライアント120はカメラサーバー110に対して指示を出すことによって、WDR調整レベルに応じたテーブルを選択する。即ち図9(C)a〜dに示すようにガンマ調整部411でガンマレベルを変更するために所定の複数のガンマテーブルの中から一つのガンマテーブルを選択する。なお、合成前の画像への階調の伸長処理を行うテーブルを複数用意して選択するようにしてもよい。
次に、図5に戻り、S503で異常領域が有るか判定をする。そのために、ビューワークライアント120はヒストグラム解析処理部409に対して指示をすることによって、合成後の画像に対してヒストグラム解析を行う。本ステップでは、図10のように合成画像に対してブロックで区切られた各ブロックのヒストグラムを作成する。本実施例において、解像度は、1920×1080であり、64×36のブロックに分割するが各ブロックの大きさはこの大きさより小さくても大きくてもよい。この分割したブロックのヒストグラム結果から異常領域を判定する。ここで、異常領域とは合成後の画像の各画素または分割したブロックに画像としての異常な情報が含まれる領域を意味する。例えば、白飛びのように輝度が極端に高い画素、または、黒潰れのように輝度が極端に低い画素は異常となる。一方、極端に高い輝度と極端に低い輝度との間の所定の適正範囲内の輝度を有する画素または分割ブロックは、有効な(異常でない)画素またはブロックと判断される。異常領域が検出されなければS506に移行する。
Further, the viewer client 120 may issue an instruction to the camera server 110 to perform image processing other than gamma adjustment. For example, the processing settings for white balance adjustment, noise reduction processing, sharpness processing, contrast adjustment, and saturation adjustment may be changed for each different exposed image.
In this embodiment, the viewer client 120 selects a table according to the WDR adjustment level by issuing an instruction to the camera server 110. That is, as shown in FIGS. 9C to 9D, the gamma adjustment unit 411 selects one gamma table from a plurality of predetermined gamma tables to change the gamma level. Note that a plurality of tables for performing gradation expansion processing on an image before synthesis may be prepared and selected.
Next, returning to FIG. 5, it is determined in S503 whether there is an abnormal area. For this purpose, the viewer client 120 instructs the histogram analysis processing unit 409 to perform histogram analysis on the combined image. In this step, as shown in FIG. 10, a histogram of each block divided into blocks with respect to the composite image is created. In this embodiment, the resolution is 1920 × 1080, and the image is divided into 64 × 36 blocks, but the size of each block may be smaller or larger than this size. An abnormal area is determined from the histogram result of the divided blocks. Here, the abnormal region refers to a region in which abnormal information as an image is included in each pixel or divided block of the image after synthesis. For example, a pixel having extremely high luminance such as overexposed or a pixel having extremely low luminance such as crushed black is abnormal. On the other hand, a pixel or a divided block having a luminance within a predetermined appropriate range between extremely high luminance and extremely low luminance is determined as a valid (non-abnormal) pixel or block. If no abnormal region is detected, the flow shifts to S506.

続いて、S504ではS503で異常領域が有ると判定された場合に、ビューワークライアント120で異常領域を強調して視認可能に表示しユーザーへ通知する。図11にUIの表示例を示す。表示画面の画像上に前述のS503で異常領域と判定されたブロックの範囲を網掛けや斜線などで重畳する。あるいは点滅させて重畳画像と重畳無画像を切り替えて表示してもよいし、点線や赤色や太枠などの枠で異常領域を囲ってもよい、また、画像上または図11の右側に示されるように、設定画面上に文字やメッセージで通知してもよい。さらに、ビューワークライアント120から警告音を発報してもよい。
S505では、S504において異常領域が表示、通知された場合に、表示された画像の状態を判断してユーザーがOKとするかNGとするかを判定する。NGであればS502に戻りWDR調整レベルの設定を変更する。異常領域は存在するが注目したい領域が所望の適正状態で表示されていればOKと判断して、S506に進みWDR調整レベルの設定を変更せずに画像表示を行う。
これにより、ユーザーが異常領域を把握したうえで、WDR調整レベルを適宜設定可能とすることで、異常領域がない所望の画像をユーザーが得ることができる。または、一部に異常領域があっても所望のダイナミックレンジの有する画像を得ることができる。したがって、ユーザーの必要としている輝度領域を適切に階調表現することができ監視に適した画像を提供できる。
Subsequently, in S504, when it is determined in S503 that there is an abnormal area, the viewer client 120 highlights the abnormal area, displays it so that it can be visually recognized, and notifies the user. FIG. 11 shows a display example of the UI. The range of the block determined to be an abnormal area in S503 is superimposed on the image on the display screen by shading or hatching. Alternatively, a blinking image may be displayed by switching between a superimposed image and a non-superimposed image, or an abnormal region may be surrounded by a frame such as a dotted line, red, or a thick frame. As described above, the notification may be made on the setting screen by text or a message. Further, a warning sound may be issued from the viewer client 120.
In step S505, when the abnormal region is displayed and notified in step S504, the state of the displayed image is determined to determine whether the user is OK or NG. If it is NG, the process returns to S502 to change the setting of the WDR adjustment level. If there is an abnormal area, but the area of interest is displayed in a desired proper state, it is determined that it is OK, and the process advances to step S506 to display an image without changing the setting of the WDR adjustment level.
This allows the user to set the WDR adjustment level as appropriate after grasping the abnormal region, thereby allowing the user to obtain a desired image having no abnormal region. Alternatively, an image having a desired dynamic range can be obtained even if there is an abnormal region in a part. Therefore, the brightness area required by the user can be appropriately expressed in gradation, and an image suitable for monitoring can be provided.

<第2実施例>
次に、第2の実施例について図12を用いて説明する。図5と同じステップは同じ動作をするものとする。
第1実施例では、WDR調整レベルに応じて所定の複数のテーブルから1つのテーブルを選択する例を説明した。しかし、本実施例では輝度領域を表示し、その中からWDR調整用の領域を指定し、指定した領域の階調が優先的に広くなるようにWDR調整レベルを設定する。
<Second embodiment>
Next, a second embodiment will be described with reference to FIG. The same steps as those in FIG. 5 perform the same operation.
In the first embodiment, an example in which one table is selected from a plurality of predetermined tables according to the WDR adjustment level has been described. However, in the present embodiment, a luminance region is displayed, a region for WDR adjustment is designated from the luminance region, and the WDR adjustment level is set so that the gradation of the designated region is preferentially widened.

S5010において、WDR合成の際に取得する図7で示すヒストグラム結果から、複数の露出で撮影した画像を合成するための区分けされた輝度領域マップを画像上に重畳する。具体的には例えば図6の601,602,603のような輝度レベルに応じて区分けした輝度領域の表示をする。その状態において、S5011において、ユーザーが調整したいエリアの一点または矩形エリアでWDR調整用の領域を設定する。上記のように輝度領域を表示した状態で、ユーザーの設定したWDR調整用の矩形領域が複数のエリアにまたがる場合には、複数の輝度領域にまたがってしまっている事をユーザーへ通知する。更には、領域の選択のやり直しを促すようにしてもよい。通知はメッセージでもよいし、またがってしまっている両方の領域を点滅させたり色を変えさせたりさせるような強調表示をしてもよい。また、ユーザーが指定した矩形の中で複数のエリアにまたがらず最大の面積となる矩形を自動的に設定するように構成してもよい。
ここで、S5010で表示される画像は、図6に示すように合成後の画像を表示してもよいし、あるいは合成前の画像を表示してもよい。なお、本実施例では、露出アンダーの画像、適正な露出の画像、露出オーバーの画像の3種類の露出条件で撮影したのちにその3枚の画像を合成するものとする。
In S5010, based on the histogram result shown in FIG. 7 acquired at the time of WDR synthesis, a divided luminance area map for synthesizing images captured with a plurality of exposures is superimposed on the image. Specifically, for example, a luminance area divided according to a luminance level such as 601, 602, and 603 in FIG. 6 is displayed. In this state, in step S5011, the user sets a WDR adjustment area at one point or a rectangular area of the area to be adjusted. When the rectangular area for WDR adjustment set by the user extends over a plurality of areas in the state where the luminance area is displayed as described above, the user is notified that the rectangular area for the WDR adjustment extends over the plurality of luminance areas. Further, the user may be prompted to redo the selection of the area. The notification may be a message, or may be highlighted so as to blink or change the color of both areas that are straddling. In addition, a configuration may be adopted in which a rectangle having the largest area without extending over a plurality of areas among the rectangles specified by the user is automatically set.
Here, as the image displayed in S5010, the image after the combination may be displayed as shown in FIG. 6, or the image before the combination may be displayed. In the present embodiment, it is assumed that the three images are synthesized after shooting under three types of exposure conditions: an underexposed image, an appropriately exposed image, and an overexposed image.

S5011で指定したWDR調整用の領域を優先したWDR調整レベルの方法に関しては第1実施例とほぼ同様な方法で処理する。更に、ガンマテーブルおよび他のカメラパラメータ設定によって、ユーザーが指定したエリアの階調を優先的に広げるように調整を行う。
これにより、ユーザーが所望の輝度領域に対して優先的に広いダイナミックレンジを割り当てることができ、画像調整することができる。しかもWDR調整をしつつ異常領域の発生の有無を確認することができる。
Regarding the method of the WDR adjustment level giving priority to the area for the WDR adjustment designated in S5011, processing is performed in substantially the same manner as in the first embodiment. Further, the gamma table and other camera parameter settings are adjusted so that the gradation of the area designated by the user is preferentially expanded.
As a result, the user can preferentially allocate a wide dynamic range to a desired luminance area, and can perform image adjustment. Moreover, it is possible to confirm whether or not an abnormal area has occurred while performing WDR adjustment.

<第3実施例>
第1、第2実施例ではガンマテーブルの調整を中心に説明したが、更にWDR合成の元となる複数フレームの露出条件を調整してもよい。
即ち、ビューワークライアント120におけるWDR調整の強度変更があると、カメラサーバー110で複数種類の露出条件で複数画像を撮像させる際の前記それぞれの画像の露出条件(例えば露出時間や絞りや感度など)を変更する。あるいは複数の露出条件の組み合わせを変更したり、上記複数種類の露出の段差の重なり量など変更したりできるようにする。また前記WDR調整用の領域の階調を優先的に広げるようにしたり、ガンマカーブもそれに合わせて変更したりする。なお、WDR調整の強度変更に伴って、異なる露出の数を上記のように3種類ではなく4種類にしたり、逆に2種類にしたりして変更してもよい。
例えば図13、図14は入力階調のギャップについて説明した図である。図13、図14では長秒時の画像aと短秒時の画像a´が4ビット分重なっている例を示している。また、長秒時の画像bと短秒時の画像b´は2ビット分重なっている。一方長秒時の画像cと短秒時の画像c´は重なっておらずギャップが生じている例を示している。図14(A)、図14(B)、図14(C)の順にWDR強度が強くなっている。そして上記のように撮像時の露出条件まで変更できるようにしてWDR調整の強度変更の範囲を広げた場合には、図14(C)のように入力階調にギャップが生じる。したがって、これに伴って異常領域が生じたら、ビューワークライアント120側などで異常領域を枠や点滅などによって強調表示する。
<Third embodiment>
In the first and second embodiments, the description has been made focusing on the adjustment of the gamma table. However, the exposure conditions of a plurality of frames serving as a source of WDR synthesis may be further adjusted.
That is, when the intensity of the WDR adjustment in the viewer client 120 is changed, the exposure conditions (for example, exposure time, aperture, sensitivity, etc.) of the respective images when the camera server 110 captures a plurality of images under a plurality of types of exposure conditions are set. change. Alternatively, it is possible to change the combination of a plurality of exposure conditions, change the overlap amount of the steps of the plurality of types of exposure, and the like. The gradation of the WDR adjustment area is preferentially expanded, and the gamma curve is changed accordingly. Note that, with the change in the intensity of the WDR adjustment, the number of different exposures may be changed from four to four instead of three as described above, or alternatively to two.
For example, FIGS. 13 and 14 are diagrams illustrating the gap of the input gradation. 13 and 14 show an example in which the image a at the long time and the image a 'at the short time are overlapped by 4 bits. In addition, the image b at the long time and the image b 'at the short time are overlapped by 2 bits. On the other hand, the image c at the long time and the image c 'at the short time are not overlapped, and an example in which a gap is generated is shown. The WDR intensity increases in the order of FIG. 14 (A), FIG. 14 (B), and FIG. 14 (C). When the range of the intensity change of the WDR adjustment is expanded so that the exposure condition at the time of imaging can be changed as described above, a gap occurs in the input gradation as shown in FIG. Therefore, if an abnormal area is generated along with this, the abnormal area is highlighted by a frame or blinking on the viewer client 120 side or the like.

<第4実施例>
図15は第4実施例を説明するフローチャートであり、図12と同じ符番のステップは同じ動作をする。図15において、異常領域判定S503において、異常領域が検出され、S504で異常領域を表示した後、S505でユーザー判定がOKでなかった場合には、S502に戻る前にS5051でWDR調整指定を一つ前の状態に戻す。即ち、異常領域がなかった状態のWDR調整指定に一旦戻す。
<第5実施例>
図16は第5実施例を説明するフローチャートであり、図15と同じ符番のステップは同じ動作をする。図16において、S5012はWDR調整可能な範囲を端から端までパラメータを変更しつつ事前に自動的にスキャンする。S5013で異常領域があるか否かをS503と同様に判断し、もし異常領域がなければS5014に進みWDR調整可能な範囲をフルレンジで表示し、WDR調整の入力を受け付ける。一方S5013で異常領域があると判断された場合には、S5015に進み異常領域が発生しないWDR調整可能な範囲のみを表示するように制限し、その範囲のWDR調整の入力のみを受け付ける。
これにより、異常領域が発生しない設定パラメータをユーザーに表示することができ、ユーザーは安心してS502で設定パラメータを変更することができる。
なお、S502でWDR調整をした後、S503で再度異常領域があるか否かを判断しそれ以降第4実施例と同様の制御をするが、これは周囲の明るさが急に変動した場合に備えたフローである。
<Fourth embodiment>
FIG. 15 is a flowchart for explaining the fourth embodiment. Steps with the same reference numerals as those in FIG. 12 perform the same operations. In FIG. 15, after the abnormal area is detected in the abnormal area determination S503 and the abnormal area is displayed in S504, if the user determination is not OK in S505, the WDR adjustment designation is made in S5051 before returning to S502. Return to the previous state. That is, the WDR adjustment is temporarily returned to the state where there is no abnormal area.
<Fifth embodiment>
FIG. 16 is a flowchart for explaining the fifth embodiment. Steps with the same numbers as those in FIG. 15 perform the same operations. In FIG. 16, in step S5012, the range in which the WDR can be adjusted is automatically scanned in advance while changing parameters from end to end. In S5013, whether or not there is an abnormal area is determined in the same manner as in S503. If there is no abnormal area, the process proceeds to S5014, where the WDR adjustable range is displayed in the full range, and an input of WDR adjustment is accepted. On the other hand, if it is determined in step S5013 that there is an abnormal area, the process advances to step S5015 so that only a WDR-adjustable range where no abnormal area occurs is displayed, and only an input of WDR adjustment in that range is accepted.
As a result, setting parameters that do not cause an abnormal area can be displayed to the user, and the user can change the setting parameters in S502 with ease.
After performing the WDR adjustment in S502, it is determined again whether or not there is an abnormal area in S503, and thereafter the same control as in the fourth embodiment is performed. It is a prepared flow.

なお、以上の実施例等においては、ユーザー側に合成画像を表示し、その表示内容に基づきWDR調整をし、露出条件やガンマ等の指定をコマンドによってビューワークライアント120からカメラサーバー110へ通知していた。それにより、コマンドの内容を反映したWDR調整後の合成画像をカメラサーバー110からビューワークライアント120へ配信し、ビューワークライアント120で表示していた。すなわちカメラサーバー110の装置内に合成処理部を配置していた。しかしカメラサーバー110から合成前の画像をビューワークライアント120に配信し、ビューワークライアント120において表示させてから、ビューワークライアント120において合成処理を行うように構成してもよい。あるいはビューワークライアント120において合成処理をしてから表示させるようにしてもよい。即ちビューワークライアント120の装置内に合成処理部を配置してもよい。この場合コマンドの通信の手間が省けるため、ユーザーの選択結果を短い時間で確認することが可能となる。   In the above embodiments and the like, the composite image is displayed on the user side, WDR adjustment is performed based on the display contents, and the viewer client 120 notifies the camera server 110 of the designation of the exposure condition, gamma, and the like by a command. Was. As a result, the composite image after the WDR adjustment reflecting the content of the command is distributed from the camera server 110 to the viewer client 120, and is displayed on the viewer client 120. That is, the composition processing unit is arranged in the device of the camera server 110. However, the image before composition may be distributed from the camera server 110 to the viewer client 120 and displayed on the viewer client 120, and then the composition processing may be performed on the viewer client 120. Alternatively, the display may be performed after the composition processing is performed in the viewer client 120. That is, the composition processing unit may be arranged in the device of the viewer client 120. In this case, the trouble of command communication can be saved, so that the user's selection result can be confirmed in a short time.

上述の実施例では、説明の簡便のため3つの輝度領域についてマップを作成する例を主体として説明しているが、3つに限らないことは言うまでもない。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
In the above-described embodiment, an example in which a map is created for three luminance regions is mainly described for the sake of simplicity, but it is needless to say that the number is not limited to three.
The present invention is also realized by executing the following processing. That is, software (program) for realizing the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program and reads the program. This is the process to be performed.

110 カメラサーバー
120 ビューワークライアント
201 撮像光学系
202 撮像素子部
207 画像処理部
400 現像処理部
410 ダイナミックレンジ拡張処理部
411 ガンマ調整部
412 WDR合成処理部
110 camera server 120 viewer client 201 imaging optical system 202 imaging element unit 207 image processing unit 400 development processing unit 410 dynamic range expansion processing unit 411 gamma adjustment unit 412 WDR synthesis processing unit

Claims (17)

露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、
前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、
前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、
前記検出手段の検出結果を通知する通知手段と、を有することを特徴とする撮像制御装置。
Imaging means for capturing a plurality of images having different exposures;
Combining means for combining a plurality of images having different exposures taken by the image pickup means;
Adjustment processing means for adjusting a dynamic range by controlling exposure in the imaging means and synthesis in the synthesis means,
A detection unit that detects a region including an abnormality related to gradation in an image obtained by the synthesis unit as a result of adjusting a dynamic range by the adjustment processing unit;
An imaging control device comprising: a notification unit configured to notify a detection result of the detection unit.
前記合成画像のうち輝度レベルに応じた領域を区別して表示する表示手段を有する請ことを特徴とする請求項1に記載の撮像制御装置。   The apparatus according to claim 1, further comprising a display unit configured to display an area corresponding to a luminance level in the composite image in a distinguishable manner. 前記表示手段に表示された画像の中の所定の領域を設定するための領域設定手段を有し、前記調整処理は、前記領域設定手段によって設定された領域のおけるダイナミックレンジを広げるように調整することを特徴とする請求項2に記載の撮像制御装置。   An area setting unit for setting a predetermined area in the image displayed on the display unit, wherein the adjustment processing is performed to increase a dynamic range in the area set by the area setting unit. The imaging control device according to claim 2, wherein: 前記領域設定手段はユーザーインターフェースを含むことを特徴とする請求項3に記載の撮像制御装置。   The apparatus according to claim 3, wherein the area setting unit includes a user interface. 前記露出の異なる複数の画像にそれぞれ異なるガンマ変換をするためのガンマテーブルを有することを特徴とする請求項1から4いずれか一項に記載の撮像制御装置。   The imaging control apparatus according to any one of claims 1 to 4, further comprising a gamma table for performing different gamma conversion on the plurality of images having different exposures. 前記輝度レベルに応じた領域ごとに画像処理パラメータの設定の設定を受付ける受付手段を有することを特徴とする請求項2から4のいずれか一項に記載の撮像制御装置。   The imaging control apparatus according to claim 2, further comprising a receiving unit configured to receive setting of an image processing parameter for each area corresponding to the luminance level. 少なくとも前記撮像手段と前記調整処理手段とは別々の装置内に配置され、両方の装置は通信路を介して互いに接続されていることを特徴とする請求項1から6のいずれか一項に記載の撮像制御装置。   7. The apparatus according to claim 1, wherein at least the imaging unit and the adjustment processing unit are arranged in separate devices, and both devices are connected to each other via a communication path. 8. Imaging control device. 前記調整処理手段における調整動作を事前に実行し、その結果に基づき、前記調整処理手段の調整範囲を制限するようにしたことを特徴とする請求項1から7のいずれか一項に記載の撮像制御装置。   8. The imaging apparatus according to claim 1, wherein an adjustment operation in the adjustment processing unit is performed in advance, and an adjustment range of the adjustment processing unit is limited based on a result of the adjustment operation. 9. Control device. 前記撮像手段と前記合成手段は同じ装置内に配置されていることを特徴とする請求項7に記載の撮像制御装置。   The imaging control device according to claim 7, wherein the imaging unit and the combining unit are arranged in the same device. 前記前記調整処理手段と前記合成手段は同じ装置内に配置されていることを特徴とする請求項7に記載の撮像制御装置。   The imaging control device according to claim 7, wherein the adjustment processing unit and the combining unit are arranged in the same device. 前記通信路はネットワークを含むことを特徴とする請求項7に記載の撮像制御装置。   The apparatus according to claim 7, wherein the communication path includes a network. 前記調整処理手段は前記ダイナミックレンジの調整に応じて前記撮像手段において撮像される複数の画像の露出条件を変更可能であることを特徴とする請求項1から11のいずれか一項に記載の撮像制御装置。   The imaging apparatus according to any one of claims 1 to 11, wherein the adjustment processing unit is capable of changing exposure conditions of a plurality of images captured by the imaging unit according to the adjustment of the dynamic range. Control device. 前記調整処理手段は前記ダイナミックレンジの調整に応じて前記撮像手段において撮像される複数の画像の露出条件を変更可能であることを特徴とする請求項1から12のいずれか一項に記載の撮像制御装置。   13. The imaging apparatus according to claim 1, wherein the adjustment processing unit is capable of changing exposure conditions of a plurality of images captured by the imaging unit according to the adjustment of the dynamic range. Control device. 前記調整処理部は、ダイナミックレンジを調整した結果前記合成手段により得られる画像において、階調に関する異常を含む領域を前記検出手段が検出した場合に、前記調整処理部により調整されたダイナミックレンジをもとに戻すことを特徴とする請求項1から13のいずれか一項に記載の撮像制御装置。   The adjustment processing unit, when the detection unit detects an area including an abnormality related to gradation in an image obtained by the synthesizing unit as a result of adjusting the dynamic range, the dynamic range adjusted by the adjustment processing unit. The imaging control apparatus according to claim 1, wherein the control is returned to: 請求項1から14のいずれか1項に記載の撮像制御装置の各手段をコンピュータにより実行するためのコンピュータプログラム。   A computer program for causing a computer to execute each unit of the imaging control device according to claim 1. 請求項15に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。   A computer-readable storage medium storing the computer program according to claim 15. 露出の異なる複数の画像を撮像する撮像工程と、
前記撮像工程により撮像された露出の異なる複数の画像を合成する合成工程と、
前記撮像工程における露出および前記合成工程における合成の制御を行うことによってダイナミックレンジを調整する調整処理工程と、
前記調整処理工程によりダイナミックレンジを調整した結果前記合成工程により得られる画像のうち、階調に関する異常を含む領域を検出する検出工程と、
前記検出工程の検出結果を通知する通知工程と、を有することを特徴とする撮像制御方法。



An imaging step of imaging a plurality of images having different exposures,
A combining step of combining a plurality of images having different exposures captured by the imaging step;
An adjustment processing step of adjusting a dynamic range by controlling exposure in the imaging step and synthesis in the synthesis step;
A detection step of detecting a region including an abnormality related to gradation in an image obtained by the synthesis step as a result of adjusting the dynamic range by the adjustment processing step,
A notification step of notifying a detection result of the detection step.



JP2018177291A 2018-09-21 2018-09-21 Imaging control device, imaging control method, and program Active JP7224826B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018177291A JP7224826B2 (en) 2018-09-21 2018-09-21 Imaging control device, imaging control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018177291A JP7224826B2 (en) 2018-09-21 2018-09-21 Imaging control device, imaging control method, and program

Publications (3)

Publication Number Publication Date
JP2020048159A true JP2020048159A (en) 2020-03-26
JP2020048159A5 JP2020048159A5 (en) 2021-10-28
JP7224826B2 JP7224826B2 (en) 2023-02-20

Family

ID=69901821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018177291A Active JP7224826B2 (en) 2018-09-21 2018-09-21 Imaging control device, imaging control method, and program

Country Status (1)

Country Link
JP (1) JP7224826B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464748A (en) * 2020-05-07 2020-07-28 Oppo广东移动通信有限公司 Image processing method, mobile terminal and computer readable storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199860A (en) * 2010-02-26 2011-10-06 Nikon Corp Imaging device and image generating program
JP2013055567A (en) * 2011-09-06 2013-03-21 Olympus Imaging Corp Imaging apparatus
JP2013162359A (en) * 2012-02-06 2013-08-19 Canon Inc Image processing apparatus and image processing method
JP2016054423A (en) * 2014-09-04 2016-04-14 キヤノン株式会社 Imaging device, method for controlling the same, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199860A (en) * 2010-02-26 2011-10-06 Nikon Corp Imaging device and image generating program
JP2013055567A (en) * 2011-09-06 2013-03-21 Olympus Imaging Corp Imaging apparatus
JP2013162359A (en) * 2012-02-06 2013-08-19 Canon Inc Image processing apparatus and image processing method
JP2016054423A (en) * 2014-09-04 2016-04-14 キヤノン株式会社 Imaging device, method for controlling the same, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111464748A (en) * 2020-05-07 2020-07-28 Oppo广东移动通信有限公司 Image processing method, mobile terminal and computer readable storage medium
CN111464748B (en) * 2020-05-07 2021-04-23 Oppo广东移动通信有限公司 Image processing method, mobile terminal and computer readable storage medium

Also Published As

Publication number Publication date
JP7224826B2 (en) 2023-02-20

Similar Documents

Publication Publication Date Title
JP2003198891A (en) Image display controller, image display control method, and imaging apparatus
JP2007251860A (en) Color noise elimination method for image data and imaging apparatus using the same
CN110290325B (en) Image processing method, image processing device, storage medium and electronic equipment
US20190082092A1 (en) Imaging apparatus, image processing apparatus, imaging method, image processing method, and storage medium
CN110392205B (en) Image processing apparatus, information display apparatus, control method, and storage medium
CN110278375B (en) Image processing method, image processing device, storage medium and electronic equipment
CN110266967B (en) Image processing method, image processing device, storage medium and electronic equipment
JP2012222469A (en) Image capturing apparatus and control method therefor
CN110266965B (en) Image processing method, image processing device, storage medium and electronic equipment
JP7224826B2 (en) Imaging control device, imaging control method, and program
JP2019057794A (en) Imaging apparatus, control method of the same, program, and recording medium
JP6445831B2 (en) Imaging apparatus, control method thereof, and program
WO2017061095A1 (en) Image capture device
US11336802B2 (en) Imaging apparatus
JP2023090492A (en) Image processing device, image processing method, and imaging apparatus
JP6157274B2 (en) Imaging apparatus, information processing method, and program
JP6294607B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
US20190052803A1 (en) Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
JP7075272B2 (en) Image processing equipment, information display equipment, control methods, and programs
JP6347056B2 (en) Imaging apparatus and still image generation method
JP2019033470A (en) Image processing system, imaging apparatus, image processing apparatus, control method, and program
WO2024034390A1 (en) Information processing device, information processing method, and program
JP2019062369A (en) Imaging apparatus and control method thereof, electronic device and control method thereof, and program
JP2018037747A (en) Information processing device, and control method and program of same
JP7555730B2 (en) Image processing device, method and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210914

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230208

R151 Written notification of patent or utility model registration

Ref document number: 7224826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151