JP2020048159A - Imaging control device, imaging control method, and program - Google Patents
Imaging control device, imaging control method, and program Download PDFInfo
- Publication number
- JP2020048159A JP2020048159A JP2018177291A JP2018177291A JP2020048159A JP 2020048159 A JP2020048159 A JP 2020048159A JP 2018177291 A JP2018177291 A JP 2018177291A JP 2018177291 A JP2018177291 A JP 2018177291A JP 2020048159 A JP2020048159 A JP 2020048159A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- unit
- adjustment
- image
- dynamic range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 65
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 25
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000005856 abnormality Effects 0.000 claims abstract description 5
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 12
- 239000002131 composite material Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、複数の画像を合成してダイナミックレンジの広い合成画像を得る技術に関する。 The present invention relates to a technique for obtaining a synthesized image having a wide dynamic range by synthesizing a plurality of images.
近年、ネットワークカメラを利用した監視システムが広く普及している。ネットワークカメラは大規模な公共機関や量販店などにおける監視カメラとして幅広い分野で利用されているため、屋内および屋外などの照度差の大きな環境または照明が異なる環境などに対してダイナミックレンジの拡大が望まれている。特許文献1では、露出条件の異なる複数の画像を合成することでダイナミックレンジを拡大する技術(以降、WDR)が開示されている。
一方、複数の画像を合成する際に、それぞれに飽和領域が存在しないように合成前に撮影手段の露出を設定する方法が特許文献2で記載されている。
In recent years, surveillance systems using network cameras have become widespread. Since network cameras are used in a wide range of fields as surveillance cameras in large-scale public institutions and mass merchandisers, it is desirable to expand the dynamic range in environments with large illuminance differences, such as indoors and outdoors, or environments with different lighting. It is rare.
On the other hand, when a plurality of images are synthesized, a method of setting the exposure of the photographing unit before the synthesis so that a saturated region does not exist in each of the images is described in
しかしながら、WDR撮影の様な画像合成について、特にユーザーの関心領域に合わせて露出設定や撮像パラメータ設定した場合に他の領域で白とび、黒つぶれ、階調とびなどの弊害が発生してしまう場合がある。その場合、ダイナミックレンジの拡大と全体の適正明るさの調整を両立することが困難である。
本発明は上記のような問題を改善することを目的としている。即ち、ダイナミックレンジの拡大と画面の適正な明るさの調整を容易に実現できる撮像制御装置を提供することを目的とする。
However, with regard to image synthesis such as WDR shooting, particularly when exposure setting and imaging parameters are set in accordance with a user's region of interest, adverse effects such as overexposure, underexposure, and overexposure occur in other regions. There is. In this case, it is difficult to achieve both expansion of the dynamic range and adjustment of the overall appropriate brightness.
An object of the present invention is to improve the above problems. That is, an object of the present invention is to provide an imaging control device capable of easily realizing expansion of a dynamic range and adjustment of appropriate brightness of a screen.
前記課題を解決するために、本発明に係る撮像制御装置は、露出の異なる複数の画像を撮像する撮像手段と、
前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、
前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、
前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、
前記検出手段の検出結果を通知する通知手段と、を有することを特徴とする
In order to solve the above problem, an imaging control device according to the present invention includes: an imaging unit configured to capture a plurality of images having different exposures;
Combining means for combining a plurality of images having different exposures taken by the image pickup means;
Adjustment processing means for adjusting a dynamic range by controlling exposure in the imaging means and synthesis in the synthesis means,
A detection unit that detects a region including an abnormality related to gradation in an image obtained by the synthesis unit as a result of adjusting a dynamic range by the adjustment processing unit;
Notification means for notifying the detection result of the detection means.
本発明によれば、露出の異なる複数画像の合成画像に異常領域があっても、適宜確認しつつダイナミックレンジ調整が可能となり、ダイナミックレンジの拡大と画面の適正な明るさの調整を容易に実現できる。 ADVANTAGE OF THE INVENTION According to this invention, even if there is an abnormal area in a composite image of a plurality of images having different exposures, it is possible to adjust the dynamic range while appropriately checking, and easily realize the expansion of the dynamic range and the adjustment of the appropriate brightness of the screen. it can.
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
<第1実施例>
以下、図面を参照して説明する。以下の説明においては、本発明の一実施例としてネットワークカメラなどの撮像制御装置について説明する。なお、撮像制御装置は、ネットワークカメラに限らない。たとえば、デジタル一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダなどを含む。あるいはカメラ付きタブレット端末、PHS、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮像機能を有する別の携帯の装置であってもよい。
図1は、本発明の第一実施例にかかわるネットワークカメラの概略構成の一例を示す図である。図1に示すように、ネットワークカメラ100はカメラサーバー110とビューワークライアント120とネットワーク130とを有している。カメラサーバー110とビューワークライアント120とは別々の装置であって通信路としてのネットワーク130を介して接続されている。
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
<First embodiment>
Hereinafter, description will be made with reference to the drawings. In the following description, an imaging control device such as a network camera will be described as one embodiment of the present invention. Note that the imaging control device is not limited to a network camera. For example, it includes a digital single-lens reflex camera, a mirrorless single-lens camera, a compact digital camera, a camcorder, and the like. Alternatively, another portable device having an imaging function such as a tablet terminal with a camera, a PHS, a smartphone, a feature phone, and a portable game machine may be used.
FIG. 1 is a diagram showing an example of a schematic configuration of a network camera according to the first embodiment of the present invention. As shown in FIG. 1, the
カメラサーバー110はネットワーク130を介して、ネットワークカメラにより撮影(撮像)された画像の画像データを配信する。
ビューワークライアント120はカメラサーバー110にアクセスしてカメラの設定を変更し、当該カメラでの撮像の結果得られた画像データを処理し、あるいは蓄積された画像データなどを処理して、処理後の画像データに基づく画像の表示を行うものである。
ネットワーク130は、カメラサーバー110とビューワークライアント120とを通信可能に接続するものであり、例えば、Ethernet等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成されている。なお、本実施例において、ネットワーク130はカメラサーバー110とビューワークライアント120との間の通信が支障なく行えるものであれば、その通信規格や規模、構成は問わない。したがって、ネットワーク130としては、インターネットからLANにいたるまで適用が可能である。
The
The
The
図2は、本実施例におけるカメラサーバー110の構成を示すブロック図である。
撮像光学系201は対物レンズ、ズームレンズ、フォーカスレンズ、光学絞り、等から構成され被写体の光情報を後述の撮像素子部202へ集光する。撮像素子部202は、撮像光学系201にて集光された光情報を電気信号へと変換する素子でCCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxicide Semiconductor)センサなどで構成され、カラーフィルタなどと組み合わせることで色情報を取得する。また、すべての画素に対して、任意の露出時間を設定可能な撮像センサとする。CPU(Central Processing Unit)203は、撮像制御装置の各構成の処理すべてに関わる制御を行うコンピュータとして機能し、記憶媒体としてのROM(Read Only Memory)204や、RAM(Random Access Memory)205に格納された命令(コンピュータプログラム)を順次に読み込み、解釈し、その結果に従って処理を実行する。また、撮像系制御部206は撮像光学系201に対して、フォーカスレンズを駆動しフォーカスを合わせる、絞りを調整するなどのCPU203から指示された制御を行う。
FIG. 2 is a block diagram illustrating a configuration of the
The imaging
より詳細には、絞りの駆動制御はプログラムAE(Automatic Exposure)、シャッター速度優先AE、絞り優先AEなどに応じて変化する。即ち、ユーザーが設定する上記の撮影モードに応じて計算された露出値に基づいて行われる。また、CPU203はAE制御に併せてAF(Auto Focus)制御を行う。AF制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。なお、この種のAEおよびAFの構成および制御については周知であるため、ここでの詳細な説明は省略する。
撮像素子部202において光電変換されて得られた電気信号は、画像処理部207に入力される。画像処理部207では、後述の画像処理を行い、輝度信号Y、色差信号Cb,Crを生成する。
エンコーダ部208は、画像処理部207にて処理した画像データをJpegやH.264などの所定の圧縮フォーマットに変換する処理を行う。
通信部209は、ネットワーク130との通信の処理を行う。具体的には、ネットワーク130を経由して撮影された画像データをビューワークライアント120へ配信する。
また、ビューワークライアント120からのカメラ操作コマンドおよび指定した領域のガンマ特性の選択結果を受信し、それに対するレスポンスや画像データ以外の必要なデータの送受信を行う。
More specifically, the aperture drive control changes according to a program AE (Automatic Exposure), a shutter speed priority AE, an aperture priority AE, and the like. That is, the exposure is performed based on the exposure value calculated according to the above-described shooting mode set by the user. Further, the
An electric signal obtained by photoelectric conversion in the
The
The
Further, it receives a camera operation command from the
図3は、本実施例におけるビューワークライアント120の構成を示すブロック図である。
CPU301は、ビューワークライアント120における動作を統括的に制御するコンピュータである。ROM302は、CPU301が処理を実行するために必要な制御用コンピュータプログラム等を記憶する不揮発性メモリである。RAM303は、CPU301の主メモリ、ワークエリア等として機能する。すなわち、CPU301は、処理の実行に際してROM302から必要なプログラム等をRAM303にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
FIG. 3 is a block diagram illustrating a configuration of the
The
HDD(Hard Disk Drive)304は、例えば、CPU301がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、HDD304には、例えば、CPU301がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
操作入力部305は電源ボタンやキーボードやマウスやタッチパネル等の操作デバイスからの入力部でありユーザーインターフェースとして機能する。通信部306は、ネットワーク130との通信の処理を行う。具体的には、例えば撮影された画像データをネットワーク130を経由してカメラサーバー110から受信する。また、カメラ操作コマンドをカメラサーバー110へ送信し、そのレスポンスや画像データ以外の必要なデータの受信などを行う。
表示部307は、カメラサーバー110の各種制御パラメータを入力するためのGUI(Graphical User Interface)などから構成される。ビューワークライアント120の各要素の一部または全部の機能は、CPU301がプログラムを実行することで実現することができる。ただし、ビューワークライアント120の各要素のうち少なくとも一部を専用のハードウェアとして構成してもよい。この場合、専用のハードウェアは、CPU301の制御に基づいて動作する。
The HDD (Hard Disk Drive) 304 stores, for example, various data and various information required when the
The
The
図4は本実施例の画像処理部207の内部ブロック図である。画像処理部207は現像処理部400とダイナミックレンジ拡張処理部410の2つのブロックに分かれている。現像処理部400は、撮像素子部202より入力された画像データに対して、レンズなど光学系の歪補正などを行う光学補正部401、センサのシェーディング補正などを行うセンサ補正部402を含む。更にゲイン調整を行うゲイン調整部403、ノイズリダクション処理を行うNR処理部404、WB(White Balance)の調整を行うWB調整部405を含む。また、ガンマ補正を行うガンマ補正部406、シャープネス処理を行うシャープネス処理部407、色処理を行う色処理部408、ヒストグラム解析処理部409などを含む。現像処理部400の出力は、メモリ420に蓄えられる。ダイナミックレンジ拡張処理部410は、ガンマ調整部411、WDR(Wide Dynamic Range)合成処理部412などを持ち、メモリ420に蓄えられた現像処理後の複数枚の画像を合成処理することで、ダイナミックレンジの広い画像を生成することができる。
FIG. 4 is an internal block diagram of the
次に図5を用いて、ビューワークライアント120の動作フローについて説明する。まず、S501において、カメラサーバー110でWDR用の撮影をしWDR合成処理した合成画像をビューワークライアント120において表示する。WDR用の撮影の方法に関しては後述する。本ステップ以降においてビューワ―クライアント120から調整指示がカメラサーバー110にコマンドとして発行される。発行された調整の指示コマンドをカメラサーバー110が受信すると、画像調整フローが開始される。一方で、カメラサーバー110の画像配信は図5のフローの開始に限らず続けられる。
まず、S502において、ユーザーがビューワークライアント120で表示部307に表示された画像を見ながらWDR調整を指定する。WDR調整は、たとえば、複数の異なるカーブでガンマ変換するためのガンマテーブルを保持しておきそれらの中からガンマテーブルを選択することでWDRの強度を輝度に応じて指定してもよい。あるいは、gainレベルなどの他のカメラパラメータも同時に変更するようにしてもよい。図6は、撮影シーンの一例を表示しているUIを示しており、網掛けで示す窓601は外と室内602を含む範囲が撮影された画像が表示されている。
Next, an operation flow of the
First, in S502, the user designates WDR adjustment while viewing the image displayed on the
窓601の枠の内側に示されている屋外の画像と窓601の枠の外側に示されている室内602、603の画像とは異なる光源の影響を受けており、窓601の枠の内側の画像領域と室内602,603の画像領域では輝度差が大きいとする。603は602に比べて601の外光の影響が少なく暗い環境である。また本ステップS502においては、ユーザーが図6(A)または(B)に示すようなGUIを用いてWDR調整レベルを選択する。ここで、選択の仕方は図6(A)のようにWDRのON、OFFスイッチをONにして、WDRレベル調整用のスライドバーで調整の強弱を設定できるようにしてもよい。あるいは図6(B)のようなメニュー選択によって、WDRのON、OFFの選択や、WDRをONした状態で、更にプルダウンメニュー等によって数段階のレベル設定の中から一つを選択してもよいがこれらの方法に限定されない。また、選択された調整レベルを通信部からコマンドとしてカメラサーバー110側へ送信する。
ここで、WDRの合成処理およびWDR調整について本実施例では図7〜9を用いて説明するが、これに限定されない。
本実施例では、露出アンダーの画像(アンダー露出画像)、適正な露出の画像(適正露出画像)、露出オーバーの画像(オーバー露出画像)の、3種類の露出の画像を3枚撮影したのちにこれらを合成している。それぞれの露出時間はWDR調整の強度に応じて変更可能となっている。
The outdoor image shown inside the frame of the
In this embodiment, the WDR combining process and the WDR adjustment will be described with reference to FIGS. 7 to 9, but the present invention is not limited to this.
In the present embodiment, three underexposed images (underexposed images), properly exposed images (properly exposed images), and overexposed images (overexposed images) are taken, and then three images are taken. These are synthesized. Each exposure time can be changed according to the strength of the WDR adjustment.
図7は、図6のシーンにおける各画像のヒストグラムを示している。アンダー露出画像のヒストグラムを701、適正露出画像のヒストグラムを702、オーバー露出画像のヒストグラムを703に示す。適正露出は、画像上で広い範囲を占める室内光に対して適正な露出となっている。また、オーバー露出は、図6の網掛けで示される窓の外に露出があっている。
図8は、合成処理を説明するブロック図である。前述のとおり露出の異なる3つの画像に対して、ガンマ補正部406において図9で後述するようなガンマ補正をそれぞれ行った後にいったん図4のメモリ420に保持される。保持された画像に対して、前述のWDR合成処理部412において、階調補正として所定値のオフセット加算もしくは階調の伸長処理を行う。次に、それぞれの画像が加算され合成される。合成されたのちに、前述のガンマ調整部411においてガンマ調整が行われ出力画像として出力される。
FIG. 7 shows a histogram of each image in the scene of FIG. A
FIG. 8 is a block diagram illustrating the combining process. As described above, the
図9(A)に露出の異なる3種類の画像にガンマ補正部406によってそれぞれ適用されるガンマ曲線を示す。ガンマ曲線は、入力輝度に対する出力輝度信号の入出力特性を示しており、アンダー露出画像に適用されるガンマ曲線901、適正露出画像に適用されるガンマ曲線902、オーバー露出画像に適用される903を示している。横軸の入力は、各画像の露出差を考慮した値になっている。縦軸は8ビットの出力値である。出力値の上限はこれに限らない。まず、WDR調整がなされなかった場合の合成結果を図9(B)に示す。図9(A)に示すガンマ曲線に対して、適正露出のガンマ曲線はオフセット加算によって256オフセット加算され、オーバー露出のガンマ曲線はオフセット加算によって512オフセットされ加算されることで、図9(B)において910に示す特性を示す。この特性では、オーバー露出の画像は出力輝度512〜767の範囲で出力される。この図9(B)に示される合成画像の再現域では、入力階調に対する出力階調の連続性が保たれている、一方、特にダイナミックレンジの狭い表示装置において明部が潰れてしまう場合がある。
FIG. 9A shows gamma curves applied by the
次に、本実施例のWDR調整において、オーバー露出画像を調整する場合の合成結果を図9(C)に示す。もちろん、用意する所定の調整テーブルはこれに限らず、アンダー露出画像を対象とするもの、すべての露出画像を対象とするもの、またゲイン調整などを加えてテーブル作成してもよい。図9(A)に示すガンマ曲線に対して、適正露出のガンマ曲線はオフセット加算によって256オフセット加算される(920のカーブ)。一方、オーバー露出画像は、オフセット加算ではなくガンマの伸長処理によって921のa〜dに示すような特性を選択可能にしている。これにより、オーバー露出画像の明暗差が大きくなり、ダイナミックレンジの狭い表示装置においてもユーザーが選択したガンマ特性によって視認性を広げることができる。
本実施例では、撮影エリア全体を合成するが、これに限らず撮影される画像エリアの少なくとも一部でももちろんよい。また、合成方法に関しては、異なる露出の複数の画像を所定の露出の度合で分類し、暗部領域においては適性露出と露出オーバーの階調が足し合わされ、明部領域においては適性露出と露出アンダーの階調が足しあわされるようにしてもよい。
Next, FIG. 9C shows a synthesis result in the case of adjusting an overexposed image in the WDR adjustment of the present embodiment. Of course, the predetermined adjustment table to be prepared is not limited to this, and may be a table for underexposed images, a table for all exposed images, or a table created by adding gain adjustment and the like. With respect to the gamma curve shown in FIG. 9A, the gamma curve with proper exposure is subjected to 256 offset addition by offset addition (curve 920). On the other hand, the characteristics shown in 921 a to 921 d can be selected for the overexposed image by gamma expansion processing instead of offset addition. As a result, the difference in brightness between overexposed images is increased, and visibility can be widened by a gamma characteristic selected by a user even in a display device with a narrow dynamic range.
In the present embodiment, the entire photographing area is synthesized. However, the present invention is not limited to this. Further, regarding the synthesizing method, a plurality of images having different exposures are classified according to a predetermined exposure degree, and the appropriate exposure and the overexposed gradation are added in the dark area, and the appropriate exposure and the underexposure are added in the bright area. The gradations may be added.
さらに、ビューワークライアント120はカメラサーバー110に対して指示を出して、ガンマ調整以外の画像処理をさせてもよい。例えば、ホワイトバランス調整、ノイズリダクション処理やシャープネス処理、コントラスト調整、彩度調整も異なる露出画像ごとに処理設定を変えてもよい。
また、本実施例ではビューワークライアント120はカメラサーバー110に対して指示を出すことによって、WDR調整レベルに応じたテーブルを選択する。即ち図9(C)a〜dに示すようにガンマ調整部411でガンマレベルを変更するために所定の複数のガンマテーブルの中から一つのガンマテーブルを選択する。なお、合成前の画像への階調の伸長処理を行うテーブルを複数用意して選択するようにしてもよい。
次に、図5に戻り、S503で異常領域が有るか判定をする。そのために、ビューワークライアント120はヒストグラム解析処理部409に対して指示をすることによって、合成後の画像に対してヒストグラム解析を行う。本ステップでは、図10のように合成画像に対してブロックで区切られた各ブロックのヒストグラムを作成する。本実施例において、解像度は、1920×1080であり、64×36のブロックに分割するが各ブロックの大きさはこの大きさより小さくても大きくてもよい。この分割したブロックのヒストグラム結果から異常領域を判定する。ここで、異常領域とは合成後の画像の各画素または分割したブロックに画像としての異常な情報が含まれる領域を意味する。例えば、白飛びのように輝度が極端に高い画素、または、黒潰れのように輝度が極端に低い画素は異常となる。一方、極端に高い輝度と極端に低い輝度との間の所定の適正範囲内の輝度を有する画素または分割ブロックは、有効な(異常でない)画素またはブロックと判断される。異常領域が検出されなければS506に移行する。
Further, the
In this embodiment, the
Next, returning to FIG. 5, it is determined in S503 whether there is an abnormal area. For this purpose, the
続いて、S504ではS503で異常領域が有ると判定された場合に、ビューワークライアント120で異常領域を強調して視認可能に表示しユーザーへ通知する。図11にUIの表示例を示す。表示画面の画像上に前述のS503で異常領域と判定されたブロックの範囲を網掛けや斜線などで重畳する。あるいは点滅させて重畳画像と重畳無画像を切り替えて表示してもよいし、点線や赤色や太枠などの枠で異常領域を囲ってもよい、また、画像上または図11の右側に示されるように、設定画面上に文字やメッセージで通知してもよい。さらに、ビューワークライアント120から警告音を発報してもよい。
S505では、S504において異常領域が表示、通知された場合に、表示された画像の状態を判断してユーザーがOKとするかNGとするかを判定する。NGであればS502に戻りWDR調整レベルの設定を変更する。異常領域は存在するが注目したい領域が所望の適正状態で表示されていればOKと判断して、S506に進みWDR調整レベルの設定を変更せずに画像表示を行う。
これにより、ユーザーが異常領域を把握したうえで、WDR調整レベルを適宜設定可能とすることで、異常領域がない所望の画像をユーザーが得ることができる。または、一部に異常領域があっても所望のダイナミックレンジの有する画像を得ることができる。したがって、ユーザーの必要としている輝度領域を適切に階調表現することができ監視に適した画像を提供できる。
Subsequently, in S504, when it is determined in S503 that there is an abnormal area, the
In step S505, when the abnormal region is displayed and notified in step S504, the state of the displayed image is determined to determine whether the user is OK or NG. If it is NG, the process returns to S502 to change the setting of the WDR adjustment level. If there is an abnormal area, but the area of interest is displayed in a desired proper state, it is determined that it is OK, and the process advances to step S506 to display an image without changing the setting of the WDR adjustment level.
This allows the user to set the WDR adjustment level as appropriate after grasping the abnormal region, thereby allowing the user to obtain a desired image having no abnormal region. Alternatively, an image having a desired dynamic range can be obtained even if there is an abnormal region in a part. Therefore, the brightness area required by the user can be appropriately expressed in gradation, and an image suitable for monitoring can be provided.
<第2実施例>
次に、第2の実施例について図12を用いて説明する。図5と同じステップは同じ動作をするものとする。
第1実施例では、WDR調整レベルに応じて所定の複数のテーブルから1つのテーブルを選択する例を説明した。しかし、本実施例では輝度領域を表示し、その中からWDR調整用の領域を指定し、指定した領域の階調が優先的に広くなるようにWDR調整レベルを設定する。
<Second embodiment>
Next, a second embodiment will be described with reference to FIG. The same steps as those in FIG. 5 perform the same operation.
In the first embodiment, an example in which one table is selected from a plurality of predetermined tables according to the WDR adjustment level has been described. However, in the present embodiment, a luminance region is displayed, a region for WDR adjustment is designated from the luminance region, and the WDR adjustment level is set so that the gradation of the designated region is preferentially widened.
S5010において、WDR合成の際に取得する図7で示すヒストグラム結果から、複数の露出で撮影した画像を合成するための区分けされた輝度領域マップを画像上に重畳する。具体的には例えば図6の601,602,603のような輝度レベルに応じて区分けした輝度領域の表示をする。その状態において、S5011において、ユーザーが調整したいエリアの一点または矩形エリアでWDR調整用の領域を設定する。上記のように輝度領域を表示した状態で、ユーザーの設定したWDR調整用の矩形領域が複数のエリアにまたがる場合には、複数の輝度領域にまたがってしまっている事をユーザーへ通知する。更には、領域の選択のやり直しを促すようにしてもよい。通知はメッセージでもよいし、またがってしまっている両方の領域を点滅させたり色を変えさせたりさせるような強調表示をしてもよい。また、ユーザーが指定した矩形の中で複数のエリアにまたがらず最大の面積となる矩形を自動的に設定するように構成してもよい。
ここで、S5010で表示される画像は、図6に示すように合成後の画像を表示してもよいし、あるいは合成前の画像を表示してもよい。なお、本実施例では、露出アンダーの画像、適正な露出の画像、露出オーバーの画像の3種類の露出条件で撮影したのちにその3枚の画像を合成するものとする。
In S5010, based on the histogram result shown in FIG. 7 acquired at the time of WDR synthesis, a divided luminance area map for synthesizing images captured with a plurality of exposures is superimposed on the image. Specifically, for example, a luminance area divided according to a luminance level such as 601, 602, and 603 in FIG. 6 is displayed. In this state, in step S5011, the user sets a WDR adjustment area at one point or a rectangular area of the area to be adjusted. When the rectangular area for WDR adjustment set by the user extends over a plurality of areas in the state where the luminance area is displayed as described above, the user is notified that the rectangular area for the WDR adjustment extends over the plurality of luminance areas. Further, the user may be prompted to redo the selection of the area. The notification may be a message, or may be highlighted so as to blink or change the color of both areas that are straddling. In addition, a configuration may be adopted in which a rectangle having the largest area without extending over a plurality of areas among the rectangles specified by the user is automatically set.
Here, as the image displayed in S5010, the image after the combination may be displayed as shown in FIG. 6, or the image before the combination may be displayed. In the present embodiment, it is assumed that the three images are synthesized after shooting under three types of exposure conditions: an underexposed image, an appropriately exposed image, and an overexposed image.
S5011で指定したWDR調整用の領域を優先したWDR調整レベルの方法に関しては第1実施例とほぼ同様な方法で処理する。更に、ガンマテーブルおよび他のカメラパラメータ設定によって、ユーザーが指定したエリアの階調を優先的に広げるように調整を行う。
これにより、ユーザーが所望の輝度領域に対して優先的に広いダイナミックレンジを割り当てることができ、画像調整することができる。しかもWDR調整をしつつ異常領域の発生の有無を確認することができる。
Regarding the method of the WDR adjustment level giving priority to the area for the WDR adjustment designated in S5011, processing is performed in substantially the same manner as in the first embodiment. Further, the gamma table and other camera parameter settings are adjusted so that the gradation of the area designated by the user is preferentially expanded.
As a result, the user can preferentially allocate a wide dynamic range to a desired luminance area, and can perform image adjustment. Moreover, it is possible to confirm whether or not an abnormal area has occurred while performing WDR adjustment.
<第3実施例>
第1、第2実施例ではガンマテーブルの調整を中心に説明したが、更にWDR合成の元となる複数フレームの露出条件を調整してもよい。
即ち、ビューワークライアント120におけるWDR調整の強度変更があると、カメラサーバー110で複数種類の露出条件で複数画像を撮像させる際の前記それぞれの画像の露出条件(例えば露出時間や絞りや感度など)を変更する。あるいは複数の露出条件の組み合わせを変更したり、上記複数種類の露出の段差の重なり量など変更したりできるようにする。また前記WDR調整用の領域の階調を優先的に広げるようにしたり、ガンマカーブもそれに合わせて変更したりする。なお、WDR調整の強度変更に伴って、異なる露出の数を上記のように3種類ではなく4種類にしたり、逆に2種類にしたりして変更してもよい。
例えば図13、図14は入力階調のギャップについて説明した図である。図13、図14では長秒時の画像aと短秒時の画像a´が4ビット分重なっている例を示している。また、長秒時の画像bと短秒時の画像b´は2ビット分重なっている。一方長秒時の画像cと短秒時の画像c´は重なっておらずギャップが生じている例を示している。図14(A)、図14(B)、図14(C)の順にWDR強度が強くなっている。そして上記のように撮像時の露出条件まで変更できるようにしてWDR調整の強度変更の範囲を広げた場合には、図14(C)のように入力階調にギャップが生じる。したがって、これに伴って異常領域が生じたら、ビューワークライアント120側などで異常領域を枠や点滅などによって強調表示する。
<Third embodiment>
In the first and second embodiments, the description has been made focusing on the adjustment of the gamma table. However, the exposure conditions of a plurality of frames serving as a source of WDR synthesis may be further adjusted.
That is, when the intensity of the WDR adjustment in the
For example, FIGS. 13 and 14 are diagrams illustrating the gap of the input gradation. 13 and 14 show an example in which the image a at the long time and the image a 'at the short time are overlapped by 4 bits. In addition, the image b at the long time and the image b 'at the short time are overlapped by 2 bits. On the other hand, the image c at the long time and the image c 'at the short time are not overlapped, and an example in which a gap is generated is shown. The WDR intensity increases in the order of FIG. 14 (A), FIG. 14 (B), and FIG. 14 (C). When the range of the intensity change of the WDR adjustment is expanded so that the exposure condition at the time of imaging can be changed as described above, a gap occurs in the input gradation as shown in FIG. Therefore, if an abnormal area is generated along with this, the abnormal area is highlighted by a frame or blinking on the
<第4実施例>
図15は第4実施例を説明するフローチャートであり、図12と同じ符番のステップは同じ動作をする。図15において、異常領域判定S503において、異常領域が検出され、S504で異常領域を表示した後、S505でユーザー判定がOKでなかった場合には、S502に戻る前にS5051でWDR調整指定を一つ前の状態に戻す。即ち、異常領域がなかった状態のWDR調整指定に一旦戻す。
<第5実施例>
図16は第5実施例を説明するフローチャートであり、図15と同じ符番のステップは同じ動作をする。図16において、S5012はWDR調整可能な範囲を端から端までパラメータを変更しつつ事前に自動的にスキャンする。S5013で異常領域があるか否かをS503と同様に判断し、もし異常領域がなければS5014に進みWDR調整可能な範囲をフルレンジで表示し、WDR調整の入力を受け付ける。一方S5013で異常領域があると判断された場合には、S5015に進み異常領域が発生しないWDR調整可能な範囲のみを表示するように制限し、その範囲のWDR調整の入力のみを受け付ける。
これにより、異常領域が発生しない設定パラメータをユーザーに表示することができ、ユーザーは安心してS502で設定パラメータを変更することができる。
なお、S502でWDR調整をした後、S503で再度異常領域があるか否かを判断しそれ以降第4実施例と同様の制御をするが、これは周囲の明るさが急に変動した場合に備えたフローである。
<Fourth embodiment>
FIG. 15 is a flowchart for explaining the fourth embodiment. Steps with the same reference numerals as those in FIG. 12 perform the same operations. In FIG. 15, after the abnormal area is detected in the abnormal area determination S503 and the abnormal area is displayed in S504, if the user determination is not OK in S505, the WDR adjustment designation is made in S5051 before returning to S502. Return to the previous state. That is, the WDR adjustment is temporarily returned to the state where there is no abnormal area.
<Fifth embodiment>
FIG. 16 is a flowchart for explaining the fifth embodiment. Steps with the same numbers as those in FIG. 15 perform the same operations. In FIG. 16, in step S5012, the range in which the WDR can be adjusted is automatically scanned in advance while changing parameters from end to end. In S5013, whether or not there is an abnormal area is determined in the same manner as in S503. If there is no abnormal area, the process proceeds to S5014, where the WDR adjustable range is displayed in the full range, and an input of WDR adjustment is accepted. On the other hand, if it is determined in step S5013 that there is an abnormal area, the process advances to step S5015 so that only a WDR-adjustable range where no abnormal area occurs is displayed, and only an input of WDR adjustment in that range is accepted.
As a result, setting parameters that do not cause an abnormal area can be displayed to the user, and the user can change the setting parameters in S502 with ease.
After performing the WDR adjustment in S502, it is determined again whether or not there is an abnormal area in S503, and thereafter the same control as in the fourth embodiment is performed. It is a prepared flow.
なお、以上の実施例等においては、ユーザー側に合成画像を表示し、その表示内容に基づきWDR調整をし、露出条件やガンマ等の指定をコマンドによってビューワークライアント120からカメラサーバー110へ通知していた。それにより、コマンドの内容を反映したWDR調整後の合成画像をカメラサーバー110からビューワークライアント120へ配信し、ビューワークライアント120で表示していた。すなわちカメラサーバー110の装置内に合成処理部を配置していた。しかしカメラサーバー110から合成前の画像をビューワークライアント120に配信し、ビューワークライアント120において表示させてから、ビューワークライアント120において合成処理を行うように構成してもよい。あるいはビューワークライアント120において合成処理をしてから表示させるようにしてもよい。即ちビューワークライアント120の装置内に合成処理部を配置してもよい。この場合コマンドの通信の手間が省けるため、ユーザーの選択結果を短い時間で確認することが可能となる。
In the above embodiments and the like, the composite image is displayed on the user side, WDR adjustment is performed based on the display contents, and the
上述の実施例では、説明の簡便のため3つの輝度領域についてマップを作成する例を主体として説明しているが、3つに限らないことは言うまでもない。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
In the above-described embodiment, an example in which a map is created for three luminance regions is mainly described for the sake of simplicity, but it is needless to say that the number is not limited to three.
The present invention is also realized by executing the following processing. That is, software (program) for realizing the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program and reads the program. This is the process to be performed.
110 カメラサーバー
120 ビューワークライアント
201 撮像光学系
202 撮像素子部
207 画像処理部
400 現像処理部
410 ダイナミックレンジ拡張処理部
411 ガンマ調整部
412 WDR合成処理部
110
Claims (17)
前記撮像手段により撮像された露出の異なる複数の画像を合成する合成手段と、
前記撮像手段における露出および前記合成手段における合成の制御を行うことによってダイナミックレンジを調整する調整処理手段と、
前記調整処理手段によりダイナミックレンジを調整した結果前記合成手段により得られる画像のうち、階調に関する異常を含む領域を検出する検出手段と、
前記検出手段の検出結果を通知する通知手段と、を有することを特徴とする撮像制御装置。 Imaging means for capturing a plurality of images having different exposures;
Combining means for combining a plurality of images having different exposures taken by the image pickup means;
Adjustment processing means for adjusting a dynamic range by controlling exposure in the imaging means and synthesis in the synthesis means,
A detection unit that detects a region including an abnormality related to gradation in an image obtained by the synthesis unit as a result of adjusting a dynamic range by the adjustment processing unit;
An imaging control device comprising: a notification unit configured to notify a detection result of the detection unit.
前記撮像工程により撮像された露出の異なる複数の画像を合成する合成工程と、
前記撮像工程における露出および前記合成工程における合成の制御を行うことによってダイナミックレンジを調整する調整処理工程と、
前記調整処理工程によりダイナミックレンジを調整した結果前記合成工程により得られる画像のうち、階調に関する異常を含む領域を検出する検出工程と、
前記検出工程の検出結果を通知する通知工程と、を有することを特徴とする撮像制御方法。
An imaging step of imaging a plurality of images having different exposures,
A combining step of combining a plurality of images having different exposures captured by the imaging step;
An adjustment processing step of adjusting a dynamic range by controlling exposure in the imaging step and synthesis in the synthesis step;
A detection step of detecting a region including an abnormality related to gradation in an image obtained by the synthesis step as a result of adjusting the dynamic range by the adjustment processing step,
A notification step of notifying a detection result of the detection step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018177291A JP7224826B2 (en) | 2018-09-21 | 2018-09-21 | Imaging control device, imaging control method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018177291A JP7224826B2 (en) | 2018-09-21 | 2018-09-21 | Imaging control device, imaging control method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020048159A true JP2020048159A (en) | 2020-03-26 |
JP2020048159A5 JP2020048159A5 (en) | 2021-10-28 |
JP7224826B2 JP7224826B2 (en) | 2023-02-20 |
Family
ID=69901821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018177291A Active JP7224826B2 (en) | 2018-09-21 | 2018-09-21 | Imaging control device, imaging control method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7224826B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111464748A (en) * | 2020-05-07 | 2020-07-28 | Oppo广东移动通信有限公司 | Image processing method, mobile terminal and computer readable storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011199860A (en) * | 2010-02-26 | 2011-10-06 | Nikon Corp | Imaging device and image generating program |
JP2013055567A (en) * | 2011-09-06 | 2013-03-21 | Olympus Imaging Corp | Imaging apparatus |
JP2013162359A (en) * | 2012-02-06 | 2013-08-19 | Canon Inc | Image processing apparatus and image processing method |
JP2016054423A (en) * | 2014-09-04 | 2016-04-14 | キヤノン株式会社 | Imaging device, method for controlling the same, and program |
-
2018
- 2018-09-21 JP JP2018177291A patent/JP7224826B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011199860A (en) * | 2010-02-26 | 2011-10-06 | Nikon Corp | Imaging device and image generating program |
JP2013055567A (en) * | 2011-09-06 | 2013-03-21 | Olympus Imaging Corp | Imaging apparatus |
JP2013162359A (en) * | 2012-02-06 | 2013-08-19 | Canon Inc | Image processing apparatus and image processing method |
JP2016054423A (en) * | 2014-09-04 | 2016-04-14 | キヤノン株式会社 | Imaging device, method for controlling the same, and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111464748A (en) * | 2020-05-07 | 2020-07-28 | Oppo广东移动通信有限公司 | Image processing method, mobile terminal and computer readable storage medium |
CN111464748B (en) * | 2020-05-07 | 2021-04-23 | Oppo广东移动通信有限公司 | Image processing method, mobile terminal and computer readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP7224826B2 (en) | 2023-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003198891A (en) | Image display controller, image display control method, and imaging apparatus | |
JP2007251860A (en) | Color noise elimination method for image data and imaging apparatus using the same | |
CN110290325B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
US20190082092A1 (en) | Imaging apparatus, image processing apparatus, imaging method, image processing method, and storage medium | |
CN110392205B (en) | Image processing apparatus, information display apparatus, control method, and storage medium | |
CN110278375B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
CN110266967B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
JP2012222469A (en) | Image capturing apparatus and control method therefor | |
CN110266965B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
JP7224826B2 (en) | Imaging control device, imaging control method, and program | |
JP2019057794A (en) | Imaging apparatus, control method of the same, program, and recording medium | |
JP6445831B2 (en) | Imaging apparatus, control method thereof, and program | |
WO2017061095A1 (en) | Image capture device | |
US11336802B2 (en) | Imaging apparatus | |
JP2023090492A (en) | Image processing device, image processing method, and imaging apparatus | |
JP6157274B2 (en) | Imaging apparatus, information processing method, and program | |
JP6294607B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
US20190052803A1 (en) | Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium | |
JP7075272B2 (en) | Image processing equipment, information display equipment, control methods, and programs | |
JP6347056B2 (en) | Imaging apparatus and still image generation method | |
JP2019033470A (en) | Image processing system, imaging apparatus, image processing apparatus, control method, and program | |
WO2024034390A1 (en) | Information processing device, information processing method, and program | |
JP2019062369A (en) | Imaging apparatus and control method thereof, electronic device and control method thereof, and program | |
JP2018037747A (en) | Information processing device, and control method and program of same | |
JP7555730B2 (en) | Image processing device, method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210914 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210914 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220805 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7224826 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |