JP2019050551A - 撮像装置、画像処理装置、撮像方法、画像処理方法、およびプログラム - Google Patents
撮像装置、画像処理装置、撮像方法、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2019050551A JP2019050551A JP2018095659A JP2018095659A JP2019050551A JP 2019050551 A JP2019050551 A JP 2019050551A JP 2018095659 A JP2018095659 A JP 2018095659A JP 2018095659 A JP2018095659 A JP 2018095659A JP 2019050551 A JP2019050551 A JP 2019050551A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- image processing
- imaging
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】 WDR撮影などにより取得した合成画像について、ユーザーが露出を設定するための領域(測光エリア)を指定しようとする際に、ユーザーが望む様な設定が困難なことがある。【解決手段】 複数の画像を合成し合成画像として出力する際に、合成画像において互いに入出力特性が異なる複数の領域を示す情報を合成画像とともに取得し、取得した情報に基づいて検出領域を設定させて、その設定に基づいて露出パラメータを取得して撮像する。【選択図】 図15
Description
本発明は、複数の画像を合成する撮影画像の撮像パラメータ(露出)を調整する技術に関する。
近年、ネットワークカメラを利用した監視システムが広く普及している。ネットワークカメラは大規模な公共機関や量販店などにおける監視カメラとして幅広い分野で利用されているため、屋内および屋外などの照度差の大きな環境または照明が異なる環境などに対してダイナミックレンジの拡大が望まれている。特許文献1では、露出条件の異なる複数の画像を合成することでダイナミックレンジを拡大する技術(以降、WDR撮影)が開示されている。
一方、撮影して得られた画像データに基づいて自動的に露出を決定する自動露出制御機能を備えた撮像装置がある。自動露出制御の為に行われる測光方式として、例えば、画面全体の画素の輝度情報を測光情報として制御を行う測光方式や、画面内の測光領域を複数のブロックに分割し、各ブロックの測光を行う多分割測光がある。他にも、画面の中央部に重点を置いて測光を行う中央重点測光や、画面の中央部の任意の範囲のみ測光するスポット測光などがある。
特許文献2では、主要被写体を指定することで、指定された領域の露出状態を検出し、検出された信号に応じて露出状態を制御するとともに、制御範囲を制限することで、画像補正を適用する範囲を限定する技術が開示されている。
しかしながらWDR撮影の様な合成画像について、ユーザーが露出を設定するための領域(測光エリア)を指定しようとする際に、ユーザーが望む様な露出設定が困難なことがある。
前記課題を解決するために、本発明に係る撮像装置は、画像を撮像する撮像手段と、複数の画像を合成し合成画像として出力する合成手段と、前記合成画像について、互いに入出力特性が異なる複数の領域を示す第1情報を画像処理装置に通知する通知手段と、前記画像処理装置から検出領域を示す第2情報を受信する受信手段とを有し、前記撮像手段は前記受信手段により受信した第2情報が示す検出領域に基づいて露出を設定することを特徴とする。
本発明によれば、合成画像についてユーザーが撮像装置の露出設定を変更するための領域を指定する際に、ユーザーの所望の画像補正処理が可能となる。
まず、図12を参照して、WDR撮影の様な合成画像について、ユーザーが露出測光エリアを指定しようとする際に、ユーザーが望む様な露出設定が困難である状況について説明を補足する。ここで、WDR撮影とはWDR(Wide Dynamic Range)すなわちダイナミックレンジが広い画像を取得するために、複数の画像を撮像して合成することを示すものとする。
図12(a)〜(c)は、窓のある室内で窓の外は室内よりも明るいシーンを、WDR撮影を用いて撮影した状況を説明する図である。図12(a)は、明るい対象が適切な露出になるように撮影したフレーム(高EVフレーム)である。明るい窓の外を示す領域1201の方が、室内を示す領域1202よりも適正な露出に近いため、窓の外は明るく、室内は暗く撮影されている。一方、図12(b)は、暗い対象が適切な露出になるように撮影したフレーム(低EVフレーム)であり、窓の外を示す領域1201は露出オーバーになり、室内を示す領域1202は適正露出に近く撮影されている。ここで、EVとは露出値(Exposure Value)のことを示す。
この2枚のフレームに基づいてダイナミックレンジが拡張される様に合成した合成フレームを図12(c)に示す。窓の外を示す領域1201も室内を示す領域1202も適正な露出に近づいている。ダイナミックレンジを合成する基のフレーム図12(a)や図12(b)はユーザーに提示しないことが多く、ユーザーは合成後の図12(c)だけを見て、さらに画像を調整するための作業をすることが多い。図12(a)や図12(b)は画角の一部分しか内容が理解できるようにしか撮影されていない可能性が高く、これらをユーザーに提示する意義が低いためである。
ただし、図12(c)において、ユーザーが露出測光エリアを指定するための主要被写体として矩形1203を指定した場合、矩形1203は明るい領域1201と暗い領域1202をまたがってしまう。そのため、単純に合成画像上で矩形により指定を受けても、露出の検出位置として、明るい領域1201と暗い領域1202のうちどちらを、ユーザーが露出測光エリアとして望む領域であるか知ることが困難である。また、ユーザーにとっては、異なる画像調整がされた領域の境界を把握することが困難である。
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
<実施形態1>
以下、図面を参照して説明する。以下の説明においては、本発明の一実施形態としてネットワークカメラについて説明する。
以下、図面を参照して説明する。以下の説明においては、本発明の一実施形態としてネットワークカメラについて説明する。
図1は、実施形態1にかかる画像処理システムとしてのネットワークカメラシステムの概略構成の一例を示す図である。図1に示すように、ネットワークカメラシステム100は撮像装置としてのネットワークカメラ110(以降、カメラと称す)とビューワークライアント120(以下、クライアントと称す)とネットワーク130とを有している。カメラ110とクライアント120はネットワーク130によって互いに通信可能に接続されている。なお、撮影装置は、ネットワークカメラに限らず、たとえば、デジタル一眼レフカメラ、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダ、タブレット端末、PHS、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の携帯の装置に置き換えてもよい。
カメラ110は撮影(撮像)した画像を含む画像データを、ネットワーク130を介して配信する。クライアント120はカメラ110にアクセスして撮像パラメータを設定したり、配信設定をしたりする等して、所望の画像データを取得できるようにする。そして、クライアント120はカメラ110から配信された画像データを処理したり、配信された画像データを蓄積したり、蓄積された画像データなどを処理したりして、処理後の画像データに基づいて画像の表示を行う。
ネットワーク130は、カメラ110とクライアント120とを通信可能に接続するものであり、例えば、Ethernet(登録商標)等の通信規格を満足する複数のルータ、スイッチ、ケーブル等を含んでいる。なお、本実施形態において、ネットワーク130はカメラ110とクライアント120との間の通信(画像配信用とカメラの設定用)が支障なく行えるものであれば、その通信規格や規模、構成は問わない。したがって、ネットワーク130としては、インターネットから有線LAN、無線LANにいたるまで適用が可能である。
図2は、本実施形態におけるカメラ110の構成を示すブロック図である。撮像光学系201は対物レンズ、ズームレンズ、フォーカスレンズ、光学絞り等を備えており、被写体の光情報を後述の撮像素子部202へ集光する。撮像素子部202は、撮像光学系201にて集光された光情報を電流値へと変換する素子でCCDまたはCMOSセンサを備え、カラーフィルタなどと組み合わせることで色情報を取得する。ここで、撮像素子部202は基本的に、各画素について任意の露光時間とゲインの調整が設定可能な撮像センサとする。
CPU203は、バス210に接続されている各構成の処理に関わる。例えば、ROM(Read Only Memory)204や、RAM(Random Access Memory)205に格納された命令をCUP203が順に読み込み、解釈し、その結果に従って処理を実行する。撮像系制御部206は撮像光学系201に対して、フォーカスレンズを駆動しフォーカスを合わせたり、CPU203から絞りを調整するなどの指示があれば指示されたとおりの制御を行ったりする。
より詳細には、絞りの駆動制御はプログラムAE(Automatic Exposure)、シャッター速度優先AE、絞り優先AEなど、ユーザーが設定する撮影モードにより指定されるAE機能に基づいて計算された露出値に基づいて行われる。
また、CPU203はAE制御に併せてAF(Autofocus)制御を行う。AF制御には、アクティブ方式、位相差検出方式、コントラスト検出方式等が適用される。なお、この種のAEおよびAFの構成および制御については周知の一般的な技術を利用すればよいため、ここで詳細な説明は省略する。
撮像素子部202においてデジタル化された画像信号は、画像処理部207に入力される。画像処理部207では、後述の画像処理を行い、輝度信号Y、色差信号Cb・Crを生成する。
エンコーダ部208は、画像処理部207にて処理した画像データをJpegやH.264、H.265などの所定のフォーマットに変換する符号化処理を行う。
通信部209は、クライアント120とonvifなどのカメラ制御用プロトコルに従った通信をしたり、撮影された画像データをネットワーク130経由でクライアント120へ配信したりする。カメラ制御用プロトコルを用いた通信とは、クライアント120からのカメラ操作コマンドやカメラ設定コマンド、機能の問合せ等を受信し、そのレスポンスや画像データ以外の必要なデータの送信を行うことである。
図3は、本実施形態におけるクライアント120の概略構成を示すブロック図である。CPU301は、クライアント120における動作を統括的に制御するものである。ROM302は、CPU301が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。RAM303は、CPU301の主メモリ、ワークエリア等として機能する。すなわち、CPU301は、処理の実行に際してROM302から必要なプログラム等をRAM303にロードし、ロードしたプログラム等を実行することで各種の機能動作を実現したり、後述の処理を実施したりする。
HDD304は大容量の2次記憶部であって、例えば、CPU301が処理を行う際に必要な各種データや、画像データ、各種情報等を記憶している。また、HDD304には、CPU301がプログラム等を用いた処理を行うことにより得られた各種データや、画像データ、各種情報等が記憶される。
操作入力部305は電源ボタンやキーボードやマウス等の操作デバイス(ユーザーインターフェース)を備える入力部であり、ユーザーからの各種設定(後述する、各領域毎の画像処理設定や優先度の設定)を受け付ける受付部として機能する。通信部306は、クライアント120とネットワーク130との通信の処理を行う。具体的には、カメラ110において撮影された画像データをネットワーク130経由で受信する。また、カメラ操作コマンドをカメラ110へ送信し、そのレスポンスや画像データ以外の必要なデータを受信する。
表示部307は、カメラ110の各種制御パラメータ入力のためのGUI(詳細は後述)やディスプレイを備えている。表示部307は、外部のディスプレイに後述するGUI(グラフィックユーザーインターフェース)などを表示させるように表示制御する構成であってもよい。また。クライアント120の各要素の一部または全部の機能は、CPU301がプログラムを実行することで実現することができる。ただし、クライアント120の各要素のうち少なくとも一部(GPUやDMAなど)が専用のハードウェアとしてCPU301とは別に動作するようにしてもよい。この場合、専用のハードウェアは、CPU301の制御に基づいて動作する。
図15に本実施形態のネットワークカメラシステムの処理の概略を示すフローチャートを示す。ステップS1501において、カメラ110がWDR撮影を実行し合成画像を取得する。この時、輝度ピークが2つ以上ある場合は入出力特性が異なる領域を識別するためのマップを作成する。カメラ110は合成画像と作成したマップをクライアント120に送信する。
ステップS1502では、クライアント120がカメラ110から取得した合成画像を表示する。マップも合わせて表示するようにしてもよい。そして、ステップS1503において、測光のための領域指定をユーザーから受け付ける。ステップ1504では、クライアント120がユーザーからの領域指定とマップに基づいて、露出を取得するための領域を決定し、カメラ110に通知する。ステップ1505ではカメラ110がクライアント120から取得した情報に基づいて露出パラメータを取得し撮像設定として保持する。そして、ステップS1506において、撮像設定に基づいてカメラ110がWDR撮影を実施する。マップ作成やWDR撮影、領域決定などの処理についての詳細は後述する。
図4は本実施形態の画像処理部207の構成の詳細を示すブロック図である。画像処理部207は現像処理部400とダイナミックレンジ拡張処理部410の2つのブロックに大きく分かれておりローカルバス430を介してメモリ420と接続している。
現像処理部400は、撮像素子部202より入力された画像データに対して、レンズ位置の補正など撮像光学系201の補正を行う光学補正部401、センサの補正など撮像素子部202の補正を行うセンサ補正部402、ゲイン調整を行うゲイン調整部403を備える。さらに現像処理部400は、ノイズリダクション処理を行うNR処理部404、ホワイトバランスの調整を行うWB調整部405、ガンマ補正を行うガンマ補正部406、シャープネス処理を行うシャープネス処理部407、コントラスト調整処理や彩度調整処理や色変換処理などの色処理を行う色処理部408などの画像内容の補正処理を実施する構成を備える。現像処理部400の出力は、メモリ420に一時的に蓄えられる。露出を変えて撮影した複数枚の画像をメモリ420に蓄えることで後述のWDR合成処理部414によって合成できる。
ダイナミックレンジ拡張処理部410は、ヒストグラム解析処理部411と後述するマップ作成処理部412、ガンマ調整部413、WDR合成処理部414を備える。マップ作成処理部412で作成されたマップ情報もメモリ420に蓄えられる。ダイナミックレンジ拡張処理部410の有する各機能モジュールの説明は後述する。
アトリビュート生成部409では、画素の輝度値、およびマップ作成処理部412で作成されたマップ情報に基づいて画像処理の内容を変えるために、アトリビュート情報を画像処理部207(現像処理部400)の各構成に出力する。各構成はアトリビュート生成部409から出力されたアトリビュート情報を参照して、画像データを処理する際の処理パラメータを変更することが可能なように構成されている。
例えば、輝度しきい値Ythをアトリビュート生成部409に設定する。そして、アトリビュート生成部409は、処理画素ごとに輝度値を輝度しきい値Ythと比較し、しきい値よりも大きいか否かを示す情報を、画素の輝度情報にアトリビュート情報として付加する。例えば、アトリビュート情報はブーリアン値でよく、画素の輝度値がYthより大きければ”1”、小さければ”0”の値を保持する。光学補正部401〜色処理部408は、アトリビュート情報を参照し、アトリビュート情報に対応する処理パラメータを設定する。
また、マップ作成処理部412で作成された画素位置に対応する後述のマップ情報に応じても同様にアトリビュート情報を付加することができる。位置に応じて異なるアトリビュートを付加することで、画像処理部207の各構成の処理パラメータを変更することが可能となる。
次に図5において、画像処理部207の動作フローについて説明する。本実施形態では、明るい対象物に露出を合わせて撮影したフレーム(以降、高EVフレーム)と、暗い対象物に露出を合わせて撮影したフレーム(以降、低EVフレーム)の2枚の露出の異なるフレームを取得する。そして、そのうち高EVフレームについてヒストグラム解析をして、現像処理と、ガンマ調整処理を行い、各フレームを合成して出力する。もちろん露出の異なる画像を3枚以上撮影して、それらのフレームを合成してもよい。さらに、本実施形態の説明では、撮影エリア全体を合成する例について説明するが、各フレームにおける撮影エリアの一部分を合成するようにしてもよい。また、低EVフレームについてヒストグラム解析をしてもよいし、高EVフレーム、低EVフレーム双方を解析してももちろんよい。
ステップS501では、画像処理部207が撮像素子部202から画像データを受信する。次に、ステップS502において、受信した画像データについて現像処理部400の各構成が種々の処理を実施する。
次に、ステップS503において、画像合成のために必要なフレーム分の画像データを受信して現像したかを判断する。本実施例では、2枚の露出の異なる撮影を行う。露出は、撮像素子部202においてシャッター速度を変えてもよいし、撮像素子部202のゲインを変えてもよく、またシャッター速度とゲインの双方を変えてももちろんよい。さらに、ゲイン調整部403でもゲインを変更することが可能である。撮像素子で変更する場合には、WDR合成前の撮影画像単位で露出の変更がかかる。一方、イン調整部403はアトリビュート生成部で生成されたアトリビュートに応じてゲインを変更するため、WDR合成前の撮影画像単位だけでなく、マップ作成処理で作成された領域ごとに調整が可能である。
合成に必要な枚数が受信されていれば、ステップS504へ進み、必要な枚数に達していなければ、ステップ501に戻り再度画像を受信する。
ステップS504ではヒストグラム解析処理部411がヒストグラム解析を行う。ヒストグラムについては図6を用いて説明する。図6は、撮影シーンの一例を表示しているUIを示しており、網掛けで示す窓601の外と室内602を含む範囲が撮影された画像が表示されている。窓601の外と室内602は異なる光源の影響を受けており、窓601の画像領域と室内602の画像領域とでは輝度差が大きいとする。このような輝度差のあるシーンの場合、ヒストグラムは、図7に示すように室内602に対応するピーク702を持つヒストグラムと、窓601に対応するピーク701を持つヒストグラムとが、谷703を挟んでいる様になる。
ヒストグラム解析部411は、ステップS504において、画像データから画素毎の輝度値についてのヒストグラムを生成し、生成したヒストグラムについて2つの山ができるか、1つしか山がないかを検知する。解析結果となるピークの数によってステップ505において処理を分岐する。
検出されたピークが1つ以下である場合は、後述のガンマ調整処理507を行い画像処理部207の処理を終了する。ピークが2つある場合、ステップ506においてマップ作製の処理を行う。さらに、ピークが2つある場合、ピークの谷703の輝度値をヒストグラム解析部411がアトリビュート生成部409に設定する。なお、3つ以上のピークを検出するように構成してもよく、検出されたピークに対応する分だけ領域を分割してもよいし、含まれる画素数が少なければ(ピークが属する領域のサイズが小さければ)無視するように構成してもよい。
ステップS506ではマップ作成処理部412がマップを作成する。ピークが2つ検出された画像に対して、マップは、ヒストグラムの2つのピークのどちらに属する領域であるかを画像上で示すための情報である。まず、マップ作成処理部412が画像を複数の輝度領域に分割する。本実施形態では、処理画像604の解像度は、1920×1080であり、64×36のブロック603に分割する。このブロックの中でヒストグラムの谷703の輝度値よりも大きい輝度値の画素がブロック内の画素数の2/3を超えるブロック603と、そうでないブロック603とに分割しマップとして示す。
ここで、図6に示した撮影画像から作成されたマップを図9に示し、図9を用いてマップについて説明をする。本実施形態では、2枚の露出の異なるフレームの合成を想定しているため、マップは複数画像の合成比率に応じたマップとなる。具体的には、輝度の低い側から、低EVフレーム比率が100%のエリア(領域901)、低EVフレームと高EVフレームの混合エリア(領域902)、高EVフレーム比率100%のエリア(領域903)、高EVフレーム比率100%(領域904)であり、かつ複数ピークが検出されガンマ特性の異なるエリアの4カテゴリーを持つマップとなる。もちろんマップ作成は、高EVフレーム、もしくは低EVフレームに対して行ってもよい。
図12に、高EV・低EVフレームについて説明を補足する。明るい対象物に露出を合わせて撮影したフレーム(高EVフレーム)は図14(a)のようになり、明るい室外の露出は適正になるが、暗い室内の階調がなくなり黒くつぶれてしまい視認性が落ちる。一方、暗い対象物に露出を合わせて撮影したフレーム(低EVフレーム)は図14(b)のようになる。図14(b)の低EVフレームでは、明るい窓の外などは白飛んでしまう一方、暗い室内は適正値に近い露出が得られる。
このマップ情報(第1情報)と、ステップS505で検出されたピーク数はカメラ110の通信部209がクライアント120へ通知する。
次に、ステップS507のガンマ調整処理について説明する。図8は図6のシーンに対応するガンマカーブ(入力に対する出力の関係を示す曲線)を模式的に示すものである。ピークが1つしかない(もしくはWDR撮影設定をオフしている等)マップ処理を行っていない場合は、調整用のガンマは図8の破線801で示されたガンマカーブとなる。一方で、マップを作成した場合、調整用のガンマは、図8の実線802、803に示されるような互いに不連続の曲線で示される特性となる。図7において谷703の明るさより明るい領域の明るさを下げるように調整されており、全体的なダイナミックレンジを確保する処理となる。谷703に相当する輝度値でいったん出力値を下げており、このようなガンマカーブで輝度調整を行うことで、明るいエリアの視認性が向上し、ダイナミックレンジが拡大する。
図6に示す明るいエリア601では、ユーザーによる露出検出領域603の指定がない場合は、エリア601全体の平均輝度があらかじめ設定した平均輝度になるように破線801に示すようにガンマカーブを調整する。露出検出領域603についての詳細は後述する。
次に、ステップS508でWDR合成処理部414が高EVフレームのガンマ調整後の画像と低EVフレームの合成処理を行う。合成処理の概略について図10を参照して説明する。横軸は基準輝度を、縦軸は画像を加算合成する際の合成比率を表す。実線1301で示す合成比率は、基準輝度に対する低EVフレームの合成比率を表し、1点鎖線1302で示す合成比率は、基準輝度に対する高いEVフレームの合成比率を表している。
合成する際の基準輝度の閾値Y1より暗い領域は低EVフレームのみを使用し、基準輝度の閾値Y2より明るい領域では高EVフレームのみを用いる。また、基準輝度の閾値付近の境界Y1〜Y2の中間領域では、合成比率を徐々に変化させることで画像の切り替えを滑らかにすることができる。基準輝度として用いるのは、本実施形態では高EVフレームとなる。以上の処理により合成処理を終了する。
次に、図14において、処理結果の概要を説明する。図14(a)に示す明るい対象物に露出を合わせて撮影した画像(高EVフレーム)に、図5のヒストグラム解析、現像、ガンマ調整処理を行った画像(ガンマ調整後の高EVフレーム)を図14(c)に示す。ガンマを調整したことで、窓の外の明るい領域の輝度が下がり適切な輝度になる。図14(d)は図14(b)と図14(c)を図10に示す比率でWDR合成処理部414が合成されることで、明るいエリアから暗いエリアまで撮影できるダイナミックレンジの広い画像となっている。
次に、クライアント120の処理について説明する。クライアント120においては、カメラ110から配信される動画像を表示させ、ユーザーは撮像画像を見ながらカメラ110へ撮影に関する設定(露出設定)やネットワークに関する設定を行うことができる。
ここで、ユーザーの露出検出領域の設定について説明する。クライアント120の表示部307には図11(a)で示される画像が表示されている。ここで、ユーザーが1101に示す領域を露出検出領域として設定した場合について説明する。
図11(b)は、クライアント120がカメラ110から受信したマップ情報の模式図である。マップ情報は4つのエリア(1102,1103,1104,1105)を示している。
本実施例においては、マップ情報の示す複数のエリアについてユーザー指定領域1101の中心が属するエリアを選択し、選択したエリアとユーザー指定エリア1101とが重なる領域をユーザーへ提示する。図11の例では、ユーザー指定エリアの中心は、エリア1104に対応するため、エリア1101と1104エリアの重複領域(図11(c)の1106)をユーザーに示す。ユーザーは、この1106領域を視認することで、意図する主要被写体かどうかを確認することが可能となる。もし意図した主要被写体と異なる場合は、異なるエリアを再度指定しなおすことができる。意図した主要被写体であれば、露出検出領域の設定を決定し選択処理を終了する。
クライアント120で設定された露出検出領域情報(第2情報)は、クライアント120の通信部306からカメラ110に通知される。カメラ110では、受信した領域情報を基に露出検出領域を設定して、この露出検出領域(測光領域)から取得した画素値(最大輝度値や平均輝度値など)に基づいて露出設定(露出パラメータ)を取得し、以降の撮像を実施する。例えば、露出検出領域が低EVフレームのみを使用する領域の場合、低EVフレームのみが露出調整される。また、低EVフレームと、高EVフレームの合成領域である場合、低EVフレームと、高EVフレーム双方が露出調整される。また、高EVフレームのみを使用する領域の場合、高EVフレームのみが露出調整され、高EVフレーム中のガンマ調整された輝度領域である場合、対応する輝度領域だけが露出調整される。以上の処理は、アトリビュート生成部409を通じて各構成に設定される。
また、ゲイン調整部403によりゲインを調整することで、マップのエリアごとにゲインを調整するように構成してももちろんよい。以上の処理によって、ユーザーの意図する領域について露出設定を行うことができるため、ユーザーの意図する画像を出力することが可能となる。
<実施形態2>
次に、第2の実施形態について図面を用いて説明する。本実施例ではネットワークカメラの光学系に全方位レンズを用いた実施例について説明する。なお、実施形態1と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的に変わらないものについては、その説明を省略する。
次に、第2の実施形態について図面を用いて説明する。本実施例ではネットワークカメラの光学系に全方位レンズを用いた実施例について説明する。なお、実施形態1と同一機能を有する構成や工程には同一符号を付すとともに、構成的、機能的に変わらないものについては、その説明を省略する。
本実施形態における撮像装置は、撮像光学系201に全方位レンズを用いた点が異なる。そのため、画像処理部207において、全方位レンズの投影方式の変換部分をもつ。
画像処理部207の構成を図17に示す。現像処理部400、ダイナミックレンジ拡張処理部410は実施例1と同様の構成のため説明を省略する。本実施例では、デワープ処理部1701を持つ。デワープ処理部1701は、投影方式変換部1702からなる。
全方位レンズを用いた場合、撮像装置周辺の広範囲の画像を得ることができるが、画像の歪みが大きく、人間の閲覧や領域の指定には向かない。そのため、投影方式変換部1702において全方位画像の一部の領域の投影方式を変換する。投影方式変換部1702では、指定された視線方向に平面を想定し、全方位の画像を想定した平面に投影することによって透視投影画像を得る。
また、本処理は、現像処理部400、ダイナミックレンジ拡張処理部410で処理され、メモリ420に保持された画像に対して処理が実行される。そのため、全方位の画像と、投影方式変換部1702で処理された画像の双方をメモリ420に保持することや、複数個所の投影変換画像を作成することが可能なように構成されている。
次に、ユーザーの露出検出領域の設定について説明する。全方位レンズにおける撮影画像を図16(a)に示す。ここでは、被写体となる窓1602を含む室内を撮影した例について説明する。全方位レンズの射影によって窓1602は四角ではなく扇形に近い形状で撮像されている。
図16(b)は、クライアント120がカメラ110から受信したマップ情報の模式図である。マップ情報は2つのエリア(1603,1604)を示している。1603は、窓を含む領域のため明るいエリアを示し、1604は室内の比較的暗いエリアを示している。マップ情報は、デワープ処理部1701よりも先に処理されているため、全方位画像を基に作成される。
一方、ユーザーは、図16(c)に示す画像表示を参照する。透視投影変換されているので、1602に示す窓は四角く表示されていることがわかる。ここで、ユーザーは測光のための領域指定として1605に示すエリアを指定する。
前述のステップ1504において、クライアント120は測光領域を決定するが、実施例1と同様ユーザー指定領域1605の中心が属するエリア1603を選択し、選択したエリアとユーザー指定エリア1605が重なる領域をユーザーへ提示する。
ここで、マップ領域中の明るいエリア1603を透視投影変換後の図16(c)に破線でプロットする。透視投影変換のため、各ブロックが変形していることがわかる。
本実施例においては、マップ情報の示す複数のエリアについてユーザー指定領域1605の中心が属するエリア1603であって、ユーザー指定エリア1605の内部にあるブロックに外接する矩形領域1606をユーザーへ提示する。
なお、ユーザーの選択領域をできるだけ処理領域に近い形で変更したことをユーザーに伝えられれば良いので、外接する矩形領域に限らない。たとえば、マップ情報通りの矩形1603を表示してもよいし、外接矩形より若干小さく表示してもよい。
上記のように測光領域を決定し、ユーザー表示をすることで、ユーザーがより正確に測光領域を認識することができるとともに、実際の測光領域もユーザーの意図を反映した領域が設定可能となる。
<そのほかの実施形態>
その他の実施形態としては、実施形態1ではユーザーの指定した露出検出領域の中心を含むエリアについてユーザーの設定矩形を調整していたが、入出力特性の異なるエリアとそれ以外でマップ情報を修正してもよい。図11の例において修正されたマップ情報を図13(a)に示す。ここで、図11(a)の矩形1101をユーザーが指定した場合に、実施形態1と同様に中心を含むマップ領域で切り出すと、図13に1303で示す領域が露出検出エリアとなる。
その他の実施形態としては、実施形態1ではユーザーの指定した露出検出領域の中心を含むエリアについてユーザーの設定矩形を調整していたが、入出力特性の異なるエリアとそれ以外でマップ情報を修正してもよい。図11の例において修正されたマップ情報を図13(a)に示す。ここで、図11(a)の矩形1101をユーザーが指定した場合に、実施形態1と同様に中心を含むマップ領域で切り出すと、図13に1303で示す領域が露出検出エリアとなる。
また、切り出さずに、異なるマップ領域を避けるように露出検出枠を移動してもよく、例えば、マップ領域と重ならないように移動した際に、移動前と中心位置が最も近くなるような移動方法を検出すると、図13の例の場合、図13(c)に1304で示すような位置に移動することができる。
さらに、ユーザーにマップ領域を示し、ユーザーの設定矩形が複数のエリアにまたがる場合に、複数のエリアにまたがってしまっている事をユーザーへ通知し、領域の選択のやり直しを促すようにしてもよい。通知はメッセージでもよいし、またがってしまっている両方の領域を点滅させたり色を変えさせたりさせるような強調表示をしてもよい。また、ユーザーが指定した矩形の中で複数のエリアにまたがらず最大の面積となる矩形を自動的に設定するように構成してもよい。
また、ユーザーにマップ情報の示す複数のエリアを示し、露出の基準となるエリアを選択させるようにしてもよい。上述の実施形態では、説明の簡便のため2つのエリアについてマップを作成する例を主体として説明しているが、3つ以上のエリアであっても本発明を同様に適用することができる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (23)
- 画像を撮像する撮像手段と、
複数の画像を合成し合成画像として出力する合成手段と、
前記合成画像について、互いに入出力特性が異なる複数の領域を示す第1情報を画像処理装置に通知する通知手段と、
前記画像処理装置から検出領域を示す第2情報を受信する受信手段とを有し、
前記撮像手段は前記受信手段により受信した第2情報が示す検出領域に基づいて露出を設定することを特徴とする撮像装置。 - 前記撮像手段は露出設定を互いに異ならせた設定で複数の画像を撮像し、前記合成手段は当該複数の画像に基づいてダイナミックレンジを拡張した合成画像を出力することを特徴とする請求項1に記載の撮像装置。
- 前記撮像手段は、前記第2情報が示す検出領域から取得した輝度値に基づいて設定した露出に基づいて、撮像することを特徴とする請求項1または2に記載の撮像装置。
- 撮像装置から、画像と、当該画像について互いに異なる入出力特性を適用した複数の領域を示す第1情報とを取得する取得手段と、
前記取得手段により取得した画像と、前記取得手段により取得した互いに異なる入出力特性を適用する複数の領域とを表示する表示手段と、
前記表示手段により表示した画像について、前記撮像装置の露出を設定するための領域の指定を受け付ける受付手段と
を有することを特徴とする画像処理装置。 - 前記検出領域をユーザーが設定するためのユーザーインターフェースをさらに備えることを特徴とする請求項4に記載の画像処理装置。
- 前記受付手段により受け付けた領域の指定と、前記取得手段により取得した第1情報とに基づいて、前記撮像装置の露出を設定するための検出領域を決定する決定手段と、
当該検出領域を含む第2情報を前記撮像装置に送信する送信手段とをさらに備えることを特徴とする請求項4または5に記載の画像処理装置。 - 前記決定手段は、前記第1情報が示す複数の領域のなかで前記受付手段により受け付けた領域の中心位置を含む領域と、前記受付手段により受け付けた領域とが重なる領域を検出領域として決定することを特徴とする請求項6に記載の画像処理装置。
- 前記決定手段は、前記第1情報が示す複数の領域のなかで前記受付手段により受け付けた領域の中心位置を含む領域と、前記受付手段により受け付けた領域とが重なる領域に外接する領域を検出領域として決定することを特徴とする請求項6に記載の画像処理装置。
- 前記表示手段は、前記決定手段が検出領域として決定した領域を表示することを特徴とする請求項4乃至8のいずれか1項に記載の画像処理装置。
- 前記表示手段は、前記受付手段で受け付けた領域が、前記第1情報が示す複数の領域にまたがっていると、そのことを通知するための表示をすることを特徴とする請求項4乃至9のいずれか1項に記載の画像処理装置。
- 前記互いに入出力特性が異なる複数の領域とは、入出力の関係を示す曲線として互いに不連続な曲線が設定された領域であることを特徴とする請求項4乃至10のいずれか1項に記載の画像処理装置。
- 前記互いに入出力特性が異なる複数の領域とは、露出設定が互いに異なる領域であることを特徴とする請求項4乃至10のいずれか1項に記載の画像処理装置。
- 画像を撮像する撮像装置による撮像方法であって、
複数の画像を合成し合成画像として出力する合成工程と、
前記合成画像について、互いに入出力特性が異なる複数の領域を示す第1情報を画像処理装置に通知する通知工程と、
前記画像処理装置から検出領域を示す第2情報を受信する受信工程とを有し、
前記撮像工程では前記受信工程で受信した第2情報が示す検出領域に基づいて露出を設定することを特徴とする撮像方法。 - 前記撮像工程は露出設定を互いに異ならせた設定で複数の画像を撮像し、前記合成工程は当該複数の画像に基づいてダイナミックレンジを拡張した合成画像を出力することを特徴とする請求項13に記載の撮像方法。
- 前記撮像工程は、前記第2情報が示す検出領域から取得した輝度値に基づいて設定した露出に基づいて、撮像することを特徴とする請求項13または14に記載の撮像方法。
- 撮像装置から、画像と、当該画像について互いに異なる入出力特性を適用した複数の領域を示す第1情報とを取得する取得工程と、
前記取得手段により取得した画像と、前記取得手段により取得した互いに異なる入出力特性を適用した複数の領域とを表示する表示工程と、
前記表示手段により表示した画像について、前記撮像装置の露出を設定するための領域の指定を受け付ける受付工程と
を有することを特徴とする画像処理方法。 - 前記受付工程で受け付けた領域の指定と、前記取得工程で取得した第1情報とに基づいて、前記撮像装置の露出を設定するための検出領域を決定する決定工程と、
当該検出領域を含む第2情報を前記撮像装置に送信する送信工程とをさらに備えることを特徴とする請求項16に記載の画像処理方法。 - 前記決定工程は、前記第1情報が示す複数の領域のなかで前記受付工程により受け付けた領域の中心位置を含む領域と、前記受付工程により受け付けた領域とが重なる領域を検出領域として決定することを特徴とする請求項17に記載の画像処理方法。
- 前記表示工程は、前記決定工程が検出領域として決定した領域を表示することを特徴とする請求項16乃至18のいずれか1項に記載の画像処理方法。
- 前記表示工程は、前記受付工程で受け付けた領域が、前記第1情報が示す複数の領域にまたがっていると、そのことを通知するための表示をすることを特徴とする請求項16乃至19のいずれか1項に記載の画像処理方法。
- 前記互いに入出力特性が異なる複数の領域とは、入出力の関係を示す曲線として互いに不連続な曲線が設定された領域であることを特徴とする請求項16乃至20のいずれか1項に記載の画像処理方法。
- 前記互いに入出力特性が異なる複数の領域とは、露出設定が互いに異なる領域であることを特徴とする請求項16乃至20のいずれか1項に記載の画像処理方法。
- コンピュータを
撮像装置から、画像と、当該画像について互いに異なる入出力特性を適用した複数の領域を示す第1情報とを取得する取得手段と、
前記取得手段により取得した画像と、前記取得手段により取得した互いに異なる入出力特性を適用する複数の領域とを表示する表示手段と、
前記表示手段により表示した画像について、前記撮像装置の露出を設定するための領域の指定を受け付ける受付手段として機能させることを特徴とする画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18192880.5A EP3454547A1 (en) | 2017-09-11 | 2018-09-06 | Imaging apparatus, image processing apparatus, imaging method, image processing method, and storage medium |
CN201811042660.0A CN109495693A (zh) | 2017-09-11 | 2018-09-07 | 摄像设备和方法、图像处理设备和方法、以及存储介质 |
US16/125,525 US20190082092A1 (en) | 2017-09-11 | 2018-09-07 | Imaging apparatus, image processing apparatus, imaging method, image processing method, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017174365 | 2017-09-11 | ||
JP2017174365 | 2017-09-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019050551A true JP2019050551A (ja) | 2019-03-28 |
Family
ID=65906010
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018095659A Pending JP2019050551A (ja) | 2017-09-11 | 2018-05-17 | 撮像装置、画像処理装置、撮像方法、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019050551A (ja) |
-
2018
- 2018-05-17 JP JP2018095659A patent/JP2019050551A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109218606B (zh) | 摄像控制设备、其控制方法及计算机可读介质 | |
US9241109B2 (en) | Image capturing apparatus, control method, and recording medium for moving image generation | |
EP3454547A1 (en) | Imaging apparatus, image processing apparatus, imaging method, image processing method, and storage medium | |
JP2014123809A (ja) | 撮像装置、撮像システム、および、撮像装置の制御方法 | |
JP2009021880A (ja) | 遠隔撮影システム | |
CN110392205B (zh) | 图像处理设备、信息显示设备、控制方法和存储介质 | |
JP6445831B2 (ja) | 撮像装置及びその制御方法ならびにプログラム | |
JP2017092850A (ja) | 撮像装置、撮像方法および会議端末装置 | |
JP2020123837A (ja) | 撮像装置、撮像方法およびプログラム | |
JP7224826B2 (ja) | 撮像制御装置、撮像制御方法、およびプログラム | |
JP2019050551A (ja) | 撮像装置、画像処理装置、撮像方法、画像処理方法、およびプログラム | |
US11523052B2 (en) | Electronic apparatus, control method of electronic apparatus, and non-transitory computer readable medium | |
JP2015084512A (ja) | 画像処理システム | |
JP2019033470A (ja) | 画像処理システム、撮像装置、画像処理装置、制御方法およびプログラム | |
US20190052803A1 (en) | Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium | |
JP7075272B2 (ja) | 画像処理装置、情報表示装置、制御方法、及びプログラム | |
JP2002218326A (ja) | 撮像装置 | |
JP2020010111A (ja) | 表示装置、撮像装置、及びこれらの制御方法、プログラム、撮像システム | |
JP2018037747A (ja) | 情報処理装置、その制御方法およびプログラム | |
JP2018142939A (ja) | 撮像装置、撮像システム、その制御方法およびプログラム | |
JP6039726B2 (ja) | 撮像装置及びその制御方法 | |
JP2023090492A (ja) | 画像処理装置および画像処理方法、撮像装置 | |
JP2024071082A (ja) | 撮像装置及びその制御方法とプログラム | |
US20130342727A1 (en) | Electronic camera | |
JP2011044864A (ja) | 画像合成装置及び画像送信装置 |