JP2016086364A - 画像処理装置、監視カメラシステム、画像処理方法及びプログラム - Google Patents

画像処理装置、監視カメラシステム、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2016086364A
JP2016086364A JP2014219548A JP2014219548A JP2016086364A JP 2016086364 A JP2016086364 A JP 2016086364A JP 2014219548 A JP2014219548 A JP 2014219548A JP 2014219548 A JP2014219548 A JP 2014219548A JP 2016086364 A JP2016086364 A JP 2016086364A
Authority
JP
Japan
Prior art keywords
image processing
luminance
image data
image
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014219548A
Other languages
English (en)
Other versions
JP2016086364A5 (ja
JP6467865B2 (ja
Inventor
盛一 大槻
Morikazu Otsuki
盛一 大槻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014219548A priority Critical patent/JP6467865B2/ja
Priority to PCT/JP2015/004711 priority patent/WO2016067507A1/ja
Priority to US15/521,007 priority patent/US10469766B2/en
Publication of JP2016086364A publication Critical patent/JP2016086364A/ja
Publication of JP2016086364A5 publication Critical patent/JP2016086364A5/ja
Application granted granted Critical
Publication of JP6467865B2 publication Critical patent/JP6467865B2/ja
Priority to US16/594,321 priority patent/US11310440B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】動体のコントラストを大きくして動体を見え易くすることができる技術を提供すること。
【解決手段】本技術に係る画像処理装置は、画像処理部を具備する。前記画像処理部は、画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する。
【選択図】図2

Description

本技術は、画像情報を入力し、入力された画像情報の輝度を補正して出力する画像処理装置等の技術に関する。
従来から、入力された画像の輝度(諧調)を補正して出力する技術が広く知られている。例えば、下記特許文献1に記載の技術では、まず、入力された画像の輝度ヒストグラムが生成され、次に、この輝度ヒストグラムに基づいて、予め用意された複数のトーンカーブのうちいずれかのトーンカーブが選択される。そして、このトーンカーブに基づいて画像の輝度が補正されて出力される。
特許文献1に記載の技術では、例えば、輝度ヒストグラムにおいて輝度の頻度が中間部分に集中している画像に対しては、輝度の中間部分で傾斜角度が急になるトーンカーブが用いられ、輝度の中間部分について優先的に輝度の諧調が割り当てられる。引用文献1に記載の技術では、このようなトーンカーブを用いることによって、画像が明暗差のないはっきりとしない画像となってしまうことを防止している。
特許文献1に記載の技術では、入力画像において輝度の頻度が高い部分(つまり、同じ明るさで面積が広い部分)について優先的に輝度の諧調を割り当てるといった方法が採用されている。一方、例えば、空(高輝度、大面積)と、人物(中間輝度、小面積)とを含む画像においてこのような方法が用いられると、空に対して割り当てられる輝度の諧調が増加する一方で、人物に対して割り当てられる輝度の諧調が減少してしまう。このため、人物に対するコントラストが低下し、人物がはっきり見えないといった現象が生じる場合がある。
このような問題に関連する技術として下記特許文献2が挙げられる。この技術では、輝度ヒストグラムとは別に、高周波成分ヒストグラムを生成し、この高周波成分ヒストグラム基づいて、輝度ヒストグラムを補正するといった方法が採用されている。この方法によれば、低周波数成分に対応する空に割り当てられていた階調を、高周波成分に対応する人物に対して再分配することができる。
特開2013−250314号公報 特開2010−220032号公報
このような技術分野において、人物や車などの動体のコントラストを大きくして動体を見え易くすることができる技術が求められている。特に、監視カメラシステムなど、動体をはっきり見えるようにする必要があるシステムにおいてこのような技術が求められている。
以上のような事情に鑑み、本技術の目的は、動体のコントラストを大きくして動体を見え易くすることができる技術を提供することにある。
本技術に係る画像処理装置は、画像処理部を具備する。
前記画像処理部は、画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する。
この画像処理装置では、動き量が大きい物体のコントラストが大きくなるため、動体(例えば、人や車など)を見え易くすることができる。
上記画像処理装置において、前記画像処理部は、前記画像データに基づいて画像内における高周波数成分のレベルを判定し、高周波数成分のレベルが高い物体のコントラストが大きくなるように前記画像データの輝度を補正して出力してもよい。
この画像処理装置では、高周波成分のレベルが高い物体のコントラストが大きくなるため、高周波成分のレベルが高い物体(例えば、人や車など)を見え易くすることができる。
上記画像処理装置において、前記画像処理部は、前記画像データにおける各画素の輝度の分布を示す、前記動き量が反映された輝度ヒストグラムを生成し、前記輝度ヒストグラムに基づいて、前記画像データの輝度を補正するためのトーンカーブを生成してもよい。
これにより、動き量が大きい物体のコントラストを適切に大きくするためのトーンカーブを生成することができる。
上記画像処理装置において、前記画像処理部は、前記画像データにおける各画素の輝度の分布を示す、前記動き量及び前記高周波数成分のレベルが反映された輝度ヒストグラムを生成し、前記輝度ヒストグラムに基づいて、前記画像データの輝度を補正するためのトーンカーブを生成してもよい。
これにより、動き量が大きく、高周波数成分のレベルが高い物体のコントラストを適切に大きくするためのトーンカーブを生成することができる。
上記画像処理装置において、前記画像処理部は、前記輝度ヒストグラムを生成するとき、画素の頻度をカウントするためのカウント値に対して、前記画素に対応する位置での前記動き量に応じた重みづけを行い、輝度に応じて区分された複数のビンのうち前記画素の輝度に対応するビンに対して、重み付されたカウント値を加算するといった処理を画素毎に実行することによって前記輝度ヒストグラムを生成してもよい。
これにより、動き量が大きい物体のコントラストを適切に大きくするための輝度ヒストグラムを生成することができる。
上記画像処理装置において、前記画像処理部は、前記輝度ヒストグラムを生成するとき、画素の頻度をカウントするためのカウント値に対して、前記画素に対応する位置での前記動き量及び前記高周波数成分のレベルに応じた重みづけを行い、輝度に応じて区分された複数のビンのうち前記画素の輝度に対応するビンに対して、重み付されたカウント値を加算するといった処理を画素毎に実行することによって前記輝度ヒストグラムを生成してもよい。
これにより、動き量が大きく、高周波数成分のレベルが高い物体のコントラストを適切に大きくするための輝度ヒストグラムを生成することができる。

本技術に係る監視カメラシステムは、撮像部と、画像処理部とを具備する。
前記撮像部は、監視位置に配置される。
前記画像処理部は、前記撮像部により撮像された画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する。
本技術に係る画像処理方法は、画像データが入力される。
前記画像データに基づいて画像内における動き量が判定される。
前記動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度が補正されて出力される。
本技術に係るプログラムは、画像処理装置に、
画像データを入力するステップと、
前記画像データに基づいて画像内における動き量を判定するステップと、
前記動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力するステップと
を実行させる。
以上のように、本技術によれば、動体のコントラストを大きくして動体を見え易くすることができる技術を提供することができる。
本技術の一実施形態に係る監視カメラシステムを示すブロック図である。 監視カメラシステムにおける画像処理部の処理を示すフローチャートである。 輝度ヒストグラムの一例を示す図である。 トーンカーブの一例を示す図である。 監視カメラユニットによって撮像された、画像処理前の画像の一例を示す図である。 画像処理によって輝度が補正された後の画像の一例を示す図である。 複数に分割されたブロック毎に輝度ヒスログラムを生成する場合の一例を説明するための補足図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
〈監視カメラシステム100の全体構成及び各部の構成〉
図1は、本技術の一実施形態に係る監視カメラシステム100を示すブロック図である。図1に示すように、監視カメラシステム100は、監視カメラユニット10及び監視端末20を備えている。
監視カメラユニット10は、例えば、商店や金融機関、駅、路上など、監視する必要がある場所に適宜設置される。図1に示す例では、監視カメラユニット10の台数が1台である場合について示されているが、監視カメラユニット10の数は2台以上であってもよい。
監視カメラユニット10は、レンズユニット1(撮像部)と、制御ユニット2(画像処理装置)と、レンズユニット1をパン方向(左右方向)及びチルト方向(上下方向)に旋回させる旋回ユニット3とを含む。
レンズユニット1は、光学レンズ系11、レンズ駆動部12、撮像素子13及びタイミングジェネレータ(TG)14を有している。制御ユニット2は、画像処理部15、通信部16、制御部17及び記憶部18を有しており、旋回ユニット3は、旋回駆動部19を有している。
光学レンズ系11は、撮像レンズ、ズームレンズ、フォーカスレンズなどの各種のレンズ、及び絞りを有している。レンズ駆動部12は、モータなどにより構成されており、制御部17からの指示に応じて、ズームレンズ、フォーカスレンズを光軸方向に沿って移動させたり、絞りの開度を調整したりする。
撮像素子13は、CMOS(Complementary Metal Oxide Semiconductor)センサや、CCD(Charge Coupled Device)センサなどにより構成されている。撮像素子13は、複数の画素(R画素、G画素、B画素)を有しており、撮像素子13の露光面に入射された被写体光を画素毎に光電変換により電子信号に変換する。そして、撮像素子13は、得られた3原色信号(R、G、B)を画像データとして画像処理部15へ出力する。
タイミングジェネレータ14(TG)は、制御部17からの指示に応じて撮像素子13の駆動に必要な駆動パルスを生成して撮像素子13に供給する。このタイミングジェネレータ14によって撮像素子13が駆動されることで撮像が行われる。
画像処理部15は、入力された画像データに対して、ノイズ除去処理や、輝度(諧調)補正処理などを施し、これらの処理が施された画像データを通信部16へ出力する。
本実施形態に係る監視カメラシステム100においては、画像処理部15による輝度(諧調)補正処理において、画像データ内に含まれる動体や、高周波成分に対応する物体に対して優先的に輝度の諧調が割り当てられるといった処理が実行される。この処理については、動作説明の欄において後に詳述する。
通信部16は、有線接続あるいは無線接続によって監視端末20との間で信号を送受信する。この通信部16は、輝度(諧調)補正処理が施された画像データを監視端末20へ送信したり、監視端末20から送信された、ズーム調整、フォーカス調整、旋回動作のための制御信号を受信して制御部17へ出力したりする。
制御部17は、例えば、CPU(Central Processing Unit)などにより構成されており、監視カメラユニット10の各部を統括的に制御する。例えば、制御部17は、監視端末20からの制御信号に応じて、レンズ駆動部12を駆動させてズーム調整、フォーカス調整を行ったり、旋回駆動部19を駆動させてレンズユニット1を旋回させたりする。
記憶部18は、制御部17の作業領域として用いられる揮発性のメモリ(例えば、RAM(Random Access Memory))と、制御部17の処理に必要な各種のプログラムやデータが固定的に記憶された不揮発性のメモリ(例えば、ROM(Read Only Memory)とを含む。
旋回駆動部19は、モータなどにより構成されており、制御部17からの指示に応じて、レンズユニット1をパン方向及びチルト方向に旋回させる。
監視端末20は、例えば、PC(Personal Computer)などによって構成されている。この監視端末20は、監視室などに配置されており、監視者によって管理されている。監視端末20は、制御部21、記憶部22、通信部23、入力部24、外部記憶装置25及び表示装置26を含む。
制御部21は、例えば、CPUなどにより構成されており、監視端末20の各部を統括的に制御する。この制御部21は、監視カメラユニット10から送信された画像データを表示装置26の画面上に表示させる。また、制御部21は、入力部24から入力された監視者による指示に応じて、ズーム調整やフォーカス調整を行うための制御信号や、レンズユニット1を旋回させるための制御信号などを生成して、これらの信号を通信部23から送信させる。
記憶部22は、制御部21の作業領域として用いられる揮発性のメモリ(例えば、RAM)と、制御部21の処理に必要な各種のプログラムやデータが固定的に記憶された不揮発性のメモリ(例えば、ROM)とを含む。
通信部23は、有線接続あるいは無線接続によって監視カメラユニット10との間で信号を送受信する。この通信部23は、監視カメラユニット10から送信された画像データを受信したり、ズーム調整、フォーカス調整、旋回動作のための制御信号を監視カメラユニット10へ送信したりする。
表示装置26は、例えば、液晶ディスプレイや、有機EL(EL:Electro luminescence)ディスプレイなどにより構成されている。表示装置26は、監視カメラユニット10によって撮像された画像データを、制御部21の制御に応じて画面上に表示させる。なお、表示装置26は、基本的には、撮像された画像データをリアルタイムで画面上に表示させるが、外部記憶装置25に録画された画像データを表示させることも可能されている。
入力部24は、例えば、キーボードやマウスなどによって構成されている。入力部24は、監視者による操作を操作信号に変換し、この信号を制御部17へ出力する。監視者は、入力部24を介して指示を入力することで、ズームやフォーカスを調整したり、レンズユニット1を旋回させたりすることができる。
外部記憶装置25は、例えば、ハードディスクドライブ(HDD)や、光ディスクドライブ(ODD)などにより構成されており、監視カメラユニット10から送信された画像データを保存(録画)する。外部記憶装置25に保存された画像データは、必要に応じて外部記憶装置25から読み出され、表示装置26の画面上に表示される。
なお、本実施形態においては、画像データが監視端末20に保存されるが、画像データは監視カメラユニット10に保存されてもよいし、ネットワーク上に用意されたサーバ装置に保存されてもよい。
[動作説明]
次に、画像処理部15における輝度(諧調)補正処理について説明する。図2は、画像処理部15における処理を示すフローチャートである。
まず、画像処理部15は、画像データを入力し(ステップ101)、画像データに含まれる複数の画素のうち1つの画素を対象画素として選択する(ステップ102)。
次に、画像処理部15は、対象画素の位置における動き量を判定する(ステップ103)。この動き量の判定では、まず、画像処理部15は、1フレーム前の画像データにおける、対象画素と同じ位置での画素の輝度情報を取得する。そして、画像処理部15は、現在の画像データにおける画素の輝度と、1フレーム前の画像データにおける画素の輝度との差分量を算出し、この差分量に基づいて、その画素位置での動き量を判定する。動き量は、差分量が大きくなるに従って大きくなる値とされている。
動き量を判定するための他の方法としては、動きベクトル量に基づく方法が挙げられる。この場合、まず、画像処理部15は、1フレーム前の画像データにおいて、対象画素を含む複数の画素によって構成される所定領域内(例えば8×8画素)で物体の位置を判断する。
そして、画像処理部15は、現在の画像データにおいて上記所定領域内で物体の位置を判断し、1フレーム前の画像データにおける物体の位置と、現在の画像データにおける物体の位置との差分量(動きベクトル量)を算出する。そして、画像処理部15は、この差分量を、対象画素の位置での動き量として判定する。
ここでの説明では、動き量を判定する方法として2つの方法を挙げたが、これらの2つの方法のうち一方が用いられてもよいし両方が用いられてもよい。
動き量を判定すると、次に、画像処理部15は、判定された動き量に応じた動き量レベル判定値を決定する(ステップ104)。この動き量レベル判定値は、0〜1までの範囲の値のうちいずれかの値であり、動き量が大きくなるにしたがって大きくなる値とされている。
動き量レベル判定値を決定すると、次に、画像処理部15は、対象画素における高周波成分のレベルを判定する処理を実行する(ステップ105)。このステップでは、まず、画像処理部15は、対象画素の周辺に存在する周辺画素の輝度情報を取得する。次に、画像処理部15は、周辺画素の輝度に対する対象画素の輝度の分散量を判断し、この分散量に基づいて、対象画素における高周波成分のレベルを判定する。
高周波成分のレベルを判定する他の方法としては、ハイパスフィルタを通過した高周波成分の絶対値を積算し、この積算値に基づいて高周波成分のレベルを判定する方法が挙げられる。
ここでの説明では、高周波成分のレベルを判定する方法として2つの方法を挙げたが、これらの2つの方法のうち一方が用いられてもよいし両方が用いられてもよい。
高周波成分のレベルを判定すると、次に、画像処理部15は、判定された高周波成分のレベルに応じた高周波レベル判定値を決定する(ステップ106)。高周波レベル判定値は、0〜1までの範囲の値のうちいずれかの値であり、高周波成分のレベルが大きくなるにしたがって大きくなる値とされている。
ここで、図3を参照して、画像データの輝度の分布を示す輝度ヒストグラムについて説明する。図3は、輝度ヒストグラムの一例を示す図である。輝度ヒストグラムは、横軸が輝度レベルを表しており、縦軸が頻度(累積)を表している。
輝度ヒストグラムは、横軸において、輝度レベルが所定の輝度範囲毎に複数個に区分されている。この複数個に区分されたそれぞれの輝度範囲は、ビンと呼ばれる。図3に示す例では、輝度レベルが16個のビンに区分された場合の一例が示されているが、ビンの個数については特に限定されない。
図2の説明に戻る。高周波レベル判定値を決定すると、次に、画像処理部15は、輝度ヒストグラムにおいて頻度をカウントするためのカウント値(この値は、1に設定)に対して、動き量及び高周波成分のレベルに応じた重みづけを行う(ステップ107)。このステップでは、まず、画像処理部15は、カウント値に対して重み付けを行うための重み値を決定する処理を実行する。
ここで、重み値を決定する方法として、以下の[1]〜[3]が挙げられる。[1]動き量レベル判定値及び高周波レベル判定値のうちいずれか大きい方の値を重み値として用いる。[2]動き量レベル判定値及び高周波レベル判定値を加算し、この和を重み値として用いる。[3]動き量レベル判定値及び高周波レベル判定値を乗算し、この積を重み値として用いる(なお、積が用いられる場合、動き量レベル判定値及び高周波レベル判定値として1以上の値が用いられる)。
画像処理部15は、重み値を決定すると、この重み値をカウント値(本実施形態では、1に設定)に乗算し、カウント値に対して重み付けを行う。なお、以降の説明では、重み付けが行われたカウント値を便宜的に重み付けカウント値と呼ぶ。
カウント値に対して重み付けを行うと、次に、画像処理部15は、対象画素の輝度を判定し、重み付けカウント値を加算すべきビンを判定する(ステップ108)。そして、画像処理部15は、そのビンに対して重み付けカウント値を加算する(ステップ109)。
次に、画像処理部15は、画像データに含まれる全ての画素について、頻度をカウントする処理が終了したかを判定する(ステップ110)。処理を行うべき画素が残っている場合(ステップ110のNO)、画像処理部15は、ステップ102へ戻り、残りの画素のうち1つの画素を対象画素として選択する。
一方、全ての画素について処理が終了した場合(ステップ110のYES)、画像処理部15は、輝度ヒストグラムの頻度においてとり得る値の最大値(縦軸の最大値)が1となるように、正規化を行う(ステップ111)。この場合、画像処理部15は、各ビンにおけるカウント値(頻度)を、全てのビンのカウント値(頻度)の総数でそれぞれ除すことによって、上記正規化を行う。これにより、カウント値の重み付けにより上記最大値が変動してしまうことに適切に対応することができる。
本実施形態では、上述のステップ101〜ステップ110による処理によって、輝度ヒストグラムが生成されることになる。この輝度ヒストグラムは、上述のような重み付けカント値によるカウントによって生成されるため、動いている物体や高周波成分のレベルが高い物体の輝度に対応するビンの頻度が高くなることになる。
輝度ヒストグラムが生成されると、次に、画像処理部15は、輝度ヒストグラムに基づいてトーンカーブを生成する(ステップ112)。図4は、トーンカーブの一例を示す図である。図4では、横軸が入力輝度(入力諧調)を表しており、縦軸が出力輝度(出力諧調)を示している。なお、図4では、ビンが破線において示されている。
このトーンカーブは、輝度ヒストグラムにおいて頻度が高い箇所に対して優先的に傾斜が割り当てられる。つまり、本実施形態においては、上述のように、動いている物体や高周波成分の物体に対応する輝度の頻度が高くされているため、動いている物体や高周波成分の物体に対応する輝度に対して、優先的に傾斜が割り当てられる。
なお、輝度ヒストグラム及びトーンカーブは、典型的には1フレーム毎に生成されるが、これらは、2フレーム以上のフレーム毎に生成されてもよい。
トーンカーブを生成すると、次に、画像処理部15は、生成されたトーンカーブに基づいて、画像データの輝度(諧調)を補正し、輝度(諧調)が補正された画像データを出力する(ステップ113)。 このとき出力される画像データは、動いている物体や高周波成分の物体に対応する輝度に対して優先的に諧調が割り当てられた画像となる。
これにより、本実施形態では、動体や高周波成分に対応する物体のコントラストを大きくすることができる。このため、本実施形態では、監視者は、表示装置26の画面上に表示された画像を視認するときに、例えば、歩いている人や走っている車などを識別することができる。
<作用等>
以降では、具体的な一例を挙げて、本実施形態に係る監視カメラシステム100による作用について説明する。
ここでの例では、監視カメラユニット10が商店の駐車場に設置されているとして説明する。図5は、監視カメラユニット10によって撮像された画像の一例を示す図である。この画像は、夜に撮像された画像であり、画像の上側には商店が写っており、また、画像の下側には駐車場を歩いて左から右に横切る人物が写っている。なお、この図5に示す画像は、輝度(諧調)が補正される前の入力画像である。
商店は、商店の屋根部分に設けられた看板が明るく光っており、また、店内の明かりが出入り口のドアを介して店外に漏れ出している。このため、駐車場は、商店に近い部分は商店からの光によって照らされて明るくなっている。一方、商店から遠ざかるに従って、駐車場は徐々に暗くなっていく。駐車場を横切る人物は、店の光によって多少照らされているものの、暗くなっている。
ここで、比較例として、上述の重み付けによるカウントを行わずに、単純に輝度毎の画素数をカウントすることによって輝度ヒストグラムを生成し、このヒストグラムに基づいてトーンカーブを生成する場合について説明する。
この場合、輝度の頻度が高い部分(同じ明るさで面積が広い部分)について優先的に輝度の諧調が割り当てられるため、画像内において相対的に面積が広い、明るい商店及び駐車場において明るく照らされている部分に対して優先的に諧調が割り当てられることになる。一方、画像内において相対的に面積が小さい、暗い人物に対しては割り当てられる諧調の割合が相対的に少なくなってしまう。このため、駐車場を横切る人物の顔や服装を監視者が識別しにくくなってしまう。
一方、本実施形態に係る監視カメラユニット10では、上述のように、動体、高周波成分に対応する輝度の頻度が高くなるようにカウントが行われることによって、輝度ヒストグラムが生成される(図3のビン2〜4を参照)。そして、この輝度ヒストグラムに基づいてトーンカーブが生成され、このトーンカーブに基づいて画像データの輝度(諧調)が補正される。
このため、本実施形態では、駐車場を横切る人物(動いており、かつ、顔や着ている服が高周波成分)(つまり、暗い部分)に対して優先的に諧調が割り当てられることになる(図4におけるビン2〜4の箇所参照)。一方で、人物とは輝度が異なる、明るい商店や、明るく照らされている駐車場(動いておらず、低周波成分)に割り当てられる諧調は相対的に低くなることになる(図4におけるビン13〜16の箇所参照)。
図6は、本実施形態に係る画像処理によって輝度が補正された後の画像の一例を示す図である。
図6に示すように、本実施形態によれば、駐車場を横切る人物のコントラストが大きくなり、監視者がこの人物の顔や服装を識別しやすくなる。
なお、駐車場において商店により明るく照らされている場所や店内を人物が横切る場合、画像処理部15による処理によって、明るく照らされている人物(動いており、かつ、顔や着ている服が高周波成分)に対して、優先的に諧調が割り当てられることになる。一方で、人物とは輝度が異なる、暗い駐車場(動いておらず、かつ、低周波成分)に割り当てられる諧調は低くなることになる。
本実施形態では、このような場合においても、その人物のコントラストが大きくなり、監視者がこの人物の顔や服装を識別しやすくなる。
<各種変形例>
上述の説明では、画像処理部15が監視カメラユニット10に設けられる場合について説明したが、画像処理部15は監視端末20(つまり、表示装置26側)に設けられていてもよい。
また、以上の説明では、本実施形態に係る画像処理部15(画像処理装置)が監視カメラシステム100に適用される場合について説明した。一方、画像処理部15は、テレビジョン装置等の表示装置26に適用されてもよいし、デジタルスチルカメラに等の撮像装置に適用されてもよい。
以上の説明では、動き量及び高周波成分のレベルに応じた重み付けをカウント値に対して行うことによって、動き量及び高周波成分のレベルが反映された輝度ヒストグラムを生成する場合について説明した。一方、動き量及び高周波成分のレベルが反映された輝度ヒストグラムを生成する方法はこれに限られない。
他の方法の一例では、まず、単純に輝度毎の画素数がカウントされて第1の輝度ヒストグラムが生成される。そして、第1の輝度ヒストグラムとは別に、動き量に基づいて第2の輝度ヒストグラムが生成され、かつ、高周波成分のレベルに基づいて第3の輝度ヒストグラムが生成される。そして、第2の輝度ヒストグラム及び第3の輝度ヒストグラムに基づいて第1の輝度ヒストグラムが補正される。
なお、動き量及び高周波成分に応じた重み付けをカウント値に対して行うことによって輝度ヒストグラムを生成する方法の場合、複数の輝度ヒストグラムを生成する場合に比べて処理が簡単になるため、この点で有利である。
処理に余裕がある場合、動き量及び高周波成分のレベルの判定の他に、顔検出などの人物検出が行われてもよい。この場合、輝度ヒストグラムにおいて人(顔)に対応する画素の頻度がカウントされるとき、他の部分より重い重み値がカウント値に対して乗算される(あるいは、人物検出に基づいて第4の輝度ヒストグラムが生成されて、第1のヒストグラムが補正される)。
以上の説明では、動き量及び高周波成分のレベルの両方(並びに、人物検出)を輝度ヒストグラムに反映させる場合について説明した。一方、動き量のみを輝度ヒストグラムに反映させてもよい。なお、この場合、動き量のみに基づいてカウント値に対する重み付けが行われる。
上述の説明では、画像全体について輝度ヒストグラムを生成する場合について説明したが、輝度ヒストグラムは、複数のブロック毎に生成されてもよい。
この場合、まず、画像全体が複数のブロック(例えば、横8×縦6の48個)に分割される。そして、動き量及び高周波成分のレベル(並びに、人物検出)が反映された輝度ヒストグラムがブロック毎に生成される。その後、図7の左側に示すような分布がビン毎に生成される。
図7の左側に示す分布は、X軸方向及びY軸方向がブロックの位置を示しており、Z軸方向が対応するビンの頻度を表している。図7の左側に示すビン毎の分布が生成された後、これらの分布に対してバイキュービック補間によるスケーリングが行われて、各分布が目的とする画像サイズ(例えば、1280×1024画素)に拡張される(図7の右側参照)。そして、この拡張された分布に基づいて、トーンカーブが生成される。これにより、各ブロックの境界線が不自然になってしまうことを防止することができる。
本技術は以下の構成をとることもできる。
(1)画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する画像処理部
を具備する画像処理装置。
(2) 上記(1)に記載の画像処理装置であって、
前記画像処理部は、前記画像データに基づいて画像内における高周波数成分のレベルを判定し、高周波数成分のレベルが高い物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する
画像処理装置。
(3) 上記(1)又は(2)に記載の画像処理装置であって、
前記画像処理部は、前記画像データにおける各画素の輝度の分布を示す、前記動き量が反映された輝度ヒストグラムを生成し、前記輝度ヒストグラムに基づいて、前記画像データの輝度を補正するためのトーンカーブを生成する
画像処理装置。
(4) 上記(2)又は(3)に記載の画像処理装置であって、
前記画像処理部は、前記画像データにおける各画素の輝度の分布を示す、前記動き量及び前記高周波数成分のレベルが反映された輝度ヒストグラムを生成し、前記輝度ヒストグラムに基づいて、前記画像データの輝度を補正するためのトーンカーブを生成する
画像処理装置。
(5) 上記(3)又は(4)に記載の画像処理装置であって、
前記画像処理部は、前記輝度ヒストグラムを生成するとき、画素の頻度をカウントするためのカウント値に対して、前記画素に対応する位置での前記動き量に応じた重みづけを行い、輝度に応じて区分された複数のビンのうち前記画素の輝度に対応するビンに対して、重み付されたカウント値を加算するといった処理を画素毎に実行することによって前記輝度ヒストグラムを生成する
画像処理装置。
(6) 上記(4)又は(5)記載の画像処理装置であって、
前記画像処理部は、前記輝度ヒストグラムを生成するとき、画素の頻度をカウントするためのカウント値に対して、前記画素に対応する位置での前記動き量及び前記高周波数成分のレベルに応じた重みづけを行い、輝度に応じて区分された複数のビンのうち前記画素の輝度に対応するビンに対して、重み付されたカウント値を加算するといった処理を画素毎に実行することによって前記輝度ヒストグラムを生成する
画像処理装置。
(7)監視位置に配置された撮像部と、
前記撮像部により撮像された画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する画像処理部と
を具備する監視カメラシステム。
(8)画像データを入力し、
前記画像データに基づいて画像内における動き量を判定し、
前記動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する
画像処理方法。
(9)画像処理装置に、
画像データを入力するステップと、
前記画像データに基づいて画像内における動き量を判定するステップと、
前記動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力するステップと
を実行させるプログラム。
1…レンズユニット
2…制御ユニット
3…旋回ユニット
10…監視カメラユニット
15…画像処理部
20…監視端末
100…監視カメラシステム

Claims (9)

  1. 画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する画像処理部
    を具備する画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記画像処理部は、前記画像データに基づいて画像内における高周波数成分のレベルを判定し、高周波数成分のレベルが高い物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する
    画像処理装置。
  3. 請求項1に記載の画像処理装置であって、
    前記画像処理部は、前記画像データにおける各画素の輝度の分布を示す、前記動き量が反映された輝度ヒストグラムを生成し、前記輝度ヒストグラムに基づいて、前記画像データの輝度を補正するためのトーンカーブを生成する
    画像処理装置。
  4. 請求項2に記載の画像処理装置であって、
    前記画像処理部は、前記画像データにおける各画素の輝度の分布を示す、前記動き量及び前記高周波数成分のレベルが反映された輝度ヒストグラムを生成し、前記輝度ヒストグラムに基づいて、前記画像データの輝度を補正するためのトーンカーブを生成する
    画像処理装置。
  5. 請求項3に記載の画像処理装置であって、
    前記画像処理部は、前記輝度ヒストグラムを生成するとき、画素の頻度をカウントするためのカウント値に対して、前記画素に対応する位置での前記動き量に応じた重みづけを行い、輝度に応じて区分された複数のビンのうち前記画素の輝度に対応するビンに対して、重み付されたカウント値を加算するといった処理を画素毎に実行することによって前記輝度ヒストグラムを生成する
    画像処理装置。
  6. 請求項4に記載の画像処理装置であって、
    前記画像処理部は、前記輝度ヒストグラムを生成するとき、画素の頻度をカウントするためのカウント値に対して、前記画素に対応する位置での前記動き量及び前記高周波数成分のレベルに応じた重みづけを行い、輝度に応じて区分された複数のビンのうち前記画素の輝度に対応するビンに対して、重み付されたカウント値を加算するといった処理を画素毎に実行することによって前記輝度ヒストグラムを生成する
    画像処理装置。
  7. 監視位置に配置された撮像部と、
    前記撮像部により撮像された画像データを入力し、前記画像データに基づいて画像内における動き量を判定し、動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する画像処理部と
    を具備する監視カメラシステム。
  8. 画像データを入力し、
    前記画像データに基づいて画像内における動き量を判定し、
    前記動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力する
    画像処理方法。
  9. 画像処理装置に、
    画像データを入力するステップと、
    前記画像データに基づいて画像内における動き量を判定するステップと、
    前記動き量が大きい物体のコントラストが大きくなるように前記画像データの輝度を補正して出力するステップと
    を実行させるプログラム。
JP2014219548A 2014-10-28 2014-10-28 画像処理装置、カメラシステム、画像処理方法及びプログラム Active JP6467865B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014219548A JP6467865B2 (ja) 2014-10-28 2014-10-28 画像処理装置、カメラシステム、画像処理方法及びプログラム
PCT/JP2015/004711 WO2016067507A1 (ja) 2014-10-28 2015-09-16 画像処理装置、監視カメラシステム、画像処理方法及びプログラム
US15/521,007 US10469766B2 (en) 2014-10-28 2015-09-16 Image processing apparatus, surveillance camera system, and image processing method to improve contrast of a moving object
US16/594,321 US11310440B2 (en) 2014-10-28 2019-10-07 Image processing apparatus, surveillance camera system, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014219548A JP6467865B2 (ja) 2014-10-28 2014-10-28 画像処理装置、カメラシステム、画像処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2016086364A true JP2016086364A (ja) 2016-05-19
JP2016086364A5 JP2016086364A5 (ja) 2017-11-30
JP6467865B2 JP6467865B2 (ja) 2019-02-13

Family

ID=55856877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014219548A Active JP6467865B2 (ja) 2014-10-28 2014-10-28 画像処理装置、カメラシステム、画像処理方法及びプログラム

Country Status (3)

Country Link
US (2) US10469766B2 (ja)
JP (1) JP6467865B2 (ja)
WO (1) WO2016067507A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6467865B2 (ja) * 2014-10-28 2019-02-13 ソニー株式会社 画像処理装置、カメラシステム、画像処理方法及びプログラム
WO2018078872A1 (ja) * 2016-10-31 2018-05-03 Eizo株式会社 画像処理装置、画像表示装置及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296785A (ja) * 1998-04-14 1999-10-29 Matsushita Electric Ind Co Ltd 車両ナンバー認識システム
JPH11312300A (ja) * 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd 車載カメラ
JP2002367090A (ja) * 2001-06-08 2002-12-20 Radias:Kk 車両管理システム、携帯端末機器、車両管理端末および車両
JP2003230099A (ja) * 2002-02-01 2003-08-15 Teruyoshi Maruyama 衝撃時の映像を記録するカメラシステム
JP2010220032A (ja) * 2009-03-18 2010-09-30 Victor Co Of Japan Ltd 映像信号処理方法及び映像信号処理装置
WO2014087606A1 (ja) * 2012-12-03 2014-06-12 株式会社デンソー 撮影画像表示装置、および撮影画像表示方法
JP2014158074A (ja) * 2013-02-14 2014-08-28 Canon Inc 画像処理装置、画像処理方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831948B1 (en) * 1999-07-30 2004-12-14 Koninklijke Philips Electronics N.V. System and method for motion compensation of image planes in color sequential displays
US7463296B2 (en) * 2004-04-01 2008-12-09 Microsoft Corporation Digital cameras with luminance correction
JP4240023B2 (ja) * 2005-08-31 2009-03-18 ソニー株式会社 撮像装置、撮像方法および撮像プログラム、ならびに、画像処理装置、画像処理方法および画像処理プログラム
US8804048B2 (en) * 2007-10-25 2014-08-12 Marvell World Trade Ltd. Motion-adaptive alternate gamma drive for LCD
JP2009177272A (ja) * 2008-01-22 2009-08-06 Sony Corp 撮像装置、その制御方法およびプログラム
JP5180916B2 (ja) * 2008-06-25 2013-04-10 株式会社半導体エネルギー研究所 画像処理システム、及び画像処理方法
JP5249077B2 (ja) * 2009-02-17 2013-07-31 キヤノン株式会社 撮像装置及び画像処理方法
JP5047344B2 (ja) * 2009-12-28 2012-10-10 キヤノン株式会社 画像処理装置及び画像処理方法
JP2013250314A (ja) 2012-05-30 2013-12-12 Nec Casio Mobile Communications Ltd 画像処理装置、表示装置、情報処理装置および画像処理方法
JP6467865B2 (ja) * 2014-10-28 2019-02-13 ソニー株式会社 画像処理装置、カメラシステム、画像処理方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296785A (ja) * 1998-04-14 1999-10-29 Matsushita Electric Ind Co Ltd 車両ナンバー認識システム
JPH11312300A (ja) * 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd 車載カメラ
JP2002367090A (ja) * 2001-06-08 2002-12-20 Radias:Kk 車両管理システム、携帯端末機器、車両管理端末および車両
JP2003230099A (ja) * 2002-02-01 2003-08-15 Teruyoshi Maruyama 衝撃時の映像を記録するカメラシステム
JP2010220032A (ja) * 2009-03-18 2010-09-30 Victor Co Of Japan Ltd 映像信号処理方法及び映像信号処理装置
WO2014087606A1 (ja) * 2012-12-03 2014-06-12 株式会社デンソー 撮影画像表示装置、および撮影画像表示方法
JP2014158074A (ja) * 2013-02-14 2014-08-28 Canon Inc 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US10469766B2 (en) 2019-11-05
US11310440B2 (en) 2022-04-19
US20200036904A1 (en) 2020-01-30
US20170339349A1 (en) 2017-11-23
WO2016067507A1 (ja) 2016-05-06
JP6467865B2 (ja) 2019-02-13

Similar Documents

Publication Publication Date Title
CN108419023B (zh) 一种生成高动态范围图像的方法以及相关设备
JP4990234B2 (ja) 測距装置、測距方法、測距プログラム又は撮像装置
JP4730431B2 (ja) 目標追尾装置
JP5624809B2 (ja) 画像信号処理装置
CN109756668B (zh) 在不同图像捕获条件下结合光学变焦和数字变焦
KR102289261B1 (ko) 움직임 영역 검출 장치 및 방법
US9218681B2 (en) Image processing apparatus and image processing method
JP5887067B2 (ja) 全方位監視画像処理システム
WO2010118177A1 (en) Exposure control for high dynamic range image capture
KR20070097550A (ko) 이미지 데이터 처리를 위한 전자 장치 및 전자 장치에서의방법
JP5887508B2 (ja) 露光制御装置、撮像装置、画像表示装置及び露光制御方法
CN103098456A (zh) 图像处理单元、图像处理方法和图像处理程序
JP2009180583A (ja) ディスプレイの輝度ムラ評価方法および装置
CN111031256B (zh) 图像处理方法、装置、存储介质及电子设备
US10373293B2 (en) Image processing apparatus, image processing method, and storage medium
US11310440B2 (en) Image processing apparatus, surveillance camera system, and image processing method
JP6351377B2 (ja) 画像処理システム、撮像装置及び記録装置
CN108765346B (zh) 一种辅助对焦方法、装置和可读介质
JP2015088832A (ja) 画像処理装置、撮像装置、および画像処理方法
JP2009200743A (ja) 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
CN110933304B (zh) 待虚化区域的确定方法、装置、存储介质与终端设备
US11375132B2 (en) Imaging apparatus, method of controlling the imaging apparatus, and program
JP7346077B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2019093090A1 (ja) 画像処理装置、画像撮像装置、画像処理方法およびプログラム
JP2016086364A5 (ja) 画像処理装置、カメラシステム、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181231

R151 Written notification of patent or utility model registration

Ref document number: 6467865

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151