JP2010278614A - Image monitoring/recording device - Google Patents
Image monitoring/recording device Download PDFInfo
- Publication number
- JP2010278614A JP2010278614A JP2009127522A JP2009127522A JP2010278614A JP 2010278614 A JP2010278614 A JP 2010278614A JP 2009127522 A JP2009127522 A JP 2009127522A JP 2009127522 A JP2009127522 A JP 2009127522A JP 2010278614 A JP2010278614 A JP 2010278614A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- digital image
- exposure
- image
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
Abstract
Description
本発明は、監視エリアを撮像した画像を記録する画像監視記録装置に関し、特に、監視エリアの状態変化を検知した際に状態変化を撮像した画像を記録する画像監視録装置に関するものである。 The present invention relates to an image monitoring and recording apparatus that records an image obtained by imaging a monitoring area, and more particularly to an image monitoring and recording apparatus that records an image obtained by imaging a change in state when a change in the state of the monitoring area is detected.
従来より、撮像した画像を予め設定した圧縮率で圧縮し、圧縮した画像を記録手段に記録する画像監視記録装置が知られている。また、このような画像監視記録装置においては、長時間記録することを目的として、撮像した画像の状態変化を検知し、状態変化が定常状態でないと判定したときのみ、撮像した画像を圧縮して記録するアラーム記録技術がすでに開示されている(例えば、下記特許文献1参照)。
2. Description of the Related Art Conventionally, there is known an image monitoring and recording apparatus that compresses a captured image at a preset compression rate and records the compressed image on a recording unit. Further, in such an image monitoring and recording apparatus, for the purpose of recording for a long time, the state of the captured image is detected, and the captured image is compressed only when it is determined that the state change is not a steady state. An alarm recording technique for recording has already been disclosed (for example, see
特許文献1に記載の画像記録装置では、撮像した画像から人物の動きを検出した際、該人物の動きの異常度合いに応じて決定した所定の時間だけ撮像した画像をハードディスクに記録する。このように、人物の動きを検出した場合のみ撮像した画像を記録し、かつ、異常の度合いに応じて記録する時間を調整することで、必要な時間を確保しながら無駄な画像の記録をなくすことができ、記録媒体の利用効率を大幅に高めることができる。
In the image recording apparatus described in
また、特許文献1に記載の画像記録装置では、監視領域内の人物の動きの異常を検出した際、カメラ装置を制御してパン・チルト・ズームなどを行うことで、監視領域内での人物の位置が異なっていても、表示画面内での人物画像の表示をほぼ同じ位置で大きくする。このように、撮像する画像を制御することで、異常が検出された人物を容易に確認することができる。
In addition, in the image recording apparatus described in
しかしながら、上述したような画像記録装置は、記録媒体の利用効率の向上、および表示画面内に表示する人物画像の位置や大きさを制御することを目的としたものであり、逆光などの撮影環境に応じて撮像する画像の露出を制御するものではなかった。 However, the image recording apparatus as described above is intended to improve the utilization efficiency of the recording medium and to control the position and size of the person image displayed on the display screen. The exposure of the image to be picked up was not controlled according to the above.
したがって、上述したような画像記録装置では、逆光などの環境下に位置する移動体を撮影する場合、移動体が真っ黒な被写体として記録され、監視記録装置に求められる侵入者の顔や服装を正確に記録することができないという問題があった。 Therefore, in the above-described image recording apparatus, when a moving body located in an environment such as backlight is photographed, the moving body is recorded as a black subject, and the intruder's face and clothes required for the monitoring recording apparatus are accurately recorded. There was a problem that could not be recorded.
また、逆光が有る領域と逆光が無い領域を有するような撮影環境の異なるエリアにおいて複数の移動体を検知した場合は、複数の移動体に対してそれぞれ最適な露出を施した画像を記録することができないという問題があった。 In addition, when multiple moving bodies are detected in areas with different shooting environments, such as areas with backlight and areas without backlight, images with optimum exposure for the multiple moving bodies are recorded. There was a problem that could not.
そこで、本発明は上記問題に鑑みてなされたものであり、逆光などの撮影環境に影響されずに、良好な撮影および記録を可能にする画像監視記録装置を得ることである。 Accordingly, the present invention has been made in view of the above problems, and an object thereof is to obtain an image monitoring and recording apparatus that enables good shooting and recording without being affected by a shooting environment such as backlight.
本発明の実施の形態における画像監視記録装置は、撮影する際の露出を制御する露出制御手段を有し、露出を制御して撮影した画像信号を奇数フレームと偶数フレームに分割し、奇数フレームから第1のデジタル画像データを偶数フレームから第2のデジタル画像データを生成するデジタル画像データ生成部と、前記第1のデジタル画像データと前記第2のデジタル画像データとをそれぞれ記録する記録手段と、前記第1のデジタル画像データと前記第2のデジタル画像データの一方のデジタル画像データから移動体の有無を検知し、前記移動体が有ると検知した場合は前記移動体の位置とサイズを検出する動き検知手段と、前記一方のデジタル画像データを複数のブロックに分割してブロック毎に平均輝度値を算出し、前記平均輝度値からブロック毎の輝度情報を算出し、前記ブロック毎の輝度情報と前記検知手段の検出結果に基づいて、前記奇数フレームと前記偶数フレームを撮影する際の前記露出制御手段の露出条件をそれぞれ設定する露出制御部と、を備える。 The image monitoring and recording apparatus according to the embodiment of the present invention has an exposure control unit that controls exposure at the time of shooting, divides an image signal shot by controlling exposure into odd frames and even frames, and starts from the odd frames. A digital image data generation unit that generates second digital image data from even-numbered frames of the first digital image data; a recording unit that records the first digital image data and the second digital image data; The presence or absence of a moving body is detected from one digital image data of the first digital image data and the second digital image data, and when the moving body is detected, the position and size of the moving body are detected. The motion detection means and the one digital image data are divided into a plurality of blocks to calculate an average luminance value for each block, and from the average luminance value Exposure for calculating brightness information for each lock, and setting exposure conditions of the exposure control means when photographing the odd frame and the even frame based on the brightness information for each block and the detection result of the detection means A control unit.
本発明の画像監視記録装置によれば、露出条件の異なる環境下に複数の移動体が位置していても、それぞれの移動体に対して適正露出をすることが可能であるため、侵入者の顔や服装などの正確な撮影が可能になる。また、適正露出条件が通常撮影時とは異なる移動体を検出した時のみ、特殊環境下の移動体を撮影した小サイズ画像が所定時間重複して記録されるので、記録容量を冗長に増加させることなく、画像監視記録装置に求められる侵入者の顔や服装などの正確な撮影画の保存も可能になる。 According to the image monitoring and recording apparatus of the present invention, even if a plurality of moving bodies are located in environments with different exposure conditions, it is possible to properly expose each moving body. Accurate shooting of faces and clothes is possible. Also, only when a moving object whose proper exposure condition is different from that during normal photographing is detected, a small-size image obtained by photographing the moving object under a special environment is recorded redundantly for a predetermined time, so that the recording capacity is increased redundantly. Therefore, it is possible to store an accurate photographed image such as an intruder's face and clothes required for the image monitoring and recording apparatus.
<1.画像監視記録装置の構成>
図1は、本発明の実施の形態に係る画像監視記録装置1の構成を概略的に示した図である。図1に示すように、画像監視記録装置1は、監視エリア内の画像からデジタル画像データを取得するデジタル画像データ生成部10と、デジタル画像データを圧縮して記録する記録部20と、デジタル画像データから監視エリア内に移動体が有するか否かを検知する動き検知処理部30と、撮影する際の露出を制御する露出制御部40と、画像監視記録装置1の各処理部に対して条件設定、処理コマンド送信、レスポンプ処理等を行うCPU等のメイン制御部50とを備える。
<1. Configuration of image monitoring and recording apparatus>
FIG. 1 is a diagram schematically showing a configuration of an image monitoring and recording
デジタル画像データ生成部10は、監視エリアの被写体像を結像するレンズ11と、CCDやCMOSセンサー等を用いて、光学像を電気信号に光電変換して画像信号を得る撮像部12と、最適な露出量となるように利得(感度)を自動制御するAGC(Automatic Gain Control)回路13と、AGC回路13から出力されたアナログ信号をデジタル信号に変換するAD変換部14と、AD変換部14で生成された映像信号に基づいて、輝度(Y)、色差(Cb、Cr)形式のデジタル画像データを生成するカメラ画像処理部15とを備える。
The digital image
記録部20は、カメラ画像処理部15から出力されたデジタル画像データをJPEGやMPEG4方式で圧縮する画像圧縮伸張部21と、圧縮されたデジタル画像データを記録する画像記録部22とを備える。
The
露出制御部40は、カメラ画像処理部15で生成された1画面分のデジタル輝度データを複数のブロックに分割し、分割したブロック毎の輝度平均値を算出するブロック輝度平均値算出部41と、ブロック輝度平均値算出部41で算出した各ブロックの輝度平均値をフレーム周期で時間軸方向に積分処理を施す積分処理部42と、時間軸方向に積分された各ブロックの平均輝度値と現在の各ブロックの平均輝度値の比較結果と、動き検知処理部30の結果に基づいて撮像する際の露出を制御するAE(Auto Exposure)制御部43とを備えている。このような露出制御部40は、後述するように、逆光などの撮影環境の下であっても良好な撮影画像を得るべく採用されたものである。なお、露出制御は、撮像素子が機能として有する電子シャッターや機械的に制御するメカニカルシャッター、あるいはその他の方法により制御してもよい。
The
<2.画素監視記録装置の動作>
次に、画素監視記録装置の動作について説明する。
<2. Operation of Pixel Monitoring and Recording Device>
Next, the operation of the pixel monitoring recording apparatus will be described.
<2−1.通常の露出処理を行う動作>
はじめに、図1を参照して、通常の露出処理(例えば、画面全体の平均輝度がおよそ50%グレーになるような処理)を行う動作について説明する。
<2-1. Operation to perform normal exposure processing>
First, with reference to FIG. 1, an operation for performing a normal exposure process (for example, a process in which the average luminance of the entire screen becomes about 50% gray) will be described.
まず、監視用記録装置1は、監視エリアの被写体をレンズ11で結像し、撮像部12によって光学像を画像信号に光電変換する。ここで、撮像部12は、CCDやCMOS等の半導体センサーが画素単位でアレー状に構成している。近年の半導体高密度化技術の進展や画像監視システムにおける高精細画の要求から、例えば、1280×960画素等のメガピクセルの半導体センサーを用いる。また、撮像部12で光電変換するに際し、例えば、1ルクス(以下、「lx」と記載する)以下の月明かり程度の薄明かりから10000lx以上に達する晴天の明るさまでを8ビットの256階調の画像データに変換するために、撮像部12の前に取り付けたメカニカルシャッターや、撮像部12が有する電子シャッター等で光量調整して露出制御を行う。また、シャッター制御のみでは吸収できない分は、AGC回路13で利得調整を行う。以下では、このようなメカニカルシャッター、電子シャッターおよびAGC回路13等を露出制御手段とも記載する。
First, the
また、図示していないがγ補正等の処理を施す回路を有してもよく、AGC回路13からの出力に対して、表示装置の特性も考慮して更に見やすい画面に調整するために、アナログ信号状態で非線形なγ補正等の処理を施す。
Further, although not shown, a circuit for performing processing such as γ correction may be provided, and in order to adjust the output from the
次に、AGC回路13から出力されたアナログ信号は、AD変換器14でデジタル信号に変換され、カメラ画像処理部15でデジタル画像データに変換される。なお、AD変換器14の量子化は、必ずしも8ビットである必要はなく、例えば、AD変換器14によって10〜12ビットに変換し、後段のカメラ画像処理部15で非線形な処理を行って輝度(Y)と色差(Cb,Cr)信号のデータを生成する際に、最終的な8ビットデータに変換してもよい。
Next, the analog signal output from the
このような通常の逆光補正を行うことで生成されるデジタル画像データは、画像監視記録装置1の設置環境(撮影環境)の影響を大いに受けることとなる。以下に、図2を参照して、上述した通常の露出制御を行ったときの撮像画像の様子を説明する。
Digital image data generated by performing such normal backlight correction is greatly affected by the installation environment (imaging environment) of the image monitoring and
図2は、通常の露出制御を行ったときの撮像画の状態を説明する図である。図2(a)は、屋内に設置された画像監視記録装置1によって、昼間の監視エリアを撮像している様子を示した図である。図2(b)は、図2(a)に示す監視エリアを撮影した撮像画像を示した図である。図2に示すように、屋内に設置した画像監視記録装置1をガラスドア2の方向に向けて撮影する場合、昼間は太陽3の光が射し込むことから、ガラスドア2の付近が局所的に明るくなる。
FIG. 2 is a diagram illustrating the state of a captured image when normal exposure control is performed. FIG. 2A is a diagram illustrating a state in which the daytime monitoring area is imaged by the image
このような撮影環境時に、ガラスドア2から屋内へ入ってくる人4と、ガラスドア2から離れた屋内の場所に立っている人5がいる場合、通常のカメラ撮像画は、図2(b)に示すような撮影画像となる。すなわち、逆光によって、ガラスドア2から屋内へ入ってくる人4の顔や姿は黒く写り、顔や服装を正確に写し出すことができない。一方、ガラスドアから離れた場所に立っている人5は、逆光の影響を受けないことから顔や服装を正確に写し出すことができる。
In such a shooting environment, when there is a
このような撮影画像となるのは、上述したような通常のカメラ露出制御では、画面全体の平均輝度がおよそ50%グレーになるように輝度ターゲットを設定して露出調整を行うことによる。すなわち、図2においては、太陽光を遮るような位置にいる移動体4の前面(顔)が影になり暗くなっているにもかかわらず、ガラスドア2越しの屋外が極端に明るく露出を絞り込む必要があることから、露出を絞り込んだまま撮影することによる。
Such a captured image is obtained by performing exposure adjustment by setting a luminance target so that the average luminance of the entire screen is about 50% gray in the normal camera exposure control as described above. That is, in FIG. 2, the exposure through the
一方、ガラスドア2から離れた場所に立っている人5に対しては、逆光の影響を受けないことから、通常の露出制御を行うことで正確に写し出すことができる。すなわち、ガラスドア2から入ってくる人4を正確に写し出すように露出を調整すると、逆に、ガラスドア2から離れて立っている人5が正確に写らなくなる可能性がある。このように、最適な露出条件が異なる環境に被写体が位置する撮影エリアにおいては、一方の人に露出を合わせると、他方の人を正確に写すことができなくなることがある。
On the other hand, since the
そこで、本実施の形態では、最適露出条件の異なる環境下に位置する被写体に対して、それぞれ最適な露出処理を施し、異なる画像データストリームとして生成する。すなわち、図2に示す撮影環境下であれば、まず、ガラスドア2から離れたところに立っている人5に対しては通常の露出条件で写した画像を第1の画像データストリームとして生成する。そして、ガラスドアから入る人4に対しては、ドアから入る人4を輝度ターゲットに設定して露出を調整して写した画像を第2の画像データストリームとして生成する。
Therefore, in the present embodiment, optimal exposure processing is performed on subjects located in environments with different optimal exposure conditions to generate different image data streams. That is, under the shooting environment shown in FIG. 2, first, for a
<2−2.第1および第2の画像データストリームを生成する動作>
次に、第1の画像データストリームと第2の画像データストリームを生成する動作について説明する。
<2-2. Operation for generating first and second image data streams>
Next, an operation for generating the first image data stream and the second image data stream will be described.
図3は、第1の画像データストリームおよび第2の画像データストリームを生成する処理を示したフローチャートである。また、図4は、第1の画像データストリームおよび第2の画像データストリームを生成する様子を示した図である。 FIG. 3 is a flowchart showing a process for generating the first image data stream and the second image data stream. FIG. 4 is a diagram showing how the first image data stream and the second image data stream are generated.
まず、撮像部12は、監視エリアにおける画像を所定の時間間隔で撮像する。ここで、通常のカメラは毎秒30フレームで画像生成されるのが一般的であることから、本実施の形態においても毎秒30フレームで撮影を行うこととして、以下に説明する。ただし、このようなフレームレートに限られるものではなく、その他のフレームレートを用いてもよい。また、侵入者を監視するような銀行などの監視カメラ(画像記録装置)では、限られた記録容量の中で極力長時間録画することが要求されていることから、侵入者の不正行為を見落とさない範囲でフレームレートを極力抑えて録画することが望ましく、毎秒15フレームで充分とされている。
First, the
次に、AD変換器14は、フレーム画を取得し、アナログ信号をデジタル信号D1に変換する。そして、カメラ画像処理部15は、デジタル信号D1から輝度(Y)、色差(Cb,Cr)形式のデジタル画像データD2を生成する(S11)。
Next, the
次に、カメラ画像処理部15は、デジタル画像データD2を奇数フレームデータD2aと偶数フレームデータD2bとに振り分ける(図4(a))。そして、カメラ画像処理部15は、奇数フレームデータD2aから、輝度と色差データで構成して表示や通常記録用に用いる第1の画像データストリームD3aを生成する(S12、図4(b))。
Next, the camera
一方、カメラ処理部15は、後述する逆光移動体検知の判定で「有」と判定されたときのみ、偶数フレームデータD2bから、輝度と色差データで構成した第2の画像データストリームD3bを所定時間だけ生成する。なお、第2の画像データストリームD3bは、前述した1280×960画素の全画素ではなく、後述する動き検知処理部30で求めた撮像画像内における移動体の位置と大きさ分を切り出したサイズの画像データにする。また、逆光移動体検知の判定で「無」と判定されたときは、画像データサイズを0として第2の画像データストリームD3bを生成する(S13、図4(b)。
On the other hand, the
以上の処理により、監視エリアを撮像した画像から、第1の画像データストリームD3aおよび第2の画像データストリームD3bが生成される。 Through the above processing, the first image data stream D3a and the second image data stream D3b are generated from the image obtained by capturing the monitoring area.
<2−3.移動体を検知する動作>
次に、後述する逆光移動体検知の有無を判定する際の情報として用いる移動体を検知する動作について説明する。本実施の形態では、基準画像データとなる背景画に対する画像データの差分を基に移動体を検出する背景差分方式を用いる。
<2-3. Operation to detect moving objects>
Next, an operation for detecting a moving body used as information when determining whether or not to detect backlit moving body will be described. In the present embodiment, a background difference method is used in which a moving object is detected based on a difference in image data with respect to a background image serving as reference image data.
図5は、移動体を検知する処理を示したフローチャートである。まず、動き検知処理部30は、カメラ処理部15の出力である第1の画像データストリームD3aを入力し、このデータをRGB変換したRGB画像データD4を生成する(S21)。そして、このRGB画像データD4を時間軸方向に積分処理することで背景画データD5を生成する(S22)。そして、この背景画データD5を動き検知処理部30の背景画データ保存領域(図示せず)に保存する(S23)。
FIG. 5 is a flowchart showing a process for detecting a moving object. First, the motion
次に、動き検知処理部30は、逐次第1の画像データストリームD3aを入力し、このデータをRGB変換したRGB画像データD4を生成する(S24)。そして、RGB画像データD4と背景画データD5とを比較し、その比較結果に基づいて、監視エリア内に状態変化が発生しているか否かを判定する。詳しくは、各々のピクセルに対して比較を行い、所定値以上の変化が有るか否かに基づいて、監視エリア内に状態変化が発生しているか否かを判定する。そして、状態変化が発生していると判定した場合、所定値以上の変化がある部分を四角で囲い、移動体の位置とサイズを抽出する。
Next, the motion
たとえば、監視エリア内に状態変化が発生していないと判定した場合(S25)、RGB変換されたRGB画像データD4を時間軸方向に積分することで背景画データD5を生成する(S26)。そして、現在の背景画データD5として背景画データを更新して背景画データ保存領域に保存する(S27)。なお、背景画データD5は、朝、昼、夕刻、夜間などの背景に追従すればよく、時定数として分単位で設定されていれば、撮影環境変化を反映した背景画として更新保存可能である。 For example, when it is determined that no state change has occurred in the monitoring area (S25), background image data D5 is generated by integrating the RGB-converted RGB image data D4 in the time axis direction (S26). Then, the background image data is updated as the current background image data D5 and stored in the background image data storage area (S27). The background image data D5 only needs to follow the background such as morning, noon, evening, and nighttime, and can be updated and saved as a background image that reflects changes in the shooting environment if the time constant is set in minutes. .
また、動き検知処理部30は、背景画データD5に対してRGB画像データD4が所定値以上の変化が有ると判定され、かつ、状態変化有りが所定のコマ数以上継続する場合、移動体(動き)が有ると判定し(S25)、この判定情報を動き検知レジスタに設定する(S28)。一方、所定のコマ数以下であれば、移動体が無いと判定する(S25)。
In addition, when it is determined that the RGB image data D4 has a change of a predetermined value or more with respect to the background image data D5, and the state change continues for a predetermined number of frames or more, the motion
なお、移動体が有ると判定した場合、メイン制御部50は、背景画データD5を生成する積分処理を行わず、撮像画像内における移動体の位置と大きさを抽出して同じ動き検知レジスタに保存する。
If it is determined that there is a moving object, the
このように、撮影している監視エリア内への移動体の有無の検知、および移動体の位置とサイズを抽出することができ、かつ、背景画データD5随時更新することで、より正確に移動体の有無の検知、および移動体の位置とサイズを抽出することができる。 In this way, it is possible to detect the presence or absence of a moving object in the monitoring area being photographed, extract the position and size of the moving object, and update the background image data D5 as needed to move more accurately. Detection of the presence or absence of a body and the position and size of a moving body can be extracted.
<2−4.最適な露出条件が異なる被写体に対して露出処理を行う動作>
次に、最適な露出条件が異なる複数の被写体に対して、それぞれ最適な露出処理を行う動作について説明する。
<2-4. Operation to perform exposure processing on subjects with different optimal exposure conditions>
Next, an operation for performing an optimum exposure process on a plurality of subjects having different optimum exposure conditions will be described.
図6は、最適な露出条件が異なる複数の被写体に対して行う露出処理を示したフローチャートである。まず、ブロック輝度平均値算出部41は、カメラ画像処理部15が生成した奇数フレームデータD2aの輝度データD6aを毎秒15フレームで周期的に入力する。また、偶数フレームデータD2bの輝度データD6bも後述するように逆光中に移動体が検出されたと判定されたときのみ画像データが設定されて入力する(S31)。
FIG. 6 is a flowchart showing an exposure process performed on a plurality of subjects having different optimal exposure conditions. First, the block luminance average
そして、ブロック輝度平均値算出部41は、奇数フレームデータD2aの輝度データD6aに対して画面を縦4×横4に16分割し、分割したブロック毎に輝度信号を平均した分割平均輝度値を算出する。そして、ブロック毎の分割平均輝度値を16分割分のマップレジスタ(図示せず)に保存する。また、偶数フレームD2bの輝度データD6bに対しては、その画面全体の輝度信号を平均した全体平均輝度値を算出し、この全体平均輝度値を逆光移動体輝度レジスタ(図示せず)に保存する(S32)。
Then, the block luminance average
次に、積分処理部42は、16分割分のマップレジスタに保存されている各ブロックの分割平均輝度値を入力し、メイン制御部19のレジスタに設定されている動き検知レジスタの“有無”情報をチェックする(S33)。そして、動き検知レジスタが「無」に設定されている場合は、各ブロックの分割平均輝度値をマップ状態で時間軸方向に積分して背景画の輝度マップを生成する。そして、移動体が入り込んでいない状態の背景画の輝度マップを更新して保存する(S34)。
Next, the
このように移動体が無いと検知されているので、AE制御部22は、マイコン(図示せず)で逆光移動体検知レジスタを「無」に設定する。そして、AE制御部22は、背景画の輝度マップの平均輝度値を求め、奇数フレームおよび偶数フレームの両撮像タイミングで、平均輝度値がターゲット値(一般には50%グレーの値)になるように、露出制御手段の露出条件(撮像部11のシャッター速度やAGC回路12のゲイン等)を設定する(S35)。
Since it is detected that there is no moving body in this way, the
このように、露出制御部40に入力してくる輝度データD6a,D6bに対して上述した制御を行うことにより、奇数フレームを撮影する際に、通常環境エリアにいる移動体を最適露出(ターゲット値とした50%グレー)で撮影することが可能になる。また、偶数フレームも奇数フレームと同一の露出条件で撮影されるが、移動体を検知していないので、カメラ画像処理部15で生成される第2の画像データストリームD3bの画像データサイズがゼロであり、不要な画像を撮ることにはならない。
In this way, by performing the above-described control on the luminance data D6a and D6b input to the
一方、動き検知レジスタが「有」に設定されているとき、AE制御部43は移動体に対して所望の露光が行われているか否か(例えば、逆光中にいるか否か)を判定する。詳しくは、AE制御部43は、マイコンにより積分処理部42に保存している背景画の輝度マップデータと奇数フレームの輝度マップデータとの輝度差である偏差値(ブロック毎の輝度情報)を算出する。そして、偏差値が所定値以上であれば、逆光環境下等における撮影により移動体に対して所望の露光が行われていないと判定する。そして、検知レジスタに保存されている移動体の位置と大きさを読み込み、積分処理部42に保存されている16分割の背景画輝度マップの位置との対応付けを行う。対応付けの結果、移動体の重心が背景画の輝度マップの逆光環境下と判定されたブロックエリア内であれば、逆光移動体検知レジスタを「有」に設定し、逆光移動体検知「有」情報と共に、読み込んだ移動体の位置と大きさをカメラ画像処理部15に通知する(S36)。
On the other hand, when the motion detection register is set to “present”, the
次に、AE制御部43は、偶数フレームの露出設定するタイミングであれば、移動体の重心が入っているブロックの分割平均輝度値を読み取り、その輝度値がターゲット値(通常、50%グレー)となるように、露出制御手段を設定する。詳しくは、奇数フレームD2aの撮影に対応する露出条件に対し算出した露出補正を加えた条件で、偶数フレームを撮影する際の撮像部11のシャッター速度やAGC回路12のゲインを設定して、偶数フレームに対応する撮影を行う(S37)。
Next, the
また、直前に偶数フレームの画像が既に生成されている場合、すなわち、連続して移動体検知処理が有ると判定され、かつ、連続して移動体が逆光状態にあると判断された場合は、逆光移動体輝度レジスタに保存されている輝度値をターゲット値と比較し、奇数フレーム撮影に対応する露出条件に対し、その差分を小さくする方向へ2次補正を行う(S38)。 Further, when an image of an even frame has already been generated immediately before, that is, when it is determined that there is a continuous moving body detection process and it is determined that the moving body is continuously in a backlight state, The brightness value stored in the backlight moving body brightness register is compared with the target value, and secondary correction is performed in the direction of reducing the difference with respect to the exposure condition corresponding to the odd-numbered frame shooting (S38).
このように、露出制御部40に入力してくる輝度データD6a,D6bに対して、上述した制御を行うことにより、偶数フレームを撮影する際に、逆光中にいる移動体を最適露出(ターゲット値とした50%グレー)に設定して撮影することが可能になる。なお、逆光移動体検知が「有」時でも、奇数フレームを撮影するタイミングでは、積分処理部42の全体平均輝度値がターゲット値になるように撮像部11のシャッター速度やAGC回路12のゲインを設定する。
In this way, by performing the above-described control on the luminance data D6a and D6b input to the
<2−5.第1及び第2の画像データストリームを記録する動作>
次に、上述した露出制御を行って生成した第1の画像データストリームD3aおよび第2の画像データストリームD3bを画像記録部22に記録する動作を説明する。図7は、画像記録部22に第1の画像データストリームおよび第2の画像データストリームを記録するまでの動作を示したフローチャートである。また、図8は、第1のデータストリームD3aおよび第2のデータストリームD3bを圧縮する様子を示した図である。
<2-5. Operation for Recording First and Second Image Data Streams>
Next, an operation of recording the first image data stream D3a and the second image data stream D3b generated by performing the exposure control described above in the
まず、カメラ画像処理部15は、上述したように露出制御された第1の画像データストリームD3aと第2の画像データストリームD3bとを時分割多重によりマルチストリーム化する(S41)。そして、マルチストリーム化したデータD7を画像圧縮伸張部21に出力する(S42)。
First, the camera
そして、画像圧縮伸張部17は、マルチストリーム化したデータD7に対し、各ストリームに合致した条件で画像圧縮を行う。例えば、まず、通常記録用の第1の画像ストリームを定型画像サイズのMPEG4方式で画像圧縮し(S43)、次に、逆光中の移動体を適正露光で撮影した第2の画像ストリームを所定の画像サイズに合わせてJPEG方式で圧縮する(S44)。 Then, the image compression / decompression unit 17 performs image compression on the multi-stream data D7 under a condition that matches each stream. For example, first, the first image stream for normal recording is compressed by the MPEG4 system of the standard image size (S43), and then the second image stream obtained by photographing the moving body in the backlight with the appropriate exposure is determined in advance. The image is compressed according to the JPEG method according to the image size (S44).
なお、画像圧縮伸張部21の動作は、逆光中に移動体のない通常時は、第2の画像データストリームの画像サイズがゼロであるためJPEG圧縮を実行しておらず、MPEG4のシングル画像圧縮になる。すなわち、逆光中に移動体が検知されたときのみ、MPEG4とJPEGのマルチストリーム画像圧縮を行うことになる。
Note that the image compression /
次に、MPEG4方式で圧縮された第1の画像データストリームの画像データは、メイン制御部50からの制御により、時間情報や動き検知などの管理情報と関連付けられて画像記録部22の常時記録エリアに保存される(S45)。一方、第2の画像データストリームの画像データは、逆光中に移動体が検知された所定時間のみ圧縮画像データが生成され、同時刻に生成されている第1画像データストリームの管理情報と関連づけして画像記録部22の逆光記録エリアに保存する(S46)。
Next, the image data of the first image data stream compressed by the MPEG4 system is associated with management information such as time information and motion detection under the control of the
このように、本実施の形態における画像監視記録装置1は、奇数フレームで構成した第1の画像データストリームをMPEG4方式により画像圧縮して記録メディアの常時記録エリア(第1の記録エリア)に記録しつつ、逆光中に移動体が検知されたときのみ、第2の画像データストリームをJPEG方式により画像圧縮して記録メディアの逆光記録エリア(第2の記録エリア)に記録される。
As described above, the image monitoring and
以上説明したように、本発明の画像監視記録装置1によれば、最適な露出条件の異なる環境下に複数の移動体がいても、それぞれの移動体に対して適正露出をすることが可能であるため、侵入者の顔や服装などの正確な撮影が可能になる。また、適正露出条件が通常撮影時とは異なる移動体を検出した時のみ、特殊環境下の移動体を撮影した小サイズ画像が所定時間重複して記録されるので、記録容量を冗長に増加させることなく、画像監視記録装置に求められる侵入者の顔や服装などの正確な撮影画の保存も可能になる。
As described above, according to the image monitoring and
<変形例>
上述の実施の形態においては、第1の画像データストリームD3aの画像圧縮をMPEG4方式、第2の画像データストリームD3bの画像圧縮をJPEG方式を用いて説明したが、これに限られるものではなく、両ストリームをMPEG4やJPEGに統一してもよく、また、その他の画像圧縮方式と組み合わせても、上述の実施の形態と同様の効果が得られる。また、奇数フレームで構成した第1の画像データストリームの画像圧縮データは、常時記録しているが、動き検知をトリガとして所定時間のみイベント録画するように構成してもよい。このようなイベント録画を行うことにより、長時間の録画が可能になる。
<Modification>
In the above-described embodiment, the image compression of the first image data stream D3a has been described using the MPEG4 system, and the image compression of the second image data stream D3b is performed using the JPEG system. However, the present invention is not limited to this. Both streams may be unified with MPEG4 or JPEG, and the same effect as in the above-described embodiment can be obtained by combining with other image compression methods. Further, the compressed image data of the first image data stream composed of odd frames is always recorded, but the event recording may be performed only for a predetermined time with the motion detection as a trigger. By performing such event recording, it is possible to record for a long time.
なお、画像監視記録装置には、従来の画像監視記録装置と同様に、表示出力処理部(図示せず)によりライブ画や再生画を表示器に出力することができる。詳しくは、まず、ライブ画は、カメラ画像処理部15から出力された第1の画像データストリームD3aを選択的に表示出力処理部に入力して外部表示器に出力する。そして、再生画は、画像記録部22に保存されている第1の画像データストリームD3aの圧縮画像データか第2の画像データストリームD3bの圧縮画像データの一方、もしくは両方をメイン制御部50の制御により、画像圧縮伸張部21に入力し、元々の画像データに復号して表示出力処理部に入力して外部表示器に出力する。
In the image monitoring and recording apparatus, a live image and a reproduced image can be output to a display device by a display output processing unit (not shown), as in the conventional image monitoring and recording apparatus. Specifically, first, the live image is selectively input to the display output processing unit, and the first image data stream D3a output from the camera
また、画像監視記録装置は、従来の画像監視記録装置と同様に、ネットワークを通じて遠隔監視の端末として用いることができる。詳しくは、ライブ画を送信する場合、通常時は画像圧縮伸張部21で圧縮された第1の画像データストリームを圧縮したMPEG4の圧縮データを送信する。また、逆光中に移動体が検知され、第2の画像データをJPEG圧縮したときのみ、MPEG4とJPEGをマルチストリーム化してイーサネット(登録商標)などのネットワークプロトコルにしてネットワーク配信に配信する。また、再生画は、画像記録部22に保存されている第1の画像データか第2の画像データストリームの圧縮画像データの一方、もしくは両方をイーサネット(登録商標)などのネットワークプロトコルにしてネットワーク配信に配信する。
In addition, the image monitoring and recording apparatus can be used as a remote monitoring terminal through a network, like the conventional image monitoring and recording apparatus. More specifically, when transmitting a live image, MPEG4 compressed data obtained by compressing the first image data stream compressed by the image compression /
また、上述の実施の形態においては、2系統の画像データを生成して画像記録する方法を説明したが、これに限られるものではなく、3系統以上の画像データを生成して画像記録してもよい。たとえば、3系統の画像データを生成する場合、記録メディアを3つに分け、1枚目の画像フレームには通常記録、2枚目の画像には逆光補正された記録、3枚目には暗すぎる場合には露出制御を行ったものを記録する。このように、通常記録、逆光補正記録、暗さ補正記録の順に繰り返し記録するような3系統以上の画像データを生成しても上述の実施の形態と同様の効果が得られる。 In the above-described embodiment, the method for generating and recording the image data of two systems has been described. However, the present invention is not limited to this, and the image data of three or more systems is generated and recorded. Also good. For example, when generating three systems of image data, the recording medium is divided into three, normal recording for the first image frame, backlight-corrected recording for the second image, and dark recording for the third image. If too much, record the exposure control. As described above, even when three or more systems of image data that are repeatedly recorded in the order of normal recording, backlight correction recording, and darkness correction recording are generated, the same effect as the above-described embodiment can be obtained.
1 画像監視記録装置、10 デジタル画像データ生成部、11 レンズ、12 撮像部、13 AGC回路、14 AD変換部、15 カメラ画像処理部、20 記録部、21 画像伸張部、22 画像記録部、30 動き検知処理部、40 露出制御部、41 輝度平均値算出部、42 積分処理部、43 AE制御部。
DESCRIPTION OF
Claims (8)
前記第1のデジタル画像データと前記第2のデジタル画像データとをそれぞれ記録する記録手段と、
前記第1のデジタル画像データと前記第2のデジタル画像データの一方のデジタル画像データから移動体の有無を検知し、前記移動体が有ると検知した場合は前記移動体の位置とサイズを検出する動き検知手段と、
前記一方のデジタル画像データを複数のブロックに分割してブロック毎に平均輝度値を算出し、前記平均輝度値からブロック毎の輝度情報を算出し、前記ブロック毎の輝度情報と前記動き検知手段の検出結果に基づいて、前記奇数フレームと前記偶数フレームを撮影する際の前記露出制御手段の露出条件をそれぞれ設定する露出制御部と、を備える、画像監視記録装置。 Exposure control means for controlling exposure at the time of shooting, dividing an image signal shot by controlling exposure into an odd frame and an even frame, and the first digital image data from the odd frame to the second from the even frame; A digital image data generator for generating digital image data;
Recording means for recording each of the first digital image data and the second digital image data;
The presence or absence of a moving body is detected from one digital image data of the first digital image data and the second digital image data, and when the moving body is detected, the position and size of the moving body are detected. Motion detection means;
The one digital image data is divided into a plurality of blocks, an average luminance value is calculated for each block, luminance information for each block is calculated from the average luminance value, luminance information for each block and the motion detection unit An image monitoring and recording apparatus, comprising: an exposure control unit that sets an exposure condition of the exposure control unit when shooting the odd frame and the even frame based on a detection result.
前記露出制御部は、前記ブロック毎の輝度情報と前記動き検知手段の検出結果から、前記移動体に対して所望の露光が行われているか否かを判定し、所望の露光ではないと判定された場合は、前記他方のデジタル画像データに対応するフレームを撮影する際の前記露出制御手段の露出条件を前記移動体が所望の露光となるように設定する、請求項1に記載の画像監視記録装置。 When it is detected by the motion detection means that the moving body is present,
The exposure control unit determines whether or not desired exposure is performed on the moving body from the luminance information for each block and the detection result of the motion detection unit, and is determined not to be desired exposure. 2. The image monitoring recording according to claim 1, wherein when the frame corresponding to the other digital image data is captured, an exposure condition of the exposure control unit is set so that the moving body has a desired exposure. apparatus.
前記露出制御部は、前記一方のデジタル画像データの前記ブロック毎の平均輝度値を前記背景画のブロック毎の平均輝度値として更新する、請求項3に記載の画像監視記録装置。 When it is detected by the motion detection means that there is no moving body,
The image monitoring and recording apparatus according to claim 3, wherein the exposure control unit updates an average luminance value for each block of the one digital image data as an average luminance value for each block of the background image.
前記記録手段は、前記一方のデジタル画像データを画像圧縮して時間情報や動き検知などの管理情報と関連づけて前記第1のエリアに記録し、前記他方のデジタル画像データを画像圧縮して前記管理情報と関連づけて前記第2のエリアに記録する、請求項5に記載の画像監視記録装置。 The digital image data generation unit multistreams the first digital image data and the second digital image data and outputs the multistream;
The recording means compresses the one digital image data and records it in the first area in association with management information such as time information and motion detection, and compresses the other digital image data to perform the management. The image monitoring recording apparatus according to claim 5, wherein the image monitoring recording apparatus records information in the second area in association with information.
前記デジタル画像データ生成部は、前記動き検知手段で検出された前記移動体の位置と大きさを切り出した領域からなる前記他方のデジタル画像データを生成する、請求項2から請求項6のいずれかに記載の画像監視記録装置。 When the exposure control unit determines that it is not the desired exposure,
The digital image data generation unit generates the other digital image data including an area obtained by cutting out the position and size of the moving body detected by the motion detection unit. The image monitoring recording apparatus described in 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009127522A JP2010278614A (en) | 2009-05-27 | 2009-05-27 | Image monitoring/recording device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009127522A JP2010278614A (en) | 2009-05-27 | 2009-05-27 | Image monitoring/recording device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010278614A true JP2010278614A (en) | 2010-12-09 |
Family
ID=43425182
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009127522A Pending JP2010278614A (en) | 2009-05-27 | 2009-05-27 | Image monitoring/recording device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010278614A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101204097B1 (en) | 2011-03-15 | 2012-11-22 | 삼성테크윈 주식회사 | Security system and method of controlling thereof |
JP2016096409A (en) * | 2014-11-13 | 2016-05-26 | カシオ計算機株式会社 | Image acquisition device and program |
CN113345191A (en) * | 2021-04-23 | 2021-09-03 | 浙江大华技术股份有限公司 | Camera monitoring method, electronic equipment and computer storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001216583A (en) * | 2000-02-01 | 2001-08-10 | Oki Electric Ind Co Ltd | Camera system |
JP2004187124A (en) * | 2002-12-05 | 2004-07-02 | Minolta Co Ltd | Image pickup device |
JP2009048240A (en) * | 2007-08-13 | 2009-03-05 | Tokyo Institute Of Technology | Detection method, detection device, monitoring method, and monitoring system of moving object in moving image |
-
2009
- 2009-05-27 JP JP2009127522A patent/JP2010278614A/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001216583A (en) * | 2000-02-01 | 2001-08-10 | Oki Electric Ind Co Ltd | Camera system |
JP2004187124A (en) * | 2002-12-05 | 2004-07-02 | Minolta Co Ltd | Image pickup device |
JP2009048240A (en) * | 2007-08-13 | 2009-03-05 | Tokyo Institute Of Technology | Detection method, detection device, monitoring method, and monitoring system of moving object in moving image |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101204097B1 (en) | 2011-03-15 | 2012-11-22 | 삼성테크윈 주식회사 | Security system and method of controlling thereof |
JP2016096409A (en) * | 2014-11-13 | 2016-05-26 | カシオ計算機株式会社 | Image acquisition device and program |
CN113345191A (en) * | 2021-04-23 | 2021-09-03 | 浙江大华技术股份有限公司 | Camera monitoring method, electronic equipment and computer storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108419023B (en) | Method for generating high dynamic range image and related equipment | |
US8848097B2 (en) | Image processing apparatus, and method, for providing special effect | |
US8081242B2 (en) | Imaging apparatus and imaging method | |
US8937677B2 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable medium | |
JP4600684B2 (en) | Imaging apparatus and imaging method | |
US8319864B2 (en) | Imaging apparatus and imaging method | |
JP2001358984A (en) | Moving picture processing camera | |
US20100171842A1 (en) | Imaging apparatus and imaging method | |
JP2009065381A (en) | Imaging system, imaging controller, and control method | |
US20100007766A1 (en) | Camera device and image processing method | |
JP5142614B2 (en) | Image playback device | |
JP4067033B2 (en) | Image processing apparatus and method | |
JP2010278614A (en) | Image monitoring/recording device | |
JP2004096488A (en) | Object detection apparatus, object detection method and object detection program | |
JP2005236662A (en) | Imaging method, imaging device, and imaging system | |
JP2010204404A (en) | Monitoring camera and exposure control method for the same | |
JP4877165B2 (en) | Monitoring system | |
US20020140824A1 (en) | System and method for processing low illumination image data | |
JPH08205021A (en) | Image input device | |
JP2003304417A (en) | Imaging system | |
JP4956094B2 (en) | Imaging apparatus and imaging method | |
JP2022083147A (en) | Imaging apparatus, imaging method, program, and recording medium | |
KR100391266B1 (en) | Method for background setup in object-based compression moving-image | |
JP2012129611A (en) | Imaging apparatus | |
EP3656121B1 (en) | Imaging apparatus and imaging method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Effective date: 20120126 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121109 |
|
A131 | Notification of reasons for refusal |
Effective date: 20121120 Free format text: JAPANESE INTERMEDIATE CODE: A131 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130402 |