JP2010278614A - Image monitoring/recording device - Google Patents

Image monitoring/recording device Download PDF

Info

Publication number
JP2010278614A
JP2010278614A JP2009127522A JP2009127522A JP2010278614A JP 2010278614 A JP2010278614 A JP 2010278614A JP 2009127522 A JP2009127522 A JP 2009127522A JP 2009127522 A JP2009127522 A JP 2009127522A JP 2010278614 A JP2010278614 A JP 2010278614A
Authority
JP
Japan
Prior art keywords
image data
digital image
exposure
image
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009127522A
Other languages
Japanese (ja)
Inventor
Atsuyoshi Hotta
淳可 堀田
Kihei Ido
喜平 井戸
Tomohide Iwao
友秀 岩尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2009127522A priority Critical patent/JP2010278614A/en
Publication of JP2010278614A publication Critical patent/JP2010278614A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image monitoring/recording device that achieves excellent imaging and recording without being affected by an imaging environment such as backlight. <P>SOLUTION: The image monitoring/recording device 1 includes: a digital image data generating part 10 that has an exposure control means and divides image signals into odd-numbered frames and even-numbered frames so as to generate first/second digital image data from the odd-numbered and even-numbered frames; a recording means 20 for recording each of the first/second digital image data; a motion detecting means 30 that detects a moving object from either one of the first/second digital image data, and detects the position and size of the moving object when detected; and an exposure control part 40 that divides one digital image data into a plurality of blocks so as to calculate an average luminance value for each block, calculates luminance information of each block from the average luminance value, and sets exposure conditions of the exposure control means in imaging the odd-numbered frames and those in imaging the even-numbered frames, on the basis of the luminance information and the detection result. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、監視エリアを撮像した画像を記録する画像監視記録装置に関し、特に、監視エリアの状態変化を検知した際に状態変化を撮像した画像を記録する画像監視録装置に関するものである。   The present invention relates to an image monitoring and recording apparatus that records an image obtained by imaging a monitoring area, and more particularly to an image monitoring and recording apparatus that records an image obtained by imaging a change in state when a change in the state of the monitoring area is detected.

従来より、撮像した画像を予め設定した圧縮率で圧縮し、圧縮した画像を記録手段に記録する画像監視記録装置が知られている。また、このような画像監視記録装置においては、長時間記録することを目的として、撮像した画像の状態変化を検知し、状態変化が定常状態でないと判定したときのみ、撮像した画像を圧縮して記録するアラーム記録技術がすでに開示されている(例えば、下記特許文献1参照)。   2. Description of the Related Art Conventionally, there is known an image monitoring and recording apparatus that compresses a captured image at a preset compression rate and records the compressed image on a recording unit. Further, in such an image monitoring and recording apparatus, for the purpose of recording for a long time, the state of the captured image is detected, and the captured image is compressed only when it is determined that the state change is not a steady state. An alarm recording technique for recording has already been disclosed (for example, see Patent Document 1 below).

特許文献1に記載の画像記録装置では、撮像した画像から人物の動きを検出した際、該人物の動きの異常度合いに応じて決定した所定の時間だけ撮像した画像をハードディスクに記録する。このように、人物の動きを検出した場合のみ撮像した画像を記録し、かつ、異常の度合いに応じて記録する時間を調整することで、必要な時間を確保しながら無駄な画像の記録をなくすことができ、記録媒体の利用効率を大幅に高めることができる。   In the image recording apparatus described in Patent Document 1, when a motion of a person is detected from a captured image, the captured image is recorded on a hard disk for a predetermined time determined according to the degree of abnormality of the motion of the person. In this way, the recorded image is recorded only when the movement of the person is detected, and the recording time is adjusted according to the degree of abnormality, thereby eliminating unnecessary image recording while ensuring the necessary time. And the utilization efficiency of the recording medium can be greatly increased.

また、特許文献1に記載の画像記録装置では、監視領域内の人物の動きの異常を検出した際、カメラ装置を制御してパン・チルト・ズームなどを行うことで、監視領域内での人物の位置が異なっていても、表示画面内での人物画像の表示をほぼ同じ位置で大きくする。このように、撮像する画像を制御することで、異常が検出された人物を容易に確認することができる。   In addition, in the image recording apparatus described in Patent Document 1, when an abnormality in the movement of a person in the monitoring area is detected, the person in the monitoring area is controlled by performing pan / tilt / zoom by controlling the camera device. Even if the positions of are different, the display of the person image on the display screen is enlarged at substantially the same position. In this way, by controlling the image to be captured, it is possible to easily confirm the person from whom an abnormality has been detected.

特開2007−124526号公報JP 2007-124526 A

しかしながら、上述したような画像記録装置は、記録媒体の利用効率の向上、および表示画面内に表示する人物画像の位置や大きさを制御することを目的としたものであり、逆光などの撮影環境に応じて撮像する画像の露出を制御するものではなかった。   However, the image recording apparatus as described above is intended to improve the utilization efficiency of the recording medium and to control the position and size of the person image displayed on the display screen. The exposure of the image to be picked up was not controlled according to the above.

したがって、上述したような画像記録装置では、逆光などの環境下に位置する移動体を撮影する場合、移動体が真っ黒な被写体として記録され、監視記録装置に求められる侵入者の顔や服装を正確に記録することができないという問題があった。   Therefore, in the above-described image recording apparatus, when a moving body located in an environment such as backlight is photographed, the moving body is recorded as a black subject, and the intruder's face and clothes required for the monitoring recording apparatus are accurately recorded. There was a problem that could not be recorded.

また、逆光が有る領域と逆光が無い領域を有するような撮影環境の異なるエリアにおいて複数の移動体を検知した場合は、複数の移動体に対してそれぞれ最適な露出を施した画像を記録することができないという問題があった。   In addition, when multiple moving bodies are detected in areas with different shooting environments, such as areas with backlight and areas without backlight, images with optimum exposure for the multiple moving bodies are recorded. There was a problem that could not.

そこで、本発明は上記問題に鑑みてなされたものであり、逆光などの撮影環境に影響されずに、良好な撮影および記録を可能にする画像監視記録装置を得ることである。   Accordingly, the present invention has been made in view of the above problems, and an object thereof is to obtain an image monitoring and recording apparatus that enables good shooting and recording without being affected by a shooting environment such as backlight.

本発明の実施の形態における画像監視記録装置は、撮影する際の露出を制御する露出制御手段を有し、露出を制御して撮影した画像信号を奇数フレームと偶数フレームに分割し、奇数フレームから第1のデジタル画像データを偶数フレームから第2のデジタル画像データを生成するデジタル画像データ生成部と、前記第1のデジタル画像データと前記第2のデジタル画像データとをそれぞれ記録する記録手段と、前記第1のデジタル画像データと前記第2のデジタル画像データの一方のデジタル画像データから移動体の有無を検知し、前記移動体が有ると検知した場合は前記移動体の位置とサイズを検出する動き検知手段と、前記一方のデジタル画像データを複数のブロックに分割してブロック毎に平均輝度値を算出し、前記平均輝度値からブロック毎の輝度情報を算出し、前記ブロック毎の輝度情報と前記検知手段の検出結果に基づいて、前記奇数フレームと前記偶数フレームを撮影する際の前記露出制御手段の露出条件をそれぞれ設定する露出制御部と、を備える。   The image monitoring and recording apparatus according to the embodiment of the present invention has an exposure control unit that controls exposure at the time of shooting, divides an image signal shot by controlling exposure into odd frames and even frames, and starts from the odd frames. A digital image data generation unit that generates second digital image data from even-numbered frames of the first digital image data; a recording unit that records the first digital image data and the second digital image data; The presence or absence of a moving body is detected from one digital image data of the first digital image data and the second digital image data, and when the moving body is detected, the position and size of the moving body are detected. The motion detection means and the one digital image data are divided into a plurality of blocks to calculate an average luminance value for each block, and from the average luminance value Exposure for calculating brightness information for each lock, and setting exposure conditions of the exposure control means when photographing the odd frame and the even frame based on the brightness information for each block and the detection result of the detection means A control unit.

本発明の画像監視記録装置によれば、露出条件の異なる環境下に複数の移動体が位置していても、それぞれの移動体に対して適正露出をすることが可能であるため、侵入者の顔や服装などの正確な撮影が可能になる。また、適正露出条件が通常撮影時とは異なる移動体を検出した時のみ、特殊環境下の移動体を撮影した小サイズ画像が所定時間重複して記録されるので、記録容量を冗長に増加させることなく、画像監視記録装置に求められる侵入者の顔や服装などの正確な撮影画の保存も可能になる。   According to the image monitoring and recording apparatus of the present invention, even if a plurality of moving bodies are located in environments with different exposure conditions, it is possible to properly expose each moving body. Accurate shooting of faces and clothes is possible. Also, only when a moving object whose proper exposure condition is different from that during normal photographing is detected, a small-size image obtained by photographing the moving object under a special environment is recorded redundantly for a predetermined time, so that the recording capacity is increased redundantly. Therefore, it is possible to store an accurate photographed image such as an intruder's face and clothes required for the image monitoring and recording apparatus.

本発明の実施の形態に係る画像監視記録装置の構成を概略的に示した図である。It is the figure which showed schematically the structure of the image monitoring recording device which concerns on embodiment of this invention. 通常の露出制御を行ったときの撮像画の状態を説明する図である。It is a figure explaining the state of the captured image when normal exposure control is performed. 本発明の実施の形態に係る画像監視記録装置が第1の画像データストリームおよび第2の画像データストリームを生成する処理を示したフローチャートである。It is the flowchart which showed the process which the image monitoring recording device which concerns on embodiment of this invention produces | generates a 1st image data stream and a 2nd image data stream. 本発明の実施の形態に係る画像監視記録装置が第1の画像データストリームおよび第2の画像データストリームを生成する様子を示した図である。It is the figure which showed a mode that the image monitoring recording device which concerns on embodiment of this invention produces | generates the 1st image data stream and the 2nd image data stream. 本発明の実施の形態に係る画像監視記録装置が移動体を検知する処理を示したフローチャートである。It is the flowchart which showed the process in which the image monitoring recording device which concerns on embodiment of this invention detects a moving body. 本発明の実施の形態に係る画像監視記録装置が被写体に対して行う露出処理を示したフローチャートである。It is the flowchart which showed the exposure process which the image monitoring recording device which concerns on embodiment of this invention performs with respect to a to-be-photographed object. 本発明の実施の形態に係る画像監視記録装置が画像記録部に第1の画像データストリームおよび第2の画像データストリームを記録するまでの動作を示したフローチャートである。5 is a flowchart showing operations until the image monitoring recording apparatus according to the embodiment of the present invention records the first image data stream and the second image data stream in the image recording unit. 本発明の実施の形態に係る画像監視記録装置が第1のデータストリームおよび第2のデータストリームを圧縮する様子を示した図である。It is the figure which showed a mode that the image monitoring recording device which concerns on embodiment of this invention compresses the 1st data stream and the 2nd data stream.

<1.画像監視記録装置の構成>
図1は、本発明の実施の形態に係る画像監視記録装置1の構成を概略的に示した図である。図1に示すように、画像監視記録装置1は、監視エリア内の画像からデジタル画像データを取得するデジタル画像データ生成部10と、デジタル画像データを圧縮して記録する記録部20と、デジタル画像データから監視エリア内に移動体が有するか否かを検知する動き検知処理部30と、撮影する際の露出を制御する露出制御部40と、画像監視記録装置1の各処理部に対して条件設定、処理コマンド送信、レスポンプ処理等を行うCPU等のメイン制御部50とを備える。
<1. Configuration of image monitoring and recording apparatus>
FIG. 1 is a diagram schematically showing a configuration of an image monitoring and recording apparatus 1 according to an embodiment of the present invention. As shown in FIG. 1, the image monitoring and recording apparatus 1 includes a digital image data generating unit 10 that acquires digital image data from an image in a monitoring area, a recording unit 20 that compresses and records digital image data, and a digital image. Conditions for the motion detection processing unit 30 that detects whether or not a moving object is present in the monitoring area from the data, the exposure control unit 40 that controls the exposure at the time of shooting, and the processing units of the image monitoring recording apparatus 1 And a main control unit 50 such as a CPU for performing setting, processing command transmission, less pump processing and the like.

デジタル画像データ生成部10は、監視エリアの被写体像を結像するレンズ11と、CCDやCMOSセンサー等を用いて、光学像を電気信号に光電変換して画像信号を得る撮像部12と、最適な露出量となるように利得(感度)を自動制御するAGC(Automatic Gain Control)回路13と、AGC回路13から出力されたアナログ信号をデジタル信号に変換するAD変換部14と、AD変換部14で生成された映像信号に基づいて、輝度(Y)、色差(Cb、Cr)形式のデジタル画像データを生成するカメラ画像処理部15とを備える。   The digital image data generation unit 10 includes a lens 11 that forms a subject image in a monitoring area, an imaging unit 12 that photoelectrically converts an optical image into an electrical signal using a CCD or CMOS sensor, and the like. AGC (Automatic Gain Control) circuit 13 that automatically controls the gain (sensitivity) so as to obtain an appropriate exposure amount, AD converter 14 that converts the analog signal output from AGC circuit 13 into a digital signal, and AD converter 14 And a camera image processing unit 15 that generates digital image data in the luminance (Y) and color difference (Cb, Cr) format based on the video signal generated in step (b).

記録部20は、カメラ画像処理部15から出力されたデジタル画像データをJPEGやMPEG4方式で圧縮する画像圧縮伸張部21と、圧縮されたデジタル画像データを記録する画像記録部22とを備える。   The recording unit 20 includes an image compression / decompression unit 21 that compresses the digital image data output from the camera image processing unit 15 using JPEG or MPEG4, and an image recording unit 22 that records the compressed digital image data.

露出制御部40は、カメラ画像処理部15で生成された1画面分のデジタル輝度データを複数のブロックに分割し、分割したブロック毎の輝度平均値を算出するブロック輝度平均値算出部41と、ブロック輝度平均値算出部41で算出した各ブロックの輝度平均値をフレーム周期で時間軸方向に積分処理を施す積分処理部42と、時間軸方向に積分された各ブロックの平均輝度値と現在の各ブロックの平均輝度値の比較結果と、動き検知処理部30の結果に基づいて撮像する際の露出を制御するAE(Auto Exposure)制御部43とを備えている。このような露出制御部40は、後述するように、逆光などの撮影環境の下であっても良好な撮影画像を得るべく採用されたものである。なお、露出制御は、撮像素子が機能として有する電子シャッターや機械的に制御するメカニカルシャッター、あるいはその他の方法により制御してもよい。   The exposure control unit 40 divides the digital luminance data for one screen generated by the camera image processing unit 15 into a plurality of blocks, and calculates a luminance average value for each of the divided blocks. An integration processing unit 42 for integrating the luminance average value of each block calculated by the block luminance average value calculating unit 41 in the time axis direction in the frame period, and the average luminance value of each block integrated in the time axis direction and the current An AE (Auto Exposure) control unit 43 that controls the exposure at the time of imaging based on the comparison result of the average luminance value of each block and the result of the motion detection processing unit 30 is provided. As will be described later, such an exposure control unit 40 is employed to obtain a good shot image even under a shooting environment such as backlight. The exposure control may be controlled by an electronic shutter that the image sensor has as a function, a mechanical shutter that is mechanically controlled, or other methods.

<2.画素監視記録装置の動作>
次に、画素監視記録装置の動作について説明する。
<2. Operation of Pixel Monitoring and Recording Device>
Next, the operation of the pixel monitoring recording apparatus will be described.

<2−1.通常の露出処理を行う動作>
はじめに、図1を参照して、通常の露出処理(例えば、画面全体の平均輝度がおよそ50%グレーになるような処理)を行う動作について説明する。
<2-1. Operation to perform normal exposure processing>
First, with reference to FIG. 1, an operation for performing a normal exposure process (for example, a process in which the average luminance of the entire screen becomes about 50% gray) will be described.

まず、監視用記録装置1は、監視エリアの被写体をレンズ11で結像し、撮像部12によって光学像を画像信号に光電変換する。ここで、撮像部12は、CCDやCMOS等の半導体センサーが画素単位でアレー状に構成している。近年の半導体高密度化技術の進展や画像監視システムにおける高精細画の要求から、例えば、1280×960画素等のメガピクセルの半導体センサーを用いる。また、撮像部12で光電変換するに際し、例えば、1ルクス(以下、「lx」と記載する)以下の月明かり程度の薄明かりから10000lx以上に達する晴天の明るさまでを8ビットの256階調の画像データに変換するために、撮像部12の前に取り付けたメカニカルシャッターや、撮像部12が有する電子シャッター等で光量調整して露出制御を行う。また、シャッター制御のみでは吸収できない分は、AGC回路13で利得調整を行う。以下では、このようなメカニカルシャッター、電子シャッターおよびAGC回路13等を露出制御手段とも記載する。   First, the monitoring recording apparatus 1 forms an image of a subject in the monitoring area with the lens 11 and photoelectrically converts the optical image into an image signal by the imaging unit 12. Here, the imaging unit 12 is configured by arraying semiconductor sensors such as CCD and CMOS in units of pixels. Due to the recent progress in semiconductor densification technology and the demand for high-definition images in image monitoring systems, for example, a megapixel semiconductor sensor such as 1280 × 960 pixels is used. Further, when photoelectric conversion is performed by the imaging unit 12, for example, an 8-bit 256-gradation image from the moonlight of 1 lux (hereinafter referred to as “lx”) or less to the brightness of the clear sky reaching 10000 lx or more. In order to convert it into data, exposure control is performed by adjusting the amount of light with a mechanical shutter attached in front of the imaging unit 12, an electronic shutter of the imaging unit 12, or the like. Further, the AGC circuit 13 performs gain adjustment for the amount that cannot be absorbed only by the shutter control. Hereinafter, such a mechanical shutter, electronic shutter, AGC circuit 13 and the like are also referred to as exposure control means.

また、図示していないがγ補正等の処理を施す回路を有してもよく、AGC回路13からの出力に対して、表示装置の特性も考慮して更に見やすい画面に調整するために、アナログ信号状態で非線形なγ補正等の処理を施す。   Further, although not shown, a circuit for performing processing such as γ correction may be provided, and in order to adjust the output from the AGC circuit 13 to a screen that is easier to view in consideration of the characteristics of the display device, Processing such as nonlinear γ correction is performed in the signal state.

次に、AGC回路13から出力されたアナログ信号は、AD変換器14でデジタル信号に変換され、カメラ画像処理部15でデジタル画像データに変換される。なお、AD変換器14の量子化は、必ずしも8ビットである必要はなく、例えば、AD変換器14によって10〜12ビットに変換し、後段のカメラ画像処理部15で非線形な処理を行って輝度(Y)と色差(Cb,Cr)信号のデータを生成する際に、最終的な8ビットデータに変換してもよい。   Next, the analog signal output from the AGC circuit 13 is converted into a digital signal by the AD converter 14 and converted into digital image data by the camera image processing unit 15. Note that the quantization of the AD converter 14 is not necessarily 8 bits. For example, the AD converter 14 converts the signal to 10 to 12 bits and performs non-linear processing in the camera image processing unit 15 in the subsequent stage to obtain luminance. When generating data of (Y) and color difference (Cb, Cr) signals, they may be converted into final 8-bit data.

このような通常の逆光補正を行うことで生成されるデジタル画像データは、画像監視記録装置1の設置環境(撮影環境)の影響を大いに受けることとなる。以下に、図2を参照して、上述した通常の露出制御を行ったときの撮像画像の様子を説明する。   Digital image data generated by performing such normal backlight correction is greatly affected by the installation environment (imaging environment) of the image monitoring and recording apparatus 1. Hereinafter, with reference to FIG. 2, a captured image when the above-described normal exposure control is performed will be described.

図2は、通常の露出制御を行ったときの撮像画の状態を説明する図である。図2(a)は、屋内に設置された画像監視記録装置1によって、昼間の監視エリアを撮像している様子を示した図である。図2(b)は、図2(a)に示す監視エリアを撮影した撮像画像を示した図である。図2に示すように、屋内に設置した画像監視記録装置1をガラスドア2の方向に向けて撮影する場合、昼間は太陽3の光が射し込むことから、ガラスドア2の付近が局所的に明るくなる。   FIG. 2 is a diagram illustrating the state of a captured image when normal exposure control is performed. FIG. 2A is a diagram illustrating a state in which the daytime monitoring area is imaged by the image monitoring recording apparatus 1 installed indoors. FIG. 2B is a diagram illustrating a captured image obtained by capturing the monitoring area illustrated in FIG. As shown in FIG. 2, when the image monitoring and recording apparatus 1 installed indoors is photographed toward the glass door 2, the light of the sun 3 is incident in the daytime, so the vicinity of the glass door 2 is locally bright. Become.

このような撮影環境時に、ガラスドア2から屋内へ入ってくる人4と、ガラスドア2から離れた屋内の場所に立っている人5がいる場合、通常のカメラ撮像画は、図2(b)に示すような撮影画像となる。すなわち、逆光によって、ガラスドア2から屋内へ入ってくる人4の顔や姿は黒く写り、顔や服装を正確に写し出すことができない。一方、ガラスドアから離れた場所に立っている人5は、逆光の影響を受けないことから顔や服装を正確に写し出すことができる。   In such a shooting environment, when there is a person 4 entering the room indoors from the glass door 2 and a person 5 standing indoors away from the glass door 2, a normal camera image is shown in FIG. The captured image is as shown in FIG. That is, due to backlight, the face and appearance of the person 4 entering the room through the glass door 2 appear black, and the face and clothes cannot be accurately projected. On the other hand, the person 5 standing at a place away from the glass door is not affected by the backlight, and thus can accurately project his face and clothes.

このような撮影画像となるのは、上述したような通常のカメラ露出制御では、画面全体の平均輝度がおよそ50%グレーになるように輝度ターゲットを設定して露出調整を行うことによる。すなわち、図2においては、太陽光を遮るような位置にいる移動体4の前面(顔)が影になり暗くなっているにもかかわらず、ガラスドア2越しの屋外が極端に明るく露出を絞り込む必要があることから、露出を絞り込んだまま撮影することによる。   Such a captured image is obtained by performing exposure adjustment by setting a luminance target so that the average luminance of the entire screen is about 50% gray in the normal camera exposure control as described above. That is, in FIG. 2, the exposure through the glass door 2 is extremely bright and the exposure is narrowed down even though the front surface (face) of the moving body 4 in a position that blocks sunlight is shaded and dark. It is necessary to shoot with the exposure narrowed down.

一方、ガラスドア2から離れた場所に立っている人5に対しては、逆光の影響を受けないことから、通常の露出制御を行うことで正確に写し出すことができる。すなわち、ガラスドア2から入ってくる人4を正確に写し出すように露出を調整すると、逆に、ガラスドア2から離れて立っている人5が正確に写らなくなる可能性がある。このように、最適な露出条件が異なる環境に被写体が位置する撮影エリアにおいては、一方の人に露出を合わせると、他方の人を正確に写すことができなくなることがある。   On the other hand, since the person 5 standing away from the glass door 2 is not affected by backlight, it can be accurately projected by performing normal exposure control. That is, if the exposure is adjusted so that the person 4 entering from the glass door 2 is accurately projected, the person 5 standing away from the glass door 2 may not be accurately captured. As described above, in the shooting area where the subject is located in an environment where the optimal exposure conditions are different, if the exposure is adjusted to one person, the other person may not be accurately captured.

そこで、本実施の形態では、最適露出条件の異なる環境下に位置する被写体に対して、それぞれ最適な露出処理を施し、異なる画像データストリームとして生成する。すなわち、図2に示す撮影環境下であれば、まず、ガラスドア2から離れたところに立っている人5に対しては通常の露出条件で写した画像を第1の画像データストリームとして生成する。そして、ガラスドアから入る人4に対しては、ドアから入る人4を輝度ターゲットに設定して露出を調整して写した画像を第2の画像データストリームとして生成する。   Therefore, in the present embodiment, optimal exposure processing is performed on subjects located in environments with different optimal exposure conditions to generate different image data streams. That is, under the shooting environment shown in FIG. 2, first, for a person 5 standing away from the glass door 2, an image taken under normal exposure conditions is generated as a first image data stream. . For the person 4 entering through the glass door, an image obtained by adjusting the exposure by setting the person 4 entering through the door as a luminance target and generating a second image data stream is generated.

<2−2.第1および第2の画像データストリームを生成する動作>
次に、第1の画像データストリームと第2の画像データストリームを生成する動作について説明する。
<2-2. Operation for generating first and second image data streams>
Next, an operation for generating the first image data stream and the second image data stream will be described.

図3は、第1の画像データストリームおよび第2の画像データストリームを生成する処理を示したフローチャートである。また、図4は、第1の画像データストリームおよび第2の画像データストリームを生成する様子を示した図である。   FIG. 3 is a flowchart showing a process for generating the first image data stream and the second image data stream. FIG. 4 is a diagram showing how the first image data stream and the second image data stream are generated.

まず、撮像部12は、監視エリアにおける画像を所定の時間間隔で撮像する。ここで、通常のカメラは毎秒30フレームで画像生成されるのが一般的であることから、本実施の形態においても毎秒30フレームで撮影を行うこととして、以下に説明する。ただし、このようなフレームレートに限られるものではなく、その他のフレームレートを用いてもよい。また、侵入者を監視するような銀行などの監視カメラ(画像記録装置)では、限られた記録容量の中で極力長時間録画することが要求されていることから、侵入者の不正行為を見落とさない範囲でフレームレートを極力抑えて録画することが望ましく、毎秒15フレームで充分とされている。   First, the imaging unit 12 captures images in the monitoring area at predetermined time intervals. Here, since a normal camera generally generates an image at 30 frames per second, the following description will be made assuming that shooting is performed at 30 frames per second in the present embodiment. However, the frame rate is not limited to this, and other frame rates may be used. Also, surveillance cameras (image recording devices) such as banks that monitor intruders are required to record for a long time as much as possible within the limited recording capacity. It is desirable to record while keeping the frame rate as low as possible, and 15 frames per second is sufficient.

次に、AD変換器14は、フレーム画を取得し、アナログ信号をデジタル信号D1に変換する。そして、カメラ画像処理部15は、デジタル信号D1から輝度(Y)、色差(Cb,Cr)形式のデジタル画像データD2を生成する(S11)。   Next, the AD converter 14 acquires a frame image and converts an analog signal into a digital signal D1. Then, the camera image processing unit 15 generates digital image data D2 in the luminance (Y) and color difference (Cb, Cr) format from the digital signal D1 (S11).

次に、カメラ画像処理部15は、デジタル画像データD2を奇数フレームデータD2aと偶数フレームデータD2bとに振り分ける(図4(a))。そして、カメラ画像処理部15は、奇数フレームデータD2aから、輝度と色差データで構成して表示や通常記録用に用いる第1の画像データストリームD3aを生成する(S12、図4(b))。   Next, the camera image processing unit 15 distributes the digital image data D2 into odd frame data D2a and even frame data D2b (FIG. 4A). Then, the camera image processing unit 15 generates a first image data stream D3a that is composed of luminance and color difference data and is used for display and normal recording from the odd-numbered frame data D2a (S12, FIG. 4B).

一方、カメラ処理部15は、後述する逆光移動体検知の判定で「有」と判定されたときのみ、偶数フレームデータD2bから、輝度と色差データで構成した第2の画像データストリームD3bを所定時間だけ生成する。なお、第2の画像データストリームD3bは、前述した1280×960画素の全画素ではなく、後述する動き検知処理部30で求めた撮像画像内における移動体の位置と大きさ分を切り出したサイズの画像データにする。また、逆光移動体検知の判定で「無」と判定されたときは、画像データサイズを0として第2の画像データストリームD3bを生成する(S13、図4(b)。   On the other hand, the camera processing unit 15 generates a second image data stream D3b composed of luminance and chrominance data from the even-numbered frame data D2b for a predetermined time only when it is determined to be “present” in the backlight moving object detection described later. Only generate. Note that the second image data stream D3b is not all the 1280 × 960 pixels described above, but has a size obtained by cutting out the position and size of the moving object in the captured image obtained by the motion detection processing unit 30 described later. Use image data. On the other hand, if it is determined as “no” in the backlight moving body detection determination, the image data size is set to 0 and the second image data stream D3b is generated (S13, FIG. 4B).

以上の処理により、監視エリアを撮像した画像から、第1の画像データストリームD3aおよび第2の画像データストリームD3bが生成される。   Through the above processing, the first image data stream D3a and the second image data stream D3b are generated from the image obtained by capturing the monitoring area.

<2−3.移動体を検知する動作>
次に、後述する逆光移動体検知の有無を判定する際の情報として用いる移動体を検知する動作について説明する。本実施の形態では、基準画像データとなる背景画に対する画像データの差分を基に移動体を検出する背景差分方式を用いる。
<2-3. Operation to detect moving objects>
Next, an operation for detecting a moving body used as information when determining whether or not to detect backlit moving body will be described. In the present embodiment, a background difference method is used in which a moving object is detected based on a difference in image data with respect to a background image serving as reference image data.

図5は、移動体を検知する処理を示したフローチャートである。まず、動き検知処理部30は、カメラ処理部15の出力である第1の画像データストリームD3aを入力し、このデータをRGB変換したRGB画像データD4を生成する(S21)。そして、このRGB画像データD4を時間軸方向に積分処理することで背景画データD5を生成する(S22)。そして、この背景画データD5を動き検知処理部30の背景画データ保存領域(図示せず)に保存する(S23)。   FIG. 5 is a flowchart showing a process for detecting a moving object. First, the motion detection processing unit 30 receives the first image data stream D3a that is the output of the camera processing unit 15, and generates RGB image data D4 obtained by RGB conversion of this data (S21). Then, background image data D5 is generated by integrating the RGB image data D4 in the time axis direction (S22). Then, the background image data D5 is stored in a background image data storage area (not shown) of the motion detection processing unit 30 (S23).

次に、動き検知処理部30は、逐次第1の画像データストリームD3aを入力し、このデータをRGB変換したRGB画像データD4を生成する(S24)。そして、RGB画像データD4と背景画データD5とを比較し、その比較結果に基づいて、監視エリア内に状態変化が発生しているか否かを判定する。詳しくは、各々のピクセルに対して比較を行い、所定値以上の変化が有るか否かに基づいて、監視エリア内に状態変化が発生しているか否かを判定する。そして、状態変化が発生していると判定した場合、所定値以上の変化がある部分を四角で囲い、移動体の位置とサイズを抽出する。   Next, the motion detection processing unit 30 sequentially receives the first image data stream D3a, and generates RGB image data D4 obtained by performing RGB conversion on this data (S24). Then, the RGB image data D4 and the background image data D5 are compared, and based on the comparison result, it is determined whether or not a state change has occurred in the monitoring area. Specifically, each pixel is compared, and it is determined whether or not a state change has occurred in the monitoring area based on whether or not there is a change greater than a predetermined value. When it is determined that a state change has occurred, a portion where the change is greater than or equal to a predetermined value is enclosed by a square, and the position and size of the moving body are extracted.

たとえば、監視エリア内に状態変化が発生していないと判定した場合(S25)、RGB変換されたRGB画像データD4を時間軸方向に積分することで背景画データD5を生成する(S26)。そして、現在の背景画データD5として背景画データを更新して背景画データ保存領域に保存する(S27)。なお、背景画データD5は、朝、昼、夕刻、夜間などの背景に追従すればよく、時定数として分単位で設定されていれば、撮影環境変化を反映した背景画として更新保存可能である。   For example, when it is determined that no state change has occurred in the monitoring area (S25), background image data D5 is generated by integrating the RGB-converted RGB image data D4 in the time axis direction (S26). Then, the background image data is updated as the current background image data D5 and stored in the background image data storage area (S27). The background image data D5 only needs to follow the background such as morning, noon, evening, and nighttime, and can be updated and saved as a background image that reflects changes in the shooting environment if the time constant is set in minutes. .

また、動き検知処理部30は、背景画データD5に対してRGB画像データD4が所定値以上の変化が有ると判定され、かつ、状態変化有りが所定のコマ数以上継続する場合、移動体(動き)が有ると判定し(S25)、この判定情報を動き検知レジスタに設定する(S28)。一方、所定のコマ数以下であれば、移動体が無いと判定する(S25)。   In addition, when it is determined that the RGB image data D4 has a change of a predetermined value or more with respect to the background image data D5, and the state change continues for a predetermined number of frames or more, the motion detection processing unit 30 It is determined that there is motion) (S25), and this determination information is set in the motion detection register (S28). On the other hand, if it is equal to or less than the predetermined number of frames, it is determined that there is no moving object (S25).

なお、移動体が有ると判定した場合、メイン制御部50は、背景画データD5を生成する積分処理を行わず、撮像画像内における移動体の位置と大きさを抽出して同じ動き検知レジスタに保存する。   If it is determined that there is a moving object, the main control unit 50 does not perform integration processing for generating the background image data D5, and extracts the position and size of the moving object in the captured image and stores them in the same motion detection register. save.

このように、撮影している監視エリア内への移動体の有無の検知、および移動体の位置とサイズを抽出することができ、かつ、背景画データD5随時更新することで、より正確に移動体の有無の検知、および移動体の位置とサイズを抽出することができる。   In this way, it is possible to detect the presence or absence of a moving object in the monitoring area being photographed, extract the position and size of the moving object, and update the background image data D5 as needed to move more accurately. Detection of the presence or absence of a body and the position and size of a moving body can be extracted.

<2−4.最適な露出条件が異なる被写体に対して露出処理を行う動作>
次に、最適な露出条件が異なる複数の被写体に対して、それぞれ最適な露出処理を行う動作について説明する。
<2-4. Operation to perform exposure processing on subjects with different optimal exposure conditions>
Next, an operation for performing an optimum exposure process on a plurality of subjects having different optimum exposure conditions will be described.

図6は、最適な露出条件が異なる複数の被写体に対して行う露出処理を示したフローチャートである。まず、ブロック輝度平均値算出部41は、カメラ画像処理部15が生成した奇数フレームデータD2aの輝度データD6aを毎秒15フレームで周期的に入力する。また、偶数フレームデータD2bの輝度データD6bも後述するように逆光中に移動体が検出されたと判定されたときのみ画像データが設定されて入力する(S31)。   FIG. 6 is a flowchart showing an exposure process performed on a plurality of subjects having different optimal exposure conditions. First, the block luminance average value calculation unit 41 periodically inputs the luminance data D6a of the odd frame data D2a generated by the camera image processing unit 15 at 15 frames per second. Also, the luminance data D6b of the even frame data D2b is set and inputted as image data only when it is determined that a moving body is detected during backlight as described later (S31).

そして、ブロック輝度平均値算出部41は、奇数フレームデータD2aの輝度データD6aに対して画面を縦4×横4に16分割し、分割したブロック毎に輝度信号を平均した分割平均輝度値を算出する。そして、ブロック毎の分割平均輝度値を16分割分のマップレジスタ(図示せず)に保存する。また、偶数フレームD2bの輝度データD6bに対しては、その画面全体の輝度信号を平均した全体平均輝度値を算出し、この全体平均輝度値を逆光移動体輝度レジスタ(図示せず)に保存する(S32)。   Then, the block luminance average value calculating unit 41 divides the screen into 4 × 4 horizontal by 4 with respect to the luminance data D6a of the odd-numbered frame data D2a, and calculates a divided average luminance value by averaging the luminance signal for each divided block. To do. Then, the divided average luminance value for each block is stored in a map register (not shown) for 16 divisions. For the brightness data D6b of the even frame D2b, an overall average brightness value obtained by averaging the brightness signals of the entire screen is calculated, and the overall average brightness value is stored in a backlight moving body brightness register (not shown). (S32).

次に、積分処理部42は、16分割分のマップレジスタに保存されている各ブロックの分割平均輝度値を入力し、メイン制御部19のレジスタに設定されている動き検知レジスタの“有無”情報をチェックする(S33)。そして、動き検知レジスタが「無」に設定されている場合は、各ブロックの分割平均輝度値をマップ状態で時間軸方向に積分して背景画の輝度マップを生成する。そして、移動体が入り込んでいない状態の背景画の輝度マップを更新して保存する(S34)。   Next, the integration processing unit 42 inputs the division average luminance value of each block stored in the map register for 16 divisions, and the “presence / absence” information of the motion detection register set in the register of the main control unit 19. Is checked (S33). When the motion detection register is set to “none”, the divided average luminance value of each block is integrated in the time axis direction in the map state to generate a luminance map of the background image. Then, the brightness map of the background image in a state in which the moving object has not entered is updated and stored (S34).

このように移動体が無いと検知されているので、AE制御部22は、マイコン(図示せず)で逆光移動体検知レジスタを「無」に設定する。そして、AE制御部22は、背景画の輝度マップの平均輝度値を求め、奇数フレームおよび偶数フレームの両撮像タイミングで、平均輝度値がターゲット値(一般には50%グレーの値)になるように、露出制御手段の露出条件(撮像部11のシャッター速度やAGC回路12のゲイン等)を設定する(S35)。   Since it is detected that there is no moving body in this way, the AE control unit 22 sets the backlight moving body detection register to “none” by a microcomputer (not shown). Then, the AE control unit 22 obtains an average luminance value of the luminance map of the background image so that the average luminance value becomes a target value (generally a 50% gray value) at both the odd-numbered frame and even-numbered frame imaging timings. Then, the exposure conditions of the exposure control means (the shutter speed of the imaging unit 11, the gain of the AGC circuit 12, etc.) are set (S35).

このように、露出制御部40に入力してくる輝度データD6a,D6bに対して上述した制御を行うことにより、奇数フレームを撮影する際に、通常環境エリアにいる移動体を最適露出(ターゲット値とした50%グレー)で撮影することが可能になる。また、偶数フレームも奇数フレームと同一の露出条件で撮影されるが、移動体を検知していないので、カメラ画像処理部15で生成される第2の画像データストリームD3bの画像データサイズがゼロであり、不要な画像を撮ることにはならない。   In this way, by performing the above-described control on the luminance data D6a and D6b input to the exposure control unit 40, the mobile object in the normal environment area is optimally exposed (target value) when shooting odd frames. 50% gray). Even frames are photographed under the same exposure conditions as the odd frames, but since no moving object is detected, the image data size of the second image data stream D3b generated by the camera image processing unit 15 is zero. There is no need to take unnecessary images.

一方、動き検知レジスタが「有」に設定されているとき、AE制御部43は移動体に対して所望の露光が行われているか否か(例えば、逆光中にいるか否か)を判定する。詳しくは、AE制御部43は、マイコンにより積分処理部42に保存している背景画の輝度マップデータと奇数フレームの輝度マップデータとの輝度差である偏差値(ブロック毎の輝度情報)を算出する。そして、偏差値が所定値以上であれば、逆光環境下等における撮影により移動体に対して所望の露光が行われていないと判定する。そして、検知レジスタに保存されている移動体の位置と大きさを読み込み、積分処理部42に保存されている16分割の背景画輝度マップの位置との対応付けを行う。対応付けの結果、移動体の重心が背景画の輝度マップの逆光環境下と判定されたブロックエリア内であれば、逆光移動体検知レジスタを「有」に設定し、逆光移動体検知「有」情報と共に、読み込んだ移動体の位置と大きさをカメラ画像処理部15に通知する(S36)。   On the other hand, when the motion detection register is set to “present”, the AE control unit 43 determines whether or not desired exposure is performed on the moving body (for example, whether or not it is in backlight). Specifically, the AE control unit 43 calculates a deviation value (luminance information for each block) that is a luminance difference between the luminance map data of the background image and the luminance map data of the odd-numbered frame stored in the integration processing unit 42 by the microcomputer. To do. If the deviation value is equal to or greater than a predetermined value, it is determined that the desired exposure is not performed on the moving body by photographing under a backlight environment or the like. Then, the position and size of the moving object stored in the detection register are read and associated with the position of the 16-division background image luminance map stored in the integration processing unit 42. As a result of the association, if the center of gravity of the moving object is within the block area determined to be in the backlight environment of the luminance map of the background image, the backlight moving object detection register is set to “present” and the backlight moving object detection “present” Along with the information, the camera image processing unit 15 is notified of the position and size of the read moving body (S36).

次に、AE制御部43は、偶数フレームの露出設定するタイミングであれば、移動体の重心が入っているブロックの分割平均輝度値を読み取り、その輝度値がターゲット値(通常、50%グレー)となるように、露出制御手段を設定する。詳しくは、奇数フレームD2aの撮影に対応する露出条件に対し算出した露出補正を加えた条件で、偶数フレームを撮影する際の撮像部11のシャッター速度やAGC回路12のゲインを設定して、偶数フレームに対応する撮影を行う(S37)。   Next, the AE control unit 43 reads the divided average luminance value of the block containing the center of gravity of the moving object at the timing for setting the exposure of even frames, and the luminance value is the target value (usually 50% gray). The exposure control means is set so that Specifically, the shutter speed of the imaging unit 11 and the gain of the AGC circuit 12 when shooting an even frame are set under conditions obtained by adding the exposure correction calculated for the exposure condition corresponding to shooting of the odd frame D2a. Shooting corresponding to the frame is performed (S37).

また、直前に偶数フレームの画像が既に生成されている場合、すなわち、連続して移動体検知処理が有ると判定され、かつ、連続して移動体が逆光状態にあると判断された場合は、逆光移動体輝度レジスタに保存されている輝度値をターゲット値と比較し、奇数フレーム撮影に対応する露出条件に対し、その差分を小さくする方向へ2次補正を行う(S38)。   Further, when an image of an even frame has already been generated immediately before, that is, when it is determined that there is a continuous moving body detection process and it is determined that the moving body is continuously in a backlight state, The brightness value stored in the backlight moving body brightness register is compared with the target value, and secondary correction is performed in the direction of reducing the difference with respect to the exposure condition corresponding to the odd-numbered frame shooting (S38).

このように、露出制御部40に入力してくる輝度データD6a,D6bに対して、上述した制御を行うことにより、偶数フレームを撮影する際に、逆光中にいる移動体を最適露出(ターゲット値とした50%グレー)に設定して撮影することが可能になる。なお、逆光移動体検知が「有」時でも、奇数フレームを撮影するタイミングでは、積分処理部42の全体平均輝度値がターゲット値になるように撮像部11のシャッター速度やAGC回路12のゲインを設定する。   In this way, by performing the above-described control on the luminance data D6a and D6b input to the exposure control unit 40, the optimal exposure (target value) can be obtained when the moving body is in backlight when photographing even frames. It is possible to shoot with a setting of 50% gray. Even when the backlight moving object detection is “present”, the shutter speed of the imaging unit 11 and the gain of the AGC circuit 12 are set so that the overall average luminance value of the integration processing unit 42 becomes the target value at the timing of shooting odd frames. Set.

<2−5.第1及び第2の画像データストリームを記録する動作>
次に、上述した露出制御を行って生成した第1の画像データストリームD3aおよび第2の画像データストリームD3bを画像記録部22に記録する動作を説明する。図7は、画像記録部22に第1の画像データストリームおよび第2の画像データストリームを記録するまでの動作を示したフローチャートである。また、図8は、第1のデータストリームD3aおよび第2のデータストリームD3bを圧縮する様子を示した図である。
<2-5. Operation for Recording First and Second Image Data Streams>
Next, an operation of recording the first image data stream D3a and the second image data stream D3b generated by performing the exposure control described above in the image recording unit 22 will be described. FIG. 7 is a flowchart showing an operation until the first image data stream and the second image data stream are recorded in the image recording unit 22. FIG. 8 is a diagram illustrating a state in which the first data stream D3a and the second data stream D3b are compressed.

まず、カメラ画像処理部15は、上述したように露出制御された第1の画像データストリームD3aと第2の画像データストリームD3bとを時分割多重によりマルチストリーム化する(S41)。そして、マルチストリーム化したデータD7を画像圧縮伸張部21に出力する(S42)。   First, the camera image processing unit 15 multi-streams the first image data stream D3a and the second image data stream D3b subjected to exposure control as described above by time division multiplexing (S41). The multi-stream data D7 is output to the image compression / decompression unit 21 (S42).

そして、画像圧縮伸張部17は、マルチストリーム化したデータD7に対し、各ストリームに合致した条件で画像圧縮を行う。例えば、まず、通常記録用の第1の画像ストリームを定型画像サイズのMPEG4方式で画像圧縮し(S43)、次に、逆光中の移動体を適正露光で撮影した第2の画像ストリームを所定の画像サイズに合わせてJPEG方式で圧縮する(S44)。   Then, the image compression / decompression unit 17 performs image compression on the multi-stream data D7 under a condition that matches each stream. For example, first, the first image stream for normal recording is compressed by the MPEG4 system of the standard image size (S43), and then the second image stream obtained by photographing the moving body in the backlight with the appropriate exposure is determined in advance. The image is compressed according to the JPEG method according to the image size (S44).

なお、画像圧縮伸張部21の動作は、逆光中に移動体のない通常時は、第2の画像データストリームの画像サイズがゼロであるためJPEG圧縮を実行しておらず、MPEG4のシングル画像圧縮になる。すなわち、逆光中に移動体が検知されたときのみ、MPEG4とJPEGのマルチストリーム画像圧縮を行うことになる。   Note that the image compression / decompression unit 21 does not perform JPEG compression during normal time when there is no moving object during backlighting, because the image size of the second image data stream is zero, and MPEG4 single image compression. become. That is, MPEG4 and JPEG multi-stream image compression is performed only when a moving object is detected during backlighting.

次に、MPEG4方式で圧縮された第1の画像データストリームの画像データは、メイン制御部50からの制御により、時間情報や動き検知などの管理情報と関連付けられて画像記録部22の常時記録エリアに保存される(S45)。一方、第2の画像データストリームの画像データは、逆光中に移動体が検知された所定時間のみ圧縮画像データが生成され、同時刻に生成されている第1画像データストリームの管理情報と関連づけして画像記録部22の逆光記録エリアに保存する(S46)。   Next, the image data of the first image data stream compressed by the MPEG4 system is associated with management information such as time information and motion detection under the control of the main control unit 50, and is constantly recorded in the image recording unit 22. (S45). On the other hand, for the image data of the second image data stream, compressed image data is generated only for a predetermined time when the moving object is detected during backlighting, and is associated with the management information of the first image data stream generated at the same time. Then, it is stored in the backlight recording area of the image recording unit 22 (S46).

このように、本実施の形態における画像監視記録装置1は、奇数フレームで構成した第1の画像データストリームをMPEG4方式により画像圧縮して記録メディアの常時記録エリア(第1の記録エリア)に記録しつつ、逆光中に移動体が検知されたときのみ、第2の画像データストリームをJPEG方式により画像圧縮して記録メディアの逆光記録エリア(第2の記録エリア)に記録される。   As described above, the image monitoring and recording apparatus 1 according to the present embodiment compresses the first image data stream composed of odd-numbered frames using the MPEG4 method and records it in the constant recording area (first recording area) of the recording medium. However, only when a moving body is detected during backlighting, the second image data stream is compressed in the JPEG format and recorded in the backlight recording area (second recording area) of the recording medium.

以上説明したように、本発明の画像監視記録装置1によれば、最適な露出条件の異なる環境下に複数の移動体がいても、それぞれの移動体に対して適正露出をすることが可能であるため、侵入者の顔や服装などの正確な撮影が可能になる。また、適正露出条件が通常撮影時とは異なる移動体を検出した時のみ、特殊環境下の移動体を撮影した小サイズ画像が所定時間重複して記録されるので、記録容量を冗長に増加させることなく、画像監視記録装置に求められる侵入者の顔や服装などの正確な撮影画の保存も可能になる。   As described above, according to the image monitoring and recording apparatus 1 of the present invention, even if there are a plurality of moving bodies in an environment with different optimum exposure conditions, it is possible to perform appropriate exposure on each moving body. As a result, it is possible to accurately capture the intruder's face and clothes. Also, only when a moving object whose proper exposure condition is different from that during normal photographing is detected, a small-size image obtained by photographing the moving object under a special environment is recorded redundantly for a predetermined time, so that the recording capacity is increased redundantly. Therefore, it is possible to store an accurate photographed image such as an intruder's face and clothes required for the image monitoring and recording apparatus.

<変形例>
上述の実施の形態においては、第1の画像データストリームD3aの画像圧縮をMPEG4方式、第2の画像データストリームD3bの画像圧縮をJPEG方式を用いて説明したが、これに限られるものではなく、両ストリームをMPEG4やJPEGに統一してもよく、また、その他の画像圧縮方式と組み合わせても、上述の実施の形態と同様の効果が得られる。また、奇数フレームで構成した第1の画像データストリームの画像圧縮データは、常時記録しているが、動き検知をトリガとして所定時間のみイベント録画するように構成してもよい。このようなイベント録画を行うことにより、長時間の録画が可能になる。
<Modification>
In the above-described embodiment, the image compression of the first image data stream D3a has been described using the MPEG4 system, and the image compression of the second image data stream D3b is performed using the JPEG system. However, the present invention is not limited to this. Both streams may be unified with MPEG4 or JPEG, and the same effect as in the above-described embodiment can be obtained by combining with other image compression methods. Further, the compressed image data of the first image data stream composed of odd frames is always recorded, but the event recording may be performed only for a predetermined time with the motion detection as a trigger. By performing such event recording, it is possible to record for a long time.

なお、画像監視記録装置には、従来の画像監視記録装置と同様に、表示出力処理部(図示せず)によりライブ画や再生画を表示器に出力することができる。詳しくは、まず、ライブ画は、カメラ画像処理部15から出力された第1の画像データストリームD3aを選択的に表示出力処理部に入力して外部表示器に出力する。そして、再生画は、画像記録部22に保存されている第1の画像データストリームD3aの圧縮画像データか第2の画像データストリームD3bの圧縮画像データの一方、もしくは両方をメイン制御部50の制御により、画像圧縮伸張部21に入力し、元々の画像データに復号して表示出力処理部に入力して外部表示器に出力する。   In the image monitoring and recording apparatus, a live image and a reproduced image can be output to a display device by a display output processing unit (not shown), as in the conventional image monitoring and recording apparatus. Specifically, first, the live image is selectively input to the display output processing unit, and the first image data stream D3a output from the camera image processing unit 15 is output to the external display. The reproduced image is controlled by the main control unit 50 as one or both of the compressed image data of the first image data stream D3a and the compressed image data of the second image data stream D3b stored in the image recording unit 22. Thus, the data is input to the image compression / decompression unit 21, decoded into the original image data, input to the display output processing unit, and output to the external display.

また、画像監視記録装置は、従来の画像監視記録装置と同様に、ネットワークを通じて遠隔監視の端末として用いることができる。詳しくは、ライブ画を送信する場合、通常時は画像圧縮伸張部21で圧縮された第1の画像データストリームを圧縮したMPEG4の圧縮データを送信する。また、逆光中に移動体が検知され、第2の画像データをJPEG圧縮したときのみ、MPEG4とJPEGをマルチストリーム化してイーサネット(登録商標)などのネットワークプロトコルにしてネットワーク配信に配信する。また、再生画は、画像記録部22に保存されている第1の画像データか第2の画像データストリームの圧縮画像データの一方、もしくは両方をイーサネット(登録商標)などのネットワークプロトコルにしてネットワーク配信に配信する。   In addition, the image monitoring and recording apparatus can be used as a remote monitoring terminal through a network, like the conventional image monitoring and recording apparatus. More specifically, when transmitting a live image, MPEG4 compressed data obtained by compressing the first image data stream compressed by the image compression / decompression unit 21 is normally transmitted. Also, only when a moving object is detected during backlighting and the second image data is JPEG compressed, MPEG4 and JPEG are converted into a multi-stream and distributed to a network distribution such as Ethernet (registered trademark). The reproduced image is distributed over the network by using one or both of the first image data stored in the image recording unit 22 and the compressed image data of the second image data stream as a network protocol such as Ethernet (registered trademark). Deliver to.

また、上述の実施の形態においては、2系統の画像データを生成して画像記録する方法を説明したが、これに限られるものではなく、3系統以上の画像データを生成して画像記録してもよい。たとえば、3系統の画像データを生成する場合、記録メディアを3つに分け、1枚目の画像フレームには通常記録、2枚目の画像には逆光補正された記録、3枚目には暗すぎる場合には露出制御を行ったものを記録する。このように、通常記録、逆光補正記録、暗さ補正記録の順に繰り返し記録するような3系統以上の画像データを生成しても上述の実施の形態と同様の効果が得られる。   In the above-described embodiment, the method for generating and recording the image data of two systems has been described. However, the present invention is not limited to this, and the image data of three or more systems is generated and recorded. Also good. For example, when generating three systems of image data, the recording medium is divided into three, normal recording for the first image frame, backlight-corrected recording for the second image, and dark recording for the third image. If too much, record the exposure control. As described above, even when three or more systems of image data that are repeatedly recorded in the order of normal recording, backlight correction recording, and darkness correction recording are generated, the same effect as the above-described embodiment can be obtained.

1 画像監視記録装置、10 デジタル画像データ生成部、11 レンズ、12 撮像部、13 AGC回路、14 AD変換部、15 カメラ画像処理部、20 記録部、21 画像伸張部、22 画像記録部、30 動き検知処理部、40 露出制御部、41 輝度平均値算出部、42 積分処理部、43 AE制御部。   DESCRIPTION OF SYMBOLS 1 Image monitoring recording apparatus, 10 Digital image data generation part, 11 Lens, 12 Imaging part, 13 AGC circuit, 14 AD conversion part, 15 Camera image processing part, 20 Recording part, 21 Image expansion part, 22 Image recording part, 30 Motion detection processing unit, 40 exposure control unit, 41 luminance average value calculation unit, 42 integration processing unit, 43 AE control unit.

Claims (8)

撮影する際の露出を制御する露出制御手段を有し、露出を制御して撮影した画像信号を奇数フレームと偶数フレームに分割し、奇数フレームから第1のデジタル画像データを偶数フレームから第2のデジタル画像データを生成するデジタル画像データ生成部と、
前記第1のデジタル画像データと前記第2のデジタル画像データとをそれぞれ記録する記録手段と、
前記第1のデジタル画像データと前記第2のデジタル画像データの一方のデジタル画像データから移動体の有無を検知し、前記移動体が有ると検知した場合は前記移動体の位置とサイズを検出する動き検知手段と、
前記一方のデジタル画像データを複数のブロックに分割してブロック毎に平均輝度値を算出し、前記平均輝度値からブロック毎の輝度情報を算出し、前記ブロック毎の輝度情報と前記動き検知手段の検出結果に基づいて、前記奇数フレームと前記偶数フレームを撮影する際の前記露出制御手段の露出条件をそれぞれ設定する露出制御部と、を備える、画像監視記録装置。
Exposure control means for controlling exposure at the time of shooting, dividing an image signal shot by controlling exposure into an odd frame and an even frame, and the first digital image data from the odd frame to the second from the even frame; A digital image data generator for generating digital image data;
Recording means for recording each of the first digital image data and the second digital image data;
The presence or absence of a moving body is detected from one digital image data of the first digital image data and the second digital image data, and when the moving body is detected, the position and size of the moving body are detected. Motion detection means;
The one digital image data is divided into a plurality of blocks, an average luminance value is calculated for each block, luminance information for each block is calculated from the average luminance value, luminance information for each block and the motion detection unit An image monitoring and recording apparatus, comprising: an exposure control unit that sets an exposure condition of the exposure control unit when shooting the odd frame and the even frame based on a detection result.
前記動き検知手段によって前記移動体が有ると検知された場合、
前記露出制御部は、前記ブロック毎の輝度情報と前記動き検知手段の検出結果から、前記移動体に対して所望の露光が行われているか否かを判定し、所望の露光ではないと判定された場合は、前記他方のデジタル画像データに対応するフレームを撮影する際の前記露出制御手段の露出条件を前記移動体が所望の露光となるように設定する、請求項1に記載の画像監視記録装置。
When it is detected by the motion detection means that the moving body is present,
The exposure control unit determines whether or not desired exposure is performed on the moving body from the luminance information for each block and the detection result of the motion detection unit, and is determined not to be desired exposure. 2. The image monitoring recording according to claim 1, wherein when the frame corresponding to the other digital image data is captured, an exposure condition of the exposure control unit is set so that the moving body has a desired exposure. apparatus.
前記露出制御部は、前記一方のデジタル画像データから生成される背景画のブロック毎の平均輝度値と逐次入力される前記一方のデジタル画像データの前記ブロック毎の平均輝度値との差を前記輝度情報として算出し、前記輝度情報が所定の値以上のときに前記所望の露光ではないと判定する、請求項2に記載の画像監視記録装置。   The exposure control unit calculates a difference between an average luminance value for each block of a background image generated from the one digital image data and an average luminance value for each block of the one digital image data sequentially input. The image monitoring and recording apparatus according to claim 2, wherein the image monitoring and recording apparatus calculates the information and determines that the desired exposure is not obtained when the luminance information is a predetermined value or more. 前記動き検知手段によって前記移動体が無いと検知された場合、
前記露出制御部は、前記一方のデジタル画像データの前記ブロック毎の平均輝度値を前記背景画のブロック毎の平均輝度値として更新する、請求項3に記載の画像監視記録装置。
When it is detected by the motion detection means that there is no moving body,
The image monitoring and recording apparatus according to claim 3, wherein the exposure control unit updates an average luminance value for each block of the one digital image data as an average luminance value for each block of the background image.
前記記録手段は、前記一方のデジタル画像データを画像圧縮して第1のエリアに記録し、前記所望の露光でないと判定された場合は、前記他方のデジタル画像データを画像圧縮して第2のエリアに記録する、請求項2から請求項4のいずれかに記載の画像監視記録装置。   The recording means compresses the one digital image data and records it in the first area. If it is determined that the exposure is not the desired exposure, the recording means compresses the other digital image data and compresses the second digital image data. The image monitoring recording apparatus according to claim 2, wherein the image monitoring recording apparatus records in an area. 前記デジタル画像データ生成部は、前記第1のデジタル画像データと前記第2のデジタル画像データとをマルチストリーム化して前記記録手段に出力し、
前記記録手段は、前記一方のデジタル画像データを画像圧縮して時間情報や動き検知などの管理情報と関連づけて前記第1のエリアに記録し、前記他方のデジタル画像データを画像圧縮して前記管理情報と関連づけて前記第2のエリアに記録する、請求項5に記載の画像監視記録装置。
The digital image data generation unit multistreams the first digital image data and the second digital image data and outputs the multistream;
The recording means compresses the one digital image data and records it in the first area in association with management information such as time information and motion detection, and compresses the other digital image data to perform the management. The image monitoring recording apparatus according to claim 5, wherein the image monitoring recording apparatus records information in the second area in association with information.
前記露出制御部が前記所望の露光でないと判定したときは、
前記デジタル画像データ生成部は、前記動き検知手段で検出された前記移動体の位置と大きさを切り出した領域からなる前記他方のデジタル画像データを生成する、請求項2から請求項6のいずれかに記載の画像監視記録装置。
When the exposure control unit determines that it is not the desired exposure,
The digital image data generation unit generates the other digital image data including an area obtained by cutting out the position and size of the moving body detected by the motion detection unit. The image monitoring recording apparatus described in 1.
前記露出制御部は、前記ブロック毎の輝度情報と前記検知手段の検出結果から、前記移動体が逆光環境下に有るか否かを判定する、請求項2から請求項7のいずれかに記載の画像監視記録装置。   The said exposure control part determines whether the said moving body exists in a backlight environment from the luminance information for every said block, and the detection result of the said detection means, The one in any one of Claims 2-7 Image monitoring and recording device.
JP2009127522A 2009-05-27 2009-05-27 Image monitoring/recording device Pending JP2010278614A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009127522A JP2010278614A (en) 2009-05-27 2009-05-27 Image monitoring/recording device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009127522A JP2010278614A (en) 2009-05-27 2009-05-27 Image monitoring/recording device

Publications (1)

Publication Number Publication Date
JP2010278614A true JP2010278614A (en) 2010-12-09

Family

ID=43425182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009127522A Pending JP2010278614A (en) 2009-05-27 2009-05-27 Image monitoring/recording device

Country Status (1)

Country Link
JP (1) JP2010278614A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101204097B1 (en) 2011-03-15 2012-11-22 삼성테크윈 주식회사 Security system and method of controlling thereof
JP2016096409A (en) * 2014-11-13 2016-05-26 カシオ計算機株式会社 Image acquisition device and program
CN113345191A (en) * 2021-04-23 2021-09-03 浙江大华技术股份有限公司 Camera monitoring method, electronic equipment and computer storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216583A (en) * 2000-02-01 2001-08-10 Oki Electric Ind Co Ltd Camera system
JP2004187124A (en) * 2002-12-05 2004-07-02 Minolta Co Ltd Image pickup device
JP2009048240A (en) * 2007-08-13 2009-03-05 Tokyo Institute Of Technology Detection method, detection device, monitoring method, and monitoring system of moving object in moving image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216583A (en) * 2000-02-01 2001-08-10 Oki Electric Ind Co Ltd Camera system
JP2004187124A (en) * 2002-12-05 2004-07-02 Minolta Co Ltd Image pickup device
JP2009048240A (en) * 2007-08-13 2009-03-05 Tokyo Institute Of Technology Detection method, detection device, monitoring method, and monitoring system of moving object in moving image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101204097B1 (en) 2011-03-15 2012-11-22 삼성테크윈 주식회사 Security system and method of controlling thereof
JP2016096409A (en) * 2014-11-13 2016-05-26 カシオ計算機株式会社 Image acquisition device and program
CN113345191A (en) * 2021-04-23 2021-09-03 浙江大华技术股份有限公司 Camera monitoring method, electronic equipment and computer storage medium

Similar Documents

Publication Publication Date Title
CN108419023B (en) Method for generating high dynamic range image and related equipment
US8848097B2 (en) Image processing apparatus, and method, for providing special effect
US8081242B2 (en) Imaging apparatus and imaging method
US8937677B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
JP4600684B2 (en) Imaging apparatus and imaging method
US8319864B2 (en) Imaging apparatus and imaging method
JP2001358984A (en) Moving picture processing camera
US20100171842A1 (en) Imaging apparatus and imaging method
JP2009065381A (en) Imaging system, imaging controller, and control method
US20100007766A1 (en) Camera device and image processing method
JP5142614B2 (en) Image playback device
JP4067033B2 (en) Image processing apparatus and method
JP2010278614A (en) Image monitoring/recording device
JP2004096488A (en) Object detection apparatus, object detection method and object detection program
JP2005236662A (en) Imaging method, imaging device, and imaging system
JP2010204404A (en) Monitoring camera and exposure control method for the same
JP4877165B2 (en) Monitoring system
US20020140824A1 (en) System and method for processing low illumination image data
JPH08205021A (en) Image input device
JP2003304417A (en) Imaging system
JP4956094B2 (en) Imaging apparatus and imaging method
JP2022083147A (en) Imaging apparatus, imaging method, program, and recording medium
KR100391266B1 (en) Method for background setup in object-based compression moving-image
JP2012129611A (en) Imaging apparatus
EP3656121B1 (en) Imaging apparatus and imaging method

Legal Events

Date Code Title Description
A621 Written request for application examination

Effective date: 20120126

Free format text: JAPANESE INTERMEDIATE CODE: A621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121109

A131 Notification of reasons for refusal

Effective date: 20121120

Free format text: JAPANESE INTERMEDIATE CODE: A131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130402