JP2008131572A - Monitoring camera apparatus and photographing method of same - Google Patents

Monitoring camera apparatus and photographing method of same Download PDF

Info

Publication number
JP2008131572A
JP2008131572A JP2006317258A JP2006317258A JP2008131572A JP 2008131572 A JP2008131572 A JP 2008131572A JP 2006317258 A JP2006317258 A JP 2006317258A JP 2006317258 A JP2006317258 A JP 2006317258A JP 2008131572 A JP2008131572 A JP 2008131572A
Authority
JP
Japan
Prior art keywords
subject
movement
captured image
recording
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006317258A
Other languages
Japanese (ja)
Inventor
Hiroshi Shinozaki
宏 篠崎
Yasuhito Abiru
康仁 安蒜
Koichi Mio
浩一 三尾
Tetsuo Sakurai
哲夫 桜井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006317258A priority Critical patent/JP2008131572A/en
Publication of JP2008131572A publication Critical patent/JP2008131572A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To economize recording capacitance of a recording medium by changing recording operation of image data onto the recording medium in accordance with a moving amount of a subject monitored by a monitoring camera. <P>SOLUTION: A monitoring camera apparatus of the present invention includes: a photographing means (1) for photographing a subject; a video converting means (2) for converting a photographed image into a video signal; a recording means (3) for recording the photographed image converted into the video signal; a motion detecting means (7) for detecting the motion of the subject from the photographed image; a comparison means (7) for comparing the detected motion of the subject with a predetermined threshold value; and a recording control means (7) which performs control in such a way that when it is judged that the compared motion of the subject is faster than the threshold value, recording intervals of photographed images to be recorded on the recording medium are shortened and when it is judged that the motion of the subject is slower than the threshold value, the photographed images to be recorded on the recording medium are recorded while prolonging recording intervals of the photographed images. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

この発明は、この発明は監視カメラ装置に関する。またこの発明は被写体に動きがある場合に、その動きに応じて画像データの記録媒体への記録動作を変化させる監視カメラ装置に関する。   The present invention relates to a surveillance camera device. The present invention also relates to a monitoring camera device that changes the recording operation of image data on a recording medium in accordance with the movement of a subject.

現在、動きのある被写体を監視する監視カメラが普及している。
特許文献1には、複数の入力画像信号を1つのフレームに多重して圧縮符号化する場合に、時々刻々と変化する多重した各画像の内容に応じて適応的に圧縮方法を制御する画像符号化装置が開示されている。
Currently, surveillance cameras that monitor moving subjects are in widespread use.
Patent Document 1 discloses an image code that adaptively controls a compression method according to the contents of each multiplexed image that changes every moment when a plurality of input image signals are multiplexed and compressed into one frame. An apparatus is disclosed.

特許文献1では動きベクトル検出部で動きベクトルを検出し、圧縮方法制御部で多重化した画像ごとに動きベクトルの大きさの総和を求め、その値から1フレーム前の画像との相関を判断して圧縮方法を制御し、画像圧縮部で圧縮方法の制御にしたがって画像データを圧縮符号化する技術が開示されている。こうすることで、多重した各画像の内容に適した圧縮方法の制御を行うことができるというものである。   In Patent Document 1, a motion vector detection unit detects a motion vector, a compression method control unit calculates the sum of the magnitudes of the motion vectors for each of the multiplexed images, and determines the correlation with the previous frame image from that value. A technique for controlling a compression method and compressing and encoding image data in accordance with the control of the compression method in an image compression unit is disclosed. By doing so, it is possible to control a compression method suitable for the contents of each multiplexed image.

しかしながら、この特許文献1に開示された技術においては、一つの画面を複数に小画面に区切り、複数の画像を同時に表示していた。このため、被写体の移動量に応じて記録動作を変化させ、記録媒体の記録容量を節約することはできなかった。
特開2001−28755公報
However, in the technique disclosed in Patent Document 1, one screen is divided into a plurality of small screens and a plurality of images are displayed simultaneously. For this reason, the recording operation cannot be changed according to the amount of movement of the subject to save the recording capacity of the recording medium.
JP 2001-28755 A

そこで、この発明は、上記事情を考慮してなされたもので、監視カメラで監視する被写体の移動量に応じて画像データの記録媒体への記録動作を変化させ、記録媒体の記録容量を節約することを目的とする。   The present invention has been made in view of the above circumstances, and changes the recording operation of the image data on the recording medium in accordance with the amount of movement of the subject monitored by the monitoring camera, thereby saving the recording capacity of the recording medium. For the purpose.

この発明に係る監視カメラ装置は、被写体を撮影する撮影手段と、前記撮影された画像を映像信号に変換する映像変換手段と、映像信号に変換された撮影画像を記録する記録手段と、前記撮影された画像から被写体の動きを検出する動き検出手段と、検出された被写体の動きを予め決められた閾値と比較する比較手段と、前記比較した被写体の動きが閾値より早いと判断した場合は前記記録媒体に記録する撮影画像の記録間隔を短くし、被写体の動きが閾値よりゆっくりと判断した場合は前記記録媒体に記録する撮影画像の記録間隔を長くして記録するように制御する記録制御手段を備えるように構成している。   The surveillance camera device according to the present invention includes a photographing means for photographing a subject, a video converting means for converting the photographed image into a video signal, a recording means for recording the photographed image converted into the video signal, and the photographing A motion detection means for detecting the motion of the subject from the captured image, a comparison means for comparing the detected motion of the subject with a predetermined threshold, and if the motion of the compared subject is determined to be earlier than the threshold, Recording control means for controlling to shorten the recording interval of the captured image to be recorded on the recording medium and to increase the recording interval of the captured image to be recorded on the recording medium when it is determined that the movement of the subject is slower than the threshold value It comprises so that it may be equipped with.

この発明に係る監視カメラの撮影方法は、被写体を撮影するステップと、前記撮影された画像を映像信号に変換するステップと、映像信号に変換された撮影画像を記録するステップと、前記撮影された画像から被写体の動きを検出するステップと、検出された被写体の動きを予め決められた閾値と比較するステップと、前記比較した被写体の動きが閾値より早いと判断した場合は記録媒体に記録する撮影画像の記録間隔を短くし、被写体の動きが閾値よりゆっくりと判断した場合は記録媒体に記録する撮影画像の記録間隔を長くして記録するように制御するステップを備えるように構成している。   The surveillance camera photographing method according to the present invention includes a step of photographing a subject, a step of converting the photographed image into a video signal, a step of recording the photographed image converted into the video signal, and the photographed image A step of detecting the movement of the subject from the image, a step of comparing the detected movement of the subject with a predetermined threshold value, and a shooting that is recorded on a recording medium when it is determined that the compared subject movement is earlier than the threshold value. The image recording interval is shortened, and when it is determined that the movement of the subject is slower than the threshold value, a step of controlling to record with a longer recording interval of the captured image to be recorded on the recording medium is provided.

上記した構成によれば、監視カメラで監視する被写体の移動量に応じて、画像データの記録媒体への記録動作またはネットワークへの配信動作を変化させ、監視カメラで撮影する画像のデータ量を削減することが可能となる。また、画像のデータ量を削減することによって、記録媒体の記録容量を節約することが可能となる。   According to the configuration described above, the recording operation of the image data on the recording medium or the distribution operation to the network is changed according to the moving amount of the subject monitored by the monitoring camera, and the data amount of the image captured by the monitoring camera is reduced. It becomes possible to do. Further, by reducing the amount of image data, the recording capacity of the recording medium can be saved.

以下、図面を参照してこの発明の実施の形態を説明する。
図1はこの発明の実施の形態に係る監視カメラ装置において、被写体の移動速度に応じて、画像データを記憶媒体に記録する時間間隔(またはネットワーク10へ配信するための時間間隔)を制御するようすを説明する図である。
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 shows a monitoring camera apparatus according to an embodiment of the present invention that controls a time interval for recording image data on a storage medium (or a time interval for distribution to the network 10) in accordance with the moving speed of the subject. FIG.

図1(a)、図1(b)は監視カメラ装置を用いて動きのある被写体の動きを検出し、記録画像の間隔を制御している。ここでは、被写体の撮影画像を映像信号に変換して連続的に記録媒体に記録する。   In FIGS. 1A and 1B, the movement of a moving subject is detected using a monitoring camera device, and the interval between recorded images is controlled. Here, the captured image of the subject is converted into a video signal and continuously recorded on a recording medium.

図1(a)は監視カメラ装置の撮影中に被写体が早く移動したようすを示している。例えば、静止した被写体の前を動体が移動した場合に、被写体の移動量に応じて記録動作を変化させない従来の監視カメラ装置においては、画像を一定の速度で取り込み、画像圧縮を一定速度で行い記録媒体に記録していた。このため、図1(a)に示すような動きが早い被写体の場合はCPUが一定速度で出力制御を行う。このとき、例えば、一定の画像出力期間に3フレーム分の画像を出力する能力があっても、被写体が撮影されているフレームは2枚となってしまう。   FIG. 1A shows how the subject moves quickly during the photographing by the surveillance camera device. For example, when a moving object moves in front of a stationary subject, a conventional surveillance camera device that does not change the recording operation according to the amount of movement of the subject captures an image at a constant speed and performs image compression at a constant speed. It was recorded on a recording medium. For this reason, in the case of a subject that moves quickly as shown in FIG. 1A, the CPU performs output control at a constant speed. At this time, for example, even if there is an ability to output an image of three frames in a certain image output period, the number of frames in which the subject is photographed is two.

この発明の実施の形態においては、後述するように、動き検出部において検出された被写体の動き(移動量)をCPUが取得し、出力制御に反映させる。例えば、被写体の動き(移動量)が大きくなると、それに連動して単位時間当たりの出力フレーム数を2倍にする。これによって、被写体が撮影されているフレームは4枚となり、被写体の動きをより詳細に記録することが可能となる。   In the embodiment of the present invention, as will be described later, the CPU acquires the motion (movement amount) of the subject detected by the motion detection unit and reflects it in the output control. For example, when the movement (movement amount) of the subject increases, the number of output frames per unit time is doubled in conjunction therewith. As a result, the number of frames in which the subject is photographed becomes four, and the movement of the subject can be recorded in more detail.

図1(b)は監視カメラ装置の撮影中に被写体がゆっくり移動したようすを示している。
ゆっくり動く被写体は、被写体の移動量が少ないとCPUが判断し、単位時間当たりの出力フレーム数を例えば2分の1に削減する。この場合、被写体がゆっくり移動しているので、被写体の動きを充分把握することが可能な範囲で画像を記録し、かつ、記録媒体の記録容量を節約することが可能となる。
FIG. 1B shows how the subject slowly moves during shooting by the surveillance camera device.
For a slowly moving subject, the CPU determines that the amount of movement of the subject is small, and reduces the number of output frames per unit time to, for example, one half. In this case, since the subject is moving slowly, it is possible to record an image within a range where the movement of the subject can be sufficiently grasped, and to save the recording capacity of the recording medium.

図2はこの発明の実施の形態に係る監視カメラ装置の構成を説明するブロック図である。
符号1は撮影部、符号2は信号処理部、符号3はメモリ1、符号4は計算部、符号5は圧縮部、符号6はメモリ2、符号7はCPU、符号8は制御部1、符号9は制御部2、符号10はNIC(ネットワークインタフェースカード)、符号11は記録媒体(HDD、DVD、ビデオテープ等)である。
FIG. 2 is a block diagram illustrating the configuration of the surveillance camera device according to the embodiment of the present invention.
Reference numeral 1 is a photographing unit, reference numeral 2 is a signal processing unit, reference numeral 3 is a memory 1, reference numeral 4 is a calculation unit, reference numeral 5 is a compression unit, reference numeral 6 is a memory 2, reference numeral 7 is a CPU, reference numeral 8 is a control unit 1, reference numeral Reference numeral 9 denotes a control unit 2, reference numeral 10 denotes a NIC (network interface card), and reference numeral 11 denotes a recording medium (HDD, DVD, video tape, etc.).

撮影部1は図示しないレンズ、撮像素子を構成する。また、この発明の実施の形態に係る監視カメラ装置は、図示しないパン/チルト機構を備えており、撮影部1をパン方向/チルト方向に動かし、被写体の撮影を行うことが可能である。   The photographing unit 1 constitutes a lens and an image sensor that are not shown. The surveillance camera device according to the embodiment of the present invention includes a pan / tilt mechanism (not shown), and can photograph the subject by moving the photographing unit 1 in the pan / tilt direction.

被写体から反射された光は、レンズを介して撮像素子により撮像される。レンズは、図示しないフォーカス用モーターにより前後に駆動され、これにより撮像素子上に結像される像のフォーカスが調整される。   The light reflected from the subject is imaged by the image sensor through the lens. The lens is driven back and forth by a focus motor (not shown), thereby adjusting the focus of the image formed on the image sensor.

撮像素子は、撮像された光を電気信号に変換することにより得た電気信号を、信号処理部2に入力する。信号処理部2では、撮像素子で光電変換によって生じた画素毎の電気信号からクランプパルスを用いて画素ごとにサンプル・ホールドすることにより映像信号を抽出する。また、このようにして得た映像信号を所定の利得で増幅した後、アナログ映像信号からデジタル映像信号に変換する。その後、ガンマ、ディテール等の信号処理を施し、メモリ1(3)へ向けて出力する。メモリ1(3)はDRAM等の半導体メモリで構成され、上記映像信号を記憶する。   The imaging element inputs an electrical signal obtained by converting the captured light into an electrical signal to the signal processing unit 2. The signal processing unit 2 extracts a video signal by sampling and holding for each pixel using a clamp pulse from an electric signal for each pixel generated by photoelectric conversion in the image sensor. The video signal obtained in this way is amplified with a predetermined gain and then converted from an analog video signal to a digital video signal. Thereafter, signal processing such as gamma and detail is performed and output to the memory 1 (3). The memory 1 (3) is composed of a semiconductor memory such as a DRAM and stores the video signal.

計算部4はCPU7に制御され、映像信号の各フレームの差分から動きベクトルを検出して被写体の動きを認知するモーション検出機能を有している。そして、メモリ1(3)に記憶された映像信号(画像データ)の各フレームの差分から動きベクトルを検出して被写体の動きを認知する。また、メモリ1(3)に記憶された映像信号(画像データ)を圧縮部5にて圧縮処理し、メモリ2(6)に保存する。   The calculation unit 4 is controlled by the CPU 7 and has a motion detection function for detecting the motion vector from the difference between the frames of the video signal and recognizing the motion of the subject. Then, the motion vector is detected from the difference between the frames of the video signal (image data) stored in the memory 1 (3) to recognize the motion of the subject. The video signal (image data) stored in the memory 1 (3) is compressed by the compression unit 5 and stored in the memory 2 (6).

このとき、制御部1(8)を介して、NIC (ネットワークインタフェースカード) 10よりネットワークへ配信する。また、制御部2(9)を介して、記録媒体11へ映像信号(画像データ)の記録を行う。なお、これら信号処理部2、計算部4、圧縮部5、制御部1(8)、制御部2(9)はCPU7によって制御されている。   At this time, the information is distributed from the NIC (network interface card) 10 to the network via the control unit 1 (8). In addition, a video signal (image data) is recorded on the recording medium 11 via the control unit 2 (9). The signal processing unit 2, the calculation unit 4, the compression unit 5, the control unit 1 (8), and the control unit 2 (9) are controlled by the CPU 7.

また、この発明の実施の形態に係る監視カメラ装置は、モーション検出機能により動きベクトルの大きさをフレーム毎に取得する機能を有している。すなわち、デジタル化された画像データは時系列毎にメモリ1(3)に保存され、計算部4によって各フレームの画像データの差分から動きベクトルを検出して、撮影された被写体の動きに比例して定量化された数値に置換できる機能を有する。   In addition, the surveillance camera device according to the embodiment of the present invention has a function of acquiring the magnitude of a motion vector for each frame by a motion detection function. That is, the digitized image data is stored in the memory 1 (3) for each time series, and the calculation unit 4 detects a motion vector from the difference of the image data of each frame, and is proportional to the motion of the photographed subject. It has a function that can be replaced with a quantified numerical value.

また、この発明の実施の形態に係る監視カメラ装置は、動きベクトルの大きさを数値化して、その情報により撮像した画像の保存間隔(時間)を決定する。具体的には、検出された被写体の動きを予め決められた閾値と比較する。   In addition, the surveillance camera device according to the embodiment of the present invention digitizes the magnitude of the motion vector and determines the storage interval (time) of the captured image based on the information. Specifically, the detected movement of the subject is compared with a predetermined threshold value.

CPU7はメモリ2(6)から出力される画像データのフレームレートを管理している。そして、メモリ2(6)に保存された画像データを、NIC(10)を介して配信するための時間間隔や記録媒体11へ保存するための時間間隔を制御している。   The CPU 7 manages the frame rate of the image data output from the memory 2 (6). Then, the time interval for distributing the image data stored in the memory 2 (6) via the NIC (10) and the time interval for storing in the recording medium 11 are controlled.

また、CPU7は、メモリ1(3)、計算部(4)を備えるモーション検出部(図示せず)によって数値化された移動量(変化量)を取得する。そして、これをメモリ2(6)から出力されるフレームレートに反映させる。すなわち、ネットワーク10へ配信するための時間間隔や、記録媒体11へ保存するための時間間隔を、モーション検出によって得た動きの大きさに応じて、長くしたり短くしたりする。   Further, the CPU 7 acquires the movement amount (change amount) quantified by a motion detection unit (not shown) including the memory 1 (3) and the calculation unit (4). This is reflected in the frame rate output from the memory 2 (6). That is, the time interval for distributing to the network 10 and the time interval for storing in the recording medium 11 are lengthened or shortened according to the magnitude of the motion obtained by motion detection.

そして、比較した被写体の動きが閾値より早いと判断した場合は前記記録媒体に記録する撮影画像の記録間隔を短くし、被写体の動きが閾値よりゆっくりと判断した場合は前記記録媒体に記録する撮影画像の記録間隔を長くして記録するように制御する。   When it is determined that the movement of the compared subject is faster than the threshold, the recording interval of the captured image to be recorded on the recording medium is shortened, and when the subject movement is determined to be slower than the threshold, the recording to be recorded on the recording medium is performed. Control is performed so that the image recording interval is increased.

図3はこの発明の実施の形態に係る監視カメラ装置の動作を説明するフローチャートである。
符号S100はここでの開始ステップである(スタート)。続いて符合S101を付したステップへ進む。
符号S101は動きベクトルを用いて監視カメラの撮影画像における被写体の動きを検出するステップである。続いて符合S102を付したステップへ進む。
符号S102は上記動き検出の手法を用い、被写体の動きはあるか否かを検出するステップである。被写体の動きが検出されたと判断された場合は符号S103を付したステップへ進む(Yes)。被写体の動きが検出されないと判断された場合は符号S101を付したステップへ進み上記処理を繰り返す(No)。
FIG. 3 is a flowchart for explaining the operation of the surveillance camera apparatus according to the embodiment of the present invention.
Symbol S100 is a start step here (start). Then, it progresses to the step which attached | subjected code | symbol S101.
Reference numeral S101 is a step of detecting the motion of the subject in the image captured by the monitoring camera using the motion vector. Subsequently, the process proceeds to the step denoted by reference numeral S102.
Reference numeral S102 is a step of detecting whether or not there is a motion of the subject using the motion detection method. If it is determined that the movement of the subject has been detected, the process proceeds to the step denoted by S103 (Yes). If it is determined that no movement of the subject is detected, the process proceeds to the step denoted by reference numeral S101 and the above process is repeated (No).

符号S103は上記のように、被写体の動きを予め決めた値(閾値)と比較するステップである。続いて符合S104を付したステップへ進む。
符号S104は被写体の動きを閾値と比較し、被写体の動きが閾値と同じか、被写体の動きが閾値より大きい(早い)か、被写体の動きが閾値より小さい(ゆっくり)か、を検出するステップである。被写体の動きが閾値と同じと判断された場合は符号S105を付したステップへ進む(同じ)。被写体の動きが閾値より大きい(早い)と判断された場合は符号S106を付したステップへ進む(大きい(早い))。被写体の動きが閾値より小さい(ゆっくり)と判断された場合は符号S107を付したステップへ進む小さい(ゆっくり)。
Reference numeral S103 is a step for comparing the movement of the subject with a predetermined value (threshold value) as described above. Subsequently, the process proceeds to the step denoted by reference numeral S104.
Reference numeral S104 denotes a step of comparing the movement of the subject with a threshold and detecting whether the movement of the subject is the same as the threshold, whether the movement of the subject is larger than the threshold (fast), or whether the movement of the subject is smaller than the threshold (slow). is there. If it is determined that the movement of the subject is the same as the threshold, the process proceeds to the step denoted by S105 (same). If it is determined that the movement of the subject is larger (faster) than the threshold value, the process proceeds to the step marked S106 (larger (faster)). If it is determined that the movement of the subject is smaller than the threshold value (slowly), the process proceeds to the step labeled S107, which is small (slowly).

符号S105は画像データをネットワーク10へ配信するための時間間隔、または、記録媒体11へ保存するための時間間隔を、特に変更せず、そのまま維持するステップである。続いて符合S101を付したステップへ進み、上記処理を繰り返す。   Reference numeral S <b> 10 <b> 5 is a step of maintaining the time interval for distributing the image data to the network 10 or the time interval for storing the image data in the recording medium 11 as it is without being particularly changed. Subsequently, the process proceeds to the step denoted by reference numeral S101, and the above process is repeated.

符号S106は画像データをネットワーク10へ配信するための時間間隔、または、記録媒体11へ保存するための時間間隔を短くするステップである。続いて符合S101を付したステップへ進み、上記処理を繰り返す。   Reference numeral S10 6 denotes a step of shortening the time interval for distributing the image data to the network 10 or the time interval for storing the image data in the recording medium 11. Subsequently, the process proceeds to the step denoted by reference numeral S101, and the above process is repeated.

符号S107は画像データをネットワーク10へ配信するための時間間隔、または、記録媒体11へ保存するための時間間隔を長くするステップである。続いて符合S101を付したステップへ進み、上記処理を繰り返す。   Reference numeral S <b> 10 <b> 7 is a step of increasing the time interval for distributing the image data to the network 10 or the time interval for storing the image data in the recording medium 11. Subsequently, the process proceeds to the step denoted by reference numeral S101, and the above process is repeated.

すなわち、この発明の実施の形態に係る監視カメラ装置は、被写体の動きを検出し、動きのある被写体の撮影画像を映像信号に変換して連続的に記録媒体に記録する。そして、被写体を撮影する撮影手段、撮影された画像を映像信号に変換する映像変換手段、映像信号に変換された撮影画像を記録する記録手段、撮影された画像から被写体の動きを検出する動き検出手段、検出された被写体の動きを予め決められた閾値と比較する比較手段、比較した被写体の動きが閾値より早いと判断した場合は前記記録媒体に記録する撮影画像の記録間隔を短くし、被写体の動きが閾値よりゆっくりと判断した場合は前記記録媒体に記録する撮影画像の記録間隔を長くして記録するように構成している。   That is, the surveillance camera device according to the embodiment of the present invention detects the movement of the subject, converts the captured image of the moving subject into a video signal, and continuously records it on the recording medium. Then, a photographing means for photographing the subject, a video converting means for converting the photographed image into a video signal, a recording means for recording the photographed image converted into the video signal, and a motion detection for detecting the motion of the subject from the photographed image Means for comparing the detected movement of the subject with a predetermined threshold; if it is determined that the movement of the compared subject is faster than the threshold, the recording interval of the captured image to be recorded on the recording medium is shortened; When the movement of the image is determined to be slower than the threshold, the recording interval of the captured image to be recorded on the recording medium is set to be long.

図4はこの発明の他の実施の形態に係る監視カメラ装置において、被写体の移動速度に応じて、画像データを記憶媒体に記録(またはネットワーク10へ配信)する記録画像の画質(圧縮率)を制御するようすを説明する図である。   FIG. 4 shows the image quality (compression rate) of a recorded image in which image data is recorded on a storage medium (or distributed to the network 10) according to the moving speed of the subject in a surveillance camera device according to another embodiment of the present invention. It is a figure explaining how to control.

上記この発明の実施の形態においては記録間隔を制御対象としたが、この発明の他の実施の形態においては、被写体の動き量と撮像した画像フレームとをリンクさせ、動き量に対応した圧縮率を適用する。   In the above-described embodiment of the present invention, the recording interval is the control target. However, in another embodiment of the present invention, the amount of motion of the subject is linked to the captured image frame, and the compression rate corresponding to the amount of motion is linked. Apply.

例えば、監視カメラが動きのない映像を監視している際に、人が通過し、動きが検出された場合を想定する。
まず、人が通過する以前の処理を説明する。このとき、人が通過する以前は動きのない映像であるため、CPU7は圧縮部5を制御し、画像データが低画質(高圧縮)のままとなるようにする。そして、低画質(高圧縮)の圧縮を行った画像データをメモリ2(6)に向けて出力する。上記のように、この画像データをネットワーク10へ配信または、記録媒体11へ保存する。
For example, it is assumed that a person passes and motion is detected while the surveillance camera is monitoring a motionless video.
First, a process before a person passes will be described. At this time, since the video does not move before a person passes, the CPU 7 controls the compression unit 5 so that the image data remains at low image quality (high compression). Then, the image data subjected to the low image quality (high compression) compression is output to the memory 2 (6). As described above, this image data is distributed to the network 10 or stored in the recording medium 11.

次に、人の通過が検出された場合の処理を説明する。人の通過(すなわち動きのある被写体)が検出されると、CPU7は圧縮部5を制御し、高画質(低圧縮)となるように圧縮率を変更する。そして、画像データに高画質(低圧縮)の圧縮を施し、メモリ2(6)へ向けて出力する。そして、この画像データをネットワーク10へ配信または、記録媒体11へ保存する。   Next, processing when a passage of a person is detected will be described. When the passage of a person (that is, a moving subject) is detected, the CPU 7 controls the compression unit 5 and changes the compression rate so as to achieve high image quality (low compression). The image data is compressed with high image quality (low compression) and output to the memory 2 (6). The image data is distributed to the network 10 or stored in the recording medium 11.

次に、人の通過が検出されなくなった場合の処理を説明する。人の通過(動きのある被写体)が検出されなくなると、上記人が通過する以前と同じ処理へ戻る。すなわち、人の通過(動きのある被写体)が検出されなくなると、CPU7は圧縮部5を制御し、低画質(高圧縮)となるように圧縮率を変更する。そして、低画質(高圧縮)の圧縮を行った画像データをメモリ2(6)に向けて出力する。上記のように、この画像データをネットワーク10へ配信または、記録媒体11へ保存する。   Next, processing when a person's passage is no longer detected will be described. When the passage of a person (a moving subject) is no longer detected, the process returns to the same process as before the person passed. That is, when the passage of a person (a moving subject) is no longer detected, the CPU 7 controls the compression unit 5 to change the compression rate so that the image quality is low (high compression). Then, the image data subjected to the low image quality (high compression) compression is output to the memory 2 (6). As described above, this image data is distributed to the network 10 or stored in the recording medium 11.

図5はこの発明の他の実施の形態に係る監視カメラ装置において、被写体の移動速度に対する記録画像の画質(解像度)を制御するようすを説明する図である。
この発明の他の実施の形態においては、被写体の動き量と撮像した画像フレームとをリンクさせ、動き量に対応した画質(解像度)を適用する。
例えば、監視カメラが動きのない映像を監視している際に、人が通過し、動きが検出された場合を想定する。
まず、人が通過する以前の処理を説明する。このとき、人が通過する以前は動きのない映像であるため、CPU7は圧縮部5を制御し、画像データが低解像度のままとなるようにする。そして、低解像度の圧縮を行った画像データをメモリ2(6)に向けて出力する。上記のように、この画像データをネットワーク10へ配信または、記録媒体11へ保存する。
FIG. 5 is a diagram for explaining how to control the image quality (resolution) of a recorded image with respect to the moving speed of a subject in a surveillance camera device according to another embodiment of the present invention.
In another embodiment of the present invention, the amount of motion of the subject and the captured image frame are linked, and image quality (resolution) corresponding to the amount of motion is applied.
For example, it is assumed that a person passes and motion is detected while the surveillance camera is monitoring a motionless video.
First, a process before a person passes will be described. At this time, since the video does not move before the person passes, the CPU 7 controls the compression unit 5 so that the image data remains at a low resolution. The low-resolution compressed image data is output to the memory 2 (6). As described above, this image data is distributed to the network 10 or stored in the recording medium 11.

次に、人の通過が検出された場合の処理を説明する。人の通過(すなわち動きのある被写体)が検出されると、CPU7は圧縮部5を制御し、画像データが高解像度となるように縮小率を変更する。そして、画像データに高解像度の圧縮を施し、メモリ2(6)へ向けて出力する。そして、この画像データをネットワーク10へ配信または、記録媒体11へ保存する。   Next, processing when a passage of a person is detected will be described. When the passage of a person (that is, a moving subject) is detected, the CPU 7 controls the compression unit 5 to change the reduction ratio so that the image data has a high resolution. Then, the image data is compressed at a high resolution and output to the memory 2 (6). The image data is distributed to the network 10 or stored in the recording medium 11.

次に、人の通過が検出されなくなった場合の処理を説明する。人の通過(動きのある被写体)が検出されなくなると、上記人が通過する以前と同じ処理へ戻る。すなわち、人の通過(動きのある被写体)が検出されなくなると、CPU7は圧縮部5を制御し、低解像度となるように圧縮率を変更する。そして、低解像度の圧縮を行った画像データをメモリ2(6)に向けて出力する。上記のように、この画像データをネットワーク10へ配信または、記録媒体11へ保存する。   Next, processing when a person's passage is no longer detected will be described. When the passage of a person (a moving subject) is no longer detected, the process returns to the same process as before the person passed. That is, when the passage of a person (a moving subject) is no longer detected, the CPU 7 controls the compression unit 5 and changes the compression rate so that the resolution becomes low. The low-resolution compressed image data is output to the memory 2 (6). As described above, this image data is distributed to the network 10 or stored in the recording medium 11.

上記のように構成することによって、この発明の実施の形態においては、監視カメラで監視する被写体の移動量に応じて、画像データの記録媒体への記録動作またはネットワークへの配信動作を変化させ、監視カメラで撮影する画像のデータ量を削減することが可能となるという効果がある。また、画像のデータ量を削減することによって、記録媒体の記録容量を節約することが可能となるという効果がある。   By configuring as described above, in the embodiment of the present invention, the recording operation of the image data to the recording medium or the distribution operation to the network is changed according to the movement amount of the subject monitored by the monitoring camera, There is an effect that it is possible to reduce the amount of data of an image captured by the surveillance camera. Further, there is an effect that the recording capacity of the recording medium can be saved by reducing the amount of image data.

なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその趣旨を逸脱しない範囲で構成要素を種々変形して具体化することが可能である。   Note that the present invention is not limited to the above-described embodiment as it is, and various modifications can be made to the constituent elements without departing from the spirit of the invention at the implementation stage.

この発明の実施の形態に係る監視カメラ装置において、被写体の移動速度に対する記録画像の間隔を制御するようすを説明する図。FIG. 6 is a diagram for explaining how to control the interval of recorded images with respect to the moving speed of a subject in the monitoring camera device according to the embodiment of the present invention. この発明の実施の形態に係る監視カメラ装置の構成を説明するブロック図。The block diagram explaining the structure of the surveillance camera apparatus which concerns on embodiment of this invention. この発明の実施の形態に係る監視カメラ装置の動作を説明するフローチャート。The flowchart explaining operation | movement of the surveillance camera apparatus which concerns on embodiment of this invention. この発明の他の実施の形態に係る監視カメラ装置において、被写体の移動速度に対する記録画像の画質(圧縮率)を制御するようすを説明する図。The figure explaining how to control the image quality (compression rate) of the recorded image with respect to the moving speed of the subject in the surveillance camera device according to another embodiment of the present invention. この発明の他の実施の形態に係る監視カメラ装置において、被写体の移動速度に対する記録画像の画質(解像度)を制御するようすを説明する図。The figure explaining how to control the image quality (resolution) of the recorded image with respect to the moving speed of the subject in the surveillance camera device according to another embodiment of the present invention.

符号の説明Explanation of symbols

1・・・撮影部(レンズ、撮像素子)、2・・・信号処理部、3・・・メモリ1、4・・・計算部、5・・・圧縮部、6・・・メモリ2、7・・・CPU、8・・・制御部1、9・・・制御部2、10・・・NIC(ネットワークインタフェースカード)、11・・・記録媒体(HDD、DVD、ビデオテープ等)。     DESCRIPTION OF SYMBOLS 1 ... Imaging | photography part (a lens, an image pick-up element), 2 ... Signal processing part, 3 ... Memory 1, 4 ... Calculation part, 5 ... Compression part, 6 ... Memory 2, 7 ... CPU, 8 ... control unit 1, 9 ... control unit 2, 10 ... NIC (network interface card), 11 ... recording medium (HDD, DVD, video tape, etc.).

Claims (8)

被写体の動きを検出し、動きのある被写体の撮影画像を映像信号に変換して連続的に記録媒体に記録する監視カメラ装置において、
被写体を撮影する撮影手段と、
前記撮影された画像を映像信号に変換する映像変換手段と、
映像信号に変換された撮影画像を記録する記録手段と、
前記撮影された画像から被写体の動きを検出する動き検出手段と、
検出された被写体の動きを予め決められた閾値と比較する比較手段と、
前記比較した被写体の動きが閾値より早いと判断した場合は前記記録媒体に記録する撮影画像の記録間隔を短くし、被写体の動きが閾値よりゆっくりと判断した場合は前記記録媒体に記録する撮影画像の記録間隔を長くして記録するように制御する記録制御手段を備えることを特徴とする監視カメラ装置。
In a monitoring camera device that detects the movement of a subject, converts a captured image of the moving subject into a video signal, and continuously records it on a recording medium.
Photographing means for photographing the subject;
Video conversion means for converting the captured image into a video signal;
Recording means for recording a photographed image converted into a video signal;
Movement detection means for detecting movement of a subject from the photographed image;
A comparison means for comparing the detected movement of the subject with a predetermined threshold;
When it is determined that the movement of the compared subject is faster than the threshold, the recording interval of the captured image to be recorded on the recording medium is shortened, and when the movement of the subject is determined to be slower than the threshold, the captured image to be recorded on the recording medium. A surveillance camera device comprising recording control means for controlling the recording to be performed with a longer recording interval.
被写体の動きを検出し、動きのある被写体の撮影画像を映像信号に変換して連続的に記録媒体に記録する監視カメラ装置において、
被写体を撮影する撮影手段と、
前記撮影された画像を映像信号に変換する映像変換手段と、
映像信号に変換された撮影画像を圧縮して記録する記録手段と、
前記撮影された画像から被写体の動きを検出する動き検出手段と、
検出された被写体の動きを予め決められた閾値と比較する比較手段と、
前記比較した被写体の動きが閾値より早いと判断した場合は前記記録媒体に記録する撮影画像の圧縮率を低くし、被写体の動きが閾値よりゆっくりと判断した場合は前記記録媒体に記録する撮影画像の圧縮率を高くして記録するように制御する記録制御手段を備えることを特徴とする監視カメラ装置。
In a monitoring camera device that detects the movement of a subject, converts a captured image of the moving subject into a video signal, and continuously records it on a recording medium.
Photographing means for photographing the subject;
Video conversion means for converting the captured image into a video signal;
Recording means for compressing and recording the captured image converted into the video signal;
Movement detection means for detecting movement of a subject from the photographed image;
A comparison means for comparing the detected movement of the subject with a predetermined threshold;
When it is determined that the movement of the compared subject is faster than a threshold value, the compression rate of the photographed image to be recorded on the recording medium is lowered, and when the subject motion is judged to be slower than the threshold value, the photographed image to be recorded on the recording medium. A surveillance camera device comprising recording control means for controlling so as to record at a high compression ratio.
被写体の動きを検出し、動きのある被写体の撮影画像を映像信号に変換して連続的に記録媒体に記録する監視カメラ装置において、
被写体を撮影する撮影手段と、
前記撮影された画像を映像信号に変換する映像変換手段と、
映像信号に変換された撮影画像を記録する記録手段と、
前記撮影された画像から被写体の動きを検出する動き検出手段と、
検出された被写体の動きを予め決められた閾値と比較する比較手段と、
前記比較した被写体の動きが閾値より早いと判断した場合は前記記録媒体に記録する撮影画像の解像度を高くし、被写体の動きが閾値よりゆっくりと判断した場合は前記記録媒体に記録する撮影画像の解像度を低くして記録するように制御する記録制御手段を備えることを特徴とする監視カメラ装置。
In a monitoring camera device that detects the movement of a subject, converts a captured image of the moving subject into a video signal, and continuously records it on a recording medium.
Photographing means for photographing the subject;
Video conversion means for converting the captured image into a video signal;
Recording means for recording a photographed image converted into a video signal;
Movement detection means for detecting movement of a subject from the photographed image;
A comparison means for comparing the detected movement of the subject with a predetermined threshold;
If it is determined that the movement of the compared subject is faster than the threshold, the resolution of the captured image to be recorded on the recording medium is increased, and if it is determined that the movement of the subject is slower than the threshold, the captured image to be recorded on the recording medium is increased. A surveillance camera device comprising recording control means for controlling to record at a reduced resolution.
被写体を撮影するステップと、
前記撮影された画像を映像信号に変換するステップと、
映像信号に変換された撮影画像を記録するステップと、
前記撮影された画像から被写体の動きを検出するステップと、
検出された被写体の動きを予め決められた閾値と比較するステップと、
前記比較した被写体の動きが閾値より早いと判断した場合は記録媒体に記録する撮影画像の記録間隔を短くし、被写体の動きが閾値よりゆっくりと判断した場合は記録媒体に記録する撮影画像の記録間隔を長くして記録するように制御するステップを備えることを特徴とする監視カメラの撮影方法。
Shooting a subject,
Converting the captured image into a video signal;
Recording a captured image converted into a video signal;
Detecting a movement of a subject from the captured image;
Comparing the detected movement of the subject with a predetermined threshold;
When it is determined that the movement of the compared subject is faster than the threshold value, the recording interval of the captured image to be recorded on the recording medium is shortened, and when it is determined that the subject movement is slower than the threshold value, the recording of the captured image to be recorded on the recording medium is performed. A method for photographing a surveillance camera, comprising the step of controlling to record at a longer interval.
被写体を撮影するステップと、
前記撮影された画像を映像信号に変換するステップと、
映像信号に変換された撮影画像を圧縮して記録するステップと、
前記撮影された画像から被写体の動きを検出するステップと、
検出された被写体の動きを予め決められた閾値と比較するステップと、
前記比較した被写体の動きが閾値より早いと判断した場合は記録媒体に記録する撮影画像の圧縮率を低くし、被写体の動きが閾値よりゆっくりと判断した場合は記録媒体に記録する撮影画像の圧縮率を高くして記録するように制御するステップを備えることを特徴とする監視カメラの撮影方法。
Shooting a subject,
Converting the captured image into a video signal;
A step of compressing and recording a captured image converted into a video signal;
Detecting a movement of a subject from the captured image;
Comparing the detected movement of the subject with a predetermined threshold;
When it is determined that the compared movement of the subject is faster than the threshold, the compression rate of the captured image to be recorded on the recording medium is lowered, and when the movement of the subject is determined to be slower than the threshold, the captured image to be recorded on the recording medium is compressed. A method of photographing a surveillance camera, comprising a step of controlling to record at a high rate.
被写体を撮影するステップと、
前記撮影された画像を映像信号に変換するステップと、
映像信号に変換された撮影画像を記録するステップと、
前記撮影された画像から被写体の動きを検出するステップと、
検出された被写体の動きを予め決められた閾値と比較するステップと、
前記比較した被写体の動きが閾値より早いと判断した場合は記録媒体に記録する撮影画像の解像度を高くし、被写体の動きが閾値よりゆっくりと判断した場合は記録媒体に記録する撮影画像の解像度を低くして記録するように制御するステップを備えることを特徴とする監視カメラの撮影方法。
Shooting a subject,
Converting the captured image into a video signal;
Recording a captured image converted into a video signal;
Detecting a movement of a subject from the captured image;
Comparing the detected movement of the subject with a predetermined threshold;
When it is determined that the movement of the compared subject is faster than the threshold, the resolution of the captured image to be recorded on the recording medium is increased, and when the movement of the subject is determined to be slower than the threshold, the resolution of the captured image to be recorded on the recording medium is increased. A method for photographing a surveillance camera, comprising the step of controlling to record at a low level.
被写体の動きを検出し、動きのある被写体の撮影画像を映像信号に変換して連続的に出力する監視カメラ装置において、
被写体を撮影する撮影手段と、
前記撮影された画像を映像信号に変換する映像変換手段と、
映像信号に変換された撮影画像を出力する出力手段と、
前記撮影された画像から被写体の動きを検出する動き検出手段と、
検出された被写体の動きを予め決められた閾値と比較する比較手段と、
前記比較した被写体の動きが閾値より早いと判断した場合は前記出力する撮影画像の出力間隔を短くし、被写体の動きが閾値よりゆっくりと判断した場合は前記出力する撮影画像の出力間隔を長くするように制御する記録制御手段を備えることを特徴とする監視カメラ装置。
In a monitoring camera device that detects the movement of a subject, converts a captured image of a moving subject into a video signal, and continuously outputs the video signal.
Photographing means for photographing the subject;
Video conversion means for converting the captured image into a video signal;
Output means for outputting a captured image converted into a video signal;
Movement detection means for detecting movement of a subject from the photographed image;
A comparison means for comparing the detected movement of the subject with a predetermined threshold;
When it is determined that the compared subject movement is earlier than the threshold, the output interval of the output captured image is shortened, and when the subject movement is determined slower than the threshold, the output interval of the output captured image is increased. A surveillance camera device comprising a recording control means for controlling as described above.
被写体を撮影するステップと、
前記撮影された画像を映像信号に変換するステップと、
映像信号に変換された撮影画像を出力するステップと、
前記撮影された画像から被写体の動きを検出するステップと、
検出された被写体の動きを予め決められた閾値と比較するステップと、
前記比較した被写体の動きが閾値より早いと判断した場合は出力する撮影画像の出力間隔を短くし、被写体の動きが閾値よりゆっくりと判断した場合は出力する撮影画像の出力間隔を長くするように制御するステップを備えることを特徴とする監視カメラの撮影方法。
Shooting a subject,
Converting the captured image into a video signal;
Outputting a captured image converted into a video signal;
Detecting a movement of a subject from the captured image;
Comparing the detected movement of the subject with a predetermined threshold;
When it is determined that the movement of the compared subject is earlier than the threshold, the output interval of the captured image to be output is shortened, and when the movement of the subject is determined to be slower than the threshold, the output interval of the captured image to be output is increased. A monitoring camera photographing method comprising a step of controlling.
JP2006317258A 2006-11-24 2006-11-24 Monitoring camera apparatus and photographing method of same Pending JP2008131572A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006317258A JP2008131572A (en) 2006-11-24 2006-11-24 Monitoring camera apparatus and photographing method of same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006317258A JP2008131572A (en) 2006-11-24 2006-11-24 Monitoring camera apparatus and photographing method of same

Publications (1)

Publication Number Publication Date
JP2008131572A true JP2008131572A (en) 2008-06-05

Family

ID=39556946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006317258A Pending JP2008131572A (en) 2006-11-24 2006-11-24 Monitoring camera apparatus and photographing method of same

Country Status (1)

Country Link
JP (1) JP2008131572A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206364A (en) * 2009-03-02 2010-09-16 Mitsubishi Electric Corp Image monitoring system
US8780214B2 (en) 2010-05-10 2014-07-15 Panasonic Corporation Imaging apparatus using shorter and larger capturing intervals during continuous shooting function
KR101418892B1 (en) 2013-09-04 2014-07-17 재단법인 다차원 스마트 아이티 융합시스템 연구단 Front-end event detector and low-power camera system using thereof
WO2016017272A1 (en) * 2014-07-28 2016-02-04 クラリオン株式会社 Object detecting device
US11006122B2 (en) 2018-03-11 2021-05-11 Google Llc Static video recognition
JP7474089B2 (en) 2020-03-23 2024-04-24 ニデックプレシジョン株式会社 In-vehicle image capture device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198455A (en) * 1997-09-02 1999-04-09 Samsung Electron Co Ltd Intermittent recording device
JP2000013744A (en) * 1998-06-19 2000-01-14 Nec Corp Time lapse recorder provided with abnormality detection function
JP2002016877A (en) * 2000-06-29 2002-01-18 Toshiba Corp Time lapse recording encoding system and method for time lapse recording
JP2006279464A (en) * 2005-03-29 2006-10-12 Canon Inc Imaging apparatus and network image pick-up system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198455A (en) * 1997-09-02 1999-04-09 Samsung Electron Co Ltd Intermittent recording device
JP2000013744A (en) * 1998-06-19 2000-01-14 Nec Corp Time lapse recorder provided with abnormality detection function
JP2002016877A (en) * 2000-06-29 2002-01-18 Toshiba Corp Time lapse recording encoding system and method for time lapse recording
JP2006279464A (en) * 2005-03-29 2006-10-12 Canon Inc Imaging apparatus and network image pick-up system

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206364A (en) * 2009-03-02 2010-09-16 Mitsubishi Electric Corp Image monitoring system
US8780214B2 (en) 2010-05-10 2014-07-15 Panasonic Corporation Imaging apparatus using shorter and larger capturing intervals during continuous shooting function
KR101418892B1 (en) 2013-09-04 2014-07-17 재단법인 다차원 스마트 아이티 융합시스템 연구단 Front-end event detector and low-power camera system using thereof
WO2016017272A1 (en) * 2014-07-28 2016-02-04 クラリオン株式会社 Object detecting device
JP2016031576A (en) * 2014-07-28 2016-03-07 クラリオン株式会社 Object detection apparatus
US11006122B2 (en) 2018-03-11 2021-05-11 Google Llc Static video recognition
US11917158B2 (en) 2018-03-11 2024-02-27 Google Llc Static video recognition
JP7474089B2 (en) 2020-03-23 2024-04-24 ニデックプレシジョン株式会社 In-vehicle image capture device

Similar Documents

Publication Publication Date Title
JP4687404B2 (en) Image signal processing apparatus, imaging apparatus, and image signal processing method
JP4626493B2 (en) Image processing apparatus, image processing method, program for image processing method, and recording medium recording program for image processing method
US7787019B2 (en) Camera and shooting control method therefor
JP2007067909A (en) Imaging apparatus
JP2008109336A (en) Image processor and imaging apparatus
JP2008131572A (en) Monitoring camera apparatus and photographing method of same
JP2006166400A (en) Imaging apparatus and imaging method
JP2008171108A (en) Face condition determining device and imaging device
JP2007003939A (en) Imaging apparatus
JP2008301162A (en) Photography device, and photographing method
JP2009017030A (en) Image imaging apparatus, and imaging control method
JP2009017427A (en) Imaging device
JP2007049449A (en) Image recorder
JP4288992B2 (en) Imaging apparatus and method
JP2006311367A (en) Imaging apparatus and imaging method
JP4468419B2 (en) Image capturing apparatus and image capturing apparatus control method
JP2008301161A (en) Image processing device, digital camera, and image processing method
JP2007334779A (en) Target image retrieving device, and control method therefor
JP6427859B2 (en) Image processing apparatus, image processing method, and program
JP2009100273A (en) Camera
JP2006318260A (en) Image processor and method therefor
JP2006254308A (en) Video recording apparatus and video recording method
JP2011139123A (en) Image processor and image processing program
JP2006135838A (en) Motion detecting device
JP2005057609A (en) Camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091001

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091001

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100319

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110712