JP2006148430A - Image recording apparatus - Google Patents

Image recording apparatus Download PDF

Info

Publication number
JP2006148430A
JP2006148430A JP2004334389A JP2004334389A JP2006148430A JP 2006148430 A JP2006148430 A JP 2006148430A JP 2004334389 A JP2004334389 A JP 2004334389A JP 2004334389 A JP2004334389 A JP 2004334389A JP 2006148430 A JP2006148430 A JP 2006148430A
Authority
JP
Japan
Prior art keywords
unit
data
image
image recording
test data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004334389A
Other languages
Japanese (ja)
Other versions
JP4485921B2 (en
Inventor
Shinya Sato
信哉 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ikegami Tsushinki Co Ltd
Original Assignee
Ikegami Tsushinki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ikegami Tsushinki Co Ltd filed Critical Ikegami Tsushinki Co Ltd
Priority to JP2004334389A priority Critical patent/JP4485921B2/en
Publication of JP2006148430A publication Critical patent/JP2006148430A/en
Application granted granted Critical
Publication of JP4485921B2 publication Critical patent/JP4485921B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image recording apparatus with a self-diagnosis function of confirming a defect of a recording system of the image recording apparatus by each prescribed time and informing a user about the occurrence of abnormity if any. <P>SOLUTION: The image recording apparatus uses an image compression section 6 to compress a video signal converted into a digital signal, records the compressed data to a hard disk recording section 11, and expands and outputs the data. The image recording apparatus includes a ROM 9 for recording reference data and a test data generating section 3, the image compression 6 compresses the data of the test data generating section 3 and stores the compressed data, compares the reference data with the compressed test data, allows the image compression section 6 to compress the data of the test data generating section 3, stores the compressed data to a RAM 10, compares the reference data in the ROM 9 with the compressed test data in the RAM 10 to discriminate whether or not the data are normal, and can self-diagnose that either of the hard disk recording section 11 and the image compression section 6 is faulty. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、監視用テレビカメラの映像信号をハードディスクなどの記録媒体に記録する画像記録装置に関し、詳しくは画像記録部や画像圧縮部を自己診断することにより装置の異常を検出する自己診断機能付を備えた画像記録装置に関するものである。   The present invention relates to an image recording apparatus for recording a video signal of a surveillance television camera on a recording medium such as a hard disk, and more specifically, with a self-diagnosis function for detecting an abnormality of the apparatus by self-diagnosis of an image recording unit and an image compression unit. The present invention relates to an image recording apparatus including

従来、監視用のテレビカメラ装置では、映像信号をタイムラプス(間欠記録)VTRにより記録していた。このタイムラプスVTRでは、磁気ヘッドクリーニングや磁気ヘッドの交換などの定期的にメンテナンスをする必要があった。最近では、タイムラプスVTRのような頻繁なアクセスに伴う録画の画像劣化が発生する記録媒体からハードディスク(HDD)や半導体メモリなどを使用したデジタルレコーダに変わりつつあり、これらの記録媒体は画像劣化が発生せず取り扱いのより簡便なものである。   Conventionally, in a surveillance television camera apparatus, a video signal is recorded by a time lapse (intermittent recording) VTR. In this time-lapse VTR, it is necessary to perform periodic maintenance such as magnetic head cleaning and magnetic head replacement. Recently, recording media such as time-lapse VTRs that are subject to frequent access and recorded image degradation are changing to digital recorders that use hard disks (HDD), semiconductor memories, etc., and these recording media are subject to image degradation. It is easier to handle without.

デジタルレコーダはメンテナンスフリーであり、監視用画像記録装置の記憶媒体として利用した場合、管理維持が簡便であるとともに連続記録機能性に優れているといった特徴がある。例えば、デジタルレコーダを使用した監視用画像記録装置には、上書きしながら連続に記録するプリレコーディングメモリと、人間が監視領域に近づくと作動し、その監視画像を記憶するレコーディングメモリを備えたものがある(例えば、特許文献1を参照)。   The digital recorder is maintenance-free, and is characterized by being easy to maintain and being excellent in continuous recording functionality when used as a storage medium for a monitoring image recording apparatus. For example, a monitoring image recording apparatus using a digital recorder includes a pre-recording memory that continuously records while overwriting, and a recording memory that operates when a person approaches the monitoring area and stores the monitoring image. Yes (see, for example, Patent Document 1).

特開平9−46636号公報(明細書段落〔0012〕,図面図2)Japanese Patent Laid-Open No. 9-46636 (paragraph [0012] of the specification, drawing 2)

しかしながら、監視用画像記録装置にデジタルレコーダを使用したものは、メンテナンスフリーであり維持管理が簡便であるといった利点があるものの記録機能に不具合が発生した場合、管理者が映像信号が記録されていないにもかかわらず、長時間気付かない可能性があった。従来のデジタルレコーダには、このような記録動作の不具合を自動的で確認する機能はなく、事件事故が発生し、デジタルレコーダのデータを再生して初めて記録されていないことに気が付くことがあった。監視用画像記録装置では、このような記録漏れが発生したのでは致命的な問題となり、改善の余地があった。   However, the use of a digital recorder for the monitoring image recording apparatus has the advantage that it is maintenance-free and easy to maintain and manage, but if a malfunction occurs in the recording function, the video signal is not recorded by the administrator. Nevertheless, he may not have noticed for a long time. The conventional digital recorder does not have a function for automatically confirming such a malfunction of the recording operation, and there was a case where an accident occurred and it was noticed that the data was not recorded for the first time after reproducing the data of the digital recorder. . In the monitoring image recording apparatus, if such a recording omission occurs, it becomes a fatal problem and there is room for improvement.

本発明は、上記のような課題に鑑みなされたものであり、画像記録装置の記録系の不具合を一定時間毎に確認する自己診断機能を有し、異常があった場合にユーザーに通知するようした画像記録装置を提供することを目的とするものである。   The present invention has been made in view of the problems as described above, and has a self-diagnosis function for confirming a malfunction of the recording system of the image recording apparatus at regular intervals, and notifies the user when there is an abnormality. An object of the present invention is to provide an image recording apparatus.

本発明は、上記課題を解決したものであり、請求項1の発明は、デジタル変換した映像信号を画像圧縮部にて圧縮し画像記録部に記憶し、該画像記録部に記録したデータを伸長して出力する画像記録装置において、前記画像記録装置が、基準データを記録する第1の記憶部とテストデータ発生部とを備え、該テストデータ発生部のデータを前記画像圧縮部にて圧縮し前記画像記録部に記憶し、前記第1の記憶部の基準データと前記画像記録部に読み込んだテストデータとを比較する第1の判定手段と、該テストデータ発生部のテストデータを前記画像圧縮部にて圧縮し記憶する第2の記憶部に記憶し、前記第1の記憶部の基準データと前記第2の記憶部に読み込んだテストデータとを比較する第2の判定手段とを備え、前記第1の判定手段により正常であるか否かを判定し、異常と判定した場合、前記第2の判定手段により、前記画像記録部と前記画像圧縮部の何れかが異常であることを自己診断することを特徴とする画像記録装置である。なお、第1および第2の判定手段は、CPU(中央処理装置)によって、実行することができる。また、例えば、第1の記憶部はROMであり、第2の記憶部はRAMである。   The present invention solves the above problems, and the invention of claim 1 compresses a digitally converted video signal by an image compression unit and stores it in the image recording unit, and decompresses the data recorded in the image recording unit. In this case, the image recording apparatus includes a first storage unit that records reference data and a test data generation unit, and the image compression unit compresses the data of the test data generation unit. A first determination means for comparing the reference data stored in the image recording section and the reference data stored in the first storage section with the test data read into the image recording section; Storing in a second storage unit compressed and stored in the unit, and a second determination means for comparing the reference data of the first storage unit and the test data read into the second storage unit, In the first determination means And determining whether the image recording unit or the image compression unit is abnormal by the second determination unit when the abnormality is determined to be abnormal. An image recording apparatus. The first and second determination means can be executed by a CPU (central processing unit). Further, for example, the first storage unit is a ROM, and the second storage unit is a RAM.

また、請求項2の発明は、映像信号をデジタル変換する入力映像信号処理部と、
テストデータを発生するテストデータ発生部と、
前記入力映像信号処理部と前記テストデータ発生部との出力の何れかを選択するデータ切換部と、
前記データ切換部の出力を圧縮する画像圧縮部と、
前記画像圧縮部の出力を記録する画像記録部と、
圧縮した基準データを記録する第1の記憶部と、
前記テストデータ発生部のみの圧縮データを記録する第2の記憶部と、
前記画像記録部からの読み出しデータを伸長する画像伸長部と、
前記画像伸長部の出力信号をアナログ信号に変換する出力映像信号処理部と、
前記テストデータを比較して判定結果を出力する処理部とからなり、
前記処理部は、前記データ切換部が前記テストデータを選択して前記画像圧縮部で圧縮したデータを前記画像記録部に記録し、前記画像記録部から読み出したデータと前記第1の記憶の基準データとを比較し、該比較の結果、不一致のときには、前記テストデータを選択して前記画像圧縮部で圧縮したデータを前記第2の記憶部に記録し、前記第2の記憶部の読み出しデータと前記第1の記憶部の基準データとを比較し、該比較の結果、一致のときは前記画像記録部の異常、又は不一致のときは前記画像圧縮部の異常を判定することを特徴とする画像記録装置である。上記比較、および一致、不一致の判定は、CPU(中央処理装置)によって、実行することができる。また、例えば、第1の記憶部はROMであり、第2の記憶部はRAMである。
According to a second aspect of the present invention, there is provided an input video signal processing unit for digitally converting a video signal;
A test data generator for generating test data;
A data switching unit for selecting one of outputs from the input video signal processing unit and the test data generation unit;
An image compression unit for compressing the output of the data switching unit;
An image recording unit for recording the output of the image compression unit;
A first storage unit for recording the compressed reference data;
A second storage unit for recording compressed data of only the test data generation unit;
An image decompression unit for decompressing data read from the image recording unit;
An output video signal processing unit for converting an output signal of the image expansion unit into an analog signal;
A processing unit that compares the test data and outputs a determination result;
The processing unit records the data compressed by the image compression unit and selected by the data switching unit in the image recording unit, and reads the data read from the image recording unit and the reference of the first storage When the comparison results in a mismatch, the test data is selected, the data compressed by the image compression unit is recorded in the second storage unit, and the read data of the second storage unit is recorded. Is compared with the reference data of the first storage unit, and if the result of the comparison is a match, an abnormality of the image recording unit is determined, or a mismatch is determined, an abnormality of the image compression unit is determined. An image recording apparatus. The comparison and the determination of coincidence or non-coincidence can be executed by a CPU (central processing unit). Further, for example, the first storage unit is a ROM, and the second storage unit is a RAM.

また、請求項3の発明は、請求項1又は2に記載の画像記録装置において、前記テストデータはカラーバー信号による固定画像信号とすることを特徴とする画像記録装置である。   According to a third aspect of the present invention, in the image recording apparatus according to the first or second aspect, the test data is a fixed image signal based on a color bar signal.

また、請求項4の発明は、請求項1又は2に記載の画像記録装置において、前記画像記録部の圧縮したテストデータと前記基準データとの比較を任意で設定する所定時間間隔毎に行うことを特徴とする画像記録装置である。   According to a fourth aspect of the present invention, in the image recording apparatus according to the first or second aspect, the comparison between the test data compressed by the image recording unit and the reference data is performed at predetermined time intervals arbitrarily set. An image recording apparatus characterized by the above.

また、請求項5の発明は、請求項1又は2に記載の画像記録装置において、前記異常と判定された場合、発光ダイオードの点灯または文字にて表示することを特徴とする画像記録装置である。また、異常を検出して出力信号を発信し、その出力信号に基づいて、接点信号により管理者への携帯電話に報知するようなシステムを構築することが可能である。   The invention according to claim 5 is the image recording apparatus according to claim 1 or 2, wherein when the abnormality is determined, the light emitting diode is turned on or displayed by characters. . In addition, it is possible to construct a system that detects an abnormality, transmits an output signal, and notifies a manager to a mobile phone by a contact signal based on the output signal.

本発明の効果について以下に説明する。請求項1の発明では、デジタル変換した映像信号を画像圧縮部にて圧縮し画像記録部に記憶し、該画像記録部に記録したデータを伸長して出力する画像記録装置において、前記画像記録装置が、基準データを記録する第1の記憶部とテストデータ発生部とを備え、該テストデータ発生部のデータを前記画像圧縮部にて圧縮し前記画像記録部に記憶し、前記第1の記憶部の基準データと前記画像記録部に読み込んだテストデータとを比較する第1の判定手段と、該テストデータ発生部のテストデータを前記画像圧縮部にて圧縮し記憶する第2の記憶部に記憶し、前記第1の記憶部の基準データと前記第2の記憶部に読み込んだテストデータとを比較する第2の判定手段とを備え、前記第1の判定手段により正常であるか否かを判定し、異常と判定した場合、前記第2の判定手段により、前記画像記録部と前記画像圧縮部の何れかが異常であることを自己診断することを特徴とする画像記録装置であるので、最初に第1の判定手段により、画像圧縮処理系統を含めた画像記録部の自己診断を行い、基準データと画像記録部に記録したテストデータとが不一致であれば、第2の判定手段により、画像記録部と画像圧縮部との何れかが異常があるか否かを判定することが可能であり、装置としての信頼性を向上させることができ、監視用画像記録装置として極めて効果的である。   The effects of the present invention will be described below. According to the first aspect of the present invention, there is provided an image recording apparatus for compressing a digitally converted video signal by an image compression unit, storing the compressed video signal in the image recording unit, and decompressing and outputting the data recorded in the image recording unit. Comprises a first storage unit for recording reference data and a test data generation unit, the data of the test data generation unit is compressed by the image compression unit and stored in the image recording unit, and the first storage A first determination unit that compares the reference data of the image and the test data read into the image recording unit; and a second storage unit that compresses and stores the test data of the test data generation unit by the image compression unit A second determination unit for storing and comparing the reference data of the first storage unit with the test data read into the second storage unit, and whether or not the first determination unit is normal Is judged as abnormal. In this case, since the image recording apparatus is characterized by self-diagnosis that either the image recording unit or the image compression unit is abnormal by the second determination unit, the first determination is performed first. The image recording unit including the image compression processing system is self-diagnosed by the means, and if the reference data and the test data recorded in the image recording unit do not match, the second determining means uses the image recording unit and the image compression unit. It is possible to determine whether there is an abnormality with any of the units, the reliability of the apparatus can be improved, and it is extremely effective as a monitoring image recording apparatus.

また、請求項2の発明では、映像信号をデジタル変換する入力映像信号処理部と、
テストデータを発生するテストデータ発生部と、
前記入力映像信号処理部と前記テストデータ発生部との出力の何れかを選択するデータ切換部と、
前記データ切換部の出力を圧縮する画像圧縮部と、
前記画像圧縮部の出力を記録する画像記録部と、
圧縮した基準データを記録する第1の記憶部と、
前記テストデータ発生部のみの圧縮データを記録する第2の記憶部と、
前記画像記録部からの読み出しデータを伸長する画像伸長部と、
前記画像伸長部の出力信号をアナログ信号に変換する出力映像信号処理部と、
前記テストデータを比較して判定結果を出力する処理部とからなり、
前記処理部は、前記データ切換部が前記テストデータを選択して前記画像圧縮部で圧縮したデータを前記画像記憶部に記録し、前記画像記録部から読み出したデータと前記第1の記憶の基準データとを比較し、該比較の結果、不一致のときには、前記テストデータを選択して前記画像圧縮部で圧縮したデータを前記第2の記憶部に記録し、前記第2の記憶部の読み出しデータと前記第1の記憶部の基準データとを比較し、該比較の結果、一致のときは前記画像記録部の異常、又は不一致のときは前記画像圧縮部の異常を判定することを特徴とする画像記録装置であるので、最初に圧縮処理系統を含めた画像記録部の自己診断を行い、異常であると判定された場合、基準データと第2の記録部に記録したテストデータとの一致又は不一致により、画像記録部と画像圧縮部との何れかが異常があるかを判定することが可能であり、装置としての信頼性が向上する利点があり、監視用画像記録装置として極めて効果的である。
According to a second aspect of the present invention, an input video signal processing unit for digitally converting a video signal;
A test data generator for generating test data;
A data switching unit for selecting one of outputs from the input video signal processing unit and the test data generation unit;
An image compression unit for compressing the output of the data switching unit;
An image recording unit for recording the output of the image compression unit;
A first storage unit for recording the compressed reference data;
A second storage unit for recording compressed data of only the test data generation unit;
An image decompression unit for decompressing data read from the image recording unit;
An output video signal processing unit for converting an output signal of the image expansion unit into an analog signal;
A processing unit that compares the test data and outputs a determination result;
The processing unit records the data compressed by the image compression unit by the data switching unit selected by the data compression unit in the image storage unit, and the data read from the image recording unit and the reference of the first storage When the comparison results in a mismatch, the test data is selected, the data compressed by the image compression unit is recorded in the second storage unit, and the read data of the second storage unit is recorded. Is compared with the reference data of the first storage unit, and if the result of the comparison is a match, an abnormality of the image recording unit is determined, or a mismatch is determined, an abnormality of the image compression unit is determined. Since it is an image recording apparatus, first, self-diagnosis of the image recording unit including the compression processing system is performed, and if it is determined to be abnormal, the reference data matches the test data recorded in the second recording unit or Due to mismatch One of the image recording unit and an image compression section it is possible to determine whether there is an abnormality, has the advantage of improving the reliability of the device is very effective as a monitoring image recording apparatus.

また、請求項3の発明では、請求項1又は2に記載の画像記録装置において、前記テストデータはカラーバー信号による固定画像信号とすることを特徴とする画像記録装置であるので、画像記録装置や画像圧縮部の故障を検出することができるのみならず、第2の記憶部の圧縮されたテストデータを画像伸長部へ供給し、映像出力信号としてモニターテレビに出力すれば、画像圧縮部の異常検出のみならず、画像伸長部の故障をも検出することが可能である。   According to a third aspect of the present invention, in the image recording apparatus according to the first or second aspect, the test data is a fixed image signal based on a color bar signal. If the test data compressed in the second storage unit is supplied to the image decompression unit and output to the monitor television as a video output signal, the image compression unit It is possible to detect not only the abnormality detection but also the failure of the image expansion unit.

また、請求項4の発明では、請求項1又は2に記載の画像記録装置において、前記画像記録部の圧縮したテストデータと前記基準データとの比較を任意に設定する所定時間間隔毎に行うことを特徴とする画像記録装置であるので、監視対象の重要な記録データが機器故障により記録されていないといった問題の発生を軽減することができる。   According to a fourth aspect of the present invention, in the image recording apparatus according to the first or second aspect, the comparison between the compressed test data of the image recording unit and the reference data is performed at predetermined time intervals arbitrarily set. Therefore, it is possible to reduce the occurrence of a problem that important recording data to be monitored is not recorded due to equipment failure.

また、請求項5の発明では、請求項1又は2に記載の画像記録装置において、前記異常と判定された場合、発光ダイオードの点灯または文字にて表示することを特徴とする画像記録装置であるので、使用者が異常を視認することができるし、この出力を接点信号として携帯電話等の端末機の制御信号として利用し、種々のシステムを構築することができる利点があり、監視用画像記録装置として極めて効果的である。   According to a fifth aspect of the present invention, in the image recording device according to the first or second aspect, when the abnormality is determined, the light emitting diode is turned on or displayed by characters. Therefore, the user can visually recognize the abnormality, and this output can be used as a contact signal as a control signal for a terminal such as a mobile phone, and various systems can be constructed. It is extremely effective as a device.

以下、本発明に係る画像記録装置の実施の形態について、図面を参照して説明する。先ず、本実施形態は、映像入力信号の画像圧縮処理系と、圧縮データの画像伸長処理系と、制御系と、画像記録部等とによる基本構成に自己診断機能を付加した構成からなり、図1が本実施形態を示すブロック図であり、図2がその自己診断機能を説明するフローチャートである。   Embodiments of an image recording apparatus according to the present invention will be described below with reference to the drawings. First, this embodiment has a configuration in which a self-diagnosis function is added to a basic configuration of an image compression processing system for video input signals, an image expansion processing system for compressed data, a control system, an image recording unit, and the like. 1 is a block diagram showing this embodiment, and FIG. 2 is a flowchart for explaining the self-diagnosis function.

図1を参照し、本実施形態の画像記録装置について説明する。先ず、画像圧縮処理系について説明する。1は映像信号が入力される入力端子、2は入力された映像信号を適正なレベルに変換するビデオバッファ、3はカラーバーなどのテストデータを発生するテストデータ発生器、4はビデオバッファ2から入力される映像信号をデジタル変換して輝度信号(Y)と色差信号(U,V)またはR,GおよびB信号の成分に分解するビデオデコーダ(入力映像信号処理部)、5はテストデータ発生器3からのテストデータとビデオデコーダ4からの映像入力信号を選択して出力するデータセレクタ(データ切換部)であり、6はデータセレクタ5より出力されるデータをJPEGなどの規格により圧縮する画像圧縮部である。このように画像圧縮処理系にテストデータ発生器3と映像入力信号とテストデータとの切り換えを行うデータセレクタ5が備えられ、システムバス7を介してCPU処理部(制御部)8に接続される。   With reference to FIG. 1, the image recording apparatus of this embodiment will be described. First, the image compression processing system will be described. 1 is an input terminal to which a video signal is inputted, 2 is a video buffer for converting the inputted video signal to an appropriate level, 3 is a test data generator for generating test data such as a color bar, and 4 is from the video buffer 2 A video decoder (input video signal processing unit) that digitally converts an input video signal and decomposes it into luminance signal (Y) and color difference signals (U, V) or R, G and B signal components, and 5 generates test data. A data selector (data switching unit) that selects and outputs test data from the device 3 and a video input signal from the video decoder 4, and 6 is an image for compressing data output from the data selector 5 according to a standard such as JPEG. It is a compression unit. Thus, the image compression processing system is provided with the test data generator 3, the data selector 5 for switching between the video input signal and the test data, and is connected to the CPU processing unit (control unit) 8 via the system bus 7. .

CPU処理部8は、データセレクタ5の切り換え制御やテストデータを後述の基準データと比較し、一致又は不一致を判定したり、或いはその判定に基づいてアラーム出力信号等を送出する機能を有する。その詳細は後述する。また、9はテストデータを比較するための基準データが書き込まれているROM(Read Only Memory)、10はテストデータを書き込むためのRAM(Random Access Memory)、11は撮像(監視)画像を記録するハードディスク記録部(画像記録部)、12はCPU処理部8を制御する操作パネル、13はアラーム出力部であり、これらはシステムバス7を介してCPU処理部(制御部)8に接続されている。   The CPU processing unit 8 has a function of comparing the switching control of the data selector 5 and the test data with reference data to be described later to determine whether the data matches or does not match, or to send an alarm output signal or the like based on the determination. Details thereof will be described later. Reference numeral 9 is a ROM (Read Only Memory) in which reference data for comparing test data is written, 10 is a RAM (Random Access Memory) for writing test data, and 11 is a captured (monitored) image. A hard disk recording unit (image recording unit), 12 is an operation panel for controlling the CPU processing unit 8, and 13 is an alarm output unit, which are connected to the CPU processing unit (control unit) 8 via the system bus 7. .

画像伸長処理系はシステムバス7に接続され、圧縮された画像データを伸長してコンポジット映像信号として出力する。14は圧縮されたデータを伸長する画像伸長部、15は伸長された輝度信号(Y)と色差信号(U,V)またはR,GおよびBの成分信号よりコンポジット映像信号に変換するためのエンコーダ(出力映像信号処理部)、16は文字表示部(OSD:オンスクリーンディスプレイ)、17はビデオドライバ、18は出力端子であり、これらの回路から画像伸長処理系が構成されている。   The image decompression processing system is connected to the system bus 7 and decompresses the compressed image data and outputs it as a composite video signal. 14 is an image decompression unit for decompressing the compressed data, and 15 is an encoder for converting the decompressed luminance signal (Y) and color difference signals (U, V) or R, G and B component signals into composite video signals. (Output video signal processing unit), 16 is a character display unit (OSD: on-screen display), 17 is a video driver, and 18 is an output terminal. These circuits constitute an image expansion processing system.

先ず、本実施形態における通常の画像記録動作(自己診断を行わない時の動作)について説明する。入力端子1からはテレビカメラの出力である映像信号が入力される。テレビカメラの出力であるから動画信号であるが撮像(監視)対象によっては動きの少ない場合がある。入力した映像信号はビデオバッファ2を通してビデオデコーダ4に入力される。ビデオデコーダ4では、映像信号をデジタル信号に変換し、輝度信号(Y)と色差信号(U,V)またはR,GおよびBの成分信号に分解する。さらに、輝度信号(Y)と色差信号(U,V)またはR,GおよびBの成分信号は、データ切換部5を経由して画像圧縮部6により、JPEGなどの国際標準規格に基づいて画像圧縮が行われる。動画の場合にはモーションJPEGを使用して圧縮する。圧縮された画像信号は、システムバス7を経由してハードディスク記録部11に記録される。   First, a normal image recording operation (operation when no self-diagnosis is performed) in the present embodiment will be described. A video signal that is an output of the television camera is input from the input terminal 1. Since it is an output of a TV camera, it is a moving image signal, but there are cases where there is little movement depending on the object to be imaged (monitored). The input video signal is input to the video decoder 4 through the video buffer 2. The video decoder 4 converts the video signal into a digital signal and decomposes it into a luminance signal (Y) and a color difference signal (U, V) or R, G and B component signals. Further, the luminance signal (Y) and the color difference signals (U, V) or the component signals of R, G, and B are converted into an image based on an international standard such as JPEG by the image compression unit 6 via the data switching unit 5. Compression is performed. In the case of moving images, compression is performed using motion JPEG. The compressed image signal is recorded in the hard disk recording unit 11 via the system bus 7.

ハードディスク記録部11に記録された画像信号は、操作パネル12の操作に応じてCPU処理部8からの制御により読み出される。読み出された圧縮画像信号は画像伸長部14において、圧縮前の輝度信号(Y)と色差信号(U,V)またはR,GおよびB信号に伸長する。伸長した輝度信号(Y)と色差信号(U,V)またはR,GおよびB信号はビデオエンコーダ15でコンポジット映像信号に変換されると同時にアナログ信号に変換され、文字表示部16,ビデオドライバ17を経由して出力端子18から映像信号として出力される。出力された映像信号はテレビモニタに接続することにより記録された画像信号を見ることができる。   The image signal recorded in the hard disk recording unit 11 is read out by the control from the CPU processing unit 8 in accordance with the operation of the operation panel 12. The read compressed image signal is expanded by the image expansion unit 14 into a luminance signal (Y) and a color difference signal (U, V) or R, G, and B signals before compression. The expanded luminance signal (Y) and color difference signals (U, V) or R, G and B signals are converted into composite video signals by the video encoder 15 and simultaneously converted into analog signals. Is output from the output terminal 18 as a video signal. The recorded video signal can be viewed by connecting the output video signal to a television monitor.

次に、本実施形態の画像記録装置における自己診断動作について、図2を参照して説明する。画像記録装置における自己診断は自己診断プログラムによりCPU処理部8を作動させて実行する。先ず、ステップS1にて、自己診断プログラムを作動させて、ステップS2に進む。ステップS2では、CPU処理部8からの切換信号に基づいて、データセレクタ5を切り換えてテストデータを選択し、テストデータ発生部3からのテストデータをデータセレクタ5を経由し画像圧縮部6に入力して画像圧縮する。ステップS3にて、圧縮したテストデータをシステムバス7を経由してハードディスク記録部11に書き込み記録し、ステップS4に進む。ステップS4では、ハードディスク記録部11に記録された圧縮したテストデータを読み出し、CPU処理部8のレジスタに保存する。続いて、基準データを記憶しているROM9より圧縮された基準データを読み出し、CPU処理部8のレジスタに保存しているテストデータと基準データとを比較し、ステップS5に進む。ステップS5にて、基準データと圧縮したテストデータと比較した結果、一致している場合、正常であると判定してステップS6に進み、自己診断を終了する。また、不一致の場合、不良であると判定し、ステップS7に進む。ステップS2〜S5が第1の判定手段であり、画像圧縮系或いはハードディスク記録部11が正常であるか否かの判定を行う。なお、テストデータの比較は、CPU処理部8のレジスタの大きさとテストデータの長さを考慮して一度に実行してもよいし、少しずつ読み出して実行してもよい。   Next, the self-diagnosis operation in the image recording apparatus of the present embodiment will be described with reference to FIG. The self-diagnosis in the image recording apparatus is executed by operating the CPU processing unit 8 by a self-diagnosis program. First, in step S1, the self-diagnosis program is activated, and the process proceeds to step S2. In step S 2, based on a switching signal from the CPU processing unit 8, the data selector 5 is switched to select test data, and the test data from the test data generating unit 3 is input to the image compression unit 6 via the data selector 5. And compress the image. In step S3, the compressed test data is written and recorded in the hard disk recording unit 11 via the system bus 7, and the process proceeds to step S4. In step S 4, the compressed test data recorded in the hard disk recording unit 11 is read and stored in the register of the CPU processing unit 8. Subsequently, the compressed reference data is read from the ROM 9 storing the reference data, the test data stored in the register of the CPU processing unit 8 is compared with the reference data, and the process proceeds to step S5. If the result of comparison between the reference data and the compressed test data matches in step S5, it is determined that the data is normal, the process proceeds to step S6, and the self-diagnosis is terminated. On the other hand, if they do not match, it is determined to be defective and the process proceeds to step S7. Steps S <b> 2 to S <b> 5 are first determination means that determine whether the image compression system or the hard disk recording unit 11 is normal. Note that the comparison of the test data may be executed at a time in consideration of the size of the register of the CPU processing unit 8 and the length of the test data, or may be read and executed little by little.

次に、第1の判定手段において、異常であると判定された場合、ステップS7に進む。ステップS7では、CPU処理部8からの切換信号により、再びデータセレクタ5をテストデータ発生部3からのテストデータを選択するように切り換えて、データセレクタ5で選択したテストデータを画像圧縮部6で圧縮し、ステップS8に進む。ステップS8では、圧縮したテストデータをシステムバス7を経由してRAM10へ書き込み、ステップS9に進む。ステップS9では、RAM10より書き込んだテストデータを読み出し、CPU処理部8のレジスタに保存し、基準データを記憶しているROM9より圧縮された基準データを読み出し、CPU処理部8のレジスタに保存されている圧縮されたテストデータと比較し、ステップS10に進む。ステップS10では、圧縮された基準データとテストデータと比較し、その結果、一致していると判定された場合は、ステップS11に進み、ハードディスク記録部11が不良であると判定する。また、ステップS10において、不一致であると判定された場合、ステップS12に進み、画像圧縮部6が不良であると判定する。これらの判定結果に基づいて、異常検出信号を操作パネル12またはアラーム出力部13に出力する。異常検出信号に基づいて、異常箇所が画像圧縮部6であるか、またはハードディスク記録部11であるかを表出し、自己診断を終了する。これらのステップのステップS7〜S12が第2の判定手段である。   Next, when it is determined by the first determination means that there is an abnormality, the process proceeds to step S7. In step S 7, the data selector 5 is switched again to select the test data from the test data generating unit 3 by the switching signal from the CPU processing unit 8, and the test data selected by the data selector 5 is changed by the image compressing unit 6. Compress and proceed to step S8. In step S8, the compressed test data is written into the RAM 10 via the system bus 7, and the process proceeds to step S9. In step S9, the test data written from the RAM 10 is read out and stored in the register of the CPU processing unit 8, and the compressed reference data is read out from the ROM 9 storing the reference data and stored in the register of the CPU processing unit 8. Compared with the compressed test data, the process proceeds to step S10. In step S10, the compressed reference data is compared with the test data. As a result, if it is determined that they match, the process proceeds to step S11, where it is determined that the hard disk recording unit 11 is defective. If it is determined in step S10 that they do not match, the process proceeds to step S12, where it is determined that the image compression unit 6 is defective. Based on these determination results, an abnormality detection signal is output to the operation panel 12 or the alarm output unit 13. Based on the abnormality detection signal, it is indicated whether the abnormal part is the image compression unit 6 or the hard disk recording unit 11, and the self-diagnosis is terminated. Steps S7 to S12 of these steps are the second determination means.

この自己診断プログラムでは、ステップS1からステップS6、或いはステップS1からステップS11またはステップS12までの一連の動作を所定時間経過毎に実行する。例えば、一分または三分の短い時間間隔で行うように制御すれば、画像記録装置の異常を素早く検知することができ、信頼性を高めることができる。   In this self-diagnosis program, a series of operations from step S1 to step S6, or from step S1 to step S11 or step S12 is executed every predetermined time. For example, if control is performed so as to be performed at a short time interval of one minute or three minutes, an abnormality in the image recording apparatus can be detected quickly, and reliability can be improved.

また、テストデータとしては、画像信号として基準となるカラーバー信号を使用する。
カラーバーなどの固定画像を画像圧縮部6で一定の自己診断用パラメータ(圧縮率など)により画像圧縮する。この圧縮したデータをハードディスク記録部11に書き込む。次に、ハードディスク記録部11から今圧縮したテストデータの圧縮データを読み出し、ROM9からは、予め用意してあった基準データを読み出し比較処理を行う。ここで基準データとは、テストデータをHDD(ハードディスク記録部11)の自己診断用に作成した比較用基準圧縮データである。このとき、画像圧縮部6で設定した自己診断用パラメータ(圧縮率など)を記録診断時に設定使用することで、画像圧縮部6が正常の場合、圧縮画像のデータは基準データと同じ圧縮データを得ることができる。
As the test data, a color bar signal serving as a reference is used as an image signal.
A fixed image such as a color bar is image-compressed by the image compression unit 6 using a certain self-diagnosis parameter (compression rate or the like). The compressed data is written into the hard disk recording unit 11. Next, the compressed data of the test data that has been compressed is read out from the hard disk recording unit 11, and the reference data prepared in advance is read out from the ROM 9 and compared. Here, the reference data is reference compressed data for comparison created by test data for self-diagnosis of the HDD (hard disk recording unit 11). At this time, the self-diagnosis parameters (compression rate, etc.) set by the image compression unit 6 are set and used at the time of recording diagnosis. When the image compression unit 6 is normal, the compressed image data is the same as the reference data. Obtainable.

また、カラーバー信号をテストデータとして使用することによって、画像圧縮した後、ハードディスク記録部11またはRAM10に書き込みした信号を読み出したときに、その読み出し信号を画像伸長部14で伸長し、映像出力端子をテレビモニタに接続すれば、テレビモニタ出力で画像伸長部の動作を自己診断することも可能であり、さらにハードディスク記録部11や画像圧縮部6での読み出し結果をテレビモニタで確認することもできる。   Further, when a signal written to the hard disk recording unit 11 or the RAM 10 is read after image compression by using the color bar signal as test data, the read signal is expanded by the image expansion unit 14 and the video output terminal Can be connected to a TV monitor, the operation of the image expansion unit can be self-diagnosed by the TV monitor output, and the readout results from the hard disk recording unit 11 and the image compression unit 6 can be confirmed on the TV monitor. .

次に、本実施形態における異常発生時の通知について説明する。第一は、液晶ディスプレイ等を使用した操作パネルである場合、異常箇所を文字表示することができる。例えば、ハードディスク記録部が異常であれば、「HDDの異常が検出されました。画像が正しく記録されません。電源をOFFして至急メンテナンスしてください。」などと警告行うことができる。また、画像圧縮部が異常であれば、「画像圧縮部が異常が検出されました。画像が正しく記録されません。電源をOFFして至急メンテナンスしてください。」などと警告行うことができるし、同じ内容の表示を文字表示部16でOSDにて文字表示する。他の通知として操作パネル上に発光ダイオードを設けて異常のときは点灯することもできる。さらに、アラーム出力部13においてブザーで警告したり、リレーなどの接点出力として出力することもできる。   Next, notification when an abnormality occurs in the present embodiment will be described. First, in the case of an operation panel using a liquid crystal display or the like, the abnormal part can be displayed as characters. For example, if the hard disk recording unit is abnormal, a warning can be issued such as "HDD abnormality detected. Images are not recorded correctly. Please turn off the power and perform maintenance immediately." Also, if the image compression unit is abnormal, a warning such as "Image compression unit detected an abnormality. The image is not recorded correctly. Please turn off the power and perform maintenance immediately." Then, the display of the same content is displayed on the character display unit 16 by the OSD. As another notification, a light-emitting diode can be provided on the operation panel so that it can be turned on when an abnormality occurs. Further, the alarm output unit 13 can warn with a buzzer or output as a contact output of a relay or the like.

また、異常検出時の接点出力に基づいて、自動的に携帯電話に通話できるようにし、音声で異常を通知することも可能であり、監視用画像記録装置として信頼性の高いシステムを構築することができる。   Also, based on the contact output at the time of abnormality detection, it is possible to automatically make a call to a mobile phone, and it is possible to notify the abnormality by voice, and to build a highly reliable system as a monitoring image recording device Can do.

さらに、本実施形態では、従来例でも説明したように、常に連続上書きが可能な記録媒体を併設してもよいし、また、間欠的に画像データが記録される間に上記のような自己診断処理を行うようにしてもよい。   Furthermore, in the present embodiment, as described in the conventional example, a recording medium that can be continuously overwritten may be provided, or the self-diagnosis as described above may be performed while image data is intermittently recorded. Processing may be performed.

本発明の活用例としては、画像録画の信頼性を高めることができるので、監視用画像記録装置として利用することができる。   As an application example of the present invention, since the reliability of image recording can be increased, it can be used as a monitoring image recording apparatus.

本発明の一実施形態を示すブロック図である。It is a block diagram which shows one Embodiment of this invention. 本実施形態の自己診断機能を説明するフローチャートを示す図である。It is a figure which shows the flowchart explaining the self-diagnosis function of this embodiment.

符号の説明Explanation of symbols

1 入力端子
2 ビデオバッファ
3 テストデータ発声部
4 ビデオデコーダ(入力映像信号処理部)
5 データセレクタ(データ切換部)
6 画像圧縮部
7 システムバス
8 CPU処理部
9 ROM(第1の記憶部)
10 RAM(第2の記憶部)
11 ハードディスク記録部(画像記録部)
12 操作パネル
13 アラーム出力部
14 画像伸長部
15 ビデオエンコーダ(出力映像信号処理部)
16 文字表示部
17 ビデオドライバ
18 出力端子
1 Input terminal 2 Video buffer 3 Test data utterance unit 4 Video decoder (input video signal processing unit)
5 Data selector (data switching part)
6 Image compression unit 7 System bus 8 CPU processing unit 9 ROM (first storage unit)
10 RAM (second storage unit)
11 Hard disk recording unit (image recording unit)
12 Operation Panel 13 Alarm Output Unit 14 Image Expansion Unit 15 Video Encoder (Output Video Signal Processing Unit)
16 Character display 17 Video driver 18 Output terminal

Claims (5)

デジタル変換した映像信号を画像圧縮部にて圧縮し画像記録部に記憶し、該画像記録部に記録したデータを伸長して出力する画像記録装置において、
前記画像記録装置が、基準データを記録する第1の記憶部とテストデータ発生部とを備え、該テストデータ発生部のデータを前記画像圧縮部にて圧縮し前記画像記録部に記憶し、前記第1の記憶部の基準データと前記画像記録部に読み込んだテストデータとを比較する第1の判定手段と、該テストデータ発生部のテストデータを前記画像圧縮部にて圧縮し記憶する第2の記憶部に記憶し、前記第1の記憶部の基準データと前記第2の記憶部に読み込んだテストデータとを比較する第2の判定手段とを備え、前記第1の判定手段により正常であるか否かを判定し、異常と判定した場合、前記第2の判定手段により、前記画像記録部と前記画像圧縮部の何れかが異常であることを自己診断することを特徴とする画像記録装置。
In an image recording apparatus that compresses a digitally converted video signal by an image compression unit and stores the compressed signal in an image recording unit, and decompresses and outputs the data recorded in the image recording unit.
The image recording apparatus includes a first storage unit that records reference data and a test data generation unit, and the data of the test data generation unit is compressed by the image compression unit and stored in the image recording unit, A first determination unit that compares the reference data in the first storage unit with the test data read into the image recording unit; and the second determination unit that compresses and stores the test data in the test data generation unit in the image compression unit. And a second determination unit that compares the reference data of the first storage unit and the test data read into the second storage unit, and the first determination unit And determining whether or not there is an abnormality. If it is determined that there is an abnormality, the second determination means performs self-diagnosis that either the image recording unit or the image compression unit is abnormal. apparatus.
映像信号をデジタル変換する入力映像信号処理部と、
テストデータを発生するテストデータ発生部と、
前記入力映像信号処理部と前記テストデータ発生部との出力の何れかを選択するデータ切換部と、
前記データ切換部の出力を圧縮する画像圧縮部と、
前記画像圧縮部の出力を記録する画像記録部と、
圧縮した基準データを記録する第1の記憶部と、
前記テストデータ発生部のみの圧縮データを記録する第2の記憶部と、
前記画像記録部からの読み出しデータを伸長する画像伸長部と、
前記画像伸長部の出力信号をアナログ信号に変換する出力映像信号処理部と、
前記テストデータを比較して判定結果を出力する処理部とからなり、
前記処理部は、前記データ切換部が前記テストデータを選択して前記画像圧縮部で圧縮したデータを前記画像記録部に記録し、前記画像記録部から読み出したデータと前記第1の記憶の基準データとを比較し、該比較の結果、不一致のときには、前記テストデータを選択して前記画像圧縮部で圧縮したデータを前記第2の記憶部に記録し、前記第2の記憶部の読み出しデータと前記第1の記憶部の基準データとを比較し、該比較の結果、一致のときは前記画像記録部の異常、又は不一致のときは前記画像圧縮部の異常を判定することを特徴とする画像記録装置。
An input video signal processing unit for digitally converting the video signal;
A test data generator for generating test data;
A data switching unit for selecting one of outputs from the input video signal processing unit and the test data generation unit;
An image compression unit for compressing the output of the data switching unit;
An image recording unit for recording the output of the image compression unit;
A first storage unit for recording the compressed reference data;
A second storage unit for recording compressed data of only the test data generation unit;
An image decompression unit for decompressing data read from the image recording unit;
An output video signal processing unit for converting an output signal of the image expansion unit into an analog signal;
A processing unit that compares the test data and outputs a determination result;
The processing unit records the data compressed by the image compression unit and selected by the data switching unit in the image recording unit, and reads the data read from the image recording unit and the reference of the first storage When the comparison results in a mismatch, the test data is selected, the data compressed by the image compression unit is recorded in the second storage unit, and the read data of the second storage unit is recorded. Is compared with the reference data of the first storage unit, and if the result of the comparison is a match, an abnormality of the image recording unit is determined, or a mismatch is determined, an abnormality of the image compression unit is determined. Image recording device.
請求項1又は2に記載の画像記録装置において、
前記テストデータはカラーバー信号による固定画像信号とすることを特徴とする画像記録装置。
The image recording apparatus according to claim 1 or 2,
An image recording apparatus according to claim 1, wherein the test data is a fixed image signal based on a color bar signal.
請求項1又は2に記載の画像記録装置において、
前記画像記録部の圧縮したテストデータと前記基準データとの比較を任意に設定する所定時間間隔毎に行うことを特徴とする画像記録装置。
The image recording apparatus according to claim 1 or 2,
An image recording apparatus comprising: comparing the test data compressed by the image recording unit with the reference data at predetermined time intervals arbitrarily set.
請求項1又は2に記載の画像記録装置において、
前記異常と判定された場合、発光ダイオードの点灯または文字にて表示することを特徴とする画像記録装置。
The image recording apparatus according to claim 1 or 2,
When it is determined that the abnormality is present, the image recording apparatus is characterized in that a light emitting diode is turned on or displayed by characters.
JP2004334389A 2004-11-18 2004-11-18 Image recording device Expired - Fee Related JP4485921B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004334389A JP4485921B2 (en) 2004-11-18 2004-11-18 Image recording device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004334389A JP4485921B2 (en) 2004-11-18 2004-11-18 Image recording device

Publications (2)

Publication Number Publication Date
JP2006148430A true JP2006148430A (en) 2006-06-08
JP4485921B2 JP4485921B2 (en) 2010-06-23

Family

ID=36627611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004334389A Expired - Fee Related JP4485921B2 (en) 2004-11-18 2004-11-18 Image recording device

Country Status (1)

Country Link
JP (1) JP4485921B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3043562A1 (en) 2015-01-07 2016-07-13 Renesas Electronics Corporation Video encoding/decoding system and diagnosis method thereof
CN107633670A (en) * 2017-07-21 2018-01-26 国网浙江省电力公司 A kind of acquisition abnormity diagnostic method using collection O&M knowledge base
US10871597B2 (en) 2016-01-22 2020-12-22 Fujifilm Corporation Polarizing plate, image display device, and polarizing plate protective film

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3043562A1 (en) 2015-01-07 2016-07-13 Renesas Electronics Corporation Video encoding/decoding system and diagnosis method thereof
US10051280B2 (en) 2015-01-07 2018-08-14 Renesas Electronics Corporation Video encoding/decoding system and diagnosis method thereof
US10638148B2 (en) 2015-01-07 2020-04-28 Renesas Electronics Corporation Video encoding/decoding system and diagnosis method thereof
US10871597B2 (en) 2016-01-22 2020-12-22 Fujifilm Corporation Polarizing plate, image display device, and polarizing plate protective film
CN107633670A (en) * 2017-07-21 2018-01-26 国网浙江省电力公司 A kind of acquisition abnormity diagnostic method using collection O&M knowledge base

Also Published As

Publication number Publication date
JP4485921B2 (en) 2010-06-23

Similar Documents

Publication Publication Date Title
KR20070060612A (en) Method for outputting a video signal in digital video recorder
US7421134B2 (en) Image processing apparatus and method for moving object-adaptive compression
US20100245595A1 (en) Recorder test system
JP2008053987A (en) Information recording/reproducing device
JP4485921B2 (en) Image recording device
WO2001089218A1 (en) Recorder
JPH1169298A (en) Supervisory image recorder
JP2004213709A (en) Video recorder and monitor camera system
JP4438945B2 (en) Monitoring system
JP3326143B2 (en) Remote monitoring security system
JP4591441B2 (en) Recording / playback device
KR101198159B1 (en) Method for controlling record each motion detection area
JP4348683B2 (en) Image data recording method and recording / reproducing apparatus
JP5021227B2 (en) Monitoring video display method
WO2001063918A1 (en) Video recording/reproducing apparatus and video recording/reproducing method
JP2007081662A (en) Composite recording/reproducing device
KR100295803B1 (en) How to record video before and after alarm of surveillance video recorder
JP2007325170A (en) Image monitoring device and method
JP2001160963A (en) Supervisory system
WO2001033565A1 (en) Monitoring recorder
KR100551382B1 (en) Method for informing whether hdd is changed or not on a dvr system
KR100626938B1 (en) Data back-up method of dvr system
JP2003348539A (en) Image recording apparatus, image recording system, and image recording method
JP3638491B2 (en) Recording / playback device with video switching
JP2005184421A (en) Image information recorder-player and method therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100325

R150 Certificate of patent or registration of utility model

Ref document number: 4485921

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees