JP2007194928A - Remote monitoring device and method - Google Patents
Remote monitoring device and method Download PDFInfo
- Publication number
- JP2007194928A JP2007194928A JP2006011381A JP2006011381A JP2007194928A JP 2007194928 A JP2007194928 A JP 2007194928A JP 2006011381 A JP2006011381 A JP 2006011381A JP 2006011381 A JP2006011381 A JP 2006011381A JP 2007194928 A JP2007194928 A JP 2007194928A
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoded data
- still image
- important area
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、遠隔監視装置及び遠隔監視方法に関し、特に撮像して得られた画像データを圧縮して記録する遠隔監視装置及び遠隔監視方法に関する。 The present invention relates to a remote monitoring apparatus and a remote monitoring method, and more particularly to a remote monitoring apparatus and a remote monitoring method for compressing and recording image data obtained by imaging.
従来、監視カメラで圧縮して伝送されてきた符号化データを、重要度に応じて再符号化して記録する映像記録再生装置が提案されている（例えば、特許文献１参照）。 Conventionally, there has been proposed a video recording / reproducing apparatus that re-encodes and records encoded data that has been compressed and transmitted by a surveillance camera in accordance with the importance (see, for example, Patent Document 1).
しかしながら、従来の映像記録再生装置においては、アラーム発生時などの重要度の高い画像データについては、低圧縮の符号化データをそのまま記録し、重要度の低い符号化データについては、より高圧縮で再符号化して記録するものであり、仮に重要度の高い画像が多く含まれている場合は、再符号化の効率が低く、記録容量を圧迫してしまうという問題がある。 However, in the conventional video recording / reproducing apparatus, low-compression encoded data is recorded as it is for image data having high importance such as when an alarm is generated, and higher compression is applied to encoded data having low importance. If the image is re-encoded and recorded, and there are many highly important images, there is a problem that the re-encoding efficiency is low and the recording capacity is reduced.
なお、大容量のハードディスクを持たせることで記録容量の圧迫問題を回避することが可能であるが、コスト高になる。また、監視カメラ自体に画像データを記録させる場合は媒体が低容量の記録媒体（例えば、ＳＤ（Secure Digital memory card）カード等）となり、長時間の記録が困難である。近年、より高解像度の監視画像が要望されていることもあってデータ量が嵩むことから、限りある記録容量で長時間記録できるものが望まれている。 Although it is possible to avoid a recording capacity compression problem by providing a large-capacity hard disk, the cost increases. In addition, when image data is recorded on the surveillance camera itself, the medium becomes a low-capacity recording medium (for example, an SD (Secure Digital Memory Card) card), and long-time recording is difficult. In recent years, there has been a demand for higher-resolution monitoring images, and the amount of data increases. Therefore, what can be recorded for a long time with a limited recording capacity is desired.
本発明は、係る事情に鑑みてなされたものであり、限りある記録容量で長時間の画像記録を行なうことができる遠隔監視装置及び遠隔監視方法を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a remote monitoring apparatus and a remote monitoring method capable of performing long-time image recording with a limited recording capacity.
本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記動画符号化データ、前記静止画符号化データ及び前記重要領域情報を伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された前記動画符号化データ、前記静止画符号化データ及び前記重要領域情報を受信する受信手段と、前記静止画符号化データ及び前記重要領域情報を記録する蓄積手段と、前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、前記蓄積手段に記録された重要領域情報を用いて複数のフレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、前記動画符号化データ及び前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの静止画符号化データと重要領域情報を消去する。この構成により、画像をフレーム単位の圧縮だけでなく、複数フレームの合成を行ない、さらに合成時に重要領域の重み付けを行なうことで、圧縮率を上げつつ重要領域の画質は保ったまま記録できる。 The remote monitoring device of the present invention is a remote monitoring device including a transmission device and a reception device, and the transmission device captures an image of a subject and outputs image data, and outputs image data from the imaging device. A moving image encoding unit that performs moving image encoding and generates and outputs moving image encoded data, and performs still image encoding on the image data output from the imaging unit, and generates still image encoded data Still image encoding means for outputting, important area generating means for detecting a specific area in the imaging area and generating important area information, and transmitting the moving image encoded data, the still image encoded data, and the important area information Transmitting means for transmitting to a road, and the receiving device receives the moving image encoded data, the still image encoded data and the important region information transmitted from the transmitting device; Storage means for recording the still picture encoded data and the important area information, still picture decoding means for decoding still picture encoded data recorded in the storage means to generate still picture decoded data, and the storage means Image synthesizing means for synthesizing the still image decoded data of a plurality of frames using the important area information recorded in the image and generating a synthesized image; and a still image for re-encoding the synthesized image and generating still image re-encoded data Re-encoding means; and decoding display means for decoding and displaying the moving image encoded data and the still image decoded data, and the storage means is prerecorded when recording the still image re-encoded data. In addition, the still image encoded data and important area information of the same frame are deleted. With this configuration, the image is not only compressed in units of frames, but a plurality of frames are combined, and the important areas are weighted at the time of combining, so that the image can be recorded while maintaining the image quality of the important areas while increasing the compression rate.
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、前記動画符号化データ及び前記静止画符号化データを伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された動画符号化データ及び静止画符号化データを受信する受信手段と、前記受信手段にて受信された動画符号化データより重要領域情報を生成する重要領域情報生成手段と、前記受信手段にて受信された静止画符号化データ及び前記重要領域情報生成手段で生成された重要領域情報を記録する蓄積手段と、前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、前記蓄積手段に記録された重要領域情報を用いて複数のフレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、前記動画符号化データ及び前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの静止画符号化データと重要領域情報を消去する。この構成により、受信装置で動画符号化データから重要領域情報を生成するため、送信装置の構成を簡略化でき、例えばシステム運用当初はこのような仕組みを持っていない場合も受信装置のみの変更で伝送網の負荷増加も無しに対応可能である。 The remote monitoring device of the present invention is a remote monitoring device including a transmission device and a reception device, and the transmission device images an object and outputs image data, and an image output from the imaging device. Moving image coding is performed on the data, moving image coding means for generating and outputting moving image coded data, and still image coding is performed on the image data output from the imaging means, Still image encoding means for generating and outputting; and transmission means for transmitting the moving image encoded data and the still image encoded data to a transmission path, wherein the receiving device encodes the moving image encoded data transmitted from the transmitting device Receiving means for receiving data and still image encoded data, important area information generating means for generating important area information from moving image encoded data received by the receiving means, and receiving means The storage means for recording the received still image encoded data and the important area information generated by the important area information generation means, and decoding the still image encoded data recorded in the storage means to generate still image decoded data A still image decoding means that combines the still image decoded data of a plurality of frames using the important area information recorded in the storage means, and generates a composite image; and re-encodes the composite image Still image re-encoding means for generating still image re-encoded data; and decoding display means for decoding and displaying the moving image encoded data and the still image decoded data, and the storage means includes the still image re-encoding The encoded still image data and important area information of the same frame recorded in advance when recording the data are deleted. With this configuration, since the important area information is generated from the encoded video data by the receiving device, the configuration of the transmitting device can be simplified. For example, even if the system does not have such a mechanism at the beginning of system operation, only the receiving device can be changed. It is possible to cope with an increase in transmission network load.
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記重要領域情報を前記静止画符号化データに付加し付加情報付き静止画符号化データを生成する重要領域情報付加手段と、前記動画符号化データ及び前記付加情報付き静止画符号化データを伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された動画符号化データ及び付加情報付き静止画符号化データを受信する受信手段と、前記受信手段にて受信された付加情報付き静止画符号化データを記録する蓄積手段と、前記蓄積手段に記録された付加情報付き静止画符号化データから重要領域情報を分離する重要領域情報分離手段と、前記重要領域情報分離手段にて分離された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、前記重要領域情報分離手段で分離された重要領域情報を用いて複数のフレームの前記静止画復号データを合成し合成画像を生成画像合成手段と、前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、前記動画符号化データ及び前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記付加情報付き静止画符号化データを記録する際に予め記録していた同一フレームの付加情報付き静止画符号化データを消去する。この構成により、重要領域情報が静止画符号化データに付加されるため、静止画符号化データの存在するフレームのみ重要領域情報を生成すれば良いので送信装置の処理を簡略化できる。さらに静止画符号化データの存在しないフレームの不要な重要領域情報を送信することもないため、伝送網を介して伝送されるデータ量をより削減できる。 The remote monitoring device of the present invention is a remote monitoring device including a transmission device and a reception device, and the transmission device images an object and outputs image data, and an image output from the imaging device. Moving image coding is performed on the data, moving image coding means for generating and outputting moving image coded data, and still image coding is performed on the image data output from the imaging means, Still image encoding means for generating and outputting, important area generation means for detecting a specific area in the imaging area and generating important area information, and adding the important area information to the still image encoded data and with additional information Important area information adding means for generating still image encoded data, and transmitting means for transmitting the moving image encoded data and the still image encoded data with additional information to a transmission path, the receiving apparatus comprising: Receiving means for receiving moving image encoded data and still image encoded data with additional information transmitted from the transmission device; storage means for recording still image encoded data with additional information received by the receiving means; Important area information separating means for separating important area information from still image encoded data with additional information recorded in the storage means; and still image encoded data separated by the important area information separating means A still image decoding unit that generates decoded data; a synthesized image that combines the still image decoded data of a plurality of frames using the important region information separated by the important region information separating unit; and Still image re-encoding means for re-encoding the synthesized image and generating still image re-encoded data, and decoding display for decoding and displaying the moving image encoded data and the still image decoded data And a stage, said storage means deletes the still image coded data with additional information of the same frame that has been previously recorded when recording the still image coded data with the additional information. With this configuration, since the important area information is added to the still image encoded data, it is only necessary to generate the important area information only for the frame in which the still image encoded data exists, so that the processing of the transmission apparatus can be simplified. Further, unnecessary important area information of a frame in which still image encoded data does not exist is not transmitted, so that the amount of data transmitted through the transmission network can be further reduced.
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、前記動画符号化データを伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された動画符号化データを受信する受信手段と、前記動画符号化データを記録する蓄積手段と、前記蓄積手段に記録された動画符号化データを復号し動画復号データを生成する復号化手段と、前記蓄積手段に記録された動画符号化データより重要領域情報を生成する重要領域情報生成手段と、前記重要領域情報生成手段で生成された重要領域情報を用いて複数のフレームの前記動画復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し再符号化データを生成する再符号化手段と、前記動画符号化データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記再符号化データを記録する際に予め記録していた同一フレームの動画符号化データを消去する。この構成により、画像符号化方式が動画のみの遠隔監視装置において、圧縮率を上げつつ重要領域の画質は保ったまま記録でき、且つ受信装置で動画符号化データから重要領域情報を生成するため送信装置の構成を簡略化でき、例えば遠隔監視装置の運用当初は仕組みを持っていない場合も受信装置のみの変更で伝送網の負荷増加も無しに対応可能である。 The remote monitoring device of the present invention is a remote monitoring device including a transmission device and a reception device, and the transmission device images an object and outputs image data, and an image output from the imaging device. A moving image encoding unit that performs moving image encoding on the data, and generates and outputs moving image encoded data; and a transmission unit that transmits the moving image encoded data to a transmission path, and the receiving device includes the transmitting device Receiving means for receiving the moving picture encoded data transmitted from the recording means, storage means for recording the moving picture encoded data, and decoding means for decoding the moving picture encoded data recorded in the storage means and generating moving picture decoded data Using the important area information generated by the important area information generating means and the important area information generating means for generating important area information from the encoded moving image data recorded in the storage means. Image synthesizing means for synthesizing the moving picture decoded data of the frame and generating a synthesized image; re-encoding means for re-encoding the synthesized image to generate re-encoded data; and decoding and displaying the moving picture encoded data Decoding means, and the storage means erases the moving image encoded data of the same frame recorded in advance when the re-encoded data is recorded. With this configuration, in a remote monitoring device in which the image encoding method is only a moving image, it is possible to record while maintaining the image quality of the important region while increasing the compression rate, and to transmit the important region information from the encoded moving image data in the receiving device. The configuration of the apparatus can be simplified. For example, even when the remote monitoring apparatus does not have a mechanism at the beginning, it is possible to cope with an increase in transmission network load by changing only the receiving apparatus.
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記動画符号化データと前記重要領域情報を伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された前記動画符号化データと前記重要領域情報を受信する受信手段と、前記動画符号化データと前記重要領域情報を記録する蓄積手段と、前記蓄積手段に記録された動画符号化データを復号し復号データを生成する復号化手段と、前記蓄積手段に記録された前記重要領域情報を用いて複数フレームの前記動画復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し動画再符号化データを生成する再符号化手段と、前記動画符号化データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記再符号化データを記録する際に予め記録していた同一フレームの動画符号化データを消去する。この構成により、画像符号化方式が動画のみの遠隔監視装置において、重要領域情報が動画符号化によるデータに特化する必要がないため重要領域情報がより高精度となり、合成画像内の重要領域をより高精度に再現できる。 The remote monitoring device of the present invention is a remote monitoring device including a transmission device and a reception device, and the transmission device images an object and outputs image data, and an image output from the imaging device. Video encoding means for performing video encoding on data, generating and outputting video encoded data, important area generating means for detecting a specific area in the imaging area and generating important area information, and the video code Transmitting means for transmitting the encoded data and the important area information to a transmission path, wherein the receiving device receives the moving image encoded data and the important area information transmitted from the transmitting apparatus, and the moving image. Storage means for recording the encoded data and the important area information, decoding means for decoding the moving image encoded data recorded in the storage means and generating decoded data, and recording in the storage means Image synthesizing means for synthesizing the moving image decoded data of a plurality of frames using the important area information to generate a synthesized image, re-encoding means for re-encoding the synthesized image to generate moving image re-encoded data, and the moving image Decoding means for decoding and displaying the encoded data, and the storage means erases the moving image encoded data of the same frame recorded in advance when the re-encoded data is recorded. With this configuration, in a remote monitoring device in which the image coding method is only a moving image, the important region information does not need to be specialized for data by moving image coding, so the important region information becomes more accurate, and the important region in the composite image is Can be reproduced with higher accuracy.
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記静止画符号化データと前記重要領域情報を伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された前記静止画符号化データと前記重要領域情報を受信する受信手段と、前記静止画符号化データと前記重要領域情報を記録する蓄積手段と、前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、前記重要領域情報を用いて複数フレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、前記動画符号化データ、前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの画像符号化データを消去する。この構成により、画像符号化方式が静止画のみの遠隔監視装置において、圧縮率を上げつつ重要領域の画質は保ったまま記録できる。 The remote monitoring device of the present invention is a remote monitoring device including a transmission device and a reception device, and the transmission device images an object and outputs image data, and an image output from the imaging device. Still image encoding means for performing still image encoding on data, generating and outputting still image encoded data, and important area generation means for detecting a specific area in the imaging area and generating important area information, A transmission unit configured to transmit the still image encoded data and the important region information to a transmission path, and the reception device receives the still image encoded data and the important region information transmitted from the transmission device. Means, storage means for recording the still picture encoded data and the important area information, and still picture decoding means for decoding still picture encoded data recorded in the storage means to generate still picture decoded data Image synthesizing means for synthesizing the still image decoded data of a plurality of frames using the important area information and generating a synthesized image; and still image re-encoding for re-encoding the synthesized image and generating still image re-encoded data Means and decoding display means for decoding and displaying the moving image encoded data and the still image decoded data, and the storage means stores the same frame previously recorded when recording the still image reencoded data The encoded image data is deleted. With this configuration, in a remote monitoring apparatus in which the image encoding method is only a still image, it is possible to record while maintaining the image quality of the important area while increasing the compression rate.
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、前記重要領域情報を前記静止画復号データに付加し付加情報付き静止画符号化データを生成する重要領域情報付加手段と、前記付加情報付き静止画符号化データを伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された前記付加情報付き静止画符号化データを受信する受信手段と、前記付加情報付き静止画符号化データを記録する蓄積手段と、前記蓄積手段に記録された付加情報付き静止画符号化データから前記重要領域情報を分離する重要領域情報分離手段と、分離された前記静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、前記重要領域情報を用いて複数フレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの画像符号化データを消去する。この構成により、重要領域情報が静止画符号化データに付加されるため、静止画符号化データの存在するフレームのみ重要領域情報を生成すれば良いので送信装置の処理を簡略化でき、さらに静止画符号化データの存在しないフレームの不要な重要領域情報送ることもないため、伝送網を介して伝送されるデータ量をより削減できる。 The remote monitoring device of the present invention is a remote monitoring device including a transmission device and a reception device. The transmission device captures a subject and outputs image data, and a specific region in the imaging region. An important region generating unit that detects and generates important region information; a still image encoding unit that performs still image encoding on the image data output from the imaging unit and generates and outputs still image encoded data; Important region information adding means for adding the important region information to the still image decoded data to generate still image encoded data with additional information, and transmitting means for transmitting the still image encoded data with additional information to a transmission path The receiving device receives the still image encoded data with additional information transmitted from the transmitting device, and storage means for recording the still image encoded data with additional information, Important area information separating means for separating the important area information from the still image encoded data with additional information recorded in the storage means, and a still image for decoding the separated still image encoded data and generating still image decoded data Image decoding means, image synthesis means for synthesizing the still image decoded data of a plurality of frames using the important region information to generate a synthesized image, and re-encoding the synthesized image to generate still image re-encoded data A still image re-encoding unit; and a decoding display unit that decodes and displays the still image decoded data, and the storage unit stores the same frame previously recorded when recording the still image re-encoded data. Erase the encoded image data. With this configuration, the important area information is added to the still image encoded data. Therefore, it is only necessary to generate the important area information only for the frame in which the still image encoded data exists, so that the processing of the transmission apparatus can be simplified. Since there is no need to send unnecessary important area information of a frame in which encoded data does not exist, the amount of data transmitted through the transmission network can be further reduced.
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対し符号化を行ない、符号化データを生成する符号化手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記符号化データと前記重要領域情報を記録する蓄積手段と、前記蓄積手段に記録された符号化データを復号し復号データを生成する復号化手段と、前記重要領域情報を用いて複数フレームの前記復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し再符号化データを生成する再符号化手段と前記符号化データを伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された前記符号化データを受信する受信手段と、前記符号化データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記再符号化データを記録する際に予め記録していた同一フレームの符号化データと重要領域情報を消去する。この構成により、監視カメラに画像の記録手段を備える遠隔監視装置において、画像を高圧縮且つ重要領域の画質は保ったまま記録できるため、監視カメラに実装するメモリ容量は少なくてすみ、監視カメラのコストを削減できる。 The remote monitoring device of the present invention is a remote monitoring device including a transmission device and a reception device, and the transmission device images an object and outputs image data, and an image output from the imaging device. Encoding means for encoding data and generating encoded data, important area generating means for detecting a specific area in the imaging area and generating important area information, the encoded data and the important area information Storage means for recording the image, decoding means for decoding the encoded data recorded in the storage means and generating decoded data, and generating the composite image by combining the decoded data of a plurality of frames using the important area information Image synthesizing means, re-encoding means for re-encoding the synthesized image to generate re-encoded data, and transmitting means for transmitting the encoded data to a transmission path, the receiving device comprising: A receiving unit configured to receive the encoded data transmitted from the transmission device; and a decoding display unit configured to decode and display the encoded data, wherein the storage unit records in advance when the re-encoded data is recorded. The encoded data of the same frame and the important area information are deleted. With this configuration, in the remote monitoring device provided with the image recording means in the monitoring camera, the image can be recorded with high compression and the image quality of the important area is maintained, so that the memory capacity to be mounted on the monitoring camera can be reduced. Cost can be reduced.
また、本願発明の遠隔監視装置の前記重要領域生成手段は、顔領域を検出し、顔領域を重要領域情報として生成する。この構成により、重要領域情報生成手段で顔領域を検出するので、監視画像として重要な人物の判定をより高精度に行なうことができる。 Further, the important area generating means of the remote monitoring device of the present invention detects a face area and generates the face area as important area information. With this configuration, since the face area is detected by the important area information generation unit, it is possible to determine an important person as a monitoring image with higher accuracy.
また、本願発明の遠隔監視装置の前記重要領域生成手段は、人物の形状を検出し、人物領域を重要領域情報として生成する。この構成により、重要領域情報生成手段で人物の形状を検出するので、監視画像として重要な人物の判定をより高精度に行なうことができる。 Further, the important area generating means of the remote monitoring device of the present invention detects the shape of a person and generates the person area as important area information. With this configuration, since the shape of the person is detected by the important area information generation unit, it is possible to determine an important person as a monitoring image with higher accuracy.
また、本願発明の遠隔監視装置の前記重要領域生成手段は、ナンバープレートを検出し、ナンバープレートの領域を重要領域情報として生成する。この構成により、重要領域情報生成手段でナンバープレートを検出するので、屋外監視システムとして重要な車のナンバープレートの判定を容易に行なうことができる。 The important area generating means of the remote monitoring device of the present invention detects a license plate and generates the area of the license plate as important area information. With this configuration, the license plate is detected by the important area information generating means, so that it is possible to easily determine the license plate of a car that is important as an outdoor monitoring system.
また、本願発明の遠隔監視装置は、さらに赤外線センサを備え、前記重要領域生成手段は、前記赤外線センサが反応した領域を重要領域情報として生成する。この構成により、重要領域情報生成に赤外線センサの情報を用いるので、撮像領域が低照度でノイズが多く画像による重要領域の検出では精度が落ちる場合も重要領域検出を高精度に行なうことができる。 Further, the remote monitoring device of the present invention further includes an infrared sensor, and the important area generating means generates an area reacted by the infrared sensor as important area information. With this configuration, the information of the infrared sensor is used for generating the important area information, so that the important area can be detected with high accuracy even when the imaging area has low illuminance and there is a lot of noise and the accuracy in detecting the important area by the image is reduced.
また、本願発明の遠隔監視装置は、さらに音響センサを備え、前記重要領域生成手段は、前記音響センサが反応した領域を重要領域情報として生成する。この構成により、重要領域情報生成に音響センサの情報を用いるので、撮像領域が低照度でノイズが多く画像による重要領域の検出では精度が落ちる場合も重要領域検出を高精度に行なうことができる。 In addition, the remote monitoring device of the present invention further includes an acoustic sensor, and the important area generation unit generates an area to which the acoustic sensor has reacted as important area information. With this configuration, since the information of the acoustic sensor is used for generating the important area information, the important area can be detected with high accuracy even when the imaging area has a low illuminance and there is a lot of noise and the accuracy of detecting the important area by the image is reduced.
また、本願発明の遠隔監視装置は、さらに赤外線センサと、音響センサとを備え、前記重要領域生成手段は、顔領域、人物の形状又はナンバープレートを検出し、動画符号化情報、顔領域、人物領域、ナンバープレート領域、赤外線センサ反応領域、音響センサ反応領域のうち２種類以上の組み合わせを重要領域情報として生成する。この構成により、重要領域情報を、動画符号化情報、顔領域、人物領域、ナンバープレート、赤外線センサ、音響センサのうち２種類以上の組み合わせから生成するので、より高精度な重要領域情報を生成でき、合成画像内の重要領域をより鮮明な状態で記録できる。 The remote monitoring device of the present invention further includes an infrared sensor and an acoustic sensor, and the important area generating means detects a face area, a shape of a person, or a license plate, and encodes moving image encoded information, a face area, and a person. A combination of two or more of the region, the license plate region, the infrared sensor reaction region, and the acoustic sensor reaction region is generated as the important region information. With this configuration, important area information is generated from a combination of two or more of moving image encoded information, face area, person area, license plate, infrared sensor, and acoustic sensor, so more accurate important area information can be generated. The important area in the composite image can be recorded in a clearer state.
また、本願発明の遠隔監視装置の前記画像合成手段は、複数のフレームを合成する際に重要領域情報が重なってしまう場合には重なるフレームの合成は行なわない。この構成により、画像合成手段が複数のフレームを合成する際に、重要領域情報が重なる場合は重なるフレームを合成せず削除するので、複数フレームに亘って重要領域が重なる場合に、複数フレームの合成を行なうことにより重要領域がかえって見難くなることを防ぐことができる。また、合成フレーム数を少なくすることで画像合成手段における乗算回数が少なくて済むので、処理の簡略化ができる。 Further, the image synthesizing means of the remote monitoring device of the present invention does not synthesize overlapping frames when important area information overlaps when synthesizing a plurality of frames. With this configuration, when the image composition means synthesizes a plurality of frames, if the important area information overlaps, the overlapping frames are deleted without being synthesized. Therefore, when the important areas overlap over a plurality of frames, It is possible to prevent the important area from becoming difficult to see by performing the above. Also, by reducing the number of combined frames, the number of multiplications in the image combining means can be reduced, so that the processing can be simplified.
また、本願発明の遠隔監視装置の前記画像合成手段は、前記重要領域情報が画面内を移動する場合に任意のフレームを抽出して合成する。この構成により、重要領域情報が画面内を移動する場合に、任意のフレームを抽出して合成するので、複数フレームに亘って重要領域が重なる場合に、複数フレームの合成を行なうことにより重要領域がかえって見難くなることを防ぐことができる。また、合成フレーム数を少なくすることで画像合成手段における乗算回数が少なくて済むので、処理の簡略化ができる。 The image synthesizing means of the remote monitoring device of the present invention extracts and synthesizes an arbitrary frame when the important area information moves within the screen. With this configuration, when the important area information moves in the screen, an arbitrary frame is extracted and combined. Therefore, when the important areas overlap over a plurality of frames, the important area is determined by combining the plurality of frames. On the other hand, it can be prevented from becoming difficult to see. Also, by reducing the number of combined frames, the number of multiplications in the image combining means can be reduced, so that the processing can be simplified.
また、本願発明の遠隔監視装置の前記画像合成手段は、前記重要領域情報が画面内において広範囲であったり、フレーム間での重要領域情報の変化が不定であったりした場合は合成を行なわない。この構成により、重要領域情報が画面内において広範囲であったり、フレーム間での重要領域情報の変化が不安定であったりした場合は合成を行なわないので、複数フレームに亘って重要領域が重なる場合に、複数フレームの合成を行なうことにより重要領域がかえって見難くなることを防ぐことができる。また、合成フレーム数を少なくすることで画像合成手段における乗算回数が少なくて済むので、処理の簡略化ができる。 Further, the image composition means of the remote monitoring device of the present invention does not perform composition when the important area information is in a wide range on the screen or the change of the important area information between frames is indefinite. With this configuration, when the important area information is wide in the screen or the change of the important area information between frames is unstable, the composition is not performed, so the important areas overlap over multiple frames. In addition, by combining a plurality of frames, it is possible to prevent the important area from becoming difficult to see. Also, by reducing the number of combined frames, the number of multiplications in the image combining means can be reduced, so that the processing can be simplified.
また、本願発明の遠隔監視装置は、それぞれ識別用のカメラＩＤが割り当てられた複数の送信装置と、１台の受信装置とを備えた遠隔監視装置であり、前記各送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段からの画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、前記撮像手段からの画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記動画符号化データ、前記静止画符号化データ、前記重要領域情報及び前記カメラＩＤを伝送路に送信する送信手段とを備え、前記受信装置は、複数の前記送信装置夫々から送信された前記動画符号化データ、前記静止画符号化データ、前記重要領域情報及び前記カメラＩＤを受信する受信手段と、前記静止画符号化データと前記重要領域情報を前記カメラＩＤ毎に記録する蓄積手段と、前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する複数の静止画復号化手段と、前記重要領域情報を用いて複数フレームの静止画復号データを合成した後、解像度変換処理を施しカメラＩＤ毎に縮小合成画像を生成する複数の合成縮小手段と、同一時刻範囲における複数の前記縮小合成画像を合成し複数のカメラの画像から１枚の画像を生成する画像合成手段と、前記画像合成手段で生成された画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、複数カメラの前記動画符号化データ、前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、これら前記静止画再符号化データを記録する際に予め記録されていた同一フレームの静止画符号化データを消去する。この構成により、複数の監視カメラを備えるシステムにおいて、各カメラの同一時間の画像を１枚の画像に合成するので、より圧縮率を高めることができる。 The remote monitoring device according to the present invention is a remote monitoring device including a plurality of transmission devices each assigned an identification camera ID and a single reception device, and each of the transmission devices images a subject. An image pickup means for outputting image data, a moving image encoding means for generating and outputting moving image encoded data by performing moving image encoding on the image data from the image pickup means, and an image data from the image pickup means. A still image encoding unit that performs still image encoding and generates and outputs still image encoded data, an important region generation unit that detects a specific region in the imaging region and generates important region information, and the moving image code Transmitting means for transmitting the encoded data, the still image encoded data, the important area information, and the camera ID to a transmission path, and the receiving device transmits the moving image transmitted from each of the plurality of transmitting devices. Receiving means for receiving the encoded data, the still picture encoded data, the important area information and the camera ID; a storage means for recording the still picture encoded data and the important area information for each camera ID; A plurality of still picture decoding means for decoding still picture encoded data recorded in the storage means to generate still picture decoded data, and a plurality of frames of still picture decoded data using the important area information, and then resolution A plurality of composite reduction means for performing a conversion process and generating a reduced composite image for each camera ID, and an image composition means for generating a single image from a plurality of camera images by combining the plurality of reduced composite images in the same time range. A still image re-encoding unit for re-encoding the image generated by the image synthesizing unit to generate still image re-encoded data, the moving image encoded data of a plurality of cameras, the static image And a decoding display means for displaying by decoding the image decoded data, said storage means deletes the still image coded data of the same frame that has been previously recorded in recording them the still image re-encoded data. With this configuration, in a system including a plurality of monitoring cameras, the images of the same time of the cameras are combined into one image, so that the compression rate can be further increased.
また、本願発明の遠隔監方法は、被写体を撮像する撮像工程と、画像データに対して動画符号化を行ない、動画符号化データを生成する動画符号化工程と、画像データに対して静止画符号化を行ない、静止画符号化データを生成する静止画符号化工程と、撮像領域中の特定の領域を検出して重要領域情報を生成する重要領域生成工程と、前記動画符号化データ、前記静止画符号化データ、前記重要領域情報を伝送路に送信する送信工程と、前記動画符号化データ、前記静止画符号化データ、前記重要領域情報を受信する受信工程と、前記静止画符号化データと前記重要領域情報を記録する蓄積工程と、前記蓄積工程にて記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化工程と、前記重要領域情報を用いて複数フレームの前記静止画復号データを合成し合成画像を生成する画像合成工程と、前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化工程と、前記動画符号化データ、前記静止画復号データを復号し表示する復号表示工程とを備え、前記静止画復号化工程、前記画像合成工程、前記静止画再符号化工程では記録されてから任意の時間が経過したデータに対して処理を行ない、前記蓄積工程ではこれらの処理されたデータは消去し前記静止画再符号化工程にて再符号化されたデータを記録する。この方法により、画像をフレーム単位の圧縮だけでなく、複数フレームの合成を行ない、さらに合成時に重要領域の重み付けを行なうことで、圧縮率を上げつつ重要領域の画質は保ったまま記録できる。 Further, the remote monitoring method of the present invention includes an imaging process for imaging a subject, a moving picture encoding process for performing moving picture encoding on image data and generating moving picture encoded data, and a still picture code for image data. A still image encoding step of generating still image encoded data, an important region generating step of detecting a specific region in the imaging region and generating important region information, the moving image encoded data, and the still image Encoded image data, a transmission step of transmitting the important area information to a transmission path, the moving image encoded data, the still image encoded data, a reception step of receiving the important area information, the still image encoded data, A storage step for recording the important region information; a still image decoding step for decoding still image encoded data recorded in the storage step to generate still image decoded data; and a plurality of steps using the important region information. An image composition step of combining the still image decoded data of a frame to generate a combined image, a still image re-encoding step of re-encoding the combined image to generate still image re-encoded data, and the moving image encoded data; A decoding display step for decoding and displaying the still image decoding data, and for data that has passed an arbitrary time since it was recorded in the still image decoding step, the image synthesis step, and the still image re-encoding step. In the storage step, these processed data are erased and the data re-encoded in the still image re-encoding step is recorded. By this method, the image is not only compressed in units of frames, but a plurality of frames are combined, and the important areas are weighted at the time of combining, whereby the image can be recorded while maintaining the image quality of the important areas while increasing the compression rate.
本発明によれば、限りある記録容量で長時間の画像記録を行なうことができる遠隔監視装置及び遠隔監視方法を提供できる。 According to the present invention, it is possible to provide a remote monitoring device and a remote monitoring method capable of recording an image for a long time with a limited recording capacity.
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described in detail with reference to the drawings.
（実施の形態１）
図１は、本発明の実施の形態１に係る遠隔監視装置の概略構成を示すブロック図である。本実施の形態の遠隔監視装置は、送信装置１０と受信装置１１とを備えて構成される。送信装置１０は、撮像部１０１と、静止画符号化部１０２と、動画符号化部１０３と、重要領域情報生成部１０４と、送信部１０５とを備えて構成される。撮像部１０１は、ＣＣＤ（Charge Coupled Device）、Ｃ−ＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子と、この撮像素子から入力された画像をデジタル信号に変換するＡ／Ｄ（Analog/Digital）変換器等を備えている。
(Embodiment 1)
FIG. 1 is a block diagram showing a schematic configuration of a remote monitoring apparatus according to
静止画符号化部１０２は、画像データを静止画として圧縮符号化を実施し静止画符号化データを生成して送信部１０５に入力する。静止画符号化の際、静止画符号化データにはフレーム毎にタイムスタンプが付加される。動画符号化部１０３は、画像データを動画として圧縮符号化を実施し動画符号化データを生成して動画符号化データを送信部１０５に入力する。重要領域情報生成部１０４は、撮像領域中の特定の領域を検出し重要領域情報を生成して送信部１０５に入力する。重要領域情報にはフレーム毎にタイムスタンプが付加される。送信部１０５は、静止画符号化部１０２より入力された静止画符号化データと、動画符号化部１０３より入力された動画符号化データと、重要領域情報生成部１０４より入力された重要領域情報とを伝送路（図示略）へ送信する。
The still
受信装置１１は、受信部１１１と、蓄積部１１２と、静止画復号化部１１３と、画像合成部１１４と、静止画再符号化部１１５と、復号・表示部１１６とを備えて構成される。受信部１１１は、送信装置１０より送信された静止画符号化データ、動画符号化データ及び重要領域情報を受信する。蓄積部１１２は、受信部１１１で受信された静止画符号化データ及び重要領域情報を記録する。静止画復号化部１１３は、蓄積部１１２に蓄積されてから任意の時間が経過した静止画符号化データについて復号処理を施す。
The
画像合成部１１４は、静止画復号化部１１３にて復号化された静止画復号データについて複数のフレームを１枚のフレームに合成処理を施す。この際、蓄積部１１２に記録された同一時刻の重要領域情報を用いて重み付けを行なう。静止画再符号化部１１５は、画像合成部１１４にて合成処理された画像に対して静止画符号化処理を施す。蓄積部１１２は、再符号化された静止画符号化データを蓄積し、過去に記録された当該フレームの静止画符号化データと重要領域情報は消去する。復号・表示部１１６は、受信部１１１で受信された静止画符号化データ、動画符号化データを復号して表示する。
The
図２は、静止画復号データ、重要領域情報、合成画像のイメージである。ここでは５フレーム分の画像合成を行なうとする。Ａ１〜Ａ５は蓄積部１１２に記録されていた静止画符号化データを静止画復号化部１１３で復号した静止画復号データである。Ｋ１〜Ｋ５は蓄積部１１２に記録されていたＡ１〜Ａ５と同一時刻のタイムスタンプのついた重要領域情報である。なお、この例では白の部分が重要領域、黒の部分が非重要領域と２段階としているが、重要度に応じて複数の段階があっても良い。これらを画像合成部１１４にて合成処理を行ない、図２のような合成画像を得る。この例では画像合成部１１４にて行なう処理は、以下の式で表されるように古い画像に新しい画像を重ねていく方法とする。
FIG. 2 shows still image decoding data, important area information, and a composite image. Here, it is assumed that image synthesis for five frames is performed. A1 to A5 are still image decoded data obtained by decoding the still image encoded data recorded in the
合成画像=(((A1*(-K2)+A2*K2)*(-K3)+A3*K3)*(-K4)+A4*K4)*(-K5)+A5*K5
このようにして生成された合成画像は、静止画再符号化部１１５における静止画符号化の際、例えば蓄積容量が厳しい場合は送信装置１０の静止画符号化部１０２で施した静止画符号化処理より圧縮率を高くしても良い。また、重要度が高いシーンが多い場合は圧縮率を下げるなど、重要領域情報を用いて圧縮率を決定しても良い。
Composite image = (((A1 * (-K2) + A2 * K2) * (-K3) + A3 * K3) * (-K4) + A4 * K4) * (-K5) + A5 * K5
The composite image generated in this way is encoded with the still image encoded by the still
このように本実施の形態によれば、画像をフレーム単位の圧縮だけでなく、複数フレームの合成を行ない、さらに合成時に重要領域の重み付けを行なうので、圧縮率を上げつつ重要領域の画質を保ったまま蓄積することが可能となる。すなわち、記録してから時間を経過した画像データは個々のフレーム内での圧縮率を上げることのみならず、複数フレームを用いた圧縮を行なって圧縮率を上げて記録するので、限度のある蓄積媒体を有効に利用でき、さらに画面内の重要領域は鮮明に保つことができる。 As described above, according to the present embodiment, not only the image is compressed in units of frames, but also a plurality of frames are combined, and the important region is weighted at the time of combining. Therefore, the image quality of the important region is maintained while increasing the compression rate. It is possible to accumulate as it is. In other words, image data that has elapsed since recording not only increases the compression rate within each frame, but also performs compression using multiple frames to increase the compression rate, so there is limited storage. Media can be used effectively, and important areas in the screen can be kept clear.
（実施の形態２）
図３は、本発明の実施の形態２に係る遠隔監視装置の概略構成を示すブロック図である。図３において、本実施の形態の遠隔監視装置は、送信装置２０と受信装置２１とを備えて構成される。送信装置２０は、撮像部１０１と、静止画符号化部１０２と、動画符号化部２０１と、送信部２０２とを備えて構成される。受信装置２１は、受信部２１１と、重要領域情報生成部２１２と、蓄積部１１２と、静止画復号化部１１３と、画像合成部１１４と、静止画再符号化部１１５と、復号・表示部１１６とを備えて構成される。なお、撮像部１０１、静止画符号化部１０２、蓄積部１１２、静止画復号化部１１３、画像合成部１１４、静止画再符号化部１１５、復号・表示部１１６は、上述した実施の形態１と同様であるため説明は省略する。
(Embodiment 2)
FIG. 3 is a block diagram showing a schematic configuration of the remote monitoring apparatus according to
動画符号化部２０１は、画像データを動画として圧縮符号化を実施し動画符号化データを生成して動画符号化データを送信部２０２に入力する。動画符号化の際、動画符号化データにはフレーム毎にタイムスタンプが付加される。送信部２０２は、静止画符号化部１０２より入力された静止画符号化データと動画符号化部２０１より入力された動画符号化データを伝送路（図示略）へ送信する。受信部２１１は、送信部２０２より送信された、静止画符号化データと動画符号化データを受信する。重要領域情報生成部２１２は、受信部２１１で受信された動画符号化データを解析し重要領域情報を生成する。
The moving
ここで、重要領域情報生成部２１２の動作について説明する。例えばＭＰＥＧ（Moving Picture Expert Group）−４の場合は、１６×１６画素で構成されるマクロブロック毎に動きベクトルやマクロブロックタイプが決められる。重要領域情報生成部２１２では、これらに基づき重要領域情報を生成する。この場合は動きの大きいマクロブロックほど重要度が高いこととされる。重要領域情報生成の際に、動画符号化データに付加されているタイムスタンプを、生成した重要領域情報に付加する。 Here, the operation of the important area information generation unit 212 will be described. For example, in the case of MPEG (Moving Picture Expert Group) -4, a motion vector and a macroblock type are determined for each macroblock composed of 16 × 16 pixels. The important area information generation unit 212 generates important area information based on these. In this case, it is assumed that the macroblock with the larger motion has higher importance. When the important area information is generated, the time stamp added to the moving image encoded data is added to the generated important area information.
図４は、動きベクトルの絶対値とマクロブロックタイプの組み合わせに対する重要領域情報の例を示す図である。重要領域情報のレベル１〜５は値が大きいほど重要度が高いとする。マクロブロックタイプがイントラ（intra）の場合は、動画符号化において前フレームとの差分が大きく動きが大きいと判断されているとして重要領域情報のレベルを高くし、マクロブロックタイプがノットコーデッド（NOT CODED）の場合は、逆に動きが小さい、又は動きがないと判断されているとして重要領域情報のレベルを低くする。マクロブロックタイプがインタ（Inter）の場合は、動きベクトルの値に基づいて重要領域情報のレベルを決定する。ここで、イントラは画面内の情報を用いて符号化を行なう場合であり、インタはフレーム間予測を用いる場合である。
FIG. 4 is a diagram illustrating an example of important region information for a combination of an absolute value of a motion vector and a macroblock type. It is assumed that the importance levels are higher as the values of the important
このように本実施の形態によれば、受信装置２１において動画符号化データから重要領域情報を生成するので、送信装置２０に特別な処理は必要としないため、構成を簡略化できる。また、例えばシステム運用当初はこのような仕組みの入っていない場合も受信装置のみの変更で伝送網の負荷増加もなしに対応可能である。
As described above, according to the present embodiment, since the important area information is generated from the moving image encoded data in the receiving
（実施の形態３）
図５は、本発明の実施の形態３に係る遠隔監視装置の概略構成を示すブロック図である。図５において、本実施の形態の遠隔監視装置は、送信装置３０と受信装置３１とを備えて構成される。送信装置３０は、撮像部１０１と、静止画符号化部１０２と、動画符号化部１０３と、重要領域情報生成部３０３と、重要領域情報付加部３０１と、送信部３０２とを備えて構成される。受信装置３１は、受信部３１１と、蓄積部３１２と、重要領域情報分離部３１３と、静止画復号化部１１３と、画像合成部１１４と、静止画再符号化部１１５と、復号・表示部１１６とを備えて構成される。なお、撮像部１０１、静止画符号化部１０２、動画符号化部１０３、静止画復号化部１１３、復号・表示部１１６は、上述した実施の形態１と同様であるため説明は省略する。
(Embodiment 3)
FIG. 5 is a block diagram showing a schematic configuration of the remote monitoring apparatus according to
重要領域情報生成部３０３は、静止画符号化部１０２にて符号化処理が施されるフレームに対しての重要領域情報を生成する。重要領域情報付加部３０１は、重要領域情報生成部３０３で生成された重要領域情報を静止画符号化部１０２で生成された当該フレームの静止画符号化データに付加する。送信部３０２は、重要領域情報付加部３０１、動画符号化部１０３より入力された付加情報付き静止画符号化データ、動画符号化データを伝送路（図示略）へ送信する。受信部３１１は、送信部３０２より送信された、付加情報付き静止画符号化データ、動画符号化データを受信する。
The important area
蓄積部３１２は、受信部３１１で受信された付加情報付き静止画符号化データを記録する。重要領域情報分離部３１３は、蓄積部３１２に記録されてから任意の時間が経過した付加情報付き静止画符号化データから付加情報である重要領域情報を分離し、重要領域情報を削除された静止画符号化データは静止画復号化部１１３へ、重要領域情報は画像合成部１１４に入力する。画像合成部１１４は、当該フレームの重要領域情報を用いて複数フレームの静止画復号データを１枚のフレームに合成処理を施し、静止画再符号化部１１５は、画像合成部１１４にて合成処理された合成画像に対して静止画符号化処理を施す。蓄積部３１２は、再符号化された静止画符号化データを蓄積し、過去に記録された当該フレームのデータは消去する。
The
このように本実施の形態によれば、重要領域情報を静止画符号化データに付加するので、静止画符号化データの存在するフレームのみ重要領域情報を生成すれば良いことから、送信装置３０における処理を簡略化できる。さらに、静止画符号化データの存在しないフレームの不要な重要領域情報送ることもないため、伝送網を介して伝送されるデータ量をより削減することができる。 As described above, according to the present embodiment, since the important area information is added to the still image encoded data, it is only necessary to generate the important area information only for the frame in which the still image encoded data exists. Processing can be simplified. Furthermore, since unnecessary important area information is not sent in a frame in which no still image encoded data exists, the amount of data transmitted through the transmission network can be further reduced.
（実施の形態４）
図６は、本発明の実施の形態４に係る遠隔監視装置の概略構成を示すブロック図である。図６において、本実施の形態の遠隔監視装置は、送信装置４０と受信装置４１とを備えて構成される。送信装置４０は、撮像部１０１と、動画符号化部１０３と、送信部４０１とを備えて構成される。受信装置４１は、受信部４１１と、蓄積部４１２と、重要領域情報生成部４１３と、復号化部４１４と、画像合成部４１７と、再符号化部４１６と、復号・表示部４１５とを備えて構成される。なお、撮像部１０１と動画符号化部１０３は、上述した実施の形態１と同様であるため説明は省略する。
(Embodiment 4)
FIG. 6 is a block diagram showing a schematic configuration of a remote monitoring apparatus according to
送信部４０１は、動画符号化部１０３にて符号化された動画符号化データを伝送路へ送信する。受信部４１１は、送信装置４０より送信された動画符号化データを受信する。蓄積部４１２は、受信部４１１で受信された動画符号化データを記録する。復号化部４１４は、蓄積部４１２に蓄積されてから任意の時間が経過した動画符号化データについて復号処理を施す。また、重要領域情報生成部４１３は、復号処理を施す動画像と同一フレームの動画符号化データを用いて重要領域情報を生成する。
The
重要領域情報生成については、上述した実施の形態２に示すように、動画符号化データの動画符号化ベクトルやマクロブロックの種類による方法がある。画像合成部４１７は、復号化部４１４にて復号化された動画復号データについて複数のフレームを１枚のフレームに合成処理を施すが、その際、重要領域情報生成部４１３にて生成された同一フレームの重要領域情報を用いて重み付けを行なう。再符号化部４１６は、画像合成部４１７にて合成処理された画像に対し符号化処理を施す。再符号化部４１６にて処理される画像はフレーム相関度が低いため、符号化方式は静止画符号化で行なっても良い。蓄積部４１２は、再符号化されたデータを蓄積し、過去に記録された当該フレームのデータは消去する。
As for the important region information generation, there is a method based on the type of moving image encoded vector or macroblock of the moving image encoded data, as described in the second embodiment. The
このように本実施の形態によれば、画像符号化方式が動画のみの場合に、圧縮率を上げつつ重要領域の画質は保ったまま蓄積でき、且つ受信装置４１で動画符号化データから重要領域情報を生成するため、送信装置４０の構成を簡略化でき、例えばシステム運用当初は仕組みの入っていない場合も受信装置のみの変更で伝送網の負荷増加もなしに対応可能である。 As described above, according to the present embodiment, when the image encoding method is only a moving image, it is possible to accumulate while maintaining the image quality of the important region while increasing the compression rate, and the receiving device 41 determines the important region from the moving image encoded data. Since the information is generated, the configuration of the transmission device 40 can be simplified. For example, even when the system is not operated at the beginning, it is possible to cope with a change in only the reception device without increasing the load on the transmission network.
（実施の形態５）
図７は、本発明の実施の形態５に係る遠隔監視装置の概略構成を示すブロック図である。図７において、本実施の形態の遠隔監視装置は、送信装置５０と受信装置５１とを備えて構成される。送信装置５０は、撮像部１０１と、動画符号化部２０１と、重要領域情報生成部５０１と、送信部５０２とを備えて構成される。受信装置５１は、受信部５１１と、蓄積部５１２と、復号化部４１４と、画像合成部１１４と、復号・表示部４１５とを備えて構成される。なお、撮像部１０１は上述した実施の形態１と同様であり、復号・表示部４１５は上述した実施の形態４と同様であるため説明は省略する。
(Embodiment 5)
FIG. 7 is a block diagram showing a schematic configuration of a remote monitoring apparatus according to
動画符号化部２０１は、画像データを動画として圧縮符号化を実施し動画符号化データを生成して送信部５０２に入力する。動画符号化の際は、動画符号化データにはフレーム毎にタイムスタンプが付加される。重要領域情報生成部５０１は、撮像領域中の特定の領域を検出し重要領域情報を生成し送信部５０２に入力する。重要領域情報生成については、上述した実施の形態２及び４で述べたように、動画符号化データの動画符号化ベクトルやマクロブロックの種類による方法でも良いし、動画符号化の過程で算出されるＳＡＤ、ＳＡＤ０などを用いても良く、また動画符号化情報を用いずに撮像領域の別の特徴から生成しても良い。ここで、ＳＡＤとは、現マクロブロックの画素値と参照マクロブロックの画素値との絶対誤差和のことであり、ＳＡＤ０とは、現マクロブロックの画素値と前フレームの同一マクロブロックの画素値との絶対誤差和のことである。
The moving
重要領域情報にはフレーム毎にタイムスタンプが付加される。送信部５０２は、動画符号化部２０１より入力された動画符号化データと重要領域情報生成部５０１より入力された重要領域情報を伝送路へ送信する。受信部５１１は、送信装置５０より送信された動画符号化データと重要領域情報を受信する。蓄積部５１２は、受信部５１１で受信された動画符号化データと重要領域情報を記録する。復号化部４１４は、蓄積部５１２に蓄積されてから任意の時間が経過した動画符号化データについて復号処理を施す。
A time stamp is added to the important area information for each frame. The
画像合成部１１４は、復号化部４１４にて復号化された動画復号データについて複数のフレームを１枚のフレームに合成処理を施すが、その際、蓄積部５１２に記録された同一フレームの重要領域情報を用いて重み付けを行なう。再符号化部１１５は、画像合成部１１４にて合成処理された画像に対し符号化処理を施す。再符号化部１１５にて処理される画像はフレーム相関度が低いため、符号化方式は静止画符号化で行なっても良い。蓄積部５１２は、再符号化されたデータを蓄積し、過去に記録された当該フレームのデータは消去する。
The
このように本実施の形態によれば、画像符号化方式が動画のみの場合に、重要領域情報が動画符号化によるデータに特化する必要がないため重要領域情報がより高精度となり、合成画像内の重要領域をより高精度に再現できる。 As described above, according to the present embodiment, when the image coding method is only a moving image, the important region information does not need to be specialized for data by moving image coding, so that the important region information becomes more accurate, and the composite image The important area can be reproduced with higher accuracy.
（実施の形態６）
図８は、本発明の実施の形態６に係る遠隔監視装置の概略構成を示すブロック図である。図８において、本実施の形態の遠隔監視装置は、送信装置６０と受信装置６１とを備えて構成される。送信装置６０は、撮像部１０１と、静止画符号化部１０２と、重要領域情報生成部６０２と、送信部６０１とを備えて構成される。受信装置６１は、受信部６１１と、蓄積部１１２と、静止画復号化部１１３と、画像合成部１１４と、静止画再符号化部１１５と、復号・表示部６１２とを備えて構成される。なお、撮像部１０１、静止画符号化部１０２、蓄積部１１２、静止画復号化部１１３、画像合成部１１４、静止画再符号化部１１５は、上述した実施の形態１と同様であるため説明は省略する。
(Embodiment 6)
FIG. 8 is a block diagram showing a schematic configuration of a remote monitoring apparatus according to
重要領域情報生成部６０２は、静止画符号化部１０２にて符号化処理が施されるフレームに対しての重要領域情報を生成する。例えば、３０Ｈｚで撮像された画像に対し静止画符号化レートが１５Ｈｚであった場合、重要領域情報も１５Ｈｚとなる。送信部６０１は、静止画符号化部１０２で符号化された静止画符号化データと重要領域情報生成部６０２にて生成された重要領域情報を伝送路へ送信する。受信部６１１は、送信部６０１より送信された、静止画符号化データと重要領域情報を受信する。復号・表示部６１２は、受信部６１１で受信した静止画符号化データを復号して表示する。その他の受信部６１１の動作は、上述した実施の形態１と同様である。
The important area
このように本実施の形態によれば、画像符号化方式が静止画のみの監視システムにおいて、圧縮率を上げつつ重要領域の画質は保ったまま蓄積できる。 As described above, according to the present embodiment, in a monitoring system in which the image encoding method is only a still image, it is possible to accumulate while maintaining the image quality of the important region while increasing the compression rate.
（実施の形態７）
図９は、本発明の実施の形態７に係る遠隔監視装置の概略構成を示すブロック図である。図９において、本実施の形態の遠隔監視装置は、送信装置７０と受信装置７１とを備えて構成される。送信装置７０は、撮像部１０１と、静止画符号化部１０２と、重要領域情報生成部３０３と、重要領域情報付加部３０１と、送信部７０１とを備えて構成される。受信装置７１は、受信部７１１と、蓄積部３１２と、重要領域情報分離部３１３と、静止画復号化部１１３と、画像合成部１１４と、静止画再符号化部１１５と、復号・表示部６１２とを備えて構成される。なお、撮像部１０１、静止画符号化部１０２、静止画復号化部１１３、画像合成部１１４、静止画再符号化部１１５は、上述した実施の形態１と同様であり、復号・表示部６１２は上述した実施の形態６と同様であるため説明は省略する。
(Embodiment 7)
FIG. 9 is a block diagram showing a schematic configuration of the remote monitoring apparatus according to Embodiment 7 of the present invention. In FIG. 9, the remote monitoring device according to the present embodiment is configured to include a transmission device 70 and a reception device 71. The transmission device 70 includes an
重要領域情報生成部３０３は、静止画符号化部１０２にて符号化処理が施されたフレームに対しての重要領域情報を生成する。重要領域情報付加部３０１は、重要領域情報生成部３０３で生成された重要領域情報を静止画符号化部１０２で生成された当該フレームの静止画符号化データに付加する。送信部７０１は、重要領域情報付加部３０１より入力された付加情報付き静止画符号化データを伝送路へ送信する。受信部７１１は、送信装置７０より送信された、付加情報付き静止画符号化データを受信する。
The important area
蓄積部３１２は、受信部７１１が受信した付加情報付き静止画符号化データを記録する。重要領域情報分離部３１３は、蓄積部３１２に記録されてから任意の時間の経過した付加情報付き静止画符号化データより付加情報である重要領域情報を分離し、分離された静止画符号化データは、静止画復号化部１１３にて復号処理が施され、重要領域情報は画像合成部１１４にて重要領域情報と同一フレームの静止画復号データの合成に用いられる。蓄積部３１２は、再符号化された静止画符号化データを蓄積し、過去に記録された当該フレームのデータは消去する。
The
このように本実施の形態によれば、重要領域情報が静止画符号化データに付加されるため、静止画符号化データの存在するフレームのみ重要領域情報を生成すれば良いので、送信部の処理を簡略化でき、さらに静止画符号化データの存在しないフレームの不要な重要領域情報送ることもないため、伝送網を介して伝送されるデータ量をより削減できる。 As described above, according to the present embodiment, since the important area information is added to the still image encoded data, it is only necessary to generate the important area information only for the frame in which the still image encoded data exists. In addition, unnecessary important area information of a frame in which still image encoded data does not exist is not sent, so that the amount of data transmitted through the transmission network can be further reduced.
（実施の形態８）
図１０は、本発明の実施の形態８に係る遠隔監視装置の送信装置の概略構成を示すブロック図である。図１０において、送信装置８０は、撮像部１０１と、符号化部８０５と、送信部２０２と、重要領域情報生成部１０４と、蓄積部８０１と、復号化部８０２と、画像合成部８０３と、再符号化部８０４とを備えて構成される。なお、撮像部１０１は、上述した実施の形態１と同様の動作であるため説明は省略する。
(Embodiment 8)
FIG. 10 is a block diagram showing a schematic configuration of the transmission device of the remote monitoring device according to the eighth embodiment of the present invention. 10, the transmission device 80 includes an
符号化部８０５は、撮像部１０１で撮像された画像データの符号化を行なうが、ＭＰＥＧ−４などの動画符号化でもＪＰＥＧなどの静止画符号化でも構わない。符号化の際、符号化データにはフレーム毎にタイムスタンプが付加される。重要領域情報生成部１０４は、撮像領域中の特定の領域を検出し重要領域情報を生成して蓄積部８０１に入力する。重要領域情報はフレーム毎にタイムスタンプが付加される。蓄積部８０１は、符号化部８０５で符号化された符号化データと重要領域情報生成部１０４で生成された重要領域情報を記録する。復号化部８０２は、蓄積部８０１に記録されてから任意の時間が経過した符号化データについて復号処理を施す。画像合成部８０３は、復号化部８０２にて復号化された復号データについて複数のフレームを１枚のフレームに合成処理を施すが、その際蓄積部８０１に記録された同一フレームの重要領域情報を用いて重み付けを行なう。再符号化部８０４は、画像合成部８０３にて合成処理された画像に対し符号化処理を施す。蓄積部８０１は、再符号化された符号化データを記録し、過去に記録された当該フレームのデータは消去する。
The
このように本実施の形態によれば、画像を高圧縮且つ重要領域の画質を保ったまま記録できるため、監視カメラに実装するメモリ容量は少なくてすみ、監視カメラのコストを削減できる。 As described above, according to the present embodiment, an image can be recorded with high compression and the image quality of an important area being maintained, so that the memory capacity to be mounted on the surveillance camera can be reduced, and the cost of the surveillance camera can be reduced.
（実施の形態９）
図１１は、本実施の形態に係る遠隔監視装置の送信装置の概略構成を示すブロック図である。図１１において、本実施の形態に係る遠隔監視装置の送信装置９０は、上述した実施の形態８に係る遠隔監視装置と同じ構成に、動画符号化部１０３を追加したものである。すなわち、動画符号化と静止画符号化の２種類の画像符号化方式を用いたものである。蓄積部９０１は静止画符号化データを記録する。したがって、復号、合成、再符号化処理を施されるのも静止画である。
(Embodiment 9)
FIG. 11 is a block diagram showing a schematic configuration of the transmission device of the remote monitoring device according to the present embodiment. In FIG. 11, the transmission device 90 of the remote monitoring apparatus according to the present embodiment is obtained by adding a moving
このように本実施の形態によれば、画像を高圧縮且つ重要領域の画質を保ったまま記録できるため、監視カメラに実装するメモリ容量は少なくてすみ、監視カメラのコストを削減できる。 As described above, according to the present embodiment, an image can be recorded with high compression and the image quality of an important area being maintained, so that the memory capacity to be mounted on the surveillance camera can be reduced, and the cost of the surveillance camera can be reduced.
（実施の形態１０）
次に、本発明の実施の形態１０に係る遠隔監視装置について説明する。本実施の形態に係る遠隔監視装置は、上述した実施の形態８に係る遠隔監視装置と同一の構成であるので、図１０を援用することとする。図１２及び図１３は本実施の形態に係る遠隔監視装置の重要領域情報生成部１０４に顔領域の検出を用いた例を示す図である。図１２は、画像合成部９０３に入力する復号画像と各々の復号画像に対応する重要領域情報とそれらを用いて作成された合成画像のイメージを示す図である。図１３は、画像合成部９０３にて復号画像と重要領域情報を用いて合成画像を生成する仕組みを示す図である。ここでは３フレーム分の画像合成を行なう場合である。図１３において、Ａ１〜Ａ３は静止画復号データ又は動画復号データである。ｋ１〜ｋ３はＡ１〜Ａ３と同一フレームの重要領域情報であり、この例では重要度は重要／非重要の２段階であり、白の部分が重要領域、黒の部分が非重要領域としている。まず演算部ＯＰ１において、復号データに乗算する値ｐ１〜ｐ３を下記の演算にて算出する。
(Embodiment 10)
Next, a remote monitoring apparatus according to
p1=(k1|1/3)*(-k2)*(-k3)
p2=(-k1)*(k2 | 1/3)*(-k3)
p3=(-k1)*(-k2)*(k3 | 1/3)
ここで、演算子”|”は論理和である。
p1 = (k1 | 1/3) * (-k2) * (-k3)
p2 = (-k1) * (k2 | 1/3) * (-k3)
p3 = (-k1) * (-k2) * (k3 | 1/3)
Here, the operator “|” is a logical sum.
次に下記の演算により合成画像を得る。
合成画像=p1*A1 + p2*A2 + p3*A3
Next, a composite image is obtained by the following calculation.
Composite image = p1 * A1 + p2 * A2 + p3 * A3
このように本実施の形態によれば、監視画像として重要な人物の判定をより高精度に行なうことができる。 Thus, according to the present embodiment, it is possible to determine a person important as a monitoring image with higher accuracy.
（実施の形態１１）
次に、本発明の実施の形態１１に係る遠隔監視装置について、図面を用いて説明する。本実施の形態に係る遠隔監視装置は、上述した実施の形態８に係る遠隔監視装置と同一の構成であるので、図１０を援用することとする。図１４は本実施の形態に係る遠隔監視装置の重要領域情報生成部１０４に人物検出を用いた場合の例であり、画像合成部９０３に入力する復号画像と各々の復号画像に対応する重要領域情報と、それらを用いて生成された合成画像のイメージを示す図である。人物の部分が重要領域であり、それ以外は非重要領域である。顔検出を用いた場合と同様の方法で合成画像を作成した場合、生成された合成画像は人物の部分は鮮明に再現されるが、犬の部分は不鮮明となる。
(Embodiment 11)
Next, a remote monitoring apparatus according to
このように本実施の形態によれば、監視画像として重要な人物の判定をより高精度に行なうことができる。 Thus, according to the present embodiment, it is possible to determine a person important as a monitoring image with higher accuracy.
（実施の形態１２）
次に、本発明の実施の形態１２に係る遠隔監視装置について、図面を用いて説明する。本実施の形態に係る遠隔監視装置は、上述した実施の形態８に係る遠隔監視装置と同一の構成であるので、図１０を援用することとする。図１５は本実施の形態に係る遠隔監視装置の重要領域情報生成部１０４にナンバープレート検出を用いた例である。ここでは３フレーム分の画像合成を行なうとする。図１５において、Ａ１〜Ａ３は静止画復号データ又は動画復号データである。ｋ１〜ｋ３はＡ１〜Ａ３と同一時刻の重要領域情報であり、この例では重要度は重要／非重要の２段階であり、白の部分が重要領域、黒の部分が非重要領域としている。演算部ＯＰ２において、下記の演算によって合成画像を得る。
(Embodiment 12)
Next, a remote monitoring apparatus according to Embodiment 12 of the present invention will be described with reference to the drawings. Since the remote monitoring apparatus according to the present embodiment has the same configuration as the remote monitoring apparatus according to the eighth embodiment described above, FIG. FIG. 15 shows an example in which license plate detection is used in the important area
合成画像=((k1|1/3)*(-k2)*(-k3))*A1 +
((-k1)*(k2 | 1/3)*(-k3))*A2 + ((-k1)*(-k2)*(k3 | 1/3))*A3
ここで、演算子”|”は論理和である。
Composite image = ((k1 | 1/3) * (-k2) * (-k3)) * A1 +
((-k1) * (k2 | 1/3) * (-k3)) * A2 + ((-k1) * (-k2) * (k3 | 1/3)) * A3
Here, the operator “|” is a logical sum.
このように本実施の形態によれば、複数フレームの合成によってもナンバープレートが鮮明に再現されるため、屋外監視システムとして重要なナンバープレートの判別を容易に行なうことができる。 As described above, according to the present embodiment, since the license plate is clearly reproduced even by combining a plurality of frames, it is possible to easily determine the license plate that is important as an outdoor monitoring system.
（実施の形態１３）
次に、本発明の実施の形態１３に係る遠隔監視装置について、図面を用いて説明する。図１６は、本発明の実施の形態に係る遠隔監視装置の送信装置１００の概略構成を示すブロック図である。本実施の形態に係る遠隔監視装置の送信装置１００は、赤外線センサ１００１を備え、重要領域情報生成部１００２が赤外線センサの情報を用いて重要領域情報を生成する。夜や照明を消した部屋の中など撮像領域の照度が低い場合は画像にノイズが多く残ってしまう。このような場合、顔検出や人物検出のように画像から重要領域を判定する方法では判定結果の精度が落ちてしまう。赤外線センサは、センサの反応する領域を重要領域として特定できるので、夜中の不審人物の侵入などを有効に捉えることができる。
(Embodiment 13)
Next, a remote monitoring apparatus according to
このように本実施の形態によれば、撮像領域が低照度でノイズが多く画像による重要領域の検出では精度が落ちる場合も撮像領域内の変化を高精度に捉えることができる。 As described above, according to the present embodiment, it is possible to capture the change in the imaging region with high accuracy even when the imaging region has low illuminance and there is a lot of noise and the accuracy of the important region detection using the image is reduced.
（実施の形態１４）
次に、本発明の実施の形態１４に係る遠隔監視装置について、図面を用いて説明する。図１７は、本発明の実施の形態に係る遠隔監視装置の送信装置１１０の概略構成を示すブロック図である。本実施の形態に係る遠隔監視装置の送信装置１１０は、音響センサ１００３を備え、重要領域情報生成部１００４が音響センサの情報を用いて重要領域情報を生成する。夜や照明を消した部屋の中など撮像領域の照度が低い場合は画像にノイズが多く残ってしまうが、このような場合、顔検出や人物検出のように画像から重要領域を判定する方法では判定結果の精度が落ちてしまう。音響センサは音のする方向を検知し撮像領域内で音の発生した領域を特定できるので、夜中の不審人物の侵入などを有効に捉えることができる。
(Embodiment 14)
Next, a remote monitoring apparatus according to
このように本実施の形態によれば、撮像領域が低照度でノイズが多く画像による重要領域の検出では精度が落ちる場合も撮像領域内の変化を高精度に捉えることができる。 As described above, according to the present embodiment, it is possible to capture the change in the imaging region with high accuracy even when the imaging region has low illuminance and there is a lot of noise and the accuracy of the important region detection using the image is reduced.
（実施の形態１５）
次に、本発明の実施の形態１５に係る遠隔監視装置について、図面を用いて説明する。図１８は、本発明の実施の形態１５に係る遠隔監視装置の送信装置１２０の概略構成を示すブロック図である。本実施の形態の送信装置１２０は重要領域情報生成部１００５を備え、この重要領域情報生成部１００５は人物検出部１００５１と重要領域情報合成部１００５２とを備えて構成される。本実施の形態は、動画符号化情報として、人物検出情報を用いるが、顔検出情報、ナンバープレート検出情報、赤外線センサによる赤外線検出情報、音響センサによる音響検出情報を用いても良く、また何種類かの組み合わせでも良い。図１８に示すように、動画符号化情報と人物検出を組み合わせた例においては、例えば動きの速い車と、静止している人物が撮像領域中に存在した場合、動画符号化情報のみでは車のみ重要領域情報として判定されるが、人物検出と組み合わせることによって、車と人物双方が重要領域情報として判定され、図１９のように、例えば道路で寝ている人物のひき逃げの瞬間などを鮮明に捉えることができる。
(Embodiment 15)
Next, a remote monitoring apparatus according to
（実施の形態１６）
次に、本発明の実施の形態１６に係る遠隔監視装置について、図面を用いて説明する。図２０は、本発明の実施の形態１６に係る遠隔監視装置の画像合成処理を示すフロー図である。なお、本実施の形態の画像合成手段は、上述した各実施の形態の画像合成装置１１４、４１７、８０３のいずれにおいても適用することができる。
(Embodiment 16)
Next, a remote monitoring apparatus according to
ここでは、５フレームの復号データＡ１〜Ａ５について、それぞれの重要領域情報ｋ１〜ｋ５を用いて合成画像を生成する例を示す。図２０において、まず１フレーム目の重要領域情報であるｋ１と２フレーム目の重要領域情報であるｋ２の比較を行なう（ステップＳ１０）。そして、ｋ１とｋ２で画面内においての共通の画素数がα画素以上であるかどうか判定する（ステップＳ１１）。共通の画素数がα画素以上であった場合は、重要領域が大きく重なっていると判断し、ＭＩＸ１＝Ａ１として（ステップＳ１２）、２フレーム目は合成に用いないこととする。 Here, an example in which a composite image is generated using the respective important area information k1 to k5 for the decoded data A1 to A5 of 5 frames. In FIG. 20, first, k1 which is important area information of the first frame is compared with k2 which is important area information of the second frame (step S10). Then, it is determined whether or not the common number of pixels in the screen at k1 and k2 is α pixels or more (step S11). When the number of common pixels is greater than or equal to α pixels, it is determined that the important regions are greatly overlapped, and MIX1 = A1 is set (step S12), and the second frame is not used for synthesis.
ｋ１とｋ２で画面内においての共通の画素数がα画素以上でなかった場合は、ｋ１と３フレーム目の重要領域情報であるｋ３を比較する（ステップＳ１３）。そして、ｋ１とｋ３で画面内においての共通の画素数がα画素以上であるかどうか判定する（ステップＳ１４）。共通の画素数がα画素未満であった場合は、合成に３フレーム目を用いることとし、１フレーム目と３フレーム目の合成を行なう（ステップＳ１５）。次に、３フレーム目と４フレーム目の重要領域情報を比較し、以下、同様の処理とする（ステップＳ１６〜ステップＳ２１）。αの値は任意に設定する。 If the number of pixels common in the screen at k1 and k2 is not greater than α pixels, k1 is compared with k3 which is the important area information of the third frame (step S13). Then, it is determined whether or not the common number of pixels in the screen at k1 and k3 is α pixels or more (step S14). If the number of common pixels is less than α pixels, the third frame is used for synthesis, and the first and third frames are synthesized (step S15). Next, the important area information in the third and fourth frames is compared, and the same processing is performed thereafter (steps S16 to S21). The value of α is set arbitrarily.
このように本実施の形態によれば、複数フレームに亘り重要領域が重なる場合、複数フレームの合成を行なうことにより重要領域がかえって見難くなることを防ぐことができる。また、合成フレーム数を少なくすることで画像合成処理における乗算回数が少なくてすみ処理の簡略化が図れる。 As described above, according to the present embodiment, when important areas overlap over a plurality of frames, it is possible to prevent the important areas from becoming difficult to see by combining a plurality of frames. Also, by reducing the number of combined frames, the number of multiplications in the image combining process can be reduced, and the process can be simplified.
（実施の形態１７）
次に、本発明の実施の形態１７に係る遠隔監視装置について、図面を用いて説明する。図２１は、本発明の実施の形態１７に係る遠隔監視装置の画像合成処理を示すフロー図である。なお、本実施の形態の画像合成手段は、上述した各実施の形態の画像合成装置１１４、４１７、８０３のいずれにおいても適用することができる。
(Embodiment 17)
Next, a remote monitoring apparatus according to
図２１において、まず１フレーム目の画面内のおける重要領域の画素数をカウントする（ステップＳ３０）。そして、カウントした重要領域の画素数がβ画素以上であるかどうか判定する（ステップＳ３１）。例えば、ｋ１で重要領域の画素数がβ画素未満あった場合は、当該フレームは重要度が低いと判断し合成に用いないこととし、次のフレームの重要領域情報であるｋ２の重要領域画素数を入力し（ステップＳ３３）、カウントする（ステップＳ３０）。 In FIG. 21, first, the number of pixels in the important area in the screen of the first frame is counted (step S30). Then, it is determined whether or not the counted number of pixels in the important area is equal to or larger than β pixels (step S31). For example, if the number of pixels in the important area at k1 is less than β pixels, the frame is judged to be less important and is not used for synthesis, and the number of important area pixels in k2, which is the important area information of the next frame. Is input (step S33) and counted (step S30).
一方、ｋ２の重要領域画素数がβ以上であった場合は、合成に用いる最初のフレームとして当該フレームのタイムスタンプを記録する（ステップＳ３２）。同様にして重要領域画素数がβ以上のフレームが連続する限り、都度タイムスタンプを記録していく（ステップＳ３４〜ステップＳ３９）。画像合成にあたり、重要領域画素数がβ以上のフレームが連続した場合、最初のフレームと最終フレーム、さらにその中間のフレームの重要領域情報と静止画復号データ又は動画復号データを用いる。この例では、重要領域が画面内に出現してから消滅するまでのうち３フレームを合成に用いているが、３フレームでなくとも構わない。βの値は任意に設定する。 On the other hand, when the number of important area pixels of k2 is equal to or larger than β, the time stamp of the frame is recorded as the first frame used for synthesis (step S32). Similarly, a time stamp is recorded every time as long as the frames having the number of important area pixels equal to or larger than β continue (steps S34 to S39). In the image composition, when frames having the number of important area pixels of β or more are consecutive, the first frame and the last frame, and further, the important area information and still picture decoded data or moving picture decoded data of the intermediate frame are used. In this example, 3 frames are used for synthesis from the time the important region appears on the screen until it disappears, but the frame may not be 3 frames. The value of β is set arbitrarily.
このように本実施の形態によれば、複数フレームに亘り重要領域が重なる場合、複数フレームの合成を行なうことにより重要領域がかえって見難くなることを防ぐことができる。また、合成フレーム数を少なくすることで画像合成処理における乗算回数が少なくてすみ処理の簡略化が図れる。 As described above, according to the present embodiment, when important areas overlap over a plurality of frames, it is possible to prevent the important areas from becoming difficult to see by combining a plurality of frames. Also, by reducing the number of combined frames, the number of multiplications in the image combining process can be reduced, and the process can be simplified.
（実施の形態１８）
次に、本発明の実施の形態１８に係る遠隔監視装置について、図面を用いて説明する。図２２は、本発明の実施の形態１８に係る遠隔監視装置の画像合成処理を示すフロー図である。なお、本実施の形態の画像合成手段は、上述した各実施の形態の画像合成装置１１４、４１７、８０３のいずれにおいても適用することができる。
(Embodiment 18)
Next, a remote monitoring apparatus according to Embodiment 18 of the present invention will be described with reference to the drawings. FIG. 22 is a flowchart showing image composition processing of the remote monitoring apparatus according to Embodiment 18 of the present invention. Note that the image composition means of the present embodiment can be applied to any of the
図２２において、まず１フレーム目の画面内における重要領域の分析を行なう（ステップＳ５０）。例えば重要領域の画素数や動画符号化情報の動きベクトルを用いた場合は重要領域の動きの方向と大きさを分析する。画面内の重要領域の画素数が多い場合や重要領域の移動方向が多岐に亘る場合は合成に用いないこととし、次のフレームの重要領域情報を入力し（ステップＳ５１）、それの分析を行なう。 In FIG. 22, first, an important region in the screen of the first frame is analyzed (step S50). For example, when the number of pixels in the important area or the motion vector of the moving image coding information is used, the direction and size of the movement in the important area are analyzed. When the number of pixels in the important area in the screen is large or when the movement direction of the important area is diverse, it is not used for the synthesis, and the important area information of the next frame is input (step S51) and analyzed. .
次いで、重要領域の画素数と重要領域の動きの方向と大きさがある任意の範囲内であるかどうか判定し（ステップＳ５２）、ある任意の範囲内であった場合は、合成に用いる最初のフレームとして当該フレームのタイムスタンプを記録する（ステップＳ５３）。本実施の形態では、重要領域の画素数がαとβの範囲外であった場合や、動ベクトルの値がγとθの範囲外であった場合には当該フレームの画像を合成に用いないという判断をしている。同様にして重要領域がある範囲内であるフレームが連続する限り、都度タイムスタンプを記録していく（ステップＳ５４〜ステップＳ５９）。画像合成にあたり、タイムスタンプが記録された画像のうち、任意のフレームを選択して合成しても良いし、全てを合成しても良い。合成に用いないフレームも重要度が高く再符号化を施して記録する場合、重要領域情報を用いて、非重要領域は白黒にするかマスクするといった処理を施して再符号化の際の符号量を削減しても良い。 Next, it is determined whether or not the number of pixels in the important area and the direction and size of the movement in the important area are within a certain range (step S52). A time stamp of the frame is recorded as a frame (step S53). In this embodiment, when the number of pixels in the important region is outside the range of α and β, or when the value of the motion vector is outside the range of γ and θ, the image of the frame is not used for synthesis. Judgment is made. Similarly, time stamps are recorded every time as long as frames within a certain range continue (steps S54 to S59). In the image composition, an arbitrary frame may be selected from the images recorded with the time stamp, or all the images may be synthesized. When frames that are not used for synthesis are also highly important and are recorded with re-encoding, the amount of code at the time of re-encoding is processed by using important area information and making non-important areas black and white or masking. May be reduced.
このように本実施の形態によれば、複数フレームに亘り重要領域が重なる場合、複数フレームの合成を行なうことにより重要領域がかえって見難くなることを防ぐことができる。また、合成フレーム数を少なくすることで画像合成処理における乗算回数が少なくてすみ処理の簡略化が図れる。 As described above, according to the present embodiment, when important areas overlap over a plurality of frames, it is possible to prevent the important areas from becoming difficult to see by combining a plurality of frames. Also, by reducing the number of combined frames, the number of multiplications in the image combining process can be reduced, and the process can be simplified.
（実施の形態１９）
次に、本発明の実施の形態１９に係る遠隔監視装置について、図面を用いて説明する。図２３は、本発明の実施の形態１９に係る遠隔監視装置の送信装置の概略構成を示すブロック図である。また、図２４は、本実施の形態に係る遠隔監視装置の受信装置の概略構成を示すブロック図である。本実施の形態では、４つの送信装置と１つの受信装置で構成されている。図２３において、４台の送信装置２０００、２００１、２００２及び２００３は、それぞれ同じ構成となっており、撮像部１０１と、静止画符号化部１０２と、動画符号化部１０３と、重要領域情報生成部１０４と、送信部１０５とを備えて構成される。４台の送信装置２０００、２００１、２００２及び２００３にはそれぞれカメラＩＤが割り当てられている。送信装置２０００、２００１、２００２及び２００３における撮像部１０１、静止画符号化部１０２、動画符号化部１０３、重要領域情報生成部１０４は、前述した実施の形態１と同様であるため説明は省略する。送信部１０５は、静止画符号化部１０２で生成された静止画符号化データ、動画符号化部１０３で生成された動画符号化データ、重要領域情報生成部１０４で生成された重要領域情報及びカメラＩＤを伝送路へ送信する。
(Embodiment 19)
Next, a remote monitoring apparatus according to
図２４において、受信装置２０１０は、受信部１０１０と、蓄積部１０１１と、静止画復号化部１０１２、１０１３、１０１４及び１０１５と、合成縮小部１０１６、１０１７、１０１８及び１０１９と、画像合成部１０２０と、静止画再符号化部１０２１と、復号・表示部１０２２とを備えて構成される。受信装置２０１０は、送信装置２０００、２００１、２００２及び２００３より送信された、静止画符号化データ、動画符号化データ、重要領域情報、カメラＩＤを受信する。蓄積部１０１１は、受信部１０１０で受信された静止画符号化データ、重要領域情報をカメラＩＤ毎に記録する。静止画復号化部１０１２、１０１３、１０１４及び１０１５は、蓄積部１０１１に蓄積されてから任意の時間が経過したカメラの静止画符号化データについて、それぞれのカメラＩＤ毎に復号処理を施す。合成縮小部１０１６、１０１７、１０１８及び１０１９は、静止画復号化部１０１２、１０１３、１０１４及び１０１５にて復号化された静止画復号データについて複数のフレームを１枚のフレームに合成処理を施し、さらに合成画像に対し縮小処理をする。
In FIG. 24, the reception device 2010 includes a
合成処理の際は、蓄積部１０１１に記録された当該カメラＩＤの重要領域情報を用いて重み付けを行なう。画像合成部１０２０は、合成縮小部１０１６、１０１７、１０１８及び１０１９にて合成縮小処理を施された同一時刻範囲の画像を１枚の画像に合成処理を施す。例えば合成縮小部１０１６、１０１７、１０１８及び１０１９にて合成縮小画像Ａ、Ｂ、Ｃ、Ｄが生成されたとする。画像合成部１０２０では、これら４枚の画像を用いて４分割の１枚の画像を生成する。静止画再符号化部１０２１は、画像合成部１０２０にて合成処理された画像に対し静止画符号化処理を施す。蓄積部１０１１は再符号化された静止画符号化データを蓄積し、過去に記録された当該フレームのデータは消去する。
In the synthesis process, weighting is performed using the important area information of the camera ID recorded in the
このように本実施の形態によれば、複数の監視カメラを備える遠隔監視装置において、各カメラの同一時間の画像を１枚の画像に合成するため、より圧縮率を高めることができる。 As described above, according to the present embodiment, in the remote monitoring device including a plurality of monitoring cameras, the images at the same time of the respective cameras are combined into one image, so that the compression rate can be further increased.
本発明は、限りある記録容量で長時間の画像記録を行なうことができるといった効果を有し、遠隔監視装置などへの適用が可能である。 The present invention has an effect of being able to record an image for a long time with a limited recording capacity, and can be applied to a remote monitoring device or the like.
１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、１１０、１２０、２０００、２００１、２００２、２００３ 送信装置
１１、２１、３１、４１、５１、６１、７１、２０１０ 受信装置
１０１ 撮像部
１０２ 静止画符号化部
１０３、２０１ 動画符号化部
１０４、２１２、３０３、４１３、５０１、６０２、１００２、１００４、１００５ 重要領域情報生成部
１０５、２０２、３０２、４０１、５０２、６０１、７０１ 送信部
１１１、２１１、３１１、４１１、５１１、６１１、７１１、１０１０ 受信部
１１２、３１２、４１２、５１２、８０１、９０１、１０１１ 蓄積部
１１３、９０２、１０１２、１０１３、１０１４、１０１５ 静止画復号化部
１１４、４１７、８０３、９０３、１０２０ 画像合成部
１１５、９０４、１０２１ 静止画再符号化部
１１６、４１５、６１２、１０２２ 復号・表示部
３０１ 重要領域情報付加部
３１３ 重要領域情報分離部
４１４、８０２ 復号化部
４１６、８０４ 再符号化部
８０５ 符号化部
１００１ 赤外線センサ
１００３ 音響センサ
１０１６、１０１７、１０１８、１０１９ 合成縮小部
１００５１ 人物検出部
１００５２ 重要領域情報合成部
10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 110, 120, 2000, 2001, 2002, 2003
Claims (19)
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、
前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記動画符号化データ、前記静止画符号化データ及び前記重要領域情報を伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された前記動画符号化データ、前記静止画符号化データ及び前記重要領域情報を受信する受信手段と、
前記静止画符号化データ及び前記重要領域情報を記録する蓄積手段と、
前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、
前記蓄積手段に記録された重要領域情報を用いて複数のフレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、
前記動画符号化データ及び前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの静止画符号化データと重要領域情報を消去する遠隔監視装置。 A remote monitoring device including a transmission device and a reception device;
The transmitter is
Imaging means for imaging a subject and outputting image data;
Moving image encoding means for performing moving image encoding on the image data output from the imaging means, and generating and outputting moving image encoded data;
Still image encoding means for performing still image encoding on the image data output from the imaging means, generating still image encoded data, and outputting the still image encoded data;
An important area generating means for detecting a specific area in the imaging area and generating important area information;
Transmission means for transmitting the moving image encoded data, the still image encoded data, and the important area information to a transmission path,
The receiving device is:
Receiving means for receiving the moving image encoded data, the still image encoded data and the important area information transmitted from the transmission device;
Storage means for recording the still image encoded data and the important area information;
Still image decoding means for decoding still image encoded data recorded in the storage means and generating still image decoded data;
Image synthesizing means for synthesizing the still image decoded data of a plurality of frames using the important area information recorded in the storage means to generate a synthesized image;
Still image re-encoding means for re-encoding the synthesized image and generating still image re-encoded data;
Decoding and display means for decoding and displaying the moving picture encoded data and the still picture decoded data, and the storage means is a still picture of the same frame previously recorded when recording the still picture re-encoded data. Remote monitoring device that erases encoded data and important area information.
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、
前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、
前記動画符号化データ及び前記静止画符号化データを伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された動画符号化データ及び静止画符号化データを受信する受信手段と、
前記受信手段にて受信された動画符号化データより重要領域情報を生成する重要領域情報生成手段と、
前記受信手段にて受信された静止画符号化データ及び前記重要領域情報生成手段で生成された重要領域情報を記録する蓄積手段と、
前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、
前記蓄積手段に記録された重要領域情報を用いて複数のフレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、
前記動画符号化データ及び前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの静止画符号化データと重要領域情報を消去する遠隔監視装置。 A remote monitoring device including a transmission device and a reception device;
The transmitter is
Imaging means for imaging a subject and outputting image data;
Moving image encoding means for performing moving image encoding on the image data output from the imaging means, and generating and outputting moving image encoded data;
Still image encoding means for performing still image encoding on the image data output from the imaging means, generating still image encoded data, and outputting the still image encoded data;
Transmission means for transmitting the moving image encoded data and the still image encoded data to a transmission path,
The receiving device is:
Receiving means for receiving moving image encoded data and still image encoded data transmitted from the transmission device;
Important area information generating means for generating important area information from the moving image encoded data received by the receiving means;
Storage means for recording the still image encoded data received by the receiving means and the important area information generated by the important area information generating means;
Still image decoding means for decoding still image encoded data recorded in the storage means and generating still image decoded data;
Image synthesizing means for synthesizing the still image decoded data of a plurality of frames using the important area information recorded in the storage means to generate a synthesized image;
Still image re-encoding means for re-encoding the synthesized image and generating still image re-encoded data;
Decoding and display means for decoding and displaying the moving picture encoded data and the still picture decoded data, and the storage means is a still picture of the same frame previously recorded when recording the still picture re-encoded data. Remote monitoring device that erases encoded data and important area information.
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、
前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記重要領域情報を前記静止画符号化データに付加し付加情報付き静止画符号化データを生成する重要領域情報付加手段と、
前記動画符号化データ及び前記付加情報付き静止画符号化データを伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された動画符号化データ及び付加情報付き静止画符号化データを受信する受信手段と、
前記受信手段にて受信された付加情報付き静止画符号化データを記録する蓄積手段と、
前記蓄積手段に記録された付加情報付き静止画符号化データから重要領域情報を分離する重要領域情報分離手段と、
前記重要領域情報分離手段にて分離された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、
前記重要領域情報分離手段で分離された重要領域情報を用いて複数のフレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、
前記動画符号化データ及び前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記付加情報付き静止画符号化データを記録する際に予め記録していた同一フレームの付加情報付き静止画符号化データを消去する遠隔監視装置。 A remote monitoring device including a transmission device and a reception device;
The transmitter is
Imaging means for imaging a subject and outputting image data;
Moving image encoding means for performing moving image encoding on the image data output from the imaging means, and generating and outputting moving image encoded data;
Still image encoding means for performing still image encoding on the image data output from the imaging means, generating still image encoded data, and outputting the still image encoded data;
An important area generating means for detecting a specific area in the imaging area and generating important area information;
Important region information adding means for adding the important region information to the still image encoded data and generating still image encoded data with additional information;
Transmission means for transmitting the moving image encoded data and the still image encoded data with additional information to a transmission path,
The receiving device is:
Receiving means for receiving moving image encoded data and still image encoded data with additional information transmitted from the transmission device;
Storage means for recording still image encoded data with additional information received by the receiving means;
Important area information separating means for separating important area information from still image encoded data with additional information recorded in the storage means;
Still image decoding means for decoding still image encoded data separated by the important area information separating means and generating still image decoded data;
Image synthesizing means for synthesizing the still image decoded data of a plurality of frames using the important area information separated by the important area information separating means, and generating a synthesized image;
Still image re-encoding means for re-encoding the synthesized image and generating still image re-encoded data;
Decoding and display means for decoding and displaying the moving image encoded data and the still image decoded data, and the storage means of the same frame previously recorded when recording the still image encoded data with additional information A remote monitoring device that erases still image encoded data with additional information.
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、
前記動画符号化データを伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された動画符号化データを受信する受信手段と、
前記動画符号化データを記録する蓄積手段と、
前記蓄積手段に記録された動画符号化データを復号し動画復号データを生成する復号化手段と、
前記蓄積手段に記録された動画符号化データより重要領域情報を生成する重要領域情報生成手段と、
前記重要領域情報生成手段で生成された重要領域情報を用いて複数のフレームの前記動画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し再符号化データを生成する再符号化手段と、
前記動画符号化データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記再符号化データを記録する際に予め記録していた同一フレームの動画符号化データを消去する遠隔監視装置。 A remote monitoring device including a transmission device and a reception device;
The transmitter is
Imaging means for imaging a subject and outputting image data;
Moving image encoding means for performing moving image encoding on the image data output from the imaging means, and generating and outputting moving image encoded data;
Transmission means for transmitting the moving image encoded data to a transmission path,
The receiving device is:
Receiving means for receiving moving image encoded data transmitted from the transmitting device;
Storage means for recording the encoded video data;
Decoding means for decoding moving picture encoded data recorded in the storage means and generating moving picture decoded data;
Important area information generating means for generating important area information from moving image encoded data recorded in the storage means;
Image synthesizing means for synthesizing the moving image decoded data of a plurality of frames using the important area information generated by the important area information generating means, and generating a synthesized image;
Re-encoding means for re-encoding the composite image to generate re-encoded data;
A remote monitoring device comprising: decoding display means for decoding and displaying the moving picture encoded data, wherein the storage means erases the moving picture encoded data of the same frame recorded in advance when the re-encoded data is recorded. .
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記動画符号化データと前記重要領域情報を伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された前記動画符号化データと前記重要領域情報を受信する受信手段と、
前記動画符号化データと前記重要領域情報を記録する蓄積手段と、
前記蓄積手段に記録された動画符号化データを復号し復号データを生成する復号化手段と、
前記蓄積手段に記録された前記重要領域情報を用いて複数フレームの前記動画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し動画再符号化データを生成する再符号化手段と、
前記動画符号化データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記再符号化データを記録する際に予め記録していた同一フレームの動画符号化データを消去する遠隔監視装置。 A remote monitoring device including a transmission device and a reception device;
The transmitter is
Imaging means for imaging a subject and outputting image data;
Moving image encoding means for performing moving image encoding on the image data output from the imaging means, and generating and outputting moving image encoded data;
An important area generating means for detecting a specific area in the imaging area and generating important area information;
Transmitting means for transmitting the moving image encoded data and the important area information to a transmission path,
The receiving device is:
Receiving means for receiving the encoded video data and the important area information transmitted from the transmitting device;
Storage means for recording the moving image encoded data and the important area information;
Decoding means for decoding moving image encoded data recorded in the storage means and generating decoded data;
Image synthesizing means for synthesizing the moving picture decoded data of a plurality of frames using the important area information recorded in the storage means, and generating a synthesized image;
Re-encoding means for re-encoding the synthesized image and generating moving image re-encoded data;
A remote monitoring device comprising: decoding display means for decoding and displaying the moving picture encoded data, wherein the storage means erases the moving picture encoded data of the same frame recorded in advance when the re-encoded data is recorded. .
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記静止画符号化データと前記重要領域情報を伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された前記静止画符号化データと前記重要領域情報を受信する受信手段と、
前記静止画符号化データと前記重要領域情報を記録する蓄積手段と、
前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、
前記重要領域情報を用いて複数フレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、
前記動画符号化データ、前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの画像符号化データを消去する遠隔監視装置。 A remote monitoring device including a transmission device and a reception device;
The transmitter is
Imaging means for imaging a subject and outputting image data;
Still image encoding means for performing still image encoding on the image data output from the imaging means, generating still image encoded data, and outputting the still image encoded data;
An important area generating means for detecting a specific area in the imaging area and generating important area information;
Transmission means for transmitting the still image encoded data and the important area information to a transmission path,
The receiving device is:
Receiving means for receiving the still image encoded data and the important region information transmitted from the transmitting device;
Storage means for recording the still image encoded data and the important area information;
Still image decoding means for decoding still image encoded data recorded in the storage means and generating still image decoded data;
Image synthesizing means for synthesizing the still image decoded data of a plurality of frames using the important area information to generate a synthesized image;
Still image re-encoding means for re-encoding the synthesized image and generating still image re-encoded data;
A decoding display unit configured to decode and display the moving image encoded data and the still image decoding data, and the storage unit stores the image code of the same frame recorded in advance when the still image re-encoded data is recorded. Remote monitoring device that erases data.
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、
前記重要領域情報を前記静止画復号データに付加し付加情報付き静止画符号化データを生成する重要領域情報付加手段と、
前記付加情報付き静止画符号化データを伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された前記付加情報付き静止画符号化データを受信する受信手段と、
前記付加情報付き静止画符号化データを記録する蓄積手段と、
前記蓄積手段に記録された付加情報付き静止画符号化データから前記重要領域情報を分離する重要領域情報分離手段と、
分離された前記静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、
前記重要領域情報を用いて複数フレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、
前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの画像符号化データを消去する遠隔監視装置。 A remote monitoring device including a transmission device and a reception device;
The transmitter is
Imaging means for imaging a subject and outputting image data;
An important area generating means for detecting a specific area in the imaging area and generating important area information;
Still image encoding means for performing still image encoding on the image data output from the imaging means, generating still image encoded data, and outputting the still image encoded data;
Important region information adding means for adding the important region information to the still image decoded data and generating still image encoded data with additional information;
Transmission means for transmitting the still image encoded data with additional information to a transmission path,
The receiving device is:
Receiving means for receiving still image encoded data with additional information transmitted from the transmitting device;
Storage means for recording the still image encoded data with additional information;
Important area information separating means for separating the important area information from the still image encoded data with additional information recorded in the storage means;
Still image decoding means for decoding the separated still image encoded data and generating still image decoded data;
Image synthesizing means for synthesizing the still image decoded data of a plurality of frames using the important area information to generate a synthesized image;
Still image re-encoding means for re-encoding the synthesized image and generating still image re-encoded data;
A decoding display unit for decoding and displaying the still image decoded data, and the storage unit is a remote unit for erasing the image encoded data of the same frame previously recorded when the still image re-encoded data is recorded. Monitoring device.
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対し符号化を行ない、符号化データを生成する符号化手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記符号化データと前記重要領域情報を記録する蓄積手段と、
前記蓄積手段に記録された符号化データを復号し復号データを生成する復号化手段と、
前記重要領域情報を用いて複数フレームの前記復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し再符号化データを生成する再符号化手段と前記符号化データを伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された前記符号化データを受信する受信手段と、
前記符号化データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記再符号化データを記録する際に予め記録していた同一フレームの符号化データと重要領域情報を消去する遠隔監視装置。 A remote monitoring device including a transmission device and a reception device;
The transmitter is
Imaging means for imaging a subject and outputting image data;
Encoding means for encoding the image data output from the imaging means and generating encoded data;
An important area generating means for detecting a specific area in the imaging area and generating important area information;
Storage means for recording the encoded data and the important area information;
Decoding means for decoding the encoded data recorded in the storage means and generating decoded data;
Image synthesizing means for synthesizing the decoded data of a plurality of frames using the important region information to generate a synthesized image;
Re-encoding means for re-encoding the synthesized image and generating re-encoded data; and transmission means for transmitting the encoded data to a transmission path,
The receiving device is:
Receiving means for receiving the encoded data transmitted from the transmitting device;
Decoding and display means for decoding and displaying the encoded data, and the storage means is a remote controller for erasing the encoded data of the same frame and the important area information previously recorded when the re-encoded data is recorded. Monitoring device.
前記重要領域生成手段は、前記赤外線センサが反応した領域を重要領域情報として生成する請求項１、請求項３、請求項５、請求項６、請求項７又は請求項８に記載の遠隔監視装置。 With an infrared sensor,
The remote monitoring device according to claim 1, 3, 5, 6, 7, or 8, wherein the important area generation unit generates an area in which the infrared sensor has reacted as important area information. .
前記重要領域生成手段は、前記音響センサが反応した領域を重要領域情報として生成する請求項１、請求項３、請求項５、請求項６、請求項７又は請求項８に記載の遠隔監視装置。 With an acoustic sensor,
9. The remote monitoring apparatus according to claim 1, 3, 5, 5, 7, or 8, wherein the important area generating unit generates an area in which the acoustic sensor has reacted as important area information. .
音響センサとを備え、
前記重要領域生成手段は、顔領域、人物の形状又はナンバープレートを検出し、動画符号化情報、顔領域、人物領域、ナンバープレート領域、赤外線センサ反応領域、音響センサ反応領域のうち２種類以上の組み合わせを重要領域情報として生成する請求項１、請求項３、請求項５、請求項６、請求項７又は請求項８に記載の遠隔監視装置。 An infrared sensor;
An acoustic sensor,
The important area generation means detects a face area, a shape of a person, or a license plate, and includes two or more kinds of moving image encoded information, face area, person area, license plate area, infrared sensor reaction area, and acoustic sensor reaction area. The remote monitoring device according to claim 1, claim 3, claim 5, claim 6, claim 7, or claim 8, wherein the combination is generated as important area information.
前記各送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段からの画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、
前記撮像手段からの画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記動画符号化データ、前記静止画符号化データ、前記重要領域情報及び前記カメラＩＤを伝送路に送信する送信手段とを備え、
前記受信装置は、
複数の前記送信装置夫々から送信された前記動画符号化データ、前記静止画符号化データ、前記重要領域情報及び前記カメラＩＤを受信する受信手段と、
前記静止画符号化データと前記重要領域情報を前記カメラＩＤ毎に記録する蓄積手段と、
前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する複数の静止画復号化手段と、
前記重要領域情報を用いて複数フレームの静止画復号データを合成した後、解像度変換処理を施しカメラＩＤ毎に縮小合成画像を生成する複数の合成縮小手段と、
同一時刻範囲における複数の前記縮小合成画像を合成し複数のカメラの画像から１枚の画像を生成する画像合成手段と、
前記画像合成手段で生成された画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、
複数カメラの前記動画符号化データ、前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、これら前記静止画再符号化データを記録する際に予め記録されていた同一フレームの静止画符号化データを消去する遠隔監視装置。 A remote monitoring device comprising a plurality of transmission devices each assigned an identification camera ID and a single reception device,
Each of the transmission devices is
Imaging means for imaging a subject and outputting image data;
A moving image encoding unit that performs moving image encoding on the image data from the imaging unit and generates and outputs moving image encoded data;
Still image encoding means for performing still image encoding on the image data from the imaging means, and generating and outputting still image encoded data;
An important area generating means for detecting a specific area in the imaging area and generating important area information;
Transmission means for transmitting the moving image encoded data, the still image encoded data, the important area information, and the camera ID to a transmission path,
The receiving device is:
Receiving means for receiving the moving image encoded data, the still image encoded data, the important area information, and the camera ID transmitted from each of the plurality of transmitting devices;
Storage means for recording the still image encoded data and the important area information for each camera ID;
A plurality of still picture decoding means for decoding still picture encoded data recorded in the storage means and generating still picture decoded data;
A plurality of combining / reducing means for combining the still image decoding data of a plurality of frames using the important area information and then performing a resolution conversion process to generate a reduced combined image for each camera ID;
Image synthesizing means for synthesizing a plurality of the reduced synthesized images in the same time range and generating one image from images of a plurality of cameras;
A still image re-encoding unit that re-encodes the image generated by the image synthesis unit and generates still image re-encoded data;
Decoding and display means for decoding and displaying the video encoded data and the still picture decoded data of a plurality of cameras, and the storage means is the same as that previously recorded when recording the still picture re-encoded data A remote monitoring device for erasing frame still image encoded data.
画像データに対して動画符号化を行ない、動画符号化データを生成する動画符号化工程と、
画像データに対して静止画符号化を行ない、静止画符号化データを生成する静止画符号化工程と、
撮像領域中の特定の領域を検出して重要領域情報を生成する重要領域生成工程と、
前記動画符号化データ、前記静止画符号化データ、前記重要領域情報を伝送路に送信する送信工程と、
前記動画符号化データ、前記静止画符号化データ、前記重要領域情報を受信する受信工程と、
前記静止画符号化データと前記重要領域情報を記録する蓄積工程と、
前記蓄積工程にて記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化工程と、
前記重要領域情報を用いて複数フレームの前記静止画復号データを合成し合成画像を生成する画像合成工程と、
前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化工程と、
前記動画符号化データ、前記静止画復号データを復号し表示する復号表示工程とを備え、
前記静止画復号化工程、前記画像合成工程、前記静止画再符号化工程では記録されてから任意の時間が経過したデータに対して処理を行ない、前記蓄積工程ではこれらの処理されたデータは消去し前記静止画再符号化工程にて再符号化されたデータを記録する遠隔監視方法。 An imaging process for imaging a subject;
A moving image encoding step of performing moving image encoding on the image data and generating moving image encoded data;
A still image encoding process for performing still image encoding on image data and generating still image encoded data;
An important region generating step of detecting a specific region in the imaging region and generating important region information;
A transmission step of transmitting the moving image encoded data, the still image encoded data, and the important area information to a transmission path;
Receiving the moving image encoded data, the still image encoded data, and the important area information;
An accumulation step for recording the still image encoded data and the important area information;
A still image decoding step of decoding still image encoded data recorded in the accumulation step and generating still image decoded data;
An image synthesis step of synthesizing the still image decoded data of a plurality of frames using the important area information to generate a synthesized image;
A still image re-encoding step for re-encoding the composite image to generate still image re-encoded data;
A decoding display step for decoding and displaying the moving image encoded data and the still image decoded data,
In the still image decoding step, the image synthesizing step, and the still image re-encoding step, data is processed for an arbitrary time after recording, and in the storage step, these processed data are deleted. A remote monitoring method for recording the data re-encoded in the still image re-encoding step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006011381A JP2007194928A (en) | 2006-01-19 | 2006-01-19 | Remote monitoring device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006011381A JP2007194928A (en) | 2006-01-19 | 2006-01-19 | Remote monitoring device and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2007194928A true JP2007194928A (en) | 2007-08-02 |
Family
ID=38450266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006011381A Withdrawn JP2007194928A (en) | 2006-01-19 | 2006-01-19 | Remote monitoring device and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2007194928A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009151785A (en) * | 2007-12-20 | 2009-07-09 | Thomson Licensing | Device and method for calculating salience map of audio video document |
| JP2009188792A (en) * | 2008-02-07 | 2009-08-20 | Sony Corp | Image transmitter, image receiver, image transmitting/receiving system, image transmitting program, and image receiving program |
| JP2009212711A (en) * | 2008-03-03 | 2009-09-17 | Toshiba Teli Corp | Image processor |
| JP2010016605A (en) * | 2008-07-03 | 2010-01-21 | Panasonic Corp | Image decoding and displaying device |
| JP2010273328A (en) * | 2009-04-20 | 2010-12-02 | Fujifilm Corp | Image processing apparatus, image processing method and program |
| JP2014027575A (en) * | 2012-07-30 | 2014-02-06 | Jvc Kenwood Corp | Image data recording device, image data recording method, and image data recording program |
| JP2014230173A (en) * | 2013-05-23 | 2014-12-08 | キヤノン株式会社 | Image processing apparatus, control method for the same, and program |
| JP2015084512A (en) * | 2013-09-18 | 2015-04-30 | 株式会社リコー | Image processing system |
| JP2017085396A (en) * | 2015-10-29 | 2017-05-18 | 沖電気工業株式会社 | Video storage system, video storage device, and program |
| JP6400260B1 (en) * | 2017-10-20 | 2018-10-03 | 三菱電機株式会社 | Data processing apparatus, programmable display and data processing method |
| WO2024047794A1 (en) * | 2022-08-31 | 2024-03-07 | 日本電気株式会社 | Video processing system, video processing device, and video processing method |
-
2006
- 2006-01-19 JP JP2006011381A patent/JP2007194928A/en not_active Withdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009151785A (en) * | 2007-12-20 | 2009-07-09 | Thomson Licensing | Device and method for calculating salience map of audio video document |
| JP2009188792A (en) * | 2008-02-07 | 2009-08-20 | Sony Corp | Image transmitter, image receiver, image transmitting/receiving system, image transmitting program, and image receiving program |
| US8315481B2 (en) | 2008-02-07 | 2012-11-20 | Sony Corporation | Image transmitting apparatus, image receiving apparatus, image transmitting and receiving system, recording medium recording image transmitting program, and recording medium recording image receiving program |
| JP4663746B2 (en) * | 2008-03-03 | 2011-04-06 | 東芝テリー株式会社 | Image processing device |
| JP2009212711A (en) * | 2008-03-03 | 2009-09-17 | Toshiba Teli Corp | Image processor |
| JP2010016605A (en) * | 2008-07-03 | 2010-01-21 | Panasonic Corp | Image decoding and displaying device |
| JP2010273328A (en) * | 2009-04-20 | 2010-12-02 | Fujifilm Corp | Image processing apparatus, image processing method and program |
| JP2014027575A (en) * | 2012-07-30 | 2014-02-06 | Jvc Kenwood Corp | Image data recording device, image data recording method, and image data recording program |
| JP2014230173A (en) * | 2013-05-23 | 2014-12-08 | キヤノン株式会社 | Image processing apparatus, control method for the same, and program |
| JP2015084512A (en) * | 2013-09-18 | 2015-04-30 | 株式会社リコー | Image processing system |
| JP2017085396A (en) * | 2015-10-29 | 2017-05-18 | 沖電気工業株式会社 | Video storage system, video storage device, and program |
| JP6400260B1 (en) * | 2017-10-20 | 2018-10-03 | 三菱電機株式会社 | Data processing apparatus, programmable display and data processing method |
| WO2019077750A1 (en) * | 2017-10-20 | 2019-04-25 | 三菱電機株式会社 | Data processing device, programmable display, and data processing method |
| WO2024047794A1 (en) * | 2022-08-31 | 2024-03-07 | 日本電気株式会社 | Video processing system, video processing device, and video processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2007194928A (en) | Remote monitoring device and method | |
| JP5109697B2 (en) | Image transmission device, image reception device, image transmission / reception system, image transmission program, and image reception program | |
| JP4525561B2 (en) | Imaging apparatus, image processing method, and program | |
| EP1879384B1 (en) | Improved pre-alarm video buffer | |
| JP2006253768A (en) | Digital camera | |
| JP4887750B2 (en) | Image processing apparatus, control method, and program | |
| WO2001093591A1 (en) | Image processing apparatus and method, communication apparatus, communication system and method, and recorded medium | |
| KR100555012B1 (en) | Moving picture recording and sending device | |
| JP2009021983A (en) | Monitor image recording apparatus | |
| WO2011024361A1 (en) | Network camera and video distribution system | |
| KR101280443B1 (en) | apparatus of processing regional image and method thereof | |
| JP2007096412A (en) | Moving picture photographing apparatus and moving picture transmitting/receiving system | |
| JP4325596B2 (en) | Network surveillance camera system | |
| JPH07231442A (en) | Security monitor device | |
| JP2002262272A (en) | Digital supervisory camera system and controller | |
| JP4698260B2 (en) | Image recording apparatus and monitoring system | |
| JP2005300943A (en) | Information display position control method and device | |
| JP5906430B2 (en) | Video transmission terminal and video transmission system | |
| JP2008124626A (en) | Apparatus and method for controlling record of image | |
| JP2006109060A (en) | Blur correcting method and device using image coding information | |
| KR102268596B1 (en) | Apparatus for changing transmission condition of video data based on metedata and method thereof | |
| JP3085003U (en) | Moving object detecting device and moving object detecting system | |
| JP5131954B2 (en) | Video recorder and camera system | |
| JP6102233B2 (en) | Evaluation apparatus and image quality evaluation method in evaluation apparatus | |
| JP5022581B2 (en) | Image transmission system and image transmission method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071113 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071220 |
|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090407 |