JP2010016605A - Image decoding and displaying device - Google Patents

Image decoding and displaying device Download PDF

Info

Publication number
JP2010016605A
JP2010016605A JP2008174518A JP2008174518A JP2010016605A JP 2010016605 A JP2010016605 A JP 2010016605A JP 2008174518 A JP2008174518 A JP 2008174518A JP 2008174518 A JP2008174518 A JP 2008174518A JP 2010016605 A JP2010016605 A JP 2010016605A
Authority
JP
Japan
Prior art keywords
image
attention area
area
image data
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008174518A
Other languages
Japanese (ja)
Other versions
JP2010016605A5 (en
JP5131980B2 (en
Inventor
Kenji Kobayashi
健二 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2008174518A priority Critical patent/JP5131980B2/en
Publication of JP2010016605A publication Critical patent/JP2010016605A/en
Publication of JP2010016605A5 publication Critical patent/JP2010016605A5/ja
Application granted granted Critical
Publication of JP5131980B2 publication Critical patent/JP5131980B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image decoding and displaying device capable of easily and visually recognizing on which screen an event is generated when the plurality of events to be watched are generated simultaneously when simultaneously displaying and monitoring images obtained from a plurality of imaging apparatus on one display terminal. <P>SOLUTION: Two or more kinds of image data of different image qualities are decoded in a decoder 102 and preserved in a memory 103. An area of interest generation part 104 generates an area under consideration by movement information during decoding and information set from an area-under-consideration outside setting part 108, and an area-under-consideration composition part 105 selects one of the two or more kinds of image data present in the memory 103 when the area under consideration is present, segments the image pertinent to the area under consideration obtained from the area of interest generation part 104 to prepare an area-under-consideration image, and combines it on the other image data present in the memory 103. A composition part 106 combines the image data outputted from the plurality of memories 103 and the plurality of area-under-consideration composition parts 105 and outputs them to a monitoring monitor 120. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、デジタル圧縮された画像データを復号し、復号した画像の表示を行う画像復号・表示装置に関する。   The present invention relates to an image decoding / display device that decodes digitally compressed image data and displays the decoded image.

従来の画像復号・表示装置には、監視対象とする撮像機器よりリアルタイム監視用に標準画像を取得して表示端末に表示し、画像中に動き等のイベントが発生した際には撮像機器より別途高解像度画像を取得して表示端末上の別領域に全体を表示するようにしたものがある。   In a conventional image decoding / display device, a standard image is acquired for real-time monitoring from an imaging device to be monitored and displayed on a display terminal. When an event such as a movement occurs in the image, the imaging device separately Some have acquired a high-resolution image and displayed the entire image in another area on the display terminal.

また、高解像度画像の全体表示領域とは別の領域に部分拡大表示用の複数の領域を設け、表示する拡大画像を高解像度画像中の任意の箇所から指定できる機能を設けることにより、標準画像でリアルタイム監視をしつつ、注視するべきイベントが発生した場合には高解像度の全体画像及び部分画像を同一画面に表示し、効果的に監視を行うと言う方法が考案されている(例えば特許文献1参照)。   Also, by providing a plurality of areas for partial enlargement display in an area different from the entire display area of the high resolution image, and providing a function for specifying the enlarged image to be displayed from any place in the high resolution image, a standard image In real-time monitoring, when an event to be watched occurs, a method of displaying a high-resolution whole image and a partial image on the same screen for effective monitoring has been devised (for example, Patent Documents) 1).

特開2006−245746号公報JP 2006-245746 A

しかしながら、従来の画像復号・表示装置においては、1つの表示端末上に、ある1つの撮像機器から得られた画像を複数領域に表示するため、1つの表示端末上に複数の撮像機器から得られた画像を同時に表示して監視を行う際に、別領域に表示されるイベント等により表示された高解像度の部分拡大画像がどの画面表示に関する画像であるかを視認し難いという問題がある。   However, in the conventional image decoding / display device, an image obtained from one imaging device is displayed in a plurality of areas on one display terminal, and thus obtained from a plurality of imaging devices on one display terminal. When displaying the images simultaneously for monitoring, there is a problem that it is difficult to visually recognize which screen display the high-resolution partially enlarged image displayed by an event or the like displayed in another area is.

本発明は、かかる事情に鑑みてなされたものであり、1つの表示端末上に複数の撮像機器から得られた画像を同時に表示して監視を行う際に、同時に複数の注視するべきイベントが発生した場合でも、どの画面でイベントが発生したかを容易に視認することができる画像復号・表示装置を提供することを目的とする。   The present invention has been made in view of such circumstances, and when displaying images obtained from a plurality of imaging devices simultaneously on a single display terminal for monitoring, a plurality of events to be watched simultaneously occur. It is an object of the present invention to provide an image decoding / displaying device that can easily recognize on which screen an event has occurred even if it is performed.

本発明の画像復号・表示装置は、外部からの複数のチャンネルのデジタル画像データを取り込むインタフェースと、チャンネル毎に設けられ、前記インタフェースにより入力される少なくとも2種のデジタル圧縮された画像データを復号する複数の復号器と、前記複数の復号器のそれぞれと1対1に対応し、それぞれが、対応する前記復号器から出力された少なくとも2種の画像データを一時的に保持する複数のメモリと、前記複数の復号器のそれぞれと1対1に対応し、それぞれが、対応する前記復号器の復号時の動き情報及び注目領域外部設定部より設定される情報により注目領域を生成する複数の注目領域生成部と、前記複数の注目領域生成部のそれぞれと1対1に対応し、それぞれが、対応する前記注目領域生成部で注目領域が生成された場合に、対応する前記メモリの中に存在する2種以上の画像データから1つを選択し、対応する前記注目領域生成部で生成された注目領域に該当する画像を切り出して注目領域画像を作成し、対応する前記メモリの中に存在する他の画像データ上に合成させる複数の注目領域合成部と、前記複数のメモリ及び前記複数の注目領域合成部のそれぞれから出力される画像データを合成して表示端末に出力する合成部と、ユーザからの外部入力を受け付け、前記複数の注目領域外部設定部にユーザからの入力情報を入力する操作入力部と、前記操作入力部より入力されたユーザからの外部入力を画像の領域情報に変換し、前記複数の注目領域生成部のそれぞれに設定する注目領域外部設定部と、を備えた。   The image decoding / display apparatus according to the present invention decodes at least two kinds of digitally compressed image data provided for each channel, which is provided for each channel, and which is input for each channel. A plurality of decoders, a plurality of memories corresponding to each of the plurality of decoders on a one-to-one basis, each of which temporarily holds at least two types of image data output from the corresponding decoder; A plurality of regions of interest that correspond one-to-one with each of the plurality of decoders, and that each generate a region of interest based on motion information at the time of decoding of the corresponding decoder and information set by a region of interest external setting unit There is a one-to-one correspondence between the generation unit and each of the plurality of attention region generation units, and each region of interest is generated by the corresponding attention region generation unit. If one of the two or more types of image data existing in the corresponding memory is selected, an image corresponding to the attention area generated by the corresponding attention area generation unit is cut out and the attention area image is extracted. A plurality of attention area combining sections that are combined with other image data existing in the corresponding memory, and image data output from each of the plurality of memories and the plurality of attention area combining sections. A composite unit that synthesizes and outputs to the display terminal, an operation input unit that receives external input from the user and inputs input information from the user to the plurality of attention area external setting units, and an input from the operation input unit An attention area external setting unit that converts external input from a user into area information of an image and sets the information in each of the plurality of attention area generation units.

この構成により、複数の監視画像を1つの表示端末上に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認し易くすることができる。   With this configuration, when a plurality of monitoring images are displayed on one display terminal and an event to be noticed occurs simultaneously on the plurality of monitoring images, the monitoring image has a different image quality from the image being monitored. By superimposing the event occurrence areas, it is possible to make it easy to visually recognize at which position of which monitoring target the event has occurred.

また、上記構成において、前記注目領域合成部の代わりに、それぞれが、対応する前記注目領域生成部で生成された注目領域に該当する画像を切り出して注目領域画像を生成し、対応する前記メモリの中に存在する他の画像データと関連付けて画像を生成する複数の注目画像形成部を備える。   Further, in the above configuration, instead of the attention area synthesis unit, each of them generates an attention area image by cutting out an image corresponding to the attention area generated by the corresponding attention area generation unit. A plurality of attention image forming units that generate images in association with other image data existing therein.

この構成により、複数の監視画像を1つの表示端末上に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、通常監視用の領域を覆い隠すこと無く、どの監視対象にイベントが発生したかを視認し易くすることができる。   With this configuration, when a plurality of monitoring images are displayed on one display terminal and an event to be noticed occurs simultaneously in the plurality of monitoring images, it is possible to select which monitoring target without obscuring the normal monitoring area. It is possible to make it easy to see whether an event has occurred.

本発明の監視システムは、上記画像復号・表示装置と、それぞれが2種類以上の異なる画質のデジタル圧縮を可能とし、デジタル圧縮した画像を出力する複数のカメラと、前記画像復号・表示装置から出力される画像データを視覚表示する表示端末と、を備えた。   The monitoring system of the present invention is capable of digital compression with two or more different image quality, each of the above-described image decoding / display devices, and a plurality of cameras that output digitally compressed images, and output from the image decoding / display device And a display terminal for visually displaying the image data to be displayed.

この構成により、複数の監視画像を1つの表示端末上に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認し易くすることができる。   With this configuration, when a plurality of monitoring images are displayed on one display terminal and an event to be noticed occurs simultaneously on the plurality of monitoring images, the monitoring image has a different image quality from the image being monitored. By superimposing the event occurrence areas, it is possible to make it easy to visually recognize at which position of which monitoring target the event has occurred.

本発明によれば、複数の監視画像を1つの表示端末上に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認し易くすることができる画像復号・表示装置を提供することができる。   According to the present invention, when a plurality of monitoring images are displayed on one display terminal and an event to be noticed simultaneously occurs in the plurality of monitoring images, the monitoring image has a different image quality from the image being monitored. It is possible to provide an image decoding / display device capable of easily recognizing at which position of which monitoring target an event has occurred by superimposing an event occurrence region thereon.

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described in detail with reference to the drawings.

(実施の形態1)
図1は、本発明の実施の形態1に係る画像復号・表示装置の概略構成を示すブロック図である。同図において、本実施の形態の画像復号・表示装置100は、監視システムに用いたものであり、インタフェース101と、デコーダ(復号器)102a〜102dと、メモリ103a〜103dと、注目領域生成部104a〜104dと、注目領域合成部105a〜105dと、操作入力部107と、合成部106と、注目領域外部設定部108とを備える。
(Embodiment 1)
FIG. 1 is a block diagram showing a schematic configuration of an image decoding / display apparatus according to Embodiment 1 of the present invention. In the figure, an image decoding / display apparatus 100 according to the present embodiment is used in a monitoring system, and includes an interface 101, decoders (decoders) 102a to 102d, memories 103a to 103d, and a region of interest generation unit. 104a to 104d, attention area synthesis sections 105a to 105d, an operation input section 107, a synthesis section 106, and an attention area external setting section 108.

インタフェース101は、外部からの複数のチャンネルのデジタル画像データを取り込む。デコーダ102a〜102dは、チャンネル毎に設けられ、インタフェース101により入力される少なくとも2種のデジタル圧縮された画像データをデコード(復号)する。メモリ103a〜103dは、デコーダ102a〜102dのそれぞれと1対1に対応し、それぞれが、対応するデコーダ102a〜102dから出力された少なくとも2種の画像データを一時的に保持する。注目領域生成部104a〜104dは、デコーダ102a〜102dのそれぞれと1対1に対応し、それぞれが、対応するデコーダ102a〜102dのデコード時の動き情報及び注目領域外部設定部108より設定される情報により注目領域を生成する。   The interface 101 takes in digital image data of a plurality of channels from the outside. The decoders 102 a to 102 d are provided for each channel, and decode (decode) at least two types of digitally compressed image data input from the interface 101. The memories 103a to 103d have a one-to-one correspondence with each of the decoders 102a to 102d, and each temporarily holds at least two types of image data output from the corresponding decoders 102a to 102d. The attention area generation units 104a to 104d correspond to the decoders 102a to 102d on a one-to-one basis, and each of them sets motion information at the time of decoding of the corresponding decoders 102a to 102d and information set by the attention area external setting unit 108. To generate a region of interest.

注目領域合成部105a〜105dは、注目領域生成部104a〜104dのそれぞれと1対1に対応し、それぞれが、対応する注目領域生成部104a〜104dで注目領域が生成された場合に、対応するメモリメモリ103a〜103dの中に存在する2種以上の画像データから1つを選択し、対応する注目領域生成部104a〜104dで生成された注目領域に該当する画像を切り出して注目領域画像を作成し、対応するメモリメモリ103a〜103dの中に存在する他の画像データ上に合成させる。合成部106は、拡大縮小機能を持ち、メモリ103a〜103d及び注目領域合成部105a〜105dのそれぞれから出力される画像データを合成して監視モニタ(表示端末)120へ出力する。操作入力部107は、ユーザからの外部入力を受け付け、注目領域外部設定部108に入力情報を伝える。注目領域外部設定部108は、操作入力部107より得られたユーザからの外部入力を画像の領域情報に変換し、注目領域生成部104a〜104dのそれぞれに設定する。   The attention area synthesis sections 105a to 105d correspond to the attention area generation sections 104a to 104d on a one-to-one basis, and each corresponds to a case where attention areas are generated by the corresponding attention area generation sections 104a to 104d. One is selected from two or more types of image data existing in the memory memories 103a to 103d, and an image corresponding to the attention area generated by the corresponding attention area generation unit 104a to 104d is cut out to generate an attention area image Then, the image data is combined with other image data existing in the corresponding memory memories 103a to 103d. The combining unit 106 has an enlargement / reduction function, combines the image data output from each of the memories 103 a to 103 d and the attention area combining units 105 a to 105 d and outputs the combined image data to the monitoring monitor (display terminal) 120. The operation input unit 107 receives an external input from the user and transmits input information to the attention area external setting unit 108. The attention area external setting section 108 converts the external input from the user obtained from the operation input section 107 into area information of the image, and sets it in each of the attention area generation sections 104a to 104d.

監視システムを構成するカメラ110a〜110dは、ネットワーク接続機能を有し、また2種類以上の異なる画質のデジタル圧縮が可能であり、ネットワーク111を介してインタフェース101にデジタル圧縮した画像を入力する。   The cameras 110 a to 110 d constituting the monitoring system have a network connection function and can perform two or more types of digital compression with different image quality, and input digitally compressed images to the interface 101 via the network 111.

本実施の形態の画像復号・表示装置100は以上のように構成されており、以下にその動作を説明する。図2は、インタフェース101を経由して入力される同じカメラ100aより得られた2種類の異なるデジタル圧縮された画像データをデコーダ102aによりデコードし、メモリ103aに格納した画像の例を示す図である。これより、カメラ100aより入力された画像に関する処理をチャンネルaの処理と表記する。同様に、カメラ100bより入力された画像に関する処理をチャンネルbの処理、カメラ100cにより入力された画像に関する処理をチャンネルcの処理、カメラ100dにより入力された画像に関する処理をチャンネルdの処理と表記する。図2において、220は同じコーデック、同じ圧縮率でデジタル圧縮された画像の組の例を示しており、リアルタイム監視に使用する動き保障を用いた動画像コーデックの例である。200は時刻(t1)における画像、201は時刻(t2)における画像を示している。   The image decoding / display apparatus 100 of the present embodiment is configured as described above, and the operation thereof will be described below. FIG. 2 is a diagram illustrating an example of an image in which two types of different digitally compressed image data obtained from the same camera 100a input via the interface 101 are decoded by the decoder 102a and stored in the memory 103a. . Thus, the processing related to the image input from the camera 100a is referred to as channel a processing. Similarly, processing relating to an image input from the camera 100b is referred to as channel b processing, processing relating to an image input from the camera 100c is referred to as channel c processing, and processing relating to an image input from the camera 100d is referred to as channel d processing. . In FIG. 2, 220 shows an example of a set of images digitally compressed with the same codec and the same compression rate, and is an example of a moving image codec using motion guarantee used for real-time monitoring. Reference numeral 200 denotes an image at time (t1), and 201 denotes an image at time (t2).

一方、211は、220の画像の組とはコーデック、圧縮率、解像度の3つの条件の内、いずれかが異なる条件でデジタル圧縮された時刻(t2)における画像を示している。211は201と同じ撮像範囲、同じ時刻(t2)の画像データであるが、201と比較してコーデックが異なり、圧縮率を低く、解像度を高く設定し、主観画質として211の方が優れており、時刻(t2)の画像データのみ存在する例を示している。   On the other hand, reference numeral 211 denotes an image at time (t2) when digital compression is performed under a condition in which any one of three conditions of codec, compression rate, and resolution is different from the set of 220 images. 211 is image data of the same imaging range and the same time (t2) as 201, but the codec is different from 201, the compression rate is set low, the resolution is set high, and 211 is superior as the subjective image quality. In this example, only the image data at time (t2) exists.

図3は、220の画像の組の例における人の移動の様子を示す図である。同図において、300は時刻(t1)の画像200中の人物を抜粋した図であり、格子状の模様は200の画像のマクロブロック(以下“MB”と呼ぶ)の境界線を表している。同様に、301は時刻(t2)の画像201中の人物を抜粋した図であり、格子状の模様は201の画像のMB境界を表している。321で示している模様付きMBの組は、322で示している模様付きMBの組のデコード時に動き保障で使用したブロックの組を表している。   FIG. 3 is a diagram showing how a person moves in an example of a set of 220 images. In the figure, reference numeral 300 denotes a person extracted from the image 200 at time (t1), and a lattice pattern represents a boundary line of a macroblock (hereinafter referred to as “MB”) of the 200 images. Similarly, 301 is a diagram in which a person in the image 201 at time (t2) is extracted, and the lattice pattern represents the MB boundary of the 201 image. A set of MBs with a pattern indicated by reference numeral 321 represents a set of blocks used for motion guarantee when the set of MBs with a pattern indicated by 322 is decoded.

図4は、321のMBの組及び322のMBの組を抜き出し、201の画像のMB境界と重ね合わせた図である。322の各MBは、311の各MBを参照してデコードを行うため、321のMBの組及び322のMBの組の位置の差がこの例における時刻(t1)から時刻(t2)までの人の動きを表しており、この動きを注目領域の生成に使用する。   FIG. 4 is a diagram in which a set of 321 MBs and a set of 322 MBs are extracted and superimposed on the MB boundaries of 201 images. Since each MB of 322 is decoded with reference to each MB of 311, the position difference between the set of 321 MB and the set of 322 MB is the person from time (t1) to time (t2) in this example. This movement is used to generate a region of interest.

次に、図5のフローチャート及び図6を用いて注目領域生成部104aにおける注目領域の生成方法の例について説明する。例として、インタフェース101を経由して入力される、カメラ100aより得られたチャンネルaの2種類の異なるデジタル圧縮された画像データの内、リアルタイム監視で使用する、220で示している画像の組を用いて注目領域の生成過程を説明する。   Next, an example of an attention area generation method in the attention area generation unit 104a will be described with reference to the flowchart of FIG. 5 and FIG. As an example, among two different digitally compressed image data of channel a obtained from the camera 100a input via the interface 101, a set of images indicated by 220 used for real-time monitoring is used. The process of generating a region of interest will be described using.

ステップS501…メモリ103aに格納されたデコード後の画像の組の中より、注目領域の生成に使用する画像の組を選択する。この実施の形態の説明では、220の画像の組を選択する。
ステップS502…ステップS501で選択した画像の組より注目領域を求める基準の画像を選択する。この実施の形態の説明では、時刻(t2)の画像201を基準の画像とする。
Step S501: A set of images used for generating a region of interest is selected from the set of decoded images stored in the memory 103a. In the description of this embodiment, 220 image sets are selected.
Step S502: A reference image for obtaining a region of interest is selected from the set of images selected in step S501. In the description of this embodiment, the image 201 at time (t2) is used as a reference image.

ステップS503…ステップS502で選択した画像の、あるMBに対し、そのMBが動き保障を使用しているかどうかを判定する。動き保障を使用していればステップS504に、動き保障を使用していなければステップS506に遷移する。
ステップS504…動き保障を使用しているMBに関して、デコーダ102aよりデコード情報を取得し、動き保障で使用した画像及びMBの位置情報を得る。
ステップS505…ステップS504で取得した動き保障の情報を用いて、動き情報による注目領域を決定する(詳細は後ほど説明する)。
Step S503: For a certain MB of the image selected in step S502, it is determined whether the MB uses motion guarantee. If motion guarantee is used, the process proceeds to step S504. If motion guarantee is not used, the process proceeds to step S506.
Step S504: With respect to the MB using the motion guarantee, the decoding information is obtained from the decoder 102a, and the position information of the image and MB used in the motion guarantee is obtained.
Step S505... The attention area based on the motion information is determined using the motion guarantee information acquired in step S504 (details will be described later).

ステップS506…ステップS502で選択した画像中の全MBに対する処理が完了していればステップS507に遷移し、処理が完了していなければステップS503に遷移してMBに対する処理を継続する。
ステップS507…注目領域外部設定部108より、注目領域の外部設定が存在する場合にはステップS508に、注目領域の外部設定が存在しない場合には動き保障情報で得られた注目領域を注目領域情報として出力して終了する。
ステップS508…動き保障情報で得られた注目領域と外部設定により得られた注目領域とを重ね合わせ、注目領域情報として出力して終了する。注目領域情報は複数存在しても良い。
Step S506 ... If processing for all MBs in the image selected in Step S502 is completed, the process proceeds to Step S507. If processing is not completed, the process proceeds to Step S503 and processing for MBs is continued.
Step S507: From the attention area external setting unit 108, if there is an external setting for the attention area, the processing proceeds to Step S508. If there is no external setting for the attention area, the attention area obtained by the motion security information is displayed as the attention area information. And exit.
Step S508: The attention area obtained by the motion guarantee information and the attention area obtained by the external setting are overlapped, output as attention area information, and the process ends. There may be a plurality of attention area information.

<ステップS505の説明>
図6を用いて、動き情報による注目領域決定(ステップS505)のアルゴリズムを説明する。同図において、602は、演算対象MBの動き保障使用判定(ステップS503)で、動き保障を使用していると判定された図2の201の画像中のMBである。601は、動き保障で使用した画像及びMB位置取得(ステップS504)で取得した、602の動き保障演算時に使用したMBの位置情報である。603の矢印は、601、602の中心座標同士を結んだ直線であり、この直線上に存在するMBを、602、601と共に、動き情報による注目領域に加える。
<Description of Step S505>
The algorithm of attention area determination (step S505) based on motion information will be described with reference to FIG. In the figure, reference numeral 602 denotes an MB in the image 201 of FIG. 2 that is determined to use motion guarantee in the motion guarantee use determination (step S503) of the calculation target MB. Reference numeral 601 denotes the position information of the MB used in the motion guarantee calculation of 602, which is acquired in the image and MB position acquisition (step S504) used in the motion guarantee. An arrow 603 is a straight line connecting the central coordinates of 601 and 602, and an MB existing on the straight line is added to the attention area based on the motion information together with 602 and 601.

図7は、図5のフローチャートにより得られた、画像220の組の動き情報による注目領域を示す図である。この図において、702は、基準画像である時刻(t2)における動き保障を使用したMBを表しており、701は、702のMBが動き保障演算時に参照したMBを表している。703は、図5の動き情報による注目領域決定(ステップS505)により追加された動き情報による注目領域であり、701、702、703全ての領域を合わせた領域700が、画像220の組により得られる、時刻(t2)における注目領域となる。   FIG. 7 is a diagram showing a region of interest based on motion information of a set of images 220 obtained by the flowchart of FIG. In this figure, reference numeral 702 represents an MB using motion guarantee at time (t2), which is a reference image, and reference numeral 701 represents an MB referred to by the MB 702 at the time of motion guarantee calculation. Reference numeral 703 denotes an attention area based on the motion information added by the attention area determination (step S505) based on the motion information in FIG. , The region of interest at time (t2).

次に、図8のフローチャート及び図9を用いて、注目領域合成部105aで生成される合成画像の例について説明する。
ステップS801…注目領域生成部104aにおいて、注目領域が生成されていればステップS802に遷移し、生成されていなければ処理を終了し、画像の合成は行わない。
Next, an example of a synthesized image generated by the attention area synthesis unit 105a will be described using the flowchart of FIG. 8 and FIG.
Step S801: In the attention area generation unit 104a, if the attention area has been generated, the process proceeds to step S802. If it has not been generated, the process ends, and the image is not synthesized.

ステップS802…ステップS502で選択した注目領域を求めた基準の画像をメモリ103aより習得する。この実施の形態では、画像201となる。
ステップS803…ステップS802で取得した基準画像と同じ時刻、同じ時刻の画像が存在しない場合には、基準画像に一番近い時刻の異なる画質の画像データをメモリ103aより習得する。この実施の形態では、画像211となる。
ステップS804…注目領域生成部104aより注目領域の生成結果を取得する。複数の注目領域が存在した場合、この処理で選択することも可能である。この実施の形態では、700の領域1つのみであり、この領域を取得する。
Step S802... A reference image for obtaining the attention area selected in Step S502 is acquired from the memory 103a. In this embodiment, the image 201 is obtained.
Step S803... If there is no image at the same time and at the same time as the reference image acquired in Step S802, the image data having different image quality at the time closest to the reference image is acquired from the memory 103a. In this embodiment, the image 211 is obtained.
Step S804 ... The attention area generation result is acquired from the attention area generation section 104a. When there are a plurality of attention areas, it is possible to select them by this processing. In this embodiment, there is only one area 700, and this area is acquired.

ステップS805…ステップS802で取得した基準画像と、ステップS803で取得した対応画像を比較し、画角が異なればステップS806に遷移し、画角が等しければステップS807に遷移する。この実施の形態では、ステップS803で取得した画像211の方が、基準画像201よりも画角が大きいため、ステップS806に遷移する。   Step S805: The reference image acquired in Step S802 is compared with the corresponding image acquired in Step S803. If the angles of view are different, the process proceeds to Step S806, and if the angles of view are equal, the process proceeds to Step S807. In this embodiment, since the image 211 acquired in step S803 has a larger angle of view than the reference image 201, the process proceeds to step S806.

ステップS806…ステップS803で取得した対応画像を拡大・縮小し、ステップS802で取得した基準画像の大きさに合わせる。この実施の形態では、対応画像211を縮小して基準画像201の画角に合わせ、対応画像911を作成する。   Step S806 ... The corresponding image acquired in step S803 is enlarged / reduced to match the size of the reference image acquired in step S802. In this embodiment, the corresponding image 211 is reduced to match the angle of view of the reference image 201, and the corresponding image 911 is created.

ステップS807…対応画像より注目領域に相当する領域の切り出しを行う。この実施の形態では、基準画像201と同じ画角の対応画像911に対して、注目領域の生成結果700を適応し、対応領域中の注目領域921を取得する。   Step S807: A region corresponding to the attention region is cut out from the corresponding image. In this embodiment, the attention area generation result 700 is applied to the corresponding image 911 having the same angle of view as the reference image 201, and the attention area 921 in the corresponding area is acquired.

ステップS808…基準画像に対し、ステップS807で取得した対応領域中の注目領域を合成する。この実施の形態では、基準画像201に対し、ステップS807で取得した対応領域中の注目領域921を対応位置へ合成し、合成画像901を取得する。合成した境界線に相当する922の外枠は、強調させるために色付きの枠(例えば赤枠)を表示する。   Step S808: The region of interest in the corresponding region acquired in step S807 is synthesized with the reference image. In this embodiment, the attention area 921 in the corresponding area acquired in step S807 is synthesized with the corresponding position with respect to the reference image 201, and the synthesized image 901 is obtained. The outer frame 922 corresponding to the combined boundary line displays a colored frame (for example, a red frame) for emphasis.

以上の例はインタフェース101を経由して入力される同じカメラ110aより得られたチャンネルaの2種類の異なるデジタル圧縮された画像データに関しての説明としているが、カメラ110b〜カメラ110dより得られるチャンネルb、チャンネルc、チャンネルdの画像データに関しても処理の内容は同様である。   In the above example, two different types of digitally compressed image data of the channel a obtained from the same camera 110a input via the interface 101 are described. However, the channel b obtained from the cameras 110b to 110d. The processing contents are the same for the image data of channel c and channel d.

図10は、合成部106で合成され、監視モニタ120に出力される4画で構成された合成画像の例を示す図である。同図において、1000aは、チャンネルaの注目領域合成画像901であり、合成部106により縮小され、左上に合成されている例である。1000b及び1000cは、チャンネルb、チャンネルcの画像の例を示しているが、カメラ110b、カメラ110cから得られた画像データ中の時刻(t)における画像に動き保障を使用したMBが存在せず、且つ注目領域外部設定部108から注目領域生成部104b、104cへの入力も存在しない場合の例を示している。注目領域生成部104b、104cで注目領域が生成されなかったため、合成部106へはメモリ103b、メモリ103cより時刻(t)の画像がそのまま入力される。   FIG. 10 is a diagram illustrating an example of a combined image composed of four images that are combined by the combining unit 106 and output to the monitoring monitor 120. In the figure, reference numeral 1000a denotes an attention area synthesized image 901 of channel a, which is an example of being reduced by the synthesizing unit 106 and synthesized at the upper left. 1000b and 1000c show examples of images of channel b and channel c, but there is no MB using motion guarantee in the image at time (t) in the image data obtained from the cameras 110b and 110c. In addition, an example in which there is no input from the attention area external setting unit 108 to the attention area generation units 104b and 104c is shown. Since the attention area has not been generated by the attention area generation units 104b and 104c, the image at time (t) is directly input to the synthesis unit 106 from the memory 103b and the memory 103c.

1000dは、カメラ110dより得られた画像データによる画像の例を示している。1001の領域は、操作入力部107によりパラメタが入力され、注目領域外部設定部108において注目領域情報に変換され、注目領域生成部104dへ入力された注目領域の例である。一方、領域1002は、1000aの画像と同様に、動き情報による注目領域であり、注目領域生成部104dからは、1001と1002が同じ注目領域情報として注目領域合成部105dに渡され、1000dの例の様に注目領域が2つ存在した形で表示される。合成部106では、1000a、1000b、1000c、1000dの画像を縮小して合成し、合成画像1000を生成する。   1000d shows an example of an image based on image data obtained from the camera 110d. An area 1001 is an example of an attention area in which parameters are input by the operation input unit 107, converted into attention area information by the attention area external setting unit 108, and input to the attention area generation unit 104d. On the other hand, the region 1002 is a region of interest based on motion information, like the image 1000a. The region of interest generation unit 104d passes 1001 and 1002 to the region of interest combining unit 105d as the same region of interest information. In this way, two attention areas are displayed. In the synthesis unit 106, the images 1000a, 1000b, 1000c, and 1000d are reduced and synthesized to generate a synthesized image 1000.

このように本実施の形態の画像復号・表示装置100によれば、複数の監視画像を1つの監視モニタ120に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で、監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認し易くすることができる。   As described above, according to the image decoding / display apparatus 100 of the present embodiment, when a plurality of monitoring images are displayed on one monitoring monitor 120, if an event to be noticed simultaneously occurs in the plurality of monitoring images, the monitoring is performed. By superimposing the event occurrence area on the monitoring image with an image quality different from that of the image on which the image is being performed, it is possible to make it easy to visually recognize at which position of which monitoring target the event has occurred.

(実施の形態2)
図11は、本発明の実施の形態2に係る画像復号・表示装置の概略構成を示すブロック図である。同図において、本実施の形態の画像復号・表示装置130は、インタフェース101と、デコーダ102a〜102dと、メモリ103a〜103dと、注目領域生成部104a〜104dと、注目画像形成部1105a〜1105dと、合成部106と、操作入力部107と、注目領域外部設定部108とを備える。
(Embodiment 2)
FIG. 11 is a block diagram showing a schematic configuration of an image decoding / display apparatus according to Embodiment 2 of the present invention. In the figure, an image decoding / display apparatus 130 according to the present embodiment includes an interface 101, decoders 102a to 102d, memories 103a to 103d, attention area generating sections 104a to 104d, and attention image forming sections 1105a to 1105d. A synthesizing unit 106, an operation input unit 107, and an attention area external setting unit 108.

インタフェース101は、外部からの複数のチャンネルのデジタル画像データを取り込む。デコーダ102a〜102dは、チャンネル毎に設けられ、インタフェース101により入力される少なくとも2種のデジタル圧縮された画像データをデコードする。メモリ103a〜103dは、デコーダ102a〜102dのそれぞれと1対1に対応し、それぞれが、対応するデコーダ102a〜102dから出力された少なくとも2種の画像データを一時的に保持する。注目領域生成部104a〜104dは、デコーダ102a〜102dのそれぞれと1対1に対応し、それぞれが、対応するデコーダ102a〜102dのデコード時の動き情報及び注目領域外部設定部108より設定される情報により注目領域を生成する。   The interface 101 takes in digital image data of a plurality of channels from the outside. The decoders 102 a to 102 d are provided for each channel, and decode at least two types of digitally compressed image data input by the interface 101. The memories 103a to 103d have a one-to-one correspondence with each of the decoders 102a to 102d, and each temporarily holds at least two types of image data output from the corresponding decoders 102a to 102d. The attention area generation units 104a to 104d correspond to the decoders 102a to 102d on a one-to-one basis, and each of them sets motion information at the time of decoding of the corresponding decoders 102a to 102d and information set by the attention area external setting unit 108. To generate a region of interest.

注目画像形成部1105a〜1105dは、拡大縮小機能を持ち、それぞれが、対応する注目領域生成部104a〜104dで注目領域が生成された場合には、メモリ103a〜103dの中に存在する2種以上の画像データから1つを選択し、対応する注目領域生成部104a〜104dで生成された注目領域に該当する画像を切り出して注目領域画像を作成し、対応するメモリ103a〜103dの中に存在する他の画像データを縮小した上で、注目領域画像を関連付けて画像を生成する。合成部106は、拡大縮小機能を持ち、メモリ103a〜103d及び注目画像形成部1105a〜1105dのそれぞれから出力される画像データを合成して監視モニタ(表示端末)120へ出力する。操作入力部107は、ユーザからの外部入力を受け付け、注目領域外部設定部108に入力情報を伝える。注目領域外部設定部108は、操作入力部107より得られたユーザからの外部入力を画像の領域情報に変換し、注目領域生成部104a〜104dのそれぞれに設定する。   The attention image forming units 1105a to 1105d have an enlargement / reduction function. When the attention regions are generated by the corresponding attention region generation units 104a to 104d, two or more types exist in the memories 103a to 103d. One of the image data is selected, an image corresponding to the attention area generated by the corresponding attention area generation unit 104a to 104d is cut out to generate an attention area image, and exists in the corresponding memories 103a to 103d. After reducing other image data, an image is generated by associating the attention area image. The combining unit 106 has an enlargement / reduction function, combines the image data output from each of the memories 103 a to 103 d and the target image forming units 1105 a to 1105 d, and outputs the combined image data to the monitoring monitor (display terminal) 120. The operation input unit 107 receives an external input from the user and transmits input information to the attention area external setting unit 108. The attention area external setting section 108 converts the external input from the user obtained from the operation input section 107 into area information of the image, and sets it in each of the attention area generation sections 104a to 104d.

合成部106は、拡大縮小機能を持ち,注目画像形成部1105a〜1105dより出力される画像データを合成して表示端末に出力する。操作入力部107は、ユーザからの外部入力を受け付け、注目領域外部設定部108に入力情報を伝える操作を行う。注目領域外部設定部108は、操作入力部107より得られたユーザからの外部入力を画像の領域情報に変換し、注目領域生成部104a〜104dへ伝える。カメラ110a〜110dは、2種類以上の異なる画質のデジタル圧縮が可能とし、ネットワーク111を介し、インタフェース101にデジタル圧縮した画像を入力する。   The synthesizing unit 106 has an enlargement / reduction function, synthesizes the image data output from the target image forming units 1105a to 1105d, and outputs the synthesized image data to the display terminal. The operation input unit 107 receives an external input from the user and performs an operation of transmitting input information to the attention area external setting unit 108. The attention area external setting section 108 converts the external input from the user obtained from the operation input section 107 into area information of the image and transmits it to the attention area generation sections 104a to 104d. The cameras 110a to 110d can perform digital compression with two or more different image quality, and input digitally compressed images to the interface 101 via the network 111.

以上のように構成された画像復号・表示装置130について、図面を用いてその動作を説明する。インタフェース101を経由して入力される同じカメラ100aより得られた2種類の異なるデジタル圧縮された画像データの処理に関して、メモリ103aへの格納、注目領域生成部104aにおける注目領域の生成までの処理は本発明の実施の形態1と同じであるため、説明は省略する。   The operation of the image decoding / display apparatus 130 configured as described above will be described with reference to the drawings. Regarding the processing of two different types of digitally compressed image data obtained from the same camera 100a input via the interface 101, the processing from storage to the memory 103a and generation of the attention area in the attention area generation unit 104a is as follows. Since it is the same as Embodiment 1 of this invention, description is abbreviate | omitted.

図12のフローチャート及び図13、図14を用いて、注目画像形成部1105aにおける監視画像の生成方処理について説明する。例として、インタフェース101を経由して入力される、カメラ100aより得られたチャンネルaの2種類の異なるデジタル圧縮された画像データの内、リアルタイム監視で使用する、220で示している画像の組を用いて監視画像の生成過程を説明する。   With reference to the flowchart of FIG. 12 and FIGS. 13 and 14, the monitoring image generation process in the target image forming unit 1105a will be described. As an example, among two different digitally compressed image data of channel a obtained from the camera 100a input via the interface 101, a set of images indicated by 220 used for real-time monitoring is used. The monitoring image generation process will be described below.

ステップS1201…ステップS502で選択した注目領域を求めた基準画像をメモリ103aより習得する。この実施の形態では、画像201となる。   Step S1201 ... The reference image obtained from the attention area selected in Step S502 is acquired from the memory 103a. In this embodiment, the image 201 is obtained.

ステップS1202…ステップS1201で取得した画像と同じ大きさのプレーン1300を用意し、ステップS1201で取得した基準画像を縦横共に半分に縮小した上で、1301へ配置する(配置位置の詳細は後ほど説明する)。   Step S1202: A plane 1300 having the same size as the image acquired in step S1201 is prepared, and the reference image acquired in step S1201 is reduced in half in both vertical and horizontal directions and then arranged in 1301 (details of the arrangement position will be described later). ).

ステップS1203…注目領域生成部104aより、注目領域の生成結果の有無を取得し、存在する場合にはステップS1204へ遷移し、存在しない場合には処理を終了する。   Step S1203: The presence / absence of the generation result of the attention area is acquired from the attention area generation unit 104a. If it exists, the process proceeds to step S1204. If it does not exist, the process ends.

ステップS1204…ステップS1201で取得した基準画像と同じ時刻、同じ時刻の画像が存在しない場合には、基準画像に一番近い時刻の異なる画質の画像データをメモリ103aより習得する。この実施の形態では、画像211となる。   Step S1204... If there is no image at the same time and the same time as the reference image acquired in step S1201, image data having different image quality at the time closest to the reference image is acquired from the memory 103a. In this embodiment, the image 211 is obtained.

ステップS1205…注目領域生成部104aより、注目領域の生成結果を取得する。複数の注目領域が存在した場合、この処理で選択することも可能である。この実施の形態では、700の領域1つのみであり、この領域を取得する。   Step S1205: The attention area generation result is acquired from the attention area generation section 104a. When there are a plurality of attention areas, it is possible to select them by this processing. In this embodiment, there is only one area 700, and this area is acquired.

ステップS1206…ステップS1205で取得した注目領域の生成結果を用いて、ステップS1202で配置した縮小した基準上に、注目領域の生成結果も同様に縮小し、赤枠を表示させる。この実施の形態では、1302となる。   Step S1206 ... Using the result of attention area generation obtained in step S1205, the attention area generation result is similarly reduced on the reduced reference placed in step S1202, and a red frame is displayed. In this embodiment, it becomes 1302.

ステップS1207…ステップS1204で取得した対応画像より、ステップS1205で取得した注目領域に相当する領域の切り出しを行う。この実施の形態では、対応画像211に対して、注目領域の生成結果700の拡大・縮小を対応画像211の大きさに合わせて実施し、対応領域中の注目領域画像1303を生成する。   Step S1207 ... A region corresponding to the attention region acquired in step S1205 is cut out from the corresponding image acquired in step S1204. In this embodiment, enlargement / reduction of the attention area generation result 700 is performed on the corresponding image 211 according to the size of the corresponding image 211 to generate the attention area image 1303 in the corresponding area.

ステップS1208…ステップS1207で生成した対応画像の注目領域画像が、1300の表示用プレーンから基準画像の表示領域の1301を除いた領域の何れかの位置に、1301の画像に重なる事無く表示可能な場合にはステップS1210に遷移し、1301の画像に重なる場合には、ステップS1209に遷移する。   Step S1208: The attention area image of the corresponding image generated in step S1207 can be displayed without overlapping the 1301 image at any position in the area excluding the display area 1301 of the reference image from the display plane 1300. In this case, the process proceeds to step S1210. If the image overlaps 1301, the process proceeds to step S1209.

ステップS1209…ステップS1207で生成した注目領域画像を縦横の比率を維持しつつ縮小させる。縮小させるサイズは、縦のサイズが、1300の表示用プレーンの上辺と、表示領域の1301の上辺の差と等しくなるまで行う。   Step S1209: The attention area image generated in step S1207 is reduced while maintaining the aspect ratio. The size is reduced until the vertical size is equal to the difference between the upper side of the display plane 1300 and the upper side 1301 of the display area.

ステップS1210…ステップS1207及びステップS1209で生成した注目領域画像を1300の表示用プレーンに配置する。配置は、表示用領域の左上から行い、2つ目以降の注目領域画像が存在する場合にはその右に配置する。この実施の形態では、1303の位置に配置する。   Step S1210: The attention area image generated in steps S1207 and S1209 is arranged on the display plane 1300. The arrangement is performed from the upper left of the display area, and if there are second and subsequent attention area images, they are arranged on the right. In this embodiment, it is arranged at a position 1303.

ステップS1211…ステップS1206で表示した基準画像上の枠1302の中心点と、ステップS1210で配置した注目領域画像の中心点とを線1304で結ぶ。   Step S1211: The center point of the frame 1302 on the reference image displayed in Step S1206 and the center point of the attention area image arranged in Step S1210 are connected by a line 1304.

図12のフローチャートを用いて注目領域が存在しないチャンネルbに対して画像を生成すると、ステップS1203の分岐より下の処理を実行しないため、図15の1500の様に、基準画像の縮小画像がステップS1202により配置されるだけの画像が生成される(配置位置の詳細は後ほど説明する)。   If an image is generated for the channel b in which the region of interest does not exist using the flowchart of FIG. 12, the process below the branch of step S1203 is not executed, so that the reduced image of the reference image is a step as indicated by 1500 in FIG. An image only to be arranged is generated in S1202 (details of the arrangement position will be described later).

<ステップS1202配置領域の詳細>
画像の配置方法は任意で変更できるが、出画画像を4画で構成する場合、合成部106より出画される監視画像は、例えば図14の1400の様に配置する。領域1401はチャンネルa用の表示領域、領域1402はチャンネルb用の表示領域、領域1403はチャンネルc用の表示領域、領域1404はチャンネルd用の表示領域とし、各サイズは表示用領域1400を縦横共に2等分したサイズとする。領域1401中に存在する1411は、チャンネルaの標準画像の表示用領域であり、この例では領域1401の縦横共に2等分したサイズとし、領域1411を除いた領域1401部分を注目画像表示用領域とする。
<Details of Step S1202 Arrangement Area>
The arrangement method of the image can be arbitrarily changed, but when the output image is composed of four images, the monitoring image output from the synthesizing unit 106 is arranged, for example, as 1400 in FIG. An area 1401 is a display area for channel a, an area 1402 is a display area for channel b, an area 1403 is a display area for channel c, an area 1404 is a display area for channel d, and each size has a vertical and horizontal direction. Both sizes are divided into two equal parts. Reference numeral 1411 present in the area 1401 is a standard image display area for the channel a. In this example, the area 1401 is divided into two equal parts in both vertical and horizontal directions, and the area 1401 portion excluding the area 1411 is the target image display area. And

図16に合成部106で合成され、モニタ120に出力される4画で構成された合成画像の例を示す。1600a、1600b、1600c、1600dは、それぞれチャンネルa、チャンネルb、チャンネルc、チャンネルdの画像の例を示している。チャンネルa、チャンネルdに関しては、注目領域1601、1602、1603が存在するため、対応画像の注目領域の切り出し画像が基準画像とは異なる画質で、対応画像の注目画像表示領域に1611、1612、1613の様に表示される。対応画像の注目領域の切り出し画像と、基準画像中の注目領域の対応を視認しやすくするため、2つの領域の中心点を結ぶ線も1621、1622、1623の様に表示される。チャンネルb、チャンネルcに関しては、カメラ110b、カメラ110cから得られた画像データ中の時刻(t)における画像に動き保障を使用したMBが存在せず、且つ注目領域外部設定部108から注目領域生成部104b、104cへの入力も存在しない場合の例を示している。注目領域生成部104b、104cで注目領域が生成されなかったため、合成部106へは注目画像形成部1105b、1105cで縮小された時刻(t)の画像が入力される。合成部106では1600a、1600b、1600c、1600dの画像を合成し合成画像1000を生成する。   FIG. 16 shows an example of a synthesized image composed of four images synthesized by the synthesis unit 106 and output to the monitor 120. Reference numerals 1600a, 1600b, 1600c, and 1600d show examples of images of channel a, channel b, channel c, and channel d, respectively. With respect to channel a and channel d, attention areas 1601, 1602, and 1603 exist, and therefore, a clipped image of the attention area of the corresponding image has a different image quality from the reference image, and 1611, 1612, and 1613 are displayed in the attention image display area of the corresponding image. Is displayed. In order to make it easy to visually recognize the correspondence between the attention area of the corresponding image and the attention area in the reference image, lines connecting the center points of the two areas are also displayed as 1621, 1622, and 1623. For channel b and channel c, there is no MB using motion guarantee in the image at time (t) in the image data obtained from the camera 110b and camera 110c, and the attention area is generated from the attention area external setting unit 108. An example in which there is no input to the sections 104b and 104c is shown. Since the attention area has not been generated by the attention area generation units 104b and 104c, the image at the time (t) reduced by the attention image forming sections 1105b and 1105c is input to the synthesis unit 106. The synthesizing unit 106 synthesizes the images 1600a, 1600b, 1600c, and 1600d to generate a synthesized image 1000.

このように本実施の形態の画像復号・表示装置130によれば、複数の監視画像を1つの監視モニタ120に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した際にも監視を行っている画像とは異なる画質で、別の領域にイベント画像を関連付けて表示することにより、通常監視用の領域を覆い隠すこと無く、どの監視対象のどの位置にイベントが発生したかを視認しやすくすることができる。   As described above, according to the image decoding / display device 130 of the present embodiment, when a plurality of monitoring images are displayed on one monitoring monitor 120, even when an event to be noticed simultaneously occurs in the plurality of monitoring images. By displaying the event image in a different area with an image quality different from that of the image being monitored, it is possible to determine which event on which monitoring object has occurred without obscuring the normal monitoring area. It can make it easy to visually recognize.

なお、以上の説明では、カメラ110a〜110dの入力及びデコーダ102a〜102d、メモリ103a〜103d、注目領域生成部104a〜104d、注目領域合成部105a〜105d、注目画像形成部1105a〜1105dの数を4で構成した例について説明したが、その他の入力数についても同様に実施可能である。   In the above description, the numbers of the cameras 110a to 110d and the decoders 102a to 102d, the memories 103a to 103d, the attention area generation sections 104a to 104d, the attention area synthesis sections 105a to 105d, and the attention image forming sections 1105a to 1105d are shown. Although the example of 4 is described, other input numbers can be similarly implemented.

また、以上の説明では、注目領域生成部104a〜104dにおいて、動きによる注目領域の生成の際に、動き保障で使用したMBの対応により生成したが、その他の動き検出方法についても同様に実施可能である。   In the above description, the attention area generation units 104a to 104d generate the attention area based on the motion by generating the correspondence of the MB used in the motion guarantee. However, other motion detection methods can be similarly implemented. It is.

本発明は、複数の監視画像を1つの監視モニタに表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で、監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認しやすくすることができるといった効果を有し、複数の入力画像を同時に撮像装置に表示して監視を行う監視システムなどへの適用が可能である。   In the present invention, when a plurality of monitoring images are displayed on one monitoring monitor and an event to be noticed occurs simultaneously on the plurality of monitoring images, the image is displayed on the monitoring image with a different image quality from the image being monitored. By superimposing the event occurrence areas, it is possible to make it easier to visually recognize at which position of which monitoring target the event has occurred, and monitoring is performed by simultaneously displaying a plurality of input images on the imaging device. It can be applied to monitoring systems.

本発明の実施の形態1に係る画像復号・表示装置の概略構成を示すブロック図1 is a block diagram showing a schematic configuration of an image decoding / display apparatus according to Embodiment 1 of the present invention. 図1の画像復号・表示装置のカメラより複数のデジタル圧縮された画像が入力された場合のメモリ上にデコードされた画像の具体例を示す図The figure which shows the specific example of the image decoded on the memory in case the several digitally compressed image is input from the camera of the image decoding and display apparatus of FIG. 図1の画像復号・表示装置のメモリ上にデコードされたある画像の組における物体の移動の具体例を示す図The figure which shows the specific example of the movement of the object in the group of a certain image decoded on the memory of the image decoding and display apparatus of FIG. 図1の画像復号・表示装置のメモリ上にデコードされたある画像の組における対応マクロブロックの動きの具体例を示した図The figure which showed the specific example of the motion of a corresponding macroblock in the group of a certain image decoded on the memory of the image decoding and display apparatus of FIG. 図1の画像復号・表示装置における注目領域生成の動作説明のためのフロー図Flow chart for explaining operation of attention area generation in the image decoding / display apparatus of FIG. 図1の画像復号・表示装置における動きによる注目領域生成の説明図Explanatory drawing of attention area generation by movement in the image decoding / display apparatus of FIG. 図1の画像復号・表示装置における注目領域生成による注目領域生成の結果を示す図The figure which shows the result of attention area generation by attention area generation in the image decoding / display apparatus of FIG. 図1の画像復号・表示装置における注目領域合成の動作説明のためのフロー図Flowchart for explaining the operation of region-of-interest synthesis in the image decoding / display device of FIG. 図1の画像復号・表示装置における注目領域合成の具体例を示す図The figure which shows the specific example of attention area synthesis | combination in the image decoding and display apparatus of FIG. 図1の画像復号・表示装置における合成画像の具体例を示す図The figure which shows the specific example of the synthesized image in the image decoding and display apparatus of FIG. 本発明の実施の形態2に係る画像復号・表示装置の概略構成を示すブロック図FIG. 3 is a block diagram showing a schematic configuration of an image decoding / display apparatus according to Embodiment 2 of the present invention. 図11の画像復号・表示装置における注目領域形成部の動作説明のためのフロー図FIG. 11 is a flowchart for explaining the operation of the attention area forming unit in the image decoding / display apparatus of FIG. 図11の画像復号・表示装置における注目領域形成部の出力結果の具体例を示す図The figure which shows the specific example of the output result of the attention area | region formation part in the image decoding and display apparatus of FIG. 図11の画像復号・表示装置における4画面出力時の画像の構成例を示す図The figure which shows the structural example of the image at the time of 4 screen output in the image decoding and display apparatus of FIG. 図11の画像復号・表示装置における注目領域形成部の出力結果の具体例を示す図The figure which shows the specific example of the output result of the attention area | region formation part in the image decoding and display apparatus of FIG. 図11の画像復号・表示装置における合成画像の具体例を示す図The figure which shows the specific example of the synthesized image in the image decoding and display apparatus of FIG.

符号の説明Explanation of symbols

100、130 画像復号・表示装置
101 インタフェース
102a、102b、102c、102d デコーダ
103a、103b、103c、103d メモリ
104a、104b、104c、104d 注目領域生成部
105a、105b、105c、105d 注目領域合成部
106 合成部
107 操作入力部
108 注目領域外部設定部
110a、110b、110c、110d カメラ
111 ネットワーク
120 監視モニタ
1105a、1105b、1105c、1105d 注目画像形成部
100, 130 Image decoding / display device 101 Interfaces 102a, 102b, 102c, 102d Decoders 103a, 103b, 103c, 103d Memory 104a, 104b, 104c, 104d Region-of-interest generators 105a, 105b, 105c, 105d Region-of-interest combiner 106 Compositing Unit 107 operation input unit 108 attention area external setting section 110a, 110b, 110c, 110d camera 111 network 120 monitoring monitor 1105a, 1105b, 1105c, 1105d attention image forming section

Claims (3)

外部からの複数のチャンネルのデジタル画像データを取り込むインタフェースと、
チャンネル毎に設けられ、前記インタフェースにより入力される少なくとも2種のデジタル圧縮された画像データを復号する複数の復号器と、
前記複数の復号器のそれぞれと1対1に対応し、それぞれが、対応する前記復号器から出力された少なくとも2種の画像データを一時的に保持する複数のメモリと、
前記複数の復号器のそれぞれと1対1に対応し、それぞれが、対応する前記復号器の復号時の動き情報及び注目領域外部設定部より設定される情報により注目領域を生成する複数の注目領域生成部と、
前記複数の注目領域生成部のそれぞれと1対1に対応し、それぞれが、対応する前記注目領域生成部で注目領域が生成された場合に、対応する前記メモリの中に存在する2種以上の画像データから1つを選択し、対応する前記注目領域生成部で生成された注目領域に該当する画像を切り出して注目領域画像を作成し、対応する前記メモリの中に存在する他の画像データ上に合成させる複数の注目領域合成部と、
前記複数のメモリ及び前記複数の注目領域合成部のそれぞれから出力される画像データを合成して表示端末に出力する合成部と、
ユーザからの外部入力を受け付け、前記複数の注目領域外部設定部にユーザからの入力情報を入力する操作入力部と、
前記操作入力部より入力されたユーザからの外部入力を画像の領域情報に変換し、前記複数の注目領域生成部のそれぞれに設定する注目領域外部設定部と、
を備えた画像復号・表示装置。
An interface that captures digital image data of multiple channels from the outside,
A plurality of decoders provided for each channel and configured to decode at least two kinds of digitally compressed image data input by the interface;
A plurality of memories corresponding one-to-one with each of the plurality of decoders, each of which temporarily holds at least two types of image data output from the corresponding decoder;
A plurality of regions of interest that correspond one-to-one with each of the plurality of decoders, and that each generate a region of interest based on motion information at the time of decoding of the corresponding decoder and information set by a region of interest external setting unit A generator,
Each of the plurality of attention area generation units has a one-to-one correspondence, and when each attention area is generated by the corresponding attention area generation section, each of the two or more attention area generation units Select one from the image data, cut out an image corresponding to the attention area generated by the corresponding attention area generation unit to create a attention area image, A plurality of region-of-interest synthesis units to be synthesized,
A combining unit that combines the image data output from each of the plurality of memories and the plurality of attention region combining units and outputs the combined image data to a display terminal;
An operation input unit that receives external input from the user and inputs input information from the user to the plurality of attention area external setting units;
An attention area external setting section that converts external input from the user input from the operation input section into area information of an image, and sets each of the plurality of attention area generation sections;
An image decoding / display device comprising:
前記注目領域合成部の代わりに、それぞれが、対応する前記注目領域生成部で生成された注目領域に該当する画像を切り出して注目領域画像を生成し、対応する前記メモリの中に存在する他の画像データと関連付けて画像を生成する複数の注目画像形成部を備える請求項1に記載の画像復号・表示装置。   Instead of the attention area synthesis unit, each of them generates an attention area image by cutting out an image corresponding to the attention area generated by the corresponding attention area generation unit, and the other areas existing in the corresponding memory. The image decoding / display device according to claim 1, further comprising a plurality of target image forming units that generate images in association with image data. 請求項1又は請求項2に記載の画像復号・表示装置と、
それぞれが2種類以上の異なる画質のデジタル圧縮を可能とし、デジタル圧縮した画像を出力する複数のカメラと、
前記画像復号・表示装置から出力される画像データを視覚表示する表示端末と、
を備えた監視システム。
The image decoding / display device according to claim 1 or 2,
A plurality of cameras each capable of digital compression of two or more different image quality and outputting digitally compressed images;
A display terminal for visually displaying image data output from the image decoding / display device;
Monitoring system with.
JP2008174518A 2008-07-03 2008-07-03 Image decoding / display device Expired - Fee Related JP5131980B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008174518A JP5131980B2 (en) 2008-07-03 2008-07-03 Image decoding / display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008174518A JP5131980B2 (en) 2008-07-03 2008-07-03 Image decoding / display device

Publications (3)

Publication Number Publication Date
JP2010016605A true JP2010016605A (en) 2010-01-21
JP2010016605A5 JP2010016605A5 (en) 2011-07-28
JP5131980B2 JP5131980B2 (en) 2013-01-30

Family

ID=41702296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008174518A Expired - Fee Related JP5131980B2 (en) 2008-07-03 2008-07-03 Image decoding / display device

Country Status (1)

Country Link
JP (1) JP5131980B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011234065A (en) * 2010-04-27 2011-11-17 Nec Corp Moving image communication system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355762A (en) * 1998-04-30 1999-12-24 Texas Instr Inc <Ti> Automatic image monitor system
JP2003111017A (en) * 2001-09-26 2003-04-11 Toshiba Lighting & Technology Corp Monitoring camera system
JP2004242218A (en) * 2003-02-07 2004-08-26 Toshiba Corp Moving picture transmission apparatus, moving picture transmission system, program for moving picture, and moving picture transmission monitoring system
JP2006101075A (en) * 2004-09-29 2006-04-13 Sanyo Electric Co Ltd Image compression apparatus
JP2007158829A (en) * 2005-12-06 2007-06-21 Hitachi Kokusai Electric Inc Image processor, and image processing method and program
JP2007194928A (en) * 2006-01-19 2007-08-02 Matsushita Electric Ind Co Ltd Remote monitoring device and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355762A (en) * 1998-04-30 1999-12-24 Texas Instr Inc <Ti> Automatic image monitor system
JP2003111017A (en) * 2001-09-26 2003-04-11 Toshiba Lighting & Technology Corp Monitoring camera system
JP2004242218A (en) * 2003-02-07 2004-08-26 Toshiba Corp Moving picture transmission apparatus, moving picture transmission system, program for moving picture, and moving picture transmission monitoring system
JP2006101075A (en) * 2004-09-29 2006-04-13 Sanyo Electric Co Ltd Image compression apparatus
JP2007158829A (en) * 2005-12-06 2007-06-21 Hitachi Kokusai Electric Inc Image processor, and image processing method and program
JP2007194928A (en) * 2006-01-19 2007-08-02 Matsushita Electric Ind Co Ltd Remote monitoring device and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011234065A (en) * 2010-04-27 2011-11-17 Nec Corp Moving image communication system

Also Published As

Publication number Publication date
JP5131980B2 (en) 2013-01-30

Similar Documents

Publication Publication Date Title
US9049384B2 (en) Video processing apparatus, camera apparatus, video processing method, and program
JP4345829B2 (en) Image display system, image display apparatus, image display method, and program
US8654131B2 (en) Video image processing apparatus and video image processing method
US20060170762A1 (en) Video composition apparatus, video composition method and video composition program
US8724912B2 (en) Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images
JP2006033793A (en) Tracking video reproducing apparatus
WO2020213430A1 (en) Video processing device, video processing method, and video processing program
US20060028583A1 (en) System and method for overlaying images from multiple video sources on a display device
JP2010087907A (en) Video combination and display, video display system and video display method
JP2009117886A (en) Super-resolution processing apparatus and system
JP2006222942A (en) Image synthesizer, and method and program for synthesizing image
JP5131980B2 (en) Image decoding / display device
JP2006129152A (en) Imaging device and image distribution system
JP2011151773A (en) Video processing apparatus and control method
JP2004287902A (en) Composite reality image presentation device
JP2004015517A (en) Video image integrated display device
JP5588833B2 (en) Image compression apparatus, image expansion apparatus, method, and program
JP2009218851A (en) Video processing apparatus
AU2021427874B2 (en) Real-time data processing device
JP2010273278A (en) Image combining apparatus and video transmission system
JP2004194309A (en) Display method and display device
JP2012186685A (en) Image recognition display system and camera used for the same
JP2644031B2 (en) Multipoint image composition method
JP5022581B2 (en) Image transmission system and image transmission method
JP2008259074A (en) Image transmission system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120731

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121009

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121105

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees