JP2010016605A - Image decoding and displaying device - Google Patents
Image decoding and displaying device Download PDFInfo
- Publication number
- JP2010016605A JP2010016605A JP2008174518A JP2008174518A JP2010016605A JP 2010016605 A JP2010016605 A JP 2010016605A JP 2008174518 A JP2008174518 A JP 2008174518A JP 2008174518 A JP2008174518 A JP 2008174518A JP 2010016605 A JP2010016605 A JP 2010016605A
- Authority
- JP
- Japan
- Prior art keywords
- image
- attention area
- area
- image data
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、デジタル圧縮された画像データを復号し、復号した画像の表示を行う画像復号・表示装置に関する。 The present invention relates to an image decoding / display device that decodes digitally compressed image data and displays the decoded image.
従来の画像復号・表示装置には、監視対象とする撮像機器よりリアルタイム監視用に標準画像を取得して表示端末に表示し、画像中に動き等のイベントが発生した際には撮像機器より別途高解像度画像を取得して表示端末上の別領域に全体を表示するようにしたものがある。 In a conventional image decoding / display device, a standard image is acquired for real-time monitoring from an imaging device to be monitored and displayed on a display terminal. When an event such as a movement occurs in the image, the imaging device separately Some have acquired a high-resolution image and displayed the entire image in another area on the display terminal.
また、高解像度画像の全体表示領域とは別の領域に部分拡大表示用の複数の領域を設け、表示する拡大画像を高解像度画像中の任意の箇所から指定できる機能を設けることにより、標準画像でリアルタイム監視をしつつ、注視するべきイベントが発生した場合には高解像度の全体画像及び部分画像を同一画面に表示し、効果的に監視を行うと言う方法が考案されている(例えば特許文献1参照)。 Also, by providing a plurality of areas for partial enlargement display in an area different from the entire display area of the high resolution image, and providing a function for specifying the enlarged image to be displayed from any place in the high resolution image, a standard image In real-time monitoring, when an event to be watched occurs, a method of displaying a high-resolution whole image and a partial image on the same screen for effective monitoring has been devised (for example, Patent Documents) 1).
しかしながら、従来の画像復号・表示装置においては、1つの表示端末上に、ある1つの撮像機器から得られた画像を複数領域に表示するため、1つの表示端末上に複数の撮像機器から得られた画像を同時に表示して監視を行う際に、別領域に表示されるイベント等により表示された高解像度の部分拡大画像がどの画面表示に関する画像であるかを視認し難いという問題がある。 However, in the conventional image decoding / display device, an image obtained from one imaging device is displayed in a plurality of areas on one display terminal, and thus obtained from a plurality of imaging devices on one display terminal. When displaying the images simultaneously for monitoring, there is a problem that it is difficult to visually recognize which screen display the high-resolution partially enlarged image displayed by an event or the like displayed in another area is.
本発明は、かかる事情に鑑みてなされたものであり、1つの表示端末上に複数の撮像機器から得られた画像を同時に表示して監視を行う際に、同時に複数の注視するべきイベントが発生した場合でも、どの画面でイベントが発生したかを容易に視認することができる画像復号・表示装置を提供することを目的とする。 The present invention has been made in view of such circumstances, and when displaying images obtained from a plurality of imaging devices simultaneously on a single display terminal for monitoring, a plurality of events to be watched simultaneously occur. It is an object of the present invention to provide an image decoding / displaying device that can easily recognize on which screen an event has occurred even if it is performed.
本発明の画像復号・表示装置は、外部からの複数のチャンネルのデジタル画像データを取り込むインタフェースと、チャンネル毎に設けられ、前記インタフェースにより入力される少なくとも2種のデジタル圧縮された画像データを復号する複数の復号器と、前記複数の復号器のそれぞれと1対1に対応し、それぞれが、対応する前記復号器から出力された少なくとも2種の画像データを一時的に保持する複数のメモリと、前記複数の復号器のそれぞれと1対1に対応し、それぞれが、対応する前記復号器の復号時の動き情報及び注目領域外部設定部より設定される情報により注目領域を生成する複数の注目領域生成部と、前記複数の注目領域生成部のそれぞれと1対1に対応し、それぞれが、対応する前記注目領域生成部で注目領域が生成された場合に、対応する前記メモリの中に存在する2種以上の画像データから1つを選択し、対応する前記注目領域生成部で生成された注目領域に該当する画像を切り出して注目領域画像を作成し、対応する前記メモリの中に存在する他の画像データ上に合成させる複数の注目領域合成部と、前記複数のメモリ及び前記複数の注目領域合成部のそれぞれから出力される画像データを合成して表示端末に出力する合成部と、ユーザからの外部入力を受け付け、前記複数の注目領域外部設定部にユーザからの入力情報を入力する操作入力部と、前記操作入力部より入力されたユーザからの外部入力を画像の領域情報に変換し、前記複数の注目領域生成部のそれぞれに設定する注目領域外部設定部と、を備えた。 The image decoding / display apparatus according to the present invention decodes at least two kinds of digitally compressed image data provided for each channel, which is provided for each channel, and which is input for each channel. A plurality of decoders, a plurality of memories corresponding to each of the plurality of decoders on a one-to-one basis, each of which temporarily holds at least two types of image data output from the corresponding decoder; A plurality of regions of interest that correspond one-to-one with each of the plurality of decoders, and that each generate a region of interest based on motion information at the time of decoding of the corresponding decoder and information set by a region of interest external setting unit There is a one-to-one correspondence between the generation unit and each of the plurality of attention region generation units, and each region of interest is generated by the corresponding attention region generation unit. If one of the two or more types of image data existing in the corresponding memory is selected, an image corresponding to the attention area generated by the corresponding attention area generation unit is cut out and the attention area image is extracted. A plurality of attention area combining sections that are combined with other image data existing in the corresponding memory, and image data output from each of the plurality of memories and the plurality of attention area combining sections. A composite unit that synthesizes and outputs to the display terminal, an operation input unit that receives external input from the user and inputs input information from the user to the plurality of attention area external setting units, and an input from the operation input unit An attention area external setting unit that converts external input from a user into area information of an image and sets the information in each of the plurality of attention area generation units.
この構成により、複数の監視画像を1つの表示端末上に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認し易くすることができる。 With this configuration, when a plurality of monitoring images are displayed on one display terminal and an event to be noticed occurs simultaneously on the plurality of monitoring images, the monitoring image has a different image quality from the image being monitored. By superimposing the event occurrence areas, it is possible to make it easy to visually recognize at which position of which monitoring target the event has occurred.
また、上記構成において、前記注目領域合成部の代わりに、それぞれが、対応する前記注目領域生成部で生成された注目領域に該当する画像を切り出して注目領域画像を生成し、対応する前記メモリの中に存在する他の画像データと関連付けて画像を生成する複数の注目画像形成部を備える。 Further, in the above configuration, instead of the attention area synthesis unit, each of them generates an attention area image by cutting out an image corresponding to the attention area generated by the corresponding attention area generation unit. A plurality of attention image forming units that generate images in association with other image data existing therein.
この構成により、複数の監視画像を1つの表示端末上に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、通常監視用の領域を覆い隠すこと無く、どの監視対象にイベントが発生したかを視認し易くすることができる。 With this configuration, when a plurality of monitoring images are displayed on one display terminal and an event to be noticed occurs simultaneously in the plurality of monitoring images, it is possible to select which monitoring target without obscuring the normal monitoring area. It is possible to make it easy to see whether an event has occurred.
本発明の監視システムは、上記画像復号・表示装置と、それぞれが2種類以上の異なる画質のデジタル圧縮を可能とし、デジタル圧縮した画像を出力する複数のカメラと、前記画像復号・表示装置から出力される画像データを視覚表示する表示端末と、を備えた。 The monitoring system of the present invention is capable of digital compression with two or more different image quality, each of the above-described image decoding / display devices, and a plurality of cameras that output digitally compressed images, and output from the image decoding / display device And a display terminal for visually displaying the image data to be displayed.
この構成により、複数の監視画像を1つの表示端末上に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認し易くすることができる。 With this configuration, when a plurality of monitoring images are displayed on one display terminal and an event to be noticed occurs simultaneously on the plurality of monitoring images, the monitoring image has a different image quality from the image being monitored. By superimposing the event occurrence areas, it is possible to make it easy to visually recognize at which position of which monitoring target the event has occurred.
本発明によれば、複数の監視画像を1つの表示端末上に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認し易くすることができる画像復号・表示装置を提供することができる。 According to the present invention, when a plurality of monitoring images are displayed on one display terminal and an event to be noticed simultaneously occurs in the plurality of monitoring images, the monitoring image has a different image quality from the image being monitored. It is possible to provide an image decoding / display device capable of easily recognizing at which position of which monitoring target an event has occurred by superimposing an event occurrence region thereon.
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments for carrying out the invention will be described in detail with reference to the drawings.
(実施の形態1)
図1は、本発明の実施の形態1に係る画像復号・表示装置の概略構成を示すブロック図である。同図において、本実施の形態の画像復号・表示装置100は、監視システムに用いたものであり、インタフェース101と、デコーダ(復号器)102a〜102dと、メモリ103a〜103dと、注目領域生成部104a〜104dと、注目領域合成部105a〜105dと、操作入力部107と、合成部106と、注目領域外部設定部108とを備える。
(Embodiment 1)
FIG. 1 is a block diagram showing a schematic configuration of an image decoding / display apparatus according to Embodiment 1 of the present invention. In the figure, an image decoding / display apparatus 100 according to the present embodiment is used in a monitoring system, and includes an
インタフェース101は、外部からの複数のチャンネルのデジタル画像データを取り込む。デコーダ102a〜102dは、チャンネル毎に設けられ、インタフェース101により入力される少なくとも2種のデジタル圧縮された画像データをデコード(復号)する。メモリ103a〜103dは、デコーダ102a〜102dのそれぞれと1対1に対応し、それぞれが、対応するデコーダ102a〜102dから出力された少なくとも2種の画像データを一時的に保持する。注目領域生成部104a〜104dは、デコーダ102a〜102dのそれぞれと1対1に対応し、それぞれが、対応するデコーダ102a〜102dのデコード時の動き情報及び注目領域外部設定部108より設定される情報により注目領域を生成する。
The
注目領域合成部105a〜105dは、注目領域生成部104a〜104dのそれぞれと1対1に対応し、それぞれが、対応する注目領域生成部104a〜104dで注目領域が生成された場合に、対応するメモリメモリ103a〜103dの中に存在する2種以上の画像データから1つを選択し、対応する注目領域生成部104a〜104dで生成された注目領域に該当する画像を切り出して注目領域画像を作成し、対応するメモリメモリ103a〜103dの中に存在する他の画像データ上に合成させる。合成部106は、拡大縮小機能を持ち、メモリ103a〜103d及び注目領域合成部105a〜105dのそれぞれから出力される画像データを合成して監視モニタ(表示端末)120へ出力する。操作入力部107は、ユーザからの外部入力を受け付け、注目領域外部設定部108に入力情報を伝える。注目領域外部設定部108は、操作入力部107より得られたユーザからの外部入力を画像の領域情報に変換し、注目領域生成部104a〜104dのそれぞれに設定する。
The attention
監視システムを構成するカメラ110a〜110dは、ネットワーク接続機能を有し、また2種類以上の異なる画質のデジタル圧縮が可能であり、ネットワーク111を介してインタフェース101にデジタル圧縮した画像を入力する。
The cameras 110 a to 110 d constituting the monitoring system have a network connection function and can perform two or more types of digital compression with different image quality, and input digitally compressed images to the
本実施の形態の画像復号・表示装置100は以上のように構成されており、以下にその動作を説明する。図2は、インタフェース101を経由して入力される同じカメラ100aより得られた2種類の異なるデジタル圧縮された画像データをデコーダ102aによりデコードし、メモリ103aに格納した画像の例を示す図である。これより、カメラ100aより入力された画像に関する処理をチャンネルaの処理と表記する。同様に、カメラ100bより入力された画像に関する処理をチャンネルbの処理、カメラ100cにより入力された画像に関する処理をチャンネルcの処理、カメラ100dにより入力された画像に関する処理をチャンネルdの処理と表記する。図2において、220は同じコーデック、同じ圧縮率でデジタル圧縮された画像の組の例を示しており、リアルタイム監視に使用する動き保障を用いた動画像コーデックの例である。200は時刻(t1)における画像、201は時刻(t2)における画像を示している。
The image decoding / display apparatus 100 of the present embodiment is configured as described above, and the operation thereof will be described below. FIG. 2 is a diagram illustrating an example of an image in which two types of different digitally compressed image data obtained from the same camera 100a input via the
一方、211は、220の画像の組とはコーデック、圧縮率、解像度の3つの条件の内、いずれかが異なる条件でデジタル圧縮された時刻(t2)における画像を示している。211は201と同じ撮像範囲、同じ時刻(t2)の画像データであるが、201と比較してコーデックが異なり、圧縮率を低く、解像度を高く設定し、主観画質として211の方が優れており、時刻(t2)の画像データのみ存在する例を示している。
On the other hand,
図3は、220の画像の組の例における人の移動の様子を示す図である。同図において、300は時刻(t1)の画像200中の人物を抜粋した図であり、格子状の模様は200の画像のマクロブロック(以下“MB”と呼ぶ)の境界線を表している。同様に、301は時刻(t2)の画像201中の人物を抜粋した図であり、格子状の模様は201の画像のMB境界を表している。321で示している模様付きMBの組は、322で示している模様付きMBの組のデコード時に動き保障で使用したブロックの組を表している。
FIG. 3 is a diagram showing how a person moves in an example of a set of 220 images. In the figure,
図4は、321のMBの組及び322のMBの組を抜き出し、201の画像のMB境界と重ね合わせた図である。322の各MBは、311の各MBを参照してデコードを行うため、321のMBの組及び322のMBの組の位置の差がこの例における時刻(t1)から時刻(t2)までの人の動きを表しており、この動きを注目領域の生成に使用する。 FIG. 4 is a diagram in which a set of 321 MBs and a set of 322 MBs are extracted and superimposed on the MB boundaries of 201 images. Since each MB of 322 is decoded with reference to each MB of 311, the position difference between the set of 321 MB and the set of 322 MB is the person from time (t1) to time (t2) in this example. This movement is used to generate a region of interest.
次に、図5のフローチャート及び図6を用いて注目領域生成部104aにおける注目領域の生成方法の例について説明する。例として、インタフェース101を経由して入力される、カメラ100aより得られたチャンネルaの2種類の異なるデジタル圧縮された画像データの内、リアルタイム監視で使用する、220で示している画像の組を用いて注目領域の生成過程を説明する。
Next, an example of an attention area generation method in the attention
ステップS501…メモリ103aに格納されたデコード後の画像の組の中より、注目領域の生成に使用する画像の組を選択する。この実施の形態の説明では、220の画像の組を選択する。
ステップS502…ステップS501で選択した画像の組より注目領域を求める基準の画像を選択する。この実施の形態の説明では、時刻(t2)の画像201を基準の画像とする。
Step S501: A set of images used for generating a region of interest is selected from the set of decoded images stored in the
Step S502: A reference image for obtaining a region of interest is selected from the set of images selected in step S501. In the description of this embodiment, the
ステップS503…ステップS502で選択した画像の、あるMBに対し、そのMBが動き保障を使用しているかどうかを判定する。動き保障を使用していればステップS504に、動き保障を使用していなければステップS506に遷移する。
ステップS504…動き保障を使用しているMBに関して、デコーダ102aよりデコード情報を取得し、動き保障で使用した画像及びMBの位置情報を得る。
ステップS505…ステップS504で取得した動き保障の情報を用いて、動き情報による注目領域を決定する(詳細は後ほど説明する)。
Step S503: For a certain MB of the image selected in step S502, it is determined whether the MB uses motion guarantee. If motion guarantee is used, the process proceeds to step S504. If motion guarantee is not used, the process proceeds to step S506.
Step S504: With respect to the MB using the motion guarantee, the decoding information is obtained from the
Step S505... The attention area based on the motion information is determined using the motion guarantee information acquired in step S504 (details will be described later).
ステップS506…ステップS502で選択した画像中の全MBに対する処理が完了していればステップS507に遷移し、処理が完了していなければステップS503に遷移してMBに対する処理を継続する。
ステップS507…注目領域外部設定部108より、注目領域の外部設定が存在する場合にはステップS508に、注目領域の外部設定が存在しない場合には動き保障情報で得られた注目領域を注目領域情報として出力して終了する。
ステップS508…動き保障情報で得られた注目領域と外部設定により得られた注目領域とを重ね合わせ、注目領域情報として出力して終了する。注目領域情報は複数存在しても良い。
Step S506 ... If processing for all MBs in the image selected in Step S502 is completed, the process proceeds to Step S507. If processing is not completed, the process proceeds to Step S503 and processing for MBs is continued.
Step S507: From the attention area
Step S508: The attention area obtained by the motion guarantee information and the attention area obtained by the external setting are overlapped, output as attention area information, and the process ends. There may be a plurality of attention area information.
<ステップS505の説明>
図6を用いて、動き情報による注目領域決定(ステップS505)のアルゴリズムを説明する。同図において、602は、演算対象MBの動き保障使用判定(ステップS503)で、動き保障を使用していると判定された図2の201の画像中のMBである。601は、動き保障で使用した画像及びMB位置取得(ステップS504)で取得した、602の動き保障演算時に使用したMBの位置情報である。603の矢印は、601、602の中心座標同士を結んだ直線であり、この直線上に存在するMBを、602、601と共に、動き情報による注目領域に加える。
<Description of Step S505>
The algorithm of attention area determination (step S505) based on motion information will be described with reference to FIG. In the figure,
図7は、図5のフローチャートにより得られた、画像220の組の動き情報による注目領域を示す図である。この図において、702は、基準画像である時刻(t2)における動き保障を使用したMBを表しており、701は、702のMBが動き保障演算時に参照したMBを表している。703は、図5の動き情報による注目領域決定(ステップS505)により追加された動き情報による注目領域であり、701、702、703全ての領域を合わせた領域700が、画像220の組により得られる、時刻(t2)における注目領域となる。
FIG. 7 is a diagram showing a region of interest based on motion information of a set of
次に、図8のフローチャート及び図9を用いて、注目領域合成部105aで生成される合成画像の例について説明する。
ステップS801…注目領域生成部104aにおいて、注目領域が生成されていればステップS802に遷移し、生成されていなければ処理を終了し、画像の合成は行わない。
Next, an example of a synthesized image generated by the attention
Step S801: In the attention
ステップS802…ステップS502で選択した注目領域を求めた基準の画像をメモリ103aより習得する。この実施の形態では、画像201となる。
ステップS803…ステップS802で取得した基準画像と同じ時刻、同じ時刻の画像が存在しない場合には、基準画像に一番近い時刻の異なる画質の画像データをメモリ103aより習得する。この実施の形態では、画像211となる。
ステップS804…注目領域生成部104aより注目領域の生成結果を取得する。複数の注目領域が存在した場合、この処理で選択することも可能である。この実施の形態では、700の領域1つのみであり、この領域を取得する。
Step S802... A reference image for obtaining the attention area selected in Step S502 is acquired from the
Step S803... If there is no image at the same time and at the same time as the reference image acquired in Step S802, the image data having different image quality at the time closest to the reference image is acquired from the
Step S804 ... The attention area generation result is acquired from the attention
ステップS805…ステップS802で取得した基準画像と、ステップS803で取得した対応画像を比較し、画角が異なればステップS806に遷移し、画角が等しければステップS807に遷移する。この実施の形態では、ステップS803で取得した画像211の方が、基準画像201よりも画角が大きいため、ステップS806に遷移する。
Step S805: The reference image acquired in Step S802 is compared with the corresponding image acquired in Step S803. If the angles of view are different, the process proceeds to Step S806, and if the angles of view are equal, the process proceeds to Step S807. In this embodiment, since the
ステップS806…ステップS803で取得した対応画像を拡大・縮小し、ステップS802で取得した基準画像の大きさに合わせる。この実施の形態では、対応画像211を縮小して基準画像201の画角に合わせ、対応画像911を作成する。
Step S806 ... The corresponding image acquired in step S803 is enlarged / reduced to match the size of the reference image acquired in step S802. In this embodiment, the
ステップS807…対応画像より注目領域に相当する領域の切り出しを行う。この実施の形態では、基準画像201と同じ画角の対応画像911に対して、注目領域の生成結果700を適応し、対応領域中の注目領域921を取得する。
Step S807: A region corresponding to the attention region is cut out from the corresponding image. In this embodiment, the attention
ステップS808…基準画像に対し、ステップS807で取得した対応領域中の注目領域を合成する。この実施の形態では、基準画像201に対し、ステップS807で取得した対応領域中の注目領域921を対応位置へ合成し、合成画像901を取得する。合成した境界線に相当する922の外枠は、強調させるために色付きの枠(例えば赤枠)を表示する。
Step S808: The region of interest in the corresponding region acquired in step S807 is synthesized with the reference image. In this embodiment, the
以上の例はインタフェース101を経由して入力される同じカメラ110aより得られたチャンネルaの2種類の異なるデジタル圧縮された画像データに関しての説明としているが、カメラ110b〜カメラ110dより得られるチャンネルb、チャンネルc、チャンネルdの画像データに関しても処理の内容は同様である。
In the above example, two different types of digitally compressed image data of the channel a obtained from the same camera 110a input via the
図10は、合成部106で合成され、監視モニタ120に出力される4画で構成された合成画像の例を示す図である。同図において、1000aは、チャンネルaの注目領域合成画像901であり、合成部106により縮小され、左上に合成されている例である。1000b及び1000cは、チャンネルb、チャンネルcの画像の例を示しているが、カメラ110b、カメラ110cから得られた画像データ中の時刻(t)における画像に動き保障を使用したMBが存在せず、且つ注目領域外部設定部108から注目領域生成部104b、104cへの入力も存在しない場合の例を示している。注目領域生成部104b、104cで注目領域が生成されなかったため、合成部106へはメモリ103b、メモリ103cより時刻(t)の画像がそのまま入力される。
FIG. 10 is a diagram illustrating an example of a combined image composed of four images that are combined by the combining
1000dは、カメラ110dより得られた画像データによる画像の例を示している。1001の領域は、操作入力部107によりパラメタが入力され、注目領域外部設定部108において注目領域情報に変換され、注目領域生成部104dへ入力された注目領域の例である。一方、領域1002は、1000aの画像と同様に、動き情報による注目領域であり、注目領域生成部104dからは、1001と1002が同じ注目領域情報として注目領域合成部105dに渡され、1000dの例の様に注目領域が2つ存在した形で表示される。合成部106では、1000a、1000b、1000c、1000dの画像を縮小して合成し、合成画像1000を生成する。
1000d shows an example of an image based on image data obtained from the
このように本実施の形態の画像復号・表示装置100によれば、複数の監視画像を1つの監視モニタ120に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で、監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認し易くすることができる。
As described above, according to the image decoding / display apparatus 100 of the present embodiment, when a plurality of monitoring images are displayed on one
(実施の形態2)
図11は、本発明の実施の形態2に係る画像復号・表示装置の概略構成を示すブロック図である。同図において、本実施の形態の画像復号・表示装置130は、インタフェース101と、デコーダ102a〜102dと、メモリ103a〜103dと、注目領域生成部104a〜104dと、注目画像形成部1105a〜1105dと、合成部106と、操作入力部107と、注目領域外部設定部108とを備える。
(Embodiment 2)
FIG. 11 is a block diagram showing a schematic configuration of an image decoding / display apparatus according to Embodiment 2 of the present invention. In the figure, an image decoding / display apparatus 130 according to the present embodiment includes an
インタフェース101は、外部からの複数のチャンネルのデジタル画像データを取り込む。デコーダ102a〜102dは、チャンネル毎に設けられ、インタフェース101により入力される少なくとも2種のデジタル圧縮された画像データをデコードする。メモリ103a〜103dは、デコーダ102a〜102dのそれぞれと1対1に対応し、それぞれが、対応するデコーダ102a〜102dから出力された少なくとも2種の画像データを一時的に保持する。注目領域生成部104a〜104dは、デコーダ102a〜102dのそれぞれと1対1に対応し、それぞれが、対応するデコーダ102a〜102dのデコード時の動き情報及び注目領域外部設定部108より設定される情報により注目領域を生成する。
The
注目画像形成部1105a〜1105dは、拡大縮小機能を持ち、それぞれが、対応する注目領域生成部104a〜104dで注目領域が生成された場合には、メモリ103a〜103dの中に存在する2種以上の画像データから1つを選択し、対応する注目領域生成部104a〜104dで生成された注目領域に該当する画像を切り出して注目領域画像を作成し、対応するメモリ103a〜103dの中に存在する他の画像データを縮小した上で、注目領域画像を関連付けて画像を生成する。合成部106は、拡大縮小機能を持ち、メモリ103a〜103d及び注目画像形成部1105a〜1105dのそれぞれから出力される画像データを合成して監視モニタ(表示端末)120へ出力する。操作入力部107は、ユーザからの外部入力を受け付け、注目領域外部設定部108に入力情報を伝える。注目領域外部設定部108は、操作入力部107より得られたユーザからの外部入力を画像の領域情報に変換し、注目領域生成部104a〜104dのそれぞれに設定する。
The attention
合成部106は、拡大縮小機能を持ち,注目画像形成部1105a〜1105dより出力される画像データを合成して表示端末に出力する。操作入力部107は、ユーザからの外部入力を受け付け、注目領域外部設定部108に入力情報を伝える操作を行う。注目領域外部設定部108は、操作入力部107より得られたユーザからの外部入力を画像の領域情報に変換し、注目領域生成部104a〜104dへ伝える。カメラ110a〜110dは、2種類以上の異なる画質のデジタル圧縮が可能とし、ネットワーク111を介し、インタフェース101にデジタル圧縮した画像を入力する。
The synthesizing
以上のように構成された画像復号・表示装置130について、図面を用いてその動作を説明する。インタフェース101を経由して入力される同じカメラ100aより得られた2種類の異なるデジタル圧縮された画像データの処理に関して、メモリ103aへの格納、注目領域生成部104aにおける注目領域の生成までの処理は本発明の実施の形態1と同じであるため、説明は省略する。
The operation of the image decoding / display apparatus 130 configured as described above will be described with reference to the drawings. Regarding the processing of two different types of digitally compressed image data obtained from the same camera 100a input via the
図12のフローチャート及び図13、図14を用いて、注目画像形成部1105aにおける監視画像の生成方処理について説明する。例として、インタフェース101を経由して入力される、カメラ100aより得られたチャンネルaの2種類の異なるデジタル圧縮された画像データの内、リアルタイム監視で使用する、220で示している画像の組を用いて監視画像の生成過程を説明する。
With reference to the flowchart of FIG. 12 and FIGS. 13 and 14, the monitoring image generation process in the target
ステップS1201…ステップS502で選択した注目領域を求めた基準画像をメモリ103aより習得する。この実施の形態では、画像201となる。
Step S1201 ... The reference image obtained from the attention area selected in Step S502 is acquired from the
ステップS1202…ステップS1201で取得した画像と同じ大きさのプレーン1300を用意し、ステップS1201で取得した基準画像を縦横共に半分に縮小した上で、1301へ配置する(配置位置の詳細は後ほど説明する)。
Step S1202: A
ステップS1203…注目領域生成部104aより、注目領域の生成結果の有無を取得し、存在する場合にはステップS1204へ遷移し、存在しない場合には処理を終了する。
Step S1203: The presence / absence of the generation result of the attention area is acquired from the attention
ステップS1204…ステップS1201で取得した基準画像と同じ時刻、同じ時刻の画像が存在しない場合には、基準画像に一番近い時刻の異なる画質の画像データをメモリ103aより習得する。この実施の形態では、画像211となる。
Step S1204... If there is no image at the same time and the same time as the reference image acquired in step S1201, image data having different image quality at the time closest to the reference image is acquired from the
ステップS1205…注目領域生成部104aより、注目領域の生成結果を取得する。複数の注目領域が存在した場合、この処理で選択することも可能である。この実施の形態では、700の領域1つのみであり、この領域を取得する。
Step S1205: The attention area generation result is acquired from the attention
ステップS1206…ステップS1205で取得した注目領域の生成結果を用いて、ステップS1202で配置した縮小した基準上に、注目領域の生成結果も同様に縮小し、赤枠を表示させる。この実施の形態では、1302となる。 Step S1206 ... Using the result of attention area generation obtained in step S1205, the attention area generation result is similarly reduced on the reduced reference placed in step S1202, and a red frame is displayed. In this embodiment, it becomes 1302.
ステップS1207…ステップS1204で取得した対応画像より、ステップS1205で取得した注目領域に相当する領域の切り出しを行う。この実施の形態では、対応画像211に対して、注目領域の生成結果700の拡大・縮小を対応画像211の大きさに合わせて実施し、対応領域中の注目領域画像1303を生成する。
Step S1207 ... A region corresponding to the attention region acquired in step S1205 is cut out from the corresponding image acquired in step S1204. In this embodiment, enlargement / reduction of the attention
ステップS1208…ステップS1207で生成した対応画像の注目領域画像が、1300の表示用プレーンから基準画像の表示領域の1301を除いた領域の何れかの位置に、1301の画像に重なる事無く表示可能な場合にはステップS1210に遷移し、1301の画像に重なる場合には、ステップS1209に遷移する。
Step S1208: The attention area image of the corresponding image generated in step S1207 can be displayed without overlapping the 1301 image at any position in the area excluding the
ステップS1209…ステップS1207で生成した注目領域画像を縦横の比率を維持しつつ縮小させる。縮小させるサイズは、縦のサイズが、1300の表示用プレーンの上辺と、表示領域の1301の上辺の差と等しくなるまで行う。
Step S1209: The attention area image generated in step S1207 is reduced while maintaining the aspect ratio. The size is reduced until the vertical size is equal to the difference between the upper side of the
ステップS1210…ステップS1207及びステップS1209で生成した注目領域画像を1300の表示用プレーンに配置する。配置は、表示用領域の左上から行い、2つ目以降の注目領域画像が存在する場合にはその右に配置する。この実施の形態では、1303の位置に配置する。
Step S1210: The attention area image generated in steps S1207 and S1209 is arranged on the
ステップS1211…ステップS1206で表示した基準画像上の枠1302の中心点と、ステップS1210で配置した注目領域画像の中心点とを線1304で結ぶ。
Step S1211: The center point of the
図12のフローチャートを用いて注目領域が存在しないチャンネルbに対して画像を生成すると、ステップS1203の分岐より下の処理を実行しないため、図15の1500の様に、基準画像の縮小画像がステップS1202により配置されるだけの画像が生成される(配置位置の詳細は後ほど説明する)。 If an image is generated for the channel b in which the region of interest does not exist using the flowchart of FIG. 12, the process below the branch of step S1203 is not executed, so that the reduced image of the reference image is a step as indicated by 1500 in FIG. An image only to be arranged is generated in S1202 (details of the arrangement position will be described later).
<ステップS1202配置領域の詳細>
画像の配置方法は任意で変更できるが、出画画像を4画で構成する場合、合成部106より出画される監視画像は、例えば図14の1400の様に配置する。領域1401はチャンネルa用の表示領域、領域1402はチャンネルb用の表示領域、領域1403はチャンネルc用の表示領域、領域1404はチャンネルd用の表示領域とし、各サイズは表示用領域1400を縦横共に2等分したサイズとする。領域1401中に存在する1411は、チャンネルaの標準画像の表示用領域であり、この例では領域1401の縦横共に2等分したサイズとし、領域1411を除いた領域1401部分を注目画像表示用領域とする。
<Details of Step S1202 Arrangement Area>
The arrangement method of the image can be arbitrarily changed, but when the output image is composed of four images, the monitoring image output from the synthesizing
図16に合成部106で合成され、モニタ120に出力される4画で構成された合成画像の例を示す。1600a、1600b、1600c、1600dは、それぞれチャンネルa、チャンネルb、チャンネルc、チャンネルdの画像の例を示している。チャンネルa、チャンネルdに関しては、注目領域1601、1602、1603が存在するため、対応画像の注目領域の切り出し画像が基準画像とは異なる画質で、対応画像の注目画像表示領域に1611、1612、1613の様に表示される。対応画像の注目領域の切り出し画像と、基準画像中の注目領域の対応を視認しやすくするため、2つの領域の中心点を結ぶ線も1621、1622、1623の様に表示される。チャンネルb、チャンネルcに関しては、カメラ110b、カメラ110cから得られた画像データ中の時刻(t)における画像に動き保障を使用したMBが存在せず、且つ注目領域外部設定部108から注目領域生成部104b、104cへの入力も存在しない場合の例を示している。注目領域生成部104b、104cで注目領域が生成されなかったため、合成部106へは注目画像形成部1105b、1105cで縮小された時刻(t)の画像が入力される。合成部106では1600a、1600b、1600c、1600dの画像を合成し合成画像1000を生成する。
FIG. 16 shows an example of a synthesized image composed of four images synthesized by the
このように本実施の形態の画像復号・表示装置130によれば、複数の監視画像を1つの監視モニタ120に表示する際に、同時に複数の監視画像で注目するべきイベントが発生した際にも監視を行っている画像とは異なる画質で、別の領域にイベント画像を関連付けて表示することにより、通常監視用の領域を覆い隠すこと無く、どの監視対象のどの位置にイベントが発生したかを視認しやすくすることができる。
As described above, according to the image decoding / display device 130 of the present embodiment, when a plurality of monitoring images are displayed on one
なお、以上の説明では、カメラ110a〜110dの入力及びデコーダ102a〜102d、メモリ103a〜103d、注目領域生成部104a〜104d、注目領域合成部105a〜105d、注目画像形成部1105a〜1105dの数を4で構成した例について説明したが、その他の入力数についても同様に実施可能である。
In the above description, the numbers of the cameras 110a to 110d and the
また、以上の説明では、注目領域生成部104a〜104dにおいて、動きによる注目領域の生成の際に、動き保障で使用したMBの対応により生成したが、その他の動き検出方法についても同様に実施可能である。
In the above description, the attention
本発明は、複数の監視画像を1つの監視モニタに表示する際に、同時に複数の監視画像で注目するべきイベントが発生した場合、監視を行っている画像とは異なる画質で、監視画像上にイベント発生領域を重ね合わせることにより、どの監視対象のどの位置にイベントが発生したかを視認しやすくすることができるといった効果を有し、複数の入力画像を同時に撮像装置に表示して監視を行う監視システムなどへの適用が可能である。 In the present invention, when a plurality of monitoring images are displayed on one monitoring monitor and an event to be noticed occurs simultaneously on the plurality of monitoring images, the image is displayed on the monitoring image with a different image quality from the image being monitored. By superimposing the event occurrence areas, it is possible to make it easier to visually recognize at which position of which monitoring target the event has occurred, and monitoring is performed by simultaneously displaying a plurality of input images on the imaging device. It can be applied to monitoring systems.
100、130 画像復号・表示装置
101 インタフェース
102a、102b、102c、102d デコーダ
103a、103b、103c、103d メモリ
104a、104b、104c、104d 注目領域生成部
105a、105b、105c、105d 注目領域合成部
106 合成部
107 操作入力部
108 注目領域外部設定部
110a、110b、110c、110d カメラ
111 ネットワーク
120 監視モニタ
1105a、1105b、1105c、1105d 注目画像形成部
100, 130 Image decoding /
Claims (3)
チャンネル毎に設けられ、前記インタフェースにより入力される少なくとも2種のデジタル圧縮された画像データを復号する複数の復号器と、
前記複数の復号器のそれぞれと1対1に対応し、それぞれが、対応する前記復号器から出力された少なくとも2種の画像データを一時的に保持する複数のメモリと、
前記複数の復号器のそれぞれと1対1に対応し、それぞれが、対応する前記復号器の復号時の動き情報及び注目領域外部設定部より設定される情報により注目領域を生成する複数の注目領域生成部と、
前記複数の注目領域生成部のそれぞれと1対1に対応し、それぞれが、対応する前記注目領域生成部で注目領域が生成された場合に、対応する前記メモリの中に存在する2種以上の画像データから1つを選択し、対応する前記注目領域生成部で生成された注目領域に該当する画像を切り出して注目領域画像を作成し、対応する前記メモリの中に存在する他の画像データ上に合成させる複数の注目領域合成部と、
前記複数のメモリ及び前記複数の注目領域合成部のそれぞれから出力される画像データを合成して表示端末に出力する合成部と、
ユーザからの外部入力を受け付け、前記複数の注目領域外部設定部にユーザからの入力情報を入力する操作入力部と、
前記操作入力部より入力されたユーザからの外部入力を画像の領域情報に変換し、前記複数の注目領域生成部のそれぞれに設定する注目領域外部設定部と、
を備えた画像復号・表示装置。 An interface that captures digital image data of multiple channels from the outside,
A plurality of decoders provided for each channel and configured to decode at least two kinds of digitally compressed image data input by the interface;
A plurality of memories corresponding one-to-one with each of the plurality of decoders, each of which temporarily holds at least two types of image data output from the corresponding decoder;
A plurality of regions of interest that correspond one-to-one with each of the plurality of decoders, and that each generate a region of interest based on motion information at the time of decoding of the corresponding decoder and information set by a region of interest external setting unit A generator,
Each of the plurality of attention area generation units has a one-to-one correspondence, and when each attention area is generated by the corresponding attention area generation section, each of the two or more attention area generation units Select one from the image data, cut out an image corresponding to the attention area generated by the corresponding attention area generation unit to create a attention area image, A plurality of region-of-interest synthesis units to be synthesized,
A combining unit that combines the image data output from each of the plurality of memories and the plurality of attention region combining units and outputs the combined image data to a display terminal;
An operation input unit that receives external input from the user and inputs input information from the user to the plurality of attention area external setting units;
An attention area external setting section that converts external input from the user input from the operation input section into area information of an image, and sets each of the plurality of attention area generation sections;
An image decoding / display device comprising:
それぞれが2種類以上の異なる画質のデジタル圧縮を可能とし、デジタル圧縮した画像を出力する複数のカメラと、
前記画像復号・表示装置から出力される画像データを視覚表示する表示端末と、
を備えた監視システム。 The image decoding / display device according to claim 1 or 2,
A plurality of cameras each capable of digital compression of two or more different image quality and outputting digitally compressed images;
A display terminal for visually displaying image data output from the image decoding / display device;
Monitoring system with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008174518A JP5131980B2 (en) | 2008-07-03 | 2008-07-03 | Image decoding / display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008174518A JP5131980B2 (en) | 2008-07-03 | 2008-07-03 | Image decoding / display device |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010016605A true JP2010016605A (en) | 2010-01-21 |
JP2010016605A5 JP2010016605A5 (en) | 2011-07-28 |
JP5131980B2 JP5131980B2 (en) | 2013-01-30 |
Family
ID=41702296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008174518A Expired - Fee Related JP5131980B2 (en) | 2008-07-03 | 2008-07-03 | Image decoding / display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5131980B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011234065A (en) * | 2010-04-27 | 2011-11-17 | Nec Corp | Moving image communication system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11355762A (en) * | 1998-04-30 | 1999-12-24 | Texas Instr Inc <Ti> | Automatic image monitor system |
JP2003111017A (en) * | 2001-09-26 | 2003-04-11 | Toshiba Lighting & Technology Corp | Monitoring camera system |
JP2004242218A (en) * | 2003-02-07 | 2004-08-26 | Toshiba Corp | Moving picture transmission apparatus, moving picture transmission system, program for moving picture, and moving picture transmission monitoring system |
JP2006101075A (en) * | 2004-09-29 | 2006-04-13 | Sanyo Electric Co Ltd | Image compression apparatus |
JP2007158829A (en) * | 2005-12-06 | 2007-06-21 | Hitachi Kokusai Electric Inc | Image processor, and image processing method and program |
JP2007194928A (en) * | 2006-01-19 | 2007-08-02 | Matsushita Electric Ind Co Ltd | Remote monitoring device and method |
-
2008
- 2008-07-03 JP JP2008174518A patent/JP5131980B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11355762A (en) * | 1998-04-30 | 1999-12-24 | Texas Instr Inc <Ti> | Automatic image monitor system |
JP2003111017A (en) * | 2001-09-26 | 2003-04-11 | Toshiba Lighting & Technology Corp | Monitoring camera system |
JP2004242218A (en) * | 2003-02-07 | 2004-08-26 | Toshiba Corp | Moving picture transmission apparatus, moving picture transmission system, program for moving picture, and moving picture transmission monitoring system |
JP2006101075A (en) * | 2004-09-29 | 2006-04-13 | Sanyo Electric Co Ltd | Image compression apparatus |
JP2007158829A (en) * | 2005-12-06 | 2007-06-21 | Hitachi Kokusai Electric Inc | Image processor, and image processing method and program |
JP2007194928A (en) * | 2006-01-19 | 2007-08-02 | Matsushita Electric Ind Co Ltd | Remote monitoring device and method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011234065A (en) * | 2010-04-27 | 2011-11-17 | Nec Corp | Moving image communication system |
Also Published As
Publication number | Publication date |
---|---|
JP5131980B2 (en) | 2013-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9049384B2 (en) | Video processing apparatus, camera apparatus, video processing method, and program | |
JP4345829B2 (en) | Image display system, image display apparatus, image display method, and program | |
US8654131B2 (en) | Video image processing apparatus and video image processing method | |
US20060170762A1 (en) | Video composition apparatus, video composition method and video composition program | |
US8724912B2 (en) | Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images | |
JP2006033793A (en) | Tracking video reproducing apparatus | |
WO2020213430A1 (en) | Video processing device, video processing method, and video processing program | |
US20060028583A1 (en) | System and method for overlaying images from multiple video sources on a display device | |
JP2010087907A (en) | Video combination and display, video display system and video display method | |
JP2009117886A (en) | Super-resolution processing apparatus and system | |
JP2006222942A (en) | Image synthesizer, and method and program for synthesizing image | |
JP5131980B2 (en) | Image decoding / display device | |
JP2006129152A (en) | Imaging device and image distribution system | |
JP2011151773A (en) | Video processing apparatus and control method | |
JP2004287902A (en) | Composite reality image presentation device | |
JP2004015517A (en) | Video image integrated display device | |
JP5588833B2 (en) | Image compression apparatus, image expansion apparatus, method, and program | |
JP2009218851A (en) | Video processing apparatus | |
AU2021427874B2 (en) | Real-time data processing device | |
JP2010273278A (en) | Image combining apparatus and video transmission system | |
JP2004194309A (en) | Display method and display device | |
JP2012186685A (en) | Image recognition display system and camera used for the same | |
JP2644031B2 (en) | Multipoint image composition method | |
JP5022581B2 (en) | Image transmission system and image transmission method | |
JP2008259074A (en) | Image transmission system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110610 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120731 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121009 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121105 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151116 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |