CN101099193A

CN101099193A - 影像显示装置

Info

Publication number: CN101099193A
Application number: CNA2005800461257A
Authority: CN
Inventors: 萩原利幸; 田中敦; 内藤麻奈美; 椿泰范
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-01-06
Filing date: 2005-01-06
Publication date: 2008-01-02
Also published as: US20080129648A1; EP1843322A1; WO2006072985A1; EP1843322A8; JPWO2006072985A1

Abstract

本发明的影像显示装置具有管理影像窗口信息的影像窗口管理表2、检测影像窗口的显示状态并更新影像窗口管理表2的影像窗口信息的影像窗口变更检测单元3、根据影像窗口信息切出在影像窗口上显示的数字影像的影像区域的一部分的压缩影像区域切出单元4、对由压缩影像切出单元切出的数字影像的影像区域进行解压的压缩影像解压单元5、和在显示画面上同其他数字影像一起、在影像窗口内显示由压缩影像解压单元5解压的数字影像的影像显示单元6。

Description

影像显示装置

技术领域

本发明涉及用于在一个显示画面上同时显示多个影像窗口的影像显示装置。

背景技术

在现有技术中，以监视业务的省力化和高效化为目的，采用这样的监视系统：通过在监视控制用计算机的显示画面上，和各种监视信息一起、同时显示来自多个监视摄像机的影像，进行集中监视。作为在该监视系统中使用的显示装置，有组合多个50英寸或者70英寸等的大型投射型显示装置的多-大画面显示装置，作为向显示画面上显示影像的方式，大体分为以下两种方式。

一种方式是把从监视摄像机通过电缆发送来的影像信号在影像合成装置中合成为计算机的画面信号而进行显示的方法。但是在通过影像合成装置的影像合成中，存在可显示的影像的数量受影像合成装置的规格限制这样的问题。

另一种方式是，把从监视摄像机取入的影像进行一次数字化，通过JPEG、MPEG2、MPEG4等影像编码方式进行压缩编码，作为压缩影像数据、使用计算机用通信网络向中央监视室的监视控制用计算机发送，在监视控制用计算机上进行影像的解压处理，在显示装置的画面上显示影像的方法。近年来，伴随影像的数字化，后者的方式逐渐增加。

另一方面，作为计算机的画面显示方法，重叠窗口(overlapwindow)方式的多窗口系统(multi-window system)是主流。在多窗口系统中，能够同时重合多个称为窗口的显示区域而进行显示，应用意识不到与其他窗口的重叠，可进行对自己的窗口的描画。更详细地，当窗口重叠时，有必要进行和仅对在画面上露出的部分进行描画处理的剪辑(clip)处理，但是，因为系统自身进行该处理，所以应用自身不需要意识到该事实。

但是，当显示压缩的数字影像时，在进行显示前需要用于使压缩的数字影像复原的解压处理。压缩的数字影像的解压处理有必要针对包含隐藏在其他窗口下的区域在内的所有区域进行，在解压处理后进行显示时，进行剪辑处理使得仅显示露出的部分。因此，对于隐藏的区域所进行的数字影像的解压处理变得无用了。另外，即使对于窗口的一部分露出到画面外、不显示的区域，也需要解压处理，存在同样的问题。

对此，提供了一种影像显示处理方法以及系统，从画面上的影像的重叠顺序或者影像的显示面积等的显示状态求出用户对于影像的关心度，根据关心度的高低变更压缩率、或者彗形像差(Coma)数、像素数，从而降低通信路径或者监视控制用计算机的负荷(例如参照专利文献1)。

专利文献1：特开平6-324662号公报

现有技术的影像显示装置，因为如以上构成，所以当窗口重叠时，即使对于不显示的部分也需要进行影像的解压处理，所以存在处理负荷变大的课题。

另外，在专利文献1的影像显示处理方法以及系统中，对于重叠的位于下面的窗口，不限于该窗口整体的优先级降低，有时仅能看到窗口的一部分即可。但是，在本影像显示处理方法以及系统中，认为位于下面的窗口的优先次序低，其影像质量或者彗形像差数、像素数减少，所以存在给监视业务带来困难这样的课题。

发明内容

本发明为解决上述课题而提出，其目的是获得一种影像显示装置，它只对于由于窗口彼此的重叠或者露出到画面外而不显示的部分、不进行影像的解压处理，从而节省无用的影像解压处理，减轻处理负荷。

本发明的影像显示装置具有：管理有关影像窗口的影像窗口信息的影像窗口管理表；检测影像窗口的显示状态的变更、更新影像窗口管理表的影像窗口信息的影像窗口变更检测单元；根据影像窗口信息、切出在影像窗口上显示的数字影像的影像区域的一部分的压缩影像区域切出单元；对由压缩影像切出单元切出的数字影像的影像区域进行解压的压缩影像解压单元；以及在显示画面上的影像窗口内显示由压缩影像解压单元解压的数字影像的影像显示单元。

根据本发明的影像显示装置，通过重叠显示数字影像的影像窗口、能够在同一显示画面上显示多个数字影像，其中，通过用影像窗口管理表管理包含可视区域信息的影像窗口信息，在影像解压处理前仅切出可视区域的压缩影像数据，进行影像解压，从而有减轻影像解压处理的负荷的效果。

附图说明

图1是本发明的第一实施方式的影像显示装置的结构图。

图2是表示在本发明的第一实施方式中，通过分片(tile)把影像分割为多个影像区域的状态的图。

图3是本发明的第一实施方式中的JPEG2000编码方式的压缩影像格式。

图4是图1中的影像窗口管理表的说明图。

图5是表示本发明的第一实施方式中的可视区域的例子的图。

图6是表示图1的影像显示装置的处理流程的图。

图7是表示图6的处理流程中的影像窗口管理表的例子的图。

图8是表示图1中的压缩影像区域切出单元的处理流程的流程图。

图9是表示图8中的步骤ST401的更详细的处理流程的流程图。

图10是表示对于图7的影像B使用图9的处理流程的例子的图。

图11是表示图10的例子中的步骤ST4015的处理的图。

具体实施方式

下面，为更详细地说明本发明，根据附图说明用于实施本发明的最佳方式。

第一实施方式

下面说明第一实施方式。图1是第一实施方式的影像显示装置的结构图。影像显示装置具有影像窗口管理表2、影像窗口变更检测单元3、压缩影像区域切出单元4、压缩影像解压单元5、影像显示单元6。此外，在后面叙述关于各个构成要素的详情。

在图1中，压缩影像数据1是把数字影像按1帧单位分割为多个影像区域、并进行压缩编码后的数据。作为影像的压缩编码方式，有JPEG、MPEG2、MPEG4这样的各种方式，但在第一实施方式中采用JPEG2000编码方式。在JPEG2000编码方式中，把影像作为称为帧的、连续的静止影像的集合而处理，按独立的帧单位进行影像的压缩。一般将此称为帧内编码。JPEG也是帧内编码。与此相对，MPEG2、MPEG4是还利用连续的帧间的相互关系进行压缩的方式，称为帧间编码。JPEG2000编码方式可以把1帧分割为多个影像区域、进行压缩编码并存储。

图2是表示在第一实施方式中通过分片(tile)把影像分割为多个影像区域的状态的图。在JPEG2000编码方式中，作为把影像分割为多个影像区域的方法，有称为分片(tile)和分区(precinct)这两种方法。在第一实施方式中，作为影像区域的分割方法使用分片。图2表示把分辨率640×480像素的影像分割为160×120像素的分片的情况。利用分片的影像区域分割从影像的左上端开始对每160×120像素进行分割，分割为16个分片。假定分片号码为水平方向和垂直方向的号码的组合。

图3是第一实施方式中的JPEG2000编码方式的压缩影像格式。在图2的影像区域分割时，压缩影像数据1的1帧的格式如图3所示。JPEG2000编码方式的压缩影像数据以称为SOC的标志(marker)开始，以称为EOC的标志结束。所谓标志是两字节长的数据，由表示是标志的标志前缀1字节(0xff)和标志识别符1字节构成。SOC标志成为0xff4f。主头标(main header)存储关于影像的信息。主头标的详细内容因为和第一实施方式无关所以省略说明。在SOC和EOC之间存在与从图2所示的从tile(0，0)到tile(3，3)的影像区域对应的、编码后的压缩影像数据。在第一实施方式中使用分片进行影像区域的分割，但是也可以使用分区(precinct)。

图4是图1中的影像窗口管理表2的说precinct明图。在图1中，影像窗口管理表2存储关于显示画面上的影像窗口的信息(下面称影像窗口信息)。即，影像窗口管理表2是影像窗口信息的列表。影像窗口信息具有：用于识别影像的影像识别符，作为画面上的影像窗口的左上端的坐标值的显示位置DX、DY，作为影像的水平方向以及垂直方向的像素数的影像尺寸DW、DH，以及作为关于影像窗口的可视区域的信息的可视区域信息。所谓可视区域，是在影像窗口的所有区域中除去与其他窗口重叠或者露出到画面外而看不见的区域、在画面上实际显示的区域。

此外，在图4中所有影像窗口的影像窗口信息用一个影像窗口管理表2管理，但是也可针对每一个影像窗口设置影像窗口管理表。

图5是表示第一实施方式中的可视区域的例子的图。如图5(a)所示，在显示画面上显示两个影像窗口，成为影像窗口1重叠在影像窗口2上的状态。另外，影像窗口2右端向画面外露出。此时，影像窗口1以及影像窗口2的可视区域如图5(b)所示。如图5(b)所示，可视区域表现为多个矩形的组合。影像窗口2中的矩形No.0和矩形No.1是可视区域，其他的部分是非可视区域。可视区域信息具有构成可视区域的矩形数N和关于各矩形的矩形信息(参照图4)。

进而，矩形信息具有在把矩形窗口的左上端作为原点的影像窗口的本地坐标系中、作为矩形开始位置的坐标值的Xi、Yi，作为矩形的水平方向的像素数的矩形宽度Wi，以及作为矩形的垂直方向的像素数的矩形高度Hi。这里i是矩形号码(参照图4)。

在图1中，影像窗口变更检测单元3检测显示在显示画面上的所有影像窗口的移动、显示尺寸的变更、上下关系变更等的与窗口相关的显示上的变更，当与影像窗口相关的影像窗口信息发生变更时，更新影像窗口管理表2的内容。

压缩影像区域切出单元4基于存储在影像窗口管理表2中的数字影像相对应的影像窗口的可视区域信息，从压缩影像数据1中提取与应该按一帧单位进行显示的区域相对应的分片，按矩形单位再构建压缩影像数据。

压缩影像解压单元5针对由压缩影像区域切出单元4按矩形单位切出的可视区域的JPEG2000影像，按一帧单位进行压缩影像数据的解压处理。

影像显示单元6在显示画面上显示由压缩影像解压单元5解压的JPEG2000影像。

接着，使用图6说明第一实施方式的影像显示装置的动作。图6是表示图1的影像显示装置处理流程的图。在图6的显示画面700上，显示影像A的影像窗口701重叠在显示影像B的影像窗口702上。

压缩影像数据1a是影像A的压缩影像数据，由N个帧构成。压缩影像数据1b是影像B的压缩影像数据，由N个帧构成。

在图6中，影像A以及影像B的压缩影像数据1a、1b的分辨率为640×480，按160×120像素的分片进行影像分割并由JPEG2000编码方式压缩。压缩影像数据的格式和图2相同。

图7是表示图6的处理流程中的影像窗口管理表的例子的图。在图6的情况下，影像窗口管理表2的内容成为如图7所示那样。

影像窗口变更检测单元3当检测到影像窗口的显示状态的变更时，首先，对于有变更的影像窗口、判定是否在显示画面外露出，当在显示画面外露出时，仅把进入显示画面内的区域作为可视区域而求出。接着，除了与位于有变更的影像窗口之上的所有窗口相重叠的区域之外，求出有变更的影像窗口的可视区域。进而，对于有变更的影像窗口以外的所有影像窗口，同样也求可视区域信息，更新影像窗口管理表2。

在图7中的影像窗口管理表中，影像窗口信息1、2分别是关于影像窗口701、702的信息。另外，矩形信息是与影像窗口中的各个矩形相关的信息。

首先，说明影像B的处理的流程。在图6中，影像B的压缩影像数据1b的帧1被输入压缩影像区域切出单元4。在压缩影像区域切出单元4中，根据与影像窗口管理表2的影像B相对应的影像窗口信息，对于一部分影像区域切出压缩影像数据。

图8是表示图1中的压缩影像区域切出单元4的处理流程的流程图。

在步骤ST400中，压缩影像区域切出单元4关于显示影像B的影像窗口、从影像窗口管理表2取得影像窗口信息。

在步骤ST401中，使用在步骤ST400中取得的影像窗口信息的可视区域信息，求出所有与可视区域重合的分片，按矩形单位把分片分类为多个组。

在步骤ST402中，对于在步骤ST401中分类的组，构建JPEG2000编码方式的压缩影像数据并输出。

图9是表示图8中的步骤ST401的更详细的处理流程的流程图。使用图9，说明从可视区域信息求出与可视区域重叠的分片的处理流程。

在步骤ST4010中，根据以下的公式求作为影像的水平、垂直各方向的分片数的XTNum、YTNum。

XTNum＝ceiling(DW/XTSiz)

YTNum＝ceiling(DH/YTSiz)

在上述公式中，DW、DH表示影像的水平方向尺寸、垂直方向尺寸，XTSiz、YTSiz分别表示分片的水平方向尺寸、垂直方向尺寸。XTSiz以及YTSiz包含在压缩影像数据的主头标(main header)部分中。省略关于主头标部分的详细说明。另外，ceiling(x)是输出大于等于x的最小整数的函数。

在步骤ST4011中，准备表示把分片号码作为指数(index)而持有的阵列的值是否与可视区域相重叠的二维阵列(two-dimensionalarray)TI[XTNum][YTNum]，把二维阵列TI[XTNum][YTNum]的全部元素初始化为0。

在步骤ST4012中，当阵列TI[K][L]的值是0时，假定tile(K，L)和可视区域无重叠，当阵列TI[K][L]的值是(i+1)时，假定tile(K，L)和可视区域有重叠。接着把0作为i的初始值代入。这里i是矩形号码。

在步骤ST4013中，根据下面的公式求矩形的左上端进入的分片的分片(tile)号码(Plu，Qlu)。

Plu＝Xi/XTSiz

Qlu＝Yi/YTSiz

设Plu、Qlu取整数。在上述公式中，Xi、Yi分别是矩形No.i的水平方向、垂直方向的矩形开始位置。

在步骤ST4014中，根据以下的公式求矩形No.i的右下端进入的分片的分片号码(Prl，Qrl)。

Prl＝(Xi+Wi-1)/XTSiz

Qrl＝(Yi+Hi-1)/YTSiz

设Prl、Qrl取整数。在上述公式中，Wi、Hi分别是矩形No.i的宽度、高度。

在步骤ST4015中，生成左上端的分片号码为(Plu，Qlu)、右下端的分片号码为(Prl，Qrl)那样的、属于由多个分片构成的矩形的分片的分片号码，把二维阵列TI[XTNum][YTNum]相对应的阵列位置的值取为(i+1)。其结果是，在二维阵列TI[XTNum][YTNum]中，在把和矩形No.i重叠的分片的分片号码作为指数(index)的阵列位置上存储值(i+1)。

在步骤ST4016中，在i上加1，作为下一矩形号码。

在步骤S4017中，判断i是否超过矩形数N。当i超过矩形数N时，因为关于所有矩形求出重叠的分片的处理结束，求出了所有和可视区域相重叠的分片的分片号码，所以处理结束。当新的矩形号码i未达到矩形数N时，返回步骤ST4013，对于新的矩形执行从ST4013到ST4016的处理。

在从上述ST4010到ST4017的步骤全部结束的时刻，在得到的二维阵列TI中，具有相同值的各分片成为属于矩形单位的相同组的分片。

接着，以图7的影像B为例说明压缩影像区域切出单元4的动作。图10是表示对于图7的影像B使用图9的处理流程的例子的图。并且，图10(a)是示出了构成影像B中的可视区域的矩形和分片的关系的图。

在图9的步骤ST4010，求水平、垂直方向的分片数。在影像B中，从DW＝640、DH＝480、XTSiz＝160、YTSiz＝120，得出

XTNum＝Ceiling(640/160)＝4

YTNum＝Ceiling(480/120)＝4

在步骤ST4011中，准备二维阵列TI[4][4]，把阵列的值全部初始化为0。

在步骤ST4012中，把表示矩形号码的i初始化为0。

在步骤ST4013中，因为根据图7有X0＝400、Y0＝0，所以矩形No.0的左上端进入的分片号码(Plu，Qlu)如下求出。

Plu＝400/160＝2

Qlu＝0/120＝0

因此，矩形No.0的左上端进入的分片号码成为(2，0)。

在步骤ST4014中，因为根据图7有W0＝240、H0＝280，所以矩形No.0的右下端进入的分片号码(Prl，Qrl)如下求出。

Prl＝(400+240-1)/160＝3

Qrl＝(0+280-1)/120＝2

因此，矩形No.0的右下端进入的分片号码成为(3，2)。

在步骤ST4015中，生成左上端的分片号码为(2，0)、右下端的分片号码为(3，2)那样的、属于由多个分片构成的矩形的分片号码。然后，在二维阵列TI[4][4]中，把与生成的分片号码相对应的阵列位置的值取为1。其结果是，二维阵列TI[4][4]成为图11(a)那样。把阵列的值成为1的阵列的指数(index)作为分片号码而持有的分片成为与矩形No.0重叠的分片。

接着，在步骤ST4016中，在i上加1成为i＝1。

在步骤S4017中，比较作为包含在可视区域中的矩形数目的N和i。影像B中的可视区域包含的矩形的数目为N＝2，i＝1＜N＝2成立。即，表示还剩余矩形，因此再度返回步骤ST4013。

下面，i＝1，即求与矩形No.1重叠的分片。在步骤ST4013中，根据下面的公式求出矩形No.1的左上端进入的分片号码(Plu，Qlu)。根据图7的可视区域信息的矩形No.1的信息，

Plu＝0/160＝0

Qlu＝280/120＝2

因此，矩形No.0的左上端进入的分片号码成为(0，2)。

接着，在步骤ST4014中，根据下面的公式求出矩形No.1的右下端进入的分片号码(Prl，Qrl)。

Prl＝(0+640-1)/160＝3

Qrl＝(200+280-1)/120＝3

因此，矩形No.1的右下端进入的分片号码成为(3，3)。

在步骤ST4015中，生成左上端的分片号码为(0，2)、右下端的分片号码为(3，3)那样的、属于由多个分片构成的矩形的分片号码。然后，在二维阵列TI[4][4]中，把与生成的分片号码相对应的阵列位置的值取为2。其结果是，二维阵列TI[4][4]成为图11(b)那样。把阵列的值成为2的阵列的指数(index)作为分片号码而持有的分片成为与矩形No.1重叠的分片。此外，与图10(a)的tile(2，2)、tile(3，2)相对应的阵列位置的值从图11(a)的1更新为图11(b)的2。

在步骤ST4016中，在i上加1成为i＝2。

在步骤ST4017中，进行i＜N的比较。因为N＝2，所以i＝N成立，i＜N成为“否”。其结果，在二维阵列TI[4][4]中，持有与具有0以外的值的阵列指数号码相对应的分片号码的分片成为与影像B的影像窗口的可视区域相重叠的分片。

图10(b)是表示影像B中进行分组后的分片的图。采用相同影线(hatching)的分片是同一组。在影像B的场合，具有值1的{tile(2，0)、tile(3，0)、tile(2，1)、tile(3，1)}是第一组，具有值2的{tile(0，2)、tile(1，2)、tile(2，2)、tile(3，2)、tile(0，3)、tile(1，3)、tile(2，3)、tile(3，3)}成为第二组。

图10(c)示出的情形是，伴随图10(b)的分组、对于第一组和第二组的每一组再构建JPEG2000的编码方式的压缩影像数据的情形。最后，在图8所示的步骤ST402中，通过在各组中再构建JPEG2000编码方式的压缩影像数据，压缩影像区域切出单元4的处理完成。

通过压缩影像区域切出单元4切出的压缩影像数据被传递给压缩影像解压单元5。在压缩影像解压单元5中，对切出的压缩影像数据进行解压处理。在第一实施方式中，对于JPEG2000编码方式的压缩影像数据通过JPEG2000解码器进行解压处理。最后，由影像显示单元6按照影像窗口管理表的对应的影像窗口信息的显示位置，在显示画面上进行显示。

如上所述，根据该第一实施方式，在影像显示装置中，通过重叠显示数字影像的影像窗口，能够在同一显示画面上显示多个数字影像，其中，用影像窗口管理表管理包含可视区域信息的影像窗口信息，通过在影像解压处理前仅切出可视区域的压缩影像数据，并进行影像解压，从而具有减轻影像解压处理的负荷的效果。

如上所述，本发明的影像显示装置可适用于在多频道影像显示系统或者高分辨率影像显示系统中使用的多-大画面显示装置。

Claims

1.一种影像显示装置，能够在显示画面上重叠显示多个用于显示数字影像的影像窗口，其特征在于具有：

管理与所述影像窗口相关的影像窗口信息的影像窗口管理表；

检测所述影像窗口的显示状态的变更、并更新所述影像窗口管理表的所述影像窗口信息的影像窗口变更检测单元；

根据所述影像窗口信息、切出在所述影像窗口上显示的数字影像的影像区域的一部分的压缩影像区域切出单元；

对由所述压缩影像切出单元切出的所述数字影像的影像区域进行解压的压缩影像解压单元；以及

在所述显示画面上的所述影像窗口内显示由所述压缩影像解压单元解压的数字影像的影像显示单元。

2.根据权利要求1所述的影像显示装置，其特征在于，所述数字影像是按帧单位分割为多个影像区域并进行压缩编码后的压缩影像数据。

3.根据权利要求2所述的影像显示装置，其特征在于，所述影像窗口信息具有关于所述影像窗口的影像识别符、影像显示位置、影像显示尺寸、与其他窗口的重叠顺序、以及可视区域信息。

4.根据权利要求3所述的影像显示装置，其特征在于，所述压缩影像区域切出单元从所述可视区域信息中提取包含在显示画面上实际显示的可视区域中的压缩影像数据。

5.根据权利要求4所述的影像显示装置，其特征在于，所述可视区域信息具有与组合构成所述可视区域的矩形相关的信息。