CN102160392A - 网关装置、方法、系统及程序 - Google Patents

Abstract

本发明提供一种通信系统、方法、网关装置、终端、程序，其可以对于从与第一网络连接的第一终端接收到的动态图像或者静态图像信号的图像信号，在向与第二网络连接的第二终端发送的情况下，可以获得充分的解析度及画质，以及，对于从第二终端发送的由网关装置接收并向第一终端发送的包含动态图像或者静态图像的图像信号，可以在第一终端获得充分的解析度及画质。该通信系统具备第一网络(130)、与第一网络连接的第一终端(120)、第二网络(170)、与第二网络连接的第二终端(190)、以及与第一、第二网络连接的网关装置(150)，网关装置接收从第一终端(120)发送至第一网络(130)的包含动态图像或者静态图像信号的图像信号，对上述接收到的图像信号实施扩展解析度以及画质的转换，将转换后的图像信号向与第二网络(170)连接的第二终端(190)发送，接收从第二终端(190)发送至第二网络(170)的包含动态图像或者静态图像信号的图像信号，将接收到的图像信号向第一网络(130)输出。第一终端(120)对从网关装置(150)输出至第一网络(130)的图像信号进行接收并解码，并实施扩展解析度以及画质的转换，从而进行显示。

Description

网关装置、方法、系统及程序

技术领域

(关联申请的记载)

本发明基于日本国专利申请：特愿2008-248152号(2008年9月26日申请)主张优先权，该申请的所有记载内容通过引用而记载在本说明书中。

本发明涉及一种网关装置、方法、系统及程序。

背景技术

开始将不同的网络之间相连接而使得与各个网络连接的终端彼此之间相互交换动态图像或静态图像的服务，该不同网络如下所述，即，第一网络例如为移动网络，第二网络例如为分组网络或者下一代网络(NGN：下一代网络)，在这种服务中使用网关装置。

在终端之间进行使用动态图像或者静态图像的通信的情况下，对于动态图像信号，为了以低比特率高效地传送，在终端侧进行压缩编码。作为这种方式，已知存在ITU-T(国际电联电信标准化部门)建议H.263、以及由ISO/IEC(国际标准化组织/国际电工委员会)进行国际标准化的MPEG-4(运动图象专家组4)。另外，如果利用由ITU-T和ISO/IEC进行国际标准化的H.264/MPEG-4AVC(高级视频编码)，则能够与上述动态图像压缩编码方式相比更高效地进行压缩。

作为进行动态图像转换的网关，例如在专利文献1中公开了如下网关：即，利用根据需要将来自服务器的动态图像数据所发送的终端的特性而导出的编码参数(编码方式、帧尺寸等)进行转换。另外，针对时间解析度的扩展，在专利文献2中公开了以下结构：对低解析度的动态图像在时间轴方向的采样数(帧频)进行提升采样，除去无用的高频成分，利用非线性预测在时间轴方向上进行高频预测，在高频预测正确的情况下，进行时间解析度的扩展。此外，根据下述说明可知，本发明与上述专利文献所述的发明完全不同。

专利文献1：日本特开2001-313937号公报

专利文献2：日本特开2007-74307号公报

发明内容

下面，对本发明进行分析。

根据现有的服务以及装置，第二网络的特别是下行方向，与第一网络的特别是上行方向相比，带宽增加数倍以上，大多第二终端具备处理更为高清晰图像的能力。在这种情况下，由于利用网关装置直接将从与第一网络连接的终端发送的解析度以及画质不充分的动态图像或者静态图像信号，向第二网络发送，因此，如果在与第二网络连接的第二终端中显示这种动态图像或静态图像时，解析度或画质不充分。所以，难以使服务自身的加入者增加。

另外，在从第二终端至第一终端的方向中，由于第一终端接收的是，与第一终端的能力或第一网络的带宽对应而将解析度或画质稍微下调的信号，因此对于第一终端的用户来说，接收、解码后显示的动态图像或者静态图像信号的解析度及画质不充分。

本发明的目的在于提供一种通信系统、方法、网关装置、终端、程序，其针对从与第一网络连接的第一终端的接收到的动态图像或者静态图像的图像信号，在向与第二网络连接的第二终端发送的情况下，可以施加充分的解析度及画质，以及针对从第二终端发送并由网关装置接收后发送至第一终端的包含动态图像或者静态图像在内的图像信号，在第一终端可以施加充分的解析度及画质。

本说明书所公开的发明，为了解决课题而形成大致下述结构。

从本发明的一个侧面中，提供一种通信系统，其具备：第一网络；与上述第一网络连接的第一终端；第二网络；与上述第二网络连接的第二终端；以及与上述第一、第二网络连接的网关装置，上述网关装置具备转换部，其实施扩展图像信号的解析度以及画质的转换，接收从上述第一终端发送至上述第一网络的包含动态图像或者静态图像的图像信号，对上述接收到的图像信号，由上述转换部实施扩展解析度以及画质的转换，将上述转换后的图像信号向与上述第二网络连接的上述第二终端发送，而且，上述网关装置接收从上述第二终端发送至上述第二网络的包含动态图像或者静态图像的图像信号，将上述接收到的图像信号向上述第一网络输出。上述第一终端具备以下单元，即，该单元接收从上述网关装置输出至上述第一网络的图像信号，在将上述接收到的图像信号解码的基础上，由上述转换部实施扩展解析度以及画质的转换。

在本发明的其他侧面中，提供一种通信方法，其中，网关接收从第一终端经由第一网络发送的包含动态图像或者静态图像的图像信号，对上述接收到的图像信号，实施扩展解析度以及画质的转换，将上述转换后的图像信号经由第二网络向第二终端发送，上述网关接收从上述第二终端经由上述第二网络发送的包含动态图像或者静态图像的图像信号，将上述接收到的图像信号向上述第一网络输出，上述第一终端接收从上述网关输出至上述第一网络的图像信号，在解码后，实施扩展解析度以及画质的转换。

在本发明的其他侧面中，提供一种网关装置，其连接在与第一网络连接的第一终端和与第二网络连接的第二终端之间，

其具备：第一接收部，其经由上述第一网络接受由上述第一终端发送的包含动态图像或者静态图像的图像信号；

转换部，其对上述接收到的图像信号实施扩展解析度以及画质的转换；

第一发送部，其将上述转换后的图像信号向与上述第二网络连接的第二终端发送；

第二接收部，其经由上述第二网络接受由上述第二终端发送的包含动态图像或者静态图像的图像信号；以及

第二发送部，其将上述接收到的图像信号向与上述第一网络连接的上述第一终端发送。

在本发明的其他侧面中，含有下述程序，其在构成连接在与第一网络连接的第一终端和与第二网络连接的第二终端之间的网关装置的计算机中，执行下述处理：

经由上述第一网络接收从上述第一终端发送的包含动态图像或者静态图像的图像信号的处理；

针对上述接收到的图像信号实施扩展解析度以及画质的转换处理；

将上述转换后的图像信号向与上述第二网络连接的第二终端发送的处理；

经由上述第二网络接收来自上述第二终端的包含动态图像或者静态图像的图像信号的处理；以及

将上述接收到的图像信号向与上述第一网络连接的上述第一终端发送的处理。

在本发明的其他侧面中，具有一种终端，其经由第一网络向网关装置发送包含动态图像或者静态图像的图像信号，经由第二网络接收由上述网关装置发送的包含动态图像或者静态图像的图像信号，

该终端具备：接收部，其经由上述网关装置，从与上述第二网络连接的第二终端接收包含动态图像或者静态图像的图像信号；

解码部，其对上述接收到的图像信号进行解码；

转换部，其实施解析度转换，转换上述解码后的图像信号的解析度，改善画质；以及

显示部，其显示上述转换后的图像信号。

在本发明的其他侧面中，提供一种程序，其在构成终端的计算机中执行下述处理，其中，上述终端经由第一网络向网关装置发送包含动态图像或者静态图像的图像信号，经由第二网络接收由上述网关装置发送的包含动态图像或者静态图像的图像信号，

所述处理为：接收处理，在该处理中，经由上述网关装置，从与上述第二网络连接的第二终端接收包含动态图像或者静态图像的图像信号；

解码处理，在该处理中，将上述接收到的图像信号解码；

转换处理，在该处理中，实施解析度转换，转换上述解码后的图像信号的解析度，改善画质；以及

显示处理，在该处理中，显示上述转换后的信号。

发明的效果

根据本发明，针对从与第一网络连接的第一终端的接收到的动态图像或者静态图像的图像信号，在向与第二网络连接的第二终端发送的情况下，可以施加充分的解析度及画质，针对从第二终端发送并由网关装置接收后发送至第一终端的包含动态图像或者静态图像在内的图像信号，在第一终端可以施加充分的解析度及画质。

附图说明

图1是表示本发明的一个实施例的系统结构的图。

图2是表示本发明的第1实施例中的网关装置的结构的图。

图3是表示本发明的第1实施例中的网关装置的结构的图。

图4是表示本发明的第1实施例中的第1终端的结构的图。

图5是表示本发明的第2实施例中的网关装置的结构的图。

图6是表示本发明的第2实施例中的网关装置的结构的图。

图7是表示本发明的第2实施例中的第1终端的结构的图。

图8是表示本发明的第1实施例中的网关装置的处理步骤的图。

图9(A)、(B)是表示本发明的实施例的网关装置、第1终端的变形例的图。

标号的说明

120第一终端；130第一网络；150网关装置；151、251、351、451呼叫控制部；155、200多路分离部；159、275数据包发送部；160变换部；161解码部；162帧存储器；163超解析度转换部；164编码部；170第二网络；172、255数据包接收部；175多路部；190第二终端；201、301呼叫控制部；202、302音声解码部；203、303动态图像解码部；204超解析度转换部；205显示部；280音声包接收部；290动态图像包接收部

具体实施方式

说明本发明的实施方式。根据本发明的一个方式，提供一种通信系统，其具备：第一网络；与上述第一网络连接的第一终端；第二网络；与上述第二网络连接的第二终端；以及上述第一、第二网络连接的网关装置，在该通信系统中，上述网关装置具备：转换部，其接收从上述第一终端发送至上述第一网络的包含动态图像或者静态图像的图像信号，对上述接收到的图像信号实施扩展解析度以及画质的转换；发送部，其将上述转换后的图像信号向与上述第二网络连接的上述第二终端发送；接收部，其从上述第二终端接收向上述第二网络发送的包含动态图像或者静态图像的图像信号；以及第二发送部，其将上述接收到的图像信号向上述第一网络输出。上述第一终端具备转换部，其接收从上述网关装置输出至上述第一网络的图像信号，在解码后，实施扩展解析度以及画质的转换。

根据本发明，提供一种将第一终端、第一网络、网关装置、第二网络和第二终端相连接而成的通信系统，在该通信系统中，上述网关装置具备：转换部，其从上述第一终端接收包含动态图像或者静态图像信号的流或数据包，实施扩展解析度以及画质的转换；发送部，其将上述转换后的信号向与上述第二网络连接的上述第二终端发送；以及接收部，其从上述第二终端经由上述第二网络接收包含动态图像或者静态图像信号的数据包或流，向上述第一网络输出，上述第一终端具备转换部，其接收并解码上述输出后，实施扩展解析度以及画质的转换。

根据本发明，提供一种通信系统，其特征在于，第二终端与第二网络连接，从上述第二终端向上述第二网络发送包含动态图像或者静态图像信号的数据包或者流，网关装置具备接收上述数据包或者流的接收部、和向第一网络输出的发送部，第一终端具备转换部，其与上述第一网络连接，接收来自上述发送部的输出，在进行解码的基础上，实施扩展解析度以及画质的转换。

根据本发明，提供一种通信系统，其特征在于，第一网络为移动电路交换网络或者移动分组网络，第二网络为分组网络或者NGN网络。

根据本发明，提供一种通信系统，其特征在于，第一网络为移动电路交换网络或者移动分组网络，第二网络为第3.9代或者第4代移动分组网络。下面基于实施例进行说明。在以下的实施例中，说明使用视频(动态图像)信号的情况的结构例。

实施例

图1是表示本发明所涉及的通信系统的结构的图。在图1中示出了网关装置、第一网络、第二网络、第1终端、第2终端之间的连接方式的例子。

在图1中，120表示第一终端，在这里例如为移动终端。130示出第一网络的例子，在这里例如为移动网络。网关装置150针对通过第一网络130而从第一终端120接收到的视频流或者视频数据包，在实施扩展解析度以及画质的转换的基础上，将转换后的动态图像流或者数据包通过第二网络170向第二终端190发送。在这里，第二网络可以使用例如固定网的分组网络或下一代网络(NGN：下一代网络)等。另一方面，利用网关装置150接收从第二终端190发送的动态图像信号或者静态图像信号，向第一终端120发送，并在第一终端120中解码并显示。

本发明可以应用于移动网络130为移动电路交换网络和移动分组网络的情况这两者，但是根据是哪一者，网关装置150的结构不同。由此，在下面，对于上述各个情况，分别在图2以及图3中示出网关装置150的结构。

在本实施例中，可以应用于移动网络130为移动电路交换网络和移动分组网络的情况这两者，但是根据是哪一者，网关装置150的结构不同。下面，对于上述各个情况，分别在图2以及图3中示出网关装置150的结构。

图2是移动网络130为移动电路交换网络的情况下，表示网关装置150的主要部分结构的一个例子的图。网关装置150具备多路分离部155、呼叫控制部151、转换部160、数据包发送部159。

图1的移动终端120为安装有3G324M协议(3G移动电话网和IP网的呼叫连接控制协议)的终端。此外，3G324M协议的详细内容可以参照例如3GPP TS26.110标准或TR26.911标准。

作为逆路径，从第二终端朝向第一终端方向中的网关装置150的实施例在图3中示出。

在图2中，多路分离部155接收H.223多路化信号，分离H.245呼叫控制信号、视频信号、音声信号，并将分离后的H.245呼叫控制信号向呼叫控制部151输出，将分离后的视频信号向转换部160中的解码部161输出。在这里，H.223以及H.245的详细内容可以分别参照ITU-T H.223标准以及ITU-T H.245标准。

呼叫控制部151分析H.245呼叫控制信号，将视频信号解码所需的与第一终端相关的能力信息向转换部160中的解码部161输出。在这里，能力信息为例如以下内容。视频编解码器为MPEG-4 SP(简单类)Level 0、比特率为64kbps(千比特/秒)、图像解析度为QCIF(四分之一通用中间格式)、帧频为15fps(帧/秒)。

而且，呼叫控制部151与通过第二网络170连接的第二终端190之间，利用例如SIP(会话初始化协议)以及SDP(会话描述协议)交换呼叫控制信息(例如第二终端190的接收IP地址等)以及能力信息(从呼叫控制部151开始以虚线表示)。呼叫控制部151将该能力信息向转换部160传输。在这里，作为第二终端的能力信息，例如为作为视频编解码器而搭载H.264 BP(基本规范)，在BP规范中，可以收容至级别1.2。这意味着最大比特率为384kbps、图像解析度为CIF(通用中间格式)、帧频为15fps。

转换部160具备解码部161、帧存储器162、超解析度转换部163、编码部164。

解码部161从呼叫控制部151接收关于第一终端的能力信息，例如以MPEG-4 SP级别为0、比特率64kbps、图像解析度QCIF、帧频15fps进行解码。将解码后的视频信号的每一个帧暂时存储在帧存储器162中。

超解析度转换部163从呼叫控制部151接收关于第二终端的能力信息，并读取存储在帧存储器162中的视频信号，进行一边扩展解析度一边改善画质的处理。

为了扩展解析度，使用下述方法：

·针对转换对象的图像帧，使用多枚图像帧作为参照图像，一边增加像素数量一边扩展解析度的方法，

·利用转换对象的图像帧内的不同位置的像素，增加像素数量的方法。超解析度转换部163也可以构成为，针对所述方法，根据能够向超解析度转换部163的处理分配的运算量和内存量的限制，选择最佳方法。

在超解析度转换部163中，可以构成为，在利用过去(时间上的过去)的参照帧的情况下，通过输入由解码部161解码后的每个宏块的移动矢量，对于该宏块中含有的像素，基于移动矢量重新执行移动矢量搜索处理(在参照帧搜索范围内的宏块中，求出转换对象帧与该宏块之间的差值最小的位置)，从而求出详细的移动矢量(例如半像素单位)。然后，将通过重新搜索求出的详细的移动矢量应用于过去的参照帧的像素中，利用只移动上述详细的移动矢量而得到的帧，增加转换对象帧的像素。或者，也可以构成为，不使用来自解码部161的宏块的移动矢量，而是从转换对象帧(现有帧)和参照帧中搜索移动矢量。

另外，在超解析度转换部163中，在只使用解析度扩展对象的帧的情况下，通过进行以下处理来进行提高解析度并改善画质的处理，即，检测边缘部分，应用边缘附近的像素以增加像素，或对边缘附近的像素进行校正，或者检测边缘并进行强调。该处理对动态图像以及/或者静态图像进行。

在超解析度转换部163中，通过推断移动方向，插补时间方向的帧图像(在前后帧之间插入1帧)，而对帧频进行插补，由此进行例如将帧频从15fps扩展至30fps的处理。

编码部164从呼叫控制部151接收关于第二终端的能力信息，并且输入来自超解析度转换部163的输出信号，例如利用H.264 BP Level1.2编码方式，以比特率：384kbps、图像解析度：CIF、帧频：15fps进行编码。

另外，在编码部164中，为了简化移动矢量搜索的运算量，可以采用如下结构：从解码部161输入移动矢量信息，基于所输入的移动矢量信息(对移动矢量实施与解析度扩展对应的转换)，针对被超解析度转换部163转换后的图像信号，搜索该移动矢量的附近，求出新的移动矢量。

数据包发送部159从呼叫控制部151输入第二终端190的接收IP地址，从编码部164输入基于H.264的压缩编码流，将压缩编码流包含在RTP净负载中作为RTP数据包，向接收IP地址发送。

另外，从数据包发送部159发送出的RTP数据包通过第二网络170由第二终端190接收。

下面，利用图3说明从第二终端向第一终端方向的网关装置150的实施例。在图3中，与图2相同的要素标注相同序号。在图3中，由于与图2相同的构成要素进行与图2相同的动作，因此在下面省略相同构成要素的说明。

在图3中，数据包接收部172从第二终端190通过第二网络170输入视频RTP数据包，并读取存储在RTP净负载部的视频流，向多路化部175输出。

多路化部175将从呼叫控制部251输入的H.245呼叫控制信号和视频流进行H.223多路化，将多路化后的流向第一网络130发送。

图4是表示在从第二终端向第一终端方向的通信中使用的第一终端120的要部结构的一个例子的图。如果参照图4，则第一终端120具备多路分离部200、呼叫控制部201、音声解码部202、动态图像解码部203、超解析度转换部204以及显示部205。

在图4中，多路分离部200接收H.223多路化信号，并将H.245呼叫控制信号、压缩编码后的视频流、压缩编码后的音声流分离，将分离后的H.245呼叫控制信号向呼叫控制部201输出，将分离后的压缩编码视频流向动态图像解码部203输出，将分离后的压缩编码音声流向音声解码部202输出。

呼叫控制部201利用H.245呼叫控制信号进行呼叫控制，并从H.245呼叫控制信息提取在对方侧终端中将动态图像信号以及音声信号进行编码时的能力信息，向动态图像解码部203以及音声解码部202输出。

音声解码部202从呼叫控制部201输入能力信息，并从多路分离部200输入压缩编码音声流，利用预定的音声编解码器解码音声，再输出。在这里，音声编解码器为AMR(自适应多速率)。此外，对于AMR的详细内容例如可以参照3GPP TS26.071标准或TS26.090标准。

动态图像解码部203从呼叫控制部201输入能力信息，从多路分离部200输入压缩编码视频流，输入压缩编码视频流，利用根据能力信息规定的动态图像编解码器(例如MPEG-4 SP@L0)、图像解析度(例如QCIF)解码上述流，将解码后的视频信号向超解析度转换部204输出。

超解析度转换部204输入解码后的视频信号，进行一边扩展解析度一边改善画质的处理。例如使QCIF的解析度扩展到CIF的图像解析度。这其中使用如上所述的两种方式：针对对象图像帧，使用多枚图像帧作为参照图像，一边增加像素数量一边扩展解析度的方法，以及利用对象图像帧内的不同位置的像素，增加像素数量的方法。也可以根据能够向该处理分配的运算量和内存量的限制，选择最佳方法。

和上述网关装置150同样地，也可以构成为，在对于变换对象帧使用沟渠的参照帧的情况下，超解析度转换部204从动态图像解码部203输入每个宏块的移动矢量，对于该宏块中含有的像素，基于所输入的移动矢量，在规定范围内重新探索移动矢量，求出详细的移动矢量，将其应用于过去的参照图像帧的像素中，通过只移动移动矢量，增加对象帧的像素。

并且，可以通过推断移动方向，插补时间方向的帧图像，由此扩展帧频。例如从15fps扩展至30fps。

当然也可以是不使用移动矢量的结构。另外，在只使用对象帧的情况下，也可以通过检测边缘部分，应用边缘附近的像素以增加像素、或对边缘附近的像素进行校正，以提高解析度并改善画质。

超解析度转换部204将超解析度转换后的动态图像信号向显示部205输出。显示部205输入转换后的动态图像并进行显示。

下面，参照图8对本实施例的网关装置中的处理流程进行说明。

步骤S1：多路分离部155从第一终端接收多路化信号，并使接收信号分离为H.245呼叫控制信号、视频信号，将分离后的H.245呼叫控制信号向呼叫控制部151输出，将分离后的视频信号向转换部160内的解码部161供给。

步骤S2：解码部161根据来自呼叫控制部151的关于第一终端的能力信息，解码视频信号。

步骤S3：超解析度转换部163一边将解码后的视频信号的解析度扩展，一边改善画质。

步骤S4：编码部164基于来自呼叫控制部151的关于第二终端的能力信息，编码来自超解析度转换部163的视频信号。

步骤S5：数据包发送部159输入来自编码部164的编码后的信号，将其包含于RTP净负载中并作为RTP数据包发送。

此外，上述网关装置的步骤S1至S5当然也可以利用构成网关装置的计算机上所执行的程序来实现其功能·处理。下面的其他实施例也是相同的。如图9(A)所示，构成网关装置的计算机(CPU)通过从存储装置将程序载入内存并执行，从而实现上述转换部的处理、多路分离部、数据包发送部、呼叫控制部的处理。此外，当然也可以形成存储程序的存储装置与网关装置网络连接的结构。

下面，说明在本实施例中从第二终端经由第二网络、网关装置、第一网络而接收信号的第一终端的处理流程。

步骤1：多路分离部200将来自第二终端的接收信号分离为H.245呼叫控制信号、视频信号，将分离后的H.245呼叫控制信号向呼叫控制部201输出，将分离后的视频信号向动态图像解码部203输出。

步骤2：动态图像解码部203解码来自多路分离部200的视频信号。

步骤3：超解析度转换部204一边扩展解码后的视频信号的解析度，一边改善画质。上述步骤1～3与图8的步骤S1～S3相应。

步骤4：显示部205输入转换后的动态图像信号并进行显示。

此外，上述第1终端的步骤1至4当然也可以利用构成第1终端的计算机上所执行的程序来实现其功能·处理。下面的实施例也相同。如图9(B)所示，构成第1终端的计算机(CPU)通过执行存储在存储器中的程序，从而实现上述超解析度转换部的处理、多路分离部、呼叫控制部、动态图像解码等的处理。此外，当然也可以形成存储程序的存储装置与第1终端网络连接的结构。

在以上的实施例中，与视频的压缩编码方式无关，可以与H.263、MPEG-4、H.264等任意一种压缩编码方式对应。

说明本发明的第一实施例的作用效果。

根据第一实施例，在从第一终端向第二终端方向的通信中，对于从与第一网络连接(例如移动网络)的第一终端(例如移动终端)接收到的动态图像或者静态图像信号，利用网关实施扩展解析度以及画质的转换之后，将上述转换后的动态图像或者静态图像信号向与分组网络连接的第二终端发送，因此，可以提供发挥第二网络(例如分组网络或者NGN)的下行方向的宽带或者第二终端的高性能的服务，可以在第二终端享受高画质的图像。

下面，对本发明的第二实施例进行说明。在图5和图6中示出移动网络130为移动分组网络的情况下的网关装置150的结构。图5表示从第一终端向第二终端方向的情况下的网关装置的结构，图6表示从第二终端向第一终端方向的情况下的网关装置的结构。另外，图7表示从第二终端向第一终端方向的情况下的第一终端的结构。此外，在图5中，与图2相同的要素标注相同序号。在图5中，由于与图2相同的构成要素进行与图2相同的动作，因此省略说明。

在图5中，呼叫控制部351接收来自第一终端120的SIP信号产生的对话控制信号。另外，接收SDP(会话描述协议)产生的第一终端120的能力信息(以图5的虚线表示)。呼叫控制部351将第一终端120的能力信息向转换部160输出。在这里，作为第一终端120的能力信息，例如视频编解码器为MPEG-4 SP(简单类)Level 0、比特率为64kbps(千比特/秒)、图像解析度为QCIF、帧频为15fps(帧/秒)。

而且，呼叫控制部351在与第二终端190之间，例如利用SIP(会话初始化协议)以及SDP(会话描述协议)，将呼叫控制信息(例如第二终端190的接收IP地址等)以及能力信息进行交换(以图5的虚线示出的信号)。在这里，能力信息为例如作为视频编解码器搭载H.264BP(基本规范)，在BP规范中可以收容级别1.2。这意味着最大比特率为384kbps、图像解析度为CIF、帧频为15fps。呼叫控制部351将这些信息向转换部160传送。

数据包接收部255接收来自呼叫控制部351的第一终端120的能力信息。数据包接收部255还从第一终端120通过移动分组网络130接收视频数据包，并读取存储在该数据包的净负载部分的视频流，向转换部160的解码部161输出。

转换部160从呼叫控制部351接收关于第一终端120的能力信息和关于第二终端190的能力信息这两者，并将前者向解码部161供给，将后者向超解析度转换部163以及编码部164供给。此外，由于转换部160的动作自身与图2相同，因此省略说明。

数据包发送部159从呼叫控制部351接收关于发送目标即第二终端的IP地址等，而且从转换部160输入转换后的视频流。由于数据包发送部159的动作自身与图2相同，因此省略说明。对于本实施例的网关装置中解析度转换的处理流程，在第一实施例所参照的图8的流程图中，仅在步骤S1为数据包接收处理这一点不同，其他都是相同的，因此省略说明。

图6表示从第二终端向第一终端方向的情况下的网关装置的结构。在图6中，由于标注了和图3相同序号的构成要素进行与图3相同的动作，因此省略说明。

在图6中，呼叫控制部451从第二终端190接收SIP产生的会话控制信号，并接收SDP(会话描述协议)产生的能力信息(输入至图6的呼叫控制部451的虚线)。呼叫控制部451将这些信息向数据包接收部172以及数据包发送部275输出，并且向第一终端120发送(从图6的呼叫控制部451输出的虚线)。

数据包发送部275从呼叫控制部451输入第一终端120的接收IP地址等，并从数据包接收部172输入视频RTP数据包，向第一网络130发送。

图7表示与移动分组网络连接的、在从第二终端190向第一终端120方向通信的情况下的第一终端120的结构。在图7中，由于标注了和图4相同序号的构成要素进行与图4相同的动作，因此省略说明。

在图7中，呼叫控制部301从网关装置150接收SIP信号产生的会话控制信号。另外，接收SDP(会话描述协议)产生的视频信号的能力信息(输入至图7的呼叫控制部301的虚线)。呼叫控制部301将这些信息向动态图像解码部303、音声解码部302、动态图像包接收部290和音声包接收部280输出。在这里，能力信息为例如视频编解码器为MPEG-4 SP(简单类)Level 0、比特率为64kbps、图像解析度为QCIF、帧频为15fps、音声编解码器为AMR(自适应多速率)。

动态图像包接收部290从呼叫控制部301输入关于视频信号的能力信息，从移动网络130接收视频RTP数据包，读取存储在RTP数据包的净负载部中的视频流，向动态图像解码部303输出。

动态图像解码部303从呼叫控制部301输入关于视频信号的能力信息，从动态图像包接收部290输入视频流包，根据能力信息解码视频信号并输出。在本实施例中，例如压缩编码方式为MPEG-4 SP@L0、图像解析度为QCIF、比特率为64kbps、帧频为15fps。

音声包接收部280从移动网络130接收音声RTP数据包，读取存储在RTP数据包的净负载部中的音声流并输出。

音声解码部302从呼叫控制部301输入作为能力信息的音声编解码器信息，从音声包接收部280输入音声流，解码音声并输出。在这里，音声编解码器例如为AMR音声编解码器。

说明本发明的第二实施例的作用效果。

根据第二实施例，在从第二终端向第一终端方向的通信中，通过将从网关接收到的动态图像或者静态图像信号在第一终端中解码后，实施扩展解析度以及画质的转换，然后进行输出·显示，从而可以在第一终端享受高画质的图像。

在如上说明的所有实施例中，将作为C-Plane(控制平面)处理的呼叫控制部和作为U-Plane(用户平面)处理的H.233多路分离部、数据包接收部、转换部、数据包发送部等全部配置在服务器装置中，但也可以形成将C-Plane处理和U-Plane处理分别分离在单独的装置中的结构。根据该结构，能够使C-Plane和U-Plane独立地具有扩展性。

另外，在上述实施方式中，将视频(动态图像)信号作为对象，但对于静态图像信号，也可以采用与上述相同的结构。

总结上述实施例，都包括如下结构。

[1]本实施例的通信系统具备：第一网络；与上述第一网络连接的第一终端；第二网络；与上述第二网络连接的第二终端；以及与上述第一、第二网络连接的网关装置，

上述网关装置具备转换部，其实施扩展图像信号的解析度以及画质的转换，接收从上述第一终端发送至上述第一网络的包含动态图像或者静态图像的图像信号，对上述接收到的图像信号，由上述转换部实施扩展解析度以及画质的转换，将上述转换后的图像信号向与上述第二网络连接的上述第二终端发送，

而且，上述网关装置接收从上述第二终端发送至上述第二网络的包含动态图像或者静态图像的图像信号，将上述接收到的图像信号向上述第一网络输出，

上述第一终端具备以下单元，即，该单元从上述网关装置接收由上述第一网络输出的图像信号，在将上述接收到的图像信号解码的基础上，由上述转换部实施扩展解析度以及画质的转换。

[2]本实施例的通信系统，针对上述[1]，

上述网关装置具备：接收部，其接收从上述第一终端向上述第一网络发送的包含动态图像或者静态图像的图像信号；

发送部，其将由上述转换部转换后的图像信号向与上述第二网络连接的上述第二终端发送；

第二接收部，其接收来自上述第二终端的经由上述第二网络且包含动态图像或者静态图像的图像信号；以及

第二发送部，其将上述接收到的图像信号向与上述第一网络连接的上述第一终端发送。

[3]本实施例的通信系统，针对上述[2]，

上述网关装置的上述转换部具备：解码部，其对由上述接收部接收到的图像信号，利用与上述第一终端相关的能力信息对应的方式进行解码；

解析度转换部，其基于与上述第二终端相关的能力信息，转换上述解码后的图像信号的解析度，改善画质；以及

编码部，其输入由上述解析度转换部转换后的图像信号，利用与上述第二终端相关的能力信息相应的方式进行编码。

[4]本实施例的通信系统，针对上述[1]至[3]中的任意一项，

在上述第一终端中具备：

解码部，其对上述接收到的图像信号进行解码；

解析度转换部，其转换上述解码后的图像信号的解析度，改善画质；以及

显示部，其显示上述转换后的图像信号。

[5]本实施例的通信系统，针对上述[3]或者[4]的任意一项

上述解析度转换部基于由上述解码部解码后的移动矢量，对过去的参照图像重新搜索移动矢量，利用将重新搜索后的移动矢量应用于上述参照图像而得到的图像，进行上述图像信号的解析度转换。

[6]本实施例的通信系统，针对上述[1]至[5]中任意一项，

上述第一网络为移动电路交换网络或者移动分组网络，上述第二网络为分组网络或者下一代网络(NGN：下一代网络)。

[7]本实施例的通信系统，针对上述[1]至[5]中任意一项，

上述第一网络为移动电路交换网络或者移动分组网络，上述第二网络为第3.9代或者第4代移动分组网络。

[8]本实施例的通信方法，

网关接收从第一终端经由第一网络发送的包含动态图像或者静态图像的图像信号，对上述接收到的图像信号，实施扩展解析度以及画质的转换，将上述转换后的图像信号经由第二网络向第二终端发送，

上述网关接收从上述第二终端经由上述第二网络发送的包含动态图像或者静态图像的图像信号，将上述接收到的图像信号向上述第一网络输出，

上述第一终端接收从上述网关输出至上述第一网络的图像信号，在解码后，实施扩展解析度以及画质的转换。

[9]本实施例的通信方法，针对上述[8]，

上述网关针对上述接收到的图像信号，使用与上述第一终端相关的能力信息相应的方式进行解码，

基于与上述第二终端相关的能力信息，进行解析度转换，转换上述解码后的图像信号的解析度，改善画质，

利用与上述第二终端相关的能力信息相应的方式，对上述转换后的图像信号进行编码。

[10]本实施例的通信方法，针对上述[8]或者[9]，

在上述第一终端中，解码上述接收到的图像信号，

进行解析度转换，转换上述解码后的图像信号的解析度，改善画质，

显示上述转换后的图像信号。

[11]本实施例的通信方法，针对上述[8]～[10]中的任意一项，

上述第一网络为移动电路交换网络或者移动分组网络，上述第二网络为分组网络或者下一代网络(NGN：下一代网络)。

[12]本实施例的通信方法，针对上述[8]～[10]中的任意一项，

上述第一网络为移动电路交换网络或者移动分组网络，上述第二网络为第3.9代或者第4代移动分组网络。

[13]本实施例的网关装置，连接在与第一网络连接的第一终端和与第二网络连接的第二终端之间，

其具备：第一接收部，其经由上述第一网络接受由上述第一终端发送的包含动态图像或者静态图像的图像信号；

转换部，其对上述接收到的图像信号实施扩展解析度以及画质的转换；

第一发送部，其将上述转换后的图像信号向与上述第二网络连接的第二终端发送；

第二接收部，其经由上述第二网络接受由上述第二终端发送的包含动态图像或者静态图像的图像信号；以及

第二发送部，其将上述接收到的图像信号向与上述第一网络连接的上述第一终端发送。

[14]本实施例的网关装置，针对上述[13]，

上述转换部具备：解码部，其对由上述接收部接收到的图像信号，利用与上述第一终端相关的能力信息相应的方式进行解码；

解析度转换部，其基于与上述第二终端相关的能力信息，转换上述解码后的图像信号的解析度，改善画质；以及

编码部，其输入由上述解析度转换部转换后的图像信号，利用与上述第二终端相关的能力信息相应的方式进行编码。

[15]本实施例的网关装置，针对上述[13]或者[14]，

上述解析度转换部基于由上述解码部解码后的移动矢量，对过去的参照图像重新搜索移动矢量，利用将重新搜索的移动矢量应用于上述参照图像而得到的图像，进行上述图像信号的解析度转换。

[16]本实施例的程序，

在构成连接在与第一网络连接的第一终端和与第二网络连接的第二终端之间的网关装置的计算机中，执行下述处理：

经由上述第一网络接收来自上述第一终端的包含动态图像或者静态图像的图像信号的处理；

针对上述接收到的图像信号实施扩展解析度以及画质的转换处理；

将上述转换后的图像信号向与上述第二网络连接的第二终端发送的处理；

经由上述第二网络接收来自上述第二终端的包含动态图像或者静态图像的图像信号的处理；以及

将上述接收到的图像信号向与上述第一网络连接的上述第一终端发送的处理。

[17]本实施例的程序，针对上述[16]，

上述转换处理针对上述接收到的图像信号，利用与上述第一终端相关的能力信息相应的方式进行解码，

基于与上述第二终端相关的能力信息，实施解析度转换，转换上述解码后的图像信号的解析度，改善画质，

输入上述转换后的图像信号，利用与上述第二终端相关的能力信息相应的方式进行编码。

[18]本实施例的终端，其经由第一网络向网关装置发送包含动态图像或者静态图像的图像信号，经由第二网络接收由上述网关装置发送的包含动态图像或者静态图像的图像信号，

该终端具备：接收部，其经由上述网关装置，从与上述第二网络连接的第二终端接收包含动态图像或者静态图像的图像信号；

解码部，其对上述接收到的图像信号进行解码；

解析度转换部，其转换上述解码后的图像信号的解析度，改善画质；以及

显示部，其显示上述转换后的图像信号。

[19]本实施例的程序，其在构成终端的计算机中下述处理，其中，上述终端经由第一网络向网关装置发送包含动态图像或者静态图像的图像信号，经由第二网络接收由上述网关装置发送的包含动态图像或者静态图像的图像信号，

所述处理为：接收处理，在该处理中，经由上述网关装置，从与上述第二网络连接的第二终端接收包含动态图像或者静态图像的图像信号；

解码处理，在该处理中，将上述接收到的图像信号解码；

转换处理，在该处理中，实施解析度转换，转换上述解码后的图像信号的解析度，改善画质；以及

显示处理，在该处理中，显示上述转换后的信号。

此外，上述的专利文献的各公开内容通过引用而记载在本说明书中。在本发明的全部公开(包括权利要求书的范围)的范围内，可以基于其基本技术思想而对实施方式及实施例进行变更、调整。另外，可以在本发明的权利要求书的范围内对各种公开要素进行各种组合及选择。即，本发明当然包括本领域的技术人员能够根据包含权利要求书的范围在内的所有启示、技术上的思想而得到的各种变形、修正。

Claims (19)

1.一种通信系统，其具备：第一网络；与上述第一网络连接的第一终端；第二网络；与上述第二网络连接的第二终端；以及与上述第一、第二网络连接的网关装置，

该通信系统的特征在于，

上述网关装置具备转换部，其实施扩展图像信号的解析度以及画质的转换，

接收从上述第一终端发送至上述第一网络的包含动态图像或者静态图像的图像信号，

对上述接收到的图像信号，由上述转换部实施扩展解析度以及画质的转换，将上述转换后的图像信号向与上述第二网络连接的上述第二终端发送，

而且，上述网关装置接收从上述第二终端发送至上述第二网络的包含动态图像或者静态图像的图像信号，将上述接收到的图像信号向上述第一网络输出，

上述第一终端具备以下单元，即，该单元接收从上述网关装置输出至上述第一网络的图像信号，在将上述接收到的图像信号解码的基础上，由上述转换部实施扩展解析度以及画质的转换。

2.根据权利要求1所述的通信系统，其特征在于，

上述网关装置具备：接收部，其接收从上述第一终端向上述第一网络发送的包含动态图像或者静态图像的图像信号；

发送部，其将由上述转换部转换后的图像信号向与上述第二网络连接的上述第二终端发送；

第二接收部，其接收来自上述第二终端的经由上述第二网络且包含动态图像或者静态图像的图像信号；以及

第二发送部，其将上述接收到的图像信号向与上述第一网络连接的上述第一终端发送。

3.根据权利要求2所述的通信系统，其特征在于，

上述网关装置的上述转换部具备：解码部，其对由上述接收部接收到的图像信号，利用与上述第一终端相关的能力信息对应的方式进行解码；

解析度转换部，其基于与上述第二终端相关的能力信息，转换上述解码后的图像信号的解析度，改善画质；以及

编码部，其输入由上述解析度转换部转换后的图像信号，利用与上述第二终端相关的能力信息相应的方式进行编码。

4.根据权利要求1至3中任意一项所述的通信系统，其特征在于，

上述第一终端中具备：接收部，其接收从上述网关装置向上述第一网络输出的图像信号；

解码部，其对上述接收到的图像信号进行解码；

解析度转换部，其转换上述解码后的图像信号的解析度，改善画质；以及

显示部，其显示上述转换后的图像信号。

5.根据权利要求3或4所述的通信系统，其特征在于，

上述解析度转换部基于由上述解码部解码后的移动矢量，对过去的参照图像重新搜索移动矢量，利用将重新搜索后的移动矢量应用于上述参照图像而得到的图像，进行上述图像信号的解析度转换。

6.根据权利要求1至5中任意一项所述的通信系统，其特征在于，

上述第一网络为移动电路交换网络或者移动分组网络，

上述第二网络为分组网络或者下一代网络、即NGN：下一代网络。

7.根据权利要求1至5中任意一项所述的通信系统，其特征在于，

上述第一网络为移动电路交换网络或者移动分组网络，

上述第二网络为第3.9代或者第4代移动分组网络。

8.一种通信方法，其特征在于，

网关接收从第一终端经由第一网络发送的包含动态图像或者静态图像的图像信号，

对上述接收到的图像信号，实施扩展解析度以及画质的转换，

将上述转换后的图像信号经由第二网络向第二终端发送，

上述网关接收从上述第二终端经由上述第二网络发送的包含动态图像或者静态图像的图像信号，将上述接收到的图像信号向上述第一网络输出，

上述第一终端接收从上述网关输出至上述第一网络的图像信号，在解码后，实施扩展解析度以及画质的转换。

9.根据权利要求8所述的通信方法，其特征在于，

上述网关针对上述接收到的图像信号，使用与上述第一终端相关的能力信息相应的方式进行解码，

基于与上述第二终端相关的能力信息，进行解析度转换，转换上述解码后的图像信号的解析度，改善画质，

利用与上述第二终端相关的能力信息相应的方式，对上述转换后的图像信号进行编码。

10.根据权利要求8或9所述的通信方法，其特征在于，

在上述第一终端中，解码上述接收到的图像信号，

进行解析度转换，转换上述解码后的图像信号的解析度，改善画质，

显示上述转换后的图像信号。

11.根据权利要求8至10中任意一项所述的通信方法，其特征在于，

上述第一网络为移动电路交换网络或者移动分组网络，

上述第二网络为分组网络或者下一代网络、即NGN：下一代网络。

12.根据权利要求8至10中任意一项所述的通信方法，其特征在于，

上述第一网络为移动电路交换网络或者移动分组网络，

上述第二网络为第3.9代或者第4代移动分组网络。

13.一种网关装置，其连接在与第一网络连接的第一终端和与第二网络连接的第二终端之间，

其特征在于，具备：

第一接收部，其经由上述第一网络接受由上述第一终端发送的包含动态图像或者静态图像的图像信号；

转换部，其对上述接收到的图像信号实施扩展解析度以及画质的转换；

第一发送部，其将上述转换后的图像信号向与上述第二网络连接的第二终端发送；

第二接收部，其经由上述第二网络接受由上述第二终端发送的包含动态图像或者静态图像的图像信号；以及

第二发送部，其将上述接收到的图像信号向与上述第一网络连接的上述第一终端发送。

14.根据权利要求13所述的网关装置，其特征在于，

上述转换部具备：解码部，其对由上述接收部接收到的图像信号，利用与上述第一终端相关的能力信息相应的方式进行解码；

解析度转换部，其基于与上述第二终端相关的能力信息，转换上述解码后的图像信号的解析度，改善画质；以及

编码部，其输入由上述解析度转换部转换后的图像信号，利用与上述第二终端相关的能力信息相应的方式进行编码。

15.根据权利要求13或14所述的网关装置，其特征在于，

上述解析度转换部基于由上述解码部解码后的移动矢量，对过去的参照图像重新搜索移动矢量，利用将重新搜索的移动矢量应用于上述参照图像而得到的图像，进行上述图像信号的解析度转换。

16.一种程序，其特征在于，

在构成连接在与第一网络连接的第一终端和与第二网络连接的第二终端之间的网关装置的计算机中，执行下述处理：

经由上述第一网络接收从上述第一终端发送的包含动态图像或者静态图像的图像信号的处理；

针对上述接收到的图像信号实施扩展解析度以及画质的转换处理；

将上述转换后的图像信号向与上述第二网络连接的第二终端发送的处理；

经由上述第二网络接收来自上述第二终端的包含动态图像或者静态图像的图像信号的处理；以及

将上述接收到的图像信号向与上述第一网络连接的上述第一终端发送的处理。

17.根据权利要求16所述的程序，其特征在于，

上述转换处理针对上述接收到的图像信号，利用与上述第一终端相关的能力信息相应的方式进行解码，

基于与上述第二终端相关的能力信息，实施解析度转换，转换上述解码后的图像信号的解析度，改善画质，

输入上述转换后的图像信号，利用与上述第二终端相关的能力信息相应的方式进行编码。

18.一种终端，其经由第一网络向网关装置发送包含动态图像或者静态图像的图像信号，经由第二网络接收由上述网关装置发送的包含动态图像或者静态图像的图像信号，

该终端的特征在于，具备：

接收部，其经由上述网关装置，从与上述第二网络连接的第二终端接收包含动态图像或者静态图像的图像信号；

解码部，其对上述接收到的图像信号进行解码；

转换部，其实施解析度转换，转换上述解码后的图像信号的解析度，改善画质；以及

显示部，其显示上述转换后的图像信号。

19.一种程序，其特征在于，

在构成终端的计算机中执行下述处理，其中，上述终端经由第一网络向网关装置发送包含动态图像或者静态图像的图像信号，经由第二网络接收由上述网关装置发送的包含动态图像或者静态图像的图像信号，

所述处理为：接收处理，在该处理中，经由上述网关装置，从与上述第二网络连接的第二终端接收包含动态图像或者静态图像的图像信号；

解码处理，在该处理中，将上述接收到的图像信号解码；

转换处理，在该处理中，实施解析度转换，转换上述解码后的图像信号的解析度，改善画质；以及

显示处理，在该处理中，显示上述转换后的信号。

Images