CN1765131A - 图像再生方法 - Google Patents

Abstract

本发明属于网络摄像机领域，其目的在于即使在资源和通信缓冲区大小有限的便携电话终端中也能顺利地再生由网络摄像机拍摄的图像。便携电话终端的参数设定部(611)从初始设定存储部(58)输入固定参数。固定参数由参数设定部(611)向网络摄像机(1)发送。网络摄像机(1)按照接收的参数进行图像的压缩处理等，并存储多帧静止图像数据。其次，当在便携电话终端和网络摄像机(1)之间确立了通信会话时，在维持该会话的期间分发多帧静止图像数据。便携电话终端切换该静止图像数据再连续地再生。由此可以再生准活动图像。通过反复执行这样的处理，依次再生准活动图像。

Description

图像再生方法

                      技术领域

本发明涉及在便携电话机或PDA等便携终端中用来经网络取得由网络摄像机拍摄的图像并进行显示的技术。

                      背景技术

称为网络摄像机或WEB摄像机的设备具有图像摄像传感器，并且具有WEB服务器功能和网络功能，可以经因特网等网络将用图像摄像传感器拍摄的图像数据分发给各种终端。

另一方面，现在的便携电话终端具有网络功能并且还具有彩色图像显示功能，可以作为多媒体终端使用的情况正在增加。

因此，如下述非专利文献1所示，存在可以使用便携电话终端浏览由网络摄像机分发的图像的服务器。

非专利文献1：松下电器产业，“家庭网络关联商品”，[平成16年7月30日检索]，因特网<URL http：//panasonic.co.jp/pcc/products/hnetwk/support/technic/mbl_phn_list-c10.html>

在包含上述非专利文献1所示的服务并向便携电话等终端分发由网络摄像机拍摄的图像的服务中，为了更新图像，便携电话终端的用户必须亲自操作“更新”键。而且，可以响应用户的“更新”键操作取得的图像的张数是1张图像。因此，每当阅览新的图像时就必须操作“更新”键，很不方便。

这里，作为自动更新图像的方法，考虑一种执行刷新功能的方法，但是，根据便携电话等终端，有时HTML中的刷新功能会受到限制，为了在这些终端中更新图像，仍然需要操作“更新”键等。

此外，在PC等中，可以将由网络摄像机分发的图像再生为活动图像。这是因为在PC等中可以确保有足够的缓冲存储器。或者，是因为在PC等中可以使用UDP上的应用。另一方面，根据便携电话等终端，有时不许可利用在UDP上工作的应用。此外，即使利用在HTTP上工作的应用，也因最大通信缓冲区大小的限制，而难以直接再生活动图像。

                      发明内容

本发明是为了解决上述问题而提出的，其目的在于提供一种在资源和通信缓冲区大小有限的便携终端设备中连续再生由网络摄像机分发的图像的技术。

本发明的第1方面是一种图像再生方法，在便携终端中，对从具有网络连接功能和服务器功能的图像摄像装置经网络分发的图像进行再生，其特征在于，包括：第1工序，在上述便携终端和上述图像摄像装置之间确立通信会话；第2工序，在维持上述第1工序中确立的通信会话的期间，从上述图像摄像装置向上述便携终端分发多帧静止图像数据；以及第3工序，连续再生上述便携终端在上述第2工序中接收的多帧静止图像数据，通过反复进行从上述第1工序到上述第3工序的工序，连续再生图像数据。

本发明的第2方面是一种图像再生方法，在便携终端中，对从具有网络连接功能和服务器功能的图像摄像装置经网络分发的图像进行再生，其特征在于，包括：第1工序，在上述便携终端和上述图像摄像装置之间确立通信会话；第2工序，在维持上述第1工序中确立的通信会话的期间，从上述图像摄像装置向上述便携终端分发活动图像数据；以及第3工序，连续再生上述便携终端在上述第2工序中接收的活动图像数据，通过反复进行从上述第1工序到上述第3工序的工序，连续再生活动图像数据。

若按照本发明的主题，在便携终端和图像摄像装置之间确立通信会话，在维持该会话的期间分发多帧静止图像数据。由此，便携终端通过连续切换再生多帧静止图像数据，可以再生准活动图像。而且，通过反复执行这样的处理，可以依次切换准活动图像，连续地再生对准活动图像。

此外，因分发的图像数据的属性由从便携终端发送的参数决定，故便携终端可以顺利地进行高质量的图像再生。

通过下面的详细说明及附图，会更加明了本发明的目的、特征、内容和优点。

                      附图说明

图1是图像分发系统的整体图。

图2是实施方式1、2的网络摄像机的方框图。

图3是实施方式1、2的便携电话终端的方框图。

图4是实施方式1的与参数发送处理有关的功能方框图。

图5是表示参数的分类的图。

图6是实施方式2的与参数发送处理有关的功能方框图。

图7是实施方式3的网络摄像机的方框图。

图8是实施方式3的便携电话终端的方框图。

                    具体实施方式

下面，参照附图说明本发明的实施方式。图1是本发明的各实施方式的图像分发系统的整体图。网络摄像机1是具有图像摄像功能、网络连接功能和WEB服务器功能的设备，一般，是又称作WEB摄像机的设备。便携电话终端5除了作为便携电话的基本功能的语音通话功能之外，还具有网络连接功能。而且，网络摄像机1与因特网2连接，便携电话终端5经基站4与便携电话网3连接，进而，通过将因特网2和便携电话网3连接，网络摄像机1和便携电话终端5可以相互通信。

在这样的系统构成中，网络摄像机1使用WEB服务器功能或其他图像分发功能向各种终端分发拍摄的图像。即，网络摄像机1可以对与因特网2连接的终端或与经因特网2连接的各种各样的网络连接的备种终端分发拍摄的图像。而且，便携电话终端5具有WEB内容的阅览功能或图像阅览功能，可以浏览网络摄像机1分发的图像。

<实施方式1>

其次，参照图1至图5说明本发明的实施方式1。

图2是网络摄像机1的方框图。网络摄像机1具有摄像传感器11、图像处理部12、通信部13、存储器14和CPU15。摄像传感器11由光学透镜、CCD摄像元件等构成，可以对被拍摄体摄像。从摄像传感器11输出的图像数据在图像处理部12中进行各种图像处理。图像处理包含图像的压缩处理等。

CPU15执行存储在存储器14中的各种程序。存储器14存储WEB服务器程序和其他的应用程序(省略图示)，CPU15通过执行WEB服务器程序，可以将WEB服务器功能安装在网络摄像机1中。通信部13具有与因特网2之间进行数据收发的功能。

图3是便携电话终端5的方框图。便携电话终端5具有天线51、通信部52、CPU53、存储器54、操作部55和显示部56。通信部52具有经天线51与基站4之间进行数据收发的功能。此外，通信部52具有缓冲存储器57，具有暂时存储接收的数据等的功能。CPU53执行存储在存储器54中的各种程序。在存储器54中存储WEB浏览器程序和其他应用程序(省略图示)，CPU53执行WEB浏览器程序，由此可以阅览WEB内容。

此外，存储器54存储图像取得程序61。图像取得程序61是在HTTP上工作的程序，例如，可以利用JAVA(注册商标)应用程序。作为具体的例子，有NTTドコモ株式会社制的便携电话使用的i应用程序和KDDI株式会社制的便携电话使用的称作EZ应用的程序。图像取得程序61具有对网络摄像机1发送参数的功能、从网络摄像机1下载图像的功能和在显示部56上显示下载的图像的功能等。

操作部55由用来执行便携电话终端5的各种功能的操作键和十字指示器等构成。用户通过操作操作部55，可以进行电话号码或电子邮件地址等各种文字的输入操作，或进行网络连接处理或WEB内容的浏览操作等。显示部56由LCD等构成，进行WEB内容或图像显示。此外，显示部56用于电话号码或电子邮件的显示。

图4是表示图像取得程序61的部分处理内容的方框图。图像取得程序61作为与参数设定和发送有关的功能模块，具有参数设定部611和外部因素取得部612。这些参数设定部611和外部因素取得部612是通过利用CPU53、存储器54等硬件资源执行图像取得程序61所实现的部分功能。

此外，便携电话终端5将用来决定接收的图像数据的属性的固定参数存储在初始设定存储部58中。这里，图像数据的属性若是静止图像则包含压缩率和分辨率等。此外，对于连续拍摄的多帧静止图像数据，数据块的大小(帧数)等也包含在图像数据的属性中。此外，对于活动图像数据，图像数据的属性则包含压缩率、采样率、活动图像数据的大小等。即，图像数据的属性是根据从摄像传感器11输出的图像信息生成静止图像数据或活动图像数据之前执行的处理的条件，是决定已生成的图像数据的质量或数据大小的参数。

此外，固定参数是通过便携电话终端5的设备种类而固定设定的参数。例如，可以在便携电话终端5出厂时，向初始设定存储部58写入固定参数。或者，也可以由用户自由改写固定参数。

图5是表示参数内容的图。参数可分成第1参数71和第2参数72。第1参数例如包含终端机种信息、终端资源信息和终端附加信息。终端机种信息是便携电话终端5的产品号、制造号等特定终端机种的信息。终端资源信息是便携电话终端5的CPU处理能力或特定存储器大小等的信息。终端附加信息例如对于便携电话终端5是可取得位置信息的终端则是位置信息，或者是便携电话终端5的用户签订的费用体系的信息等。

与此相对，第2参数例如是分辨率信息、压缩率信息、采样率、静止图像数据块大小和活动图像大小等。

即，第2参数是直接决定从网络摄像机1向便携电话终端5分发的图像数据的属性的参数，第1参数是作为用于决定第2参数的因素的参数。

在该第1实施方式中，因初始设定存储部58中存储的参数是固定参数，故终端机种信息与固定参数对应。或者，固定参数也可以由终端机种信息和终端资源信息构成。

该第1参数利用参数变换部7变换成第2参数。这里，参数变换部7可以放在便携电话终端5内，也可以放在网络摄像机1内。当参数变换部7放在便携电话终端5内时，参数变换部7包含在参数设定部611中。

再参照图4。当参数变换部7放在便携电话终端5中时，存储在初始设定存储部58中的作为第1参数71的固定参数在参数变换部7中变换成第2参数，然后，向网络摄像机1分发。或者，也可以将作为第2参数72的固定参数预先存储在初始设定存储部58中。这时，不需要变换，将作为第2参数的固定数据发送给网络摄像机1。

当网络摄像机1接收到第2参数时，图像处理部12根据接收的参数执行图像处理，依次将静止图像数据B1、B2、......、BN存储在存储器14中。例如，根据第2参数决定静止图像数据的压缩率、分辨率和数据块大小等。

在网络摄像机1将多个静止图像数据B1、B2、......、BN存储在存储器14的状态下，在便携电话终端5中，图像取得程序61执行图像取得处理。具体地说，首先，执行便携电话终端5和网络摄像机1之间的通信会话的确立处理，接着，在维持该确立的通信会话的期间执行多个静止图像数据的下载。在该实施方式中，通信会话的确立处理是HTTP中的会话确立处理。这时，网络摄像机1中存储的静止图像数据B1、B2、......、BN是根据从便携电话终端5分发来的第2参数生成的数据，所以，便携电话终端5可以顺利地接收并再生静止图像数据。

说明便携电话终端5中的再生处理方法。从网络摄像机1接收的静止图像数据经通信部52的缓冲存储器57存储在存储器54中。图3中的静止图像数据C1、C2、......、CK与静止图像数据B1、B2、......、BN中的任何一个数据对应。即，这里，在网络摄像机1存储的N个静止图像数据B1、B2、......、BN中，在维持已确立的通信会话的期间接收K个静止图像数据C1、C2、......、CK。这里，在网络摄像机1存储的多个静止图像数据中，按照规定的算法决定分发哪一个静止图像数据。例如，可以分发最新的K个静止图像数据。此外，必须使在维持已确立的通信会话的期间分发的静止图像数据的总数据量不超过由通信协议规定的最大通信缓冲区大小。即，这里，必须是不超过HTTP中规定的最大通信缓冲区大小的数据量。

当便携电话终端5接收到静止图像数据C1、C2、......、CK时，按照设定的帧速率依次切换这些静止图像数据C1、C2、......、CK并连续地在显示部56上显示。由此，可以在便携电话终端5再生准活动图像。

另一方面，参数变换部7放在网络摄像机1中时，从便携电话终端5向网络摄像机1发送作为第1参数的固定参数，在网络摄像机1中第1参数变换成第2参数。其后的处理和上述处理相同。根据第2参数生成静止图像数据并存储。

按照这样的方法，便携电话终端5接收根据固定参数决定了属性的图像，并可以将其作为准活动图像再生。而且，通过反复执行这样的处理，可以将在维持各通信会话的期间接收的准活动图像串接起来再进行再生，从整体上看可以连续再生准活动图像。具体地说，在维持第N次通信会话的期间取得多帧图像，从取得的时刻开始，将该多帧图像作为准活动图像再生。接着，确立第N+1次通信会话，在取得新的多帧图像的时刻，将新的多帧图像作为准活动图像再生。通过重复这样的处理，可以连续再生准活动图像。由此，使用在资源上、协议上或最大通信缓冲区大小上受到限制的某便携电话终端5，同时可以在终端上阅览准活动图像。

其次，说明实施方式1的图像分发系统具有的附加功能。如图4所示，图像取得程序61具有作为功能块的外部因素取得部612。外部因素取得部612是在图像数据的通信过程中取得用来动态地修正参数的信息的功能部。

外部因素取得部612例如具有测定当前的通信速度的功能。使用了便携电话的通信，其通信速度因因特网2的负荷状态或便携电话网3的负荷状态而变动。因此，有时根据固定参数决定的图像的属性不是合适的状态。因此，外部因素取得部612向参数设定部611通知参数的修正指示。

参数设定部611从外部因素取得部612接收指示，进行参数的修正，向网络摄像机1发送作为第1参数或第2参数的修正参数。由此，在网络摄像机1中，图像处理部12根据修正参数来执行图像处理。这样一来，即使在通信过程中也可以动态地修正参数，可以顺利地进行图像的分发和图像的再生。

这样，外部因素取得部612除了便携电话终端5本身的能力之外，还与外部变动的环境对应去修正参数。

<实施方式2>

其次，参照图1至图6说明本发明的实施方式2。再有，对于实施方式2，只说明和实施方式1不同的部分。

在实施方式2中，图像取得程序61的部分处理内容和实施方式1不同。图6是表示图像取得程序61的部分处理内容的方框图。图像取得程序61作为与参数设定和发送有关的功能块，包括参数设定部611、外部因素取得部612、终端信息取得部613和附加信息取得部614。这些各功能部611～614是通过利用CPU53、存储器54等硬件资源执行图像取得程序61所实现的一部分功能。

在实施方式1中，便携电话终端5将用来决定接收的图像数据的属性的固定参数存储在初始设定存储部58中，但在实施方式2中，不预先存储固定参数。在实施方式2中，终端信息取得部613和附加信息取得部614根据便携电话终端5现在的状态信息决定参数。

终端信息取得部613在图5所示的第1参数中将终端资源信息作为第1参数确定。例如，将CPU的处理能力或存储器大小作为第1参数生成。

终端附加信息取得部614在图5所示的第1参数中将终端附加信息作为第1参数确定。例如，将前述的位置信息或费用体系信息作为第1参数生成。这里，根据位置信息决定参数的理由是为了与通信速度因便携电话终端5的位置而异的情况对应。此外，根据费用体系信息决定参数的理由是为了考虑用户的负担。例如，若是对数据包通信量无限制的费用体系，则参数值高，进行分发高分辨率图像的设定。另一方面，若是按量的费用体系，则进行费用低的参数设定。

当终端信息取得部613和终端附加信息取得部614生成第1参数时，由参数设定部611向网络摄像机1发送该第1参数。和实施方式1一样，第1参数变换成第2参数之后，向网络摄像机1发送，或者，直接发送第1参数，并在网络摄像机1中变换成第2参数。其后的处理和实施方式1一样。根据由终端信息取得部613和终端附加信息取得部614生成的参数决定图像的属性，在1次通信会话中分发多个静止图像数据，在便携电话终端5再生准活动图像。而且，通过反复执行这样的处理，可以逐次连续再生准活动图像。具体地说，在维持某第N次通信会话的期间取得多帧图像，从取得的时刻开始，将该多帧图像作为准活动图像再生。接着，确立第N+1次通信会话，在取得新的多帧图像的时刻，将新的多帧图像作为准活动图像再生。通过重复这样的处理，可以连续再生准活动图像。

这样，在实施方式2中，不是与固定的参数、而是与便携电话终端5当前的状态信息对应来决定参数。

此外，在实施方式2中，和实施方式1一样，外部因素取得部612根据通信速度等外部因素修正参数。由此，即使在通信过程中，也可以动态修正参数，并维持最佳的再生环境。

其次，说明实施方式2的图像分发系统具有的附加功能。在实施方式2中，说明图像取得程序61根据便携电话终端5当前的状态信息设定参数的情况。基本上，像取得程序61为了对阅览者提供高质量的图像，根据当前的状态信息，在可能的范围内将参数设定的高一些(这里，将高分辨率和高帧速率等能提高图像质量的参数的程度称作参数值高的参数)。换言之，设定能最大限度利用与图像数据的分发有关的环境或与图像数据的再生有关的环境的能力的参数。

但是，当设定这样的参数时，有时因外部环境的变动等原因在初始时刻不能顺利地进行图像的再生。例如，有时，会发生因通信速度降低而使高分辨率图像的分发产生延迟等情况。

因此，当参数设定部611根据当前的状态信息设定参数时，设定稍稍压低一点的参数，不对与图像数据的分发或再生有关的环境加最大的负荷。由此，在开始阅览图像的初始时刻，图像的质量多少有点降低，但不会发生图像再生等待时间等，可以顺利地进行图像的再生。

接着，像这样在初始时刻，在设定压低一点的参数之后，参数设定部611慢慢增大参数值。例如，慢慢提高图像的分辨率，降低图像的压缩率，提高帧速率。这样一来，在初始时刻，重点放在顺利地进行图像的再生而不是提高图像的质量，通过逐渐调整使图像的质量提高，可以调整到最佳图像再生环境。

再有，对实施方式1也可以进行同样的控制。在实施方式1中，是在初始设定存储部58设定固定参数，但也可以是参数设定部611在初始时刻修正固定参数，并设定稍稍压低一点的参数。或者，也可以设定成不使固定参数本身给与环境最大负荷。而且，同样，通过调整成慢慢提高参数值，可以顺利地再生高质量的图像。

<实施方式3>

其次，参照图7、图8及其他附图说明本发明的实施方式3。对于实施方式3，只说明和实施方式1、2不同的部分。

在实施方式1、2中，网络摄像机1分发多帧静止图像数据，便携电话终端5通过连续切换静止图像数据来进行再生，可以再生准活动图像。在实施方式3中，在1次通信会话中，通过分发数据量较少的活动图像数据，在便携电话终端5中再生活动图像数据。

图7是网络摄像机1的功能方框图。与实施方式1、2不同，图像处理部使用由摄像传感器11依次输入的多帧图像数据生成活动图像数据D。生成的活动图像数据D存储在存储器14中。

图8是便携电话终端5的功能方框图。图像取得程序1的处理内容和实施方式1或实施方式2一样。即，和实施方式1一样向网络摄像机1分发固定参数。或者和实施方式2一样，利用终端信息取得部613和附加信息取得部614，与当前的终端状态信息对应决定参数，再向网络摄像机1发送。此外，在既可以将第1参数变换成第2参数再向网络摄像机1发送，又可以直接向网络摄像机1发送第1参数并在网络摄像机1中变换成第2参数等点上也是同样。进而，在利用外部因素取得部612取得外部环境的变动信息并可以修正参数这一点上也相同。

在网络摄像机1中，图像处理部12根据接收的参数决定活动图像数据的属性，根据参数执行图像处理。具体地说，根据包含压缩率、采样率和活动图像大小等的参数生成活动图像数据D。

当便携电话终端5从网络摄像机1下载活动图像数据D时，活动图像数据D暂时存储在缓冲存储器57中，而后再存储到存储器61中。接着，图像取得程序61再生活动图像数据D。重复这样的处理，并在1次通信会话中取得大小较小的活动图像数据，通过连续地进行活动图像数据的再生，可以在便携电话终端5再生活动图像数据。具体地说，在维持某第N次通信会话的期间取得活动图像数据，从取得的时刻开始，将该活动图像数据再生。接着，确立第N+1次通信会话，在取得新的活动图像数据的时刻，将新的活动图像数据再生。通过重复这样的处理，可以连续再生活动图像数据。

再有，在上述实施方式中，对图像取得程序61，将其作为在HTTP上工作的程序进行了说明。但是，本发明的图像取得程序61所工作的协议并不限于此，HTTP仅是1个例子。其他的协议或便携电话载波独自的规格协议当然也可以适用本发明。例如，本发明也可以适用于在KDDI株式会社的便携电话上工作的BREW程序。

此外，在实施方式3中，正如在实施方式2中说明了的那样，参数设定部611在初始时刻设定压低了的参数，不对与图像数据的分发或再生有关的环境加最大的负荷，通过控制成慢慢提高参数值，由此，在图像再生的初始状态，可以确保顺利地再生图像，最终可以顺利地再生高质量的图像。

<附记>

本发明所说的“便携终端”除了便携电话机(便携电话终端)之外，还包含PDA(个人数字助理)等各种各样的便携信息终端。

以上，详细公开并记述了本发明的实施方式，但上面的记述只例示出本发明的可适用的几个方面，本发明并不限于此。即，在不脱离本发明的范围内，可以考虑对上述各方面的内容的各种各样的修正或变形例。

本发明的主题很适合例如利用便携终端阅览由网络摄像机拍摄的图像的情况。

Claims (7)

1.一种图像再生方法，在便携终端中，对从具有网络连接功能和服务器功能的图像摄像装置经网络分发的图像进行再生，其特征在于，包括：

第1工序，在上述便携终端和上述图像摄像装置之间确立通信会话；

第2工序，在维持上述第1工序中确立的通信会话的期间，从上述图像摄像装置向上述便携终端分发多帧静止图像数据；以及

第3工序，连续再生上述便携终端在上述第2工序中接收的多帧静止图像数据，

通过反复进行从上述第1工序到上述第3工序的工序，连续再生图像数据。

2.一种图像再生方法，在便携终端中，对从具有网络连接功能和服务器功能的图像摄像装置经网络分发的图像进行再生，其特征在于，包括：

第1工序，在上述便携终端和上述图像摄像装置之间确立通信会话；

第2工序，在维持上述第1工序中确立的通信会话的期间，从上述图像摄像装置向上述便携终端分发活动图像数据；以及

第3工序，再生上述便携终端在上述第2工序中接收的活动图像数据，

通过反复进行从上述第1工序到上述第3工序的工序，连续再生活动图像数据。

3.权利要求1或权利要求2记载的图像再生方法，其特征在于：

在上述第2工序中分发的图像数据的属性由预先对上述便携终端固定设定的参数决定。

4.权利要求1或权利要求2记载的图像再生方法，其特征在于：

在上述第2工序中分发的图像数据的属性由基于上述便携终端的状态信息的参数决定。

5.权利要求1或权利要求2记载的图像再生方法，其特征在于：

在上述第2工序中分发的图像数据的属性由根据外部因素动态修正的参数决定。

6.权利要求1或权利要求2记载的图像再生方法，其特征在于：

将在上述第2工序中分发的图像数据的属性设定成在初始状态下不对与图像数据的分发和再生有关的环境付与可能的最大负荷。

7.权利要求6记载的图像再生方法，其特征在于：

动态地修正在上述第2工序中分发的图像数据的属性，使得对与图像数据的分发和再生有关的环境逐渐提高负荷。

Images