CN1956458A - 图像发布系统、客户终端和其控制方法 - Google Patents

图像发布系统、客户终端和其控制方法 Download PDF

Info

Publication number
CN1956458A
CN1956458A CNA2006101501296A CN200610150129A CN1956458A CN 1956458 A CN1956458 A CN 1956458A CN A2006101501296 A CNA2006101501296 A CN A2006101501296A CN 200610150129 A CN200610150129 A CN 200610150129A CN 1956458 A CN1956458 A CN 1956458A
Authority
CN
China
Prior art keywords
size
client terminal
view data
server
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006101501296A
Other languages
English (en)
Inventor
岩渕义嗣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN1956458A publication Critical patent/CN1956458A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/001Sharing resources, e.g. processing power or memory, with a connected apparatus or enhancing the capability of the still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0037Topological details of the connection
    • H04N2201/0039Connection via a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0065Converting image data to a format usable by the connected apparatus or vice versa

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Digital Computer Display Output (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种图像发布系统、客户终端和其控制方法。当在客户终端的图像窗口上显示从服务器发布的图像数据的同时,观察者对图像窗口进行尺寸调整时,客户终端通知服务器尺寸调整之后的图像窗口的尺寸。服务器对图像数据进行尺寸调整以使图像具有与窗口的尺寸相同的尺寸,将尺寸调整后的图像数据发送到客户终端。以这种方式,可以消除在客户终端中进行尺寸调整处理的需要,从而减小其负荷。

Description

图像发布系统、客户终端和其控制方法
技术领域
本发明涉及一种从服务器通过网络发布图像数据的图像发布系统、客户终端和其控制方法。
背景技术
近年来,将所拍摄的图像数据从服务器发布到客户终端的图像发布系统已经普及。在这样的系统中,服务器包括例如网络照相机,客户终端包括计算机。这种图像发布系统尤其用于如下目的:通过利用来自布置在多个远程地点的照相机的显示图像的特征来监视特定地点。
在基于图像进行监视时,来自大量的服务器的图像必须同时显示在客户终端的显示器上。因此,分别将来自服务器的图像显示在显示器上缩小的窗口中。如果选择了特定图像,则可以以放大的尺寸显示该图像的窗口。通过放大或缩小显示图像的应用程序的窗口尺寸来改变窗口的尺寸。更具体地,用户经常通过使用鼠标拖动由应用程序显示的窗框将窗口尺寸放大或缩小到希望的尺寸。
另一方面,每一个服务器以预先设定的分辨率向客户终端发送所拍摄的图像数据。可以从市场上得到可以响应客户终端的请求来改变该分辨率的服务器。例如,监视者可以在服务器中选择并设定640×480(像素)和320×240(像素)的分辨率中的一个,可以接收并显示以设定的分辨率发送的图像数据。如果服务器的分辨率是图像数据的最大分辨率的1/2,则可以简单地通过使要采样的像素数减半来改变该分辨率(参见日本特开平11-196379号公报)。
因此,作为由服务器提供的分辨率,将计算机或者图像媒体的例如VGA尺寸(640×480(像素))的标准分辨率设定为最大分辨率。然后,服务器通常提供1/2VGA尺寸的QVGA尺寸(320×240(像素)),1/2QVGA尺寸的QQVGA尺寸(160×120(像素))。然而,也可以采用以下配置。即,预先用高分辨率CCD捕获图像,发送根据任意分辨率的图像区域,或者当使用高速图像处理LSI进行分辨率转换时,可以将要从服务器发送的图像的分辨率改变为规定值之外的任意分辨率。
在客户终端上显示从服务器发布的图像数据时,当客户终端将图像窗口改变为任意尺寸时,客户终端执行用于改变绘制(render)尺寸的尺寸调整处理。例如,在显示从服务器发布的、具有640×480(像素)的分辨率的图像时,在客户终端上缩小显示图像的窗口的尺寸。在这种情况下,客户终端根据缩小的窗口的尺寸执行从640×480(像素)的分辨率到例如500×300(像素)的分辨率的尺寸调整处理。
在客户终端中的该尺寸调整处理中,因为在进行图像显示时执行邻近像素之间的插值处理和重采样处理,所以对客户终端的处理施加了重的负荷。尤其是,当客户终端连接大量的服务器并显示来自服务器的大量的图像时,以及当客户终端同时对这些图片施加尺寸调整处理时,客户终端上的负荷显著增加。该负荷增加导致显示图像时的帧频下降和计算机的处理速度下降。即,不能减小根据监视者所需的各种图像质量或者监视者使用的各种监视设备的操作状态来进行尺寸调整处理的负荷。
在客户终端中通过基于邻近像素的插值处理而进行的放大比例的显示不能根据窗口尺寸得到最佳图像质量。例如,当将显示160×120(像素)的图像数据的图像窗口放大到640×480(像素)时,因为沿垂直和水平方向将调整尺寸前的数据放大了四倍,所以图像质量劣化。
发明内容
本发明的目的是解决上述现有问题。
本发明的特征是提供一种图像发布系统、客户终端和其控制方法,所述图像发布系统可以减小客户终端中的图像尺寸调整处理的负荷。
本发明的特征是提供一种图像发布系统、客户终端和其控制方法,所述图像发布系统可以防止由在客户终端的放大所引起的图像质量劣化。
本发明的特征是提供一种图像发布系统、客户终端和其控制方法,所述图像发布系统允许用户选择与客户终端和服务器的操作状态及系统的操作环境相对应的尺寸调整方法。
根据本发明,提供一种用于从服务器向客户终端发送以预定分辨率捕获的图像数据、在客户终端上显示该图像数据的图像发布系统,其中,
客户终端包括:
通知部件,其用于通知服务器显示图像数据并根据尺寸改变指令改变了尺寸的窗口的尺寸信息;以及
显示控制部件,其用于进行控制以在窗口上显示从服务器接收到的图像数据,
服务器包括:
尺寸调整部件,其用于基于尺寸信息在捕获图像数据时改变分辨率,
其中客户终端的显示控制部件接收由尺寸调整部件进行了尺寸调整后的图像数据,在窗口上显示接收到的图像数据。
此外,根据本发明,提供一种用于从服务器接收以预定分辨率捕获的图像数据、在窗口上显示接收到的图像数据的客户终端,包括:
通知部件,其用于通知服务器显示图像数据并且根据尺寸改变指令改变了尺寸的窗口的尺寸信息;以及
显示控制部件,其用于接收由服务器进行了尺寸调整后的图像数据,在窗口上显示尺寸调整后的图像数据。
此外,根据本发明,提供一种控制图像发布系统的方法,所述图像发布系统用于将以预定的分辨率拍摄的图像数据从服务器发送到客户终端,并在客户终端上显示图像数据,所述方法包括:
输入步骤,输入显示图像数据的窗口的尺寸的改变指令;
通知步骤,通知服务器根据尺寸改变指令改变了尺寸的窗口的尺寸信息;
尺寸调整步骤,基于尺寸信息在捕获图像数据时改变分辨率;以及
显示控制步骤,接收在尺寸调整步骤中进行了尺寸调整后的图像数据,在窗口上显示尺寸调整后的图像数据。
从以下参考附图对典型实施例的说明,本发明的其它特征将更加明显。
附图说明
包含在说明书中、构成说明书的一部分的附图示出本发明的实施例,并且与说明书一起用于说明本发明的原理。
图1是用于说明根据本发明第一实施例的图像发布系统的整体系统配置的框图;
图2A和图2B示出在根据第一实施例的客户终端的显示器上显示的窗口的视图;
图3是用于说明根据本发明第一实施例的客户终端中的处理的流程图;
图4A和图4B示出在根据第二实施例的客户终端的显示器上显示的窗口的视图;
图5是示出根据本发明的第二实施例在根据照相机控制权执行尺寸调整处理时在客户终端中的处理的流程图;
图6A和图6B示出在根据第三实施例的客户终端的显示器上显示的窗口的视图;
图7是示出根据第三实施例在进行图像尺寸调整处理时在客户终端中的处理的流程图;
图8是示出基于使用负荷表所计算的负荷量L来检查客户终端上的负荷的处理的流程图;
图9示出根据第三实施例通过对客户终端上的负荷量进行数值转换所得到的表的例子;
图10是示出在第三实施例的变形例中使用图像帧频作为检查基准的客户终端上的负荷判断处理的流程图;
图11是用于说明根据本发明第四实施例的图像发布系统中的尺寸调整处理的流程图;
图12示出用于说明根据第四实施例的操作模式、窗口尺寸调整状态和尺寸调整处理之间的关系的表的例子;
图13是用于说明根据第五实施例在图像发布系统中放大图像窗口时的尺寸调整处理的流程图;以及
图14示出用于说明根据第五实施例的客户终端的设置项目和尺寸调整处理之间的关系的表的例子。
具体实施方式
现在参考附图详细说明本发明的优选实施例。应当指出,以下实施例不限制在权利要求中所限定的本发明,而且并非实施例中所述的全部特征的组合都是用于实现本发明的目的的必要手段。
第一实施例
下面参考图1~图3详细说明本发明的第一实施例。
图1是用于说明根据本发明第一实施例的图像发布系统的整体系统配置的框图。首先说明该系统的构成组件。
将服务器101配置为用于捕获被摄体图像的网络照相机,通过网络121发布由该照相机捕获的图像。客户终端111是接收并显示从服务器101发送的图像数据的计算机。该服务器101和客户终端111连接到例如LAN、因特网等的网络121。通过将多个服务器122连接到网络121,客户终端111可以在多窗口等上同时显示来自远程地点的多个服务器122的多个图像数据项。通过将多个客户终端124连接到网络121,可以发布图像数据而不限制观看者。管理者客户终端123是服务器101的管理者,其具有可以对网络照相机的云台(panhead)进行平转(pan)和俯仰操作并对照相机进行各种设置的照相机控制权。
下面说明根据本实施例的服务器101。
服务器101包括云台摄像单元102、图像尺寸调整单元103、图像压缩单元104、CPU 105和通信接口(I/F)单元106。云台摄像单元102根据来自管理者客户终端123的控制命令执行云台的平转和俯仰驱动操作。其结果是,云台摄像单元102可以以希望的角度捕获图像。云台摄像单元102从管理者客户终端123通过CPU 105接收这些照相机控制命令。图像尺寸调整单元103捕获图像数据,将捕获的图像数据转换为预先设定的分辨率。即,本实施例的尺寸调整包括用于改变图像数据的分辨率(尺寸)的处理。在本实施例中,从服务器101提供给客户终端的图像的分辨率包括三种不同的分辨率,即,640×480(像素),320×240(像素),以及160×120(像素)。可以根据来自客户终端的命令改变分辨率,图像尺寸调整单元103通过CPU 105接收该改变命令。图像压缩单元104以例如JPEG格式等压缩由图像尺寸调整单元103捕获的三种不同分辨率的图像数据。CPU 105将三种压缩后的数据转换为多个流。通信I/F单元106将这些图像数据发布给连接到网络121的客户终端111和124。
下面说明根据本实施例的客户终端111。应当指出,每一个客户终端124具有相同的配置。
客户终端111包括通信I/F单元112、CPU 113、显示器114和输入单元115。输入单元115是例如鼠标和键盘的输入装置,用于控制应用程序,向服务器101输入并发送控制命令等。通信I/F单元112接收从服务器101发送的三种不同分辨率的图像数据,并将其发送到CPU 113。CPU 113解压缩该客户终端中设定的显示分辨率的图像数据,通过应用软件在显示器114上显示图像。
图2A和图2B说明在根据本实施例的客户终端的显示器114上显示的窗口,示出显示从服务器101发布的图像数据的状态。下面说明图像窗口的尺寸调整。
图2A示出在尺寸调整之前显示器114上的显示内容,附图标记202表示通过应用程序显示的窗口。在该窗口202上,附图标记203表示作为显示图像的区域的图像窗口。在这种情况下,客户终端111接收640×480(像素)分辨率的图像数据。因此,将该图像显示为具有沿水平方向204的640(像素)和沿垂直方向205的480(像素)的尺寸。附图标记206表示俯仰控制条;附图标记207表示平转控制条。通过滑动这些条,可以对服务器101的云台摄像单元102的云台的平转和俯仰角度进行远程控制。使用该控制,客户终端111可以观看以希望的角度对被摄体的图像进行捕获所得到的图像。获得照相机控制权的客户终端可以通过按下控制权按钮208来使用这些照相机控制工具条。
当用户选择该控制权按钮208而其它客户终端没有获得控制权时,使能该按钮,该控制权按钮208用于限制用户以禁止多个客户终端同时操作单个照相机。附图标记209表示拖动区。当用户使用鼠标拖动该区域209时,他或她可以通过应用程序将显示窗口202和图像窗口203的尺寸改变(尺寸调整)为任意尺寸。
图2B示出通过使用光标220拖动鼠标来改变窗口202的尺寸之后显示器114上的显示内容。如附图标记212所示,根据该拖动对图像窗口203进行尺寸调整,以沿水平方向213的512(像素)和沿垂直方向214的384(像素)的减小了的尺寸显示该图像窗口203。
客户终端111上的图像窗口的尺寸调整操作的结果是,必须显示具有与从服务器101发送的图像的分辨率不同的尺寸的图像。由于该原因,在客户终端111上施加重采样处理或者插值处理的负荷。为了减小客户终端111上的该负荷,以与从服务器101接收到的图像的分辨率相同的尺寸显示图像是有效的。为达到这个目的,服务器101必须提供具有与在客户终端111上尺寸调整后的窗口尺寸相对应的分辨率的图像数据。
在第一实施例中,在客户终端中改变要显示的窗口的尺寸的情况下,客户终端将与改变后的显示尺寸有关的信息发送到服务器101。基于该信息,服务器101通过图像尺寸调整单元103将捕获到的图像的分辨率改变为与该显示尺寸相对应的分辨率,将以这种方法改变了分辨率的图像数据发送到客户终端。以这种方式,可以减小客户终端上的尺寸调整处理的负荷。此外,因为摄像侧(服务器)执行图像的尺寸调整,所以可以防止在尺寸调整时图像劣化。
图3是用于说明根据第一实施例在执行尺寸调整处理时客户终端中的处理的流程图。图3示出在执行图2B所示的窗口尺寸调整处理时客户终端的处理。应当指出,将实现该处理的程序存储在CPU 113的存储器113a中,在CPU 113的控制下执行该程序。
在步骤S302中,CPU 113连接服务器101并接收规定分辨率的图像数据。在第一实施例中,CPU 113接收640×480(像素)的分辨率的图像数据。在步骤S303中,CPU 113起动应用程序以原始分辨率(640×480(像素))在图像窗口203上显示图像(图2A)。在步骤S304中,CPU 113判断用户是否对图像窗口进行了尺寸调整。如果用户对图像窗口进行了尺寸调整,则该处理前进到步骤S305,CPU 113通过通信I/F单元112向服务器101发送尺寸调整后的图像窗口212的显示尺寸信息。在第一实施例中,假设尺寸调整后的图像窗口212的尺寸是沿水平方向512(像素)×沿垂直方向384(像素),如图2B所示。
以这种方式,在步骤S305中,客户终端向服务器101发送表示512×384(像素)的显示尺寸信息。基于该接收到的显示尺寸信息,服务器101将摄像尺寸(分辨率)从640×480(像素)改变为512×384(像素),将以该分辨率捕获的图像数据发送到客户终端111。在步骤S306中,客户终端111将接收到的从服务器101发送的图像流作为512×384(像素)的图像数据显示。
如上所述,根据第一实施例,当客户终端上的图像窗口的显示尺寸从例如640×480(像素)改变为512×384(像素)时,客户终端将尺寸调整之后的图像窗口的显示尺寸信息发送到服务器101。基于该信息,服务器101可以以512×384(像素)的分辨率捕获图像,可以将捕获到的图像数据发送到客户终端111。因此,在客户终端上显示图像时,可以消除用于尺寸调整的插值处理和重采样处理的需要,可以减小客户终端上的尺寸调整处理的负荷。
因为客户终端上的图像窗口的尺寸与从服务器101发送的图像数据的分辨率相对应,所以图像质量不会由于显示窗口的尺寸调整而经受任何劣化。
第一实施例以在客户终端拖动鼠标的方法为图像窗口的尺寸调整方法为例进行了说明。然而,本发明不限于此,可以使用各种其它尺寸调整方法。例如,可以使用基于从键盘指定的窗口尺寸的数值的尺寸调整、以及根据将计划事件或者外部传感器事件等作为触发器的事先设置条件的尺寸调整等。
第一实施例说明了减小图像窗口的尺寸的情况。然而,本发明不限于此,可以将其类似地应用于放大图像窗口的尺寸的情况。
第二实施例
下文中参考图4A、图4B和图5详细说明本发明的第二实施例。应当指出,发布系统、服务器(网络照相机)和客户终端的硬件配置与第一实施例的硬件配置相同,省略其说明。
图4A和图4B示出在根据第二实施例的客户终端的显示器114上显示的窗口。图4A和图4B中的每一个同时显示从四个服务器发布的四个地点的图像数据。下面说明图像窗口的尺寸调整。
图4A示出尺寸调整之前在显示器114上的显示状态。附图标记402表示由应用程序显示的窗口。在该窗口402上,附图标记405~408表示分别显示来自四个服务器(未示出)的捕获到的图像的图像窗口。根据第二实施例的客户终端显示从各服务器发布的320×240(像素)的分辨率的图像数据。因此,每一个图像沿水平方向403的尺寸是320(像素),沿垂直方向404的尺寸是240(像素)。假设客户终端获得了例如第三服务器(图像窗口407)的照相机控制权。
附图标记409表示拖动区域。当用户使用鼠标拖动该区域409的框时,用户可以将该窗口402和图像窗口405~408的尺寸改变为任意尺寸。
图4B示出在通过拖动鼠标减小窗口402的尺寸之后在显示器114上的显示内容。根据该操作,对图像窗口405~408进行尺寸调整(减小),将每一个窗口显示为具有沿水平方向412的200(像素)×沿垂直方向413的120(像素)的尺寸。
如上所述,为了减小在客户终端中对图像窗口进行尺寸调整处理的负荷,由服务器101产生并发布与图像窗口的尺寸相对应的分辨率的图像数据是有效的。然而,当多个客户终端从服务器101接收图像而仅一个客户终端有权改变服务器101的摄像分辨率时,引起以下问题。即,在显示来自服务器101的图像的其它客户终端上显示的图像的图像质量改变,其它客户终端的图像窗口的显示尺寸被迫改变。
因此,为了解决这些问题,第二实施例的特征在于:仅响应于获得服务器的照相机控制权的客户终端的请求,进行在对图像窗口进行尺寸调整时在服务器中的尺寸调整处理。即,在对图4A所示的图像窗口进行尺寸调整时,客户终端仅向该客户终端获得了控制权的第三服务器发送尺寸调整命令,该客户终端本身对来自其它服务器的图像执行尺寸调整处理。
应当指出,可以使用粗框向客户终端清楚地表示用于显示经过服务器的尺寸调整处理的图像(即来自该客户终端拥有控制权的服务器的图像)的窗口,如图4B中的附图标记414所示。以这种方式,可以明确显示多个显示窗口中允许服务器进行尺寸调整处理的窗口,从而在例如管理客户终端上的负荷的系统管理等方面提供了便利。
图5是示出根据本发明第二实施例在根据照相机控制权执行尺寸调整处理时客户终端中的处理的流程图。图5说明在执行图4B所示的尺寸调整时客户终端的处理。应当指出,将实现该处理的程序存储在CPU 113的存储器113a中,在CPU 113的控制下执行该程序。
在步骤S502中,CPU 113连接四个服务器,接收规定分辨率的图像数据。在第二实施例中,CPU 113接收从各服务器发布的320×240(像素)的分辨率的图像数据。CPU 113将来自各服务器的图像显示在图像窗口上,该图像窗口具有四个区域,每一个区域具有可以以320×240(像素)的分辨率显示图像的尺寸(图4A)。在步骤S503中,CPU 113判断用户是否对图像窗口进行了尺寸调整。如果用户对图像窗口进行了尺寸调整,则该处理前进到步骤S504来确认客户终端是否获得了与尺寸调整后的图像窗口相对应的服务器(网络照相机)的控制权。如果客户终端获得了该服务器的控制权,则该处理前进到步骤S505,CPU 113将尺寸调整之后的图像窗口的显示尺寸信息发送到客户终端获得了控制权的服务器(网络照相机),即本实施例中的第三服务器(未示出)。
在图4B中,尺寸调整之后的图像窗口的尺寸是沿水平方向的200(像素)×沿垂直方向的120(像素)。因此,CPU 113将表示200×120(像素)的显示尺寸信息发送到第三服务器。第三服务器基于该显示尺寸信息在图像尺寸调整单元103中将摄像尺寸从320×240(像素)改变为200×120(像素),将该图像数据发送到客户终端111。在步骤S506中,客户终端111将接收到的从服务器101发送的图像流作为200×120(像素)的图像数据显示。
另一方面,对来自在步骤S504中客户终端未获得控制权的服务器(网络照相机)的图像,客户终端本身对来自该服务器的图像执行尺寸调整处理,并显示该图像。在第二实施例中,客户终端111对来自第三服务器之外的服务器的图像施加例如采样等的绘制处理,并以缩小比例显示这些图像。
如上所述,根据第二实施例,在客户终端中改变图像窗口的显示尺寸时,只有获得了服务器的控制权的客户终端可以向该服务器请求图像的尺寸调整处理。因此,可以避免多个客户终端同时向单个服务器请求尺寸调整处理的状况。在从客户终端向服务器请求尺寸调整处理时,可以将优先权给予指定的客户终端,即获得服务器的控制权的客户终端。
在客户终端上,因为即使当客户终端显示多个图像窗口时,也可以消除对来自客户终端获得了控制权的服务器的图像进行尺寸调整处理的需要,所以可以减小在客户终端上图像尺寸调整的处理负荷,虽然减小得很少。
第三实施例
下文中参考图6A~图10说明本发明的第三实施例。应当指出,发布系统、服务器(网络照相机)和客户终端的硬件配置与第一实施例的硬件配置相同,省略其说明。
图6A和图6B说明在根据第三实施例的客户终端的显示器114上显示的窗口。在图6A和图6B中,客户终端同时显示从三个服务器(未示出)发布的三种不同分辨率的图像数据。下面说明图像窗口的尺寸调整。
图6A示出尺寸调整之前显示器114上的显示状态。附图标记602表示显示从第一服务器发送的320×240(像素)的分辨率的图像数据的图像窗口。附图标记603表示显示从第二服务器发送的640×480(像素)的分辨率的图像数据的图像窗口。附图标记604表示显示从第三服务器发送的160×120(像素)的分辨率的图像数据的图像窗口。如上所述,通过例如拖动鼠标可以将这些图像窗口尺寸调整为任意尺寸。
图6B示出通过拖动鼠标对每一个图像窗口进行尺寸调整之后显示器114上显示的内容。附图标记605表示在客户终端执行将从第一服务器发送的320×240(像素)的分辨率的图像尺寸调整为280×180(像素)的尺寸的处理之后,显示图像数据的图像窗口。同样地,附图标记606表示在客户终端执行将从第二服务器发送的640×480(像素)的分辨率的图像尺寸调整为600×300(像素)的尺寸的处理之后,显示图像数据的图像窗口。此外,附图标记607表示在客户终端执行将从第三服务器发送的160×120(像素)的分辨率的图像尺寸调整为220×160(像素)的尺寸的处理之后,显示图像数据的图像窗口。
第三实施例的目的是减小由客户终端的这种尺寸调整处理所产生的负荷。然而,对于对尺寸调整处理的负荷具有足够裕量、具有高处理性能的客户终端,不需要考虑减小负荷。因此,基于客户终端中尺寸调整处理的负荷状态来判断服务器是否执行尺寸调整处理,从而执行与客户终端的性能相适合的处理。
图7是示出根据第三实施例在进行图像尺寸调整处理时客户终端中的处理的流程图。在图7中,基于客户终端中的处理的负荷量判断服务器是否执行尺寸调整处理。图7说明在对图6B所示的图像窗口进行尺寸调整时的客户终端的处理。应当指出,将实现该处理的程序存储在CPU 113的存储器113a中,在CPU 113的控制下执行该程序。
在步骤S702中,CPU 113连接三个服务器,接收规定分辨率的图像数据。在第三实施例中,CPU 113从第一服务器接收320×240(像素)的图像数据,从第二服务器接收640×480(像素)的图像数据,从第三服务器接收160×120(像素)的图像数据。然后,CPU 113将来自各服务器的图像显示在具有与各尺寸相对应的尺寸的图像窗口上(图6A)。在步骤S703中,CPU 113判断用户是否对图像窗口进行了尺寸调整。如果用户对窗口进行了尺寸调整,则该处理前进到步骤S704来确认在客户终端中尺寸调整处理的负荷是否具有足够的裕量。如果负荷没有足够的裕量,则该处理前进到步骤S705,CPU 113将图像窗口的显示尺寸信息发送到发送要进行尺寸调整的图像数据的服务器。然后,在步骤S706中,CPU113接收由服务器进行过尺寸调整处理的图像数据,将其显示在尺寸调整后的图像窗口上。在这种情况下,因为客户终端仅向该客户终端获得了控制权的服务器发送尺寸信息以使该服务器执行尺寸调整处理,所以可以使对其它客户终端的影响最小化。
另一方面,如果在步骤S704中判断为客户终端中的尺寸调整处理的负荷具有足够的裕量,则该处理前进到步骤S707,因为不需考虑减小客户终端上的负荷,所以客户终端执行图像的尺寸调整处理并显示尺寸调整后的图像。
下面参考图8~图10说明在客户终端中判断尺寸调整处理的负荷(S704)的方法。
使用客户终端上的负荷量可以实现步骤S704中判断客户终端上的负荷的方法,其基于图像窗口尺寸以及客户终端是否执行尺寸调整处理来进行判断。即,基于随着图像窗口的显示尺寸的增加负荷加重和在客户终端中需要进行尺寸调整处理的显示尺寸中负荷加重的关系来设定判断基准。
图9示出存储根据显示尺寸的客户终端上的负荷量的表的例子。应当指出,在前述存储器113a中存储该表。
附图标记901表示客户终端的图像窗口的显示尺寸D。附图标记902表示在客户终端中进行尺寸调整处理的必要性/非必要性。因为服务器中的显示尺寸(分辨率)是640×480(像素)、320×240(像素)和160×120(像素),所以如果显示尺寸D是这些显示尺寸之一,则消除了在客户终端中进行尺寸调整处理的需要(如“非必要”所示)。附图标记903表示客户终端上的负荷量L。在图9的例子中,当显示尺寸大于640×480(像素)时,因为其是非标准尺寸,所以尺寸调整处理是“必要”,负荷量L取最大值“64”。当显示尺寸等于640×480(像素)时,因为其是标准尺寸,所以尺寸调整处理是“非必要”,负荷量L取上述负荷量的一半“32”。当显示尺寸小于640×480(像素)且大于320×240(像素)时,因为其是非标准尺寸,所以尺寸调整处理是“必要”,负荷量L取大的值“48”。同样地,根据显示尺寸判断尺寸调整处理的“必要性/非必要性”,由此设定负荷量L。
图8是示出根据第三实施例的用于基于使用表设定的负荷量L来判断客户终端上的负荷量的处理的流程图。例如,图8说明在执行图6B所示的尺寸调整时的判断方法。应当指出,将实现该处理的程序存储在CPU 113的存储器113a中,在CPU 113的控制下执行该程序。
在步骤S802中,CPU 113确定阈值X,该阈值X用于判断对参考图9所示的表得到的负荷量L是否存在裕量。基于例如客户终端的处理性能确定该阈值X。例如,因为包括高速CPU、图形卡等的客户终端对于尺寸调整处理具有高性能,所以可以设定大的阈值X。例如在第三实施例中,设定阈值X=50。
在步骤S803中,CPU 113计算尺寸调整前的负荷量L1。在第三实施例的图6A中,客户终端显示具有三种尺寸,即320×240(像素)、640×480(像素)和160×120(像素)的图像窗口。因为这些尺寸是服务器的规定显示尺寸,所以不需要在客户终端上进行尺寸调整处理。因此,基于图9所示的表计算的负荷量L1是8+32+2=42。在步骤S804中,CPU 113将该负荷量L1与在步骤S802中设定的阈值X进行比较。因为X(=50)>L1(=42),所以判断为客户终端的处理具有足够的裕量,该处理前进到步骤S805,从而在客户终端中执行尺寸调整处理。
在步骤S805中,CPU 113计算尺寸调整处理后的负荷量L2。在第三实施例的图6B中,客户终端显示尺寸调整处理后的280×180(像素)、600×300(像素)和220×160(像素)的图像窗口。这些尺寸都不对应于服务器的规定分辨率。因此,需要在客户终端进行尺寸调整处理。在这种情况下,基于图9中的表确定的负荷量L2是12+48+12=72。在步骤S806中,CPU 113将该负荷量L2(72)与在步骤S802中设定的阈值X进行比较。在这种情况下,因为X(=50)<L2(=72),所以判断为客户终端中的尺寸调整处理没有足够的裕量。在这种情况下,CPU 113将窗口的显示尺寸信息通知给服务器,向服务器发出尺寸调整请求。
另一方面,如果在步骤S806中负荷量L2小于阈值X,则判断为该客户终端中的尺寸调整处理具有足够的裕量,因此由该客户终端执行尺寸调整处理。
在图8所示的流程图中,说明了计算并判断负荷量L作为客户终端负荷的判断方法的情况。然而,作为另一个简单的判断方法,可以采用使用图像帧频的方法。
图10是用于说明根据本发明第三实施例的变形例将图像帧频作为判断基准的客户终端的负荷判断处理的流程图。应当指出,将实现该处理的程序存储在CPU 113的存储器133a中,在CPU113的控制下执行该程序。
参考图10,在步骤S102中,CPU 113检测尺寸调整前的帧频值(F1)。例如,当具有高处理性能的客户终端接收NTSC格式的图像时,F1=30[帧/秒]。在步骤S103中,CPU 113检测图像窗口尺寸调整后的帧频值(F2)。在步骤S104中,CPU 113将图像窗口尺寸调整前、后的帧频值进行比较。如果F1=F2,则判断为客户终端的处理具有足够的裕量。
另一方面,在步骤S104中如果F1>F2,则因为客户终端的尺寸调整处理的负荷加重,图像数据的解码性能和绘制性能已达到极限,所以可能出现帧频下降。因此,在这种情况下,CPU 113判断为客户终端的处理没有足够的裕量,CPU 113将显示尺寸信息通知给服务器,向服务器发出尺寸调整请求。
如上所述,根据第三实施例,当在客户终端上改变图像窗口的显示尺寸时客户终端的处理的负荷加重时,在服务器101中执行尺寸调整处理。以这种方式,可以根据客户终端的处理性能适当执行尺寸调整处理。
在第三实施例中,以基于图像窗口的尺寸的负荷量L和帧频值F为例说明了客户终端上的负荷判断基准。然而,本发明不限于此。例如,可以将客户终端的CPU 113的使用率是否达到几乎100%用作判断基准。因此,本发明可以应用到客户终端的各种其它负荷判断方法。
第四实施例
图11是用于说明根据本发明第四实施例在图像发布系统中执行尺寸调整处理的处理的流程图。该实施例说明在关于图像质量可以选择面向图像质量的模式和面向动作的模式两种模式的系统中进行如图2B所示的窗口尺寸调整时客户终端的处理。应当指出,将实现该处理的程序和操作模式的设置状态存储在CPU 113的存储器113a中,在CPU 113的控制下执行该程序。此外,因为根据第四实施例的系统和设备配置与上述第一实施例的配置相同,所以省略其说明。
在步骤S110中,CPU 113提示用户选择面向图像质量的模式和面向动作的模式中的一个,设定所选择的模式。该处理前进到步骤S111,CPU 113通过网络121连接服务器101以接收并显示规定分辨率的图像数据。在第四实施例中,假设客户终端接收并显示例如640×480(像素)的分辨率的图像数据(图2A)。然后,该处理前进到步骤S112,判断用户是否对图像窗口进行了尺寸调整,如上使用图2B所述。如果判断为用户对窗口进行了尺寸调整,则该处理前进到步骤S113,判断用户是缩小还是放大图像窗口。
如果判断为用户缩小了图像窗口,则该处理前进到步骤S114,识别在步骤S110中设定的操作模式。如果设定了面向动作的模式,则该处理前进到步骤S116,CPU 113通过通信I/F单元112向服务器101发送尺寸调整后的图像窗口212的显示尺寸信息。在第四实施例中,假设尺寸调整后的窗口尺寸是沿水平方向的512(像素)×沿垂直方向的384(像素),如上述图2B所示。在这种情况下,在步骤S116中,CPU 113向服务器101发送表示512×384(像素)的显示尺寸信息。以这种方式,服务器101基于接收到的尺寸信息将摄像尺寸(分辨率)从640×480(像素)改变为512×384(像素),将该图像数据发送到客户终端111。在步骤S117中,客户终端111将接收到的从服务器101发送的图像流作为512×384(像素)的图像数据显示。
另一方面,如果在步骤S114中判断为操作模式是面向图像质量的模式,则该处理前进到步骤S118。在步骤S118中,客户终端111通过重采样处理将640×480(像素)的数据尺寸调整为512×384(像素)的数据,显示尺寸调整后的数据。
如果在步骤S113中用户将图像窗口从640×480(像素)放大到例如700×500(像素),则该处理前进到步骤S115,判断设定的操作模式。如果操作模式是面向动作的模式,则该处理前进到步骤S118。在步骤S118中,客户终端111通过插值处理将640×480(像素)的数据尺寸调整为700×500(像素)的数据,显示尺寸调整后的数据。另一方面,在步骤S115中,如果操作模式是面向图像质量的模式,则像上述情况一样,该处理前进到步骤S116,CPU 113向服务器101发送表示700×500(像素)的显示尺寸信息。以这种方式,在步骤S117中,客户终端111接收并显示在服务器101中经过了尺寸调整处理的700×500(像素)的图像数据。
如上所述,根据第四实施例,可以根据客户终端的操作模式和窗口的尺寸调整操作来选择并判断是由服务器还是由客户终端执行尺寸调整处理。
图12示出根据第四实施例的操作模式、窗口尺寸调整状态和尺寸调整处理之间的关系的例子。
在这种情况下,可以根据客户终端的操作模式1201和图像窗口的尺寸调整状态1202四个不同的条件选择由附图标记1203表示的由服务器还是由客户终端来执行尺寸调整处理。在图12所示的四个不同的条件下,根据以下理由进行尺寸调整处理。下面说明图12所示的各情况1210~1213。
(1)情况1210:在面向图像质量的模式下放大窗口时,必须根据放大的窗口尺寸增大图像数据的分辨率来保证高的图像质量。因此,服务器执行尺寸调整处理。
(2)情况1211:在面向图像质量的模式下缩小窗口时,因为图像数据的分辨率等于或大于缩小后的窗口尺寸,所以可以仅通过由客户终端进行重采样来保证图像质量。因此,客户终端执行尺寸调整处理。
(3)情况1212:在面向动作的模式下放大窗口时,不必增大数据尺寸以防止由线路传输容量的限制而导致的帧频下降。因此,客户终端执行尺寸调整处理。
(4)情况1213:在面向动作的模式下缩小窗口时,通过设定与缩小后的窗口尺寸的分辨率相同的分辨率来缩小数据尺寸,从而保证帧频。因此,服务器执行尺寸调整处理。
应当指出,第四实施例举例说明了作为操作模式的条件的面向图像质量的模式和面向动作的模式与窗口的放大和缩小的组合。然而,本发明不限于此。例如,可以由例如作为触发器的计划事件或者外部传感器事件来判断由客户终端还是由服务器执行尺寸调整处理。
第五实施例
下文中参考图13和图14说明本发明的第五实施例。因为根据第五实施例的系统和设备配置与上述实施例的配置相同,所以省略其说明。
如以上实施例所述,在预定条件下改变要在客户终端111上显示的窗口的尺寸时,客户终端111向服务器101发送与改变的显示尺寸有关的信息。基于该信息,服务器101改变将由图像尺寸调整单元103捕获的图像的分辨率以具有根据显示尺寸的分辨率,将改变了分辨率的图像数据发送到客户终端111。以这种方式,可以减小客户终端111上的尺寸调整处理的负荷。
另一方面,在根据窗口尺寸在服务器101中进行尺寸调整处理后,图像数据量改变。如果图像数据量增大,则其可能超过取决于所涉及的网络的线路的允许数据量,或者其可能占用线路的大部分允许数据量。为了解决该问题,在客户终端111上改变窗口尺寸时,根据使用的线路传输容量和线路质量来选择由客户终端111还是由服务器101执行尺寸调整处理,从而使得尺寸调整处理适合于系统环境。
图13是用于说明根据第五实施例在图像发布系统中放大图像窗口时的尺寸调整处理的流程图。应当指出,将实现该处理的程序和操作模式的设置状态存储在CPU 113的存储器113a中,在CPU 113的控制下执行该程序。此外,因为根据第五实施例的系统和设备配置与上述第一实施例的配置相同,所以省略其说明。以下对可以选择包括FTTH连接即大容量线路,和PPP连接即小容量线路作为线路类型的两种线路的系统进行说明。
在步骤S130中,用户选择并设定FTTH连接和PPP连接中的一个。在步骤S131中,CPU 113通过网络121连接服务器101,接收并显示规定分辨率的图像数据。在第五实施例中,假设客户终端接收并显示例如640×480(像素)的分辨率的图像数据(图2A)。然后,该处理前进到步骤S132,判断用户是否放大客户终端111上的图像窗口。如果用户放大窗口,则该处理前进到步骤S133,判断设定的线路类型。如果设定了FTTH连接即大容量线路,则该处理前进到步骤S134,CPU 113通过通信I/F单元112向服务器101发送放大后的图像窗口的显示尺寸信息。
在第五实施例中,假设尺寸调整之后的窗口尺寸是例如沿水平方向的1920(像素)×沿垂直方向的1080(像素)。
以这种方式,在步骤S134中,CPU 113向服务器101发送表示1920×1080(像素)的显示尺寸信息。基于接收到的显示尺寸信息,服务器101将摄像尺寸(分辨率)从640×480(像素)改变到1920×1080(像素),将利用改变后的尺寸捕获的图像数据发送到客户终端111。然后,该处理前进到步骤S135,客户终端111将接收到的从服务器101发送的图像流作为1920×1080(像素)的图像数据显示。
另一方面,在步骤S 133中,如果线路类型是PPP连接即小容量线路,则该处理前进到步骤S 136。在步骤S 136中,客户终端111通过插值处理将640×480(像素)的数据尺寸调整为1920×1080(像素)的数据,显示尺寸调整后的数据。
如上所述,根据第五实施例,在小容量线路的情况下放大窗口时,客户终端执行尺寸调整处理以防止通过该线路发送的图像数据量增大。以这种方式,根据线路传输容量可以进行适当的尺寸调整处理。
应当指出,第五实施例以线路类型为例说明了客户终端的设置项目。然而,本发明不限于此。
图14示出客户终端的设置项目和尺寸调整处理之间的关系的例子。
在上述第五实施例中,根据线路状况1401判断由客户终端111还是由服务器101执行尺寸调整处理。与线路状况1401类似,可以根据以下状况判断是由客户终端111还是由服务器101执行尺寸调整处理。
(1)“性能”1402是与客户终端111的操作性能有关的项目例子。当客户终端111在节能模式下时,服务器101执行尺寸调整处理以减小客户终端111中的尺寸调整处理的负荷。
(2)“机型”1403是与客户终端111的机型有关的项目例子。当客户终端111是蜂窝式电话时,因为其处理性能低,所以服务器101执行尺寸调整处理。
(3)“功能”1404是与客户终端111的应用功能有关的项目例子。当客户终端111正在记录图像时,因为客户终端111上的负荷变重,所以服务器101执行尺寸调整处理。
(4)“质量”1405是与要在客户终端111上显示的图像的质量有关的项目例子。当客户终端111需要高质量图像时,因为需要具有与图像窗口的分辨率相同的分辨率的图像,所以服务器101执行尺寸调整处理。
监视者可以设定的条件和监视系统的环境条件不限于这种具体的条件。可以由作为触发器的计划事件或者外部传感器事件来判断是由客户终端还是由服务器执行尺寸调整处理。以这种方式,可以将本发明的例子应用到各种其它条件。监视系统具有各种环境条件,可以根据这些条件来判断在哪里执行尺寸调整处理。
其它实施例
对本发明的优选实施例进行了说明,可以将本发明应用到由多个装置构成的图像发布系统或者由单个设备构成的图像发布设备。
应当指出,可以通过向系统或设备直接或远程地提供实现上述实施例的功能的程序、由该系统或设备的计算机读出并执行所提供的程序代码来实现本发明。在上述实施例中,这样的程序对应于图3、图5、图7~8、图10~11及图13所示的流程图。在这种情况下,只要具有程序功能,不特别限定程序的形式。因此,安装在计算机中、使用计算机来实现本发明的功能处理的程序代码本身实现本发明。在这种情况下,不特别限定程序的形式,只要具有该程序的功能,可以使用目标代码、要由解释程序执行的程序、向OS提供的脚本数据等。
可以使用各种用于提供程序的记录介质。例如,可以使用软盘(floppy(R)disk)、硬盘、光盘、磁光盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM、DVD(DVD-ROM、DVD-R)等。
作为另一种程序提供方法,可以通过使用客户计算机上的浏览器与因特网上的主页建立连接、从主页将程序下载到例如硬盘等的记录介质上来提供程序。在这种情况下,要下载的程序包括本发明的计算机程序本身或者包括自动安装功能的压缩文件。此外,可以将形成本发明的程序的程序代码分割为多个文件,从不同的主页下载。即,本发明的权利要求包括使多个用户下载由计算机实现本发明的功能处理所需的程序文件的WWW服务器。
此外,可以向用户分发存储有本发明的加密程序的例如CD-ROM等的存储介质。在这种情况下,可以允许满足预定条件的用户通过因特网从主页下载用于解密加密程序的密钥信息,可以将使用该密钥信息加密的程序以可执行的形式安装在计算机中。
可以以通过由计算机执行读出的程序代码实现前述实施例的功能的模式之外的模式实现本发明。例如,还可以通过根据程序的指令由在计算机上运行的OS等执行的部分或者全部实际处理操作来实现前述实施例的功能。
此外,可以将从记录介质读出的程序写入插入或连接到计算机的扩展板或者功能扩展单元的存储器中。在这种情况下,通过由设置在功能扩展板或者单元中的CPU等执行的部分或全部实际处理实现前述实施例的功能。
如上所述,根据上述实施例,可以减小客户终端中的尺寸调整处理的负荷。
此外,还可以防止由于客户终端的尺寸调整指令引起的图像质量劣化。
通过限制被允许在服务器中请求尺寸调整处理的客户终端,可以避免同时从多个客户终端向服务器发出请求。
因为根据客户终端中的尺寸调整处理的负荷量来判断在服务器中进行尺寸调整处理的必要性/非必要性,所以可以减小服务器中尺寸调整处理的负荷,可以适当地发布系统负荷。
虽然参考典型实施例说明了本发明,但是应当理解,本发明不限于公开的典型实施例。所附权利要求的范围符合最宽的解释以覆盖全部这样的变形与等同结构和功能。

Claims (25)

1.一种图像发布系统,其用于将以预定分辨率拍摄的图像数据从服务器发送到客户终端,并在所述客户终端上显示所述图像数据,其中,
所述客户终端包括:
通知部件,其用于将显示所述图像数据并根据尺寸改变指令改变了尺寸的窗口的尺寸信息通知给所述服务器;以及
显示控制部件,其用于进行控制以在所述窗口上显示从所述服务器接收到的所述图像数据,
所述服务器包括:
尺寸调整部件,其用于基于所述尺寸信息改变在拍摄所述图像数据时的分辨率,
所述客户终端的所述显示控制部件接收由所述尺寸调整部件进行了尺寸调整的图像数据并将接收到的图像数据显示在所述窗口上。
2.根据权利要求1所述的图像发布系统,其特征在于,所述通知部件将具有所述服务器的控制权的客户终端中的所述改变后的窗口的尺寸信息通知给所述服务器。
3.根据权利要求1所述的图像发布系统,其特征在于,所述客户终端还包括:
第二尺寸调整部件,其用于基于显示所述图像数据并根据所述尺寸改变指令改变了尺寸的窗口的尺寸来在所述客户终端中改变所述图像数据的显示尺寸;
判断部件,其用于基于所述客户终端中的处理的负荷状态来判断是否请求所述服务器根据所述尺寸改变指令执行所述图像数据的尺寸调整处理;以及
用于在所述判断部件判断为不请求所述服务器执行尺寸调整处理的情况下,控制所述第二尺寸调整部件对所述图像数据进行尺寸调整的部件;
其中,在所述判断部件判断为请求所述服务器执行尺寸调整处理的情况下,所述通知部件将根据所述尺寸改变指令改变了的窗口的尺寸信息通知给所述服务器,所述显示控制部件在所述窗口上显示由所述服务器进行了尺寸调整的图像数据和由所述第二尺寸调整部件进行了尺寸调整的图像数据中的一个。
4.根据权利要求3所述的图像发布系统,其特征在于,所述客户终端还包括计算部件,所述计算部件用于基于所述窗口的尺寸和所述图像数据的分辨率来计算所述负荷状态。
5.根据权利要求3所述的图像发布系统,其特征在于,所述客户终端还包括计算部件,所述计算部件用于基于所述改变指令前、后的帧频计算所述负荷状态。
6.根据权利要求3所述的图像发布系统,其特征在于,所述客户终端还包括:
设置部件,其用于设定接收所述图像数据的所述客户终端的操作条件和所述系统所特有的环境条件中的至少一个,所述环境条件与所述客户终端、包括所述服务器的通信设备和所述系统的通信线路有关,
其中,所述判断部件基于由所述设置部件设定的条件来判断是否请求所述服务器执行对应于所述尺寸改变指令的图像数据的尺寸调整处理。
7.根据权利要求6所述的图像发布系统,其特征在于,所述操作条件与在所述客户终端中显示所述图像数据时的图像质量有关。
8.根据权利要求6所述的图像发布系统,其特征在于,所述操作条件与在所述客户终端中显示所述图像数据时的图像帧频有关。
9.根据权利要求6所述的图像发布系统,其特征在于,所述操作条件与在所述客户终端或所述服务器的存储介质上的图像数据的记录有关。
10.根据权利要求6所述的图像发布系统,其特征在于,所述操作条件与形成所述客户终端的通信设备的功耗有关。
11.根据权利要求6所述的图像发布系统,其特征在于,所述环境条件与连接所述客户终端和所述服务器的通信线路的传输容量和传输质量有关。
12.根据权利要求6所述的图像发布系统,其特征在于,所述环境条件与构成所述客户终端或所述服务器的通信设备的性能有关。
13.根据权利要求1所述的图像发布系统,其特征在于,所述客户终端还包括:
第二尺寸调整部件,其用于基于根据所述尺寸改变指令改变了的所述窗口的尺寸来改变所述图像数据的显示尺寸;
判断部件,其用于基于所述窗口的尺寸是放大还是缩小来判断是否使所述服务器根据所述尺寸改变指令执行所述图像数据的尺寸调整处理;以及
用于在所述判断部件判断为所述服务器不执行尺寸调整处理的情况下,使所述第二尺寸调整部件对图像数据执行尺寸调整的部件,
其中,在所述判断部件判断为使所述服务器执行尺寸调整处理的情况下,所述通知部件将根据所述尺寸改变指令改变了的所述窗口的尺寸信息通知给所述服务器,以及
所述显示控制部件进行控制以在所述窗口上显示从所述服务器接收的图像数据或者由所述第二尺寸调整部件进行了尺寸调整的图像数据。
14.一种客户终端,其用于从服务器接收以预定分辨率拍摄的图像数据,并在窗口上显示接收到的图像数据,包括:
通知部件,其用于将显示所述图像数据并根据尺寸改变指令改变了尺寸的窗口的尺寸信息通知给所述服务器;以及
显示控制部件,其用于接收由所述服务器进行了尺寸调整的图像数据,并在所述窗口上显示尺寸调整后的图像数据。
15.根据权利要求14所述的客户终端,其特征在于,在所述客户终端具有所述服务器的控制权的情况下,所述通知部件将所述改变后的窗口的显示尺寸信息通知给所述服务器。
16.根据权利要求14所述的客户终端,其特征在于,还包括:
第二尺寸调整部件,其用于基于根据所述尺寸改变指令改变了的所述窗口的尺寸,在所述客户终端中改变所述图像数据的显示尺寸;
判断部件,其用于根据处理的负荷状态来判断是否请求所述服务器执行对应于所述尺寸改变指令的所述图像数据的尺寸调整处理;以及
其用于在所述判断部件判断为不请求所述服务器执行尺寸调整处理的情况下,控制所述第二尺寸调整部件对所述图像数据进行尺寸调整的部件,
其中,在所述判断部件判断为请求所述服务器执行尺寸调整处理的情况下,所述通给部件将根据所述尺寸改变指令改变了的所述窗口的显示尺寸信息通知给所述服务器,以及
所述显示控制部件在所述窗口上显示由所述服务器进行了尺寸调整的图像数据或由所述第二尺寸调整部件进行了尺寸调整的图像数据中的一个。
17.根据权利要求16所述的客户终端,其特征在于,还包括计算部件,其用于基于所述窗口的尺寸和所述图像数据的分辨率来计算所述负荷状态。
18.根据权利要求16所述的客户终端,其特征在于,还包括计算部件,其用于基于所述尺寸改变指令前、后的帧频计算所述负荷状态。
19.一种控制图像发布系统的方法,所述图像发布系统用于将以预定的分辨率拍摄的图像数据从服务器发送到客户终端,并在所述客户终端上显示所述图像数据,所述方法包括:
输入步骤,其输入显示所述图像数据的窗口的尺寸的改变指令;
通知步骤,其将根据尺寸改变指令改变了尺寸的所述窗口的尺寸信息通知给所述服务器;
尺寸调整步骤,其基于所述尺寸信息改变拍摄所述图像数据时的分辨率;以及
显示控制步骤,其接收在所述尺寸调整步骤中进行了尺寸调整的图像数据,并在所述窗口上显示尺寸调整后的图像数据。
20.根据权利要求19所述的控制图像发布系统的方法,其特征在于,在所述通知步骤中,具有所述服务器的控制权的所述客户终端将所述改变后的窗口的尺寸信息通知给所述服务器。
21.根据权利要求20所述的控制图像发布系统的方法,其特征在于,还包括:
第二尺寸调整步骤,其基于根据所述尺寸改变指令改变了的所述窗口的尺寸在所述客户终端中改变所述图像数据的显示尺寸;
判断步骤,其根据所述客户终端中的处理的负荷状态来判断是否请求所述服务器执行对应于所述尺寸改变指令的所述图像数据的尺寸调整处理;以及
控制步骤,在所述判断步骤判断为不请求所述服务器执行尺寸调整处理的情况下,控制所述第二尺寸调整步骤对所述图像数据进行尺寸调整,
其中,在所述判断步骤判断为请求所述服务器执行所述尺寸调整处理的情况下,所述通知步骤将根据所述尺寸改变指令改变了的所述窗口的尺寸信息通知给所述服务器;以及
在所述显示控制步骤中,在所述窗口上显示由所述服务器进行了尺寸调整的图像数据或者在所述第二尺寸调整步骤中进行了尺寸调整的图像数据。
22.根据权利要求21所述的控制图像发布系统的方法,其特征在于,还包括计算步骤,其基于所述窗口的尺寸和所述图像数据的分辨率计算所述客户终端的负荷状态。
23.根据权利要求22所述的控制图像发布系统的方法,其特征在于,还包括计算步骤,其基于所述尺寸改变指令前、后的帧频计算所述客户终端的负荷状态。
24.根据权利要求19所述的控制图像发布系统的方法,其特征在于,还包括:
第二尺寸调整步骤,其基于根据所述尺寸改变指令改变了的窗口的尺寸,在所述客户终端中改变所述图像数据的显示尺寸;
设置步骤,其设置接收所述图像数据的所述客户终端的操作条件和所述系统所特有的环境条件中的至少一个,所述环境条件与所述客户终端、包括所述服务器的通信设备和所述系统的通信线路有关,
其中,所述判断步骤基于在所述设置步骤中设定的所述条件来判断是请求所述服务器执行对应于所述尺寸改变指令的图像数据的尺寸调整处理,还是使所述客户终端在所述第二尺寸调整步骤中执行尺寸调整处理。
25.根据权利要求19所述的控制图像发布系统的方法,其特征在于,还包括:
第二尺寸调整步骤,其基于根据所述尺寸改变指令改变了的窗口的尺寸,在所述客户终端中改变所述图像数据的分辨率;
判断步骤,其根据在所述输入步骤中放大还是缩小窗口的尺寸来判断是否请求所述服务器执行对应于所述尺寸改变指令的图像数据的尺寸调整处理;以及
控制步骤,在所述判断步骤判断为不请求所述服务器执行尺寸调整处理的情况下,控制所述第二尺寸调整步骤对图像数据进行尺寸调整,
其中,在所述判断步骤判断为请求所述服务器执行尺寸调整处理的情况下,所述通知步骤将根据所述尺寸改变指令改变了的所述窗口的尺寸信息通知给所述服务器,以及
在所述显示控制步骤中,在所述窗口上显示由所述服务器进行了尺寸调整的图像数据或者在所述第二尺寸调整步骤中进行了尺寸调整的图像数据。
CNA2006101501296A 2005-10-28 2006-10-27 图像发布系统、客户终端和其控制方法 Pending CN1956458A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005314844 2005-10-28
JP2005314844 2005-10-28
JP2006220639A JP4926601B2 (ja) 2005-10-28 2006-08-11 映像配信システム、クライアント端末及びその制御方法
JP2006220639 2006-08-11

Publications (1)

Publication Number Publication Date
CN1956458A true CN1956458A (zh) 2007-05-02

Family

ID=38211878

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006101501296A Pending CN1956458A (zh) 2005-10-28 2006-10-27 图像发布系统、客户终端和其控制方法

Country Status (5)

Country Link
US (1) US7788596B2 (zh)
JP (1) JP4926601B2 (zh)
KR (1) KR100814724B1 (zh)
CN (1) CN1956458A (zh)
RU (1) RU2351093C2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848382A (zh) * 2010-05-31 2010-09-29 深圳市景阳科技股份有限公司 一种视频流图像分辨率和码流的调整方法及系统
CN102073491A (zh) * 2009-11-10 2011-05-25 联想(新加坡)私人有限公司 多模式用户界面
CN102595093A (zh) * 2011-01-05 2012-07-18 腾讯科技(深圳)有限公司 动态更改视频编码的视频通信方法及系统
CN102695092A (zh) * 2012-05-25 2012-09-26 四川长虹电器股份有限公司 一种提升iptv电视画质的方法
CN105183308A (zh) * 2015-07-27 2015-12-23 努比亚技术有限公司 图片显示方法及装置
CN105302864A (zh) * 2015-09-22 2016-02-03 努比亚技术有限公司 根据屏幕分辨率加载图片的装置和方法
CN105678679A (zh) * 2015-12-31 2016-06-15 公安部第三研究所 大规模图片集合快速预览的系统及方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4191672B2 (ja) * 2004-12-14 2008-12-03 ザイオソフト株式会社 ボリュームレンダリング等の画像処理システム
KR101346301B1 (ko) * 2006-03-15 2014-02-05 구글 인코포레이티드 리사이즈된 이미지의 자동 표시
EP1914640B1 (en) * 2006-08-23 2011-10-05 Hewlett-Packard Development Company, L.P. Multiple screen size render-engine
US9509618B2 (en) 2007-03-13 2016-11-29 Skype Method of transmitting data in a communication system
GB0704834D0 (en) * 2007-03-13 2007-04-18 Skype Ltd Method of transmitting data in a communication system
KR20080114496A (ko) * 2007-06-26 2008-12-31 삼성전자주식회사 레이저 콘텐츠를 이용하여 장면을 구성하는 방법 및 장치
JP4794581B2 (ja) * 2008-01-08 2011-10-19 株式会社エヌ・ティ・ティ・ドコモ 情報処理装置およびプログラム
JP5448344B2 (ja) * 2008-01-08 2014-03-19 株式会社Nttドコモ 情報処理装置およびプログラム
KR100954303B1 (ko) * 2008-01-22 2010-04-21 갤럭시아커뮤니케이션즈 주식회사 영상의 공간 해상도 제어 시스템 및 이를 이용한 영상 전송제어 방법
JP2010108372A (ja) * 2008-10-31 2010-05-13 Toshiba Corp 映像表示装置、映像表示方法および映像システム
US8584132B2 (en) * 2008-12-12 2013-11-12 Microsoft Corporation Ultra-wideband radio controller driver (URCD)-PAL interface
US20110035254A1 (en) * 2009-08-04 2011-02-10 Yahoo! Inc. User interaction layer
CN101996206B (zh) 2009-08-11 2013-07-03 阿里巴巴集团控股有限公司 一种呈现网页页面的方法、装置及系统
KR101278351B1 (ko) * 2009-12-15 2013-07-05 한국전자통신연구원 Dpi 기능을 이용한 끊김 없는 맞춤형 서비스 제공 시스템 및 방법
EP2529333A4 (en) 2010-01-28 2013-10-23 Pathway Innovations And Technologies Inc DOCUMENT IMAGING SYSTEM WITH A CAMERA SCANNER DEVICE AND A PC-BASED PROCESSING SOFTWARE
US9465572B2 (en) * 2011-11-09 2016-10-11 Microsoft Technology Licensing, Llc Dynamic server-side image sizing for fidelity improvements
US8854397B2 (en) * 2011-12-13 2014-10-07 Facebook, Inc. Photo selection for mobile devices
US8902325B2 (en) * 2012-10-19 2014-12-02 Facebook, Inc. Camera preview via video tag
CN103281510A (zh) * 2012-11-06 2013-09-04 王彤 将数码成像装置的数码图像传输至主机的方法
US9973729B2 (en) * 2012-12-31 2018-05-15 T-Mobile Usa, Inc. Display and service adjustments to enable multi-tasking during a video call
JP2014183488A (ja) * 2013-03-19 2014-09-29 Enwa Co Ltd ストリーミング受信装置
CN103414867B (zh) * 2013-07-19 2016-08-24 华为技术有限公司 多媒体通话控制方法、终端及系统
JP6431257B2 (ja) * 2013-10-21 2018-11-28 キヤノン株式会社 ネットワークシステム及びネットワークデバイスの管理方法、ネットワークデバイスおよびその制御方法とプログラム、管理システム
JP6371511B2 (ja) 2013-10-22 2018-08-08 キヤノン株式会社 ネットワークシステムおよびデバイス管理方法
KR102173107B1 (ko) 2013-12-11 2020-11-02 삼성전자주식회사 클라우드 서버 기반 영상 처리 방법, 단말 및 시스템
WO2015108243A1 (ko) * 2014-01-20 2015-07-23 주식회사 웰시스템 (영업소) 물체 인식을 이용한 콘텐츠 제공 시스템, 방법 및 그 응용
KR101892286B1 (ko) * 2014-01-20 2018-08-27 주식회사 웰시스템코리아 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법
KR102105961B1 (ko) * 2014-05-13 2020-05-28 엘지전자 주식회사 이동단말기 및 그 제어방법
US9736426B2 (en) 2014-06-05 2017-08-15 Empire Technology Development Llc Data interpolation
CN105338377A (zh) * 2014-07-24 2016-02-17 阿里巴巴集团控股有限公司 图像处理方法及图像服务器
CN105450837A (zh) * 2014-08-29 2016-03-30 阿里巴巴集团控股有限公司 终端设备适配显示cdn图片的方法及装置
JP2016092435A (ja) * 2014-10-29 2016-05-23 株式会社東芝 電子機器、映像共有方法及びプログラム
CN104407788B (zh) * 2014-10-29 2017-06-16 小米科技有限责任公司 图像删除方法及装置
JP6756269B2 (ja) * 2017-01-05 2020-09-16 株式会社リコー 通信端末、画像通信システム、通信方法、及びプログラム
KR102222871B1 (ko) * 2019-02-22 2021-03-04 삼성전자주식회사 디스플레이 장치 및 이의 영상 표시 방법
CN110278481B (zh) * 2019-06-25 2022-06-10 努比亚技术有限公司 画中画实现方法、终端及计算机可读存储介质
CN118075517A (zh) 2019-12-11 2024-05-24 谷歌有限责任公司 用于选择流送媒体内容项的格式的方法、系统和介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6166712A (en) 1993-07-01 2000-12-26 Motorola, Inc. High-persistence display circuit and method to therefor
US5764235A (en) * 1996-03-25 1998-06-09 Insight Development Corporation Computer implemented method and system for transmitting graphical images from server to client at user selectable resolution
JP3311259B2 (ja) * 1996-11-29 2002-08-05 キヤノン株式会社 撮像制御方法と装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体
US6043837A (en) * 1997-05-08 2000-03-28 Be Here Corporation Method and apparatus for electronically distributing images from a panoptic camera system
JPH11110311A (ja) * 1997-09-30 1999-04-23 Canon Inc 情報処理システム及び装置及び方法及び記憶媒体
JPH11231849A (ja) 1997-11-04 1999-08-27 Matsushita Electric Ind Co Ltd 画像合成装置
JP3976864B2 (ja) 1997-12-26 2007-09-19 キヤノン株式会社 映像サーバ及びその制御方法及び記憶媒体
US6281874B1 (en) * 1998-08-27 2001-08-28 International Business Machines Corporation Method and system for downloading graphic images on the internet
US7124427B1 (en) * 1999-04-30 2006-10-17 Touch Technologies, Inc. Method and apparatus for surveillance using an image server
EP1052598A3 (en) * 1999-05-13 2001-01-03 Matsushita Electric Industrial Co., Ltd. Information terminal device with a resizing unit for images and selection unit for a background image
US20020078172A1 (en) * 2000-09-14 2002-06-20 Tadashi Yoshikai Image server, image communication system, and control methods thereof
JP2002344913A (ja) * 2001-05-16 2002-11-29 Nec Yonezawa Ltd ネットワークにおける映像データの変換処理装置及び変換処理方法並びに変換処理サービス
KR100433874B1 (ko) 2002-05-23 2004-06-04 엘지전자 주식회사 동기신호 및 모드 검출장치와 방법
JP2004020960A (ja) * 2002-06-17 2004-01-22 Sony Corp クライアント装置、画像表示処理方法およびクライアントサーバシステム
KR20040015965A (ko) 2002-08-14 2004-02-21 엘지전자 주식회사 포맷 변환 장치
JP4392783B2 (ja) * 2003-02-20 2010-01-06 株式会社リコー 動画再生システム、動画送信装置、動画送信方法、プログラム、及び、記録媒体
JP2005191949A (ja) * 2003-12-25 2005-07-14 Fujitsu Ltd 映像配信装置及び映像閲覧装置
JP4140591B2 (ja) * 2004-09-13 2008-08-27 ソニー株式会社 撮像システム及び撮像方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073491A (zh) * 2009-11-10 2011-05-25 联想(新加坡)私人有限公司 多模式用户界面
US9471214B2 (en) 2009-11-10 2016-10-18 Lenovo (Singapore) Pte. Ltd. Multi-mode user interface
US10387025B2 (en) 2009-11-10 2019-08-20 Lenovo (Singapore) Pte. Ltd. Multi-mode user interface
CN101848382A (zh) * 2010-05-31 2010-09-29 深圳市景阳科技股份有限公司 一种视频流图像分辨率和码流的调整方法及系统
CN102595093A (zh) * 2011-01-05 2012-07-18 腾讯科技(深圳)有限公司 动态更改视频编码的视频通信方法及系统
CN102695092A (zh) * 2012-05-25 2012-09-26 四川长虹电器股份有限公司 一种提升iptv电视画质的方法
CN102695092B (zh) * 2012-05-25 2015-08-19 四川长虹电器股份有限公司 一种提升iptv电视画质的方法
CN105183308A (zh) * 2015-07-27 2015-12-23 努比亚技术有限公司 图片显示方法及装置
CN105302864A (zh) * 2015-09-22 2016-02-03 努比亚技术有限公司 根据屏幕分辨率加载图片的装置和方法
CN105678679A (zh) * 2015-12-31 2016-06-15 公安部第三研究所 大规模图片集合快速预览的系统及方法
CN105678679B (zh) * 2015-12-31 2019-02-12 公安部第三研究所 大规模图片集合快速预览的系统及方法

Also Published As

Publication number Publication date
US7788596B2 (en) 2010-08-31
KR100814724B1 (ko) 2008-03-19
KR20070045982A (ko) 2007-05-02
RU2351093C2 (ru) 2009-03-27
JP4926601B2 (ja) 2012-05-09
JP2007151078A (ja) 2007-06-14
US20070174489A1 (en) 2007-07-26
RU2006137998A (ru) 2008-05-10

Similar Documents

Publication Publication Date Title
CN1956458A (zh) 图像发布系统、客户终端和其控制方法
EP2813109B1 (en) Method and apparatus for interoperably performing services and system supporting the same
CN100345138C (zh) 实时Web共享系统
CN1285236C (zh) 用于图像处理的方法、设备及程序
US8300784B2 (en) Method and apparatus for sharing data in video conference system
CN1197001C (zh) 控制应用软件用户界面显示的系统
CN1908936A (zh) 图像处理装置、方法和程序
US8817114B2 (en) Image capture apparatus
US9602682B2 (en) Image forming apparatus, system, and methods of controlling these, and storage medium
CN1713158A (zh) 信息显示设备、信息显示方法、以及计算机程序
TW201401843A (zh) 文件掃描方法及電腦程式
CN101060578A (zh) 显示控制系统、图像处理装置、显示控制方法
CN1926524A (zh) 用户界面显示装置以及用户界面显示方法
US20160373594A1 (en) Mobile terminal, control method for mobile terminal, and storage medium
JP2009070261A (ja) 表示制御装置及び方法、並びにプログラム
CN1150445C (zh) 信息处理装置
CN1893590A (zh) 显示系统、显示设备以及控制视频源和显示设备的方法
JP2010237726A (ja) 情報処理装置、そのパラメータ設定方法、プログラム及び記録媒体
CN1302659C (zh) 数字成像装置和用于选择它的数据传输模式的方法
CN1620014A (zh) 向数据保管系统传送数据的上传方法及其装置
CN1833449A (zh) 发送装置、图像处理系统、图像处理方法、程序及记录媒体
CN1956487A (zh) 图像处理系统
CN1820240A (zh) 对背景图像进行设定的信息处理装置、信息显示方法及程序
US8953208B2 (en) Cooperative image processing system, cooperation method, portable terminal apparatus, and recording medium
EP3211912A1 (en) Information processing apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20070502