CN1592362A - 网络照相机 - Google Patents

网络照相机 Download PDF

Info

Publication number
CN1592362A
CN1592362A CNA2004100794375A CN200410079437A CN1592362A CN 1592362 A CN1592362 A CN 1592362A CN A2004100794375 A CNA2004100794375 A CN A2004100794375A CN 200410079437 A CN200410079437 A CN 200410079437A CN 1592362 A CN1592362 A CN 1592362A
Authority
CN
China
Prior art keywords
network
transmission
server
view data
sent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100794375A
Other languages
English (en)
Other versions
CN100359919C (zh
Inventor
中村实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1592362A publication Critical patent/CN1592362A/zh
Application granted granted Critical
Publication of CN100359919C publication Critical patent/CN100359919C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/564Enhancement of application control based on intercepted application data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/59Providing operational support to end devices by off-loading in the network or by emulation, e.g. when they are unavailable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/40Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

网络照相机1包括:获取图像的相机块10;提供有相机块10的图像输出的图像信号处理单元20;连接到外部网络以建立通信的通信接口单元30;备用存储单元40,暂时存储通过网络接口单元30传送到外部设备的数据;控制上述部件的系统控制单元50,等等。系统控制单元50监控网络状态,并且,当网络中出现故障时,将要传送到服务器的压缩图像数据暂时存储在备用存储单元40中,并控制传输处理以便在网络恢复之后,将存储在备用存储单元40中的压缩图像数据传送到服务器。

Description

网络照相机
技术领域
本发明涉及一种将图像数据实时传送到通过诸如因特网的网络与其连接的服务器的网络照相机。
背景技术
近几年,诸如ADSL(非对称数字用户线)的宽带环境已经变得十分普遍,并由此网络照相机已经得到使用,例如,其允许在个人计算机或移动电话的屏幕上查看通过因特网从位于远程的网络照相机传送的图像,或在个人计算机屏幕上浏览从位于安装在工厂或公司的LAN(局域网)中的网络照相机传送的图像。可通过诸如拍全景/倾斜操作的远程控制来移动网络照相机的图像采集屏幕,允许广域查看。
上述网络照相机的一些应用被设置成FTP(文件传输协议)客户,以将图像数据上载到安装在网络上的FTP服务器。
在由IETF(因特网工程任务组)公布的RFC(请求说明)959中定义了FTP,IETF是为了发展在因特网上适用的新技术的标准而建立的联盟。FTP是用于在客户和诸如因特网或内联网的TCP/IP(传输控制协议/因特网协议)网络上的主机之间传输文件的协议(或实现FTP协议的命令),并已经象HTTP(超文本传输协议)或SMTP(简单邮件传输协议)/POP(邮局协议)一样频繁地被应用于因特网。
由于许多原因,用于数据传输的网络有可能暂时不能使用。众所周知,近几年日益普及的ADSL传输无力抵抗电磁噪声,并因此,线路故障取决于安装环境而频繁发生。此外,由各类设备构建和管理的网络,也有由于这些设备的维护造成网络线路不能使用的情况。当在传统的FTP客户/服务器系统中发生网络故障时,在此故障时间传输的图像数据作为发送误差对待,结果是图像数据不能被传送到FTP服务器。在安全监控系统中,所需图像数据的丢失是严重的问题,其造成了在安全系统中引入网络照相机的主要障碍。
发明内容
考虑到上述情况,本发明的目的是使网络照相机(FTP客户)能够在FTP客户/服务器系统中使用,以当系统的网络线路暂时不能使用时备份图像数据。
本发明的另一个目的是允许适当控制FTP服务器的负载或网络线路中使用的带宽。
本发明的另一个目的是有效利用存储器的寿命,即使在诸如具有减少的数据写入次数的闪存的存储介质被作为备用存储器使用时。
根据本发明,提供一种配置成将图像数据实时传送到通过网络与其连接的服务器的网络照相机,包括:成像装置;数据压缩装置,用于把通过成像装置获得的图像数据转换成压缩的图像数据;网络接口装置,用于通过网络与服务器通信;控制装置,用于控制传输处理,以便由数据压缩装置获得的压缩的图像数据通过网络接口装置被传送到服务器;以及数据存储装置,用于当网络出错和压缩的图像数据不能被实时地传送到服务器时,存储将要被传送到服务器的压缩的图像数据,其中,当网络出现故障时,监控网络状态的控制装置将要被传送到服务器的压缩的图像数据存储在数据存储装置中,并控制传输处理,以便在网络已经恢复之后通过网络接口装置将已存储在数据存储装置中的压缩的图像数据传送到服务器。
在根据本发明的网络照相机中,例如,通过网络接口装置将压缩的图像数据传送到服务器的传输间隔是可变的,并且控制装置控制传输处理,以便在网络恢复的时候,在短于正常传输间隔的传输间隔中传输已被存储在数据存储装置中的压缩的图像数据。
此外,在根据本发明的网络照相机中,例如,提供在图像数据被实时传送到通过网络与网络照相机连接的服务器的传输周期、以及不执行实时传输的传输中断时间,并且当压缩的图像数据存在于数据存储装置中时,控制装置控制传输处理,以便在传输故障期间,将存储的图像数据通过网络接口装置传送到服务器。
此外,在根据本发明的网络照相机中,例如,控制装置通过在第一和第二控制模式之间切换来实行控制。也就是,在第一控制模式中,通过网络接口装置将压缩的图像数据传送到服务器的传输间隔是可变的,控制装置控制传输处理,以便在网络恢复期间,在一个短于正常传输间隔的传输间隔中传送已被存储在数据存储装置中的压缩的图像数据;并且,在第二控制模式中,提供图像数据通过网络接口装置被实时传送到与网络照相机连接的服务器的传输周期、以及不执行实时传输的传输故障周期,控制装置控制传输处理,以便在传输故障期间,当数据存储装置中存在压缩的图像数据时,通过网络接口装置将已存储在数据存储装置中的压缩的图像数据传送到服务器。
通过上述配置,即使当网络线路暂时不能使用时,根据本发明的网路照相机也可以在网络故障期间将图像数据备份到存储器上,并在网络线路恢复后,将备份的图像数据传送到服务器。
如上所述,根据本发明,即使当网络线路暂时不能使用时,在使用网络照相机的FTP客户/服务器系统中,可以在网络照相机(FTP客户)一端备份图像数据。
此外,通过单独地在正常时间期间设置传输时间间隔、以及在出现备份数据的时间设置传输时间间隔,可以适当控制FTP服务器的负载和网络线路中使用的带宽。
此外,仅当网络发生故障时,将图像数据备份在备用存储器中,因此,当使用诸如具有减少的数据书写次数的闪存的记录介质作为备用存储器时,最大化了存储器的使用寿命。
附图说明
图1是示出应用本发明的客户/服务器系统的配置例子的框图;
图2是示出在客户/服务器系统中的网路照相机的配置例子的框图;
图3是说明在客户/服务器系统中的图像数据传输处理算法的视图;
图4是示出在客户/服务器系统中,当网络线路处于正常状态时,图像数据传输处理的程序流程图;
图5是示出在客户/服务器系统中,当网络线路发生故障时,执行故障处理过程的流程图;
图6是示出在客户/服务器系统中,当网络已经恢复时执行的恢复处理的过程的流程图;
图7是说明在客户/服务器系统中,考虑到备用存储器寿命的图像数据传输处理处理算法B的视图;
图8是示出根据传输处理算法B的传输处理过程的流程图;
图9是示出提供在实时传送图像数据的传输周期、以及不执行实时处理的传输故障周期,并在传输故障周期期间传送备份的图像数据的处理流程的时序图;和
图10是示出当提供了图像数据实时传输的传输周期和不执行实时传输的传输故障周期时,传输处理过程的流程图。
具体实施方式
将参考附图来详细描述本发明的实施例。
本发明被应用于具有例如图1所示配置的客户/服务器系统100。
客户/服务器系统100是配置成将通过连接到诸如因特网或LAN的网络2的网络照相机1获得的实时图像数据使用FTP上载到连接到同一网络2的服务器3的FTP(文件传输协议)客户/服务器系统。更具体地说,例如,将客户/服务器系统100用于监控系统或实时监控系统,其中,网络2上作为FTP客户的网络照相机1将图像数据上载到位于同一网络2的FTP服务器3。
如图2所示,网络照相机1包括:相机块10,用于获取图像;图像信号处理单元20,提供有相机块10的图像输出;通信接口单元30,用于连接到外部网络以建立通信;备用存储单元40,用于暂时存储将要通过通信接口单元30传送到外部设备的数据;系统控制单元50,用于控制上述组件等。
相机块10包括:行间方式CCD图像传感器11;启动行间方式CCD图像传感器11的定时生成器12;提供有行间方式CCD图像传感器11的图像输出的前端部件13;提供有前端部件13的输出的数字信号处理部件14;用于相机控制的CPU15,其控制数字信号处理部件14的运行并执行相机控制,例如白平衡,调焦,或基于来自数字信号处理部件14的信息的类似处理等。
被配置成在一个场周期执行光电转换以提供交替输出(即交替地提供组成一帧的奇数场和偶数场中的一个的图像输出)的相机块10的行间方式CCD图像传感器11顺序地输出模拟图像信号,作为每场的图像输出。前端部件13由A/D转换器、或其它对来自行间方式CCD图像传感器11的模拟图像信号采样/保持、并执行模拟图像信号的模拟/数字转换的元器件组成。数字信号处理部件14将数字信号处理应用到来自前端部件13的数字化的图像信号,以输出交替YUV(4:1:1)数字图像信号。
信号处理单元20包括:格式转换部件17,提供有来自相机块10的数字信号处理部件14的交替YUV(4:1:1)数字图像信号;写FIFO存储器18,提供有格式转换部件17的输出;帧存储写控制器19,提供有写FIFO存储器18的输出;帧存储器接口部件21,提供有帧存储写控制器19的输出;连接到帧存储器接口部件21的帧存储器31;提供有帧存储器接口部件21的输出的用于帧图像的帧存储器读控制器22和用于场图像的帧存储器读控制器23;读FIFO存储器25,通过图像选择器24,选择性地提供有用于帧图像的帧存储器读控制器22的输出或用于场图像的帧存储器读控制器23的输出;JPEG接口部件26,提供有读FIFO存储器25的输出;连接到JPEG接口部件26的JPEG压缩处理部件27和行缓冲存储器32;提供有JPEG压缩处理部件27的输出的CPUI/F部件28;连接到CPUI/F部件28的图像选择位寄存器29,等等。
信号处理单元20的格式转换部件17将来自数字信号处理部件14的交替YUV(4:1:1)数字图像信号转换成用于JPEG压缩的YCbCr(4:2:2)信号。
写FIFO存储器18消除来自相机块10的信号的传输速率和信号被写入到帧存储器31中的速率的差别。帧存储写控制器19控制写操作,以便将通过写FIFO存储器18从格式转换部件17提供的YCbCr(4:2:2)信号通过帧存储器接口部件21写入到帧存储器31,以将来自交替信号的YCbCr(4:2:2)信号转换成非交替信号。
帧存储器接口部件21以时分方式控制有关帧存储器31的读、写和刷新操作。
用于帧图像的帧存储器读控制器22控制读出操作,以便通过帧存储器接口部件21从帧存储器31读出第一场图像和第二场图像,作为一帧图像。
用于场图像的帧存储器读控制器23控制读出操作,以便通过帧存储器接口部件21从帧存储器31读出第一场图像和第二场图像中的一个。
根据基于通过CPUI/F单元28从用于系统控制单元50的系统控制的CPU51提供给图像选择位寄存器29的图像选择位的选择信号,图像选择器24选择由用于帧图像的帧存储器读控制器22从帧存储器31读出的帧图像的YCbCr(4:2:2)信号、或由用于场图像的帧存储器读控制器23从帧存储器31帧读出的场图像的YCbCr(4:2:2)信号。
读FIFO存储器25消除从帧图像存储器31帧读出的帧图像或场图像的YCbCr(4:2:2)信号的传输速率和JPEG压缩速率之间的差别。JPEG接口部件26将通过图像选择器24提供的帧图像或场图像的YCbCr(4:2:2)信号暂时存储在行缓冲存储器32中,应用光栅块转换,并将结果信号输入到JPEG压缩处理部件27,并控制JPEG压缩处理部件27的运行。JPEG压缩处理部件27依照JPEG对经光栅块转换的YCbCr(4:2:2)信号施加压缩处理。JPEG压缩处理部件27的输出,即JPEG压缩的图像数据通过CPUI/F部件28被写入到系统控制单元50中的系统RAM 52中。
使用通过用于系统控制的CPU 51的DMA功能将JPEG压缩的图像数据直接写入到系统RAM 52中、或通过用于系统控制的CPU 51将其写入到系统RAM 52中。
通信接口单元30包括用于网络接口的Ethernet控制器(MAC)35、物理层芯片36、用于阻抗匹配的脉冲变压器37,RJ-45连接器38,等等。
备用存储单元40起到数据存储装置的作用,用于当网络2中出现故障、并由此压缩的图像数据不能被实时传送到服务器3时,暂时存储要被传送到服务器3的压缩图像数据,并且,备用存储单元40通过总线连接到通信接口单元30和系统控制单元50。可以使用SDRAM,硬盘、闪存或类似的产品作为备用存储器。
在这个实施例中,被可拆卸地放在连接到总线的槽41上的闪存42被用作在客户/服务器系统100的备用存储单元40中的备用存储器。
系统控制单元50包括用于系统控制的CPU 51、用作缓冲器和工作区的系统RAM 52、用于编程的系统ROM 53,它们通过总线相互连接。用于系统控制的CPU 51负责系统控制以及系统控制单元50和用于相机控制的CPU 15之间的通信。
起到FTP客户作用的网络照相机1使用信号处理单元20将由相机块10实时获得的图像输出转换成JPEG压缩的图像数据,并通过通信接口单元以预定的时间间隔将JPEG压缩的图像数据传到FTP服务器3。
下面将参考图3描述在客户/服务器系统100中的图像数据传输处理算法A。
在正常时间,也就是说当网络线路正常工作时,系统控制单元50通过重复图4的流程图所示的过程(步骤A11到A15)执行传输处理。
也就是说,由相机块10实时获得的图像输出在信号处理单元20中被转换成JPEG压缩的图像数据,之后在预定的时间间隔NI(例如6秒)被写入到备用存储单元40(步骤A11)。
将图像数据写入到备用存储单元40之后,系统控制单元50从备用存储器40中读出图像数据(步骤A12)并执行FTP客户传输处理,以通过通信接口单元30将读出的图像数据传送到FTP服务器3(步骤A13)。
系统控制单元50监控网络线路,并确定是否正常完成了FTP客户传输处理(步骤A14)。
当确定已正常完成了FTP客户传输处理执行时,系统控制单元50从备用存储单元40中删除已被传送到服务器3的图像数据(步骤A15),并返回到步骤A11。
当在步骤A14中确定FTP客户传输处理没有被正常执行时,系统控制单元50假定在网络线路中出现故障,并转移到故障处理。于是,系统控制单元50重复如图5的流程图所示的过程(步骤A21至A22),以执行故障处理,以便将要传送到FTP服务器3的压缩的图像数据存储在备用存储单元40中。
也就是说,由相机块10实时获得的图像输出在信号处理单元20中被转换成JPEG压缩的图像数据,之后在预定的时间间隔NI(例如6秒)被写入到备用存储单元40(步骤A21)。
系统控制单元50监控网络线路,并基于FTP客户传输处理的状态确定网络2是否从故障中恢复(步骤A22)。当确定网络线路仍然没有恢复时,系统控制单元50返回到步骤A11。
当在步骤A22中确定网络线路已经从故障中恢复时,系统控制单元50转移到恢复处理并重复如图6的流程图所示的过程(步骤A31到A37),以执行恢复处理,以便将在故障出现的时间将存储在备用存储单元40中的图像数据传送到FTP服务器3。
一进入恢复处理模式,系统控制单元50便使用图像处理单元20将由相机块10实时获得的图像输出转换成JPEG压缩的图像数据,并在预定的时间间隔NI(例如6秒)将JPEG压缩的图像数据写入到备用存储单元40(步骤A31)。同时,系统控制单元50从备用存储单元40中读出仍未被传送的图像数据(步骤A32),并将读出的图像数据通过通信接口单元30传送到FTP服务器3(步骤A33)。
系统控制单元50监控网络线路,并确定是否已正常完成了FTP客户传输处理(步骤A34)。
当在步骤A34中确定“否”,即确定没有正常执行FTP客户传输处理时,系统控制单元50假定网络线路中出现故障,并转移到故障处理。这里,系统控制单元50重复图5的流程图中的过程(步骤A21至A22),以执行故障处理。
当在步骤A34中确定“是”,即确定已经正常执行了FTP客户传输处理时,系统控制单元50从备用存储单元40中删除已经被传送到FTP服务器3的图像数据(步骤A35),并确定备用存储单元40中是否存在未被传送的图像数据(步骤A36)。
当在步骤A35中确定“是”,即确定备用存储单元40中存在未被传送的图像数据时,系统控制单元50引入为备用数据传输设置的时间间隔BI(例如3秒)的延迟(步骤A37)。之后,系统控制单元50返回到步骤A32,并执行有关仍没有被传送的图像数据的FTP客户传输处理。
系统控制单元50重复从步骤A32到A37的过程,以执行FTP客户传输,以便在用于备用数据传输而设置的时间间隔BI(例如3秒)中,传送仍未被传送且留在备用存储单元40中的图像数据。当在步骤A35中确定“否”,即确定备用存储单元40中不存在仍未被传送的图像数据时,系统控制单元50结束恢复处理。当记录了新的图像数据时(步骤A38),系统控制单元50返回到正常处理并,重复过程(步骤A11到A14),以执行正常的传输处理。
在前面提到的参考图3描述的传输处理算法A中,无论网络线路的状态如何,图像数据总是被写入到备用存储单元40。因此,当诸如具有减少的数据写入次数的闪存的记录介质用作为备用存储器时,依据记录情况,存储器可能很快达到它寿命的终点。将参考图7来描述为预防这种情况而产生的处理算法B。
也就是说,根据如图8的流程图所示的过程,重复图像记录处理(步骤B11到B15)和FTP传输处理(步骤B21到B26),并且仅在网络故障期间将图像数据备份到备用存储单元40,从而最大化存储器的使用寿命。
在图像记录处理中,当要传送的JPEG压缩图像数据由信号处理单元20从相机块10实时获得的图像输出中生成时(步骤B11),系统控制单元50确定通信接口单元30是否正在执行FTP客户传输处理(步骤B12)。当在步骤B12中确定“否”,即确定FTP客户传输处理已经结束时,系统控制单元50通知通信接口单元30的FTP客户传输处理任务:JPEG压缩的图像数据已经生成(步骤B13)。当在步骤B12中确定 “是”,即确定FTP客户传输处理仍在执行时,系统控制单元50假定网络线路中出现故障并将要传送的图像数据写入到备用存储单元40中(步骤B14)。之后,系统控制单元50引入预定的时间间隔NI(例如6秒)的延迟(步骤B15)并返回到步骤B11。
在图像记录处理中,在网络线路中没有出现故障的正常时间,每次系统控制单元50重复从步骤B11到B15的过程(经过步骤B12和B13),在预定的时间间隔NI(例如6秒)中,其通知通信接口单元30的FTP客户传输处理任务:将要传送的JPEG压缩图像数据已经生成。
此外,在图像记录处理中,当网络线路出现故障,从而FTP客户传输处理没有结束时,系统控制单元50重复从步骤B11到B15的过程(经过步骤B12到B14),在预定时间间隔NI(例如6秒),信号处理单元20将生成的要被传送的JPEG压缩图像数据存储在备用存储单元40中。
通信接口单元30的FTP客户传输处理任务等待传输请求(步骤B21)。当接收传输请求,FTP客户传输处理任务从信号处理单元20接收要传送的JPEG压缩的图像数据(步骤B22),将其传送到FTP服务器3(步骤B23),并确定备用存储单元40中是否存在仍未被传送的图像数据(步骤24)。
当在步骤B23中确定“否”,即确定备用存储单元40中不存在仍未被传送的图像数据时,FTP客户传输处理任务返回到步骤B21,并等待下一个传输请求。
这样,在网络线路未发生故障的正常时间,通信接口单元30的FTP客户传输处理任务重复从步骤B21到B24的过程,在预定的时间间隔NI(例如6秒)从信号处理单元20接收要传送的JPEG压缩的图像数据,以便将其传送到FTP服务器3。
当网络线路中已出现故障时,通信接口单元30的FTP客户传输处理任务不能完成对从信号处理单元20接收的JPEG压缩图像数据的FTP客户传输处理。然后,FTP客户传输处理任务监控网络2的状态,直到网络线路恢复,同时正在执行FTP客户传输处理。在网络线路恢复的时间点,FTP客户传输处理任务传送剩余的图像数据,以结束FTP客户传输处理。之后,FTP客户传输处理任务转移到步骤B23并确定在备用的存储单元40中是否存在未被传送的图像数据(步骤B24)。
当在步骤B23中确定是“是”,即确定在备用的存储单元40中存在未被传送的图像数据时,FTP客户传输处理任务引入预定时间间隔BI(例如3秒)的延迟(步骤B25),并从备用存储单元40中读出未被传送的图像数据(步骤B26)。之后,FTP客户传输处理任务返回到步骤B22,将读出的图像数据传送到FTP服务器3(步骤B23)。
这样,通信接口单元30的FTP客户传输处理任务在网络线路恢复的时间,重复从步骤B23到步骤B26的过程,在预定的时间间隔BI(例如3秒)、从最老的图像数据开始、从备用存储单元40中读出未被传送的图像数据,并将其传送到FTP服务器3。
当在步骤B23中确定“否”,即确定在备用的存储单元40中不存在未被传送的图像数据时,FTP客户传输处理任务返回到步骤B21,并通过重复从步骤B21到B24的过程执行正常的传输处理。
在这个实施例中,在恢复时间,从最老的图像数据开始、从备用的存储单元40中读出未被传送的图像数据,并将其传送到FTP服务器3,而不打乱图像数据的时间序列。但是,在预定的时间间隔NI(例如6秒),有可能交替传送顺序存储在备用存储单元40中的实时图像数据、以及未被传送且在出现故障时存储的图像数据。此情况下,尽管在恢复时间传送的图像数据出现打乱时间序列的无序图像,但使用作为图像数据文件名的图像时间信息仍可以在FTP服务器端根据时间序列排列图像数据。
如上所述,在根据该实施例的客户/服务器系统100中,NI(正常间隔:在正常传输处理时间的传输时间间隔)与BI(后备间隔:当在后备存储单元40中存在已备份的图像数据时的传输时间间隔)之间的关系是BI<NI,也就是说,当在后备存储单元40中存在备份的图像数据时的传输时间间隔BI小于在正常传输处理时间的传输时间间隔NI。因此,图像传送到FTP服务器3的传输速率高于图像生成速率,从而当预定的时间随着设置的时间间隔流逝时,允许将所有备份的图像数据传送到FTP服务器3。由此,当新出现网络故障时,可以保证用于备份图像数据的存储容量。
这也允许依照FTP服务器3的处理能力或网络线路中使用的带宽来控制用于备份图像的传输带宽。
此外,通过设置BI=NI,也就是说,通过将当在后备存储单元40中存在备份的图像数据时的传输时间间隔BI设置成等于在正常传输处理时间中的传输时间间隔NI,可以实现下面的处理。例如,如图9所示,分别从时间ta到时间tb、从第二天的时间tb到时间ta设置图像采集时区(传输周期TA)和另一个未执行的图像采集的时区(传输故障周期TB)。这样使传送由于网络线路故障、在传输故障点TB期间备份的图像数据成为可能。由此,有可能不需要FTP处理器具有过渡负载的处理能力、或网络线路中使用的带宽而将备份的图像数据传送到FTP服务器3。
在上述情况中,在客户/服务器系统100中的网络照相机1的系统控制单元50设置将图像数据实时传送到通过网络2与其连接的FTP服务器3上的传输周期TA、以及不执行实时传输的传输故障周期TB。当在后备的存储单元40中存在压缩的图像数据时,系统控制单元50控制传输处理,以便在传输时间周期TB期间,通过通信接口单元30将压缩的图像数据传送到FTP服务器3。
也就是说,根据如图10的流程图所示的过程,系统控制单元50重复图像记录处理(步骤C11到C15)和FTP传输处理(步骤C21到C26)。由此,仅在网络故障期间,将图像数据备份在备用存储单元40。当确认在备用存储单元40中存在压缩的图像数据时,在传输故障周期TB期间,通过通信接口单元30,将压缩的图像数据传送到FTP服务器3。
在图像记录处理中,当由信号处理单元20从实时获得的相机块10的图像输出中生成要传送的JPEG压缩的图像数据时(步骤C11),系统控制单元50确定通信接口单元30是否执行了FTP客户传输处理(步骤C12)。当在步骤C12确定“否”,即确定FTP客户传输处理已经完成时,系统控制单元50通知通信接口单元30的FTP客户传输处理任务:JPEG压缩图像数据已经生成(步骤C13)。当在步骤C12确定“是”,即确定FTP客户传输处理正在执行时,系统控制单元50将要传送的JPEG压缩图像数据写入到备用存储单元40中(步骤C14)。在引入预定时间间隔(例如6秒)的延迟后(步骤C15),系统控制单元50返回到步骤C11。
在图像记录处理中,系统控制单元50在通知网络线路没有发生故障的正常时间,以预定的时间间隔(例如6秒),重复从步骤C11到C15的过程(经过步骤C12和C13),生成通信接口单元30的FTP客户传输处理任务——要传送的JPEG压缩的图像数据。
此外,在图像记录处理中,当网络线路出现故障,并由此FTP客户传输处理未结束时,系统控制单元50重复从步骤C11到C15的过程(经过步骤C12和C14),在预定的时间间隔(例如6秒),将由信号处理单元20生成的要被传送的JPEG压缩图像数据存储在备用存储单元40中。
通信接口单元30的FTP客户传输处理任务等待传输请求(步骤C21)。当接收到传输请求时,FTP客户传输处理任务从信号处理单元20接收要传送的JPEG压缩图像数据(步骤C22),将其传送到FTP服务器3(步骤C23),并在每次FTP客户传输处理结束时,确定当前时间是否在传输故障周期内(步骤C24)。当当前时间不在传输故障周期内时,FTP客户传输处理任务返回到步骤C21,并等待下一个传输请求。
这样,在网络线路未出现故障的正常时间,通信接口单元30的FTP客户传输处理任务重复从步骤C21到C24的过程,以便在预定的时间间隔(例如6秒),从信号处理单元20接收要传送的JPEG压缩图像数据并将其传送到FTP服务器3。
当网络线路出现故障时,通信接口单元30的FTP客户传输处理任务不能完成从信号处理单元20接收的JPEG压缩图像数据的FTP客户传输处理。那么,FTP客户传输处理任务监控网络2的状态,直到网络线路恢复正在运行的FTP客户传输处理。在网络线路恢复的时间点,FTP客户传输处理任务传送剩余的图像数据以结束FTP客户传输处理。此后,FTP客户传输处理任务转移到步骤C24并确定当前时间是否在传输故障周期内,当当前时间并未在传输故障周期内时,FTP客户传输处理任务返回到步骤C21,并等待下一个传输请求。
当在步骤C24中确定当前时间是在传输故障周期内时,FTP客户传输处理任务确定在备用存储单元40中是否存在仍未被传输的图像数据(步骤C25)。
当在步骤C25中确定“是”,即确定在备用存储单元40中存在仍未被传送的图像数据时,FTP客户传输处理任务从备用存储单元40中读出仍未被传送的图像数据(步骤C26),并在转移到步骤C22之后将其传送到FTP服务器3。FTP客户传输处理任务重复从步骤C23到C26的过程,以在预定的时间间隔NI(例如6秒),从备用存储单元40中读出仍未被传送的图像数据,以便将其传送到FTP服务器3。
也就是说,在传输故障周期TB期间,从备用存储单元40中读出在网络故障期间存储在备用存储单元40中的图像数据,之后将其传送到FTP服务器3。
此情况下,尽管在网络线路未出现故障的正常时间中的图像数据传输之后执行在网络故障期间存储在备用存储单元40中的图像数据的传输,但在FTP服务器3一方,作为图像数据文件名的图像时间信息的使用可以根据时间序列安排图像数据。
此外,在客户/服务器系统100中,允许系统控制单元50在第一控制模式和第二控制模式之间转换,其中,所述第一控制模式中,通过通信接口单元30将压缩的图像数据传送到FTP服务器3的传输间隔是可变的,并且在短于网络恢复时间的正常传输间隔NI的传输间隔BI中,传送存储在备用存储单元40中的压缩图像数据;所述第二控制模式中,提供将图像数据实时传送到通过网络2连接到的FTP服务器3上的传输周期TA、以及不执行实时传输的传输故障周期TB,并且,当在备用存储单元40中存在压缩的图像数据时,在传输故障周TB期间,通过通信接口单元30将压缩的图像数据传送到FTP服务器3。
此申请要求于2003年6月30日在日本申请的日本专利申请2003-188464的优先权,其全部内容通过引用合并于此。

Claims (4)

1、一种网络照相机,被配置成将图像数据实时传送到通过网络与其连接的服务器上,包括:
成像装置;
数据压缩装置,用于将由成像装置获得的图像数据转换成压缩的图像数据;
网络接口装置,用于通过网络和服务器通信;
控制装置,用于控制传输处理,以便将由数据压缩装置获得的压缩图像数据通过网络接口装置传送到服务器;以及
数据存储装置,用于当在网络中出现故障以及压缩的图像数据不能被实时传送到服务器时,存储要传送到服务器的压缩图像数据,其中,
当网络中出现故障时,监控网络状态的控制装置将要传送到服务器的压缩图像数据存储在数据存储装置中,并且,控制传输处理,以便在网络恢复之后,将已被存储在数据存储装置中的压缩图像数据通过网络接口装置传送到服务器。
2、根据权利要求1的网络照相机,其中,通过网络接口装置将压缩的图像数据传送到服务器的传输间隔是可变的,以及
控制装置控制传输处理,以便在比网络恢复时的正常传输间隔短的传输间隔,传送存储在数据存储装置中的压缩图像数据。
3、根据权利要求1的网络照相机,其中
提供将图像数据实时传送到通过网络连接到网络照相机的服务器中的传输周期和不执行实时传输的传输故障周期,以及
当在数据存储装置中存在压缩的图像数据时,控制装置控制传输处理,以便在传输故障周期通过网络接口装置将存储的图像数据传送到服务器。
4、根据权利要求1的网络照相机,其中
控制装置在下面两个模式之间切换:
第一控制模式,其中,通过图像接口单元将压缩的图像数据传送到服务器的传输间隔是可变的,并且在比网络恢复时间的正常传输间隔短的传输间隔,传输存储在数据存储装置中的压缩图像数据;以及
第二控制模式,其中,提供将图像数据实时传送到通过网络连接到网络照相机的服务器上的传输周期、以及不执行实时传输的传输故障周期,当在数据存储装置中存在压缩的图像数据时,在传输故障周期,通过网络接口装置将压缩的图像数据传送到服务器。
CNB2004100794375A 2003-06-30 2004-06-30 网络照相机 Expired - Fee Related CN100359919C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003188464A JP4447860B2 (ja) 2003-06-30 2003-06-30 ネットワークカメラ
JP188464/03 2003-06-30
JP188464/2003 2003-06-30

Publications (2)

Publication Number Publication Date
CN1592362A true CN1592362A (zh) 2005-03-09
CN100359919C CN100359919C (zh) 2008-01-02

Family

ID=34187007

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100794375A Expired - Fee Related CN100359919C (zh) 2003-06-30 2004-06-30 网络照相机

Country Status (3)

Country Link
US (1) US7958269B2 (zh)
JP (1) JP4447860B2 (zh)
CN (1) CN100359919C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100466678C (zh) * 2005-05-16 2009-03-04 索尼株式会社 成像系统和系统控制方法
CN101510939A (zh) * 2008-02-15 2009-08-19 精工爱普生株式会社 图像传送装置、图像显示装置及方法、图像数据传送方法
CN101313571B (zh) * 2005-11-18 2011-04-27 松下电器产业株式会社 网络摄像机、网络摄像机系统及监控方法
CN102469158A (zh) * 2010-11-01 2012-05-23 富士施乐株式会社 图像处理装置及用于其的控制方法
CN103024540A (zh) * 2012-12-17 2013-04-03 四川长虹电器股份有限公司 智能电视网络激活信息的采集方法
CN101542458B (zh) * 2006-08-23 2016-01-20 丘里奥控股公司 配置一个或多个服务供应商的内容捕获装置
CN110753198A (zh) * 2018-07-24 2020-02-04 杭州海康威视数字技术股份有限公司 存储图像数据的方法和装置
CN113542747A (zh) * 2020-04-21 2021-10-22 株式会社东芝 服务器装置、通信系统以及存储介质

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4660780B2 (ja) 2005-03-01 2011-03-30 Dowaエレクトロニクス株式会社 銀粒子粉末の製造方法
KR100620011B1 (ko) 2005-06-21 2006-09-06 엘지전자 주식회사 휴대단말기의 브이에스콜 장치 및 방법
JP4895545B2 (ja) * 2005-07-22 2012-03-14 パナソニック株式会社 監視カメラ装置及び監視カメラシステム
JP4506647B2 (ja) * 2005-11-11 2010-07-21 株式会社日立製作所 計算機システム
JP4341616B2 (ja) * 2005-12-02 2009-10-07 ソニー株式会社 ネットワークカメラシステムおよびネットワークカメラ制御プログラム
US8644702B1 (en) 2005-12-28 2014-02-04 Xi Processing L.L.C. Computer-implemented system and method for notifying users upon the occurrence of an event
JP2007251519A (ja) * 2006-03-15 2007-09-27 Fujitsu Ltd ビデオデータ保管装置及びビデオデータ保管方法
JP2008167250A (ja) * 2006-12-28 2008-07-17 Lahaina Co Ltd 遠隔カメラ撮影画像閲覧システム
KR101334052B1 (ko) 2007-01-09 2013-11-29 도와 일렉트로닉스 가부시키가이샤 은 입자 분산액 및 그 제조법
CN101610864B (zh) 2007-02-15 2013-01-23 同和电子科技有限公司 银粒子粉末的制造方法
JP2009021645A (ja) * 2007-07-10 2009-01-29 Hitachi Ltd 記録再生装置
JP5444639B2 (ja) * 2007-11-20 2014-03-19 パナソニック株式会社 サーバ装置と分散サーバシステム
JP5042000B2 (ja) * 2007-12-19 2012-10-03 株式会社日立製作所 記録再生装置
JP4636132B2 (ja) 2008-07-09 2011-02-23 ソニー株式会社 ネットワークカメラ
JP5428262B2 (ja) * 2008-09-18 2014-02-26 日本電気株式会社 録画装置、その制御方法及びプログラム
JP2010103656A (ja) * 2008-10-22 2010-05-06 Hitachi Ltd コンテンツ送信装置、コンテンツ受信装置
JP5523014B2 (ja) * 2009-08-18 2014-06-18 キヤノン株式会社 情報処理システム、情報処理装置及びその制御方法
US8754941B1 (en) 2009-09-22 2014-06-17 Altia Systems, Inc. Multi-imager video camera with frame-by-frame view switching
TW201143381A (en) * 2010-05-21 2011-12-01 Chicony Electronics Co Ltd Digital camera with upload function
JP5915484B2 (ja) 2012-09-28 2016-05-11 株式会社Jvcケンウッド 撮像装置および撮像方法
WO2014112207A1 (ja) * 2013-01-15 2014-07-24 三菱電機株式会社 監視システムおよび監視カメラ
KR101604222B1 (ko) * 2014-07-30 2016-03-17 주식회사 아이디스 영상 기록 장치 및 일시적 네트워크 장애 발생시 영상 기록 방법
JP7166767B2 (ja) 2017-05-25 2022-11-08 キヤノン株式会社 機器、製造方法、およびシステム
US11563888B2 (en) * 2017-09-25 2023-01-24 Hanwha Techwin Co., Ltd. Image obtaining and processing apparatus including beacon sensor
JP7214414B2 (ja) * 2018-09-14 2023-01-30 オリンパス株式会社 撮像装置
JP7302076B2 (ja) * 2018-11-02 2023-07-03 株式会社東芝 送信装置、サーバ装置、送信方法およびプログラム
JP7105675B2 (ja) * 2018-11-02 2022-07-25 株式会社東芝 送信装置、サーバ装置、送信方法およびプログラム
US20230345109A1 (en) * 2020-09-30 2023-10-26 Sony Group Corporation Information processing device, information processing method, and program

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141498A (ja) 1993-09-24 1995-06-02 Olympus Optical Co Ltd 医療用画像ファイル装置
US5583796A (en) * 1995-06-06 1996-12-10 Philips Electronics North America Corporation Video security backup system
US6930709B1 (en) * 1997-12-04 2005-08-16 Pentax Of America, Inc. Integrated internet/intranet camera
JP3729660B2 (ja) * 1998-09-04 2005-12-21 松下電器産業株式会社 ネットワークカメラ監視システム
US6628610B1 (en) * 1999-06-28 2003-09-30 Cisco Technology, Inc. Methods and apparatus for managing a flow of packets using change and reply signals
EP1222820A1 (en) * 1999-10-08 2002-07-17 Logitech Europe S.A. Automated publication system with networkable smart camera
JP4286420B2 (ja) * 2000-02-18 2009-07-01 Hoya株式会社 インターネットカメラ
US6701317B1 (en) * 2000-09-19 2004-03-02 Overture Services, Inc. Web page connectivity server construction
JP2002202994A (ja) 2000-12-28 2002-07-19 Canon Inc 画像検索システム、サーバ、画像検索方法及び記録媒体
JP2002279560A (ja) * 2001-03-19 2002-09-27 Fujitsu General Ltd ネットワークカメラ利用の監視方法と監視システム
JP2002281487A (ja) * 2001-03-19 2002-09-27 Fujitsu General Ltd ネットワークカメラによる監視方法と監視システム
US7171443B2 (en) * 2001-04-04 2007-01-30 Prodigy Communications, Lp Method, system, and software for transmission of information
JP4664527B2 (ja) 2001-05-24 2011-04-06 株式会社日立国際電気 映像配信システム、映像配信方法
JP4767443B2 (ja) * 2001-07-04 2011-09-07 富士通株式会社 ネットワーク蓄積型ビデオカメラシステム
JP4629929B2 (ja) * 2001-08-23 2011-02-09 株式会社リコー デジタルカメラシステム及びこの制御方法
JP2003125326A (ja) * 2001-10-11 2003-04-25 Hitachi Kokusai Electric Inc 画像データ送受信方法及び画像データ送信装置及び画像データ受信装置
US20030146976A1 (en) * 2002-02-01 2003-08-07 Tai-Li Liu Digital camera system enabling remote monitoring
US20030214670A1 (en) * 2002-05-14 2003-11-20 Nikon Corporation Image manager and digital camera
CN1419187A (zh) * 2002-11-14 2003-05-21 文鹏飞 定时、随机拍照数码监视系统和方法
JP2004172780A (ja) * 2002-11-19 2004-06-17 Hitachi Ltd カメラシステム、カメラ装置及び記録装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100466678C (zh) * 2005-05-16 2009-03-04 索尼株式会社 成像系统和系统控制方法
CN101313571B (zh) * 2005-11-18 2011-04-27 松下电器产业株式会社 网络摄像机、网络摄像机系统及监控方法
US9113065B2 (en) 2005-11-18 2015-08-18 Panasonic Intellectual Property Management Co., Ltd. Network camera, network camera system and monitoring method
CN101542458B (zh) * 2006-08-23 2016-01-20 丘里奥控股公司 配置一个或多个服务供应商的内容捕获装置
CN101510939A (zh) * 2008-02-15 2009-08-19 精工爱普生株式会社 图像传送装置、图像显示装置及方法、图像数据传送方法
CN102469158A (zh) * 2010-11-01 2012-05-23 富士施乐株式会社 图像处理装置及用于其的控制方法
CN102469158B (zh) * 2010-11-01 2016-10-19 富士施乐株式会社 图像处理装置及用于其的控制方法
CN103024540A (zh) * 2012-12-17 2013-04-03 四川长虹电器股份有限公司 智能电视网络激活信息的采集方法
CN110753198A (zh) * 2018-07-24 2020-02-04 杭州海康威视数字技术股份有限公司 存储图像数据的方法和装置
CN113542747A (zh) * 2020-04-21 2021-10-22 株式会社东芝 服务器装置、通信系统以及存储介质

Also Published As

Publication number Publication date
JP2005026866A (ja) 2005-01-27
US20050044258A1 (en) 2005-02-24
JP4447860B2 (ja) 2010-04-07
CN100359919C (zh) 2008-01-02
US7958269B2 (en) 2011-06-07

Similar Documents

Publication Publication Date Title
CN1592362A (zh) 网络照相机
US8160129B2 (en) Image pickup apparatus and image distributing method
CN1206863C (zh) 图像传输方法
US9628834B2 (en) Method and system for playback of motion video
CN101345862B (zh) 一种网络监控系统实时抓拍的图像传输方法
CN105357302B (zh) 一种网络数据包断点续传方法及装置
CN1968406A (zh) 无线实时视频监视系统及方法
US10154188B2 (en) Camera system, master camera device, and slave camera device
EP2400389B1 (en) A method, a system, a server, a device, a computer program and a computer program product for transmitting data in a computer network
CN100444640C (zh) 一种网络摄像装置
EP2963929A1 (en) A method for configuration of video stream output from a digital video camera
CN1635466A (zh) 远程服务器主机画面监控系统及其方法
CN1777280A (zh) 一种窄带网络下小水电站远动系统的视频监控方法
CN108966287B (zh) 数据传输方法及系统
CN102333074B (zh) 一种监控系统中数据的传输方法和设备
CN102131116B (zh) 一种数字电视epg数据接收和解析方法
CN1223147C (zh) 通信设备信息的跟踪维护方法及其系统
CN113507629B (zh) 物联网中视频端与通信端之间的数据传输控制方法和系统
CN101039429A (zh) 一种传输视频压缩编码结果的方法和装置
US20200252085A1 (en) Receiving device and receiving method
CN103686435B (zh) 一种数字视频流的传输方法
CN110740251A (zh) 一种多相机同步取流方法、装置及系统
JP5094826B2 (ja) ユニキャスト再配信装置およびパケット処理プログラム
CN118158429A (zh) 视频故障转移记录
CN101483760A (zh) 监控系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080102

CF01 Termination of patent right due to non-payment of annual fee