CN101047855B - 图像传输设备,显示设备和方法 - Google Patents

图像传输设备,显示设备和方法 Download PDF

Info

Publication number
CN101047855B
CN101047855B CN2007100896989A CN200710089698A CN101047855B CN 101047855 B CN101047855 B CN 101047855B CN 2007100896989 A CN2007100896989 A CN 2007100896989A CN 200710089698 A CN200710089698 A CN 200710089698A CN 101047855 B CN101047855 B CN 101047855B
Authority
CN
China
Prior art keywords
image
communication
display device
unit
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007100896989A
Other languages
English (en)
Other versions
CN101047855A (zh
Inventor
村井信哉
山口�一
日置毅
山口尚吾
藤贯光惠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101047855A publication Critical patent/CN101047855A/zh
Application granted granted Critical
Publication of CN101047855B publication Critical patent/CN101047855B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/333—Mode signalling or mode changing; Handshaking therefor
    • H04N1/33307—Mode signalling or mode changing; Handshaking therefor prior to start of transmission, input or output of the picture signal only
    • H04N1/33323—Mode signalling or mode changing; Handshaking therefor prior to start of transmission, input or output of the picture signal only transmission mode only, e.g. speed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034—Details of the connection, e.g. connector, interface
    • H04N2201/0048—Type of connection
    • H04N2201/0049—By wire, cable or the like
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008—Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034—Details of the connection, e.g. connector, interface
    • H04N2201/0048—Type of connection
    • H04N2201/0055—By radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0089—Image display device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/333—Mode signalling or mode changing; Handshaking therefor
    • H04N2201/33307—Mode signalling or mode changing; Handshaking therefor of a particular mode
    • H04N2201/33342—Mode signalling or mode changing; Handshaking therefor of a particular mode of transmission mode
    • H04N2201/3335—Speed or rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/333—Mode signalling or mode changing; Handshaking therefor
    • H04N2201/33307—Mode signalling or mode changing; Handshaking therefor of a particular mode
    • H04N2201/33342—Mode signalling or mode changing; Handshaking therefor of a particular mode of transmission mode
    • H04N2201/33364—Type of modulation; Type of channel, e.g. digital or analog; Type of communication, e.g. half-duplex or full-duplex

Abstract

提供有一种在图像传输设备中进行的方法，该图像传输设备能够与显示设备执行第一通信和第二通信，第二通信的通信速度比第一通信的通信速度低，该方法包含：生成将在显示设备上显示的图像；检测第一通信是否可执行；当可执行第一通信时，通过第一通信将生成的图像传输至显示设备；当第一通信不可执行时，通过第二通信将通过压缩生成的图像而获得的压缩图像传输至显示设备；以及当第一通信可执行时，通过第一通信和第二通信中的至少一个，将在显示设备上显示压缩图像所需的压缩利用信息传输至显示设备。

Description

图像传输设备，显示设备和方法
                             技术领域
本发明涉及一种生成并传输图像的图像传输设备，从图像传输设备接收图像并显示该接收到的图像的显示设备，和在这些设备中进行的方法。
                             背景技术
在JP-A 2002-304283(KOKAI)中，说明了一系统实例，其中可以通过多个通信路径连接信息处理设备(图像传输设备)和显示设备。当信息处理设备和显示设备被有线连接时，根据JP-A 2002-304283(KOKAI)的系统通过有线连接传输将在显示设备上显示的图像。当检测出有线连接已经被断开时，该系统通过无线连接传输将在显示设备上显示的图像。
因此，当在信息处理设备附近使用显示设备时，用户可通过有线连接以高图形性能工作。此外，也可以使用远离信息处理设备的显示设备进行工作，并且在这种情况下，显示设备通过无线连接从信息处理设备接收将被显示的图像。
作为压缩并传输将在显示设备上显示的信息的方案，有一种被广泛使用的方案，其中首先传输作为一帧图像被显示在显示设备上的整体图像，然后已作变化的区域的图像以预定时间间隔被传输(参见JP-A 2004-86550(KOKAI))。
当此方案被应用于JP-A 2002-304283(KOKAI)的系统时，将被显示的整体图像必须在切换到通过无线通信传输之后立即被首先传输，并且当可用带宽很窄时传输需要大量时间。此外，由于显示图像的更新在整体图像已被传输后开始，因此需要大量时间直至开始屏幕显示。
                             发明内容
按照本发明的一方面，提供有一种图像传输设备，包含：
配置为与显示设备进行第一通信的第一通信单元；
配置为检测第一通信是否可执行的检测器；
配置为以比第一通信的通信速度低的通信速度与显示设备进行第二通信的第二通信单元；
配置为生成将在显示设备上显示的图像的图像生成单元；
第一图像控制单元，该第一图像控制单元配置为当第一通信可执行时，通过第一通信单元将图像生成单元生成的图像传输至显示设备；
第二图像控制单元，该第二图像控制单元配置为当第一通信不可执行时，通过第二通信单元将压缩图像传输至显示设备，压缩图像是通过压缩所述图像生成单元生成的图像而获得的；以及
信息传输单元，该信息传输单元配置为当第一通信可执行时，通过第一通信单元和第二通信单元中的至少一个，将在显示设备上显示压缩图像所需的压缩利用信息传输至显示设备。
按照本发明的一方面，提供有一种显示设备，包含：
配置为与传输图像的图像传输设备进行第一通信的第一通信单元；
配置为检测第一通信是否可执行的检测器；
配置为以比第一通信的通信速度低的通信速度与图像传输设备进行第二通信的第二通信单元；
配置为存储将被显示的图像的图像存储器；
配置为显示图像存储器中的图像的显示单元；
配置为当第一通信可执行时，通过第一通信单元从图像传输设备接收图像并将接收到的图像写入图像存储器的第一图像处理器；
配置为当第一通信不可执行时，借助于通过第二通信单元从图像传输设备接收到的压缩图像对图像存储器进行图像写入的第二图像处理器；以及
信息接收单元，该信息接收单元配置为当第一通信可执行时，通过第一通信单元和第二通信单元中的至少一个，从图像传输设备接收开始第二图像处理器图像写入所需的压缩利用信息。
根据本发明的一方面，提供有一种在图像传输设备中进行的方法，该图像传输设备能够与显示设备执行第一通信和第二通信，第二通信的通信速度比第一通信的通信速度低，该方法包含：
生成将被显示在显示设备上的图像；
检测第一通信是否可执行；
当第一通信可执行时，通过第一通信将生成的图像传输至显示设备；
当第一通信不可执行时，通过第二通信将压缩图像传输至显示设备，该压缩图像是通过压缩生成的图像而获得的；以及
当第一通信可执行时，通过第一通信和第二通信中的至少一个，将在显示设备上显示压缩图像所需的压缩利用信息传输至显示设备。
                             附图说明
图1显示根据本发明的实施例的信息处理设备和显示设备的结构；
图2是说明当信息处理设备被连接至显示设备时，在信息处理设备中执行过程的流程图；
图3显示用于执行S604的程序实现例1；
图4显示用于执行S604的程序实现例2；
图5显示用于执行S604的程序实现例3；
图6是说明在使用有线通信路径的图像传送模式和使用无线通信路径的图像传送模式之间切换过程的流程图；
图7是说明在信息处理设备中进行的处理过程的流程图；
图8是说明在显示设备中进行的处理过程的流程图，以及；
图9是说明使用图像高速缓存部的压缩传输方案的流程图。
                           具体实施方式
将根据附图说明本发明实施例。
图1是显示根据本发明的实施例的信息处理设备(图像传输设备)和显示设备的结构的框图。
信息处理设备10配备有CPU 11，图形适配器12，VRAM(视频随机存取存储器)13，无线通信IF 14，有线通信IF 15，有线连接检测器16和存储器17。在CPU 11上，操作系统(OS)运行，并且在OS上，应用程序运行。例如OS和应用程序的程序被存储在存储器17中。CPU 11相当于图像生成单元，第二图像控制单元和信息传输单元。图形适配器12相当于第一图像控制单元。存储器17相当于图像存储器。有线通信IF 15相当于第一通信单元。无线通信IF 14相当于第二通信单元。
显示设备20配备有图形适配器21，帧存储器22，无线接收信息处理器23，无线通信IF 24，有线通信IF 25，有线连接检测器26，显示装置27和压缩信息存储器28。帧存储器22相当于图像存储器。显示装置27相当于显示单元。图形适配器21相当于第一图像处理器。无线接收信息处理器23相当于信息接收单元和第二图像处理器。压缩信息存储器28相当于图像保持单元。有线通信IF 25相当于第一通信单元。无线通信IF 24相当于第二通信单元。
信息处理设备10和显示设备20通过有线通信IF 15和有线通信IF 25之间的有线通信路径(第一通信路径)进行有线通信(第一通信)。信息处理设备10和显示设备20可以通过连接器被直接连接或者可以通过电缆被连接。信息处理设备10和显示设备20还通过无线通信IF 14和无线通信IF 24之间的无线通信路径(第二通信路径)进行无线通信(第二通信)。信息处理设备10和显示设备20在运行时总是能进行无线通信的，不管连接条件(不管它们是否连接或断开)。当信息处理设备10和显示设备20彼此连接时，图像通过有线通信路径从信息处理设备10被传输到显示设备20，并且传输的图像被显示在显示设备20上(使用有线通信路径的图像传送模式)。另一方面，当信息处理设备10和显示设备20彼此断开时，压缩图像通过无线通信路径从信息处理设备10被传输到显示设备20，并且根据传输的压缩图像进行显示(使用无线通信路径的图像传送模式)。本实施例的特征之一是，当正在执行使用有线通信路径的图像传送模式时，在显示设备上开始压缩图像显示(写)所需的信息(压缩利用信息)通过无线通信路径或有线通信路径被传输到显示设备。从而，当信息处理设备10和显示设备20彼此断开，并且开始使用无线通信路径的图像传送模式时，可以很快地进行显示和显示更新，因为已进行压缩利用信息的传输。
图6是说明在使用有线通信路径的图像传送模式和使用无线通信路径的图像传送模式之间切换过程的流程图；
当信息处理设备10在有线通信IF 15处被连接至显示设备20(或连接到显示设备的电缆)时，信息处理设备10的有线连接检测器16检测出显示设备20已经被连接到有线通信IF 15(S601：是；S602：是)。也就是说，其检测出有线通信(第一通信)是可执行的。此检测可以例如，通过配备用于检测连接器是否连接至有线通信IF 15的转换开关，或者通过接收来自显示设备20的信号，在有线通信IF 15处进行。同时，当信息处理设备10被连接至有线通信IF 25时，有线连接检测器26也在显示设备20检测出它。也就是说，检测出有线通信(第一通信)是可执行的。假定在信息处理设备10和显示设备20的启动时也进行连接检测。
如果检测出显示设备20在有线通信IF 15已经被连接，那么信息处理设备10中的CPU 11决定执行使用有线通信路径的图像传送模式(S603)。也在显示设备20，当检测出信息处理设备10已经被连接到有线通信IF 25时，无线接收信息处理器23决定执行使用有线通信路径的图像传送模式(S603)。
当决定执行使用有线通信路径的图像传送模式时，CPU 11请求图形适配器12按照程序运行结果进行绘制(绘图)。图形适配器12将对应于绘制内容的图像写入VRAM13。此外，图形适配器12周期性地从VRAM 13读取图像并将其传递至有线通信IF 15。有线通信IF 15将传递的图像转换为可以通过有线通信路径传输的信号格式并将其传输到显示设备20。作为有线通信IF 25的实例，例如，有DVI(数字视频接口)接口和模拟RGB接口。显示设备20中的有线通信IF 25从信息处理设备10接收图像并通过图形适配器21将接收到的图像写入帧存储器22。图形适配器21周期性地读取写入帧存储器22的图像并将其显示在显示装置27上。
同时，信息处理设备10中的CPU 11通过无线通信IF 14传输压缩利用信息(此信息可以通过有线通信IF 15传输)(S604)。更具体地说，当信息处理设备10被连接至显示设备20时，执行图2中的过程。此过程是在下列压缩传输方案的假定上。也就是说，首先传输将在显示设备20上显示的一帧图像的整体图像，且随后，用包含的指示显示设备20的整体屏幕中的位置的位置信息(例如，变化的区域的块编号，坐标等等)传输已经作出变化的区域图像。有一些随后将说明的用于实现执行该方案的程序的方法。已作出变化(包含位置信息)的区域图像以下被称为变化图像。
如图2所示，在等待预定时间段(S201)之后，信息处理设备10中的CPU 11检查整体图像是否已被传输(S202)。当整体图像已被传输到显示设备20时(S202：YES)，然后其检查将在显示设备20上显示的内容是否已经从已传输的内容改变(S203)。如果此内容已经从已传输的内容改变(S203：是)，则(可被编码的)变化图像通过无线通信IF 14被传输(S204)。如果在S202还没有传输整体图像(S202：否)，则CPU 11通过无线通信IF 14传输(可被编码的)整体图像(S205)。如果检测出显示设备20在其启动时被连接至有线通信IF 15，在登录之后立即可以传输桌面屏幕作为整体图像。在传输整体图像之后，在S204传输变化图像之后，或在S203说明的内容无变化的情况下(S203：否)，CPU 11检查结束指令是否已经由用户输入(S206)。如果没有输入结束指令(S206：否)，则CPU 11返回S201。如果已经输入结束指令(S206：是)，则CPU11结束处理。每当信息处理设备10从与显示设备20断开的状态转变至与其连接的状态时，图2中的过程复位一次并从头开始再次启动(在图6中，S601：是-->S602：是-->S603)。也就是说，每当状态从断开切换到连接时，在S205进行整体图像的传输。
当在信息处理设备10中正在进行图2所示的过程(图6中的S604)时，显示设备20中的无线接收信息处理器23首先接收从信息处理设备10传输的整体图像并将接收到的图像(如果已编码需要解码)写入压缩信息存储器28中的帧缓冲器(未显示)。然后，无线接收信息处理器23接收在整体图像之后传输的变化图像并将接收到的变化图像(如果已编码需要解码)写(重写)入压缩信息存储器28中的帧缓冲器。也就是说，整体图像被更新。从信息处理设备10传输的变化图像除关于图像本身的信息之外，还包含在屏幕上指示将被显示的坐标或显示范围的范围信息。
当显示设备20从有线通信IF 15断开时，信息处理设备10中的有线连接检测器16检测出显示设备20已经从有线通信IF 15断开(S601：是；S602：否)。同时，显示设备20中的有线连接检测器26还检测出信息处理设备10已经从有线通信IF 25断开。
当有线连接检测器16检测出显示设备20已经与信息处理设备10分离时，CPU 11决定执行使用无线通信路径的图像传送模式(S605)。当决定执行使用无线通信路径的图像传送模式时，图形适配器12停止从VRAM 13读取图像并将其传递至有线通信IF 15的处理。顺便说一下，CPU 11可以通过图形适配器12连续写入VRAM 13。但是，CPU11继续其已经在使用有线通信路径的图像传送模式中进行的图2中的过程(S604)。也就是说，其继续变化图像的传输。
同时，当有线连接检测器26检测出信息处理设备10已经与显示设备20分离时，无线接收信息处理器23也决定执行使用无线通信路径的图像传送模式(S605)。无线接收信息处理器23将压缩信息存储器28的帧缓冲器中的图像通过图形适配器21写入帧存储器22。从而，整个帧存储器22被更新。在更新之后，无线接收信息处理器23将接收到的变化图像不通过无线通信IF 24写入压缩信息存储器28而是通过图形适配器21写入帧存储器22(停止写入压缩信息存储器28)。从信息处理设备10传输的变化图像除关于图像本身的信息之外，还包含屏幕上的显示位置和显示范围。图形适配器21根据范围信息进行写入帧存储器22。然后，如果显示设备20再次连接至信息处理设备10，在图6中的S601：是-->S602：是-->S603的处理之后，再次执行S604(图2中的过程)。也就是说，整体图像被首先写入压缩信息存储器28中的帧缓冲器，然后，在此整体图像上重写变化图像。
根据以上过程，当变换至使用无线通信路径的图像传送模式时，信息处理设备10可以在显示设备上很快地显示图像，因为已完成整体图像的传输。此外，所有要做的是在转换至此模式之后传输变化图像，因此，也可以很快地进行图像更新。
这里，所希望的是在使用有线通信路径的图像传送模式中将图2中的S201的等待时间设置得比在使用无线通信路径的图像传送模式中的更长。这是因为，当通过有线通信路径进行图像传送时，不显示通过无线通信路径传输的图像，并且不需要以高频更新整个屏幕。可通过延长等待时间节省无线使用的带宽。
在使用有线通信路径的图像传送模式中，信息处理设备和显示设备通常被短距离配置，因此，信息处理设备10中的无线通信IF 14可以降低无线通信的传输功率。从而，可以减少信息处理设备消耗的功率。
这里，将对CPU 11用于进行图6中的S604(其中首先传输整体图像，然后继续传输变化图像)的三个程序实现例(第一至第三实例)作说明。
图3是说明第一实例的图。
在CPU 11上，运行应用程序31，操作系统(OS)32和显示图像传输程序33。操作系统32包含显示图像生成程序34。显示图像生成程序34生成将在显示设备20上显示的图像。显示图像传输程序33通过无线通信IF 14将显示图像生成程序34生成的图像传输至显示设备20。
当S604开始时，显示图像生成程序34从OS 32接收整体图像并将其传递至显示图像传输程序33。然后，当应用程序31发出绘制命令至OS 32时，OS 32中的显示图像生成程序34根据给出的绘制命令生成将在显示设备20上显示的图像并将生成的图像传递至显示图像传输程序33。这里传递的图像是前述的变化图像。显示图像传输程序33对变化图像编码并通过无线通信IF 14将其传输至显示设备20。
图4是说明第二实例的图。
在CPU 11上，运行应用程序41，操作系统(OS)42和显示图像传输程序43。OS 42包含显示图像生成程序44，显示图像生成程序44生成将在显示设备20上显示的图像。存储器17包含帧缓冲器45，帧缓冲器45保持显示图像生成程序44生成的图像。当应用程序41发出绘制命令至OS 42时，OS 42中的显示图像生成程序44根据给出的绘制命令生成将在显示设备20上显示的图像并将生成的图像写入帧缓冲器45。
当S604开始时，显示图像传输程序43从帧缓冲器45获得整体图像，对其编码并通过无线通信IF 14将其传输至显示设备20。显示图像传输程序43还将传输的整体图像写入被分离设置在存储器17中的缓冲器(未显示)。
然后，显示图像传输程序43将帧缓冲器45和上述分离设置的缓冲器比较，提取变化图像，对其编码并通过无线通信IF 14以更新帧缓冲器45时的时序或以预定时间间隔将其传输至显示设备20。显示图像传输程序43还将变化图像写入上述分离设置备的缓冲器。
图5是说明第三实例的图。在图5中，相同的参考标号与图4中相同的部分相连，并且除关于扩展处理的说明之外将省去相同部分的详细说明。
在此第三实例中，进行到显示图像生成程序44将在显示设备20上显示的图像写入帧缓冲器45为止的处理与图4相同。当根据绘制命令生成图像时，显示图像生成程序44将关于生成图像的区域信息(关于变化图像的区域信息)通知显示图像传输程序46中的更新图像提取程序48。每当图像生成时可以作此通知。二者择一地，在一些图像生成之后，可以集体地通知这些图像的区域。更新图像提取程序48根据通知的区域信息从帧缓冲器45获得变化图像，并将该变化图像传递至显示图像传输程序46中的传输程序47。传输程序47对变化图像编码并通过无线通信IF 14将其传输至显示设备20。
在借助于图4和5说明的第二和第三实例中，图像被写入存储器17中的帧缓冲器45，并且使用此图像。替代地，可以借助于VRAM 13中存储的图像进行类似处理。从而，排除帧缓冲器45的必要，并可以减少存储容量。
在以上说明中，作为通过无线通信路径的图像压缩传输方案，已经说明了一种方案，其中首先传输将在显示设备上显示的整体图像，然后传输已经作了变化的区域的图像。然而，也可以不传输已经作了变化的区域的图像而传输变化图像和变化前的图像之间的差异。在这种情况下，显示设备不在压缩信息存储器28或帧存储器22上进行重写而将差异加至存储在帧缓冲器或帧存储器22中的图像。
可以使用如下所述的另一种压缩传输方案以代替上述压缩传输方案。
图9是说明不同于上述其它压缩传输方案的流程图。
在此压缩传输方案中，以高频使用的图像(这里，作为整体图像一部分的局部图像)和此图像的标识符作为压缩利用信息被传输到显示设备。在使用无线路径的图像传送情况下，如果传输的图像保持在显示侧上，则传输此图像的标识符和用于显示此图像的区域信息而不传输此图像。首先，在使用有线通信路径的图像传送模式中，每当CPU 11等待预定时间段之后，其检查具有高使用频率的图像及其标识符是否已经被传输(S901)。如果它们未被传输(S902：否)，则CPU传输它们(S905)。显示设备20将此具有高使用频率的图像及其标识符(压缩利用信息)存储在压缩信息存储器28中的图像高速缓存部(未显示)中。如果它们已被传输(S902：是)，则检查具有高使用频率的图像是否已经变化(S903)。如果其已经变化(S903：是)，则传输变化图像及其标识符(S904)。变化图像及其标识符还写入存储器17的图像高速缓存部(未显示)中。在S905和S904之后，如果用户输入结束指令(S906：是)，则CPU 11结束处理。否则(S906：否)，则CPU 11返回S901。如上所述，当已将彼此联系的具有高使用频率图像及其标识符传输至显示设备20时，可在通过无线路径开始图像传送时很快地显示并更新图像。下面将说明在开始通过无线路径的图像显示的情况下，关于信息处理设备和显示设备20中进行的处理。
图7是说明在信息处理设备10中进行的处理流程的流程图；
CPU 11检查是否已经在屏幕(整体图像)中以有规律的时间间隔产生任何变化(S701和S702)。如果有任何变化(S702：是)，则其获取关于已经产生变化的屏幕中的区域的图像信息(包含图像(局部图像)和区域信息)(S703)。然后，CPU 11检查获取的图像信息的图像是否存储在存储器17中的图像高速缓存部(未显示)中(S704)。如果其未存储(S704：否)，则CPU 11提供包含在获取的图像信息内的图像的标识符并将其存储在存储器17中的图像高速缓存部中(S705)。在这种情况下，如果存储在图像高速缓存部中的图像总大小超过预定大小，则最长时间未使用的图像和对应于此图像的标识符从图像高速缓存部被删除(S706)。然后，CPU 11将获取的图像信息和标识符通过无线通信IF 14传输至显示设备20(S707)。另一方面，如果获取的图像信息中的图像在S704被存储在图像高速缓存部中(S704：是)，则CPU 11从图像高速缓存部获取高速缓存图像的标识符(S708)，并将获得的标识符和包含在图像信息内的区域信息传输至显示设备20(S709)。如果在S702屏幕无变化(S702：否)，或在S709或S707之后，CPU 11检查用户是否已经输入结束指令(S710)。如果其未输入(S710：否)，则CPU 11返回S701。如果其已经输入(S710：是)，则CPU 11结束处理。
图8是说明在显示设备20中进行的处理流程的流程图。
无线接收信息处理器23等待通过无线通信IF 24从信息处理设备10接收数据(S801：否)。如果数据被接收(S801：是)，则检查接收到的数据内容(S802)。如果接收到图像信息(图像(局部图像)和区域信息)和标识符，则包含在接收到的图像信息内的图像和标识符被存储在压缩信息存储器28中的图像高速缓存部(未显示)(S803)。在这种情况下，如果存储在图像高速缓存部中的图像总大小超过预定大小，则最长时间未使用的图像和对应于此图像的标识符从图像高速缓存部被删掉(S804)。无线接收信息处理器23根据包含在图像信息内的区域信息，将接收到的图像信息中的图像通过图形适配器21写入帧存储器22中(S805)。同时，如果接收到的数据内容是标识符和区域信息，则从压缩信息存储器28中的图像高速缓存部(未显示)获取对应于标识符的图像(S806)，并且根据区域信息将获得的图像通过图形适配器21写入帧存储器22(S807)。在S805或S807之后，检查用户、信息处理设备等等是否已经输入结束指令(S808)。如果未输入(S808：否)，则无线接收信息处理器23返回S801。如果已经输入(S808：是)，则无线接收信息处理器23结束处理。
作为除上述压缩传输方案以外的方案，可使用借助于矢量量化进行压缩传输的方案。在这种情况下，在使用有线通信路径的图像传送模式中，代码簿(确定矢量量化代码和图像之间的对应关系)作为压缩利用信息通过有线通信路径或无线通信路径从信息处理设备10传输至显示设备20，并存储在显示设备20的压缩信息存储器28中。当开始使用无线通信路径的图像传送模式时，信息处理设备10中的CPU 11从将被传输的图像(这里，即整体图像)计算矢量量化代码并将计算得到的矢量量化代码通过无线IF传输至显示设备20。在显示设备中，根据接收到的矢量量化代码和上述代码簿获取将被显示的图像，并且获得的图像被写入帧存储器22中。从而，可以很快地显示并更新图像。
在以上说明中，将有线通信假定为第一通信，以及无线通信假定为第二通信作为实例。然而，例如UWB通信的宽带无线通信可以用作第一通信，并且有线LAN(局域网)通信可以用作第二通信。

Claims (20)

1.一种图像传输设备，其特征在于，包含：
配置为与显示设备进行第一通信的第一通信单元；
配置为检测所述第一通信是否可执行的检测器；
配置为以比所述第一通信的通信速度低的通信速度与所述显示设备进行第二通信的第二通信单元；
配置为生成将在所述显示设备上显示的图像的图像生成单元；
第一图像控制单元，该第一图像控制单元配置为当所述第一通信可执行时，通过所述第一通信单元将所述图像生成单元生成的图像传输至所述显示设备；
第二图像控制单元，该第二图像控制单元配置为当所述第一通信不可执行时，通过所述第二通信单元将压缩图像传输至所述显示设备，所述压缩图像是通过压缩所述图像生成单元生成的图像而获得的；以及
信息传输单元，该信息传输单元配置为当所述第一通信可执行时，通过所述第一通信单元和所述第二通信单元中的至少一个，将在所述显示设备上显示所述压缩图像所需的压缩利用信息传输至所述显示设备。
2.如权利要求1所述的设备，其特征在于
所述信息传输单元传输作为所述压缩利用信息的整体图像，所述整体图像是将在所述显示设备上显示的一帧图像；并且
所述第二图像控制单元将所述整体图像中已经产生变化的区域的图像作为压缩图像传输。
3.如权利要求2所述的设备，其特征在于，如果在传输所述整体图像之后在所述整体图像中产生任何变化，所述信息传输单元进一步传输变化的整体图像。
4.如权利要求2所述的设备，其特征在于，如果在传输所述整体图像之后在所述整体图像中产生任何变化，则所述信息传输单元进一步传输已经产生变化的区域的图像。
5.如权利要求1所述的设备，其特征在于
所述信息传输单元传输作为压缩利用信息的整体图像，所述整体图像是将在所述显示设备上显示的一帧图像；并且
如果在传输所述整体图像之后在所述整体图像中产生任何变化，所述信息传输单元进一步传输关于已经产生变化的区域的图像和变化之前的区域的图像之间的差异的信息。
6.如权利要求1所述的设备，其特征在于，进一步包含：
图像检测器，该图像检测器配置为基于使用频率从所述图像生成单元生成的图像中检测图像；
标识符赋予单元，该标识符赋予单元配置为将标识符赋予检测到的图像；以及
图像存储器，该图像存储器配置为将彼此联系的检测到的图像和所述标识符作为对应信息存储；其中
所述信息传输单元传输作为所述压缩利用信息的所述图像存储器中的所述对应信息；并且
如果将被传输到所述显示设备的图像存储在所述图像存储器中，所述第二图像控制单元传输作为所述压缩图像的将被传输的图像的标识符。
7.如权利要求1所述的设备，其特征在于
所述信息传输单元传输作为所述压缩利用信息的确定矢量量化代码和图像之间的对应关系的代码簿；并且
所述第二图像控制单元传输作为所述压缩图像的矢量量化代码，该矢量量化代码通过矢量量化将被传输到所述显示设备的图像而获得。
8.如权利要求1所述的设备，其特征在于，所述第一通信是有线通信，并且所述第二通信是无线通信。
9.如权利要求1所述的设备，其特征在于，当所述第一通信可执行时，所述第二通信单元使传输功率低于第一通信不可执行时的传输功率。
10.一种显示设备，其特征在于，包含：
配置为与传输图像的图像传输设备进行第一通信的第一通信单元；
配置为检测所述第一通信是否可执行的检测器；
配置为以比所述第一通信的通信速度低的通信速度与所述图像传输设备进行第二通信的第二通信单元；
配置为存储将被显示的图像的图像存储器；
配置为显示所述图像存储器中的图像的显示单元；
配置为当所述第一通信可执行时，通过所述第一通信单元从所述图像传输设备接收图像并将接收到的图像写入所述图像存储器的第一图像处理器；
配置为当所述第一通信不可执行时，借助于通过所述第二通信单元从所述图像传输设备接收的压缩图像对所述图像存储器进行图像写入的第二图像处理器；以及
信息接收单元，该信息接收单元配置为当所述第一通信可执行时，通过所述第一通信单元和所述第二通信单元中的至少一个，从所述图像传输设备接收开始所述第二图像处理器的图像写入所需的压缩利用信息。
11.如权利要求10所述的显示设备，其特征在于，进一步包含配置为保持图像的图像保持单元，其中
所述信息接收单元接收作为所述压缩利用信息的整体图像，并将接收到的所述整体图像写入所述图像保持单元，所述整体图像是将被显示的一帧图像；并且
当所述第一通信不可执行时，所述第二图像处理器将所述图像保持单元中的所述整体图像写入所述图像存储器，接收所述整体图像中已经产生变化的区域的图像作为压缩图像，并将接收到的所述区域的图像写入所述图像存储器。
12.如权利要求10所述的显示设备，其特征在于，进一步包含配置为保持图像的图像保持单元，其中
所述信息接收单元接收作为所述压缩利用信息的整体图像，并将接收到的所述整体图像写入所述图像保持单元，所述整体图像是将被显示的一帧图像；并且
当所述第一通信不可执行时，所述第二图像处理器将所述图像保持单元中的整体图像写入所述图像存储器，接收关于所述整体图像中已经产生变化的区域的图像和所述区域变化之前的图像之间的差异的信息作为压缩图像，并将接收的所述差异加至所述图像存储器。
13.如权利要求11所述的显示设备，其特征在于，所述信息接收单元多次接收将被显示在所述显示设备上的整体图像，并将每个接收的整体图像按接收次序写入所述图像保持单元。
14.如权利要求11所述的显示设备，其特征在于，所述信息接收单元进一步接收所述整体图像中已经产生变化的区域的图像，并将接收到的所述区域的图像写入所述图像保持单元。
15.如权利要求11所述的显示设备，其特征在于，所述信息接收单元进一步接收关于所述整体图像中已经产生变化的区域的图像和所述区域变化之前的图像之间的差异的信息，并将接收的所述差异加至所述图像保持单元。
16.如权利要求12所述的显示设备，其特征在于，所述信息接收单元进一步接收关于所述整体图像中已经产生变化的区域的图像和所述区域变化之前的图像之间的差异的信息，并将接收到的所述差异加至所述图像保持单元。
17.如权利要求10所述的显示设备，其特征在于，所述显示设备进一步包括图像保持单元
所述信息接收单元接收作为所述压缩利用信息的图像和标识符彼此相联系于其中的对应信息，并将接收到的所述对应信息存储在图像保持单元的图像高速缓存部中；并且
所述第二图像处理器接收作为所述压缩图像的标识符和区域信息，所述区域信息指示与所述标识符相联系的图像将被放置的区域，从所述图像保持单元的图像高速缓存部中取得对应于接收到的所述标识符的图像，并基于所述区域信息将取得的图像写入所述图像存储器。
18.如权利要求10所述的显示设备，其特征在于
所述信息接收单元接收作为压缩利用信息的确定矢量量化代码和图像之间的对应关系的代码簿；并且
所述第二图像处理器接收作为所述压缩图像的矢量量化代码，基于接收到的所述矢量量化代码和代码簿获取将被显示的图像，并将获取的图像写入所述图像存储器。
19.如权利要求10所述的显示设备，其特征在于，所述第一通信是有线通信，并且所述第二通信是无线通信。
20.一种在图像传输设备中进行的方法，所述图像传输设备能够与显示设备执行第一通信和第二通信，所述第二通信的通信速度比所述第一通信的通信速度低，其特征在于，所述方法包含：
生成将被显示在所述显示设备上的图像；
检测所述第一通信是否可执行；
当所述第一通信可执行时，通过所述第一通信将生成的图像传输至所述显示设备；
当第一通信不可执行时，通过所述第二通信将压缩图像传输至所述显示设备，所述压缩图像是通过压缩生成的图像而获得的；以及
当所述第一通信可执行时，通过所述第一通信和所述第二通信中的至少一个，将在所述显示设备上显示所述压缩图像所需的压缩利用信息传输至所述显示设备。
CN2007100896989A 2006-03-29 2007-03-27 图像传输设备,显示设备和方法 Expired - Fee Related CN101047855B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006091730 2006-03-29
JP2006091730A JP4427520B2 (ja) 2006-03-29 2006-03-29 画像送信装置、ディスプレイ装置および方法
JP2006-091730 2006-03-29

Publications (2)

Publication Number Publication Date
CN101047855A CN101047855A (zh) 2007-10-03
CN101047855B true CN101047855B (zh) 2010-12-08

Family

ID=38638120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007100896989A Expired - Fee Related CN101047855B (zh) 2006-03-29 2007-03-27 图像传输设备,显示设备和方法

Country Status (3)

Country Link
US (1) US8072631B2 (zh)
JP (1) JP4427520B2 (zh)
CN (1) CN101047855B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL159838A0 (en) 2004-01-13 2004-06-20 Yehuda Binder Information device
JP2009130874A (ja) * 2007-11-28 2009-06-11 Hitachi Ltd 表示装置および映像機器
EP2141797A1 (en) * 2008-07-02 2010-01-06 Nxp B.V. Circuit with a time to digital converter and phase measuring method
JP5914884B2 (ja) * 2010-02-10 2016-05-11 パナソニックＩｐマネジメント株式会社 デジタルビデオ信号出力装置および表示装置、デジタルビデオ信号出力方法および受信方法
JP2011254442A (ja) * 2010-05-06 2011-12-15 Ricoh Co Ltd 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム
JP5631832B2 (ja) * 2011-09-27 2014-11-26 株式会社東芝 画像中継装置、画像中継方法及び画像中継プログラム
JP5821610B2 (ja) 2011-12-20 2015-11-24 富士通株式会社 情報処理装置、情報処理方法及びプログラム
JP5981734B2 (ja) * 2012-03-09 2016-08-31 キヤノン株式会社 通信装置、通信システム、制御方法及びプログラム
JP5907002B2 (ja) * 2012-08-30 2016-04-20 コニカミノルタ株式会社 画像処理連携システム、画像処理装置及び携帯端末装置
US20140244854A1 (en) * 2013-02-27 2014-08-28 Google Inc. Content Streaming Between Devices
KR20150003023A (ko) * 2013-06-28 2015-01-08 삼성전자주식회사 호스트 장치, 디스플레이 장치, 호스트 장치의 제어 방법 및 디스플레이 장치의 제어 방법
KR102148001B1 (ko) * 2013-10-17 2020-08-25 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP6516491B2 (ja) * 2015-01-30 2019-05-22 キヤノン株式会社 通信装置、制御方法およびプログラム
CN106201330B (zh) * 2015-05-29 2021-06-04 浙江格林蓝德信息技术有限公司 一种影像数据调度方法、装置及系统
CN105282323B (zh) * 2015-09-11 2019-02-05 联想(北京)有限公司 一种信息处理方法及电子设备
US20180197501A1 (en) * 2017-01-06 2018-07-12 Intel Corporation Display connection switching
JP2023069761A (ja) * 2021-11-08 2023-05-18 セイコーエプソン株式会社 表示装置の画像表示方法、表示システムの画像表示方法、表示装置、及び、表示システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1234687A (zh) * 1998-04-21 1999-11-10 国际商业机器公司 用电视伴随设备选择,接入和观看信息流段的系统
EP1089566A1 (en) * 1999-09-15 2001-04-04 Actv, Inc. Enhanced video programming system and method utilizing a web page staging area
CN1501710A (zh) * 2002-07-29 2004-06-02 精工爱普生株式会社 图像处理系统和方法及其装置、终端和程序
CN1539242A (zh) * 2001-08-08 2004-10-20 ��ķ��ɭ 运动图像专家组压缩标准第4版远程通信器件

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2608864B1 (fr) * 1986-12-17 1991-10-31 France Etat Procedes de codage et de transmission d'un signal numerique, par rafraichissement temporel selectif d'un quantificateur vectoriel
US6580422B1 (en) * 1995-04-27 2003-06-17 Hewlett-Packard Development Company, L.P. Remote computer display using graphics primitives sent over a wireless link
US6897833B1 (en) * 1999-09-10 2005-05-24 Hewlett-Packard Development Company, L.P. Portable user interface
US6784855B2 (en) * 2001-02-15 2004-08-31 Microsoft Corporation Methods and systems for a portable, interactive display device for use with a computer
US6930655B2 (en) * 2001-07-31 2005-08-16 Koninklijke Philips Electronics N.V. Display monitor has stand-alone mode and PC peripheral mode
US7053863B2 (en) * 2001-08-06 2006-05-30 Ati International Srl Wireless device method and apparatus with drawing command throttling control
TW516748U (en) * 2001-10-26 2003-01-01 Kye Systems Corp Wireless transmitting circuit with adjustable radio frequency transmitting power
US7086081B2 (en) * 2001-11-08 2006-08-01 International Business Machines Corporation Multi-terminal docking station system
US7086080B2 (en) * 2001-11-08 2006-08-01 International Business Machines Corporation Multi-media coordinated information system with multiple user devices and multiple interconnection networks
US7028103B2 (en) * 2001-11-08 2006-04-11 International Business Machines Corporation Multi-media synchronization system
US7171444B2 (en) * 2001-11-14 2007-01-30 Sharp Laboratories Of America, Inc. Remote desktop protocol compression system
US7386324B2 (en) * 2002-04-17 2008-06-10 Lenovo (Singapore) Pte. Ltd. System and method for dual path terminal connection
US7042515B2 (en) * 2002-07-23 2006-05-09 Abocom Systems, Inc. Wireless monitor cradle having a TV tuner
JP2004086550A (ja) 2002-08-27 2004-03-18 Matsushita Electric Ind Co Ltd 表示画面更新システム
US20050013103A1 (en) * 2003-07-17 2005-01-20 Adrian Chandley Multipurpose docking apparatus for a mobile computer
KR100524019B1 (ko) * 2003-07-22 2005-10-26 삼성전자주식회사 동작모드설정이 가능한 휴대용 무선 디스플레이장치 및그의 동작방법
KR100524018B1 (ko) * 2003-07-25 2005-10-26 삼성전자주식회사 이동형 디스플레이장치 및 이동형 디스플레이 시스템
EP1719049A1 (en) * 2004-02-17 2006-11-08 Koninklijke Philips Electronics N.V. Mobile rendering device and method providing context aware power saving

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1234687A (zh) * 1998-04-21 1999-11-10 国际商业机器公司 用电视伴随设备选择,接入和观看信息流段的系统
EP1089566A1 (en) * 1999-09-15 2001-04-04 Actv, Inc. Enhanced video programming system and method utilizing a web page staging area
CN1539242A (zh) * 2001-08-08 2004-10-20 ��ķ��ɭ 运动图像专家组压缩标准第4版远程通信器件
CN1501710A (zh) * 2002-07-29 2004-06-02 精工爱普生株式会社 图像处理系统和方法及其装置、终端和程序

Also Published As

Publication number Publication date
US8072631B2 (en) 2011-12-06
JP4427520B2 (ja) 2010-03-10
CN101047855A (zh) 2007-10-03
US20070263086A1 (en) 2007-11-15
JP2007265220A (ja) 2007-10-11

Similar Documents

Publication Publication Date Title
CN101047855B (zh) 图像传输设备,显示设备和方法
EP1085755B1 (en) Motion pictures sending apparatus and motion pictures communication apparatus
CN108282677A (zh) 通过客户端实现内容投屏的方法、投屏装置及系统
KR100743491B1 (ko) 범용 인터페이스 장치 및 방법
JP2000330918A (ja) 情報処理装置、情報処理システム、動作制御方法、及び記憶媒体
CN102905132B (zh) 无线视频传输的压缩和解压缩装置
CN113473006A (zh) 信息处理设备、图像拾取设备、信息处理系统、信息处理方法和非暂时性计算机可读介质
JP2010011367A (ja) 画像出力装置及び画像出方法並びに画像出力システム
CN102123255A (zh) 一种将电视屏幕作为移动终端显示屏的系统及方法
CN101458616A (zh) 多媒体多计算机切换系统
CN101510939A (zh) 图像传送装置、图像显示装置及方法、图像数据传送方法
CN110418209B (zh) 一种应用于视频传输的信息处理方法及终端设备
CN103533148A (zh) 一种变屏手机及其使用方法
JP5159562B2 (ja) 通信装置、画像送信方法、画像送信プログラム、表示装置、通信方法、および通信プログラム
CN103684532B (zh) 一种手机在计算机上的扩展显示方法
CN115729164A (zh) 一种工业通信系统管理方法、装置及工业通信系统
CN101998104A (zh) 一种视频电话及其替代视频的生成方法
CN108959153A (zh) 一种一体机、数据续传的方法、装置、设备和存储介质
CN108683792A (zh) 画面切换方法及装置
CN101661445A (zh) 连接切换方法、装置及系统
CN108811037B (zh) 一种数据传输方法及通信设备
KR101812145B1 (ko) 디바이스와 장착하여 가상 머신을 제어하기 위한 가상화 장치 및 방법
CN112714272A (zh) 设备间控制方法、终端和计算机可读存储介质
US6282591B1 (en) Information processing apparatus and data transfer apparatus having electric power supplied from a cable interface
CN110351695B (zh) 双向通信方法、控制方法及装置及通信系统及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101208

Termination date: 20160327