JP2008035058A - Program, information storage medium, communication device and image processing system - Google Patents

Program, information storage medium, communication device and image processing system Download PDF

Info

Publication number
JP2008035058A
JP2008035058A JP2006204655A JP2006204655A JP2008035058A JP 2008035058 A JP2008035058 A JP 2008035058A JP 2006204655 A JP2006204655 A JP 2006204655A JP 2006204655 A JP2006204655 A JP 2006204655A JP 2008035058 A JP2008035058 A JP 2008035058A
Authority
JP
Japan
Prior art keywords
image data
protocol
transmitting
communication unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006204655A
Other languages
Japanese (ja)
Other versions
JP4900576B2 (en
Inventor
Hiroyuki Hashimoto
浩幸 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006204655A priority Critical patent/JP4900576B2/en
Publication of JP2008035058A publication Critical patent/JP2008035058A/en
Application granted granted Critical
Publication of JP4900576B2 publication Critical patent/JP4900576B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimiles In General (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing system or the like for transmitting image data even to a display device which is not compatible with a reference protocol for image data transmission. <P>SOLUTION: A PC 100 includes: an image data generation part 130 for generating image data; a communication part 150 for transmitting image data to a new version projector 310 compatible with a reference protocol for transmitting the image data; and a virtual device 160. The virtual device 160 is provided with a reference protocol-compatible communication part 161 for receiving the image data by operating as a projector compatible with the reference protocol; a converting part 162 for converting the image data; and an object protocol-compatible communication part 164 for transmitting the image data to an old version projector 320 compatible with the object protocol. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、プログラム、情報記憶媒体、通信装置および画像処理システムに関する。   The present invention relates to a program, an information storage medium, a communication device, and an image processing system.

特許文献1に記載されているように、PCの画面に表示された画像データを、ネットワークを介して受信するプロジェクタが提案されている。
再公表特許WO01−093583号公報
As described in Patent Document 1, there has been proposed a projector that receives image data displayed on a PC screen via a network.
Republished patent WO01-093583

しかし、従来は画像データを送信するためのプロトコルや画像表示圧縮フォーマットとしてメーカー独自のものが使用されており、標準的なものが存在していなかった。また、PCで使用されるOSの変更によって送信プロトコル等の仕様は変わりやすい。   Conventionally, however, a manufacturer's original protocol or image display compression format for transmitting image data has been used, and there has been no standard one. In addition, specifications such as a transmission protocol are easily changed by changing the OS used in the PC.

このため、比較的古いプロジェクタは、PCの最新OSが提供するプロトコル等に対応することが困難であった。   For this reason, it has been difficult for a relatively old projector to support a protocol provided by the latest OS of the PC.

例えば、最新OSが提供するプロトコル等に対応するためにはプロジェクタに最新OSに対応したOSの機能を実装する必要があり、プロジェクタの設計上の制約、要求されるCPU性能の肥大化、構成の複雑化等の問題が発生してしまう。   For example, in order to support the protocol and the like provided by the latest OS, it is necessary to implement an OS function corresponding to the latest OS in the projector, which restricts the design of the projector, enlarges the required CPU performance, and the configuration. Problems such as complications will occur.

本発明の目的は、画像データ送信用の基準プロトコルに対応していない表示装置に対しても画像データを送信することが可能なプログラム、情報記憶媒体、通信装置および画像処理システムを提供することである。   An object of the present invention is to provide a program, an information storage medium, a communication device, and an image processing system capable of transmitting image data even to a display device that does not support the reference protocol for image data transmission. is there.

上記課題を解決するため、本発明に係るプログラムは、
画像データを生成する画像データ生成部と、前記画像データを送信するための基準プロトコルに対応した表示装置へ向け前記画像データを送信する通信部と、を有するコンピュータを、仮想デバイスとして機能させるためのプログラムであって、
前記仮想デバイスは、
前記基準プロトコルに対応した表示装置として動作することによって前記画像データを受信する基準プロトコル対応通信部と、
前記画像データを、前記基準プロトコルとは異なるプロトコルであって、かつ、前記画像データを送信するためのプロトコルである対象プロトコルに準拠する形式に変換する変換部と、
前記対象プロトコルに対応した表示装置へ向け前記変換部によって変換された画像データを送信する対象プロトコル対応通信部と、
を含むことを特徴とする。
In order to solve the above problems, a program according to the present invention
A computer having an image data generation unit that generates image data, and a communication unit that transmits the image data to a display device that supports a reference protocol for transmitting the image data. A program,
The virtual device is
A reference protocol compatible communication unit that receives the image data by operating as a display device corresponding to the reference protocol;
A conversion unit that converts the image data into a format that is different from the reference protocol and that conforms to a target protocol that is a protocol for transmitting the image data;
A target protocol compatible communication unit for transmitting the image data converted by the conversion unit to a display device corresponding to the target protocol;
It is characterized by including.

また、本発明に係る通信装置は、画像データを生成する画像データ生成部と、前記画像データを送信するための基準プロトコルに対応した表示装置へ向け前記画像データを送信する通信部とを有するコンピュータと通信可能な通信装置であって、
前記基準プロトコルに対応した表示装置として動作することによって前記画像データを受信する基準プロトコル対応通信部と、
前記画像データを、前記基準プロトコルとは異なるプロトコルであって、かつ、前記画像データを送信するためのプロトコルである対象プロトコルに準拠する形式に変換する変換部と、
前記対象プロトコルに対応した表示装置へ向け前記変換部によって変換された画像データを送信する対象プロトコル対応通信部と、
を含むことを特徴とする。
In addition, a communication apparatus according to the present invention includes a computer having an image data generation unit that generates image data, and a communication unit that transmits the image data to a display device that supports a reference protocol for transmitting the image data. A communication device capable of communicating with
A reference protocol compatible communication unit that receives the image data by operating as a display device corresponding to the reference protocol;
A conversion unit that converts the image data into a format that is different from the reference protocol and that conforms to a target protocol that is a protocol for transmitting the image data;
A target protocol compatible communication unit for transmitting the image data converted by the conversion unit to a display device corresponding to the target protocol;
It is characterized by including.

また、本発明に係る画像処理システムは、画像処理装置と、当該画像処理装置と通信可能な少なくとも1台のプロジェクタとを有する画像処理システムであって、
前記画像処理装置は、
画像データを生成する画像データ生成部と、
前記画像データを送信するための基準プロトコルに対応したプロジェクタへ向け前記画像データを送信する通信部と、
仮想デバイスと、
を含み、
前記仮想デバイスは、
前記基準プロトコルに対応したプロジェクタとして動作することによって前記画像データを受信する基準プロトコル対応通信部と、
前記画像データを、前記基準プロトコルとは異なるプロトコルであって、かつ、前記画像データを送信するためのプロトコルである対象プロトコルに準拠する形式に変換する変換部と、
前記対象プロトコルに対応したプロジェクタへ向け前記変換部によって変換された画像データを送信する対象プロトコル対応通信部と、
を含むことを特徴とする。
An image processing system according to the present invention is an image processing system having an image processing device and at least one projector capable of communicating with the image processing device,
The image processing apparatus includes:
An image data generation unit for generating image data;
A communication unit for transmitting the image data to a projector corresponding to a reference protocol for transmitting the image data;
A virtual device,
Including
The virtual device is
A reference protocol compatible communication unit for receiving the image data by operating as a projector corresponding to the reference protocol;
A conversion unit that converts the image data into a format that is different from the reference protocol and that conforms to a target protocol that is a protocol for transmitting the image data;
A target protocol compatible communication unit for transmitting the image data converted by the conversion unit to a projector corresponding to the target protocol;
It is characterized by including.

また、本発明に係る画像処理システムは、画像処理装置と、通信装置と、前記画像処理装置または前記通信装置と通信可能な少なくとも1台のプロジェクタとを有する画像処理システムであって、
前記画像処理装置は、
画像データを生成する画像データ生成部と、
前記画像データを送信するための基準プロトコルに対応したプロジェクタへ向け前記画像データを送信する通信部と、
を含み、
前記通信装置は、
前記基準プロトコルに対応したプロジェクタとして動作することによって前記画像データを受信する基準プロトコル対応通信部と、
前記画像データを、前記基準プロトコルとは異なるプロトコルであって、かつ、前記画像データを送信するためのプロトコルである対象プロトコルに準拠する形式に変換する変換部と、
前記対象プロトコルに対応したプロジェクタへ向け前記変換部によって変換された画像データを送信する対象プロトコル対応通信部と、
を含むことを特徴とする。
An image processing system according to the present invention is an image processing system having an image processing device, a communication device, and at least one projector capable of communicating with the image processing device or the communication device,
The image processing apparatus includes:
An image data generation unit for generating image data;
A communication unit for transmitting the image data to a projector corresponding to a reference protocol for transmitting the image data;
Including
The communication device
A reference protocol compatible communication unit for receiving the image data by operating as a projector corresponding to the reference protocol;
A conversion unit that converts the image data into a format that is different from the reference protocol and that conforms to a target protocol that is a protocol for transmitting the image data;
A target protocol compatible communication unit for transmitting the image data converted by the conversion unit to a projector corresponding to the target protocol;
It is characterized by including.

本発明によれば、画像処理システム等は、仮想デバイスを基準プロトコルに対応した表示装置として動作させ(振る舞わせ)、画像データのデータ形式を対象プロトコルに準拠した形式に変換して送信することにより、画像データ送信用の基準プロトコルに対応していない表示装置に対しても画像データを送信することができる。   According to the present invention, an image processing system or the like operates (behaves) a virtual device as a display device corresponding to a reference protocol, converts the data format of image data into a format conforming to the target protocol, and transmits the converted data. The image data can be transmitted to a display device that does not support the reference protocol for image data transmission.

また、前記仮想デバイスは、前記対象プロトコルに対応した表示装置に関する情報を管理する仮想管理部を含んでもよい。   The virtual device may include a virtual management unit that manages information related to the display device corresponding to the target protocol.

これによれば、画像処理システム等は、対象プロトコルに対応した表示装置に関する情報を管理することができる。   According to this, the image processing system or the like can manage information related to the display device corresponding to the target protocol.

また、前記仮想管理部は、前記対象プロトコル対応通信部に前記対象プロトコルに対応した表示装置からの状態情報を受信させることにより、前記状態情報に基づく前記対象プロトコルに対応した表示装置が通信可能かどうかを示す通信可否情報を管理し、
前記対象プロトコル対応通信部は、前記通信可否情報に基づき、通信可能な表示装置へ向け前記変換部によって変換された画像データを送信してもよい。
Whether the virtual management unit can communicate with a display device corresponding to the target protocol based on the status information by causing the target protocol compatible communication unit to receive status information from the display device corresponding to the target protocol. Manage communication availability information indicating whether or not
The target protocol compatible communication unit may transmit the image data converted by the conversion unit to a display device capable of communication based on the communication availability information.

これによれば、画像処理システム等は、通信可能な表示装置を把握しておくことにより、画像処理装置等から画像データの送信指示があった場合に即座に画像データを送信することができる。   According to this, the image processing system or the like can immediately transmit the image data when there is an instruction to transmit the image data from the image processing apparatus or the like by grasping the display devices that can communicate.

また、前記基準プロトコル対応通信部は、TCP/IPのローカルループバックアドレスを用いて前記通信部と通信してもよい。   Further, the reference protocol compatible communication unit may communicate with the communication unit using a TCP / IP local loopback address.

これによれば、基準プロトコル対応通信部は、基準プロトコルに対応した通信装置と仮想デバイスに対してそれぞれ独立した通信処理を行う必要がないため、効率的に通信することができる。   According to this, since the communication part corresponding to the reference protocol does not need to perform independent communication processing with respect to the communication device and the virtual device corresponding to the reference protocol, it can communicate efficiently.

以下、本発明をPC(Personal Computer)にインストールされるプログラムに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。   Hereinafter, a case where the present invention is applied to a program installed in a PC (Personal Computer) will be described as an example with reference to the drawings. In addition, the Example shown below does not limit the content of the invention described in the claim at all. In addition, all of the configurations shown in the following embodiments are not necessarily essential as means for solving the problems described in the claims.

(第1の実施例)
図1は、第1の実施例における画像処理システムの機能ブロック図である。
(First embodiment)
FIG. 1 is a functional block diagram of the image processing system in the first embodiment.

本実施例における画像処理装置の一種であるPC100は、画面に表示されている画像をスクリーンキャプチャーによって画像データに変換し、当該画像データを通信対象の表示装置(例えば、プロジェクタ等)に送信する機能を有する。   The PC 100, which is a type of image processing apparatus in this embodiment, converts an image displayed on the screen into image data by screen capture, and transmits the image data to a display device (for example, a projector) to be communicated. Have

また、PC100は、OSによって基準プロトコルがサポートされている。基準プロトコルとしては、具体的には、例えば、Microsoft社等の提唱するWSD(Web Services for Devices)、Microsoft社の独自プロトコルであるRDP(Remote Desktop Protocol)等が該当する。ここでは、WSDとRDPの両方を基準プロトコルとする。   Further, the PC 100 supports a reference protocol by the OS. Specific examples of the reference protocol include WSD (Web Services for Devices) proposed by Microsoft Corporation, RDP (Remote Desktop Protocol), which is a proprietary protocol of Microsoft Corporation, and the like. Here, both WSD and RDP are used as reference protocols.

Microsoft社の最近のWindows(登録商標)系のOSには画像データの送信が可能なRDPが搭載されており、Windows(登録商標)はRDPを用いて、画像データを送信することができる。   A recent Windows (registered trademark) OS of Microsoft Corporation is equipped with an RDP capable of transmitting image data, and Windows (registered trademark) can transmit image data using the RDP.

しかし、プロジェクタの内部CPUではLinux等の軽量OSが用いられていることが多く、Windows(登録商標)のような大規模なOSをプロジェクタ内部に新たに実装することは困難である。   However, a light-weight OS such as Linux is often used for the internal CPU of the projector, and it is difficult to newly install a large-scale OS such as Windows (registered trademark) inside the projector.

本実施例では、基準プロトコルに対応したプロジェクタを新型プロジェクタ310とし、基準プロトコルには対応せず、従来の画像データ送信用のプロトコル(対象プロトコル)に対応したプロジェクタを旧型プロジェクタ320とする。   In this embodiment, the projector corresponding to the reference protocol is the new projector 310, and the projector corresponding to the conventional image data transmission protocol (target protocol) not corresponding to the reference protocol is the old projector 320.

なお、このような対象プロトコルとしては、例えば、公的な機関であるIANA(Internet Assigned Numbers Authority)の管理するポート一覧において「ep−nsp」として名称が定義されているプロトコル等が該当する。   Such a target protocol is, for example, a protocol whose name is defined as “ep-nsp” in a port list managed by an IANA (Internet Assigned Numbers Authority), which is a public institution.

PC100は、基準プロトコルに準拠した形式の画像データを生成する画像データ生成部130と、画像データを送信するための基準プロトコルに対応した新型プロジェクタ310等へ向け画像データを送信する通信部150とを含んで構成されている。   The PC 100 includes an image data generation unit 130 that generates image data in a format that conforms to a reference protocol, and a communication unit 150 that transmits image data to a new projector 310 or the like that supports the reference protocol for transmitting image data. It is configured to include.

また、PC100は、ユーザーの指示を入力する指示部110と、指示部110からの指示に応じてスクリーンキャプチャーを行うスクリーンキャプチャー部120と、通信部150が通信可能な表示装置に関する情報(例えば、稼働状態、IPアドレス等)を管理する管理部140とを含んで構成されている。   The PC 100 also includes an instruction unit 110 that inputs a user instruction, a screen capture unit 120 that performs screen capture in response to an instruction from the instruction unit 110, and information about a display device with which the communication unit 150 can communicate (for example, operation And a management unit 140 that manages a status, an IP address, and the like.

また、PC100は、情報記憶媒体200に記憶されたプログラムを読み取ることによって新型プロジェクタ310と同様の表示装置として振る舞う仮想デバイス160の機能を実装している。   In addition, the PC 100 has a function of the virtual device 160 that behaves as a display device similar to the new projector 310 by reading a program stored in the information storage medium 200.

仮想デバイス160は、基準プロトコルに対応した表示装置として動作することによって画像データを受信する基準プロトコル対応通信部161と、画像データを対象プロトコルに準拠する形式に変換する変換部162と、対象プロトコルに対応した表示装置へ向け変換部162によって変換された画像データを送信する対象プロトコル対応通信部164と、対象プロトコルに対応した表示装置に関する情報(例えば、稼働状態、IPアドレス等)を管理する仮想管理部163とを含んで構成されている。また、変換部162は、画像データの擬似的な出力先であるフレームメモリとして機能する仮想スクリーン165を有する。   The virtual device 160 operates as a display device corresponding to the reference protocol, and receives a reference protocol compatible communication unit 161 that receives image data, a conversion unit 162 that converts the image data into a format that conforms to the target protocol, and a target protocol. A target protocol compatible communication unit 164 for transmitting the image data converted by the conversion unit 162 toward the corresponding display device, and virtual management for managing information (for example, operating status, IP address, etc.) regarding the display device corresponding to the target protocol. Part 163. The conversion unit 162 includes a virtual screen 165 that functions as a frame memory that is a pseudo output destination of image data.

なお、これらの各部の機能をPC100に実装するためのハードウェアとしては以下のものを採用可能である。例えば、指示部110としては、マウス、キーボード、入力ポート等、スクリーンキャプチャー部120、画像データ生成部130、変換部162としては、画像処理回路、RAM等、管理部140、仮想管理部163としては、CPU、RAM等、通信部150、基準プロトコル対応通信部161、対象プロトコル対応通信部164としては無線LAN(有線LANでもよい。)モジュール等を採用してもよい。   Note that the following can be used as hardware for mounting the functions of these units on the PC 100. For example, the instruction unit 110 includes a mouse, a keyboard, an input port, the screen capture unit 120, the image data generation unit 130, the conversion unit 162, an image processing circuit, a RAM, the management unit 140, and the virtual management unit 163. As the communication unit 150, the reference protocol compatible communication unit 161, and the target protocol compatible communication unit 164, a wireless LAN (or wired LAN) module or the like may be employed.

また、情報記憶媒体200としては、例えば、CD−ROM、DVD−ROM、ROM、RAM、HDD等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。   Further, as the information storage medium 200, for example, a CD-ROM, DVD-ROM, ROM, RAM, HDD or the like can be applied, and the reading method of the program may be a contact method or a non-contact method. .

次に、これらの各部を用いた画像データ送信時の処理の流れについて説明する。   Next, a processing flow at the time of image data transmission using these units will be described.

まず、基準プロトコルのみを用いた場合の通信手順について説明する。   First, a communication procedure when only the reference protocol is used will be described.

図2は、第1の実施例における基準プロトコルを用いた場合の通信手順の概略図である。   FIG. 2 is a schematic diagram of a communication procedure when the reference protocol in the first embodiment is used.

まず、管理部140は、一定時間(例えば、30秒、1分等)ごとに通信可能であって、かつ、基準プロトコルをサポートしている表示装置があるかどうかを通信部150による通信によって把握する。なお、管理部140は、表示装置から一方的に送信される情報に基づいて表示装置の所在や状態を判定してもよい。また、仮想管理部163も、管理部140と同様に、対象プロトコル対応通信部164に対象プロトコルに対応した旧型プロジェクタ320からの状態情報を受信させることにより、旧型プロジェクタ320が通信可能かどうかを示す通信可否情報を管理してもよい。   First, the management unit 140 can determine by communication through the communication unit 150 whether there is a display device that can communicate at regular intervals (for example, 30 seconds, 1 minute, etc.) and supports the reference protocol. To do. The management unit 140 may determine the location and state of the display device based on information unilaterally transmitted from the display device. Similarly to the management unit 140, the virtual management unit 163 also indicates whether the old projector 320 can communicate by causing the target protocol compatible communication unit 164 to receive state information from the old projector 320 corresponding to the target protocol. Communication availability information may be managed.

そして、管理部140は、WSD制御プロトコルを発行し(ステップS1)、WSD制御プロトコルはSOAPメッセージによってカプセル化される(ステップS2)。通信部150は、SOAPメッセージにHTTPプロトコルのヘッダを付加し(ステップS3)、把握済みの新型プロジェクタ310のIPアドレスを送信先に指定したTCP/IPプロトコルに準拠した送信データを生成する(ステップS4)。   Then, the management unit 140 issues a WSD control protocol (step S1), and the WSD control protocol is encapsulated by a SOAP message (step S2). The communication unit 150 adds an HTTP protocol header to the SOAP message (step S3), and generates transmission data conforming to the TCP / IP protocol in which the IP address of the new projector 310 that has been grasped is designated as the transmission destination (step S4). ).

通信部150は、当該送信データを新型プロジェクタ310へ向け送信し(ステップS5)、新型プロジェクタ310は、ステップS1〜S4とは逆の順序でステップS6〜S9を実行し、WSD制御メッセージを新型プロジェクタ310の表示部に伝達する。   The communication unit 150 transmits the transmission data to the new projector 310 (step S5), and the new projector 310 executes steps S6 to S9 in the reverse order of steps S1 to S4, and sends a WSD control message to the new projector. This is transmitted to the display unit 310.

以上の手順により、RDPプロトコルを用いた画像データの送受信を行うための準備が完了する。   With the above procedure, preparation for transmitting and receiving image data using the RDP protocol is completed.

そして、管理部140は、画像データ生成部130によって生成された画像データを通信部150のRDPサーバーに送信し(ステップS10)、通信部150は、RDPサーバーからTCP/IP層に画像データを送り(ステップS11)、RDPプロトコル、TCP/IPプロトコルに従って画像データを含む送信データを新型プロジェクタ310へ向け送信する(ステップS12)。   Then, the management unit 140 transmits the image data generated by the image data generation unit 130 to the RDP server of the communication unit 150 (Step S10), and the communication unit 150 sends the image data from the RDP server to the TCP / IP layer. (Step S11), transmission data including image data is transmitted to the new projector 310 in accordance with the RDP protocol and the TCP / IP protocol (Step S12).

新型プロジェクタ310では、当該送信データが、TCP/IP層からRDPクライアントへ送られ(ステップS13)、RDPクライアントから表示部に送られる(ステップS14)。   In the new projector 310, the transmission data is sent from the TCP / IP layer to the RDP client (step S13), and sent from the RDP client to the display unit (step S14).

以上の手順により、新型プロジェクタ310は、スクリーンキャプチャー部120によってキャプチャーされた画像を表示することができる。   Through the above procedure, the new projector 310 can display the image captured by the screen capture unit 120.

次に、基準プロトコルを用いた画像データを変換して対象プロトコルを用いて通信する場合の通信手順について説明する。   Next, a communication procedure when image data using the reference protocol is converted and communication is performed using the target protocol will be described.

図3は、第1の実施例における対象プロトコルを用いた場合の通信手順の概略図である。   FIG. 3 is a schematic diagram of a communication procedure when the target protocol in the first embodiment is used.

上述したステップS1〜S4と同様に、管理部140は、WSD制御プロトコルを発行し(ステップS21)、WSD制御プロトコルはSOAPメッセージによってカプセル化される(ステップS22)。通信部150は、SOAPメッセージにHTTPプロトコルのヘッダを付加し(ステップS23)、把握済みの仮想デバイス160のIPアドレスを送信先に指定したTCP/IPプロトコルに準拠した送信データを生成する(ステップS24)。   Similar to steps S1 to S4 described above, the management unit 140 issues a WSD control protocol (step S21), and the WSD control protocol is encapsulated by a SOAP message (step S22). The communication unit 150 adds an HTTP protocol header to the SOAP message (step S23), and generates transmission data that conforms to the TCP / IP protocol in which the IP address of the virtual device 160 that has been identified is designated as the transmission destination (step S24). ).

なお、仮想デバイス160のIPアドレスはローカルループバックアドレスであるため、外部へは通信されることなく、基準プロトコル対応通信部161および変換部162は、ステップS21〜S24とは逆の順序でWSD制御プロトコルを受信する(ステップS25〜S28)。   Note that since the IP address of the virtual device 160 is a local loopback address, the standard protocol compatible communication unit 161 and the conversion unit 162 perform WSD control in the reverse order of steps S21 to S24 without being communicated to the outside. A protocol is received (steps S25 to S28).

以上の手順により、RDPプロトコルを用いた画像データの送受信を行うための準備が完了する。   With the above procedure, preparation for transmitting and receiving image data using the RDP protocol is completed.

そして、管理部140は、画像データ生成部130によって生成された画像データを通信部150のRDPサーバーに送信し(ステップS29)、通信部150は、RDPサーバーからTCP/IP層に画像データを送り(ステップS30)、RDPプロトコル、TCP/IPプロトコルに従って画像データを含む送信データを仮想デバイス160へ向け送信する。なお、ステップS29、30はステップS10、11と同様である。   Then, the management unit 140 transmits the image data generated by the image data generation unit 130 to the RDP server of the communication unit 150 (step S29), and the communication unit 150 sends the image data from the RDP server to the TCP / IP layer. (Step S30), transmission data including image data is transmitted to the virtual device 160 in accordance with the RDP protocol and the TCP / IP protocol. Steps S29 and 30 are the same as steps S10 and S11.

仮想デバイス160では、当該送信データが、基準プロトコル対応通信部161において、TCP/IP層からRDPクライアントへ送られ(ステップS31)、RDPクライアントから変換部162へ送られる(ステップS32)。   In the virtual device 160, the transmission data is sent from the TCP / IP layer to the RDP client in the reference protocol compatible communication unit 161 (step S31), and is sent from the RDP client to the conversion unit 162 (step S32).

変換部162は、RDPプロトコル形式の送信データに含まれる画像データを、内包する仮想スクリーン165に一旦展開した後、再度それをキャプチャーしてep−nsp形式の画像データに変換する。仮想管理部163は、当該画像データをep−nspプロトコル化して対象プロトコル対応通信部164内のep−nspサーバーに送る(ステップS33)。   The conversion unit 162 once expands the image data included in the transmission data in the RDP protocol format on the virtual screen 165 included therein, captures it again, and converts the image data into the ep-nsp format image data. The virtual management unit 163 converts the image data into an ep-nsp protocol and sends it to the ep-nsp server in the target protocol compatible communication unit 164 (step S33).

対象プロトコル対応通信部164は、仮想管理部163の通信可否情報に基づき、変換部162によって変換された画像データを含む送信データを、ep−nspサーバー、TCP/IP層を経由して旧型プロジェクタ320へ向け送信する(ステップS34、S35)。なお、旧型プロジェクタ320のIPアドレスは通信可否情報の一部として仮想管理部163によって把握されている。   The target protocol compatible communication unit 164 transmits the transmission data including the image data converted by the conversion unit 162 based on the communication availability information of the virtual management unit 163 via the ep-nsp server and the TCP / IP layer to the old projector 320. (Steps S34 and S35). Note that the IP address of the old projector 320 is grasped by the virtual management unit 163 as part of the communication availability information.

旧型プロジェクタ320は、当該送信データを、TCP/IP層からep−nspクライアントに送り(ステップS36)、ep−nspクライアントから旧型プロジェクタ320の表示部に送る(ステップS37)。   The old projector 320 sends the transmission data from the TCP / IP layer to the ep-nsp client (step S36), and sends it from the ep-nsp client to the display unit of the old projector 320 (step S37).

以上の手順により、旧型プロジェクタ320は、スクリーンキャプチャー部120によってキャプチャーされた画像を表示することができる。   Through the above procedure, the old projector 320 can display the image captured by the screen capture unit 120.

以上のように、本実施例によれば、PC100は、仮想デバイス160を基準プロトコルに対応した表示装置として動作させ(振る舞わせ)、画像データのデータ形式を対象プロトコルに準拠した形式に変換して送信することにより、画像データ送信用の基準プロトコルに対応していない旧型プロジェクタ320に対しても画像データを送信することができる。   As described above, according to the present embodiment, the PC 100 operates (behaves) the virtual device 160 as a display device corresponding to the reference protocol, and converts the data format of the image data into a format compliant with the target protocol. By transmitting the image data, it is possible to transmit the image data to the old projector 320 that does not support the reference protocol for transmitting the image data.

また、本実施例によれば、管理部140と同様に機能する仮想管理部163を設けることにより、基準プロトコルには対応していないが対象プロトコルに対応している表示装置に関する情報を管理することができ、画像データを送信する場合も即座に送信することができる。   Further, according to the present embodiment, by providing the virtual management unit 163 that functions in the same manner as the management unit 140, information related to a display device that does not correspond to the reference protocol but corresponds to the target protocol can be managed. When image data is transmitted, it can be transmitted immediately.

また、本実施例によれば、PC100は、例えば、プレゼンス管理時等に複数のプロジェクタに同時に通信する必要がある場合であっても、プロトコルによらずにプロジェクタの検出や制御を行うことができる。   Further, according to the present embodiment, the PC 100 can detect and control the projector regardless of the protocol even when it is necessary to simultaneously communicate with a plurality of projectors at the time of presence management, for example. .

また、本実施例によれば、PC100は、PC100内の仮想デバイス160とのローカル通信により、新しいOSがサポートする新プロトコル(基準プロトコル)がサポートされ、仮想デバイス160が旧来のプロトコル(対象プロトコル)を用いて旧型プロジェクタ320と通信できる。これにより、新しいプロトコルに対応していない旧型プロジェクタ320においても、新プロトコルの機能や操作をそのまま使用することが可能になる。したがって、PC100は、新型プロジェクタ310、旧型プロジェクタ320を区別することなく、同一の操作で画像データを送信することができる。   Further, according to the present embodiment, the PC 100 supports a new protocol (reference protocol) supported by the new OS by local communication with the virtual device 160 in the PC 100, and the virtual device 160 is an old protocol (target protocol). Can communicate with the old projector 320. As a result, even in the old projector 320 that does not support the new protocol, it becomes possible to use the functions and operations of the new protocol as they are. Therefore, the PC 100 can transmit image data by the same operation without distinguishing between the new projector 310 and the old projector 320.

また、本実施例によれば、PC100側に仮想的なネットワークプロジェクタ(仮想デバイス160)を構成し、最新のOSで提供されるネットワーク伝送プロトコルが、仮想デバイス160をローカルループバックアドレスによって検出して通信を行い、仮想デバイス160がPC100のネットワーク伝送プロトコルを既存のフォーマットにリアルタイムにプロトコル変換してプロジェクタに再送信する。   Further, according to the present embodiment, a virtual network projector (virtual device 160) is configured on the PC 100 side, and the network transmission protocol provided by the latest OS detects the virtual device 160 by the local loopback address. Communication is performed, and the virtual device 160 converts the network transmission protocol of the PC 100 into an existing format in real time, and retransmits it to the projector.

これにより、PC100は、最新のネットワーク伝送プロトコルや画像表示圧縮フォーマットに対応していない過去のプロジェクタ機種をファームウエアのアップデートやプロトコル変更等を行わずに新プロトコルに対応させることができる。   As a result, the PC 100 can make the past projector models that do not support the latest network transmission protocol and image display compression format compatible with the new protocol without updating the firmware or changing the protocol.

(第2の実施例)
図4は、第2の実施例における画像処理システムの機能ブロック図である。
(Second embodiment)
FIG. 4 is a functional block diagram of the image processing system in the second embodiment.

第1の実施例では、PC100の内部に仮想デバイス160を設け、ローカルループバックアドレスを用いて通信する方式を採用したが、仮想デバイス160の機能を外部の通信装置400に実装してもよい。   In the first embodiment, the virtual device 160 is provided in the PC 100 and the communication is performed using the local loopback address. However, the function of the virtual device 160 may be implemented in the external communication apparatus 400.

通信装置400は、基準プロトコル対応通信部410と、仮想スクリーン422を有する変換部420と、仮想管理部430と、対象プロトコル対応通信部440とを含んで構成されている。なお、これらの各部の機能は基準プロトコル対応通信部161、変換部162、仮想管理部163、対象プロトコル対応通信部164と同様である。ただし、基準プロトコル対応通信部410には、例えば、固定のIPアドレスが割り当てられ、通信部150との間で通常のTCP/IP通信を行う。   The communication device 400 includes a reference protocol compatible communication unit 410, a conversion unit 420 having a virtual screen 422, a virtual management unit 430, and a target protocol compatible communication unit 440. The functions of these units are the same as those of the reference protocol compatible communication unit 161, the conversion unit 162, the virtual management unit 163, and the target protocol compatible communication unit 164. However, for example, a fixed IP address is assigned to the reference protocol compatible communication unit 410, and normal TCP / IP communication with the communication unit 150 is performed.

なお、通信装置400は、PC100のUSBポートに差し込み可能なUSBドングルであってもよい。この場合、USBを経由したTCP/IPの通信には、例えば、RemoteNDIS技術等を用いることができる。   Note that the communication device 400 may be a USB dongle that can be plugged into the USB port of the PC 100. In this case, for example, RemoteNDIS technology or the like can be used for TCP / IP communication via USB.

また、通信装置400は、例えば、通信経路にある無線LANアクセスポイント、ルーター、ネットワークサーバー等であってもよい。   The communication device 400 may be, for example, a wireless LAN access point, a router, a network server, or the like on a communication path.

また、通信装置400は、PC100が用いている高機能なOSを有してもよい。   The communication device 400 may have a high-function OS used by the PC 100.

このような構成によっても、画像処理システムは、第1の実施例と同様の作用効果を奏することができる。   Even with such a configuration, the image processing system can achieve the same operational effects as the first embodiment.

(その他の実施例)
なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。
(Other examples)
In addition, application of this invention is not limited to the Example mentioned above, A various deformation | transformation is possible.

例えば、変換部162、420は、対象プロトコル形式から基準プロトコル形式へのデータ変換を行ってもよい。   For example, the conversion units 162 and 420 may perform data conversion from the target protocol format to the reference protocol format.

これによれば、PC100は、旧型プロジェクタ320の動作状態等を示す、いわゆるプレゼンス情報等についても、逆方向にリアルタイムにプロトコル変換して管理部140に伝達することができる。   According to this, the PC 100 can also convert so-called presence information indicating the operation state of the old projector 320 and the like into the management unit 140 by converting the protocol in real time in the reverse direction.

また、PC100は、画像データ送信だけではなく、例えば、旧型プロジェクタ320の電源管理等のプレゼンス制御等についても新プロトコルに対応させてもよい。   Further, the PC 100 may support not only the image data transmission but also the new protocol for presence control such as power management of the old projector 320, for example.

また、画像処理システムで用いられるコンピュータは、PC100には限定されず、例えば、ワークステーション、サーバー、ゲーム装置等であってもよい。また、表示装置はプロジェクタには限定されず、例えば、プロジェクションTV等のTV、液晶ディスプレイ、携帯型ゲーム装置、携帯電話等であってもよい。   The computer used in the image processing system is not limited to the PC 100, and may be a workstation, a server, a game device, or the like, for example. The display device is not limited to a projector, and may be a TV such as a projection TV, a liquid crystal display, a portable game device, a mobile phone, or the like.

第1の実施例における画像処理システムの機能ブロック図である。1 is a functional block diagram of an image processing system in a first embodiment. 第1の実施例における基準プロトコルを用いた場合の通信手順の概略図である。It is the schematic of the communication procedure at the time of using the reference | standard protocol in a 1st Example. 第1の実施例における対象プロトコルを用いた場合の通信手順の概略図である。It is the schematic of the communication procedure at the time of using the object protocol in a 1st Example. 第2の実施例における画像処理システムの機能ブロック図である。It is a functional block diagram of the image processing system in a 2nd Example.

符号の説明Explanation of symbols

100 PC(画像処理装置)、130 画像データ生成部、140 管理部、150 通信部、160 仮想デバイス、161、410 基準プロトコル対応通信部、162、420 変換部、163、430 仮想管理部、164、440 対象プロトコル対応通信部、200 情報記憶媒体、310 新型プロジェクタ、320 旧型プロジェクタ、400 通信装置   100 PC (image processing apparatus), 130 image data generation unit, 140 management unit, 150 communication unit, 160 virtual device, 161, 410 reference protocol compatible communication unit, 162, 420 conversion unit, 163, 430 virtual management unit, 164, 440 Target protocol compatible communication unit, 200 information storage medium, 310 new projector, 320 old projector, 400 communication device

Claims (8)

画像データを生成する画像データ生成部と、前記画像データを送信するための基準プロトコルに対応した表示装置へ向け前記画像データを送信する通信部と、を有するコンピュータを、仮想デバイスとして機能させるためのプログラムであって、
前記仮想デバイスは、
前記基準プロトコルに対応した表示装置として動作することによって前記画像データを受信する基準プロトコル対応通信部と、
前記画像データを、前記基準プロトコルとは異なるプロトコルであって、かつ、前記画像データを送信するためのプロトコルである対象プロトコルに準拠する形式に変換する変換部と、
前記対象プロトコルに対応した表示装置へ向け前記変換部によって変換された画像データを送信する対象プロトコル対応通信部と、
を含むことを特徴とするプログラム。
A computer having an image data generation unit that generates image data, and a communication unit that transmits the image data to a display device that supports a reference protocol for transmitting the image data. A program,
The virtual device is
A reference protocol compatible communication unit that receives the image data by operating as a display device corresponding to the reference protocol;
A conversion unit that converts the image data into a format that is different from the reference protocol and that conforms to a target protocol that is a protocol for transmitting the image data;
A target protocol compatible communication unit for transmitting the image data converted by the conversion unit to a display device corresponding to the target protocol;
The program characterized by including.
請求項1に記載のプログラムにおいて、
前記仮想デバイスは、前記対象プロトコルに対応した表示装置に関する情報を管理する仮想管理部を含むことを特徴とするプログラム。
The program according to claim 1,
The virtual device includes a virtual management unit that manages information related to a display device corresponding to the target protocol.
請求項2に記載のプログラムにおいて、
前記仮想管理部は、前記対象プロトコル対応通信部に前記対象プロトコルに対応した表示装置からの状態情報を受信させることにより、前記状態情報に基づく前記対象プロトコルに対応した表示装置が通信可能かどうかを示す通信可否情報を管理し、
前記対象プロトコル対応通信部は、前記通信可否情報に基づき、通信可能な表示装置へ向け前記変換部によって変換された画像データを送信することを特徴とするプログラム。
The program according to claim 2,
The virtual management unit determines whether the display device corresponding to the target protocol based on the status information can communicate by causing the target protocol compatible communication unit to receive status information from the display device corresponding to the target protocol. Manage communication availability information
The target protocol-compliant communication unit transmits the image data converted by the conversion unit to a communicable display device based on the communication availability information.
請求項1〜3のいずれかに記載のプログラムにおいて、
前記基準プロトコル対応通信部は、TCP/IPのローカルループバックアドレスを用いて前記通信部と通信することを特徴とするプログラム。
In the program according to any one of claims 1 to 3,
The reference protocol-compliant communication unit communicates with the communication unit using a TCP / IP local loopback address.
コンピュータにより読み取り可能な情報記憶媒体であって、請求項1〜4のいずれかに記載のプログラムを記憶した情報記憶媒体。   An information storage medium readable by a computer, the information storage medium storing the program according to claim 1. 画像データを生成する画像データ生成部と、前記画像データを送信するための基準プロトコルに対応した表示装置へ向け前記画像データを送信する通信部とを有するコンピュータと通信可能な通信装置であって、
前記基準プロトコルに対応した表示装置として動作することによって前記画像データを受信する基準プロトコル対応通信部と、
前記画像データを、前記基準プロトコルとは異なるプロトコルであって、かつ、前記画像データを送信するためのプロトコルである対象プロトコルに準拠する形式に変換する変換部と、
前記対象プロトコルに対応した表示装置へ向け前記変換部によって変換された画像データを送信する対象プロトコル対応通信部と、
を含むことを特徴とする通信装置。
A communication device capable of communicating with a computer having an image data generation unit that generates image data and a communication unit that transmits the image data to a display device that supports a reference protocol for transmitting the image data,
A reference protocol compatible communication unit that receives the image data by operating as a display device corresponding to the reference protocol;
A conversion unit that converts the image data into a format that is different from the reference protocol and that conforms to a target protocol that is a protocol for transmitting the image data;
A target protocol compatible communication unit for transmitting the image data converted by the conversion unit to a display device corresponding to the target protocol;
A communication device comprising:
画像処理装置と、当該画像処理装置と通信可能な少なくとも1台のプロジェクタとを有する画像処理システムであって、
前記画像処理装置は、
画像データを生成する画像データ生成部と、
前記画像データを送信するための基準プロトコルに対応したプロジェクタへ向け前記画像データを送信する通信部と、
仮想デバイスと、
を含み、
前記仮想デバイスは、
前記基準プロトコルに対応したプロジェクタとして動作することによって前記画像データを受信する基準プロトコル対応通信部と、
前記画像データを、前記基準プロトコルとは異なるプロトコルであって、かつ、前記画像データを送信するためのプロトコルである対象プロトコルに準拠する形式に変換する変換部と、
前記対象プロトコルに対応したプロジェクタへ向け前記変換部によって変換された画像データを送信する対象プロトコル対応通信部と、
を含むことを特徴とする画像処理システム。
An image processing system having an image processing device and at least one projector capable of communicating with the image processing device,
The image processing apparatus includes:
An image data generation unit for generating image data;
A communication unit for transmitting the image data to a projector corresponding to a reference protocol for transmitting the image data;
A virtual device,
Including
The virtual device is
A reference protocol compatible communication unit for receiving the image data by operating as a projector corresponding to the reference protocol;
A conversion unit that converts the image data into a format that is different from the reference protocol and that conforms to a target protocol that is a protocol for transmitting the image data;
A target protocol compatible communication unit for transmitting the image data converted by the conversion unit to a projector corresponding to the target protocol;
An image processing system comprising:
画像処理装置と、通信装置と、前記画像処理装置または前記通信装置と通信可能な少なくとも1台のプロジェクタとを有する画像処理システムであって、
前記画像処理装置は、
画像データを生成する画像データ生成部と、
前記画像データを送信するための基準プロトコルに対応したプロジェクタへ向け前記画像データを送信する通信部と、
を含み、
前記通信装置は、
前記基準プロトコルに対応したプロジェクタとして動作することによって前記画像データを受信する基準プロトコル対応通信部と、
前記画像データを、前記基準プロトコルとは異なるプロトコルであって、かつ、前記画像データを送信するためのプロトコルである対象プロトコルに準拠する形式に変換する変換部と、
前記対象プロトコルに対応したプロジェクタへ向け前記変換部によって変換された画像データを送信する対象プロトコル対応通信部と、
を含むことを特徴とする画像処理システム。
An image processing system comprising: an image processing device; a communication device; and at least one projector capable of communicating with the image processing device or the communication device,
The image processing apparatus includes:
An image data generation unit for generating image data;
A communication unit for transmitting the image data to a projector corresponding to a reference protocol for transmitting the image data;
Including
The communication device
A reference protocol compatible communication unit for receiving the image data by operating as a projector corresponding to the reference protocol;
A conversion unit that converts the image data into a format that is different from the reference protocol and that conforms to a target protocol that is a protocol for transmitting the image data;
A target protocol compatible communication unit for transmitting the image data converted by the conversion unit to a projector corresponding to the target protocol;
An image processing system comprising:
JP2006204655A 2006-07-27 2006-07-27 Program, storage medium, and image processing method Active JP4900576B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006204655A JP4900576B2 (en) 2006-07-27 2006-07-27 Program, storage medium, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006204655A JP4900576B2 (en) 2006-07-27 2006-07-27 Program, storage medium, and image processing method

Publications (2)

Publication Number Publication Date
JP2008035058A true JP2008035058A (en) 2008-02-14
JP4900576B2 JP4900576B2 (en) 2012-03-21

Family

ID=39124052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006204655A Active JP4900576B2 (en) 2006-07-27 2006-07-27 Program, storage medium, and image processing method

Country Status (1)

Country Link
JP (1) JP4900576B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015200989A (en) * 2014-04-07 2015-11-12 スター精密株式会社 Information processing device control system using portable terminal, portable terminal, method for controlling information processing device, and control program
JP2017045201A (en) * 2015-08-25 2017-03-02 キヤノン株式会社 Information processing apparatus and method of controlling the same, printing system, and program
JPWO2021181656A1 (en) * 2020-03-13 2021-09-16

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094624A (en) * 1999-09-22 2001-04-06 Ntt Docomo Inc Protocol converter and communication system using it
JP2003244389A (en) * 2002-02-21 2003-08-29 Oki Data Corp Facsimile incoming processing method, facsimile communication system and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094624A (en) * 1999-09-22 2001-04-06 Ntt Docomo Inc Protocol converter and communication system using it
JP2003244389A (en) * 2002-02-21 2003-08-29 Oki Data Corp Facsimile incoming processing method, facsimile communication system and program

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015200989A (en) * 2014-04-07 2015-11-12 スター精密株式会社 Information processing device control system using portable terminal, portable terminal, method for controlling information processing device, and control program
US10057845B2 (en) 2014-04-07 2018-08-21 Star Micronics Co., Ltd. Control system for information processing apparatus using portable terminal, portable terminal, and control method and control program for information processing apparatus
JP2017045201A (en) * 2015-08-25 2017-03-02 キヤノン株式会社 Information processing apparatus and method of controlling the same, printing system, and program
JPWO2021181656A1 (en) * 2020-03-13 2021-09-16
WO2021181656A1 (en) * 2020-03-13 2021-09-16 株式会社Pfu Data processing device, data processing method, and program
CN114746851A (en) * 2020-03-13 2022-07-12 株式会社Pfu Data processing device, data processing method, and program
JP7344366B2 (en) 2020-03-13 2023-09-13 株式会社Pfu Data processing device, data processing method, and program

Also Published As

Publication number Publication date
JP4900576B2 (en) 2012-03-21

Similar Documents

Publication Publication Date Title
JP2008130082A (en) Method for controlling device connected to upnp home network via internet, and system and device therefor
JP5305894B2 (en) Screen sharing system, setting change method, client device, and program
JP2007184858A (en) Image display system
JP2013178743A (en) Machine management device, machine management system, and program
JP2013178744A (en) Information processing device and program
US20070199065A1 (en) Information processing system
JP4900576B2 (en) Program, storage medium, and image processing method
JP2011041253A (en) Host device and slave device control method
JP2011010206A (en) Communication apparatus, control method thereof, and program
JP2010268318A (en) Device, method and program for detecting repeater
JP6086183B2 (en) Information processing system, information processing method, server, control method thereof, and control program
JP2004280636A (en) Information processing system including communication connection type information processing apparatus excluding user interface and its control method
JP2007304693A (en) Display apparatus selecting method, display apparatus selecting device, program and recording medium recording the program
JP2008217272A (en) Remote operation system and method, and program
JP6212367B2 (en) Information processing apparatus, portable terminal, device control system, and control method thereof
JP2006018430A (en) Information processor, network system, program, data structure and storage medium
JP5714546B2 (en) Operator system, remote support method, and program for operator system
WO2015122194A1 (en) Real-time communication system, real-time communication device, real-time communication method, and recording medium
KR20110115093A (en) Method for controlling function of a device included in home network
US20220272150A1 (en) Load balancing system, load balancing method, and non-transitory recording medium
JP2007272717A (en) Information management apparatus and its method
JP2015060278A (en) Information processing device, apparatus management system, program and apparatus management method
JP2009098179A (en) Conversion device, display system, program, and conversion method
JP5392032B2 (en) Screen transfer system, information processing apparatus, information processing method, and program
JP5213029B2 (en) Configuration information transmission method, configuration information transmission system, router and terminal

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110413

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111220

R150 Certificate of patent or registration of utility model

Ref document number: 4900576

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350