JP2008193603A - 通信装置、通信方法、通信システム及びプログラム - Google Patents

通信装置、通信方法、通信システム及びプログラム Download PDF

Info

Publication number
JP2008193603A
JP2008193603A JP2007028371A JP2007028371A JP2008193603A JP 2008193603 A JP2008193603 A JP 2008193603A JP 2007028371 A JP2007028371 A JP 2007028371A JP 2007028371 A JP2007028371 A JP 2007028371A JP 2008193603 A JP2008193603 A JP 2008193603A
Authority
JP
Japan
Prior art keywords
display terminal
state
normal state
power saving
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007028371A
Other languages
English (en)
Other versions
JP4309921B2 (ja
Inventor
Miyoshi Minematsu
美佳 峰松
Taijiyo Nishibayashi
泰如 西林
Shinya Murai
信哉 村井
Masataka Goto
真孝 後藤
Kensaku Yamaguchi
健作 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007028371A priority Critical patent/JP4309921B2/ja
Priority to US12/026,314 priority patent/US7983651B2/en
Publication of JP2008193603A publication Critical patent/JP2008193603A/ja
Application granted granted Critical
Publication of JP4309921B2 publication Critical patent/JP4309921B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32358Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter
    • H04N1/32363Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter at the transmitter or at the receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32358Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter
    • H04N1/32363Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device using picture signal storage, e.g. at transmitter at the transmitter or at the receiver
    • H04N1/32368Functions of a still picture terminal memory associated with transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00347Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0013Arrangements for the control of the connected apparatus by the still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0048Type of connection
    • H04N2201/0055By radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0086Image transceiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0089Image display device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W52/00Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02Power saving arrangements
    • H04W52/0209Power saving arrangements in terminal devices
    • H04W52/0225Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal
    • H04W52/0235Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal where the received signal is a power saving command
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Power Sources (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

【課題】通常は省電力状態で動作する表示端末へ通信装置からアクセスポイントを介しデータを送信する際、省電力性を維持したまま、データのロスを防ぐことを可能とする通信装置を提供すること。
【解決手段】通信装置1の差分情報格納部16には表示端末3に新たに表示させる画面の前画面との差分情報を蓄積している。画面が更新されるごとに、切替判定部20は、差分情報格納部16の蓄積量を調べ、閾値以上の情報があれば、ディスプレイ端末を省電力状態から通常状態へ変更させるものとして、メッセージ生成部21が、ディスプレイ端末を省電力状態から通常状態へ変更すべきことを指示する通常状態移行メッセージを生成し、これを通信部23がアクセスポイントを介して通常状態移行メッセージを送信する。これによって省電力状態のディスプレイ端末へのパケットがアクセスポイントにおいて廃棄等されることを回避することができる。
【選択図】 図2

Description

本発明は、通信装置、通信方法、通信システム及びプログラムに関する。
ユーザビリティの向上を目的として、最低限の入出力インターフェースを有する表示端末をユーザ側に配し、複雑な演算処理は遠隔地に位置する本体装置上で実行するコンピューティングシステムがある。
例えば、本体装置(パーソナルコンピュータ、サーバコンピュータ等)の画面情報を、ネットワークを介して遠隔のディスプレイ端末に投影するシステムが知られている(例えば特許文献1参照)。特許文献1に開示されたシステムの場合、ディスプレイ端末からの入力情報(デジタイザによるペン入力等)は、同じくネットワークを介して本体装置に送信され、実際のアプリケーションプログラム処理は本体装置が実行する。その後、実行結果及び画面更新情報がネットワークを介してディスプレイ端末に転送される。表示端末は、受信された画面更新情報により出力(描画)処理を実行する。
なお、遠隔ネットワーク上の本体装置からの画面情報を端末装置へ効率良く伝送するための技術として、VNC(Virtual Network Computing)が知られている。このVNCでは、画面の更新を検知した際、読み出した画素情報の値を前回表示端末に伝送した画素情報の値と比較し、前回から変化した更新画面領域を決定する。さらに、VNCでは、更新画面領域を静止画圧縮した後、表示端末に対して、圧縮した画面の差分情報のみを伝送することにより、通信帯域の消費を抑えることができる。従って、ウィンドウの移動等、画面の変更が大きい場合には、送信すべき画面情報量が増加し、反対に画面の変更が小さい場合には、送信すべき画面情報量は減少する。
表示端末が、例えばIEEE802.11規格に準拠した無線LANによる通信手段を用いて、上記コンピュータシステムを実現する際、表示端末が送受信処理を行っていない場合にも、電力が無駄に消費されてしまう問題がある。
しかし、特許文献1では、省電力に関する技術は扱っていない。
ところで、IEEE802.11の省電力方式に、端末の動作モードとして、アクティブモード(通常状態:常時通信可能の状態)と、パワーセーブモード(省電力状態:通信可能と通信不可能の状態を周期的に繰り返す状態)の2種類が存在する。パワーセーブモードでは、アクセスポイントからのビーコンフレーム受信周期毎に、無線処理部の送受信系統に電力を供給してアウェイク状態に移行するが、それ以外の時期では、必要最低限の電力で動作するドーズ状態に遷移する。パワーセーブモードで動作している端末へのデータフレームは、アクセスポイントにてバッファリングされ、端末から送信要求フレームを受信するまで、送信することは出来ない。従って、単純にIEEE802.11の省電力制御を適用したのみでは、データが蓄積されてアクセスポイントのバッファでオーバフローしてしまう課題がある。
ここで、特許文献2には、相互に無線通信が可能なコンピュータとワイヤレスディスプレイとで構成され、コンピュータでの特定のイベント(例えば、メールの着信、スケジュールの予定時刻)の発生を検知し、ワイヤレスディスプレイの状態を省電力から通常状態へ切り替える技術が開示されている。
しかし、特許文献2では、無線通信処理部の省電力化に関して、IEEE802.11の無線LANを想定したアクセスポイントと端末との間の動作状態通知制御(通常状態あるいは省電力状態)が考慮されておらず、例えば端末が省電力状態から通常状態へ以降した後も、アクセスポイントは端末宛のフレームをバッファリングし、バッファオーバフローに繋がってしまう課題がある。
米国特許第6784855号公報 特開2002−323942号公報
以上のように、従来、通信装置からアクセスポイントを介して通常は省電力状態で動作している表示端末へデータを送信する際、通信装置から表示端末へのデータがアクセスポイントで廃棄されるおそれがあるという不具合があった。
本発明は、上記事情を考慮してなされたもので、通信装置からアクセスポイントを介して通常は省電力状態で動作している表示端末へデータを送信する際、省電力性を維持したまま、通信装置から表示端末へのデータのロスを防ぐことを可能とする通信装置、通信方法、通信システム及びプログラムを提供することを目的とする。
本発明は、画像情報を表示画面に表示する表示端末に対して、無線アクセス装置を介して画像情報を送信する通信装置であって、新たに発生した前記表示端末へ送信すべき画像情報を一時的に記憶する記憶手段と、前記記憶手段に記憶されている画像情報の量が、或る閾値以上に至った場合に、前記表示端末の無線通信処理部の状態を省電力状態から通常状態へ変更させることを決定する決定手段と、前記決定手段が前記変更をさせるべきものと決定した場合に、前記表示端末の無線通信処理部の状態を省電力状態から通常状態へ変更すべきことを指示する通常状態移行メッセージを生成するメッセージ生成手段と、生成された前記通常状態移行メッセージを前記表示端末に宛てて送信する送信手段とを備えたことを特徴とする。
また、本発明は、画像情報を表示画面に表示する1又は複数の表示端末と、該表示端末に対して、無線アクセス装置を介して画像情報を送信する通信装置とを含む通信システムであって、前記通信装置は、新たに発生した前記表示端末へ送信すべき画像情報を一時的に記憶する記憶手段と、前記記憶手段に記憶されている画像情報の量が、或る閾値以上に至った場合に、前記表示端末の無線通信処理部の状態を省電力状態から通常状態へ変更させることを決定する決定手段と、前記決定手段が前記変更をさせるべきものと決定した場合に、前記表示端末の無線通信処理部の状態を省電力状態から通常状態へ変更すべきことを指示する通常状態移行メッセージを生成するメッセージ生成手段と、生成された前記通常状態移行メッセージを前記表示端末に宛てて送信する送信手段とを備え、前記表示端末は、前記無線アクセス装置を介して前記通信装置との間で無線通信を行うための無線通信処理部と、前記通信装置から前記通常状態移行メッセージを受信した場合に、前記無線通信処理部の状態を省電力状態から通常状態へ切り替える制御を行う制御手段とを備えたことを特徴とする。
本発明によれば、通信装置からアクセスポイントを介して通常は省電力状態で動作している表示端末へデータを送信する際、省電力性を維持したまま、通信装置から表示端末へのデータのロスを防ぐことが可能になる。
以下、図面を参照しながら本発明の実施形態について説明する。
図1に、本発明の一実施形態に係る画面転送システムの構成例を示す。図1に示すように、本実施形態の画面転送システムは、本体装置(通信装置)1、本体装置1とネットワーク8を介して接続されたアクセスポイント5(無線アクセス装置)、アクセスポイント5と無線通信を行う1又は複数のディスプレイ端末(表示端末)3を備えている。なお、図1では、2台のディスプレイ端末D1,D2を例示しているが、ディスプレイ端末の台数は任意である。
図1の画面転送システムにおいて、本体装置1は、任意のディスプレイ端末3を対象として、アクセスポイント5を介して画像データを送信することが可能な通信装置であり、ディスプレイ端末3は、本体装置1からアクセスポイント5を介して画像データを受信し表示することの可能な無線端末である。
また、本体装置1は、概略的には、ディスプレイ端末3が、通常は、省電力状態で動作している場合に、アクセスポイント5でバッファオーバフローが起こりそうな状況においてだけ、ディスプレイ端末3を、通常状態で動作させるように制御することにより、省電力性を維持したまま、データのロスを防ぐことを可能にするものである。
ここでは、画面転送システムが、本体装置1上で動作するアプリケーションソフトウェアの画面を、アクセスポイント5を介して対象となる1又は複数のディスプレイ端末3へ無線転送し、各ディスプレイ端末3へアプリケーションソフトウェアの画面を表示する、いわゆるアプリケーション画面共有機能を有するものである場合を例にとって説明する。また、本体装置1側で、更新された画面をリアルタイムにディスプレイ端末3へ転送するために、本体装置1の画面内で更新された部分の画像データ(図1の更新画像情報U)のみを転送する場合を例にとって説明する。
以下、本体装置1について詳しく説明する。
図2に、本体装置1の構成例を示す。図2に示すように、本体装置1は、入力デバイス11、イベント取得部12、更新情報格納部13、更新画像を記憶するための画像バッファ14、差分検出部15、差分情報格納部16、送信画像生成部17、送信画像格納部18、タイマー19、切替判定部20、メッセージ生成部21、状態判定部22、通信部23、セッション情報記憶部24、セッションマネージャ25、ディスプレイ26を備えている。
なお、この本体装置1の機能構成を通信プログラムとし、該通信プログラムが本体装置1に処理を実行させるようにしてもよい。
本体装置1は、例えば、CPU(セントラルプロセッシングユニット)、メモリ、ハードディスク装置などにより構成されるコンピュータなどで実現することができる。
入力デバイス11は、例えば、ディスプレイ26の画面に表示されたカーソルを移動操作するマウスなどで実現してもよいし、キーボード、トラックボールなどを用いて実現してもよい。
イベント取得部12は、例えばアプリケーションプログラムの動作により発生するイベントにしたがって、ディスプレイ端末3に表示させる画像データを生成する第1の生成部として機能する。
イベント取得部12は、例えば、コンピュータを統括制御するOS(オペレーティングシステム)と、このOSに組み込まれたディスプレイドライバと同等の機能を有する仮想ディスプレイドライバ、画像描画用のフレームバッファと、OS上で動作するアプリケーションソフトウェアなどのアプリケーションプログラムとで実現してもよい。この場合、イベント取得部12は、アプリケーションソフトウェアにより画面が更新されたり、マウス操作などでカーソルが移動操作されて画面内の任意の領域の画像が更新されたりすると、仮想ディスプレイドライバがOSのグラフィクエンジンから描画命令を取得し、描画処理を行うことで更新画像を生成し、該画像情報あるいは更新矩形領域の情報を、キュー形式の更新情報格納部13に格納する。
差分検出部15は、更新情報格納部13内に更新矩形領域の情報が存在する場合には、フレームバッファにアクセスし、矩形領域情報の示す座標、面積分、更新画像情報を取得する。また、更新情報格納部13内に画像情報が存在する場合には、該画像情報は更新画像そのものである。差分検出部15が更新情報格納部13及び又はフレームバッファより取得した画像データは、画像バッファ14の所定の位置へ順次出力し記憶する。
さらに、差分検出部15は、画像バッファ14に順次保持される新旧の更新画像の差分を検出する。つまり、イベント取得部12により生成された新たな画像データと画像バッファ14にバッファリングされた画像データとの間の差分を検出する。取得した差分情報は、キュー形式の差分情報格納部16に格納する。
また、差分検出部15は、差分検出直後に、切替判定部20に対して、画面更新通知を伝達する。
送信画像生成部17は、差分情報格納部16内に差分情報が存在する場合、差分の画像を送信用に圧縮処理することで、圧縮画像である送信画像データを生成する。つまり、送信画像生成部17は、差分検出部15により検出された差分からアクセスポイント5を介してディスプレイ端末3に送信する送信画像データを生成する第2の生成部として機能する。
また、送信画像生成部17は、送信画像データを生成した直後に、状態判定部22に対して、対象となるディスプレイ端末3に送信を行っても良いか否かの問い合わせを実施する。状態判定部22からの返答が、送信可能を示すものである場合は、生成した送信画像データを、通信部23に渡す。状態判定部22からの返答が、送信不可能を示すものである場合は、生成した送信画像データを、キュー形式の送信画像格納部18に格納する。
さらに、送信画像生成部17は、送信画像データの生成処理直後に、切替判定部20に対して、処理完了通知を伝達する。
なお、送信画像生成部17および差分検出部15は、例えば、画面転送アプリケーションソフトウェアなどにより実現することができる。
切替判定部20は、差分検出部15から画面更新通知を受けた時点で、差分情報格納部16に、ある閾値t以上の画面更新情報が存在するか否かを調べる。閾値t以上の画面更新情報が存在することを確認した場合、ディスプレイ端末3にアクティブモード(通常状態)へ移行させるための指示を出すものと判定する。
また、切替判定部20は、送信画像生成部17から処理完了通知を受けた時点で、差分検出部15を通じて以後の画面更新が存在しないことを確認した場合に、ディスプレイ端末3にパワーセーブモード(省電力状態)へ移行させるものと判定する。
なお、例えば、切替判定部20が、差分検出部15から通知を受けなくても、定期的に、差分情報格納部16の画面更新情報の量を調べ、閾値t以上になっていたら、ディスプレイ端末3にアクティブモード(通常状態)へ移行させるための指示を出すものと判定し、差分情報格納部16が空になっていたら、ディスプレイ端末3にパワーセーブモード(省電力状態)へ移行させるものと判定する。
また、上記閾値tとは異なる閾値(ta<tとする。)を設け、切替判定部20が、差分情報格納部16の画面更新情報の量を調べた際に、上記閾値t以上になった記憶量が、その後、閾値ta以下になっていた場合に、ディスプレイ端末3にパワーセーブモード(省電力状態)へ移行させるものと判定するようにしてもよい。
メッセージ生成部21は、切替判定部20からの判定結果に従って、閾値t以上の画面更新情報を確認した場合に、アクセスポイント5に接続中のディスプレイ端末3の無線通信処理部(図7の無線通信処理部31参照)の状態を、パワーセーブモードからアクティブモードへと変更させるための通常状態移行メッセージを生成する。
また、メッセージ生成部21は、切替判定部20からの判定結果に従って、以後の画面更新が存在しないことを確認した場合に、アクセスポイント5に接続中のディスプレイ端末3の無線通信処理部の状態を、アクティブモードからパワーセーブモードへと変更させるための省電力状態移行メッセージを生成する。
つまり、メッセージ生成部21は、切替判定部20により変更と判定された通信状態の変更を指示するメッセージを生成する。
状態判定部22は、切替判定部20によりパワーセーブモードからアクティブモードへ変更するよう判定されたディスプレイ端末3の無線通信処理部の状態が、アクティブモードに移行完了したか否かを判定する。
また、状態判定部22は、送信画像生成部17から送信を行っても良いか否かの問い合わせを受けた場合、アクティブモードに移行完了したと判定されたときは、送信可能を示す応答を送信画像生成部17へ返し、アクティブモードに移行完了していないと判定されたときは、送信不可能を示す応答を返す。
なお、上記では、送信画像生成部17から状態判定部22へ問い合わせを行い、状態判定部22は、これに対して送信画像生成部17へ返答をするものとしたが、状態判定部22は、移行完了を判定した時点で、送信画像生成部17に通知を行うようにしてもよい。
また、状態判定部22が移行完了を判定した時点で、送信画像格納部18にデータが存在する場合は、順次送信される。
セッション情報記憶部24には、現在、自装置(当該本体装置1)とアクセスポイント5を介してセッションを確立しているディスプレイ端末3の宛先の情報、例えばユーザ識別情報などと、セッション使用中か否かを示す情報、伝送制御がTCPかUDPかといった情報が対応して記憶されている。
例えば、図1において、本体装置1と2台のディスプレイ端末D1,D2とでセッションを確立している状態では、アクセスポイント5も該当ディスプレイ端末D1,D2との間でネゴシエーションを完了し、無線通信可能な状態にある。
つまり、このようなシステムの場合、一台の本体装置1に対して多数のディスプレイ端末3(例えば、図1のD1及びD2)がセッションを確立することがあるため、セッション情報記憶部24には、本体装置1から送信するパケットの宛先を識別するための情報が記憶されている。
通信部23は、メッセージ生成部21により生成された通常状態移行メッセージ若しくは省電力状態移行メッセージ、あるいは送信画像生成部17により生成された送信画像データを、セッションマネージャ25により指示された該当識別情報を持つディスプレイ端末3(例えば、図1のD1及びD2)へアクセスポイント5を介して送信する。
本体装置1は、ディスプレイ端末3(例えば、図1のD1及びD2)毎のアプリケーション処理を行い、その結果、画面の状態に変更が発生すれば、更新画面の差分情報、いわゆる更新画像を静止画圧縮して、更新画面情報Uとしてディスプレイ端末3(例えば、図1のD1及びD2)に向けて送信する。
図3に、本体装置1における動作手順の一例を示す。
本体装置1は、画面更新情報を検知すると(ステップS11)、差分情報格納部16に、ある閾値t以上の画面更新情報が存在するか否かを調べ、閾値t以上の画面更新情報が存在することを確認した場合(ステップS12)、通常状態移行メッセージをディスプレイ端末3へ送信する(ステップS13)。
矩形領域として切り出した差分画面情報を静止画圧縮する(ステップS14)。
以後の画面更新情報が存在しないことを確認した場合に(ステップS15)、省電力フラグを立てる(ステップS16)。
ディスプレイ端末3の状態がパワーセーブモードからアクティブモードへ遷移するのを待つ場合(ステップS17)、生成した圧縮画像をキュー形式の送信画像格納部18に格納する(ステップS18)。
ディスプレイ端末3の状態がパワーセーブモードからアクティブモードへ遷移した場合(ステップS17)、ディスプレイ端末3へ宛てて、圧縮画像を送信する(ステップS19)。
省電力フラグが立っている場合には(ステップ20)、省電力状態移行メッセージをディスプレイ端末3へ送信する(ステップS21)。
図4に、本体装置1が通常状態移行メッセージをディスプレイ端末3へ送信した場合における動作手順の一例を示す。
本体装置1は、通常状態移行メッセージをディスプレイ端末3へ送信すると(ステップS31)、ディスプレイ端末3においてパワーセーブモードからアクティブモードへ遷移したと判断されるまで待機し、パワーセーブモードからアクティブモードへ遷移したと判断されると(ステップS32)、キュー形式の送信画像格納部18に圧縮画像が存在すれば(ステップS33)、ディスプレイ端末3へ圧縮画像を送信する(ステップS34)。
以下、アクセスポイント5について詳しく説明する。
図5に、アクセスポイント5の構成例を示す。図5に示すように、アクセスポイント5は、例えばIEEE802.3による有線通信処理部51、例えばIEEE802.11(a/b/g等)に準拠して無線による情報の伝送を行う無線通信処理部53、互いの間の情報をやり取りするブリッジ処理部52を備えている。
また、無線通信処理部53には、MAC(Medium Access Control)層531と物理層(PHY(Physical)層)532からなる無線部、及び省電力管理部533が設けられている。無線部は、無線空間上で物理フレームを送受信するためのアンテナ54を有する。
アクセスポイント5では、外部より有線通信処理部51を通じて入力されたデータは、ブリッジ処理部52により転送、フィルタリング処理された後、無線通信処理部53へ渡される。また、この逆に、無線通信処理部53を通じて入力されたデータは、ブリッジ処理部52により転送、フィルタリング処理された後、有線通信処理部51へ渡される。
アクセスポイント5は、有線通信処理部51により画面の更新画像が受信された場合、ディスプレイ端末3とのMAC層における省電力管理部533から、ディスプレイ端末3の無線通信処理部(図7の無線通信処理部31参照)の動作状態を確認し、該ディスプレイ端末3がアクティブモードで動作中であれば、速やかにデータ送信を行う。一方、ディスプレイ端末3がパワーセーブモードで動作中であれば、該ディスプレイ端末3宛てのデータをバッファリングし、周期的に送信するビーコンフレーム中の制御情報として、当該ディスプレイ端末3宛てのデータが存在する旨を通知する。
なお、アクセスポイント5の省電力管理部533は、ディスプレイ端末3から受信したMACフレームのMACヘッダーのパワーマネージメント情報(Power Management Field)を解析することで、アクティブモードあるいはパワーセーブモードの認識を管理することができる。
図6に、アクセスポイント5における動作手順の一例を示す。
アクセスポイント5は、ディスプレイ端末3よりMACフレームを受信すると(ステップS41)、MACヘッダーのパワーマネージメント情報を調べ、この結果、パワーセーブモードであれば(ステップS42)、ディスプレイ端末3宛てのデータフレームは、全てバッファリングを行うとともに、蓄積中の旨をビーコンで通知し(ステップS43)、ディスプレイ端末3より送信要求(PS−Poll(Power Save Poll))フレームを受信すると、バッファリングしたデータフレームを該ディスプレイ端末へ送信する(ステップS44)。
また、MACヘッダーのパワーマネージメント情報を調べた結果、アクティブモードであれば(ステップS42)、ディスプレイ端末3宛てのデータフレームは、バッファリングせずに送信する(バッファリング中のデータも開放して送信する)(ステップS45)。
以下、ディスプレイ端末3について詳しく説明する。
図7に、ディスプレイ端末3の構成例を示す。図7に示すように、ディスプレイ端末3は、無線通信処理部31、無線通信処理部31の動作状態を切り替える制御を行う切替コントローラ32、無線通信処理部31の通信状態の移行完了を通知するメッセージを生成するメッセージ生成部33、ビデオメモリとしての画像バッファ34、画面生成部35、入力情報生成部36、セッションマネージャ37、セッション情報記憶部38、入出力インターフェース39、ディスプレイ40、入力デバイス41を備えている。
また、無線通信処理部31には、MAC層311とPHY層312からなる無線部、及び省電力コントローラ313が設けられている。無線部は、無線空間上で物理フレームを送受信するためのアンテナ42を有する。
セッションマネージャ37及びセッション情報記憶部38は、図1の本体装置1のセッション情報記憶部24及びセッションマネージャ25と同様である。
メッセージ生成部33は、切替コントローラ32が、無線通信処理部31の動作状態をパワーセーブモードからアクティブモードへ切り替えた後、無線通信処理部31の動作状態をアクティブモードに移行完了した旨を通知するメッセージを生成する。
ディスプレイ端末3の省電力コントローラ313は、無線通信処理部31の省電力動作状態を管理し、パワーセーブモードでの動作中は、アクセスポイント5からのビーコンフレーム受信周期毎に、アンテナ42を含む無線通信処理部31の送受信系統に電力を供給してアウェイク(通信可能)状態に移行するが、それ以外の時期では、必要最低限の電力で動作するドーズ(通信不可能)状態に遷移する。アクセスポイント5から受信したビーコンフレームの情報を解析し、自身宛てのデータが蓄積されていることを認識した場合は、送信要求フレームを送信して、自身宛てのフレーム送信を促す。
無線通信処理部31は、本体装置1から送信された無線信号をアンテナ42で受信する。無線通信処理部31は、受信された無線信号を復調してパケットを生成し、パケットのメッセージ種別に応じて、切替コントローラ32および画面生成部35へ該当データを渡す。
パケットが画面転送システムにおけるデータパケットの場合、そのパケットから抽出した圧縮画像が画面生成部35に渡される。画面生成部35は、渡された圧縮画像を伸張処理した後、伸張した画像データを、描画用の画像バッファ34の指定描画位置へ書き込む。つまり、画面生成部35は、本体装置1から送信され無線部により受信された圧縮画像を伸張して生成した部分画像を、ディスプレイ40の指定位置へ表示する。
パケットが通常状態移行メッセージ(図9参照)の場合は、切替コントローラ32に渡される。切替コントローラ32は、渡されたメッセージを受信した時点で、省電力コントローラ313を通じて、無線通信処理部31の動作状態を、パワーセーブモードからアクティブモードへと切り替える制御を行う。
パケットが省電力状態移行メッセージ(図10参照)の場合は、切替コントローラ32に渡される。切替コントローラ32は、渡されたメッセージを受信した時点で、省電力コントローラ313を通じて、無線通信処理部31の動作状態を、アクティブモードからパワーセーブモードへと切り替える制御を行う。
無線通信処理部31を介して送信されるMACフレームのMACヘッダー内には、自装置(当該ディスプレイ端末3)の動作状態を示す情報部が存在し、この情報を用いることで、アクティブモードかパワーセーブモードかをアクセスポイント5に通知することが可能となる。ここで、ディスプレイ端末3が、本体装置1から更新画面情報を受信するために、トランスポート層プロトコルとして、TCP(Transmission Control Protocol)を用いている場合、送達確認フレームをアクセスポイント5経由で返信する際、併せて無線通信処理部31の状態をアクセスポイント5に通知することが可能であるが、UDP(User Datagram Protocol)を用いている場合は、送達確認フレームが存在しないため、別途アクセスポイント5に対して、何らかのフレームを送信して自身の無線通信処理部31の動作状態を通知する方法を用いることが望ましい。または、本体装置1に対して、無線通信処理部31の動作状態をアクティブモードに移行完了した旨を通知するパケットを送信し、併せてアクセスポイント5に対して、動作状態がアクティブモードであることを通知する方法も考えうる。
図8に、ディスプレイ端末3における動作手順の一例を示す。
ディスプレイ端末3は、本体装置1から状態移行メッセージを受信した場合(ステップS51)、それが通常状態移行メッセージであれば(ステップS52)、無線通信処理部31をアクティブモードに移行し(ステップS53)、メッセージを生成する場合には(ステップS54)、通常状態移行完了メッセージを送信する(ステップS55)。
また、本体装置1から受信した状態移行メッセージが省電力状態移行メッセージであれば(ステップS52)、無線通信処理部31をパワーセーブモードに移行する(ステップS57)。
図9に、本体装置1がディスプレイ端末3に対して送信する、通常状態移行メッセージの一例を示す。
図9に示すように、通常状態移行メッセージは、IPヘッダー、UDP/TCPヘッダー、アクティブモード(通常状態)への移行を示すメッセージ種別などにより構成されている。
IPヘッダーは、ネットワーク層の制御情報としてのIP(Internet Protocol)ヘッダーである。UDP/TCPヘッダーは、トランスポート層の制御情報として、伝送制御がUDP(User Datagram Protocol)かTCP(Transmission Control Protocol)によって異なる制御情報である。
メッセージ種別には、通常状態移行メッセージであることを識別するための一意な種別情報が設定される。当該メッセージを受信することで、ディスプレイ端末3は、切替コントローラ32を介して、無線通信処理部31の状態をアクティブモードへと切り替える制御を行う。
また、図10に、本体装置1がディスプレイ端末3に対して送信する、省電力状態移行メッセージの一例を示す。
図10に示すように、省電力状態移行メッセージは、IPヘッダー、UDP/TCPヘッダー、パワーセーブモード(省電力状態)への移行を示すメッセージ種別などにより構成されている。
メッセージ種別には、省電力状態移行メッセージであることを識別するための一意な種別情報が設定される。当該メッセージを受信することで、ディスプレイ端末3は、切替コントローラ32を介して、無線通信処理部31の状態をパワーセーブモードへと切り替える制御を行う。
ところで、上記構成例では、省電力状態移行メッセージは、本体装置1において連続的に発生する画面更新の終端を意味するものである。従って、最後の更新画面の送信画像の生成を完了した直後に、該省電力状態移行メッセージを送信するための条件を満たしている場合は、圧縮画像(送信画像)と省電力状態移行メッセージとを集約することも考え得る。
図11は、この場合における、IPヘッダー、UDP/TCPヘッダー、矩形情報、圧縮画像制御情報、圧縮画像、パワーセーブモードへの移行を示すメッセージ種別から構成されるメッセージを示している。
前述のように、ネットワーク層の制御情報としてIPヘッダー、トランスポート層の制御情報として、UDP/TCPヘッダーが存在する。
矩形情報は、後続の圧縮画像を伸張、表示可能な形式にした後、描画箇所を指定するための座標(例えば、x、y)や面積(例えば、縦、横の長さ)といった情報を含む。圧縮画像制御情報は、量子化パラメータやハフマンテーブル情報といった、画像の復号時に必要な情報であり、例えばJPEG(Joint Photographic Experts Group)の場合は、SOI(Start Of Image)(イメージの開始)からSOS(Start Of Scan)(圧縮された画像情報)の前までを意味しており、圧縮画像は、本体装置1において静止画圧縮された画像情報であり、上記復号用の制御情報を用いて、元の画像に復元される。JPEGでは、上記SOSからEOI(End Of Image)(イメージの終端)までを意味している。
図11に示すように、圧縮された画像情報の後ろに、パワーセーブモードへの移行を示すメッセージ種別を付加することで、別途新たなメッセージパケットを作成して送信するよりも効率的に、当該メッセージ内の画像情報が、本体装置において連続的に発生する画面更新の終端であることを、ディスプレイ端末3に通知することも可能である。
さて、上記構成例では、無線通信処理部31は、IEEE802.11の規格に従った通信処理を行う。媒体アクセス制御として、CSMA/CA(Carrier Sense Multiple Access with Collision Avoidance)を採用しているIEEE802.11では、PHY層のプロトコルの変更によって通信速度の高速化を図ってきた。
2.4GHz周波数帯については、IEEE802.11(2Mbps)からIEEE802.11b(11Mbps)、そしてIEEE802.11g(54Mbps)規格が生まれており、これらについてもサポートする。5GHz周波数帯については、現在のところIEEE802.11a(54Mbps)が存在しており、この周波数帯についても無線通信処理部31ではサポートしている。
また、IEEE802.11では、省電力化に関する方式が規定されている。すなわち、無線端末の動作モードとして、アクティブモード(active mode)(常時通信可能の状態)と、パワーセーブモード(power save mode)(通信可能と通信不可能の状態を周期的に繰り返す)の2種類が存在し、パワーセーブモードでは、アクセスポイントからのビーコンフレーム受信周期毎に、無線処理部の送受信系統に電力を供給してアウェイク状態に移行するが、それ以外の時期では、必要最低限の電力で動作するドーズ状態に遷移する。
図12に、パワーセーブモード中の無線端末(図1ではディスプレイ端末3)の動作の例を示す。図12(a)は、時間軸を示しており、ビーコン周期(Beacon-Interval)毎に、ビーコンフレームを作成し、自局管理下の無線ネットワーク(BSS(Basic Service Set))に向けてブロードキャストする。図12(b)は、アクセスポイント(図1ではアクセスポイント5)の送信するフレームの例を表しているが、ビーコンフレームには、TIM(Traffic Indication Message)と呼ばれる識別フィールドが存在し、無線端末宛のMACデータフレームが存在する場合は、対応するビットを有効にして、端末にその旨を通知する。なお、アクセスポイントは、DTIM(Delivery Traffic Indication Message)と呼ばれる時間間隔(DTIM Interval)毎に、蓄積したマルチキャスト/ブロードキャストフレームをバッファから開放して送信する。図12(c)は、パワーセーブモードで動作中の端末の動作を示している。端末は、指定したビーコン受信周期毎に、無線処理部(図7では無線通信処理部31)の送受信系統に電力を供給してアウェイク(Awake)状態に移行し、ビーコンフレームの受信処理を行う。そして、自身宛のフレームがアクセスポイントにて蓄積されている場合は、送信要求(PS−Poll)フレームを送信し、その応答となる自身宛のフレーム受信が完了するまで、アウェイクの状態を維持する。なお、無線端末は、DTIM周期毎にもドーズ(Doze)状態からアウェイク状態に移行し、マルチキャスト/ブロードキャストフレームの受信を行う。
図13は、MACフレームの構成を示したものである。制御情報を格納するためのFrame Controlフィールドには、Power Managementビットが存在し、このビットの指定方法によって、端末の無線通信処理部31が現在アクティブモードで動作中か、パワーセーブモードで動作中かを通知する。
ここで、アクセスポイントは、パワーセーブモードで動作中の無線端末宛のデータフレームは、そのまま送信せずに、自局内でバッファリングを行うため、図1のシステムにおいて、単純にIEEE802.11の省電力制御(パワーセーブモード)を適用したのみでは、画面更新情報が蓄積されてアクセスポイントのバッファでオーバフローしてしまう問題がある。
以下、図14〜図18を参照して本実施形態の画面転送システムの動作例についてさらに説明する。
ここでは、複数のディスプレイ端末3のうち、例えば図1のディスプレイ端末D1と本体装置1との間でVNC(Virtual Network Computing)のような画面転送アプリケーションを利用し、本体装置1の画面情報をディスプレイ端末D1へ転送してアプリケーション画面共有機能を実現しているケースを例にして説明する。
まず、このケースの画面転送システムの概要動作を、図14の動作例を参照しながら説明する。
ディスプレイ端末3は、通常、無線通信処理部31をパワーセーブモードで動作させているものとする。前述のように、パワーセーブモードで動作中のディスプレイ端末3宛てのデータフレームは、アクセスポイント5にてバッファリングされ、ディスプレイ端末3宛てのデータを蓄積している旨を周期的なビーコンフレームで通知する。ディスプレイ端末3は、ビーコンフレームにより、自身宛てのデータが蓄積されていることを認識すると、送信要求(PS−Poll)フレームを送信して、アクセスポイント5に対してデータフレームの開放を促す。従って、パワーセーブモードでの動作中は、データフレームは、最大で指定したビーコン受信周期時間アクセスポイントにおいてバッファリングされる可能性がある。
ディスプレイ端末3は、例えば図7のようにデジタイザのような入力デバイス41を有しており、入出力インターフェース39を介して、該入力デバイス41への入力を検知する(ステップS101)。また、これと同時に、座標等の入力情報を取得し、入力情報生成部36は、この入力情報を含むメッセージを生成し、これがアクセスポイント3を介して、本体装置1へ与えられる(ステップS101)。
ディスプレイ端末3から入力情報を受信した本体装置1は、該入力情報をウィンドウシステム上のマウス操作(例えば、クリック、ドラッグ&ドロップなど)等のイベントとみなし、それに基づいたアプリケーション処理を実行する(ステップS102)。
その際、マウスの移動や新規ウィンドウ起動といった、画面状態の更新が発生し得る。本体装置1のイベント取得部12は、OSから得られた画面の変更のあった部分画像、もしくは更新矩形領域情報を、更新情報格納部13に出力する。そして、差分検出部15は、更新情報格納部13を介して部分画像を取得するとともに、受け取った部分画像を画像バッファ34に順次記憶しつつ、ディスプレイ端末3へ前回送出した画像との差分を求めて、差分情報格納部16に格納する。そして、送信画像生成部17にて差分の画像を送信用に圧縮処理した後、ディスプレイ端末3へ送信する。
送信画像生成部17は、入力された更新画像を静止画圧縮して圧縮画像を生成するとともに、セッションマネージャ25から宛先情報を受け取って送信用のパケットを生成し通信部23へ渡す。通信部23は、渡されたパケット(図1の更新画面情報U)をネットワーク8へ送信する(ステップS104)。
なお、画面の更新は、連続的に発生するが、利用可能なネットワーク8の帯域に併せて、取得矩形領域のコマ落とし処理をし、実際に送信する画面情報の選択を行った後、静止画圧縮して伝送する。
送信画像生成部17の静止画圧縮処理は、JPEG(Joint Photographic Experts)のような不可逆圧縮でもよいし、可逆圧縮方式を用いてもよい。
なお、本体装置1の更新情報格納部13は、キュー状に画面情報や矩形情報を格納しており、差分検出部15は、先入れ先出しの手順に基づいて、キューの先頭から上記情報を取り出す。また、本体装置1の差分情報格納部16は、キュー状に更新画像を格納しており、送信画像生成部17は、先入れ先出しの手順に基づいて、キューの先頭から上記情報を取り出す。従って、該差分情報格納部16に、閾値以上の更新画像が蓄積している場合は、ディスプレイ端末3に対して通常状態移行指示を送信する(ステップS103)。一方、該更新情報格納部13に、画面情報や矩形情報が存在しない場合は、ディスプレイ端末に対して省電力状態移行指示を送信する(ステップS105)。
差分検出部15により画面更新が検知されると、差分検出部15から切替判定部20に画面更新を通知し、切替判定部20は、差分情報格納部16を介して、閾値以上の画面更新が存在するか否かを検査する。閾値以上の画面更新が存在する場合は、ディスプレイ端末3に対して、上記通常状態移行メッセージをメッセージ生成部21が生成した後、通信部23を介して送信処理を行う。
なお、上記閾値の初期値は、例えば、試験データの送信を行いながら、アクセスポイントのバッファの空き具合を推測して、決定するようにしてもよい。
また、パケットロスが発生した場合に、それがアクセスポイントのバッファオーバフローによって生じた可能性があるため、例えば、本体装置1に、パケットロス検知部と閾値更新部とを設け、パケットロス検知部がパケットロスを検知した場合に、閾値更新部が、上記閾値を低い値に更新するようにしてもよい。パケットロスを検知する方法としては、例えば、トランスポート層プロトコルとして、TCPを用いている場合は、再送フレームにより判断できる。また、UDPを用いている場合は、例えば、ディスプレイ端末3がデータのロスを判断して本体装置1に通知するようにしてもよい。
本体装置1は、通常状態移行メッセージを送信後、ディスプレイ端末3がアクティブモードへ遷移するのを待つ。そして、ディスプレイ端末3の通常状態への移行を待つ間に、差分検出部15により検出された矩形領域の画像を送信用に圧縮処理することにより、無駄な待ち時間を発生させない。
図15に、本体装置1において、ディスプレイ端末3の無線通信処理部31が、アクティブモードに移行完了したか否かを判断する方法の一例を示す。
図15は、タイマー19を利用する方式で、切替判定部20は、パワーセーブモードからアクティブモードへ変更するよう判定した場合に、タイマー19にタイマー処理の開始指示を行い、タイマー期間が満了した時点で、状態判定部22は、ディスプレイ端末3がアクティブモードへ移行完了したと判断する。IEEE802.11の規格によれば、パワーセーブモードで動作している端末は、DTIM時間周期毎にアウェイク状態に遷移し、アクセスポイントからデータが送信待ちであることを伝えるメッセージを受信すると、アクセスポイントに対してPS−Pollフレームを送信して、データの受信処理を行うため、通常状態移行メッセージは、最大でDTIM時間バッファリングされる可能性がある。そのため、DTIM時間待つ。
図16に、本体装置1において、ディスプレイ端末3の無線通信処理部31が、アクティブモードに移行完了したか否かを判断する方法の他の例を示す。
図16は、ディスプレイ端末3からのメッセージを利用する方式で、通信部23がディスプレイ端末3からの通常状態移行完了メッセージを受信した時点で、状態判定部22は、ディスプレイ端末3がアクティブモードへ移行完了したと判断する。通常状態移行完了メッセージは、トランスポート層プロトコルとして、TCPを用いている場合は、送達確認フレームを利用することが可能であるが、UDPを用いている場合は、何らかのフレームを送信する。
さて、本体装置1からネットワーク8へ送られた更新画面情報Uは、アクセスポイント5から無線伝播路へ送信される。ディスプレイ端末D1では、アクセスポイント5から無線伝送された更新画面情報Uをアンテナ42で受信して、無線通信処理部31にて圧縮画像に復号した上で画面生成部35へ渡し、画面生成部35は、渡された圧縮画像の伸張処理を行った後、画像バッファ34に書き込むことで、指定された領域に矩形画像情報を描画する(ステップS107)。
なお、ディスプレイ端末3は、本体装置1より通常状態移行指示を受信した場合に、切替コントローラ32を介して、無線通信処理部31の状態をアクティブモードに移行させる処理を行う(ステップS106)。
また、ディスプレイ端末3は、本体装置1より省電力通常状態移行指示を受信した場合に、切替コントローラ32を介して、無線通信処理部31の状態をパワーセーブモードに移行させる処理を行う(ステップS108)。
図17及び図18は、以上の流れを示したシーケンス図である。
図17のPPDU(PLCP Protocol Data Unit)は、無線LANにおける物理層の伝送単位であり、MACフレームに対して、物理ヘッダー、物理プリアンブル、並びにトレイラ等が付加されたものである。該フレーム中のMACヘッダー情報部中のPower Managementビット情報(PwrMgt)では、端末の動作状態がアクティブモードであることを示すフラグが有効になっており、このフレームを受信することにより、アクセスポイントは端末の無線通信処理部の状態を認識する。
さて、アクセスポイント5を介して本体装置1が受信した、ディスプレイ端末3からの入力情報を元に、アプリケーション処理が実行され、その結果、図17及び図18のように、[1]〜[3]の3箇所の画面更新が発生したものとする。本体装置1は、一連の最後の画面更新情報をディスプレイ端末3に対して送信した後、省電力状態移行メッセージを生成し、ディスプレイ端末3に送信する。
ディスプレイ端末3は、本体装置1から通常状態移行メッセージを受信すると、無線通信処理部31の状態をパワーセーブモードからアクティブモードに切り替える。そして、本体装置1からの更新画面を、無線通信処理部31がアクティブモードの状態で受信する。そして、省電力状態移行メッセージを受信すると、再度パワーセーブモードへと遷移する。ディスプレイ端末3が本体装置1との間で、TCPのような双方向のトランスポート層プロトコルを用いている場合は、状態遷移した後、本体装置1からのデータ(通常状態移行メッセージもしくは省電力状態移行メッセージ)に対するTCP送達確認(ACK(Acknowledgement))の返信に併せて、アクセスポイント5に対して、自装置(当該ディスプレイ端末3)の無線通信処理部31の状態を通知することが可能である。一方、UDPのような片方向のトランスポート層プロトコルを用いている場合は、自装置(当該ディスプレイ端末3)の無線通信処理部31の状態を切替制御した後、本体装置1もしくはアクセスポイント5に対して、何かしらのフレーム送信を行うことが望ましい。
ところで、これまでの説明では、本体装置1の切替判定部20が、差分情報格納部16の画面更新情報の量を調べ、閾値t以上であれば、ディスプレイ端末3にアクティブモードへ移行させるための指示を出すものと判定し、通常状態移行メッセージを生成して、これをディスプレイ端末3へ送信するものとしたが、送信画像格納部18の送信画像データの量を調べ、閾値t´以上であれば、通常状態移行メッセージを生成して、これをディスプレイ端末3へ送信するように構成することも可能である。省電力状態移行メッセージに係る判定についても、同様である。
また、これまでの説明では、情報の記憶量に基づいて、省電力状態移行メッセージに係る判定を行ったが、例えば、通常状態移行メッセージを送信してから所定の時間(例えば、情報の送信が完了するに十分なものとして予め決められた時間)が経過したことをもって、ディスプレイ端末3にパワーセーブモードへ移行させるものと判定する方法など、種々の方法が考えられる。また、例えば、ユーザやアプリケーション等から特定の指示を受けたことをもって、ディスプレイ端末3にパワーセーブモードへ移行させるものと判定することも可能である。
また、本体装置1が省電力状態移行メッセージをディスプレイ端末3に送信した後に、状態判定部22において、ディスプレイ端末3がパワーセーブモードへの移行を完了したか否かを判断する方法については、ディスプレイ端末3の通常状態への移行の完了に係る判断と同様、ディスプレイ端末3がパワーセーブモードへの移行を完了した場合に、本体装置1に対して省電力状態移行完了メッセージを送信するものとして、ディスプレイ端末3から省電力状態移行完了メッセージを受信した場合に、ディスプレイ端末3がパワーセーブモードへの移行を完了したと判断するようにしてもよいし、省電力状態移行メッセージをディスプレイ端末3に送信した後に、所定の時間が経過した場合に、ディスプレイ端末3がパワーセーブモードへの移行を完了したと判断するようにしてもよい。
また、これまでの説明では、本体装置1が省電力状態移行メッセージをディスプレイ端末3に送信するものとしたが、その代わりに、本体装置1からディスプレイ端末3に省電力状態移行メッセージを送信せず、ディスプレイ端末3は、本体装置1から通常状態移行メッセージを受信して、アクティブモードに移行し、本体装置1から情報を受信した後に、例えば本体装置1から情報を受信しない状態が所定の時間だけ継続した場合に、パワーセーブモードに戻るようにしてもよい。この場合において、本体装置1は、ディスプレイ端末3から省電力状態移行完了メッセージを受信した場合に、ディスプレイ端末3がパワーセーブモードへの移行を完了したと判断するようにしてもよいし、通常状態移行メッセージをディスプレイ端末3に送信した後に、所定の時間が経過した場合に、ディスプレイ端末3がパワーセーブモードへの移行を完了したと判断するようにしてもよい。
また、本実施形態では、本体装置において、情報を圧縮して送信する場合について説明したが、本体装置において、情報を圧縮せずに送信する場合についても、同様に実現可能である。
また、本実施形態では、本体装置において生成した画像情報を送信する場合について説明したが、本体装置が外部から入力した情報を送信する場合についても、同様に実現可能である。
なお、以上の各機能は、ソフトウェアとして記述し適当な機構をもったコンピュータに処理させても実現可能である。
また、本実施形態は、コンピュータに所定の手順を実行させるための、あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるためのプログラムとして実施することもできる。加えて該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本発明の一実施形態に係る画面転送システムの構成例を示す図 同実施形態に係る本体装置の構成例を示す図 同実施形態に係る本体装置における動作手順の一例を示すフローチャート 同実施形態に係る本体装置における動作手順の一例を示すフローチャート 同実施形態に係るアクセスポイントの構成例を示す図 同実施形態に係るアクセスポイントにおける動作手順の一例を示すフローチャート 同実施形態に係るディスプレイ端末の構成例を示す図 同実施形態に係るディスプレイ端末における動作手順の一例を示すフローチャート 通常状態移行メッセージの一例を示す図 省電力状態移行メッセージの一例を示す図 圧縮画像と省電力状態移行の指示とを集約したメッセージの一例を示す図 パワーセーブモード中のアクセスポイント及び無線端末の動作例について説明するための図 MACフレームの構成を示す図 同実施形態に係る画面転送システムにおける処理の流れの一例を示すフローチャート 同実施形態に係る本体装置においてディスプレイ端末がアクティブモードに移行完了したか否かを判断する第1の例について説明するための図 同実施形態に係る本体装置においてディスプレイ端末がアクティブモードに移行完了したか否かを判断する第2の例について説明するための図 同実施形態に係る画面転送システムにおける処理の流れの一例を示すシーケンス図 同実施形態に係る画面転送システムにおける処理の流れの一例を示すシーケンス図
符号の説明
1…本体装置、11…入力デバイス、12…イベント取得部、13…更新情報格納部、14…画像バッファ、15…差分検出部、16…差分情報格納部、17…送信画像生成部、18…送信画像格納部、19…タイマー、20…切替判定部、21…メッセージ生成部、22…状態判定部、23…通信部、24…セッション情報記憶部、25…セッションマネージャ、26…ディスプレイ、3…ディスプレイ端末、31…無線通信処理部、311…MAC層、312…PHY層、313…省電力コントローラ、32…切替コントローラ、33…メッセージ生成部、34…画像バッファ、35…画面生成部、36…入力情報生成部、37…セッションマネージャ、38…セッション情報記憶部、39…入出力インターフェース、40…ディスプレイ、41…入力デバイス、42…アンテナ、5…アクセスポイント、51…有線通信処理部、52…ブリッジ処理部、53…無線通信処理部、531…MAC層、532…PHY層、533…省電力管理部、54…アンテナ、8…ネットワーク

Claims (15)

  1. 画像情報を表示画面に表示する表示端末に対して、無線アクセス装置を介して画像情報を送信する通信装置であって、
    新たに発生した前記表示端末へ送信すべき画像情報を一時的に記憶する記憶手段と、
    前記記憶手段に記憶されている画像情報の量が、或る閾値以上に至った場合に、前記表示端末の無線通信処理部の状態を省電力状態から通常状態へ変更させることを決定する決定手段と、
    前記決定手段が前記変更をさせるべきものと決定した場合に、前記表示端末の無線通信処理部の状態を省電力状態から通常状態へ変更すべきことを指示する通常状態移行メッセージを生成するメッセージ生成手段と、
    生成された前記通常状態移行メッセージを前記表示端末に宛てて送信する送信手段とを備えたことを特徴とする通信装置。
  2. 前記記憶手段に記憶されている前記画像情報を圧縮する圧縮手段を更に備え、
    前記送信手段は、圧縮された前記画像情報を前記表示端末に宛てて送信することを特徴とする請求項1に記載の通信装置。
  3. 前記送信手段は、前記決定手段が前記変更をさせるべきものと決定した場合に、圧縮された前記画像情報を前記表示端末に宛てて送信するのに先立って、前記通常状態移行メッセージを前記表示端末に宛てて送信し、
    前記圧縮手段は、前記表示端末が前記通常状態移行メッセージに応じて通常状態に移行している間、前記画像情報の圧縮の処理を進めることを特徴とする請求項2に記載の通信装置。
  4. 前記表示端末へ送信すべき画像情報は、前記表示端末の表示画面に表示させる画面の内容が更新された場合に発生する、当該画面の内容の更新部分を示す情報であることを特徴とする請求項1ないし3のいずれか1項に記載の通信装置。
  5. 前記表示画面に表示させる画面の内容が更新された場合に、当該画面の内容の更新部分を検出する検出手段を更に備えたことを特徴とする請求項4に記載の通信装置。
  6. 前記表示端末の無線通信処理部の状態に関する判断を行う判断手段を更に備えたことを特徴とする請求項1ないし5のいずれか1項に記載の通信装置。
  7. 前記判断手段は、前記表示端末に宛てて前記通常状態移行メッセージを送信した後に、予め定められた時間が経過した場合に、前記表示端末の無線通信処理部の状態の通常状態への移行が完了したものと判断することを特徴とする請求項6に記載の通信装置。
  8. 前記判断手段は、前記通常状態移行メッセージを送信した前記表示端末から、通常状態への移行が完了した旨を示す通常状態移行完了メッセージを受信した場合に、前記表示端末の無線通信処理部の状態の通常状態への移行が完了したものと判断することを特徴とする請求項6に記載の通信装置。
  9. 前記判断手段は、所定の条件が成立した場合に、前記表示端末の無線通信処理部の状態を通常状態から省電力状態へ変更させるべきものと判断し、
    前記メッセージ生成手段は、前記判断手段が前記表示端末の無線通信処理部の状態を通常状態から省電力状態へ変更させるべきものと判断した場合に、前記表示端末の無線通信処理部の状態を通常状態から省電力状態へ変更すべきことを指示する省電力状態移行メッセージを生成し、
    前記送信手段は、生成された前記省電力状態移行メッセージを前記表示端末に宛てて送信することを特徴とする請求項6ないし8のいずれか1項に記載の通信装置。
  10. 前記判断手段は、前記記憶手段に記憶されている画像情報の量が、前記或る閾値以上になった後に、前記或る閾値とは異なる閾値が示す、前記或る閾値より小さい値以下に至った場合に、前記表示端末の無線通信処理部の状態を通常状態から省電力状態へ変更させるべきものと判断することを特徴とする請求項9に記載の通信装置。
  11. 前記判断手段は、前記記憶手段に記憶されている画像情報の量が、前記或る閾値以上になった後に、前記或る閾値とは異なる閾値が示す、前記或る閾値より小さい値以下に至った場合に、前記省電力状態移行メッセージを前記表示端末に宛てて送信することなく、予め定められた時間が経過したことをもって、前記表示端末の無線通信処理部の状態の省電力状態への移行が完了したものと判断することを特徴とする請求項6ないし8のいずれか1項に記載の通信装置。
  12. 前記表示装置に宛てて送信した前記画像情報に係るパケットロスを検出するパケットロス検出手段と、
    前記パケットロスが検出された場合に、前記或る閾値を低い値に更新する閾値更新手段とを更に備えたことを特徴とする請求項1ないし11のいずれか1項に記載の通信装置。
  13. 画像情報を表示画面に表示する表示端末に対して、無線アクセス装置を介して画像情報を送信する通信装置における通信方法であって、
    前記通信装置が備える記憶手段が、新たに発生した前記表示端末へ送信すべき画像情報を一時的に記憶するステップと、
    前記通信装置が備える決定手段が、前記記憶手段に記憶されている画像情報の量が、或る閾値以上に至った場合に、前記表示端末の無線通信処理部の状態を省電力状態から通常状態へ変更させることを決定するステップと、
    前記通信装置が備えるメッセージ生成手段が、前記決定手段が前記変更をさせるべきものと決定した場合に、前記表示端末の無線通信処理部の状態を省電力状態から通常状態へ変更すべきことを指示する通常状態移行メッセージを生成するステップと、
    前記通信装置が備える送信手段が、生成された前記通常状態移行メッセージを前記表示端末に宛てて送信するステップとを有することを特徴とする通信方法。
  14. 画像情報を表示画面に表示する表示端末に対して、無線アクセス装置を介して画像情報を送信する通信装置としてコンピュータを機能させるためのプログラムであって、
    新たに発生した前記表示端末へ送信すべき画像情報を一時的に記憶する記憶手段と、
    前記記憶手段に記憶されている画像情報の量が、或る閾値以上に至った場合に、前記表示端末の無線通信処理部の状態を省電力状態から通常状態へ変更させることを決定する決定手段と、
    前記決定手段が前記変更をさせるべきものと決定した場合に、前記表示端末の無線通信処理部の状態を省電力状態から通常状態へ変更すべきことを指示する通常状態移行メッセージを生成するメッセージ生成手段と、
    生成された前記通常状態移行メッセージを前記表示端末に宛てて送信する送信手段とをプログラムに実現させるためのプログラム。
  15. 画像情報を表示画面に表示する1又は複数の表示端末と、該表示端末に対して、無線アクセス装置を介して画像情報を送信する通信装置とを含む通信システムであって、
    前記通信装置は、
    新たに発生した前記表示端末へ送信すべき画像情報を一時的に記憶する記憶手段と、
    前記記憶手段に記憶されている画像情報の量が、或る閾値以上に至った場合に、前記表示端末の無線通信処理部の状態を省電力状態から通常状態へ変更させることを決定する決定手段と、
    前記決定手段が前記変更をさせるべきものと決定した場合に、前記表示端末の無線通信処理部の状態を省電力状態から通常状態へ変更すべきことを指示する通常状態移行メッセージを生成するメッセージ生成手段と、
    生成された前記通常状態移行メッセージを前記表示端末に宛てて送信する送信手段とを備え、
    前記表示端末は、
    前記無線アクセス装置を介して前記通信装置との間で無線通信を行うための無線通信処理部と、
    前記通信装置から前記通常状態移行メッセージを受信した場合に、前記無線通信処理部の状態を省電力状態から通常状態へ切り替える制御を行う制御手段とを備えたことを特徴とする表示システム。
JP2007028371A 2007-02-07 2007-02-07 通信装置、通信方法、通信システム及びプログラム Expired - Fee Related JP4309921B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007028371A JP4309921B2 (ja) 2007-02-07 2007-02-07 通信装置、通信方法、通信システム及びプログラム
US12/026,314 US7983651B2 (en) 2007-02-07 2008-02-05 Communication apparatus, communication method and communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007028371A JP4309921B2 (ja) 2007-02-07 2007-02-07 通信装置、通信方法、通信システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2008193603A true JP2008193603A (ja) 2008-08-21
JP4309921B2 JP4309921B2 (ja) 2009-08-05

Family

ID=39715790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007028371A Expired - Fee Related JP4309921B2 (ja) 2007-02-07 2007-02-07 通信装置、通信方法、通信システム及びプログラム

Country Status (2)

Country Link
US (1) US7983651B2 (ja)
JP (1) JP4309921B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103653A (ja) * 2008-10-22 2010-05-06 Nec Infrontia Corp 無線通信システム及びその省電力方法並びにそれに用いる無線基地局及び無線端末
JP2011008592A (ja) * 2009-06-26 2011-01-13 Toshiba Corp 情報処理装置および表示制御方法
KR20110062829A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 디지털 리빙네트워크 얼라이언스 네트워크에서 전력소모를 줄이기 위한 방법 및 장치
JP2012133668A (ja) * 2010-12-22 2012-07-12 Ntt Docomo Inc 表示装置、画面画像転送方法、及びプログラム
JP2012133586A (ja) * 2010-12-21 2012-07-12 Ntt Docomo Inc 表示装置、画面画像転送方法、及びプログラム
JP2013531822A (ja) * 2010-03-16 2013-08-08 ▲華▼▲為▼▲終▼端有限公司 ネットワークアクセスモジュールの電源管理方法及び装置
JP2014524691A (ja) * 2011-08-09 2014-09-22 ベイジン ニューフロント モバイル マルチメディア テクノロジー カンパニー リミテッド 節電方法及び装置
WO2015056316A1 (ja) 2013-10-16 2015-04-23 富士通株式会社 移動端末装置、通信制御方法および通信制御プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0815322D0 (en) * 2008-08-21 2008-09-24 Symbian Software Ltd A diagnostic tool
JP2010050843A (ja) * 2008-08-22 2010-03-04 Sony Corp 通信装置、通信システム、通信方法及びプログラム
JP5834838B2 (ja) * 2011-11-30 2015-12-24 ブラザー工業株式会社 通信装置
US9491704B2 (en) * 2012-03-23 2016-11-08 Blackberry Limited Methods and apparatus for controlling power consumption in an electronic device with a communication subsystem
JP5695597B2 (ja) * 2012-03-29 2015-04-08 株式会社東芝 画面表示装置及び画面表示システム
JP2013255071A (ja) * 2012-06-06 2013-12-19 Fujitsu Ltd 通信端末、プロセッサ及び送信制御方法
JP6066694B2 (ja) * 2012-11-29 2017-01-25 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
US9400540B2 (en) * 2013-05-20 2016-07-26 Ati Technologies Ulc Event based dynamic power management

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4697500B2 (ja) * 1999-08-09 2011-06-08 ソニー株式会社 送信装置および送信方法、受信装置および受信方法、並びに記録媒体
US6784855B2 (en) * 2001-02-15 2004-08-31 Microsoft Corporation Methods and systems for a portable, interactive display device for use with a computer
JP2002323942A (ja) 2001-04-26 2002-11-08 Matsushita Electric Ind Co Ltd ワイヤレスディスプレイシステム及びその制御方法
US7047051B2 (en) * 2001-10-25 2006-05-16 Symbol Technologies, Inc. Method of and arrangement for minimizing power consumption and data latency of an electro-optical reader in a wireless network
US7831278B2 (en) * 2001-12-18 2010-11-09 Intel Corporation Method and device for communicating data with a personal wireless storage device
US7421291B2 (en) * 2002-08-12 2008-09-02 Broadcom Corporation Method for selective power management for a hand held host
JP2004165791A (ja) 2002-11-11 2004-06-10 Fujitsu Ltd 複数の無線端末と通信可能な無線基地局用の装置、無線基地局と通信する無線端末、そのためのプログラムおよび方法
US7899418B2 (en) * 2006-02-22 2011-03-01 Fujifilm Corporation Mobile device and wireless communication apparatus
JP2009542125A (ja) * 2006-06-23 2009-11-26 オリンパス コミュニケーション テクノロジィ オブ アメリカ,インク. 電源管理のシステムおよび方法
US20080161072A1 (en) * 2006-12-29 2008-07-03 David Alson Lide Methods and apparatus to manage power consumption in wireless devices
JP2008171292A (ja) * 2007-01-15 2008-07-24 Toshiba Corp 画像生成装置,表示端末,通信システム,通信方法,およびプログラム
US7864720B2 (en) * 2007-06-01 2011-01-04 Intel Corporation Power management for wireless devices
US8064967B2 (en) * 2007-08-01 2011-11-22 Broadcom Corporation Wireless connection integrated circuit (IC) having power island(s)
US20090265749A1 (en) * 2008-04-18 2009-10-22 Shuttle Inc. Wireless display system
JP4945528B2 (ja) * 2008-08-21 2012-06-06 株式会社東芝 表示装置、通信方法、および通信プログラム
US8185165B2 (en) * 2009-06-01 2012-05-22 Hewlett-Packard Development Company, L.P. Method and apparatus for adaptive power saving in a mobile computing device

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010103653A (ja) * 2008-10-22 2010-05-06 Nec Infrontia Corp 無線通信システム及びその省電力方法並びにそれに用いる無線基地局及び無線端末
JP2011008592A (ja) * 2009-06-26 2011-01-13 Toshiba Corp 情報処理装置および表示制御方法
US8294725B2 (en) 2009-06-26 2012-10-23 Kabushiki Kaisha Toshiba Information processing apparatus and display control method
JP2011120238A (ja) * 2009-12-04 2011-06-16 Samsung Electronics Co Ltd デジタルリビングネットワークアライアンスネットワークにおける電力消費を減らすための方法及び装置
KR20110062829A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 디지털 리빙네트워크 얼라이언스 네트워크에서 전력소모를 줄이기 위한 방법 및 장치
US9317099B2 (en) 2009-12-04 2016-04-19 Samsung Electronics Co., Ltd. Method and apparatus for reducing power consumption in digital living network alliance network
KR101642933B1 (ko) * 2009-12-04 2016-07-27 삼성전자주식회사 디지털 리빙네트워크 얼라이언스 네트워크에서 전력소모를 줄이기 위한 방법 및 장치
JP2013531822A (ja) * 2010-03-16 2013-08-08 ▲華▼▲為▼▲終▼端有限公司 ネットワークアクセスモジュールの電源管理方法及び装置
JP2015043225A (ja) * 2010-03-16 2015-03-05 ▲華▼▲為▼▲終▼端有限公司 ネットワークアクセスモジュールの電源管理方法及び装置
JP2012133586A (ja) * 2010-12-21 2012-07-12 Ntt Docomo Inc 表示装置、画面画像転送方法、及びプログラム
JP2012133668A (ja) * 2010-12-22 2012-07-12 Ntt Docomo Inc 表示装置、画面画像転送方法、及びプログラム
JP2014524691A (ja) * 2011-08-09 2014-09-22 ベイジン ニューフロント モバイル マルチメディア テクノロジー カンパニー リミテッド 節電方法及び装置
WO2015056316A1 (ja) 2013-10-16 2015-04-23 富士通株式会社 移動端末装置、通信制御方法および通信制御プログラム

Also Published As

Publication number Publication date
US7983651B2 (en) 2011-07-19
US20080205316A1 (en) 2008-08-28
JP4309921B2 (ja) 2009-08-05

Similar Documents

Publication Publication Date Title
JP4309921B2 (ja) 通信装置、通信方法、通信システム及びプログラム
US7873986B2 (en) Communication apparatus, and display terminal
WO2022111672A1 (zh) 数据处理方法、装置及电子设备
US8713336B2 (en) Communication apparatus, power supply control method, display apparatus, communication method, and computer program product
US20150229960A1 (en) Information processing device, method, and terminal device
EP3499978A1 (en) Method and apparatus for managing power of wlan module in portable terminal
US9213521B2 (en) Control method of information processing apparatus and information processing apparatus
US20080170116A1 (en) Image generating apparatus, communication system and communication method
EP1670250A2 (en) Mobile communication device and system supporting media flow control
US20110310965A1 (en) Communication device, communication method, and communication program product
US20100325234A1 (en) Communication apparatus and method of controlling the same
US20230328647A1 (en) Wi-Fi Adaptive Beacon Skipping for Battery-Powered Devices
CN103916620A (zh) 视频通话方法及装置、移动终端
JP2007019607A (ja) 無線通信方法、ベース装置および端末
CN112433690A (zh) 数据处理方法、终端及计算机可读存储介质
JP3670587B2 (ja) 画像ファイル受信装置および画像ファイル受信方法
US9197778B2 (en) Method for reducing communication delay in printing apparatus having a wireless LAN capability
CN115617539A (zh) 处理实时应用消息的方法及装置
JP2004187062A (ja) 遠隔制御システム及びその画像転送方法
JP5582993B2 (ja) 通信装置、および、その制御方法及びプログラム
CN107508972B (zh) 移动终端的投影方法、系统及计算机可读存储介质
WO2023016402A1 (zh) 数据传输方法、装置及终端、网络侧设备
JP5407479B2 (ja) 画像伝送システム、画像伝送装置、クライアント端末、画像伝送方法、及び、画像伝送プログラム
CN114338624B (zh) 无线投屏数据处理方法、智能终端及可读存储介质
WO2023098799A1 (zh) 信息传输方法、装置、终端及网络侧设备

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090508

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140515

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees