JP2008005358A - 遠隔支援装置、遠隔支援システム及び遠隔支援方法 - Google Patents

遠隔支援装置、遠隔支援システム及び遠隔支援方法 Download PDF

Info

Publication number
JP2008005358A
JP2008005358A JP2006174630A JP2006174630A JP2008005358A JP 2008005358 A JP2008005358 A JP 2008005358A JP 2006174630 A JP2006174630 A JP 2006174630A JP 2006174630 A JP2006174630 A JP 2006174630A JP 2008005358 A JP2008005358 A JP 2008005358A
Authority
JP
Japan
Prior art keywords
image
information
remote support
annotation
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006174630A
Other languages
English (en)
Other versions
JP4872482B2 (ja
Inventor
Ken Tokai
研 東海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2006174630A priority Critical patent/JP4872482B2/ja
Priority to US11/583,778 priority patent/US7590662B2/en
Priority to CN200710001917A priority patent/CN100579213C/zh
Publication of JP2008005358A publication Critical patent/JP2008005358A/ja
Application granted granted Critical
Publication of JP4872482B2 publication Critical patent/JP4872482B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00283—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus
    • H04N1/00286—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus with studio circuitry, devices or equipment, e.g. television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H04N1/19594—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/42—Systems for two-way working, e.g. conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3278—Transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Facsimiles In General (AREA)

Abstract

【課題】複数の拠点におけるユーザ間の適切なコミュニケーションを可能とした遠隔支援装置、遠隔支援システム及び遠隔支援方法を提供する。
【解決手段】拠点Ａにおけるサーバシステム１１０は、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報を受信し、当該画像情報に対応する画像をホワイトボード１６０に投影し、クライアントシステム１４０は、ビデオカメラ１１８によってホワイトボード１６０を撮影した画像に対応する画像情報を、拠点Ｂにおいて表示されるべき画像に対応する画像情報として当該拠点Ｂのサーバシステム２１０へ送信する。また、クライアントシステム１４０は、アノテーション画像の情報を拠点Ｂのサーバシステム２１０へ送信し、当該サーバシステム２１０からのホワイトボード２６０の撮影画像の情報を受信し、当該撮影画像を表示する。
【選択図】図２

Description

本発明は、他の装置と協同して、所定の投影領域に表示される画像に関する処理を行う遠隔支援装置、当該遠隔支援装置によって構成される遠隔支援システム、及び、当該遠隔支援装置における遠隔支援方法に関する。
プレゼンテーションにおいては、パーソナルコンピュータ（ＰＣ）のプレゼンテーション用ソフトウェアを用いて作成された資料（スライド）画像を、プロジェクタによってスクリーンに投影する手法が用いられることが多い。
このような画像処理において、特許文献１及び特許文献２では、遠隔地からの画像をプロジェクタでホワイトボードに投影し、更に、その画像が投影されたスクリーンをカメラで撮影し、撮影により得られた画像情報を遠隔地へ送信する技術が開示されている。また、特許文献３では、電子ホワイトボードが配置された各拠点において、ユーザによってペン等を用いて描画された描画データをそのまま自拠点の電子ホワイトボードに描画するとともに、通信制御部によって受信、変換された、他拠点の電子ホワイトボードにおいて描画された描画データを自拠点の電子ホワイトボードに描画する技術が開示されている。
特開２００５−３３７５６号公報 米国特許出願公開第２００４／００７０６７４号明細書 特開２０００−１８８６５５号公報
しかし、特許文献１において開示された技術では、画像の投影領域としての実物体であるホワイトボードは、１つの拠点のみに存在しており、他拠点におけるユーザに対する作業エリアは、電子的な媒体に限定されてしまうため、ユーザ間のコミュニケーションがしにくいという問題があった。また、特許文献２に開示された技術では、作業エリアとして共有された描画画面がただ１つ存在するだけであり、各拠点において予め用いていた実物体の作業エリアを利用して協同作業を行うことはできず、同様にユーザ間のコミュニケーションがしにくいという問題があった。
本発明は、上記問題点に鑑みてなされたもので、複数の拠点におけるユーザ間の適切なコミュニケーションを可能とした遠隔支援装置、遠隔支援システム及び遠隔支援方法を提供することを目的としている。
本発明の遠隔支援装置は、他の装置と協同して、所定の投影領域に投影される画像に関する処理を行うものであって、前記他の装置からの第１のアノテーション画像の情報を受信する第１の受信手段と、前記投影領域に、前記第１の受信手段により受信された第１のアノテーション画像の情報に対応する画像を投影する投影手段と、前記投影領域を撮影する撮影手段と、前記撮影手段の撮影により得られる撮影画像に対応する画像情報を、前記他の装置において表示されるべき画像に対応する画像情報として、前記他の装置へ送信する第１の送信手段と、前記他の装置が設置された拠点における投影領域に投影されるべき第２のアノテーション画像の情報を前記他の装置へ送信する第２の送信手段と、前記他の装置からの該他の装置が設置された拠点における投影領域の撮影により得られる撮影画像の情報を受信する第２の受信手段と、前記第２の受信手段により受信された撮影画像の情報に対応する画像を表示手段とを有することを特徴とする。
この構成によれば、自拠点では、ホワイトボード等の投影領域には、他の装置からの第１のアノテーション画像の情報に対応する画像が投影され、表示手段には他の装置からの他拠点の投影領域の撮影画像が表示される。一方、他拠点では、ホワイトボード等の投影領域には、遠隔支援装置が送信した、第２のアノテーション画像の情報に対応する画像が投影され、表示手段には遠隔支援装置からの自拠点の投影領域の撮影画像が表示される。このため、各拠点の投影領域を作業エリアとして利用することによって拠点間で協同作業を行うことができ、ユーザ間のコミュニケーションがしやすくなる。
また、本発明の遠隔支援装置は、前記他の装置の撮像手段で撮像され、かつ、前記表示手段に表示された画像の少なくとも一部の領域を選択する選択手段を有し、前記投影手段は、前記選択手段により選択された領域の画像を前記所定の投影領域に投影するようにしてもよい。
この構成によれば、他の装置において撮像した画像を選択して投影領域に投影させることが可能となる。すなわち、他の装置において撮像した撮像画像の一部をアノテーション画像として自らの投影領域に投影することができ、その結果、一層円滑なコミュニケーションが可能となる。
また、本発明の遠隔支援装置は、前記撮影手段の撮影により得られる撮影画像に含まれる第１のアノテーション画像に対して、描画した前記第１のアノテーション画像を重ねた合成画像を生成する生成手段を有し、前記第１の送信手段は、前記生成手段により生成された前記合成画像に関する画像情報を前記他の装置へ送信するようにしてもよい。
この構成によれば、撮影手段により撮影された投影領域の画像に含まれる第１のアノテーション画像は、投影された第１のアノテーション画像は明度が高いことから、たとえば、色飛びと呼ばれる現象等により、撮像画像中において第１のアノテーション画像の内容を識別しずらくなることがある。このため、撮像画像に含まれる第１のアノテーション画像に、コンピュータで描画した電子データからなる第１のアノテーション画像を重ね合わせた合成画像を生成し、これを他の装置へ送信することにより、他の装置において撮像画像に含まれる第１のアノテーション画像の内容を確実に識別できる。特に、上記したように、撮像した撮像画像を選択して投影領域に投影させる際に、その撮像画像に含まれる第１のアノテーション画像をコンピュータで描画した電子データで置き換えることにより、再び投影される第１のアノテーション画像の内容を容易に識別可能となる。尚、撮像画像中に含まれる第１のアノテーション画像は、例えば、第１のアノテーション画像を描画した際の各種情報（時刻、ユーザ名等）から特定することができる。
また、本発明の遠隔支援装置は、前記第１の受信手段が、前記他の装置からの第１のアノテーション画像の情報とともに、該第１のアノテーション画像の情報に対応する画像の投影に関する第１の描画指示を受信し、前記投影手段が、前記第１の受信手段により受信された第１の描画指示に応じて、前記投影領域に前記第１の受信手段により受信された第１のアノテーション画像の情報に対応する画像を投影するようにしてもよい。
この構成によれば、他拠点におけるユーザの要求等に応じた適切な画像投影が可能となる。
また、本発明の遠隔支援装置は、前記第２の送信手段が、前記第２のアノテーション画像の情報とともに、該第２のアノテーション画像の情報に対応する画像の投影に関する第２の描画指示を送信するようにしてもよい。
この構成によれば、他拠点における投影領域において、自拠点のユーザの要求等に応じた適切な画像投影が可能となる。
また、本発明の遠隔支援装置は、ユーザの操作指示に応じて、前記第２の描画指示を生成する生成手段を有し、前記第１の送信手段が、前記生成手段により生成された第２の描画指示を送信するようにしてもよい。
また、本発明の遠隔支援装置は、サーバ及びクライアントからなり、前記サーバは、前記他の装置におけるクライアントと通信可能に接続され、前記クライアントは、前記他の装置におけるサーバと通信可能に接続されるようにしてもよい。
本発明の遠隔支援システムは、上述したいずれかの遠隔支援装置を複数組み合わせて構成されることを特徴とする。
本発明の遠隔支援方法は、他の装置と協同して、所定の投影領域に投影される画像に関する処理を行う遠隔支援装置における方法であって、前記他の装置からの第１のアノテーション画像の情報を受信する第１の受信ステップと、前記投影領域に、前記第１の受信ステップにより受信された第１のアノテーション画像の情報に対応する画像を投影する投影ステップと、前記投影領域を撮影する撮影ステップと、前記撮影手段の撮影により得られる撮影画像に対応する画像情報を、前記他の装置において表示されるべき画像に対応する画像情報として、前記他の装置へ送信する第１の送信ステップと、前記他の装置が設置された拠点における投影領域に投影されるべき第２のアノテーション画像の情報を前記他の装置へ送信する第２の送信ステップと、前記他の装置からの該他の装置が設置された拠点における投影領域の撮影により得られる撮影画像の情報を受信する第２の受信ステップと、前記第２の受信ステップにより受信された撮影画像の情報に対応する画像を表示ステップとを有することを特徴とする。
また、本発明の遠隔支援方法は、前記他の装置の撮像手段で撮像され、かつ、前記表示手段に表示された画像の一部の領域を選択する選択ステップを有し、前記投影ステップが、前記選択ステップにより選択された領域の画像を前記所定の投影領域に投影するようにしてもよい。
また、本発明の遠隔支援方法は、前記撮影手段の撮影により得られる撮影画像に含まれる第１のアノテーション画像に描画した前記第１のアノテーション画像を重ねた合成画像を生成するステップと、生成された前記合成画像に関する画像情報を前記他の装置へ送信するステップとを有するようにしてもよい。
また、本発明の遠隔支援方法は、前記第１の受信ステップが、前記他の装置からの第１のアノテーション画像の情報とともに、該第１のアノテーション画像の情報に対応する画像の投影に関する第１の描画指示を受信し、前記投影ステップが、前記第１の受信ステップにより受信された第１の描画指示に応じて、前記投影領域に前記第１の受信ステップにより受信された第１のアノテーション画像の情報に対応する画像を投影するようにしてもよい。
また、本発明の遠隔支援方法は、前記第２の送信ステップが、前記第２のアノテーション画像の情報とともに、該第２のアノテーション画像の情報に対応する画像の投影に関する第２の描画指示を送信するようにしてもよい。
本発明によれば、各拠点の投影領域を作業エリアとして利用することによって拠点間で協同作業を行うことができ、複数の拠点におけるユーザ間の適切なコミュニケーションが可能となる。
以下、本発明の実施の形態の遠隔支援システムについて、図面を用いて説明する。図１は、遠隔支援システムを構成する遠隔支援装置の基本構成を示す図である。図１において、拠点Ａには、遠隔支援装置としてのサーバシステム１１０及びホワイトボード１６０が設置され、拠点Ｂには、遠隔支援装置としてのクライアントシステム２００が設置されている。
拠点Ａのサーバシステム１１０は、描画サーバ１１２、ビデオサーバ１１４、プロジェクタ１１６、ビデオカメラ１１８及びハーフミラー１２０を有する。一方、拠点Ｂのクライアントシステム２４０は、モニタ２４２を有する。拠点Ａのサーバシステム１１０内の描画サーバ１１２及びビデオサーバ１１４と、拠点Ｂのクライアントシステム２４０とは、インターネット４００によって通信可能に接続されている。
本実施形態では、拠点Ａに、サーバシステム１１０とともに拠点Ｂのクライアントシステム２４０と同様のクライアントシステムを設けて遠隔支援装置を構成するとともに、拠点Ｂに、クライアントシステム２４０とともに、拠点Ａのサーバシステム１１０と同様のサーバシステムを設けて遠隔支援装置を構成し、更に拠点Ｂにホワイトボードを設けて、遠隔支援システムが構成される。
図２は、遠隔支援システムの構成を示す図である。図２に示す遠隔支援システムにおいて、拠点Ａには、遠隔支援装置としてのサーバシステム１１０及びクライアントシステム１４０と、ホワイトボード１６０とが設置される。これらのうち、クライアントシステム１４０は、モニタ１４２を有する。一方、拠点Ｂには、遠隔支援装置としてのサーバシステム２１０及びクライアントシステム２４０と、ホワイトボード２６０とが設置される。これらのうち、サーバシステム２１０は、描画サーバ２１２、ビデオサーバ２１４、プロジェクタ２１６、ビデオカメラ２１８及びハーフミラー２２０によって構成されている。また、拠点Ａのクライアントシステム１４０と、拠点Ｂのサーバシステム２１０内の描画サーバ２１２及びビデオサーバ２１４とは、インターネット４００によって通信可能に接続されている。
拠点Ａのサーバシステム１１０は、拠点Ｂのクライアントシステム２４０の要求に応じて、拠点Ａにおける画像投影のための処理を行う。同様に、拠点Ｂのサーバシステム２１０は、拠点Ａのクライアントシステム１４０の要求に応じて、拠点Ｂにおける画像投影のための処理を行う。以下、具体的に説明する。
拠点Ｂのクライアントシステム２４０は、拠点Ｂのユーザの操作指示に応じて、注釈等のアノテーション画像を投影させる指示である描画コマンドと、当該アノテーション画像の情報を生成し、インターネット４００を介して、拠点Ａのサーバシステム１１０内の描画サーバ１１２に対して送信する。
描画サーバ１１２は、受信した描画コマンドに応じて、当該描画コマンドとともに受信したアノテーション画像の情報をプロジェクタ１１６へ出力する。また、描画サーバ１１２は、予め保持している画像情報が存在する場合には、その画像情報をプロジェクタ１１６へ出力する。プロジェクタ１１６は、入力した画像情報に対応する画像を、ハーフミラー１２０を介してホワイトボード１６０へ投影する。
ホワイトボード１６０には、プロジェクタ１１６によって画像が投影され、拠点Ａのユーザによって文字等が書き込まれる。ビデオカメラ１１８は、ハーフミラー１２０を介して、投影画像が投影されるとともに文字等が書き込まれたホワイトボード１６０を撮影する。このビデオカメラ１１８は、プロジェクタ１１６と画角及び光軸が一致するように、パン、チルト、ズーム等の各種設定がなされている。撮影により得られた画像情報は、ビデオサーバ１１４へ出力される。ビデオサーバ１１４は、入力した画像情報を、インターネット４００を介して、拠点Ｂのクライアントシステム２４０に対して送信する。
拠点Ｂのクライアントシステム２４０は、受信した画像情報をモニタ２４２に表示する。これにより、拠点Ｂのユーザは、拠点Ａのホワイトボード１６０の画像を認識することができる。
上述と同様の処理が、拠点Ａのクライアントシステム１４０と拠点Ｂのサーバシステム２１０との間でも行われる。すなわち、拠点Ａのクライアントシステム１４０は、拠点Ａのユーザの操作指示に応じて、アノテーション画像を投影させる指示である描画コマンドと、当該アノテーション画像の情報を生成し、インターネット４００を介して、拠点Ｂのサーバシステム２１０内の描画サーバ２１２に対して送信する。
描画サーバ２１２は、受信した描画コマンドに応じて、当該描画コマンドとともに受信したアノテーション画像の情報をプロジェクタ２１６へ出力する。また、描画サーバ２１２は、予め保持している画像情報が存在する場合には、その画像情報をプロジェクタ２１６へ出力する。プロジェクタ２１６は、入力した画像情報に対応する画像を、ハーフミラー２２０を介してホワイトボード２６０へ投影する。
ホワイトボード２６０には、プロジェクタ２１６によって画像が投影され、拠点Ｂのユーザによって文字等が書き込まれる。ビデオカメラ２１８は、ハーフミラー２２０を介して、投影画像が表示されるとともに文字等が書き込まれたホワイトボード２６０を撮影する。ビデオサーバ２１４は、ビデオカメラ２１８の撮影により得られた画像情報を、インターネット４００を介して、拠点Ａのクライアントシステム１４０に対して送信する。
拠点Ａのクライアントシステム１４０は、受信した画像情報をモニタ１４２に表示する。これにより、拠点Ａのユーザは、拠点Ｂのホワイトボード２６０の画像を認識することができる。
以下、拠点Ａのサーバシステム１１０と拠点Ｂのクライアントシステム２４０の動作を、フローチャートを参照しつつ、説明する。
図３は、拠点Ａのサーバシステム１１０の動作を示すフローチャートである。拠点Ａのサーバシステム１１０内の描画サーバ１１２は、予め保持している画像情報をプロジェクタ１１６へ出力する。プロジェクタ１１６は、入力した画像情報に対応する画像（初期画像）を、ハーフミラー１２０を介してホワイトボード１６０へ投影する（Ｓ１０１）。
次に、ビデオカメラ１１８は、ホワイトボード１６０の撮影を開始する（Ｓ１０２）。撮影により得られた画像情報（撮影画像の情報）は、ビデオサーバ１１４へ出力され、当該ビデオサーバ１１８は、入力した画像情報の拠点Ｂのクライアントシステム２４０への送信を開始する（Ｓ１０３）。その後も、ビデオカメラ１１８は、ホワイトボード１６０の撮影を継続し、ビデオサーバ１１８は、随時、入力した画像情報を拠点Ｂのクライアントシステム２４０へ送信する。
次に、描画サーバ１１２は、拠点Ｂのクライアントシステム２４０からの描画コマンドを受信したか否かを判定する（Ｓ１０４）。描画コマンドを受信した場合、描画サーバ１１２は、当該描画コマンドの指示に応じて、当該描画コマンドに付加されているアノテーション画像の情報をプロジェクタ１１６へ出力する。プロジェクタ１１６は、入力したアノテーション画像の情報に対応する画像を、ハーフミラー１２０を介してホワイトボード１６０へ投影する（Ｓ１０５）。これにより、ホワイトボード１６０には、初期画像とともに、拠点Ｂのクライアントシステム２４０からの描画コマンドに付加されているアノテーション画像の情報に対応する注釈等の画像が投影される。なお、ビデオカメラ１１８による撮影画像における、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像の部分が色飛び等の不都合を引き起こす場合があることを考慮して、ビデオサーバ１１４は、ビデオカメラ１１８による撮影画像における、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像の位置に、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像を重ねた合成画像に対応する画像情報を生成し、その生成した画像情報を拠点Ｂのクライアントシステム２４０へ送信するようにしてもよい。
Ｓ１０５における画像投影の後、あるいは、Ｓ１０４において描画コマンドを受信していないと判定された後、サーバシステム１１０は、拠点Ａのユーザによって終了指示がなされたか否かを判定する（Ｓ１０６）。終了指示がなされた場合には、一連の動作が終了する。一方、終了指示がなされていない場合には、描画サーバ１１２による描画コマンドを受信したか否かの判定（Ｓ１０４）以降の動作が繰り返される。
図４は、拠点Ｂのクライアントシステム２４０の動作を示すフローチャートである。クライアントシステム２４０は、拠点Ｂのユーザの操作指示に応じて、注釈等のアノテーション画像を拠点Ａのホワイトボード１６０あるいは拠点Ｂのホワイトボード２６０に投影させる指示である描画コマンドを生成する（Ｓ２０１）。
次に、クライアントシステム２４０は、画像描画処理を行い、拠点Ａのホワイトボード１６０あるいは拠点Ｂのホワイトボード２６０に投影させるアノテーション画像の情報を生成する（Ｓ２０２）。更に、クライアントシステム２４０は、描画コマンドの送信先が自拠点のサーバシステムであるサーバシステム２１０であるか否かを判定する（Ｓ２０３）。例えば、拠点Ｂのユーザは、描画コマンドの生成の操作指示において、送信先を指定する操作指示を行い、クライアントシステム２４０は、この操作指示により送信先を判別する。
描画コマンドの送信先が自拠点のサーバシステムであるサーバシステム２１０でない場合、クライアントシステム２４０は、描画コマンドにＳ２０２で生成されたアノテーション画像の情報を付加して、拠点Ａのサーバシステム１１０内の描画サーバ１１２へ送信する（Ｓ２０４）。これにより、拠点Ａのサーバシステム１１０では、図３のＳ１０５の動作が行われる。
一方、描画コマンドの送信先が自拠点のサーバシステムであるサーバシステム２１０の場合、クライアントシステム２４０は、描画コマンドにＳ２０２で生成されたアノテーション画像の情報を付加してサーバシステム２１０へ送信する（Ｓ２０５）。この場合、サーバシステム２１０内の描画サーバ２１２は、受信した描画コマンドに付加されているアノテーション画像の情報をプロジェクタ２１６へ出力し、当該プロジェクタ２１６は、アノテーション画像の情報に対応する画像をホワイトボード２６０へ投影する。
Ｓ２０４あるいはＳ２０５における描画コマンドの送信後、クライアントシステム２４０は、拠点Ｂのユーザによって終了指示がなされたか否かを判定する（Ｓ２０６）。終了指示がなされた場合には、一連の動作が終了する。一方、終了指示がなされていない場合には、描画コマンドの生成（Ｓ２０１）以降の動作が繰り返される。
なお、拠点Ｂのサーバシステム２１０においても図３と同様の動作が行われ、拠点Ａのクライアントシステム１４０においても図４と同様の動作が行われる。
このように遠隔支援システムでは、拠点Ａにおけるホワイトボード１６０に、拠点Ｂのクライアントシステム２４０からのアノテーション画像の情報に対応する画像が表示され、同様に、拠点Ｂにおけるホワイトボード２６０に、拠点Ａのクライアントシステム１４０からのアノテーション画像の情報に対応する画像が表示される。また、拠点Ａのモニタ１４２には、拠点Ｂのホワイトボード２６０の撮影画像が表示され、拠点Ｂのモニタ２４２には、拠点Ａのホワイトボード１６０の撮影画像が表示される。このため、各拠点の投影領域であるホワイトボードを作業エリアとして利用することによって拠点間で協同作業を行うことができ、ユーザ間のコミュニケーションがしやすくなる。
なお、本発明は上記実施形態に限定されるものではなく、様々な変形実施が可能である。図５は、拠点Ａの遠隔支援装置の他の構成を示す図である。図５において、拠点Ａには、遠隔支援装置としてのサーバシステム１１０、自拠点モニタ用クライアントシステム１７０及び他拠点用クライアントシステム１８０と、ホワイトボード１６０とが設置されている。なお、拠点Ｂにおいても同様の構成とすることができる。
他拠点用クライアントシステム１８０は、モニタ１８２を有する。この他拠点用クライアントシステム１８０は、拠点Ｂのサーバシステム２１０内のビデオサーバ２１４から送信される、ホワイトボード２６０の撮影により得られた画像情報を受信して、当該画像情報に対応する画像をモニタ１８２に表示する。
拠点Ａのユーザは、モニタ１８２に表示された画像の一部の領域を、ホワイトボード１６０に表示すべき画像として設定する操作指示を行うことができる。この操作指示がなされた場合、他拠点用クライアントシステム１８０は、設定された画像領域をコピーエリア１８３として選択し、当該コピーエリア１８３に対応する画像情報を、自拠点モニタ用クライアントシステム１７０へ送信する。
自拠点モニタ用クライアントシステム１７０は、コピーエリア１８３に対応する画像情報を受信すると、当該画像情報に対応する画像と、予め保持している画像情報に対応する画像とを合成した合成画像の画像情報を生成する。更に、自拠点モニタ用クライアントシステム１７０は、合成画像をモニタ１７２に表示するとともに、コピーエリア１８３に対応する画像情報をサーバシステム１１０へ送信する。
サーバシステム１１０内の描画サーバ１１２は、受信したコピーエリア１８３に対応する画像情報をプロジェクタ１１６へ出力し、プロジェクタ１１６は、当該画像情報に対応する合成画像をホワイトボード１６０へ投影する。
このように、拠点Ａにおいては、当該拠点Ａのユーザの操作指示に応じて、拠点Ｂにおけるホワイトボード２６０の撮影により得られた画像情報に対応する画像の一部が選択されて、その画像が拠点Ａのホワイトボード１６０に投影される。
なお、上述した実施形態では、２つの拠点Ａ及びＢに遠隔支援装置が設置される場合における遠隔支援システムについて説明したが、３つ以上の拠点に遠隔支援装置が設置される遠隔支援システムにおいても、本発明を適用することができる。図６は、拠点Ａ、Ｂ、Ｃの３箇所に遠隔支援装置が設置される場合の例であり、拠点Ａには、遠隔支援装置としてのサーバシステム１１０、クライアントシステム１４０−１及び１４０−２が設置され、拠点Ｂには、遠隔支援装置としてのサーバシステム２１０、クライアントシステム２４０−１及び２４０−２が設置され、拠点Ｃには、遠隔支援装置としてのサーバシステム３１０、クライアントシステム３４０−１及び３４０−２が設置される。
この画像システムにおいて、拠点Ａのサーバシステム１１０は、インターネット４００を介して拠点Ｂのクライアントシステム２４０−１及び拠点Ｃのクライアントシステム３４０−２と通信可能に接続され、これらクライアントシステム２４０−１及び３４０−２の要求に応じて、拠点Ａにおける画像投影のための処理を行う。同様に、拠点Ｂのサーバシステム２１０は、インターネット４００を介して拠点Ａのクライアントシステム１４０−１及び拠点Ｃのクライアントシステム３４０−１と通信可能に接続され、これらクライアントシステム１４０−１及び３４０−１の要求に応じて、拠点Ｂにおける画像投影のための処理を行う。また、拠点Ｃのサーバシステム３１０は、インターネット４００を介して拠点Ａのクライアントシステム１４０−２及び拠点Ｂのクライアントシステム２４０−２と通信可能に接続され、これらクライアントシステム１４０−２及び２４０−２の要求に応じて、拠点Ｃにおける画像投影のための処理を行う。
以上、説明したように、本発明に係る遠隔支援装置、遠隔支援システム及び遠隔支援方法は、複数の拠点におけるユーザ間の適切なコミュニケーションを可能とし、遠隔支援装置等として有用である。
遠隔支援システムを構成する遠隔支援装置の基本構成を示す図である。 遠隔支援システムの構成を示す図である。 サーバシステムの動作を示すフローチャートである。 クライアントシステムの動作を示すフローチャートである。 遠隔支援装置の他の構成を示す図である。 遠隔支援システムの他の構成を示す図である。
符号の説明
１１０、２１０ サーバシステム
１１２、２１２ 描画サーバ
１１４、２１４ ビデオサーバ
１１６、２１６ プロジェクタ
１１８、２１８ ビデオカメラ
１２０、２２０ ハーフミラー
１４０、２４０ クライアントシステム
１４２、２４２ モニタ
１６０、２６０ ホワイトボード
４００ インターネット

Claims (13)

  1. 他の装置と協同して、所定の投影領域に投影される画像に関する処理を行う遠隔支援装置であって、
    前記他の装置からの第１のアノテーション画像の情報を受信する第１の受信手段と、
    前記投影領域に、前記第１の受信手段により受信された第１のアノテーション画像の情報に対応する画像を投影する投影手段と、
    前記投影領域を撮影する撮影手段と、
    前記撮影手段の撮影により得られる撮影画像に対応する画像情報を、前記他の装置において表示されるべき画像に対応する画像情報として、前記他の装置へ送信する第１の送信手段と、
    前記他の装置が設置された拠点における投影領域に投影されるべき第２のアノテーション画像の情報を前記他の装置へ送信する第２の送信手段と、
    前記他の装置からの該他の装置が設置された拠点における投影領域の撮影により得られる撮影画像の情報を受信する第２の受信手段と、
    前記第２の受信手段により受信された撮影画像の情報に対応する画像を表示する表示手段とを有することを特徴とする遠隔支援装置。
  2. 前記他の装置の撮像手段で撮像され、かつ、前記表示手段に表示された画像の少なくとも一部の領域を選択する選択手段を有し、
    前記投影手段は、前記選択手段により選択された領域の画像を前記所定の投影領域に投影することを特徴とする請求項１に記載の遠隔支援装置。
  3. 前記撮影手段の撮影により得られる撮影画像に含まれる第１のアノテーション画像に対して、描画した前記第１のアノテーション画像を重ねた合成画像を生成する生成手段を有し、
    前記第１の送信手段は、前記生成手段により生成された前記合成画像に関する画像情報を前記他の装置へ送信することを特徴とする請求項１又は２に記載の遠隔支援装置。
  4. 前記第１の受信手段は、前記他の装置からの第１のアノテーション画像の情報とともに、該第１のアノテーション画像の情報に対応する画像の投影に関する第１の描画指示を受信し、
    前記投影手段は、前記第１の受信手段により受信された第１の描画指示に応じて、前記投影領域に前記第１の受信手段により受信された第１のアノテーション画像の情報に対応する画像を投影することを特徴とする請求項１乃至３のいずれかに記載の遠隔支援装置。
  5. 前記第２の送信手段は、前記第２のアノテーション画像の情報とともに、該第２のアノテーション画像の情報に対応する画像の投影に関する第２の描画指示を送信することを特徴とする請求項１乃至４のいずれかに記載の遠隔支援装置。
  6. ユーザの操作指示に応じて、前記第２の描画指示を生成する生成手段を有し、
    前記第１の送信手段は、前記生成手段により生成された第２の描画指示を送信することを特徴とする請求項５に記載の遠隔支援装置。
  7. 前記遠隔支援装置は、サーバ及びクライアントからなり、
    前記サーバは、前記他の装置におけるクライアントと通信可能に接続され、
    前記クライアントは、前記他の装置におけるサーバと通信可能に接続されることを特徴とする請求項１乃至６のいずれかに記載の遠隔支援装置。
  8. 請求項１乃至７のいずれかに記載の遠隔支援装置を複数組み合わせて構成されて画像に基づくコミュニケーションを実行することを特徴とする遠隔支援システム。
  9. 他の装置と協同して、所定の投影領域に投影される画像に関する処理を行う遠隔支援装置における遠隔支援方法であって、
    前記他の装置からの第１のアノテーション画像の情報を受信する第１の受信ステップと、
    前記投影領域に、前記第１の受信ステップにより受信された第１のアノテーション画像の情報に対応する画像を投影する投影ステップと、
    前記投影領域を撮影する撮影ステップと、
    前記撮影手段の撮影により得られる撮影画像に対応する画像情報を、前記他の装置において表示されるべき画像に対応する画像情報として、前記他の装置へ送信する第１の送信ステップと、
    前記他の装置が設置された拠点における投影領域に投影されるべき第２のアノテーション画像の情報を前記他の装置へ送信する第２の送信ステップと、
    前記他の装置からの該他の装置が設置された拠点における投影領域の撮影により得られる撮影画像の情報を受信する第２の受信ステップと、
    前記第２の受信ステップにより受信された撮影画像の情報に対応する画像を表示ステップとを有することを特徴とする遠隔支援方法。
  10. 前記他の装置の撮像手段で撮像され、かつ、前記表示手段に表示された画像の一部の領域を選択する選択ステップを有し、
    前記投影ステップは、前記選択ステップにより選択された領域の画像を前記所定の投影領域に投影することを特徴とする請求項９に記載の遠隔支援方法。
  11. 前記撮影手段の撮影により得られる撮影画像に含まれる第１のアノテーション画像に対して、描画した前記第１のアノテーション画像を重ねた合成画像を生成するステップと、
    生成された前記合成画像に関する画像情報を前記他の装置へ送信するステップとを有することを特徴とする請求項９又は１０に記載の遠隔支援方法。
  12. 前記第１の受信ステップは、前記他の装置からの第１のアノテーション画像の情報とともに、該第１のアノテーション画像の情報に対応する画像の投影に関する第１の描画指示を受信し、
    前記投影ステップは、前記第１の受信ステップにより受信された第１の描画指示に応じて、前記投影領域に前記第１の受信ステップにより受信された第１のアノテーション画像の情報に対応する画像を投影することを特徴とする請求項９乃至１１のいずれかに記載の遠隔支援方法。
  13. 前記第２の送信ステップは、前記第２のアノテーション画像の情報とともに、該第２のアノテーション画像の情報に対応する画像の投影に関する第２の描画指示を送信することを特徴とする請求項９乃至１２のいずれかに記載の遠隔支援方法。
JP2006174630A 2006-06-23 2006-06-23 遠隔支援装置、遠隔支援システム及び遠隔支援方法 Active JP4872482B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2006174630A JP4872482B2 (ja) 2006-06-23 2006-06-23 遠隔支援装置、遠隔支援システム及び遠隔支援方法
US11/583,778 US7590662B2 (en) 2006-06-23 2006-10-20 Remote supporting apparatus, remote supporting system, remote supporting method, and program product therefor
CN200710001917A CN100579213C (zh) 2006-06-23 2007-01-15 远程支持装置、远程支持系统和远程支持方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006174630A JP4872482B2 (ja) 2006-06-23 2006-06-23 遠隔支援装置、遠隔支援システム及び遠隔支援方法

Publications (2)

Publication Number Publication Date
JP2008005358A true JP2008005358A (ja) 2008-01-10
JP4872482B2 JP4872482B2 (ja) 2012-02-08

Family

ID=38920263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006174630A Active JP4872482B2 (ja) 2006-06-23 2006-06-23 遠隔支援装置、遠隔支援システム及び遠隔支援方法

Country Status (3)

Country Link
US (1) US7590662B2 (ja)
JP (1) JP4872482B2 (ja)
CN (1) CN100579213C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060327A (ja) * 2013-09-17 2015-03-30 株式会社リコー 投影装置、投影方法及び情報処理システム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080316348A1 (en) * 2007-06-21 2008-12-25 Cisco Technology, Inc. Virtual whiteboard
US20090119593A1 (en) * 2007-11-01 2009-05-07 Cisco Technology, Inc. Virtual table
CN101650520A (zh) * 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
KR20110069958A (ko) * 2009-12-18 2011-06-24 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치
JP2012208439A (ja) 2011-03-30 2012-10-25 Sony Corp 投影装置、投影方法及び投影プログラム
JP6683042B2 (ja) * 2016-07-06 2020-04-15 富士ゼロックス株式会社 データ処理装置、システムおよびプログラム
JP6493466B2 (ja) 2017-07-28 2019-04-03 富士ゼロックス株式会社 情報処理装置及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187178A (ja) * 1997-12-24 1999-07-09 Nec Corp 電子黒板会議システム及び通信方法
JP2005033756A (ja) * 2002-10-15 2005-02-03 Fuji Xerox Co Ltd 第１の位置から、第２の位置に配置されたターゲットへ注釈付けをする方法、装置、及びシステム
JP2005051446A (ja) * 2003-07-31 2005-02-24 Ricoh Co Ltd 投影型表示装置および投影型表示装置を用いた表示画像の遠隔共有方法
JP2005203886A (ja) * 2004-01-13 2005-07-28 Seiko Epson Corp 遠隔会議支援システム、遠隔会議支援システム制御方法、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5940049A (en) * 1995-10-23 1999-08-17 Polycom, Inc. Remote interactive projector with image enhancement
JP2000188655A (ja) 1998-12-21 2000-07-04 Nec Corp 遠隔地間共有電子ホワイトボード

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187178A (ja) * 1997-12-24 1999-07-09 Nec Corp 電子黒板会議システム及び通信方法
JP2005033756A (ja) * 2002-10-15 2005-02-03 Fuji Xerox Co Ltd 第１の位置から、第２の位置に配置されたターゲットへ注釈付けをする方法、装置、及びシステム
JP2005051446A (ja) * 2003-07-31 2005-02-24 Ricoh Co Ltd 投影型表示装置および投影型表示装置を用いた表示画像の遠隔共有方法
JP2005203886A (ja) * 2004-01-13 2005-07-28 Seiko Epson Corp 遠隔会議支援システム、遠隔会議支援システム制御方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060327A (ja) * 2013-09-17 2015-03-30 株式会社リコー 投影装置、投影方法及び情報処理システム

Also Published As

Publication number Publication date
CN101094390A (zh) 2007-12-26
CN100579213C (zh) 2010-01-06
US7590662B2 (en) 2009-09-15
JP4872482B2 (ja) 2012-02-08
US20080010317A1 (en) 2008-01-10

Similar Documents

Publication Publication Date Title
JP4872482B2 (ja) 遠隔支援装置、遠隔支援システム及び遠隔支援方法
US9733736B2 (en) Image display apparatus and method, image display system, and program
US9160994B2 (en) Information storage medium, terminal device, display system, and a method for controlling a terminal device
JP2013197838A (ja) 遠隔会議システム及び遠隔会議端末
JP2010113618A (ja) 画像配信装置、方法及びプログラム
JP2019004243A (ja) 表示システム、表示装置、及び、表示システムの制御方法
US8395669B2 (en) Image data transmission apparatus and method, remote display control apparatus and control method thereof, program, and storage medium
JP2006235159A (ja) 画像表示装置およびこれを動作させるためのプログラム
JP4438870B2 (ja) 指示システム、指示プログラム及び指示装置
JP2008294789A (ja) 遠隔指示システム及びサーバ装置
JP2010015032A (ja) プロジェクタ及びその制御方法並びに画像投射表示システム
CN111818292A (zh) 控制方法、装置、终端和系统
JP2009229834A (ja) プロジェクションシステム
JP5162855B2 (ja) 画像処理装置、遠隔画像処理システム及び画像処理方法
JP2009222919A (ja) 画像表示システム及び同システムに用いる表示装置、並びに情報処理方法
US20030112415A1 (en) Apparatus for projection and capture of a display interface
JP5944000B2 (ja) 画像表示システム、情報端末、情報端末の制御方法及び制御プログラム
JP6620979B2 (ja) 携帯端末、投写システム、投写システムの制御方法およびプログラム
JP6362090B2 (ja) ネットワークカメラのプリセット位置の表示方法
JP2006128951A (ja) 遠隔描画装置、システムおよび遠隔描画方法
JP2010122263A (ja) プロジェクタ
JP2010141662A (ja) 画像表示装置、テレビ会議装置、および画像表示方法
JP2008141280A (ja) 遠隔指示システム
JP2007036543A (ja) 遠隔指示システム及び遠隔指示方法
JP2515786B2 (ja) 投影機を用いた会議装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111025

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4872482

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350