JP2018160111A - 情報処理装置、画像表示プログラム、画像表示方法および表示システム - Google Patents

情報処理装置、画像表示プログラム、画像表示方法および表示システム Download PDF

Info

Publication number
JP2018160111A
JP2018160111A JP2017057145A JP2017057145A JP2018160111A JP 2018160111 A JP2018160111 A JP 2018160111A JP 2017057145 A JP2017057145 A JP 2017057145A JP 2017057145 A JP2017057145 A JP 2017057145A JP 2018160111 A JP2018160111 A JP 2018160111A
Authority
JP
Japan
Prior art keywords
image
thumbnail image
image data
unit
thumbnail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017057145A
Other languages
English (en)
Other versions
JP6766716B2 (ja
Inventor
真 重光
Makoto Shigemitsu
真 重光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2017057145A priority Critical patent/JP6766716B2/ja
Priority to US15/925,135 priority patent/US10839482B2/en
Priority to CN201810240264.2A priority patent/CN108629726B/zh
Publication of JP2018160111A publication Critical patent/JP2018160111A/ja
Application granted granted Critical
Publication of JP6766716B2 publication Critical patent/JP6766716B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】表示する画像の切り替え指示に対して迅速に対応する装置を提供する。【解決手段】情報処理装置200は、複数のページで構成されるコンテンツデータからサムネイル画像を生成するサムネイル画像生成部224と、ページの切り替え指示を受け付ける指示受付部222と、接続されたプロジェクター装置100で表示する画像データを生成するレンダリング処理部226と、プロジェクター装置100と通信する通信部210と、プロジェクター装置100に送信するデータの生成を制御する制御部220と、を備え、制御部220は、切り替え指示を受け付けた場合、サムネイル画像を決定し、決定したサムネイル画像を表すサムネイル画像データを通信部210を介してプロジェクター装置100に送信した後、サムネイル画像に対応する高解像度画像データを、通信部210を介してプロジェクター装置100に送信する。【選択図】図2

Description

本発明は、情報処理装置、画像表示プログラム、画像表示方法および表示システムに関する。
従来から、下記特許文献1に示すように、端末装置が保持する画像データを表示装置に送信し、表示装置が受信した画像データに基づいて画像を表示する表示システムが知られている。
また、下記の特許文献2や特許文献3に示すように、最初に、低い解像度の画像を表示装置に表示させ、次に、高い解像度の画像を低い解像度の画像に替えて表示させることで、画像の表示を迅速に行う技術が知られている。
特開2016−9023号公報 特開2004−361814号公報 特開平10−79913号公報
しかしながら、端末装置で画像データの生成処理を行い、生成処理が終了するのを待って、生成される画像データを表示装置に送信する場合、画像データの生成が終了までに多くの時間を要すると、表示装置が画像を表示しない状態が継続し、画像が表示されないことでユーザーの誤操作を誘発し、使い勝手が低下した。
本発明は、上述の課題に鑑みてなされたものであり、表示する画像の切り替え指示に対して迅速に対応することを目的とする。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
[適用例1]
本適用例にかかる情報処理装置は、画像表示装置と通信可能に接続された情報処理装置であって、複数のページで構成されるコンテンツデータから少なくとも1ページのサムネイル画像を生成するサムネイル画像生成部と、ページの切り替え指示を受け付ける受付部と、前記サムネイル画像よりも解像度が高い高解像度画像データを生成する高解像度画像データ生成部と、前記画像表示装置と通信する通信部と、前記画像表示装置に送信するデータの生成を制御する制御部と、を備え、前記制御部は、前記切り替え指示を受け付けた場合、前記切り替え指示に基づいて前記サムネイル画像を決定し、決定した前記サムネイル画像を表すサムネイル画像データを、前記通信部を介して前記画像表示装置に送信し、前記サムネイル画像データを送信した後、前記高解像度画像データを、前記通信部を介して前記画像表示装置に送信することを特徴とする。
このような構成によれば、ページの切り替え指示を受け付けた場合、最初に、切り替え指示に基づいて決定されるサムネイル画像を表すサムネイル画像データを画像表示装置に送信し、次に、サムネイル画像よりも解像度が高い高解像度画像データを生成し、生成した高解像度画像データを画像表示装置に送信する。従って、画像表示装置は、サムネイル画像データを受信してから解像度が高い高解像度画像データを受信するまで、先に受信したサムネイル画像データを表示できるため、ユーザーはページ切り替え指示が受け付けられたことを視認できることから、ユーザーによる誤操作を回避し、使い勝手を向上させることができる。
[適用例2]
上記適用例にかかる情報処理装置において、前記受付部は、前記切り替え指示を外部の機器から取得することが好ましい。
このような構成によれば、画像表示装置で投射する画像の切り替えを外部の機器から指示できる。
[適用例3]
上記適用例にかかる情報処理装置において、前記外部の機器はリモコンであっても良い。
[適用例4]
上記適用例にかかる情報処理装置において、前記サムネイル画像および前記サムネイル画像データを記憶する記憶部を備え、前記制御部は、前記記憶部に記憶された前記サムネイル画像および前記サムネイル画像データを読み出すことが好ましい。
このような構成によれば、サムネイル画像およびサムネイル画像データを生成して記憶部に記憶することで、必要に応じてサムネイル画像およびサムネイル画像データを読み出して迅速に使用できる。
[適用例5]
上記適用例にかかる情報処理装置において、前記制御部は、前記高解像度画像データを生成するのに要する時間に基づいて、前記サムネイル画像データを前記画像表示装置に送信するか、否かを判定することが好ましい。
このような構成によれば、高解像度画像データを生成するのに要する時間に基づいて、サムネイル画像データを画像表示装置に送信することなく、高解像度画像データを画像表示装置に送信することができる。
[適用例6]
本適用例にかかる画像表示プログラムは、通信可能に接続された画像表示装置に画像を表示させる画像表示プログラムであって、複数のページで構成されるコンテンツデータから少なくとも1ページのサムネイル画像を生成する機能と、ページの切り替え指示を受け付ける機能と、前記切り替え指示に基づいて前記サムネイル画像を決定し、決定した前記サムネイル画像に対応するサムネイル画像データを前記画像表示装置に送信する機能と、前記サムネイル画像データを送信した後、前記サムネイル画像よりも解像度が高い高解像度画像データを生成し、生成した前記高解像度画像データを前記画像表示装置に送信する機能と、をコンピューターに実行させることを特徴とする。
このような機能によれば、ページの切り替え指示を受け付けた場合、最初に、切り替え指示に基づいて決定されるサムネイル画像を表すサムネイル画像データを画像表示装置に送信し、次に、サムネイル画像よりも解像度が高い高解像度画像データを生成し、生成した高解像度画像データを画像表示装置に送信する。従って、画像表示装置は、サムネイル画像データを受信してから解像度が高い高解像度画像データを受信するまで、先に受信したサムネイル画像データを表示できるため、ユーザーはページ切り替え指示が受け付けられたことを視認できることから、ユーザーによる誤操作を回避し、使い勝手を向上させることができる。
[適用例7]
本適用例にかかる画像表示方法は、通信可能に接続された画像表示装置に画像を表示させる画像表示方法であって、複数のページで構成されるコンテンツデータから少なくとも1ページのサムネイル画像を生成し、ページの切り替え指示を受け付けた場合、前記切り替え指示に基づいて前記サムネイル画像を決定し、決定した前記サムネイル画像に対応するサムネイル画像データを前記画像表示装置に送信し、前記サムネイル画像データを送信した後、前記サムネイル画像よりも解像度が高い高解像度画像データを生成し、生成した前記高解像度画像データを前記画像表示装置に送信することを特徴とする。
このような方法によれば、ページの切り替え指示を受け付けた場合、最初に、切り替え指示に基づいて決定されるサムネイル画像を表すサムネイル画像データを画像表示装置に送信し、次に、サムネイル画像よりも解像度が高い高解像度画像データを生成し、生成した高解像度画像データを画像表示装置に送信する。従って、画像表示装置は、サムネイル画像データを受信してから解像度が高い高解像度画像データを受信するまで、先に受信したサムネイル画像データを表示することで、ユーザーはページ切り替え指示が受け付けられたことを視認できることから、ユーザーによる誤操作を回避し、使い勝手を向上させることができる。
[適用例8]
本適用例にかかる表示システムは、情報処理装置と、前記情報処理装置と通信可能な画像表示装置と、を備える表示システムであって、前記情報処理装置は、複数のページで構成されるコンテンツデータから少なくとも1ページのサムネイル画像を生成するサムネイル画像生成部と、ページの切り替え指示を受け付ける受付部と、前記サムネイル画像よりも解像度が高い高解像度画像データを生成する高解像度画像データ生成部と、前記画像表示装置に画像データを送信する送信部と、前記受付部で前記切り替え指示を受け付けた場合、前記切り替え指示に基づいて前記サムネイル画像を決定し、決定した前記サムネイル画像を表すサムネイル画像データを、前記送信部を介して前記画像表示装置に送信し、前記サムネイル画像データを送信した後、前記高解像度画像データを、前記送信部を介して前記画像表示装置に送信する制御部と、を備え、前記画像表示装置は、前記情報処理装置から前記画像データを受信する受信部と、受信した前記画像データに基づいて画像を表示する表示部と、を備えることを特徴とする。
このような構成によれば、情報処理装置は、ページの切り替え指示を受け付けた場合、最初に、切り替え指示に基づいて決定されるサムネイル画像データを画像表示装置に送信し、次に、サムネイル画像よりも解像度が高い高解像度画像データを生成し、生成した高解像度画像データを画像表示装置に送信する。これにより、画像表示装置は、高解像度画像データに基づく画像を表示するまでの間、最初に受信したサムネイル画像データに基づく画像を表示する。従って、ユーザーは、サムネイル画像データに基づく画像を視認することで、ページ切り替え指示が受け付けられたことを認知できることから、ユーザーによる誤操作を回避し、使い勝手を向上させることができる。
画像表示システムの構成を示す図。 情報処理装置の構成を示す図。 画像投射部の光学系を模式的に示す図。 起動処理の流れを示すフローチャート。 画像投射処理の流れを示すフローチャート。 時間経過に伴いプロジェクター装置が投射する画像の変化を示す図。
以下、本発明の実施形態について図面を参照して説明する。
(実施形態)
以下、図面を参照して本発明の実施形態について説明する。図1は、画像表示システム10の構成を示す図である。
画像表示システム10は、画像表示装置としてのプロジェクター装置100、および、情報処理装置200を備えて構成される。プロジェクター装置100と情報処理装置200とは、通信可能に接続されている。
プロジェクター装置100は、情報処理装置200から供給される画像データに基づく画像をスクリーンSCに投射する。
プロジェクター装置100は、通信部175を備える。本実施形態では、通信部175は、WiFi(登録商標)のような無線LANやBluetooth(登録商標)に対応する通信インターフェイスを備え、ネットワーク250を介して情報処理装置200と接続される。
尚、通信部175が備えるインターフェイスは、Ethernet(登録商標)、IEEE1394、HDMI(登録商標)、USB等の有線接続であっても良い。
通信部175は、接続した情報処理装置200から画像データを受信する受信部として機能する。通信部175が受信した画像データは画像処理部152に送られる。また、通信部175は、接続した情報処理装置200に対して各種データを送信する。
プロジェクター装置100は、光学的な画像の形成を行い、スクリーンSCに画像を投射(表示)する画像投射部50を備える。画像投射部50は、表示部として機能し、光源としての光源部55、光変調部80及び投射光学系90を備える。
光源部55は、光源駆動部121により駆動される。光源駆動部121は、内部バス180に接続される。光源駆動部121は、制御部160の制御に従って、光源部55の光源を点灯及び消灯させる。光源が点灯すると第1の光である出射光L1が光変調部80に入光される。
光変調部80には、光変調部80の液晶装置85を駆動する光変調駆動部122が接続される。光変調駆動部122は、内部バス180に接続される。
光変調駆動部122は、画像処理部152から入力される表示画像データに基づいてR,G,Bの画像信号をそれぞれに生成する。光変調駆動部122は、生成したR,G,Bの画像信号に基づいて、光変調部80の対応する液晶装置85を駆動し、各液晶装置85R,85G,85Bに画像を描画する。
投射光学系90は、出射光L1が光変調部80により変調された第2の光である画像光L2をスクリーンSC方向へ投射して、スクリーンSC上に結像させるレンズ群を備える。また、投射光学系90は、スクリーンSCの投射画像の拡大・縮小及び焦点の調整を行うズーム機構、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。
尚、画像投射部50の光学系に関する詳細は後述する。
プロジェクター装置100は、操作パネル131及び操作処理部133を備える。操作処理部133は、内部バス180に接続される。
ユーザーからの操作を受け付ける操作パネル131には、各種の操作キーや、液晶装置85にて構成された表示画面が表示される。操作処理部133は、操作パネル131に表示された操作キーが操作されると、操作されたキーに対応したデータを制御部160に出力する。また、操作処理部133は、制御部160の制御に従って、操作パネル131に各種画面を表示させる。
また、操作パネル131には、操作パネル131への接触を検出するタッチセンサーが重ね合わされて一体形成されても良い。操作処理部133は、ユーザーの指等が接触した操作パネル131の位置を入力位置として検出し、検出した入力位置に対応したデータを制御部160に出力する。
また、プロジェクター装置100は、ユーザーが操作するリモコン5からの種々の動作指示を受け付ける。本実施形態では、リモコン5は、プロジェクター装置100とは別体の外部の機器であり、ページ切替ボタン6を備えている。例えば、プロジェクター装置100がページ単位で表示するコンテンツを投射している場合、ユーザーがページ切替ボタン6を押下すると、プロジェクター装置100は、押下したページ切替ボタン6に応じて、投射するページを前のページや次のページに変更する。
プロジェクター装置100は、ユーザーが使用するリモコン5から送信される赤外線信号を受光するリモコン受光部132を備える。リモコン受光部132は、操作処理部133に接続される。
リモコン受光部132は、リモコン5から送信される赤外線信号を受光する。操作処理部133は、リモコン受光部132が受光した赤外線信号をデコードして、リモコン5における操作内容を示すデータを生成し、制御部160に出力する。
プロジェクター装置100は、状態検出部140を備える。状態検出部140は、プロジェクター装置100が内蔵するカメラ142が出力する信号が入力される。
状態検出部140は、入力された信号に基づきプロジェクター装置100の状態を示す状態情報を生成し、制御部160に出力する。
カメラ142は、撮像光学系、CCDのような撮像素子及びインターフェイス回路等を有し、投射画像が投射されるスクリーンSCの周辺、即ち、投射光学系90の投射方向を撮影する。カメラ142は、撮影した投射画像の画像データ信号を状態検出部140に出力する。
プロジェクター装置100は、画像処理系を備える。画像処理系は、プロジェクター装置100の全体を統括的に制御する制御部160を中心に構成され、この他に、画像処理部152、フレームメモリー155及び記憶部170を備える。制御部160、画像処理部152及び記憶部170は、内部バス180に接続される。
画像処理部152は、制御部160の制御に従って、通信部175から入力される画像データをフレームメモリー155に展開する。画像処理部152は、フレームメモリー155に展開された画像データに対して、台形補正等の形状補正処理、デジタルズーム処理、画像の色合いや明るさの調整等の処理を行う。画像処理部152は、制御部160により指定された処理を実行し、必要に応じて、制御部160から入力されるパラメーターを使用して処理を行う。また、画像処理部152は、上記のうち複数の処理を組み合わせて実行することも勿論可能である。
画像処理部152は、処理後の画像データをフレームメモリー155から読み出し、表示画像データとして光変調駆動部122に出力する。
制御部160は、何れも図示は略した、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)等のハードウェアを備える。ROMは、フラッシュROM等の不揮発性の記憶装置であり、制御プログラムやデータを格納する。RAMは、CPUのワークエリアを構成する。CPUは、ROMや記憶部170から読み出した制御プログラムをRAMに展開し、RAMに展開された制御プログラムを実行してプロジェクター装置100の各部を制御する。
また、制御部160は、リモコン5から送られる操作内容に基づいて、各機能の実行を制御する。また、制御部160は、リモコン5から送られた操作内容が、情報処理装置200に対する操作である場合、操作内容を示すデータを生成し、通信部175から情報処理装置200に送信する。
また、制御部160は、機能ブロックとして、投射制御部161および補正処理部163を備える。これらの機能ブロックは、何れも図示を略した、CPUと、ROMや記憶部170に記憶された制御プログラムと、が協働することで実現される。
記憶部170は、不揮発性の記憶装置であり、例えば、フラッシュメモリー、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)、HDD(Hard Disc Drive)などの記憶装置により実現される。また、記憶部170は、画像投射部50によりスクリーンSCに投射させる画像データや、制御部160が参照する各データやパラメーター等を記憶する。
投射制御部161は、画像投射部50における画像の表示態様を調整し、スクリーンSCへの画像の投射を制御する。
具体的には、投射制御部161は、画像処理部152を制御して、通信部175が受信した描画データに対する画像処理を実行させる。この際、投射制御部161は、画像処理部152が処理に必要なパラメーターを記憶部170から読み出して、画像処理部152に出力してもよい。
また、投射制御部161は、光源駆動部121を制御して光源部55の光源を点灯させ、光源部55に対して光源の輝度を指示する。
補正処理部163は、状態検出部140から出力される状態情報に基づいて、補正処理を実行する。
例えば、状態情報が、プロジェクター装置100の傾斜を示している場合、補正処理部163は、画像処理部152に対して台形補正を指示する。
電源部190は、外部の電源195から供給される電力を所定の特性値に変換し、各機能部に供給する。
図2は、プロジェクター装置100と接続される情報処理装置200の構成を示す構成図である。
情報処理装置200は、通信部210、記憶部230、制御部220、タッチパネル240を備える。
本実施形態では、情報処理装置200は、例えば、スマートフォンのような高機能携帯電話や、タブレット端末のような多機能携帯端末を想定する。
通信部210は、無線通信を介してプロジェクター装置100との間でデータを送受信する。例えば、通信部210は、プロジェクター装置100で投射する画像データを送信する送信部として機能する。
記憶部230は、画像や文書を示すファイル形式のコンテンツデータや、情報処理装置200で実行可能なアプリケーション等のプログラムデータを記憶する。アプリケーションは、プロジェクター装置100を操作するための操作プログラムや、所定の機能を実現するためのアプリケーションプログラムを想定する。本実施形態では、記憶部230は、例えば、フラッシュメモリー等を想定する。
タッチパネル240は、アプリケーションプログラムのユーザーインターフェイスを含む画像を表示し、ユーザーインターフェイスに対するユーザーの指示を受け付ける。
制御部220は、情報処理装置200の各機能部の動作を制御する。
制御部220は、機能ブロックとして、指示受付部222、サムネイル画像生成部224、レンダリング処理部226およびアプリケーション処理部228を備える。
指示受付部222は、通信部175が受信したリモコン5の操作内容を解析し、操作内容に基づく指示を受け付ける。このような指示は、例えば、プロジェクター装置100が投射している文書に対する操作を想定できる。制御部220は、受け付けた指示に基づいて、各機能部に対して所定の動作を指示する。
尚、本実施形態では、リモコン5からの操作内容は、プロジェクター装置100を介して取得したが、情報処理装置200がリモコン5から直接に受信する態様や、Bluetooth(登録商標)のような近距離無線を使って外部の装置からの指示を受け付ける態様も想定できる。
アプリケーション処理部228は、制御部220の指示に基づいて、アプリケーションプログラムを実行させたり、実行中のアプリケーションプログラムに対して所定の操作を指示したりする。尚、本実施形態では、アプリケーションプログラムは、PDF(Portable Document Format)形式等で記述されたコンテンツ(文書)を表示し、所望のページをプロジェクター装置100に投射させる画像表示プログラムを想定するが、これには限定されない。
サムネイル画像生成部224は、制御部220の指示に基づいて、コンテンツデータから低解像度なサムネイル画像を生成する。生成されたサムネイル画像のデータ(サムネイルデータ)は、記憶部230に記憶される。
レンダリング処理部226は、制御部220の指示に基づいて、記憶部230に記憶されたコンテンツデータに対してレンダリング処理を施し、プロジェクター装置100で投射する画像データ(描画データ)を生成する。
尚、レンダリング処理部226は、描画データを生成する場合、制御部220の指示に基づいて、サムネイルデータから低解像度なサムネイル画像の描画データを生成する機能と、サムネイル画像に対応する高解像度な画像の描画データを生成する機能と、を有する。尚、サムネイル画像よりも解像度が高い高解像な描画データを生成する機能は、高解像度画像データ生成部に相当する。
また、本実施形態では、画像表示プログラムで使用されるファイル形式のコンテンツデータが決定すると、サムネイル画像生成部224は、所定の枚数を限度としてサムネイル画像を生成する。更に、レンダリング処理部226は、生成したサムネイル画像に対してレンダリング処理をバックグラウンドで施して描画データを生成する。生成されたサムネイル画像および描画データは記憶部230に記憶される。
制御部220は、例えば、何れも図示を略した、CPU、RAM、ROM等を備えるコンピューターにより実現してもよい。コンピューターは、画像処理回路など各種の専用処理回路を備えていてもよい。また、制御部220は、ASIC(Application Specific Integrated Circuit)などにより実現されてもよい。
制御部220の各機能は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部をハードウェアで実現しても良く、あるいは、ハードウェアで実現される機能の一部をソフトウェアで実現しても良い。
次に、図3は画像投射部50の光学系を模式的に示す図であり、図3を参照して光学系の概略構成を説明する。
画像投射部50の光学系は光学ユニット51に構成されている。光学ユニット51は、光学部品用筐体52、光源部55、照明光学装置60、色分離光学装置65、リレー光学装置70、光変調部80および投射光学系90を備えている。これらの各装置を構成する光学部品は光学部品用筐体52に収納されている。
光源部55は、光束を射出する発光管56およびリフレクター57を備えている。光源部55は、発光管56から射出された光束をリフレクター57で反射させて射出方向を揃え、照明光学装置60に向けて射出する。尚、照明光軸OCは、光源部55から被照明領域側に射出される光束の中心軸である。
照明光学装置60はレンズアレイ61,62、偏光変換素子63、重畳レンズ64およびフィールドレンズ69を備え、光源部55から射出された光束に対し、照明光軸OCと直交する面内での照度を均一化する機能を有する。
色分離光学装置65はダイクロイックミラー66,67や反射ミラー68を備え、照明光学装置60から射出された光束を、赤色(R)光、緑色(G)光、青色(B)光の3色の色光に分離して3つの液晶装置85R,85G,85Bに導光する。尚、本実施形態では、液晶装置85R,85G,85Bは透過型の液晶パネルを採用する。
リレー光学装置70は入射側レンズ72、リレーレンズ76および反射ミラー74,78を備える。このリレー光学装置70は、色分離光学装置65で分離された色光(本実施形態ではB光)に対し、光路の長さが他の色光の光路の長さよりも長くなるため、光の発散などによる光の利用効率の低下を防止し、液晶装置85(本実施形態では液晶装置85B)まで導く。
光変調部80は、3つの入射側偏光板84、3つの液晶装置85R,85G,85B、3つの射出側偏光板86およびクロスダイクロイックプリズム88を備える。液晶装置85R,85G,85Bは、色分離光学装置65で分離された各色光を画像信号に応じて変調する。クロスダイクロイックプリズム88は、液晶装置85R,85G,85Bにより変調された各色光を合成し、投射光学系90側に射出する。
投射光学系90は投射レンズ92を備え、光変調部80で変調され合成された光束を、投射レンズ92で拡大しスクリーンSCに投射することにより、画像信号に基づく投射画像がスクリーンSCに表示される。
図4は、情報処理装置200が起動され、ページ単位で文書を表示する画像表示プログラムの起動処理が実行された場合の処理(起動処理)の流れを示すフローチャートである。
情報処理装置200が起動され、画像表示プログラムが実行されると、情報処理装置200の制御部220は、画像ファイルのようなコンテンツデータを決定する(ステップS280)。この決定は、ユーザーにより指示されても良く、また、情報処理装置200で最後に読み込んだコンテンツデータが決定されていても良い。
次に、情報処理装置200の制御部220は、コンテンツデータから少なくとも1ページの低解像度なサムネイル画像を生成する(ステップS282)。生成したサムネイル画像のデータは記憶部230に記憶される。また、情報処理装置200の制御部220は、生成したサムネイル画像に対するレンダリング処理をバックグラウンドで開始する。
次に、情報処理装置200の制御部220は、生成した複数のサムネイル画像をタッチパネル240に表示する(ステップS284)。
次に、情報処理装置200の制御部220は、ユーザーからの指示を受け付け、ユーザーにより指示されたサムネイル画像に対応する高解像度な描画データを生成する(ステップS286)。
次に、情報処理装置200の制御部220は、生成した描画データをプロジェクター装置100に送信し(ステップS288)、処理を終了する。
プロジェクター装置100は、情報処理装置200から送信された描画データに基づいて高解像度な画像をスクリーンSCに投射する。尚、画像表示プログラムの起動時においては、ユーザーによる画像選択には限定されず、コンテンツのデータファイルの先頭の画像や前回最後に選択された画像のように、予め決められた画像が投射されても良い。
図5は、情報処理装置200およびプロジェクター装置100による画像投射処理の流れ(画像表示方法)を示すフローチャートである。また、図6は、時間経過に伴いプロジェクター装置100が投射する画像の変化を示す図である。
情報処理装置200が起動して図4で示した起動処理が実行された後、時刻t0において、文書ファイルのNページ目の高解像度な画像がプロジェクター装置100に表示されている場合を想定する。この状態で、ユーザーがリモコン5のページ切替ボタン6を操作し、次のページ((N+1)ページ目)の高解像度な画像をプロジェクター装置100に表示させる処理について説明する。
最初に、プロジェクター装置100は、Nページ画像をスクリーンSCに投射している状態において、時刻t1にユーザーがリモコン5のページ切替ボタン6で次のページへの切り替えを指示した場合、プロジェクター装置100の制御部160は、次のページへの切り替え指示に基づいて、次ページ遷移指示を情報処理装置200に送信する(ステップS300)。
情報処理装置200はプロジェクター装置100から送信された次ページ遷移指示を受信する(ステップS302)。
続いて、情報処理装置200の制御部220は、次のページ((N+1)ページ)のレンダリング処理を行う前に、次のページ((N+1)ページ)のサムネイル画像を投射するか、否かを判定する(ステップS304)。
尚、高解像度の画像を投射する前に、サムネイル画像を投射するか、否かの判定は、制御部220が高解像度な画像をレンダリング処理するのに要する時間に基づいて判定しても良い。
例えば、投射しているコンテンツデータの属性に基づいて判定しても良い。例えば、コンテンツデータを収納したファイルの拡張子(ファイルの種類)に基づいて判定しても良い。また、(N−1)ページまでのレンダリング処理に所要する時間を計測し、計測した時間に基づいて判定しても良い。また、部分レンダリングを行う場合に一部のレンダリング処理に要する時間に基づいて決定しても良い。また、サムネイル画像のレンダリング処理に要した時間に基づいて決定しても良い。
また、図示は略すが、情報処理装置200の制御部220は、後述する次のページのレンダリング処理(ステップS316)を別スレッドによる処理で開始させ、レンダリング処理が所定時間内に完了しない場合、サムネイル画像の投射を決定しても良い。
ステップS304において、情報処理装置200の制御部220がサムネイル画像を投射しないと判定した場合(No)、ステップS316に進む。
他方で、ステップS304において、情報処理装置200の制御部220がサムネイル画像を投射すると判定した場合(Yes)、情報処理装置200の制御部220は、(N+1)ページのサムネイル画像を記憶部230から読み出して取得する(ステップS306)。
次に、情報処理装置200の制御部220は、取得したサムネイル画像がレンダリングされた描画データAを記憶部230から読み出す(ステップS308)。
次に、情報処理装置200の制御部220は、描画データAをプロジェクター装置100に送信する(ステップS310)。
尚、情報処理装置200の制御部220は、描画データAを生成する場合、次のページへの遷移指示を受け付けたことをユーザーに示す情報、例えば、文字メッセージやキャラクターを、サムネイル画像に重畳させて表示するように描画データAを生成しても良い。
プロジェクター装置100は、情報処理装置200から送信された描画データAを受信する(ステップS312)。
続いて、プロジェクター装置100の制御部160は、時刻t2に受信した描画データAに基づいて(N+1)ページサムネイル画像をスクリーンSCに投射する(ステップS314)。これにより、ユーザーは、スクリーンSCに投射された低解像度な画像を即座に視認できる。
他方で、情報処理装置200の制御部220は、ステップS310で描画データAをプロジェクター装置100に送信した後、ステップS316を実行する。
ステップS316では、情報処理装置200の制御部220は、次のページの高解像度な画像を取得し、取得した次のページの画像に対してレンダリングを行う。
次に、情報処理装置200の制御部220は、高解像度な画像を描画する描画データBをプロジェクター装置100に送信し(ステップS318)、処理を終了する。
プロジェクター装置100は、情報処理装置200から送信された描画データBを受信する(ステップS320)。
続いて、プロジェクター装置100の制御部160は、時刻t3に受信した描画データBに基づいて(N+1)ページ画像をスクリーンSCに投射し(ステップS322)、処理を終了する。
このように、ページを遷移させるべく時刻t1でリモコン5のページ切替ボタン6が押下されてから、時刻t3で次のページの高解像度な画像が投射されるまでに要する時間(t3−t1)、例えば、数十秒と比べ、時刻t2で次のページのサムネイル画像が投射されるまでに要する時間(t2−t1)は1秒以下の短時間である。従って、ユーザーは、サムネイル画像のため解像度は低下するが、リモコン5のページ切替ボタン6で次のページへの切り替えが受け付けられたことを即座に確認できる。これにより、受け付けられたか、否かが不明なために再度ページ切替ボタン6を押下してしまう誤操作を回避できる。
以上述べた実施形態によれば、以下のような効果を奏する。
(1)情報処理装置200は、通信可能に接続されたプロジェクター装置100のリモコン5からページの切り替え指示を受け付けた場合、最初に、切り替え指示に基づいて決定されるサムネイル画像がレンダリング処理されたサムネイル画像データをプロジェクター装置100に送信し、次に、サムネイル画像よりも解像度が高い高解像度画像データをレンダリング処理により生成し、生成した画像データをプロジェクター装置100に送信する。従って、プロジェクター装置100は、サムネイル画像データを受信してから解像度が高い高解像度画像データを受信するまで、先に受信したサムネイル画像データを表示できるため、ページ切り替え指示が受け付けられたことを視認できることから、ユーザーによる誤操作を回避し、使い勝手を向上させることができる。
(2)プロジェクター装置100で投射する画像の切り替えを外部のリモコン5から指示できる。
(3)サムネイル画像およびサムネイル画像データを生成して記憶部230に記憶することで、必要に応じてサムネイル画像およびサムネイル画像データを読み出して迅速に使用できる。
(4)高解像度画像データをレンダリング処理で生成するのに要する時間に基づいて、サムネイル画像データをプロジェクター装置100に送信することなく、高解像度画像データをプロジェクター装置100に送信するため、画像表示処理の高速化を図れる。
以上、本発明を図示した実施形態に基づいて説明したが、本発明は、本実施形態に限定されるものではなく、以下に述べるような変形例も想定できる。
(1)プロジェクター装置100は、液晶パネルを用いた方式には限定されず、DLP(Digital Light Processing)方式やLCOS(Liquid Crystal On Screen)方式等の他の方式も想定できる。
(2)表示装置は、スクリーンSCに画像を投射するプロジェクター装置100に限定されず、液晶表示パネルに画像/画像を表示する液晶モニターまたは液晶テレビ、或いは、PDP(プラズマディスプレイパネル)に画像/画像を表示するモニター装置またはテレビ受像機、OLED(Organic light-emitting diode)、OEL(Organic Electro-Luminescence)等と呼ばれる有機EL表示パネルに画像/画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明に含まれる。
また、以上のような手法を実施する装置は、単独の装置によって実現される場合もあれば、複数の装置を組み合わせることによって実現される場合もあり、各種の態様を含むものである。例えば、プロジェクター装置100と情報処理装置200とが一体となった態様も想定できる。
5…リモコン、6…ページ切替ボタン、10…画像表示システム、50…画像投射部、51…光学ユニット、52…光学部品用筐体、55…光源部、56…発光管、57…リフレクター、60…照明光学装置、61,62…レンズアレイ、63…偏光変換素子、64…重畳レンズ、65…色分離光学装置、66,67…ダイクロイックミラー、68…反射ミラー、69…フィールドレンズ、70…リレー光学装置、72…入射側レンズ、74,78…反射ミラー、76…リレーレンズ、80…光変調部、84…入射側偏光板、85,85R,85G,85B…液晶装置、86…射出側偏光板、88…クロスダイクロイックプリズム、90…投射光学系、92…投射レンズ、100…プロジェクター装置、121…光源駆動部、122…光変調駆動部、131…操作パネル、132…リモコン受光部、133…操作処理部、140…状態検出部、142…カメラ、152…画像処理部、155…フレームメモリー、160…制御部、161…投射制御部、163…補正処理部、170…記憶部、175…通信部、180…内部バス、190…電源部、195…電源、200…情報処理装置、210…通信部、220…制御部、222…指示受付部、224…サムネイル画像生成部、226…レンダリング処理部、228…アプリケーション処理部、230…記憶部、240…タッチパネル、250…ネットワーク、L1…出射光、L2…画像光。

Claims (8)

  1. 画像表示装置と通信可能に接続された情報処理装置であって、
    複数のページで構成されるコンテンツデータから少なくとも1ページのサムネイル画像を生成するサムネイル画像生成部と、
    ページの切り替え指示を受け付ける受付部と、
    前記サムネイル画像よりも解像度が高い高解像度画像データを生成する高解像度画像データ生成部と、
    前記画像表示装置と通信する通信部と、
    前記画像表示装置に送信するデータの生成を制御する制御部と、を備え、
    前記制御部は、前記切り替え指示を受け付けた場合、前記切り替え指示に基づいて前記サムネイル画像を決定し、決定した前記サムネイル画像を表すサムネイル画像データを、前記通信部を介して前記画像表示装置に送信し、前記サムネイル画像データを送信した後、前記高解像度画像データを、前記通信部を介して前記画像表示装置に送信することを特徴とする情報処理装置。
  2. 請求項1に記載の情報処理装置において、
    前記受付部は、前記切り替え指示を外部の機器から取得することを特徴とする情報処理装置。
  3. 請求項2に記載の情報処理装置において、
    前記外部の機器はリモコンであることを特徴とする情報処理装置。
  4. 請求項1乃至3のいずれか1項に記載の情報処理装置において、
    前記サムネイル画像および前記サムネイル画像データを記憶する記憶部を備え、
    前記制御部は、前記記憶部に記憶された前記サムネイル画像および前記サムネイル画像データを読み出すことを特徴とする情報処理装置。
  5. 請求項1乃至4のいずれか1項に記載の情報処理装置において、
    前記制御部は、前記高解像度画像データを生成するのに要する時間に基づいて、前記サムネイル画像データを前記画像表示装置に送信するか、否かを判定することを特徴とする情報処理装置。
  6. 通信可能に接続された画像表示装置に画像を表示させる画像表示プログラムであって、
    複数のページで構成されるコンテンツデータから少なくとも1ページのサムネイル画像を生成する機能と、
    ページの切り替え指示を受け付ける機能と、
    前記切り替え指示に基づいて前記サムネイル画像を決定し、決定した前記サムネイル画像に対応するサムネイル画像データを前記画像表示装置に送信する機能と、
    前記サムネイル画像データを送信した後、前記サムネイル画像よりも解像度が高い高解像度画像データを生成し、生成した前記高解像度画像データを前記画像表示装置に送信する機能と、をコンピューターに実行させることを特徴とする画像表示プログラム。
  7. 通信可能に接続された画像表示装置に画像を表示させる画像表示方法であって、
    複数のページで構成されるコンテンツデータから少なくとも1ページのサムネイル画像を生成し、
    ページの切り替え指示を受け付けた場合、前記切り替え指示に基づいて前記サムネイル画像を決定し、
    決定した前記サムネイル画像に対応するサムネイル画像データを前記画像表示装置に送信し、
    前記サムネイル画像データを送信した後、前記サムネイル画像よりも解像度が高い高解像度画像データを生成し、
    生成した前記高解像度画像データを前記画像表示装置に送信することを特徴とする画像表示方法。
  8. 情報処理装置と、前記情報処理装置と通信可能な画像表示装置と、を備える表示システムであって、
    前記情報処理装置は、
    複数のページで構成されるコンテンツデータから少なくとも1ページのサムネイル画像を生成するサムネイル画像生成部と、
    ページの切り替え指示を受け付ける受付部と、
    前記サムネイル画像よりも解像度が高い高解像度画像データを生成する高解像度画像データ生成部と、
    前記画像表示装置に画像データを送信する送信部と、
    前記受付部で前記切り替え指示を受け付けた場合、前記切り替え指示に基づいて前記サムネイル画像を決定し、決定した前記サムネイル画像を表すサムネイル画像データを、前記送信部を介して前記画像表示装置に送信し、前記サムネイル画像データを送信した後、前記高解像度画像データを、前記送信部を介して前記画像表示装置に送信する制御部と、を備え、
    前記画像表示装置は、
    前記情報処理装置から前記画像データを受信する受信部と、
    受信した前記画像データに基づいて画像を表示する表示部と、を備えることを特徴とする表示システム。
JP2017057145A 2017-03-23 2017-03-23 情報処理装置、画像表示プログラム、画像表示方法および表示システム Active JP6766716B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017057145A JP6766716B2 (ja) 2017-03-23 2017-03-23 情報処理装置、画像表示プログラム、画像表示方法および表示システム
US15/925,135 US10839482B2 (en) 2017-03-23 2018-03-19 Information processing apparatus, image display method, display system, and computer readable storage medium
CN201810240264.2A CN108629726B (zh) 2017-03-23 2018-03-22 信息处理装置、图像显示方法、显示系统以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017057145A JP6766716B2 (ja) 2017-03-23 2017-03-23 情報処理装置、画像表示プログラム、画像表示方法および表示システム

Publications (2)

Publication Number Publication Date
JP2018160111A true JP2018160111A (ja) 2018-10-11
JP6766716B2 JP6766716B2 (ja) 2020-10-14

Family

ID=63581780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017057145A Active JP6766716B2 (ja) 2017-03-23 2017-03-23 情報処理装置、画像表示プログラム、画像表示方法および表示システム

Country Status (3)

Country Link
US (1) US10839482B2 (ja)
JP (1) JP6766716B2 (ja)
CN (1) CN108629726B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022127256A (ja) * 2021-02-19 2022-08-31 セイコーエプソン株式会社 通信システム、通信システムの制御方法、情報処理装置、及び無線通信機器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7404766B2 (ja) * 2019-10-21 2023-12-26 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
JP7287408B2 (ja) * 2021-02-18 2023-06-06 セイコーエプソン株式会社 表示方法、情報処理装置、及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1079913A (ja) 1996-09-03 1998-03-24 Minolta Co Ltd デジタルカメラ
US6313877B1 (en) * 1997-08-29 2001-11-06 Flashpoint Technology, Inc. Method and system for automatically managing display formats for a peripheral display coupled to a digital imaging device
JP4779289B2 (ja) 2003-06-06 2011-09-28 セイコーエプソン株式会社 画像表示装置、画像表示方法及びプログラム
JP2004163897A (ja) * 2003-08-28 2004-06-10 Seiko Epson Corp 画像表示装置、画像表示方法及び画像表示プログラム
JP2005129996A (ja) * 2003-10-21 2005-05-19 Seiko Epson Corp 低解像度の複数の画像に基づく高解像度の画像生成の効率向上
JP2005141614A (ja) * 2003-11-10 2005-06-02 Seiko Epson Corp 低解像度の複数の画像に基づく高解像度の画像生成における処理時間の短縮化
JP2007124080A (ja) 2005-10-26 2007-05-17 Matsushita Electric Ind Co Ltd 映像配信装置およびコンピュータプログラム
JP4737766B2 (ja) 2006-06-30 2011-08-03 キヤノンマーケティングジャパン株式会社 画像処理装置および画像処理装置の制御方法および制御プログラムおよび記録媒体
JP2009130485A (ja) * 2007-11-21 2009-06-11 Seiko Epson Corp プロジェクタ、プログラム、情報記憶媒体及び表示システム
JP5127068B2 (ja) 2009-03-09 2013-01-23 日本電信電話株式会社 画面表示制御システム、画面表示制御方法、プログラム及び記録媒体
WO2011007418A1 (ja) * 2009-07-14 2011-01-20 株式会社ビジョナリスト 画像データ表示システム及び画像データ表示プログラム
JP2013037318A (ja) * 2011-08-11 2013-02-21 Seiko Epson Corp 画像表示システム、画像表示装置、画像出力装置、及び画像表示方法
JP5790301B2 (ja) * 2011-08-18 2015-10-07 株式会社リコー ネットワークシステム、画像投影装置、プログラム
KR20150045820A (ko) * 2013-10-21 2015-04-29 삼성전자주식회사 썸네일 이미지를 이용하여 이미지 파일을 관리하는 장치 및 방법
US20160360160A1 (en) * 2014-02-23 2016-12-08 Catch Motion Inc. Person wearable photo experience aggregator apparatuses, methods and systems
JP6386809B2 (ja) 2014-06-23 2018-09-05 キヤノン株式会社 情報処理装置およびその制御方法、システム、並びにプログラム
CN104202624B (zh) * 2014-08-22 2015-12-30 小米科技有限责任公司 传输图片的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022127256A (ja) * 2021-02-19 2022-08-31 セイコーエプソン株式会社 通信システム、通信システムの制御方法、情報処理装置、及び無線通信機器
JP7322909B2 (ja) 2021-02-19 2023-08-08 セイコーエプソン株式会社 通信システム、通信システムの制御方法、情報処理装置、及び無線通信機器

Also Published As

Publication number Publication date
CN108629726B (zh) 2023-12-15
US10839482B2 (en) 2020-11-17
CN108629726A (zh) 2018-10-09
JP6766716B2 (ja) 2020-10-14
US20180276791A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
US9494846B2 (en) Projection display device for setting a projection range based on a location specified by an electronic pen and method of controlling the same
JP6060581B2 (ja) インタラクティブシステム、インタラクティブシステムの制御方法、およびプロジェクター
US20130314439A1 (en) Data processing apparatus, display apparatus, and method of controlling the data processing apparatus
US9105215B2 (en) Image signal supply apparatus, image display apparatus, and control method of image signal supply apparatus
US10431131B2 (en) Projector and control method for projector
US10536627B2 (en) Display apparatus, method of controlling display apparatus, document camera, and method of controlling document camera
US11282422B2 (en) Display device, and method of controlling display device
CN108629726B (zh) 信息处理装置、图像显示方法、显示系统以及记录介质
US20160283087A1 (en) Display apparatus, display system, control method for display apparatus, and computer program
US10891098B2 (en) Display device and method for controlling display device
JP6273671B2 (ja) プロジェクター、表示システム、及びプロジェクターの制御方法
US20230070178A1 (en) Control device, and control method
JP2018132769A (ja) 画像表示装置、及び、画像表示装置の制御方法
JP2012242927A (ja) 移動端末装置、移動端末装置の制御方法、及び、プログラム
JP2018147210A (ja) 表示システム、表示装置、端末装置、表示システムの制御方法、表示装置の制御プログラムおよび端末装置の制御プログラム
JP2014022961A (ja) 表示装置、携帯端末、プログラム及び表示システム
JP2009217663A (ja) 表示装置およびプログラム
JP2016146021A (ja) 表示システム、表示装置、及び、位置検出装置
JP2018200664A (ja) プロジェクター、プロジェクターの制御方法、表示システムおよび表示システムの制御方法
JP2015096963A (ja) インタラクティブシステム、プロジェクター、およびプロジェクターの制御方法
JP2013240071A (ja) プレゼンテーション装置、プレゼンテーション方法及びプログラム
JP2012016030A (ja) 画像出力装置及びプログラム

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180910

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200729

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200831

R150 Certificate of patent or registration of utility model

Ref document number: 6766716

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150