JP2016126464A - 表示システム、情報処理装置、及び表示方法 - Google Patents

表示システム、情報処理装置、及び表示方法 Download PDF

Info

Publication number
JP2016126464A
JP2016126464A JP2014265885A JP2014265885A JP2016126464A JP 2016126464 A JP2016126464 A JP 2016126464A JP 2014265885 A JP2014265885 A JP 2014265885A JP 2014265885 A JP2014265885 A JP 2014265885A JP 2016126464 A JP2016126464 A JP 2016126464A
Authority
JP
Japan
Prior art keywords
color
unit
image signal
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014265885A
Other languages
English (en)
Other versions
JP6422118B2 (ja
Inventor
加藤 裕
Yutaka Kato
裕 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp NEC Display Solutions Ltd
Original Assignee
NEC Display Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Display Solutions Ltd filed Critical NEC Display Solutions Ltd
Priority to JP2014265885A priority Critical patent/JP6422118B2/ja
Priority to US14/975,426 priority patent/US20160189592A1/en
Publication of JP2016126464A publication Critical patent/JP2016126464A/ja
Application granted granted Critical
Publication of JP6422118B2 publication Critical patent/JP6422118B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542Light pens for emitting or receiving light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

【課題】色入力の操作性を向上させる。
【解決手段】表示システムは、情報処理装置と、表示装置と、入力装置とを備え、情報処理装置は、画像信号を処理する画像信号処理部と、画像信号を表示装置に出力する画像信号出力部と、入力装置からの信号を受信する受信部と、を備え、表示装置は、画像信号を受け付ける画像信号入力部と、画像信号入力部が受け付けた画像信号が表す画像を表示する表示部と、を備え、入力装置は、表示部に表示される画像の領域の色である対象色を検出し、該対象色の色情報である対象色情報を取得する検出部と、登録色情報を記憶する記憶部と、対象色情報と登録色情報とが一致する場合に色判定信号を生成する色判定処理部と、色判定信号を送信する送信部と、を備え、画像信号処理部は、対象色を順次変更する色変更処理を行うとともに、受信部が色判定信号を受信した場合に、色変更処理を停止する。
【選択図】図4

Description

本発明は、表示システム、情報処理装置、及び表示方法に関する。
近年、表示装置と位置検出装置とを組み合わせたタッチパネルが普及し、電子黒板など大型の機器にも採用されている。タッチパネルのような位置検出装置では、例えば、抵抗膜方式、表面型静電容量方式、投影型静電容量方式など、位置入力を検出するための方式が多数考案されている。また、例えば、電子黒板などにおいて、複数のカラー撮像素子用いることで位置入力とともに色情報を検出し、ユーザにより描画された画像に色を付けて表示することが考えられている(例えば、特許文献1)。
特開2001−67183号公報
しかしながら、上述のような技術では、位置入力が複数の領域で同時に行われた場合、各位置入力に対して色情報を対応付けることができないことがあった。例えば、電子黒板上で複数人が同時に、異なる色で描画を行う場合、それぞれが入力した位置情報に、それぞれが入力した色情報を対応付ける必要がある。ところが、上述のような技術では、このような状況は想定されていないため、各位置入力に対して色情報を対応付けることができなかった。従って、色入力の操作性を向上させることができない可能性があった。
本発明は上記の点に鑑みてなされたものであり、色入力の操作性を向上させることができる表示システム、情報処理装置、及び表示方法を提供する。
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、情報処理装置と、表示装置と、第1の入力装置とを備える表示システムであって、前記情報処理装置は、画像信号を処理する画像信号処理部と、前記画像信号処理部が処理した前記画像信号を、前記表示装置に出力する画像信号出力部と、前記第1の入力装置からの信号を受信する受信部と、を備え、前記表示装置は、前記画像信号出力部から出力された前記画像信号を受け付ける画像信号入力部と、前記画像信号入力部が受け付けた前記画像信号が表す画像を表示する表示部と、を備え、前記第1の入力装置は、前記表示部に表示される前記画像の第1の領域の色である第1の対象色を検出し、該第1の対象色の色情報である第1の対象色情報を取得する第1の検出部と、第1の登録色情報を記憶する第1の記憶部と、前記第1の対象色情報と前記第1の登録色情報とが一致するか否かを判定する第1の色判定処理を行い、前記第1の対象色情報と前記第1の登録色情報とが一致する場合に第1の色判定信号を生成する第1の色判定処理部と、前記第1の色判定信号を送信する第1の送信部と、を備え、前記画像信号処理部は、前記第1の対象色を順次変更する第1の色変更処理を行うとともに、前記受信部が前記第1の色判定信号を受信した場合に、前記第1の色変更処理を停止する、表示システムである。
(2)また、本発明の一態様は、画像信号を処理する画像信号処理部と、前記画像信号処理部が処理した前記画像信号を、表示部を備える表示装置に出力する画像信号出力部と、入力装置からの信号を受信する受信部と、を備え、前記画像信号処理部は、前記表示部に表示される画像の一部の領域の色を順次変更する色変更処理を行うとともに、前記受信部が前記入力装置から色変更処理の停止を指示する信号を受信した場合、前記色変更処理を停止する情報処理装置である。
(3)また、本発明の一態様は、情報処理装置と、表示部を備える表示装置と、第1の登録色情報を記憶する第1の記憶部を備える第1の入力装置とを備える表示システムにおける表示方法であって、前記情報処理装置が、画像信号を前記表示装置に出力する第1ステップと、前記表示装置が、前記情報処理装置から出力された前記画像信号を受け付ける第2ステップと、前記表示装置が、前記第2ステップにおいて受信した前記画像信号が表す画像を前記表示部に表示する第3ステップと、前記情報処理装置が、前記表示部に表示された画像の第1の領域の色である第1の対象色を順次変更する第1の色変更処理を行う第4ステップと、前記第1の入力装置が、前記第1の対象色を検出し、該第1の対象色の色情報である第1の対象色情報を取得する第5ステップと、前記第1の入力装置が、前記第1の対象色情報と前記第1の登録色情報とが一致するか否かを判定する第1の色判定処理を行い、前記第1の対象色情報と前記第1の登録色情報とが一致する場合に、第1の色判定信号を生成する第6ステップと、前記第1の入力装置が、前記第1の色判定信号を送信する第7ステップと、前記情報処理装置が、前記第1の色判定信号を受信した場合に、前記第1の色変更処理を停止する第8ステップと、前記情報処理装置が、前記第1の対象色を前記第8ステップにおいて前記第1の色変更処理を停止したときの色とした画像を表す画像信号を前記表示装置に出力する第9ステップと、を含む表示方法である。
本発明によれば、色入力の操作性を向上させることができる。
本発明の第1の実施形態に係る表示システムの概略構成を示す模式図である。 本発明の第1の実施形態に係る表示システムの動作の概要を説明するための図である。 本発明の第1の実施形態に係る色変更処理の概要を説明するための図である。 本発明の第1の実施形態に係る表示システムの概略機能構成を示すブロック図である。 本発明の第1の実施形態に係る情報処理装置が記憶する画像信号が表す画像の例を示す図である。 本発明の第1の実施形態に係る表示システムによる処理の流れの一例を示すシーケンス図である。 本発明の第1の実施形態に係る入力装置による色登録処理の流れの一例を示すフローチャートである。 本発明の第1の実施形態に係る情報処理装置による色変更処理の流れの一例を示すフローチャートである。 本発明の第1の実施形態に係る入力装置による色判定処理の流れの一例を示すフローチャートである。 本発明の第2の実施形態に係る表示システムの動作の概要を説明するための図である。 本発明の第2の実施形態に係る色変更処理の概要を説明するための図である。 本発明の第2の実施形態に係る表示システムの概略機能構成を示すブロック図である。 本発明の第2の実施形態に係る情報処理装置による色変更処理の流れの一例を示すフローチャートである。 本発明の変形例に係る表示システムの概略機能構成を示すブロック図である。
(第1の実施形態)
[表示システムの概要]
以下、図面を参照しながら本発明の第1の実施形態について説明する。
まず、図1から図3を参照して、第1の実施形態に係る表示システム1の概要を説明する。
図1は、本実施形態に係る表示システム1の概略構成を示す模式図である。
表示システム1は、入力装置10、表示部21を備える表示装置20、情報処理装置30、位置検出装置40を含んで構成される。表示装置20が備える表示部21の表示面には、位置検出装置40が積層配置されており、表示部21、情報処理装置30、及び位置検出装置40は、いわゆるタッチパネル50を構成する。このタッチパネル50は、ユーザの指や入力装置10のタッチに応じてタッチされた部位に対応する表示画素の出力を変化させ、ユーザによる手書き入力と入力結果の表示とを可能とする。以下、表示装置20が、手書き入力された画像を表示することを「描画」という。
なお、タッチとは、タッチパネル50に対してユーザの指や入力装置10が接触、当接、又は近接することをいう。つまり、タッチにおいて、接触は必須ではなく、タッチパネル50に対してユーザの指や入力装置10が所定の距離以内で離間していてもよい。
入力装置10は、ペン型の筐体101を備える。当該ペンの先端部に孔部102を有している。入力装置10は、ペン型の筐体101の先端部に接する対象物の色を検出可能な検出部(カラーセンサ)11を、筐体101の内部に有する。検出部11は、対象物から射出され、孔部102から入射する光線を検出することにより、対象物の色を検出する。入力装置10は、スイッチ部12及びインジケータ部13を含んで構成される。スイッチ部12は、例えば、筐体101から突出した物理的なボタンとして備えられる。入力装置10は、スイッチ部12が押下されると、自装置が備える記憶部15に色情報を記憶させる色登録処理を開始させる。ここで、色情報とは、色を示す情報である。また、色登録処理については、後述する。また、インジケータ部13は、例えば、LED(Light Emitting Diode)などの発光体であり、入力装置10が行う各種処理の開始や完了を、点灯、点滅などにより、ユーザに報知する。ここで、インジケータ部13は、自装置のユーザに表示、音、振動などにより情報を報知する報知部の一例である。また、入力装置10は、送信部(入力装置側通信部)14を備え、情報処理装置30と、無線又は有線により通信することができる。
表示装置20は、例えば、電子黒板、インタラクティブ・ホワイトボードなどを構成する電子機器である。表示装置20は、情報処理装置30が出力した画像信号に基づいて、表示を行う。
位置検出装置40は、ユーザによるタッチパネル50の表示面へのタッチを検出し、タッチされた領域の座標を表す位置情報を生成する。位置検出装置40は、生成した位置情報を情報処理装置30に出力する。ここで、タッチパネル50においてタッチが検出された領域、すなわち、タッチに対応する表示部21の一部の領域を「タッチ領域」という。つまり、タッチ領域は、タッチパネル50においてタッチされた位置に対応する表示部21の画素である。なお、タッチ領域は、実際にタッチが検出されている位置情報について、広がりを持った領域であってもよい。具体的には、ユーザが太い線による手書き入力を行う場合、その線の太さに応じ、位置情報が示す画素近傍の画素がタッチ領域に含められてもよい。また、タッチ領域は、情報処理装置30の処理フレーム毎にそれまでタッチされていた領域を含む。
情報処理装置30は、位置検出装置40が生成した位置情報に基づいて、画像信号を生成する。情報処理装置30は、生成した画像信号を表示装置20に出力することにより、表示部21に画像を表示させる。ここで、情報処理装置30は、タッチ領域の色を順次変更して画像信号を生成する。以下では、タッチ領域の色を「対象色」という。また、以下では、対象色の色を順次変更した画像信号を生成する処理を「色変更処理」という。
表示システム1の動作の概要を説明する。
まず、ユーザは、描画において、入力装置10のペン先を表示装置20の表示部21にタッチさせる。次に、タッチパネル50が入力装置10などのタッチを検出すると、情報処理装置30は、色変更処理を実行する。他方、入力装置10は、色判定処理を実行する。
ここで、色判定処理について説明する。色判定処理において、入力装置10の検出部11は、そのペン先がタッチしている領域の色、すなわち対象色を順次検出し、該対象色を示す色情報である対象色情報を取得する。対象色情報は、例えば、検出部11が色を検出する際の検出値である。次に、入力装置10は、検出部11が検出した対象色情報と、その記憶部15に記憶されている登録色情報とを順次比較し、対象色情報と登録情報とが一致するか否かを判定する。ここで、登録色情報とは、例えば、後述する色登録処理などにより、記憶部15に登録された色の色情報である。次に、入力装置10は、判定結果に基づいて、色判定信号を情報処理装置30に送信する。より具体的には、情報処理装置30は、色判定信号を受信すると、当該色判定信号に基づいて色変更処理を制御し、タッチされた領域の色を確定する。
なお、色判定信号は、例えば、情報処理装置30による色変更処理を停止させるための信号である。この場合、情報処理装置30は、色変更処理において、当該色判定信号を受信するまで、タッチ領域の色を、例えば所定の時間間隔で変更する。そして、情報処理装置30は、当該色判定信号を受信したときに、タッチ領域に表示させていた色を、タッチ領域の色に確定する。
また、色判定信号は、例えば、色変更処理を進めるための信号であってもよい。この場合、情報処理装置30は、色変更処理において、当該色判定信号を受信するとタッチ領域の色を変更する。これに対し、情報処理装置30は、当該色判定信号が所定時間以上受信できない場合、そのときタッチ領域に表示させていた色を、タッチ領域の色に確定する。
以下では、一例として、色判定信号が色変更処理を停止させるための信号(以下、「色変更停止命令」という。)であるとして説明する。
[色登録処理の概要]
次に、図2を参照して、入力装置10による色登録処理について説明する。
図2は、本実施形態に係る表示システム1の動作の概要を説明するための図である。
図2に示される例において、タッチパネル50は、カラーマーカM1〜M3を表示している。カラーマーカM1〜M3は、それぞれ異なる色を表すマーカであり、入力装置10により入力可能な色を表す。カラーマーカが表す色は、ユーザにより任意に選択されてよい。図2、図3、図10、及び図11において、各領域のハッチングは、それぞれ色を表している。以下では、一例として、カラーマーカM1〜M3が、それぞれ、赤色、青色、緑色を表示しているとして説明する。カラーマーカM1〜M3が表す色による描画は、入力装置10が、カラーマーカM1〜M3が表す色を自装置に登録することにより可能となる。以下では、描画の色を指定するために入力装置10が色を登録する処理のことを「色登録処理」という。
色登録処理の一例について説明する。ユーザは、入力装置10のペン先をカラーマーカM1〜M3のいずれかにタッチさせ、スイッチ部12を押下する。スイッチ部12が押下されると、入力装置10は、検出部11が検出した色に関する色情報を、記憶部15に記憶させることにより、タッチしているカラーマーカが表す色を登録する。登録が完了すると、入力装置10は、インジケータ部13を点灯させ、色登録処理の完了をユーザに報知する。
[色変更処理の概要]
次に、図2及び図3を参照して、情報処理装置30による色変更処理の概要について説明する。
図2に示される例において、入力装置10は、そのペン先でタッチパネル50の領域211にタッチしている。タッチパネル50へのタッチが検出されると、情報処理装置30は、このタッチ領域211の色を順次変更させる色変更処理を行う。
色変更処理について、説明する。まず、タッチパネル50へのタッチが検出されると、情報処理装置30は、色変更処理を開始する。次に、情報処理装置30は、タッチ領域にトリガを表示させる。そして、表示装置20は、タッチ領域の色を、入力装置10が登録可能な色に順次変更する。色の変更順序は、予め定められている。
なお、トリガとは、入力装置10に色判定処理を開始させるためのトリガである。トリガは、例えば、所定の色を表示することである。また、トリガは、例えば、複数の色を所定の順序で表示することである。以下では、一例として、トリガは、黒色の次に白色を表示することであるとして説明する。
図3は、本実施形態に係る色変更処理の概要を説明するための図である。
図3は、図2に示される領域211の色の経時変化を示す。図3に示される例において、横軸は、時間tを示し、時点T1〜T7へと時間が遷移している。すなわち、情報処理装置30は、図3において時点T1〜T7にそれぞれ対応付けられている色へと、タッチ領域211の色を順次変更させる。具体的には、情報処理装置30は、入力装置10から色変更停止命令を受信しない限り、時点T1〜T7において、タッチ領域211の色を、例えば、白色、黒色、白色、赤色、青色、緑色、黒色の順に変更する。なお、色変更処理において表示される色の順序は、ユーザや情報処理装置30のメーカなどにより任意に定められてよい。また、色変更処理において、各色を表示する時間長は、一定でなくてもよい。例えば、情報処理装置30は、トリガの色を他の色に比して長めに表示してもよい。ここでは、一例として、各色を表示する時間長が一定である場合について説明する。
図3において、時点T1はタッチパネル50へのタッチが検出される前の時点である。時点T2はタッチパネル50へのタッチが検出された直後の時点である。つまり、時点T1から時点T2の間に、タッチパネル50へのタッチが検出され、情報処理装置30は、色変更処理を開始している。色変更処理が開始されると、情報処理装置30は、まず時点T2とT3とにおいて、黒色と白色とのトリガを表示させることで入力装置10に、色判定処理を開始させる。その後、情報処理装置30は、色変更停止命令を受信するまで、対象色を順次変更する。例えば、時点T5から時点T6までの間に色変更停止命令を受信すると、情報処理装置30は、タッチ領域211の色の変更を停止し、そのとき表示部21に表示させていた青色にタッチ領域の色を確定する。色変更停止命令が受信されない場合、情報処理装置30は、色の変更が一巡した時点で、タッチ領域211の色を黒色など所定の色に確定する。これにより、例えば、ユーザが入力装置10を用いずに指などでタッチした場合には、情報処理装置30は、所定の色による描画を行うことができる。
[入力装置の構成]
次に、図4を参照して、表示システム1に含まれる各種装置の構成について説明する。
図4は、本実施形態に係る入力装置10と情報処理装置30とその周辺装置との概略機能構成を示すブロック図である。
まず、入力装置10の構成について説明する。
入力装置10は、検出部11、スイッチ部12、インジケータ部13、送信部(入力装置側通信部)14、記憶部15、登録処理部161、及び色判定処理部(比較処理部)162を含んで構成される。登録処理部161及び色判定処理部162は、例えば、入力装置10が備えるマイクロコントローラ(不図示)により実現される。
検出部11は、カラーセンサを備え、色情報を検出する。検出部11は、検出した色情報を登録処理部161と色判定処理部162とに出力する。
スイッチ部12は、その押下に応じた信号を登録処理部161に出力する。
インジケータ部13は、登録処理部161からの要求に応じて、点灯、点滅、消灯などを行う。本実施形態では、一例として、インジケータ部13は、点灯により色登録処理の開始を示し、点滅により色登録処理の失敗を示す。
送信部14は、通信用インターフェイスを備え、情報処理装置30に信号を送信する。
記憶部15は、ROM(Read Only Memory)、RAM(Random Access Memory)などを備える。また、記憶部15は、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュメモリなどを備えてもよい。記憶部15は、入力装置10が備えるマイクロコントローラ(マイコン)が処理に用いる情報や処理結果などを記憶する。
記憶部15は、色情報を記憶する。色情報は、色を表す情報であり、例えば、6桁の16進数により色を表す色番号である。ただし、色番号は、例えば、最大256色、8色など、より少ない任意の数の色味を表す番号であってもよい。以下では、色情報は、色番号であるとする。また、記憶部15は、トリガの色番号を記憶する。換言すると、記憶部15は、トリガを示すトリガ情報を記憶する。
登録処理部161は、色登録処理を実行する。色登録処理において、まず、登録処理部161は、スイッチ部12からその押下に応じた信号を受信すると、インジケータ部13に点灯命令を出力する。次に、登録処理部161は、例えば、所定時間、検出部11から出力される色番号を所定時間受信し、登録する色番号を決定する。このとき、登録処理部161は、検出部11から出力値に基づいて、登録する色番号の精度を高めるための任意の処理を行ってよい。登録処理部161は、決定した色番号を記憶部15に記憶させ、色を登録する。登録処理部161は、記憶部15に色番号を記憶させると、インジケータ部13に消灯命令を出力する。また、登録処理部161は、所定時間内に登録する色番号を決定できない場合や記憶部15への色番号の登録が失敗した場合は、インジケータ部13に点滅命令を出力する。以下では、色登録処理により登録される色を「登録色」という。また、以下では、色登録処理により登録可能な色を「候補色」という。
色判定処理部162は、検出部11が出力する色番号と記憶部15に記憶されているトリガの色番号とを比較する。比較の結果、検出部11が出力する色番号が示す色が、トリガの色と一致すると判定した場合、色判定処理を開始する。色判定処理において、色判定処理部162は、検出部11から色番号を受信し、受信した色番号を記憶部15に記憶されている登録色の色番号と比較する。色判定処理部162は、比較の結果、検出部11から受信した色番号が示す色が、登録色に一致すると判定した場合、送信部14を介して、色変更停止命令を情報処理装置30に送信する。
なお、色判定処理部162による比較において、色の一致は、必ずしも色番号の一致を意味しない。例えば、比較される色番号が示す色の間において、色相、明度、彩度が所定の範囲に収束している場合、色判定処理部162は、色が一致すると判定してよい。
[位置検出装置の構成]
次に、位置検出装置40の構成について説明する。
位置検出装置40は、タッチ検出部41、位置座標計算部42、及び情報処理装置30と通信する通信部43を含んで構成される。
タッチ検出部41は、タッチパネル50へのタッチを検出する。タッチ検出部41によるタッチの検出方法は、例えば、抵抗膜方式、表面型静電容量方式、投影型静電容量方式、超音波表面弾性波方式、赤外線光学イメージング方式、及び赤外線遮断方式などである。
位置座標計算部42は、タッチ検出部41により検出されたタッチ位置の座標を計算する。位置座標計算部42は、計算したタッチ位置の座標を示す位置情報を、通信部43を介して、情報処理装置30に送信する。つまり、タッチ検出部41と位置座標計算部とは、表示部21への入力位置を示す位置情報を検出する位置検出部を構成する。
[情報処理装置の構成]
次に、情報処理装置30の構成について説明する。
情報処理装置30は、通信部(情報処理装置側第1通信部)311、受信部(情報処理装置側第2通信部)312、画像信号出力部32、記憶部33、画像信号生成部341、及び画像信号処理部342を含んで構成される。
通信部311は、通信用インターフェイスを備え、位置検出装置40と通信する。通信部311は、位置検出装置40から位置情報を受信し、受信した位置情報を画像信号生成部341に出力する。
受信部312は、通信用インターフェイスを備え、入力装置10と通信する。受信部312は、入力装置10から色変更停止命令を受信すると、受信した色変更停止命令を画像信号処理部342に出力する。このように、受信部312は、入力装置10から色判定信号を受信する受信部として機能する。
画像信号出力部33は、通信用インターフェイスを備え、表示装置20と通信する。画像信号出力部33は、表示装置20に画像信号を出力する。
記憶部33は、例えば、ROM、RAMなどを備える。また、記憶部33は、HDD(Hard Disc Drive)、EEPROM、フラッシュメモリなどを備えてもよい。記憶部33は、情報処理装置30が備えるCPU(Central Processing Unit、不図示)が処理に用いる情報や処理結果などを記憶する。画像信号生成部341及び画像信号処理部342は、例えば、CPUが記憶部33に記憶されているプログラムを実行することにより実現される。
また、記憶部33は、フレーム単位の画像を表す画像信号(以下、「フレーム画像」という。)と、それまでの処理で蓄積された画像(以下、「蓄積画像」という。)を表す画像信号とを記憶する。フレーム画像は、そのフレームの間に入力された画像を表し、その前のフレームまでに入力された画像との差分を表す画像である。換言すると、フレーム画像とは、フレーム毎の時系列の画像が有する画素のうち、時間的に連続する2つのフレームの画像間において、その表示が異なる画素により構成される領域を表す画像である。また、換言すると、フレーム画像とは、タッチ領域を表す画像である。
ここで、図5を参照して、記憶部24に記憶される画像について説明する。
図5は、本実施形態に係る表示装置20の記憶部24が記憶する画像信号が表す画像の例を示す図である。
図5(a)〜(c)は、タッチパネル50に対して、「A」という文字が入力される過程における各種画像を表す。
図5(a)は、あるフレームF1におけるフレーム画像の一例を表す。
図5(b)は、フレームF1の次のフレームF2におけるフレーム画像の一例を表す。
図5(c)は、フレームF2における蓄積画像の一例を表す。
本実施形態において、色変更処理における色の変更は、フレーム画像単位で行われる。そして、色変更処理によりその色が確定されたフレーム画像は、蓄積画像に統合される。具体的には、例えば、フレームF2において、色変更処理は、図5(b)に示される線分L1に対して実行される。また、フレームF2の次のフレームでは、図5(c)に示される破線の線分L2が、フレームF2における線分L1についての色変更処理により確定した色で、フレームF2までの蓄積画像(図5(c)における実線部)に統合される。
画像信号生成部341は、通信部311を介して、各フレームにおいて、位置検出装置40から位置情報を取得する。画像信号生成部32は、取得した位置情報に基づいて、タッチパネル50に入力された手書き入力に対応する画像を示す画像信号を生成する。つまり、画像信号生成部341は、フレーム画像を示す画像信号を生成する。画像信号生成部341は、生成した画像信号を記憶部33に記憶させる。
画像信号処理部342は、記憶部33に記憶される蓄積画像の画像信号と、フレーム画像の画像信号とを処理し、処理した画像信号を、画像信号出力部33を介して表示装置20に出力する。
ここで、画像信号処理部342による色変更処理について説明する。
まず、画像信号処理部342は、所定の時間間隔で記憶部33から蓄積画像の画像信号と、フレーム画像の画像信号とを取得する。次に、画像信号処理部342は、フレーム画像の画像信号が示すタッチ領域の色を選択する。ここで、タッチ領域の色は、上述したように、所定の順序で選択される。次に、画像信号処理部342は、蓄積画像の画像信号とフレーム画像の画像信号とを統合して、蓄積画像の各画素の色のうち、タッチ領域の画素の色を選択した色とした画像を表す画像信号を生成する。そして、画像信号処理部342は、生成した画像信号を表示装置20に出力する。
また、画像信号処理部342は、受信部312を介して、入力装置10から色変更停止命令を受け付けると、そのとき出力している画像信号を蓄積画像の画像信号として、記憶部33に記憶させる。また、このとき、画像信号処理部342は、色変更処理により色が確定したタッチ領域を示すフレーム画像を記憶部33から消去する。
[表示装置の構成]
次に、表示装置20の構成について説明する。
表示装置20は、表示部21及び画像信号入力部22を含んで構成される。 表示部21は、例えば、液晶ディスプレイ(LED)や有機EL(Electro−Luminescence)ディスプレイなどのディスプレイ装置を備える。表示部21は、画像信号入力部22から受け付けた画像信号に基づいて画像を表示する。
画像信号入力部22は、情報処理装置30から出力された画像信号を受け付け、表示部21に出力する。
[色変更処理の例]
ここで、図3、図5を参照して、画像信号処理部342による色変更処理の具体例について説明する。一例として、記憶部33に図5(b)に示されるフレーム画像と、図5(c)に示される蓄積画像とが記憶され、タッチ領域の色は、図3に示される順序で変更されるとする。色変更処理において、画像信号処理部342は、図5(c)において実線により示される蓄積画像と、破線L2により示されるフレーム画像とを統合した画像の画像信号を生成する。このとき、画像信号処理部342は、タッチ領域である破線L2に対応する画素のみ色を変更した画像信号を順次生成する。
具体的には、まず、画像信号処理部342は、破線L2に対応する画素をトリガの色である黒色とした画像信号を生成し、所定時間、当該画像を表示部21に表示させる。次に、画像信号処理部342は、破線L2に対応する画素をトリガの色である白色とした画像信号を生成し、所定時間、当該画像を表示部21に表示させる。次に、画像信号処理部342は、破線L2に対応する画素をカラーマーカM1の色である赤色とした画像信号を生成し、所定時間、当該画像を表示部21に表示させる。その後も同様に、順次、画像信号処理部342は、破線L2に対応する画素の色を変更した画像の画像信号を生成し、所定時間、当該画像を表示部21に表示させる。ここで、所定時間は、例えば、入力装置10が、表示部21により表示されている色を検出し、検出した色に基づく色判定信号を情報処理装置30に送信し、当該色判定信号を情報処理装置30が認識するのに十分な長さの時間である。また、各フレームの時間は、色変更処理における色の変更を一巡させるのに十分な長さの時間である。
画像信号処理部342は、受信部312を介し、入力装置10から色変更停止命令を色変更処理の途中で受け付けた場合、又は、色変更処理による色の変更が一巡した場合、そのとき出力している画像信号を蓄積画像の画像信号として記憶部33に記憶させる。このように、画像信号処理部342は、色変更処理により、タッチ領域の色を確定する。
[表示システムの動作:基本動作]
次に、図6から図9を参照して、表示システム1の動作について説明する。
図6は、本実施形態に係る表示システム1による処理の流れの一例を示すシーケンス図である。
(ステップS101)まず、入力装置10は、ユーザによる操作に応じて、色登録処理を実行する。その後、表示システム1は、ステップS102に処理を進める。
(ステップS102)次に、入力装置10は、ユーザにより操作され、そのペン先でタッチパネル50にタッチする。その後、表示システム1は、ステップS103に処理を進める。
(ステップS103)次に、位置検出装置40は、タッチパネル50へのタッチを検出し、タッチ領域を示す位置情報を生成する。その後、表示システム1は、ステップS104に処理を進める。
(ステップS104)次に、位置検出装置40は、生成した位置情報を情報処理装置30に送信する。その後、表示システム1は、ステップS105に処理を進める。
(ステップS105)次に、情報処理装置30は、位置検出装置40から送信された位置情報に基づいて、フレーム画像の画像信号を生成する。情報処理装置30は、生成したフレーム画像の画像信号を記憶部33に記憶させる。その後、表示システム1は、ステップS106に処理を進める。
(ステップS106)次に、情報処理装置30は、色変更処理を実行する。色変更処理において、情報処理装置30は、タッチ領域の色を順次変更した画像信号を表示装置20に出力する。その後、表示システム1は、ステップS107に処理を進める。
(ステップS107)次に、表示装置20は、情報処理装置30から取得した画像信号を表示する。この画像信号が表す画像では、タッチ領域の色が順次変更される。その後、表示システム1は、ステップS108に処理を進める。
(ステップS108)次に、入力装置10は、表示装置20により表示されたトリガを検出し、色判定処理を開始する。入力装置10は、色判定処理により色変更停止命令を表示装置20に送信する。
(ステップS109)情報処理装置30は、色変更処理において、入力装置10から色変更停止命令を受信すると、タッチ領域の色を確定する。具体的には、情報処理装置30は、色変更停止命令を受信したときに出力していた画像信号を、蓄積画像の画像信号として記憶部33に記憶させる。そして、情報処理装置30は、蓄積画像の画像信号を表示装置20に出力する。その後、表示システム1は、ステップS110に処理を進める。
(ステップS110)次に、表示装置20は、情報処理装置30から取得した画像信号に基づいて、蓄積画像を表示する。そして、表示システム1は、図6に示される処理を終了する。
[入力装置の動作:色登録処理]
図7は、本実施形態に係る入力装置10における色登録処理の流れの一例を示すフローチャートである。
(ステップS201)まず、入力装置10は、ユーザにより操作され、その筐体101のペン先部分において、タッチパネル50の画面上に表示されているカラーマーカにタッチする。その後、ステップS202の処理を行う。
(ステップS202)次に、入力装置10の登録処理部161は、ユーザによるスイッチ部12の押下を受け付ける。その後、登録処理部161は、ステップS203に処理を進める。
(ステップS203)次に、登録処理部161は、インジケータ部13に点灯命令を出力し、インジケータ部13を点灯させる。その後、登録処理部161は、ステップS204に処理を進める。
(ステップS204)次に、登録処理部161は、検出部11が検出したカラーマーカの色番号を取得する。その後、登録処理部161は、ステップS205に処理を進める。
(ステップS205)次に、登録処理部161は、取得した色番号を記憶部24に記憶させ、色を登録する。その後、登録処理部161は、ステップS206に処理を進める。
(ステップS206)次に、登録処理部161は、色の登録に成功したか否かを判定する。色の登録に成功しなかった場合、すなわち、色の登録に失敗した場合(ステップS206;NO)、登録処理部161は、ステップS207に処理を進める。また、色の登録に成功した場合(ステップS206;YES)、登録処理部161は、ステップS208に処理を進める。
(ステップS207)次に、登録処理部161は、インジケータ部13に点滅命令を出力し、インジケータ部13を点滅させる。その後、登録処理部161は、ステップS202に処理を戻す。
(ステップS208)次に、登録処理部161は、インジケータ部13に消灯命令を出力する。その後、登録処理部161は、ステップS209に処理を進める。
(ステップS209)次に、登録処理部161は、スイッチ部12をオフにする。そして、入力装置10は、図7に示される処理を終了する。
[表示装置の動作:色変更処理]
図8は、本実施形態に係る情報処理装置30による色変更処理の流れの一例を示すフローチャートである。
(ステップS301)まず、画像信号処理部342は、表示部21にフレーム画像が示すタッチ領域をトリガの色で表示させる。その後、画像信号処理部342は、ステップS302に処理を進める。
(ステップS302)次に、画像信号処理部342は、表示部21に色番号Nを、例えば、N=0として初期化する。その後、画像信号処理部342は、ステップS303に処理を進める。
(ステップS303)次に、画像信号処理部342は、タッチ領域の色を色番号Nが示す色として、所定時間、表示部21に表示させる。その後、画像信号処理部342は、ステップS304に処理を進める。
(ステップS304)次に、画像信号処理部342は、入力装置10から色変更停止命令を受信したか否かを判定する。色変更停止命令を受信した場合(ステップS304;YES)、画像信号処理部342は、ステップS305に処理を進める。また、色変更停止命令を受信しなかった場合(ステップS304;NO)、画像信号処理部342は、ステップS306に処理を進める。
(ステップS305)次に、画像信号処理部342は、タッチ領域の色を色番号Nが表す色に確定する。その後、画像信号処理部342は、図8に示される処理を終了する。
(ステップS306)次に、画像信号処理部342は、色番号Nが最大値M以上か否かを判定する。色番号Nが最大値M以上である場合(ステップS306;YES)、画像信号処理部342は、ステップS307に処理を進める。色番号Nが最大値M未満である場合(ステップS306;NO)、画像信号処理部34は、ステップS308に処理を進める。
(ステップS307)次に、画像信号処理部342は、色番号Nを、所定の色に変更する。すなわち、色変更処理が一巡しても、色変更停止命令が受信されない場合は、例えば黒色など、所定の色でタッチ領域の色が表示される。これにより、例えば、ユーザが指などによりタッチ入力した場合は、表示装置20は所定の色で描画することができる。その後、画像信号処理部342は、ステップS305に処理を進める。
(ステップS308)次に、画像信号処理部342は、色番号Nを次の候補色の色番号に変更する。その後、画像信号処理部342は、ステップS303に処理を戻す。
[入力装置の動作2:色判定処理]
図9は、本実施形態に係る入力装置10における色判定処理の流れの一例を示すフローチャートである。
(ステップS401)まず、入力装置10の色判定処理部162は、検出部11が検出した色がトリガであるか否かを判定する。トリガである場合(ステップS401;YES)、色判定処理部162は、ステップS402に処理を進める。また、トリガではない場合(ステップS401;NO)、色判定処理部162は、ステップS401に処理を戻す。
(ステップS402)次に、色判定処理部162は、検出部11が検出した色の色番号と記憶部15に記憶されている登録色の色番号とを比較し、検出した色が登録色であるか否かを判定する。検出した色が登録色である場合(ステップS402;YES)、色判定処理部162は、ステップS403に処理を進める。また、検出した色が登録色ではない場合(ステップS402;NO)、ステップS404に処理を進める。
(ステップS403)次に、色判定処理部162は、送信部14を介して、色変更停止命令を情報処理装置30に送信する。そして、色判定処理部162は、図9に示される処理を終了する。
(ステップS404)次に、色判定処理部162は、ステップS401の処理において、トリガの色を検出してから所定時間経過したか否かを判定する。所定時間経過している場合(ステップS404;YES)、色判定処理部162は、図9に示される処理を終了する。所定時間経過していない場合(ステップS404;NO)、色判定処理部162は、ステップS402に処理を戻す。
以上のように、本実施形態に係る表示システム1は、入力装置10と表示装置20と、情報処理装置30と、を備える。また、情報処理装置30は、入力装置10から受信する色判定信号に基づいて、表示装置20の表示部21が表示する画像の一部領域の色を順次変更する色変更処理を行う画像信号処理部342を備える。また、入力装置10は、表示装置20が表示する画像の色を自装置に登録されている色と比較し、比較結果に基づく色判定信号を、送信部14を介して、表示装置20に送信する色判定処理部162を備える。
これにより、表示システム1は、そのユーザの所望の色で描画を行うことができ、色入力の操作性を向上させることができる。
また、情報処理装置30は、トリガを表示させてから色変更処理を行う。そして、入力装置10は、トリガを検出してから色判定処理を行う。
これにより、情報処理装置30は、入力装置10に色変更処理の開始を通知することができる。
なお、情報処理装置30の画像信号処理部342は、図8に示される処理を終了した際の画像の画像信号を、情報処理装置30に備えた不揮発メモリに記憶させ、又は、情報処理装置30等の他の装置に出力してもよい。
また、入力装置10は、検出部11が検出した色情報を記憶部15に記憶させ、登録する登録処理部161を備える。
これにより、ユーザは、例えば、表示装置20が表示可能な任意の色を入力装置10に登録することができるため、そのユーザの所望する任意の色で描画を行うことができる。従って、表示システム1は、色入力の操作性を向上させることができる。
また、入力装置10は、入力装置10への色の登録の開始、完了、失敗などを報知するインジケータ部13を備える。
これにより、ユーザは、色登録処理の進捗を把握することができる。従って、表示システム1は、色入力の操作性を向上させることができる。
また、入力装置10は、情報処理装置30による色変更処理を停止させるための色変更停止命令を色判定信号として送信する。
これにより、表示システム1は、入力装置10から色変更停止命令を1回送信するだけでタッチ領域の表示色を確定することができる。つまり、通信に係る処理量を低減することができ、入力装置10の電力消費を低減することができる。従って、表示システム1は、その操作性を向上させることができる。
(第2の実施形態)
[表示システムの概要]
以下、図面を参照しながら本発明の第2の実施形態について説明する。
上述した実施形態と同一の構成については同一の符号を付して説明を援用する。
まず、図10及び図11を参照して、第2実施形態に係る表示システム1a(図12)の概要を説明する。
表示システム1aは、表示システム1(図4)における1つの入力装置10に代えて2つの入力装置10(図12)を含み、表示システム1における情報処理装置30(図4)に代えて情報処理装置30a(図12)を含んで構成される。表示システム1aは、複数の入力装置10を備え、これら2つの入力装置10各々により指定された色による描画を行う表示システムである。
なお、入力装置10は2つ以上の複数であってもよいが、以下では説明を簡潔にするため、一例として、表示システム1aが2つの入力装置10を備える例について説明する。
図10は、本実施形態に係る表示システム1aの概要を説明するための図である。
図10に示される例では、図2に示される例と同様に、タッチパネル50は、カラーマーカM1〜M3を表示している。図10に示される例では、2つの入力装置10−1、10−2が、それぞれ、タッチ領域212、213において、タッチパネル50にタッチしている。情報処理装置30aは、これら2つのタッチ領域212、213について、順次それぞれの表示色を変更する色変更処理を実行する。色変更処理の順序は、例えば、タッチ領域の座標に基づいて決定される。以下では、一例として、情報処理装置30aは、複数の入力装置10による複数のタッチ領域それぞれの画素のうち、水平方向の座標値が最小である画素の中で、垂直方向の座標値が最小の画素の座標値を水平方向及び垂直方向について比較し、その座標値の昇順に色変更処理を実行するとして説明する。具体的には、図10に示される例において、水平方向の座標値が左から右へ向かって大きくなり、垂直方向の座標値が上から下へ向かって大きくなる場合、タッチ領域212の水平方向の座標値がタッチ領域213の水平方向の座標値に比して大きい。従って、情報処理装置30aは、タッチ領域212について、色変更処理を実行した後、タッチ領域213について色変更処理を実行する。
[色変更処理の概要]
図11は、本実施形態に係る色変更処理の概要を説明するための図である。
図11は、図10に示される領域212、213の色の経時変化を示す。図11に示される例において、横軸は、時間tを示し、時点T1’〜T10’へと時間が遷移している。すなわち、情報処理装置30aは、図11において時点T1’〜T10’にそれぞれ対応付けられている色へと、タッチ領域212、213の色を順次変更する。具体的には、情報処理装置30aは、入力装置10−1、10−2それぞれから色変更停止命令を受信しない限り、タッチ領域212、213の色を、例えば、白色、黒色、白色、赤色、青色、緑色、黒色の順に変更する。図10を用いて説明したように、情報処理装置30aは、タッチ領域212について色変更処理を実行した後で、タッチ領域213の色変更処理を実行する。図11を参照して、具体例を説明すると、例えば、入力装置10−1の登録色が赤色の場合、情報処理装置30aは、まず、タッチ領域212の表示色を順に変更し、入力装置10−1から時点T4’において受信する色変更停止命令に基づいて、タッチ領域212の表示色を確定する。次に、情報処理装置30aは、タッチ領域213の表示色の変更を時点T5’から開始し、入力装置10−2から受信する色変更停止命令に基づいて、タッチ領域213の表示色を確定する。このように、情報処理装置30aは、複数のタッチ領域の色変更処理を、時間をずらして実行することにより、複数の入力装置10−1、10−2それぞれの登録色で、対応するタッチ領域を表示することができる。
[入力装置の構成]
次に、図12を参照して、表示システム1aに含まれる各種装置の構成について説明する。
図12は、本実施形態に係る入力装置10−1、10−2と情報処理装置30aとその周辺装置との概略機能構成を示すブロック図である。
入力装置10−1、10−2が備える構成は、入力装置10と同一であるため、説明を省略する。また、表示装置20、位置検出装置40の構成も上述した実施形態と同一であるため、説明を省略する。
[表示装置の構成]
情報処理装置30aは、情報処理装置30(図4)における画像信号処理部342(図4)に代えて画像信号処理部342a(図12)を含んで構成される。
画像信号処理部342aは、画像信号処理部342が有する機能に加え、タッチパネル50に対して同時に行われたタッチについて、タッチ領域を分離する処理を行う。この処理において、画像信号処理部342aは、まず、図5を用いて説明したように、フレーム画像を生成する。次に、画像信号処理部342aは、生成したフレーム画像において、入力が検出された領域を、その入力の連続性に基づいて分離する。具体的には、画像信号処理部342aは、入力された画素それぞれが水平方向、垂直方向、又は斜め方向において連続しているか否かを判定する。連続しているとは、例えば、入力された画素同士が各方向において数画素以内の距離にあることをいう。このように画像信号処理部342aは、分離されたフレーム画像の各領域を、異なる入力装置10、指などによるタッチに対応するタッチ領域として特定する。
画像信号処理部342aは、特定した各タッチ領域に対して、色変更処理を行う順序を決定する。色変更処理を行う順序は、上述したように、例えば、各タッチ領域の座標値に基づいて決定される。画像信号処理部342aは、決定した順序に従い、各タッチ領域の色変更処理を順次行う。
[表示装置の動作]
次に、図13を参照して、情報処理装置30aの動作について説明する。
図13は、本実施形態に係る情報処理装置30aにおける色変更処理の流れの一例を示すフローチャートである。
(ステップS501)画像信号処理部342a(図12)は、フレーム画像から特定した各タッチ領域について、ステップS502〜S509の処理を実行する。画像信号処理部342aは、未処理のタッチ領域がなくなるまで、ステップS502〜ステップS509の処理を繰り返し実行する。その後、画像信号処理部342aは図13に示される処理を終了する。ステップS502〜S509の処理は、それぞれ、図8を用いて説明したステップS301〜S308の処理に対応するため、ここでは説明を省略する。
以上説明したように、本実施形態に係る表示システム1aにおいて、情報処理装置30aの画像信号処理部342aは、複数のタッチ領域が特定された場合に、複数のタッチ領域毎に色変更処理を行う。
これにより、表示システム1aは、複数の入力装置10によりタッチパネル50への入力が行われた場合であっても、各入力装置10に登録された色で描画を行うことができる。従って、表示システム1aは、色入力の操作性を向上させることができる。
[表示システムの変形例]
次に、図14を参照して、上述した各実施形態に係る表示システムの変形例について説明する。
図14は、変形例に係る表示システム1bの概略機能構成を示すブロック図である。
変形例に係る表示システム1bは、入力装置10bと、情報処理装置30bと、表示装置20とを備える。
情報処理装置30bは、入力装置10bと通信する受信部(情報処理装置側第2通信部)312と、画像信号処理部342bと、画像信号処理部342bが処理した画像信号を、表示装置20に出力する画像信号出力部32を備える。
画像信号処理部342bは、受信部312が入力装置10bから受信する色判定信号に基づいて、表示装置20に表示させる画像の色を順次変更する色変更処理を行う。
表示装置は、画像信号入力部22と、表示部21と、を備える。
画像信号入力部22は、情報処理装置30bの画像信号出力部33から出力された画像信号を受け付ける。
表示部21は、画像信号入力部22が受け付けた画像信号が表す画像を表示する。
入力装置10bは、検出部11と、送信部(入力装置側通信部)14と、記憶部15と、色判定処理部162と、を備える。
検出部11は、表示部21が表示する画像の色に関する色情報を検出する。
記憶部15は、色情報を記憶する。
色判定処理部162は、検出部11が検出する色情報と、記憶部15に記憶されている色情報とを比較する。
送信部14は、色判定処理部162による比較結果に基づいて、色判定信号を表示装置20に送信する。
これにより、表示システム1bは、そのユーザの所望の色で描画を行うことができ、色入力の操作性を向上させることができる。
なお、上述した各実施形態において、情報処理装置30、30aは、例えば、パーソナルコンピュータ、携帯電話、タブレット、スマートフォン、PHS(Personal Handy−phone System)端末装置、PDA(Personal Digital Assistant)、ゲーム機などのタッチパネルを備えた電子機器であってもよい。
なお、上述した各実施形態において、情報処理装置30、30a、30b、の画像信号処理部342、342a、342bは、色変更処理における色番号の変更を、1ずつ行ってもよい。具体的には、図8のステップS308において、画像信号処理部342は、色番号Nに1を加算(N=N+1)して、色を変更してもよい。このとき、入力装置10は、例えば、検出した色が自装置に登録されている色番号の色と完全に一致する場合に、色変更停止命令を情報処理装置30に送信する。これにより、情報処理装置30は、タッチ領域の表示色を入力装置10の登録色により確実に一致させることができ、ユーザの所望の色を正確に再現することができる。
また、色変更処理において表示される色の順序は、ユーザなどの任意に定められてもよい。例えば、色変更処理において、情報処理装置30、30a、30bは、色番号の降順に従って色を変更してもよい。
なお、上述した各実施形態において、情報処理装置30、30a、30bの任意の構成が表示装置20などの他の装置に備えられていてもよい。また、表示装置20、情報処理装置30、30a、30b、位置検出装置40は一体の装置であってもよい。ただし、上述した各実施形態のように情報処理装置30、30a、30bが色変更処理を実行することにより、表示装置20は、特別な構成を色変更処理のための特別な構成を備える必要がない。
なお、上述した各実施形態において、入力装置10、10bは、複数の色を登録可能としてもよい。この場合、入力装置10、10bは、例えば、登録した色をユーザに選択させるボタンを備え、当該ボタンの押下により選択された登録色に基づいて、色判定処理を行う。これにより、ユーザは、登録色を変更する度に色登録処理を入力装置10、10bに行わせる必要がなくなるため、表示システム1は、色入力の操作性を向上させることができる。
また、登録色の色番号は、予め入力装置10、10bの記憶部15に記憶されていてもよい。この場合、入力装置10、10bは、予め登録されている登録色の色番号に基づいて、色判定処理を行う。
なお、上述した各実施形態における入力装置10、10b、表示装置20、情報処理装置30、30a、30b、位置検出装置40の一部、例えば、登録処理部161、色判定処理部162、画像信号処理部342、342a、342b画像信号生成部341、位置座標計算部42などをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、入力装置10、表示装置20、情報処理装置30、30a、30b、位置検出装置40に内蔵されたコンピュータシステムであって、OS(Operating System)や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における入力装置10、10b、表示装置20情報処理装置30、30a、30b、位置検出装置40の一部、又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。入力装置10、10b、表示装置20、情報処理装置30、30a、30b、位置検出装置40の各機能部は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
(付記1)情報処理装置と、第1の入力装置とを備える表示システムであって、前記情報処理装置は、表示部に画像を表示させる画像信号処理部と、前記第1の入力装置からの信号を受信する受信部と、を備え、前記第1の入力装置は、前記表示部に表示される第1の領域の色である第1の対象色を検出し、該第1の対象色の色情報である第1の対象色情報を取得する第1の検出部と、第1の登録色情報を記憶する第1の記憶部と、前記第1の対象色情報と前記第1の登録色情報とが一致するか否かを判定する第1の色判定処理を行い、前記第1の対象色情報と前記第1の登録色情報とが一致する場合に第1の色判定信号を生成する第1の色判定処理部と、前記第1の色判定信号を送信する第1の送信部と、を備え、前記画像信号処理部は、前記第1の対象色を順次変更する第1の色変更処理を行うとともに、前記受信部が前記第1の色判定信号を受信した場合に、前記第1の色変更処理を停止する、表示システム。
1、1a、1b 表示システム
10、10−1、10−2、10b 入力装置
101 筐体
102 孔部
11 検出部
12 スイッチ部
13 インジケータ部
14 送信部(入力装置側通信部)
15 記憶部
161 登録処理部
162 色判定処理部
20 表示装置
21 表示部
22 画像信号入力部
30、30a、30b 情報処理装置
311 通信部(情報処理装置側第1通信部)
312 受信部(情報処理装置側第2通信部)
32 画像信号出力部
33 記憶部
341 画像信号生成部
342、342a、342b 画像信号処理部
40 位置検出装置
41 タッチ検出部
42 位置座標計算部
43 通信部
50 タッチパネル
211〜213 タッチ領域
M1〜M3 カラーマーカ
T1〜T7、T1’〜T10’ 時点

Claims (12)

  1. 情報処理装置と、表示装置と、第1の入力装置とを備える表示システムであって、
    前記情報処理装置は、
    画像信号を処理する画像信号処理部と、
    前記画像信号処理部が処理した前記画像信号を、前記表示装置に出力する画像信号出力部と、
    前記第1の入力装置からの信号を受信する受信部と、
    を備え、
    前記表示装置は、
    前記画像信号出力部から出力された前記画像信号を受け付ける画像信号入力部と、
    前記画像信号入力部が受け付けた前記画像信号が表す画像を表示する表示部と、
    を備え、
    前記第1の入力装置は、
    前記表示部に表示される前記画像の第1の領域の色である第1の対象色を検出し、該第1の対象色の色情報である第1の対象色情報を取得する第1の検出部と、
    第1の登録色情報を記憶する第1の記憶部と、
    前記第1の対象色情報と前記第1の登録色情報とが一致するか否かを判定する第1の色判定処理を行い、前記第1の対象色情報と前記第1の登録色情報とが一致する場合に第1の色判定信号を生成する第1の色判定処理部と、
    前記第1の色判定信号を送信する第1の送信部と、
    を備え、
    前記画像信号処理部は、前記第1の対象色を順次変更する第1の色変更処理を行うとともに、前記受信部が前記第1の色判定信号を受信した場合に、前記第1の色変更処理を停止する、
    表示システム。
  2. 前記表示システムは、位置検出装置をさらに備え、
    前記位置検出装置は、
    前記第1の入力装置による前記表示部への入力位置を示す位置情報を検出する位置検出部、
    を備え、
    前記第1の領域は、前記位置検出部が検出した位置情報が示す入力位置に対応した領域を含む
    請求項1に記載の表示システム。
  3. 前記情報処理装置は、
    前記位置検出部が検出する位置情報に基づいて、前記画像を示す画像信号を生成する画像信号生成部
    を備え、
    前記画像信号処理部は、前記画像信号生成部が生成した前記画像信号が示す画像を前記表示部に表示させる
    請求項2に記載の表示システム。
  4. 前記画像信号処理部は、前記第1の対象色として所定の色を表示させた後に前記第1の色変更処理を行い、
    前記第1の入力装置において、
    前記第1の記憶部は、前記所定の色を示すトリガ情報を記憶し、
    前記第1の色判定処理部は、前記第1の対象色情報と前記トリガ情報とが一致するか否かを判定し、前記第1の対象色情報と前記トリガ情報とが一致する場合に、前記第1の色判定処理を開始する
    請求項1から請求項3のいずれか一項に記載の表示システム。
  5. 前記表示部が表示する前記画像は、フレームに対応付けられた時系列の画像であり、
    前記第1の領域は、前記画像が有する画素のうち、2つのフレームに対応する2つの画像間において、表示が異なる画素により構成される領域を含む
    請求項1から請求項4のいずれか一項に記載の表示システム。
  6. 前記表示システムは、第2の入力装置をさらに備え、
    前記第2の入力装置は、
    前記表示部に表示される第2の領域の色である第2の対象色を検出し、該第2の対象色の色情報である第2の対象色情報を取得する第2の検出部と、
    第2の登録色情報を記憶する第2の記憶部と、
    前記第2の対象色情報と前記第2の登録色情報とが一致するか否かを判定する第2の色判定処理を行い、前記第2の対象色情報と前記第2の登録色情報とが一致する場合に、第2の色判定信号を生成する第2の色判定処理部と、
    前記第2の色判定信号を送信する第2の送信部と、
    を備え、
    前記画像信号処理部は、前記第2の対象色を順次変更する第2の色変更処理を行うとともに、前記受信部が前記第2の色判定信号を受信した場合に、前記第2の色変更処理を停止する、
    請求項1から請求項5のいずれか一項に記載の表示システム。
  7. 前記画像信号処理部は、前記第1の色変更処理と前記第2の色変更処理とを順次行う
    請求項6に記載の表示システム。
  8. 前記第1の入力装置は、
    前記第1の検出部が検出した第1の対象色情報を、前記第1の登録色情報として前記第1の記憶部に記憶させる第1の登録処理部、
    を備える請求項1から請求項7のいずれか一項に記載の表示システム。
  9. 前記第1の入力装置は、
    前記第1の登録処理部が前記第1の記憶部に前記第1の登録色情報を記憶させたことを報知する第1の報知部、
    を備える請求項8に記載の表示システム。
  10. 前記画像信号処理部は、第1の色変更処理を停止したときに前記表示部に表示させていた画像を示す色変更画像情報を、不揮発メモリに記憶させ、又は、他の装置へ出力する
    請求項1から請求項9のいずれか一項に記載の表示システム。
  11. 画像信号を処理する画像信号処理部と、
    前記画像信号処理部が処理した前記画像信号を、表示部を備える表示装置に出力する画像信号出力部と、
    入力装置からの信号を受信する受信部と、
    を備え、
    前記画像信号処理部は、前記表示部に表示される画像の一部の領域の色を順次変更する色変更処理を行うとともに、前記受信部が前記入力装置から色変更処理の停止を指示する信号を受信した場合、前記色変更処理を停止する
    情報処理装置。
  12. 情報処理装置と、表示部を備える表示装置と、第1の登録色情報を記憶する第1の記憶部を備える第1の入力装置とを備える表示システムにおける表示方法であって、
    前記情報処理装置が、画像信号を前記表示装置に出力する第1ステップと、
    前記表示装置が、前記情報処理装置から出力された前記画像信号を受け付ける第2ステップと、
    前記表示装置が、前記第2ステップにおいて受信した前記画像信号が表す画像を前記表示部に表示する第3ステップと、
    前記情報処理装置が、前記表示部に表示された画像の第1の領域の色である第1の対象色を順次変更する第1の色変更処理を行う第4ステップと、
    前記第1の入力装置が、前記第1の対象色を検出し、該第1の対象色の色情報である第1の対象色情報を取得する第5ステップと、
    前記第1の入力装置が、前記第1の対象色情報と前記第1の登録色情報とが一致するか否かを判定する第1の色判定処理を行い、前記第1の対象色情報と前記第1の登録色情報とが一致する場合に、第1の色判定信号を生成する第6ステップと、
    前記第1の入力装置が、前記第1の色判定信号を送信する第7ステップと、
    前記情報処理装置が、前記第1の色判定信号を受信した場合に、前記第1の色変更処理を停止する第8ステップと、
    前記情報処理装置が、前記第1の対象色を前記第8ステップにおいて前記第1の色変更処理を停止したときの色とした画像を表す画像信号を前記表示装置に出力する第9ステップと、
    を含む表示方法。
JP2014265885A 2014-12-26 2014-12-26 表示システム、情報処理装置、及び表示方法 Active JP6422118B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014265885A JP6422118B2 (ja) 2014-12-26 2014-12-26 表示システム、情報処理装置、及び表示方法
US14/975,426 US20160189592A1 (en) 2014-12-26 2015-12-18 Display system, information processing device, and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014265885A JP6422118B2 (ja) 2014-12-26 2014-12-26 表示システム、情報処理装置、及び表示方法

Publications (2)

Publication Number Publication Date
JP2016126464A true JP2016126464A (ja) 2016-07-11
JP6422118B2 JP6422118B2 (ja) 2018-11-14

Family

ID=56164913

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014265885A Active JP6422118B2 (ja) 2014-12-26 2014-12-26 表示システム、情報処理装置、及び表示方法

Country Status (2)

Country Link
US (1) US20160189592A1 (ja)
JP (1) JP6422118B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016056116A1 (ja) * 2014-10-10 2016-04-14 Necディスプレイソリューションズ株式会社 表示システム、入力装置、表示装置、及び表示方法
USD795256S1 (en) * 2016-06-01 2017-08-22 Microsoft Corporation Augmented reality input device
USD795870S1 (en) * 2016-06-01 2017-08-29 Microsoft Corporation Augmented reality input device
USD795871S1 (en) * 2016-06-01 2017-08-29 Microsoft Corporation Illuminated augmented reality input device
CN106504724B (zh) * 2016-11-08 2020-09-22 Tcl新技术(惠州)有限公司 一种可视化的色温调试方法及系统、显示器及交互系统
JP6832813B2 (ja) * 2017-08-31 2021-02-24 シャープ株式会社 表示制御装置、ポインタの表示方法及びプログラム
CA187377S (en) * 2018-11-29 2020-12-07 Aec Lighting Solutions Co Ltd Rechargeable led pen light with laser pointer

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51108531A (ja) * 1975-03-19 1976-09-25 Hitachi Ltd
JPH0322090A (ja) * 1989-06-19 1991-01-30 Nec Corp 画像処理装置
JPH07325658A (ja) * 1994-06-01 1995-12-12 Mitsubishi Electric Corp 筆圧検出装置及びペン入力データ処理装置
JPH09330170A (ja) * 1996-02-09 1997-12-22 Sega Enterp Ltd 画像処理システム及びそのデータ入力装置
JP2003150304A (ja) * 2001-11-13 2003-05-23 Seiko Epson Corp ペン型入力装置及びペン型入力装置制御用プログラム並びに情報入力システム
JP2004086488A (ja) * 2002-08-26 2004-03-18 Hitachi Information Technology Co Ltd 電子入力ペン及び電子ボードシステム
JP2009015728A (ja) * 2007-07-06 2009-01-22 Sharp Corp 画像表示パネル装置
JP2010287820A (ja) * 2009-06-15 2010-12-24 B-Core Inc 発光体及び受光体及び関連する方法
JP2011018090A (ja) * 2009-07-07 2011-01-27 Panasonic Corp 電子ペン及び電子ペンシステム
JP2013250805A (ja) * 2012-05-31 2013-12-12 Sharp Corp 表示装置、入力装置及びタッチペン
US20140035843A1 (en) * 2012-08-02 2014-02-06 Sungho Zo Electronic device and electronic note system using the same

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5254978A (en) * 1991-03-29 1993-10-19 Xerox Corporation Reference color selection system
KR100835593B1 (ko) * 2003-05-31 2008-06-09 삼성전자주식회사 디스플레이장치 및 그 표시상태 제어방법
US7424154B2 (en) * 2003-11-10 2008-09-09 Microsoft Corporation Boxed and lined input panel
JP4533421B2 (ja) * 2007-11-22 2010-09-01 シャープ株式会社 表示装置
TWI379147B (en) * 2008-08-27 2012-12-11 Acer Inc Method and system for automatically adjusting the color wheel of the projector
JP5153795B2 (ja) * 2010-01-08 2013-02-27 シャープ株式会社 入出力装置及びコンピュータプログラム
JP5717399B2 (ja) * 2010-11-01 2015-05-13 キヤノン株式会社 画像形成装置、画像形成システム及び制御方法
JP6225423B2 (ja) * 2013-01-07 2017-11-08 セイコーエプソン株式会社 分光測定装置、カラーマネージメントシステム、及びプロファイル作成方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51108531A (ja) * 1975-03-19 1976-09-25 Hitachi Ltd
JPH0322090A (ja) * 1989-06-19 1991-01-30 Nec Corp 画像処理装置
JPH07325658A (ja) * 1994-06-01 1995-12-12 Mitsubishi Electric Corp 筆圧検出装置及びペン入力データ処理装置
JPH09330170A (ja) * 1996-02-09 1997-12-22 Sega Enterp Ltd 画像処理システム及びそのデータ入力装置
JP2003150304A (ja) * 2001-11-13 2003-05-23 Seiko Epson Corp ペン型入力装置及びペン型入力装置制御用プログラム並びに情報入力システム
JP2004086488A (ja) * 2002-08-26 2004-03-18 Hitachi Information Technology Co Ltd 電子入力ペン及び電子ボードシステム
JP2009015728A (ja) * 2007-07-06 2009-01-22 Sharp Corp 画像表示パネル装置
JP2010287820A (ja) * 2009-06-15 2010-12-24 B-Core Inc 発光体及び受光体及び関連する方法
JP2011018090A (ja) * 2009-07-07 2011-01-27 Panasonic Corp 電子ペン及び電子ペンシステム
JP2013250805A (ja) * 2012-05-31 2013-12-12 Sharp Corp 表示装置、入力装置及びタッチペン
US20140035843A1 (en) * 2012-08-02 2014-02-06 Sungho Zo Electronic device and electronic note system using the same

Also Published As

Publication number Publication date
JP6422118B2 (ja) 2018-11-14
US20160189592A1 (en) 2016-06-30

Similar Documents

Publication Publication Date Title
JP6422118B2 (ja) 表示システム、情報処理装置、及び表示方法
JP6253128B2 (ja) 表示システム、入力装置、表示装置、及び表示方法
US9760165B2 (en) Mobile terminal device and input operation receiving method for switching input methods
US10015402B2 (en) Electronic apparatus
WO2014045953A1 (ja) 情報処理装置および方法、並びにプログラム
US10564712B2 (en) Information processing device, information processing method, and program
CN107818282B (zh) 二维码识别方法、终端及计算机可读存储介质
JP2016110565A (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
JP4710734B2 (ja) ポインティング装置、ポインティング位置検出方法及びプログラム
JP6727081B2 (ja) 情報処理システム、拡張入力装置、および情報処理方法
JP2018132799A (ja) 電子黒板システム、電子ペン、表示装置及び電子ペン位置検出方法
US9921796B2 (en) Sharing of input information superimposed on images
US11023050B2 (en) Display control device, display control method, and computer program
KR101515986B1 (ko) 적외선 광원을 이용한 모바일 장치에서의 가상 좌표 생성 장치 및 그 방법
US20170139488A1 (en) Method, apparatus and system for inputting character
CN110377914B (zh) 字符识别方法、装置及存储介质
JP2015049372A (ja) 外国語学習支援装置及び外国語学習支援プログラム
US9319600B2 (en) Information processing apparatus, information processing method and computer program product
US20210294482A1 (en) Information processing device, information processing method, and program
CN107239153A (zh) 键盘输入提示方法及装置
US20110063321A1 (en) Image processing apparatus and method of controlling the same
JP2016197322A (ja) 表示システム、表示システムの表示方法、プログラム
CN113362410A (zh) 绘图方法、装置、电子设备及介质
JP2021197024A (ja) 表示装置、表示方法及びプログラム
KR20160087692A (ko) 전자 기기 및 그 동작 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181011

R150 Certificate of patent or registration of utility model

Ref document number: 6422118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350