JP2022147675A - 表示装置、表示方法、プログラム - Google Patents

表示装置、表示方法、プログラム Download PDF

Info

Publication number
JP2022147675A
JP2022147675A JP2021049023A JP2021049023A JP2022147675A JP 2022147675 A JP2022147675 A JP 2022147675A JP 2021049023 A JP2021049023 A JP 2021049023A JP 2021049023 A JP2021049023 A JP 2021049023A JP 2022147675 A JP2022147675 A JP 2022147675A
Authority
JP
Japan
Prior art keywords
data
parts
component
display device
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021049023A
Other languages
English (en)
Inventor
敏洋 甲斐
Toshihiro Kai
進 藤岡
Susumu Fujioka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2021049023A priority Critical patent/JP2022147675A/ja
Priority to US17/695,832 priority patent/US11734940B2/en
Publication of JP2022147675A publication Critical patent/JP2022147675A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43L—ARTICLES FOR WRITING OR DRAWING UPON; WRITING OR DRAWING AIDS; ACCESSORIES FOR WRITING OR DRAWING
    • B43L13/00—Drawing instruments, or writing or drawing appliances or accessories not otherwise provided for

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】保存してある描画部品に基づいてこの描画部品を含む描画データを表示することができる表示装置を提供すること。【解決手段】ストロークデータの入力を受け付ける受付手段と、所定の条件で区分された複数の前記ストロークデータを描画部品として保存し、１つ以上の前記描画部品を含む描画データを保存する保存手段と、前記受付手段が前記描画部品の入力を受け付けた場合、入力された前記描画部品と、前記保存手段が保存した前記描画部品とに基づいて、保存されている前記描画部品を含む前記描画データを表示する表示制御手段と、を有する表示装置を提供する。【選択図】図１

Description

本発明は、表示装置、表示方法、及び、プログラムに関する。
タッチパネル式のディスプレイにユーザーが専用の電子ペンや指などの入力手段でストロークを描画し、いくつかのストロークで形成される手書きデータを表示する電子黒板などの表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。
手書きによる入力を支援する技術が知られている（例えば、特許文献１参照。）。特許文献１には、手書き文字をストロークデータとして蓄積しておき、新たな入力に対して、特徴に共通点があるストロークデータを検索して、候補として表示する装置が開示されている。
しかしながら、従来の技術では、描画部品を保存していないという問題があった。すなわち、特許文献１では、手書き入力された描画データを描画部品に区分して保存しないため、描画データの多い図の場合には、多くの手書き描画をしないと類似した候補を表示できない。
本発明は、保存してある描画部品に基づいてこの描画部品を含む描画データを表示することができる表示装置を提供することを目的とする。
上記課題に鑑み、本発明は、ストロークデータの入力を受け付ける受付手段と、所定の条件で区分された複数の前記ストロークデータを描画部品として保存し、１つ以上の前記描画部品を含む描画データを保存する保存手段と、前記受付手段が前記描画部品の入力を受け付けた場合、入力された前記描画部品と、前記保存手段が保存した前記描画部品とに基づいて、保存されている前記描画部品を含む前記描画データを表示する表示制御手段と、を有する表示装置を提供する。
保存してある描画部品に基づいてこの描画部品を含む描画データを表示することができる表示装置を提供することができる。
本実施形態の表示装置が、過去にユーザーが手書きした全体図を表示する流れを説明する図である。 表示装置の概略斜視図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置の機能をブロック状に分けて説明する機能ブロック図の一例を示す図である。 全体図と描画部品の関係を模式的に示す図である。 描画部品の区分方法を説明するイメージ図の一例である。 ユーザーが手書きした電子黒板の描画部品で検出されるコーナーを説明する図の一例である。 ユーザーが手書きしたノートＰＣの描画部品で検出されるコーナーを説明する図の一例である。 電子黒板の描画部品とノートＰＣの描画部品を示す図の一例である。 電子黒板の描画部品とノートＰＣの描画部品を含む全体図の一例である。 プリンターの描画部品の一例を示す図である。 プリンターの描画部品とノートＰＣの描画部品の一例を示す図である。 プリンターの描画部品とノートＰＣの描画部品を含む全体図の一例である。 リストダイアログの表示例を示す図である。 ユーザーが手書きした手書きデータに基づく描画部品と全体図の保存を説明するシーケンス図の一例である。 ユーザーが手書きした描画部品と類似する描画部品を有する全体図を表示装置が表示する手順を示すシーケンス図の一例である。 図１６の流れをフローチャート図で示すフローチャート図の一例である。 表示装置の機能をブロック状に分けて説明する機能ブロック図の一例を示す図である（実施例２）。 ユーザーが手書きした手書きデータに基づく描画部品と全体図の保存を説明するシーケンス図の一例である（実施例２）。 ユーザーが手書きした図と類似する描画部品を有する全体図を表示装置が表示する手順を示すシーケンス図の一例である（実施例２）。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。
以下、本発明を実施するための形態の一例として、表示装置と表示装置が行う表示方法について実施例を挙げながら説明する。
＜比較技術について＞
まず、本実施例の表示装置を説明するにあたって、参考となる比較技術を説明する。表示装置ではユーザーがよく使う図であっても、ユーザーが、毎回、同じ図を手書きしなければならない。例えば、ユーザーがよく使う図を保存しておき、ユーザーが保存しておいた一覧から選択することで図を再利用する方法があるが、選択までの操作のわずらわしさや事前に図を保存しておかなければならないわずらわしさがある。
＜本実施例の表示装置の概略＞
そこで、本実施例の表示装置では、ユーザーが過去に手書きした全体図の一部と類似した図の部品をユーザーが手書きした場合、保存してある全体図を表示する。ユーザーは全体図を選択することで以前の会議で手書きした全体図を表示できる。これにより、ユーザーは事前に全体図を保存するなどの操作や、メニューから保存しておいた全体図の一覧を開くなどの操作が不要となる。
なお、本実施形態の図とは、手書きデータがなす任意の形状である。図の具体例は、ユーザーが手書きするものによるので、様々である。また、全体図とは複数の図の部品を有する図であり、図の部品とは所定の条件で区分された複数の手書きデータである。図の部品は意味がある形状を有する場合もあるし、区分によっては意味が不明なものがあってもよい。以下では、図の部品を「描画部品」と称する。
図１は、本実施形態の表示装置が、過去にユーザーが手書きした全体図を表示する流れを説明する図である。図１（ａ）は、１回目の会議でユーザーが手書きした全体図１２１を示す。表示装置は、全体図１２１を保存する際、全体図１２１が有する描画部品１２１ａ～１２１ｅも保存する。
図１（ｂ）に示すように、ユーザーは２回目の会議で、１回目の会議で手書きした全体図の一部にある描画部品１２０を手書きし始めた。この描画部品１２０はＰＣの形状を有している。
表示装置は、図１（ｂ）の描画部品１２０を１回目の会議で保存した描画部品１２１ａ～１２１ｅと比較することで検索する。描画部品１２０は描画部品１２１ａと類似すると判断される。このため、表示装置は、２回目の会議で手書きした描画部品１２０と類似する、１回目の会議の描画部品１２１ａを有する全体図１２１を候補として表示する（図１（ｃ））。ユーザーは１回目の会議で手書きした全体図１２１を表示するかどうかを選択できる。
ユーザーが１回目の会議で手書きした全体図を表示する操作を入力すると、表示装置は書きかけの描画部品１２０を削除し、全体図１２１を表示する（図１（ｄ））。
このように、本実施形態の表示装置は、全体図、及び、全体図が有する描画部品を保存しておく。その後、ユーザーが手書きで描画部品を手書きすると、その描画部品と保存している描画部品とを照合して、類似度が高いものがあれば、その描画部品を持つ全体図を表示する。したがって、ユーザーは全体図の一部を手書きすれば、過去に手書きした全体図を呼び出して再利用することができる。
＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。
ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。
ストロークデータに基づいてディスプレイに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。
手書きデータが文字認識して変換された文字列には、テキストデータの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。
文字列とは手書きデータから文字認識により変換された１つ以上の文字コード（フォント）である。文字列は、コンピュータで扱われる1つ以上の文字でよい。文字には、数字、アルファベット、及び、記号等が含まれる。文字列はテキストデータとも言われる。
全体描画データとは、画面に表示された手書きデータの全体をいう。図として意味があるかどうかは問われない。画面とは、ディスプレイ全体又は定義された表示範囲をいう。１画面をページという場合がある。本実施形態では、全体描画データを全体図と称する。
描画部品は全体図のうち、所定の条件で区分された複数のストロークデータである。所定の条件は、最後に入力されたストロークデータから所定の距離以上離れた位置に次のストロークデータの入力を受け付けるか、又は、最後に入力されたストロークデータから一定時間以内に次のストロークデータを受け付けない場合などである。
＜構成例＞
図２は、表示装置２の概略斜視図の一例を示す。表示装置２をユーザー（利用者）が利用している。本実施形態の表示装置２は、ユーザーが手又は電子ペン２５００などの入力手段２９１でディスプレイ２２０上に手書きを行うことができる。
図２の表示装置２は横置きされているが、縦置きすることも可能である。ユーザーは表示装置２をディスプレイ２２０の中心を軸に回転させて、横置きと縦置きを切り替えることができる。
＜ハードウェア構成例＞
図３は、表示装置２のハードウェア構成の一例を示す図である。本実施形態の表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークコントローラ２０５、及び、外部機器接続Ｉ／Ｆ２０６(Interface)を備えており、複数の利用者により情報を共有するための共有端末である。
これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。
ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。
ネットワークコントローラ２０５は、ネットワークを介して他の機器との通信を制御する。外部機器接続Ｉ／Ｆ２０６は、ＵＳＢ(Universal Serial Bus)メモリ２６００、外付け機器（カメラ２４００、スピーカ２３００、マイク２２００）との通信を制御する。
また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信部２１９、及び近距離通信部２１９のアンテナ２１９ａを備えている。
これらのうち、キャプチャデバイス２１１は、ＰＣ１０のディスプレイ２２０に対して映像情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ２２０等へ出力するために画面表示の制御及び管理を行う。
接触センサ２１４は、ディスプレイ２２０上に電子ペン２５００やユーザーの手Ｈ等が接触したことを検知する。電子ペン２５００と手Ｈを区別しない場合、入力手段２９１という。
センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ２２０の上側両端部に設置された２つ受発光装置が、ディスプレイ２２０に平行して複数の赤外線を放射し、ディスプレイ２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法であっても良い。
接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン２５００とＢｌｕｅｔｏｏｔｈ（登録商標）通信することで、ディスプレイ２２０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信部２１９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。
更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、ＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いても良い。また、電子ペンコントローラ２１６が、電子ペン２５００のペン先及びペン尻だけでなく、電子ペン２５００のユーザーが握る部分や、その他の電子ペンの部分についてタッチの有無を判断するようにしても良い。
＜機能について＞
図４は、表示装置２の機能をブロック状に分けて説明する機能ブロック図の一例を示す図である。図４に示す、表示装置２が有する各機能部は、図４に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。
表示装置２は、接触位置検出部２１、描画データ生成部２２、描画図管理部２３、描画部品管理部２４、描画比較部２５、表示制御部２６、会議データ記憶部２７、及び、ネットワーク通信部２８を有している。
接触位置検出部２１は、入力手段２９１が接触センサ２１４に接触した位置の座標点を検出し、ユーザーによる手書き入力を受け付ける。手書き入力とは、入力手段２９１が接触センサ２１４に接触している座標の軌跡を用いた入力である。接触位置検出部２１は座標点列を離散値として求めてもよい。離散値間の座標は補間計算される。
描画データ生成部２２は、接触位置検出部２１が検出した座標点列からストロークデータを生成する。また、描画データ生成部２２は接触位置検出部２１が求めた座標点列から、円、矩形、吹き出し、及び矢印などのオブジェクトを生成する。例えばユーザーは入力手段２９１の操作によって、円、矩形、吹き出し、及び矢印など、元となる形状を手書きする。描画データ生成部２２は、手書きデータと類似するオブジェクトを生成する。
描画図管理部２３は、ユーザーが手書きした全体図のデータをファイルとして全体図データ記憶部３１に保存したり、全体図データ記憶部３１に保存された全体図を読み出したりする。描画図管理部２３は、全体図とそれを構成する描画部品との対応を管理する。
描画部品管理部２４は、描画部品を部品データ記憶部３２に保存したり、部品データ記憶部３２から保存されている描画部品を読み出したりする。
描画比較部２５は、ユーザーが手書きした手書きデータ（保存してある描画部品と類似する場合はこの手書きデータが描画部品である）と描画部品とを比較して、手書きデータと類似する描画部品があるか否かを判断する。
表示制御部２６は、手書きデータ、文字列、図形、画像、操作のためのボタンやアイコンなどをディスプレイ２２０に表示するための制御を行う。会議データ記憶部２７は会議で使用された資料データ、ファイル等をＳＳＤ２０４などの記憶媒体に記憶する。
ネットワーク通信部２８はＬＡＮやインターネット等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。
＜全体図、描画部品について＞
図５は、全体図と描画部品の関係を模式的に示す。描画図管理部２３は会議終了時に全体図を全体図データ記憶部３１に保存する。描画部品管理部２４は会議終了前に全体図を構成する描画部品に所定の条件で区分しておき、部品データ記憶部３２に保存しておく。描画部品管理部２４は会議終了時に描画部品を保存してもよい。
図５に示すように、ユーザー(図作成者)のＩＤにそのユーザーが作成した全体図が対応付けられて保存される。また、全体図に含まれる描画部品がその全体図と対応付けられて保存されている。
なお、図５では、ユーザー(図作成者)のＩＤに全体図が対応付けられているが、ユーザーに対応付けるか否かはユーザーが選択できてよい。
描画部品の区分方法は種々、考えられるが、一例としては、入力される複数のストロークデータに関して、時間と空間の少なくとも一方を用いて区分する方法がある。
図６は、描画部品の区分方法のイメージ図である。描画部品管理部２４は、電子ペン２５００などの入力手段２９１の先端がディスプレイ２２０に接触して書き込みを行い、ディスプレイ２２０から離れてから次の接触が無い時間が、一定時間を超えるとそれまでに手書きされた複数のストロークデータを１つの描画部品として保存する。あるいは、描画部品管理部２４は、２つのストロークデータの間の距離が所定の値以上の場合、この２つのストロークデータの間で別の描画部品に区分されたと判断してもよい。
ただし、文字や矢印のような手書きデータはどの全体図においても含まれる可能性があるため、描画部品として保存されるとユーザーが文字や矢印を手書きするたびに意図しない全体図が表示されるおそれがある。このため、描画部品管理部２４は、画像認識により文字又は矢印と判断した場合は、描画部品として保存しないことが好ましい。
＜描画部品の詳細＞
次に、図７を参照して、描画部品について詳細に説明する。まず、ディスプレイ２２０上の画素の位置は、ディスプレイ２２０の表示領域における左上の角にある画素位置を原点として、右方向をＸ軸の正の方向、下方向をＹ軸の正の方向とした表示座標で表現する。すなわち、
表示座標＝（原点位置の画素からのＸ軸方向の画素数，原点位置の画素からのＹ軸方向の画素数）
である。
ユーザーが表示装置２のディスプレイ２２０上で描いた電子黒板の描画部品のストロークデータを保存する処理について説明する。会議などで、ユーザーは表示装置２のディスプレイ２２０上で、電子黒板の描画部品１０１を手書きした。図７（ａ）は、ストロークの方向と書き順を示している。ストローク2－1とストローク2－2は、入力手段２９１がディスプレイ２２０に接触したまま移動していることを示す。
描画部品管理部２４は、ストロークの始点座標と終点座標を記憶すると共に、ストロークと他のストロークとの距離を計算する。距離は、２つのストローク間（２つのストロークデータ間）の距離が最小となる線分の長さである。
そして、描画部品管理部２４はこの距離が所定の値以下で、かつ、前記２つのストロークの方向が成す角度が所定の値以上である場合、２つのストローク間の中点（距離が最小となる線分の中点）をコーナーとして、このコーナーの座標を部品データ記憶部３２に記憶する。角度が所定の値以上とは、ユーザーが直線でなく角度を付けたと判断される値でよく、例えば１０～２０°以上である。つまり、２つのストロークが角を形成する部分がコーナーである。
なお、コーナーＢのように、一筆書きで形成されるコーナーについては、ストロークの方向が変化した座標点を角と仮定し、この角までのストロークと角から後のストロークの成す角度（ストロークデータの方向が変化した点の前後のストロークデータの方向が成す角度）を算出し、しきい値以上の場合はこの変化した点をコーナーとする。
図７（ｂ）は、図７（ａ）の描画部品１０１から検出されるコーナーＡ～Ｌを示す。コーナーＡ～Ｌは、表１に示すテーブル（配列）状のコーナー座標データとして保存される。コーナー座標データにはコーナーの座標が記録される。
また、描画部品管理部２４は、隣接している各コーナー間の距離を求めて表２に示すようなテーブル（配列）状のコーナー間距離データとして保存する。コーナー間距離データにはコーナー間の距離が記録される。
Figure 2022147675000002
Figure 2022147675000003
なお、表２の対象コーナーのペアは、以下の優先ルールにしたがって抽出される。つまり、描画部品管理部２４は水平線又は垂直線を構成するペアで、ストロークの端点を構成するペアを優先的に抽出する。
・Ｙ座標の値の差が所定の範囲内であり、ストロークの始点又は終点である。
⇒（A, B）（C, D）（C, E）（E, F）（F, I）（I, J）（G, H）（K, L）のペア
・Ｘ座標の値の差が所定の範囲内であり、ストロークの始点又は終点である。
⇒（A, C）（B, D）（E, G）（F, H）（I, K）（J, L）のペア
そして、描画部品管理部２４は、コーナーのＹ座標の値が昇順（小→大）になるように、また、複数のコーナーが有するＹ座標の値の差が所定の範囲内である場合には、コーナーのＸ座標の値が昇順（小→大）になるようにコーナーをソートする。つまり、描画部品管理部２４は左上から右下の方向にコーナーをソートする。表２ではこのようにソートされたコーナーペアが順番に登録されている。
なお、３つ以上のコーナーが有するＹ座標の値の差が所定の範囲内である場合には、コーナー間の距離が最大となるペアを最優先とする。表２では、このルールにしたがって、コーナーのペアが並べられている。
図８は、ユーザーが手書きしたノートＰＣの描画部品１０２で検出されるコーナーを説明する図である。ユーザーは、表示装置２のディスプレイにノートＰＣの描画部品１０２を手書きした。図８(ａ)はストロークの方向と書き順を示している。ストローク2－1とストローク2－2は、入力手段２９１がディスプレイ２２０に接触したまま移動していることを示す。
描画部品管理部２４は、ストロークの始点座標と終点座標を記憶すると共に、ストロークの始点座標または終点座標と他のストロークの始点座標または終点座標との距離を計算する。そして、描画部品管理部２４はこの距離が所定の値以下で、かつ、前記２つのストロークの方向が成す角度が所定の値以上である場合、距離が所定の値以下である２つの座標の中点をコーナーとして検出する。描画部品管理部２４はこのコーナーの座標を部品データ記憶部３２に記憶する。
図８（ｂ）は、図８（ａ）の描画部品１０２から検出されるコーナーＯ～Ｔを示す。コーナーＯ～Ｔは、表３に示すコーナー座標データとして保存される。
また、描画部品管理部２４は、隣接している各コーナー間の距離を求めて表４に示すようなコーナー間距離データとして保存する。表４の求め方は表２と同様である。
Figure 2022147675000004
Figure 2022147675000005
次に、図９に示すように、図７に示した電子黒板の描画部品１０１の横に（図９（ａ））、図８のノートＰＣの描画部品１０２（図９（ｂ））をユーザーが手書きしたとする。図９では、１つのディスプレイに電子黒板の描画部品１０１とノートＰＣの描画部品１０２が手書きされている。点A～点L及び点O～点Tはコーナーを示している。
ユーザーがノートＰＣの描画部品１０２を手書きするために最初のストローク１０３（点Oが始点で点Qが終点）を手書きすると、描画部品管理部２４はストローク１０３の始点（点O）と先に描画された電子黒板の描画部品１０１が有するコーナーの中で点Oに最も近いコーナー（点Ｂ）との距離を求める。描画部品管理部２４は、また、ストローク１０３の終点（点Q）と先に描画された電子黒板の描画部品１０１が有するコーナーの中で点Qに最も近いコーナー（点D）との距離を求める。そして、両方の距離が所定の値以上の場合は（すなわち、描画部品１０１のストロークデータと描画部品１０２のストロークデータの間の距離が所定の値以上）、描画部品管理部２４は電子黒板の描画部品１０１とノートＰＣの描画部品１０２は別の描画部品であると判断する。つまり、描画部品管理部２４は複数のストロークデータから描画部品１０１と描画部品１０２を区分した。
描画部品管理部２４は電子黒板の描画部品１０１のストロークデータ（接触位置検出部２１から入力される座標点列、線の太さ、色等の描画属性データ）をファイルとして部品データ記憶部３２に保存する。このファイル名は、例えば、「fig_parts_1.data」とする。描画部品管理部２４は、また、電子黒板の描画部品１０１に対して描画部品ＩＤ＝１を付する。
描画部品管理部２４は、この描画部品ＩＤ、表１に示したコーナー座標データ、表２に示したコーナー間距離データ、及び、電子黒板の描画部品１０１のストロークデータファイル（「fig_parts_1.data」）を対応付けた描画部品管理テーブルを生成する（表５参照）。
描画部品管理部２４は、この描画部品管理テーブルをファイルとして部品データ記憶部３２に保存する。この描画部品管理ファイルのファイル名は、例えば、「fig_parts_table_1.data」とする。
なお、電子黒板の描画部品１０１の最後のストローク１０４（点Kが始点で点Lが終点）が手書きされてから一定時間以内に次のストロークが手書きされない場合も、描画部品管理部２４は最後のストローク１０４までを１つの描画部品１０１と判断する。
続いて、図９において、ユーザーがノートＰＣの描画部品１０２の手書きを終えた。ユーザーが最後のストローク１０５（点Sが始点で点Tが終点）を手書きしてから、描画部品１０２のコーナーから所定の距離以上離れた位置に次のストロークを描画するか、又は、一定時間以内に次のストロークの手書きがない場合、描画部品管理部２４は最後のストローク１０５までを１つの描画部品１０２と判断する。
そして、描画部品管理部２４は、ノートＰＣの描画部品１０２のストロークデータ（接触位置検出部２１から入力される座標点列、線の太さ、色等の描画属性データ）をファイルとして部品データ記憶部３２に保存する。このファイル名は、例えば、「fig_parts_2.data」とする。
描画部品管理部２４は、また、このノートＰＣの描画部品１０２に対して描画部品ＩＤ＝２を付与する。描画部品管理部２４は、この描画部品ＩＤ、表３に示したコーナー座標データ、表４に示したコーナー間距離データ、及び、ノートＰＣの描画部品１０２のストロークデータファイル（「fig_parts_2.data」）を対応付けた描画部品管理テーブルを生成する（表５参照）。
描画部品管理部２４は描画部品１０２の描画部品管理テーブルを、描画部品１０１について生成した描画部品管理テーブル（ファイル名は「fig_parts_table_1.data」）に追加して、部品データ記憶部３２に上書き保存する。
生成された描画部品管理テーブルを表５に示す。これまで説明したように、描画部品管理テーブルは、１つの画面内（ページ内）の全ての描画部品について、描画部品ＩＤ、描画部品のストロークデータファイル名、コーナー座標データ、及び、コーナー間距離データを有する。
Figure 2022147675000006
＜全体図の保存＞
続いて、図１０等を参照して全体図の保存方法を説明する。図１０は、電子黒板の描画部品１０１とノートＰＣの描画部品１０２を接続する線１０６を示す。ユーザーがノートＰＣの描画部品１０２を手書きしてから所定の時間が経過した後に、ユーザーは電子黒板の描画部品１０１とノートＰＣの描画部品１０２とを結ぶ線１０６を手書きする。点Ｍが始点で点Ｎが終点を示している。
その後、一定時間以内に次のストロークの手書きがない場合、描画部品管理部２４はこの線１０６を１つの描画部品と判断するが、１つのストロークのみの場合、描画部品管理部２４はファイルの保存処理を実行しない。１つのストロークは全ての描画部品に含まれるため、保存済みの多くの描画部品が検索に適合するためである。
次に、ユーザーが表示装置２のディスプレイ２２０に表示された全体図の保存ボタンを押下する。全体図の保存とは、ディスプレイ全体を１ページとして、表示されているオブジェクト（ストロークデータ、画像、図形等）を表示装置２がページ単位で保存するボタンである。したがって、新規ページの表示ボタンなども含まれる。なお、画像や図形を除いて、ストロークデータのみが保存されてもよい。
描画図管理部２３は、図１０に示した全てのストロークデータ（接触位置検出部２１から入力される座標点列、線の太さ、色等の描画属性データ）をファイルとして全体図データ記憶部３１に保存する。このファイル名は、例えば、「figure_1.data」とする。そして、描画図管理部２３は、この全体図に対して描画図ＩＤ（描画図ＩＤ＝１００１）を付与して、この描画図ＩＤ、描画部品管理ファイルのファイル名「fig_parts_table_1.data」、及び、全体図のストロークデータファイル名「figure_1.data」を対応付けた描画図管理テーブルを生成する。
描画図管理部２３は、描画図管理テーブルのデータをファイルとして全体図データ記憶部３１に保存する。この描画図管理ファイルのファイル名は、例えば、「figure_table.data」とする。この描画図管理テーブルを表６に示す。
Figure 2022147675000007
＜プリンターの描画部品とノートＰＣの描画部品＞
続いて、例えば、プリンターについての打ち合わせにおいて、ユーザーが表示装置２のディスプレイ２２０に、まず、プリンターの描画部品を手書きする。
図１１は、プリンターの描画部品１１１を示す。図１１の点a～点kは描画部品１１１のコーナーを示しており、描画部品管理部２４は表７に示す各コーナー座標データを部品データ記憶部３２に保存する。描画部品管理部２４は、また、各コーナー間の距離を求めて表８に示すコーナー間距離データを部品データ記憶部３２に保存する。表７の求め方は、表１、表３と同様でよく、表８の求め方は表２，表４と同様でよい。
Figure 2022147675000008
Figure 2022147675000009
図１２に示すように、ユーザーは、次に、プリンターの描画部品１１１の横にノートＰＣの描画部品１１２を手書きした。図１２（ｂ）のノートＰＣの描画部品１１２は、図９（ｂ）に示したものと同様である。
ユーザーがノートＰＣの描画部品１１２を描くために最初のストローク１０７（点Oが始点で点Qが終点）を描くと、描画部品管理部２４はストローク１０７の始点（点O）と先に描画されたプリンターの描画部品１１１が有するコーナーの中で点Oに最も近いコーナー（点f）との距離を求める。描画部品管理部２４は、また、ストローク１０７の終点（点Q）とプリンターの描画部品１１１が有するコーナーの中で点Qに最も近いコーナー（点i）との距離を求める。そして、両方の距離が所定の値以上の場合は、描画部品管理部２４は、プリンターの描画部品１１１とノートＰＣの描画部品１１２は別の図であると判断する。
そして、描画部品管理部２４は、プリンターの描画部品１１１のストロークデータ（接触位置検出部２１から入力される座標点列、線の太さ、色等の描画属性データ）をファイルとして部品データ記憶部３２に保存する。このファイル名は、例えば、「fig_parts_3.data」とする。描画部品管理部２４は、また、このプリンターの描画部品１１１に対して描画部品ＩＤ＝３を付与する。描画部品管理部２４は、この描画部品ＩＤ、表７に示したコーナー座標データ、表８に示したコーナー間距離データ、及び、プリンターの描画部品１１１のストロークデータファイル名「fig_parts_3.data」を対応付けた描画部品管理テーブルを生成する。
描画部品管理部２４は、描画部品管理テーブルのデータをファイルとして部品データ記憶部３２に保存する。この描画部品管理ファイルのファイル名は、例えば、「fig_parts_table_2.data」とする（表９参照）。
続いて、ユーザーがノートＰＣの描画部品１１２を手書きする。ユーザーが最後のストローク１０５（点Sが始点で点Tが終点）を描いてから、描画部品１１２のコーナーから所定の距離以上離れた位置に次のストロークを描画するか、又は、一定時間以内に次のストロークが手書きされない場合、描画図管理部２３は、ストローク１０７からストローク１０５までを１つの描画部品と判断する。
そして、描画部品管理部２４はノートＰＣの描画部品１１２のストロークデータ（接触位置検出部２１から入力される座標点列、線の太さ、色等の描画属性データ）をファイルとして部品データ記憶部３２に保存する。このファイル名は、例えば、「fig_parts_4.data」とする。描画部品管理部２４は、また、ノートＰＣの描画部品１１２に対して描画部品ＩＤ＝４を付与する。描画部品管理部２４は、描画部品ＩＤ、表３に示したコーナー座標データ、表４に示したコーナー間距離データ、及び、ノートＰＣの描画部品１１２のストロークデータファイル（「fig_parts_4.data」）を対応付けた描画部品管理テーブルを生成する（表９参照）。
描画部品管理部２４は、この描画部品管理テーブルのデータを先に生成した描画部品管理ファイル（ファイル名は「fig_parts_table_2.data」）に追加して、部品データ記憶部３２に上書き保存する。この描画部品管理テーブルを表９に示す。
Figure 2022147675000010
＜全体図の保存＞
図１３に示すように、ユーザーがノートＰＣの描画部品１１２を手書きしてから所定の時間が経過した後に、ユーザーが電子黒板の描画部品１１１とノートＰＣの描画部品１１２とを結ぶ線１０８を手書きする。点mが始点で点nが終点を示している。その後、一定時間以内に次のストロークが手書きされない場合、この線１０８を１つの図と判断するが、描画図管理部２３は、１つのストロークについてはファイルの保存処理は実行しない。
そして、ユーザーが表示装置２のディスプレイ２２０に表示された全体図の保存ボタンを押下した。描画図管理部２３は、図１３に示した全てのストロークデータ（接触位置検出部２１から入力される座標点列、線の太さ、色等の描画属性データ）をファイルとして全体図データ記憶部３１に保存する。このファイル名は、例えば、「figure_2.data」とする。そして、描画図管理部２３は、図１３の全体図に対して描画図ＩＤ＝１００２を採番する。描画図管理部２３は、描画図ＩＤ、描画部品管理ファイルのファイル名「fig_parts_table_2.data」、及び、全体図のストロークデータファイル名「figure_2.data」を対応付けて、既に存在する描画図管理テーブルに追加する。
描画図管理部２３は、描画図管理テーブルのデータを表６の描画図管理ファイル（ファイル名は「figure_table.data」）に上書き保存する。上書きされた描画図管理テーブルを表１０に示す。
Figure 2022147675000011
したがって、表１０には、図１０の全体図と全体図が有する２つの描画部品１０１，１０２が描画図ＩＤ＝１００１で対応付けられる。また、表１０には、図１３の全体図と全体図が有する２つの描画部品１１１，１１２が描画図ＩＤ＝１００２で対応付けられる。
なお、会議の終了時（ユーザーが会議の終了ボタンを押下した時）に、上記した全体図の保存処理を描画図管理部２３が実行するようにしてもよい。
また、表示装置２がページ切り替え機能を持っている場合、ユーザーがページの切り替え操作を行った場合に、描画図管理部２３が、上記した全体図の保存処理を実行するようにしてもよい。
＜描画部品の検索＞
次に、ユーザーが表示装置２のディスプレイ２２０上で図を描き始めると、描画比較部２５が、手書き中の描画部品と保存されている描画部品とを比較して類似性の判断を行い、類似した描画部品を有する全体図を表示する。以下、描画部品の検索と全体図の表示処理について説明する。
ユーザーにより別の描画部品が手書きされると、上記と同様にして、描画部品管理部２４が新たな描画部品ＩＤを付与して（描画部品ＩＤ＝５）、ストロークデータ、コーナー座標データ、及び、コーナー間距離データとの対応付けを行う。すなわち、描画部品管理部２４は、表５及び表９に示した描画部品管理テーブルの１行分を作成する。
そして、描画部品管理部２４は全体図データ記憶部３１に保存されている描画図管理ファイル（ファイル名は「figure_table.data」）のデータをＲＡＭ２０３に読み出す。そして、描画部品管理部２４は更に、描画図管理ファイルに含まれている描画部品管理ファイルのファイル名を使用して、部品データ記憶部３２に保存されている全ての描画部品管理ファイルのデータ（描画部品管理テーブルのデータ）をＲＡＭ２０３に読み出す。
続いて、描画部品管理部２４は、描画部品５（描画部品ＩＤ＝５）のコーナー座標データとコーナー間距離データを、ＲＡＭ２０３に読み出した描画部品管理テーブルのデータと比較する処理を描画比較部２５に依頼する。
描画比較部２５はコーナー座標データとコーナー間距離データを用いて、この描画部品５（描画部品ＩＤ＝５）と部品データ記憶部３２に記憶されていた描画部品との類似性を判断する。描画比較部２５は、例えば、まず、コーナー間距離データの要素数が一致しているかどうかで比較対象を絞る。描画比較部２５は、完全に一致するだけでなく、要素数が近いかどうかで絞ってもよい。
次に、描画比較部２５は、コーナー間距離データに載っているコーナーのペアをベクトルの始点、終点とみなして、コーナー間距離データに記載の順に２つの描画部品それぞれのベクトルに対してコサイン類似度を計算する。
コサイン類似度とは、２本のベクトルがどれくらい同じ向きを向いているのかを表す指標である。コサイン類似度は、そのまま、ベクトル同士の成す角度の近さを表現するため、三角関数のコサインの通り、１に近ければ類似しており、０に近ければ似ていないことになる。
描画比較部２５は、コーナー間距離データにある全てのベクトルについてコサイン類似度がしきい値(例えば0.7)以上であれば類似性があると判断する。なお、描画比較部２５は、コーナー間距離データの全てのコーナーペア同士についてコサイン類似度の平均を求めてその値がしきい値(例えば0.7)以上であれば、類似性があると判断しても良い。
以下では、コサイン類似度に基づく類似性の判断例を説明する。
下記の表１１、表１２は、保存されている描画部品１（描画部品ＩＤ＝１）のコーナー座標データとコーナー間距離データの各先頭部分のデータを示す（表１，２の先頭部分）。表１３、表１４は、現在、ユーザーが手書きした描画部品のコーナー座標データとコーナー間距離データの各先頭部分のデータである。
Figure 2022147675000012
Figure 2022147675000013
Figure 2022147675000014
Figure 2022147675000015
描画比較部２５は、表１１～表１４を使って、ユーザーが手書きした描画部品５（描画部品ＩＤ＝５）と、描画部品１(描画部品ＩＤ＝１)を比較する。なお、以下では、２つのコーナーを括弧[ ]で囲うことで、ベクトルを表す。
描画部品１が有する１つ目のコーナーペアのベクトルは[AB]＝(x2－x1,y2－y1)、
２つ目のコーナーペアのベクトルは[AC]＝(x3－x1,y3－y1)
描画部品５が有する１つ目のコーナーペアのベクトルは[αβ]＝(x101－x100,y101－y100 )、
２つ目のコーナーペアのベクトルは[αγ]＝(x102－x100,y102－y100 )である。
１つ目のコーナーペア同士のコサイン類似度は式（１）で与えられる。同様に２つ目のコーナーペア同士のコサイン類似度は式（２）で与えられる。
Figure 2022147675000016
Figure 2022147675000017
 描画比較部２５は、式（１）（２）が共にしきい値（例えば0.7）以上であれば類似性があると判断する。
このような描画部品５との比較を、描画比較部２５が、描画部品（描画部品ＩＤ＝１～４）と行う。描画部品５がノートＰＣの描画部品である場合、描画部品ＩＤ＝２と４の描画部品と類似していると判断できる。
描画比較部２５は類似性があると判断した描画部品ＩＤ＝２と４を描画部品管理部２４に通知する。描画部品管理部２４は、この通知された描画部品ＩＤを持つ描画部品管理ファイルのファイル名を描画図管理部２３へ通知する。
描画図管理部２３は描画図管理テーブルにあるこのファイル名に紐付いた全体図のストロークデータファイル（「figure_1.data」「figure_2.data」）を読み出して、描画データ生成部２２が線の太さや色等の描画属性に従ったストロークの描画線を生成する。そして、描画データ生成部２２は、この全体図を縮小してリストダイアログ１３０に入れ、表示制御部２６がこのリストダイアログ１３０をディスプレイ２２０に表示する。
ユーザーがノートＰＣの描画部品を手書きした場合、図１０及び図１３の２つの全体図が検索に適合するため、表示制御部２６は２つの全体図をリストダイアログ１３０に入れて表示する。この表示例を図１４に示す。
図１４（ａ）は、リストダイアログ１３０の表示例を示す。図１４（ａ）では、現在、手書きされたノートＰＣの描画部品１４０とリストダイアログ１３０が表示されている。また、リストダイアログ１３０は、ノートＰＣの描画部品１４０と類似する描画部品を有する２つの全体図１３１，１３２を有している。
ユーザーがリストダイアログ１３０に表示された電子黒板とノートＰＣの全体図１３１を選択すると、描画図管理部２３はリストダイアログ１３０を消去して、電子黒板とノートＰＣの全体図１３１（描画図ＩＤ＝１００１）を表示する（図１４（ｂ））。
＜表示装置２の動作手順＞
図１５は、ユーザーが手書きした手書きデータに基づく描画部品と全体図の保存を説明するシーケンス図の一例である。
S1：ユーザーが入力手段２９１の先端をディスプレイ２２０に接触した状態で移動させると、接触位置検出部２１がストロークデータの入力を受け付ける。
S2：接触位置検出部２１は検出した座標点列を描画データ生成部２２に通知する。
S3：描画データ生成部２２は座標点列を補間したりスムージングしたりして、手書きデータ（ストロークデータ）を生成する。描画データ生成部２２は生成したストロークデータを表示制御部２６に通知する。表示制御部２６はストロークデータをディスプレイ２２０に表示する。
S4：また、描画データ生成部２２はストロークデータを描画部品管理部２４に通知する。
S5：描画部品管理部２４は、コーナーの座標が登録されたコーナー座標データと、コーナー間距離データを生成する。
S6：描画部品管理部２４は、手書きされた描画部品のコーナーから所定の距離以上離れた位置に次のストロークが手書きされたか、又は、最後のストロークが手書きされてから一定時間以内に次のストロークが手書きされない場合（所定の条件を満たす場合）、描画部品管理テーブルを生成する。描画部品管理部２４は、所定の条件を最後に満たしてから次に満たすまでに、接触位置検出部２１が受け付けたストロークデータを１つの描画部品と判断する。
描画部品管理テーブルには、描画部品ＩＤ、コーナー座標データ、コーナー間距離データ、及び、描画部品のストロークデータファイル名が対応付けられる。描画部品管理部２４はこの描画部品管理テーブルをファイルとして部品データ記憶部３２に保存する。
S7：ユーザーが表示装置２のディスプレイ２２０に表示された全体図の保存ボタンを押下した。
S8：接触位置検出部２１は、保存ボタンが押下された旨を描画図管理部２３に通知する。
S9：描画図管理部２３は、ディスプレイ２２０の全てのストロークデータをファイルとして全体図データ記憶部３１に保存する。描画図管理部２３は、全体図に対して描画図ＩＤを付与して、描画図ＩＤ、描画部品管理ファイルのファイル名、及び、全体図のストロークデータファイル名を対応付けて、描画図管理ファイルに保存する（既に描画図管理ファイルがある場合は上書きする）。
図１６は、ユーザーが手書きした描画部品と類似する描画部品を有する全体図を表示装置２が表示する手順を示すシーケンス図の一例である。
S11～S16：S11～S16は、図１５のステップS1～S6と同様でよい。
S17：描画部品管理部２４は、ステップS16で保存した描画部品と、部品データ記憶部３２に保存されている描画部品との比較を描画比較部２５に要求する。描画比較部２５は例えばコサイン類似度によりステップS16で保存した描画部品と類似する描画部品の描画部品ＩＤを描画部品管理部２４に返す。
S18：描画部品管理部２４は、類似していると判断された描画部品ＩＤの描画部品管理ファイルのファイル名を描画図管理部２３に通知する。
S19,S20：描画図管理部２３は、描画部品管理ファイルのファイル名を有する描画図管理ファイル（全体図）を全体図データ記憶部３１から読み出す。
S21：描画図管理部２３は読み出した描画図管理ファイルを描画データ生成部２２に通知する。
S22：描画データ生成部２２は描画図管理ファイルに含まれるストロークデータで全体図を生成し、全体図を含むリストダイアログ１３０の表示を表示制御部２６に要求する。これにより、表示制御部２６は全体図をサムネイル等の縮小された状態で含むリストダイアログ１３０をディスプレイ２２０に表示する。
S23：ユーザーが全体図を入力手段２９１で押下する。
S24：接触位置検出部２１は入力手段２９１の先端が接触する座標により、選択された全体図を特定する。接触位置検出部２１はこの全体図を描画データ生成部２２に通知する。
S25：描画データ生成部２２はこの全体図の表示を表示制御部２６に要求する。これにより、表示制御部２６は全体図をディスプレイ２２０に表示する。
図１７は、図１６の流れをフローチャートで示すフローチャート図の一例である。
描画部品管理部２４は、手書きされた描画部品のコーナーから所定の距離以上離れた位置に次のストロークが手書きされたか、又は、最後のストロークが手書きされてから一定時間以内に次のストロークが手書きされない場合、ユーザーが描画部品を書き終えたと判断する（Ｓ１０１）。
次に、描画比較部２５は、ユーザーが書き終えた描画部品と、全体図データ記憶部３１に保存されている全体図の描画部品とを比較する（Ｓ１０２）。
全体図の描画部品にユーザーが書き終えた描画部品と類似している描画部品がある場合（Ｓ１０３のＹｅｓ）、表示制御部２６はリストダイアログ１３０をディスプレイ２２０に表示する（Ｓ１０４）。リストダイアログ１３０は、類似する描画部品を含む全体図をサムネイル等の縮小された状態で含む。
そして、ユーザーが全体図を入力手段２９１で押下した場合（Ｓ１０５のＹｅｓ）、接触位置検出部２１は入力手段２９１の先端が接触する座標により、選択された全体図を受け付け、表示制御部２６が全体図をディスプレイ２２０に表示する（Ｓ１０６）。
＜主な効果＞
本実施形態の表示装置２は、全体図、及び、全体図が有する描画部品を保存しておく。その後、ユーザーが手書きで描画部品を手書きすると、その描画部品と保存している描画部品とを照合して、類似度が高いものがあれば、その描画部品を持つ全体図を表示する。したがって、ユーザーは全体図の一部を手書きすれば、過去に手書きした全体図を呼び出して再利用することができる。
実施例１では、ユーザーが手書きした図と、全ての保存されている全体図との類似性が比較された。しかし、保存されている全体図の量が多くなると比較する時間がかかるため検索対象をしぼることが好ましい。また、全体図の内容の機密性が高い場合、全体図を保存したユーザーがその全体図にアクセスできる人を制限したいことがある。
本実施例では、これを実現するためにユーザーＩＤを用いてそのユーザーが過去に作成した全体図のみを検索する表示装置２について説明する。
＜機能について＞
図１８は、本実施例の表示装置２が有する機能をブロック状に示す機能ブロック図の一例である。なお、図１８の説明では、主に図４との相違を説明する。
本実施例の表示装置２はログイン管理部２９を有している。ログイン管理部２９は、ＩＣカード読取装置（図３では近距離通信部２１９が相当する）がＮＦＣで受信した、ユーザーのＩＣカードが保持するユーザーＩＤをもとにＳＳＤ２０４内に構成した認証データベースへ問い合わせて認証を行う。描画図管理部２３と描画部品管理部２４は認証されたユーザーＩＤに対応付けて描画部品と全体図を保存する。
なお、ログイン管理部２９は、ＩＣカードに書き込まれたユーザーＩＤをもとに認証するのでなく、ハードウェアキーボードや、タッチパネル上に表示したソフトウェアキーボードでユーザーが入力したユーザーＩＤとパスワードで認証してもよい。また、ログイン管理部２９は生体認証してもよく、認証の形式は問わない。
また、ユーザーＩＤの問い合わせ先も表示装置２の内蔵のＳＳＤではなく、表示装置２が別の認証サーバーに問い合わせてもよい。
＜動作手順＞
図１９は、ユーザーが手書きした手書きデータに基づく描画部品と全体図の保存を説明するシーケンス図の一例である。なお、図１９の説明では主に図１５との相違を説明する。
S31：ユーザーがＩＣカードをＩＣカードリーダーにかざす。
S32：ＩＣカード読取装置（近距離通信部２１９）はＩＣカードからユーザーＩＤを受信する。ログイン管理部２９は近距離通信部２１９からユーザーＩＤを取得する。
S33：ログイン管理部２９はユーザーＩＤに基づいてユーザー認証を行う。
S34：認証が成功した場合、ログイン管理部２９はユーザーＩＤを描画部品管理部２４に通知する。
以降の処理は図１５と同様になるが、ステップS40で、描画部品管理部２４はユーザーＩＤに対応付けて、描画部品管理テーブルをファイルとして部品データ記憶部３２に保存する。
ユーザーＩＤが0001で描画部品が２つの場合の例として表１５に示す描画部品管理テーブルとなる。
Figure 2022147675000018
表５又は表９と比較すると、表１５の描画部品管理テーブルには、ユーザーＩＤの項目が追加されている。描画比較部２５は、現在、ログインしているユーザーのユーザーＩＤと同じユーザーＩＤに対応付けられている描画部品を検索対象にできる。
図２０は、ユーザーが手書きした図と類似する描画部品を有する全体図を表示装置２が表示する手順を示すシーケンス図の一例である。図２０の説明では主に図１６との相違を説明する。
S51～S54：ログイン手順は図１９と同様でよい。
S55～S60：ステップS55～S60は、図１９のステップS35～S40と同様でよい。
S61：描画部品管理部２４は、ログインしているユーザーのユーザーＩＤに対応付けられている描画部品のみを、ユーザーが手書きしている図と比較するように描画比較部２５に要求する。
こうすることで、ログインしているユーザーのユーザーＩＤに対応付けられている描画部品のみと、ユーザーが手書きした描画部品とを描画比較部２５が比較できる。表示装置２は、比較する時間を低減でき、全体図の内容の機密性が高い場合でも、全体図を閲覧できるユーザーを制限できる。
以降の処理は図１６と同様でよい。
＜主な効果＞
本実施例の表示装置２は、実施例１の効果に加え、表示装置２が描画部品を検索する時間を低減でき、全体図の内容の機密性が高い場合でも、全体図を閲覧できるユーザーを制限できる。
なお、表示装置２は、ユーザーＩＤに基づいて描画部品を検索するのでなく、部署やチーム等、同じグループに所属するユーザーの描画部品を検索対象としてもよい。あるいは、描画部品にセキュリティレベルをユーザーが付与しておき、表示装置はセキュリティレベルが一定以下の描画部品を検索してもよい。
以下の実施例では表示装置２の別の構成例について説明する。
＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。
図２１は、表示装置２の他の構成例を示す図である。図２１では、スクリーン４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。なお、スクリーンは黒板でもよく、映像を投影するだけの広さの平面であればよい。
プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をスクリーン４１３に投影できる。この映像は、無線又は有線で接続されたＰＣから送信されてもよいし、プロジェクター４１１が記憶していてもよい。
ユーザーは専用の電子ペン２５０１を使ってスクリーン４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにスクリーン４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。プロジェクター４１１は、方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。
プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きしたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリ２６００等に手書き情報を保存する。
＜＜表示装置の別の構成例２＞＞
図２２は、表示装置２の他の構成例を示す図である。図２２の例では、表示装置２が、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。
端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。
ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、ペン動作検出装置８１０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図２１と同様でよい）、端末装置６００へ送信する。
端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
＜＜表示装置の別の構成例３＞＞
図２３は、表示装置２の構成例を示す図である。図２３の例では、表示装置２が、端末装置６００と、ディスプレイ８００Ａと、ペン動作検出装置８１０Ａとを有する。
ペン動作検出装置８１０Ａは、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図２１と同様でよい）、端末装置６００へ送信する。なお、図２３の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。
端末装置６００は、ペン動作検出装置８１０Ａから受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像データを生成し、ディスプレイ８００Ａに表示させる。
＜＜表示装置の別の構成例４＞＞
図２４は、表示装置２の構成例を示す図である。図２４の例では、表示装置２が、端末装置６００と、画像投影装置７００Ａとを有する。
端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。
そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０Ｂによって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、本実施形態では、描画比較部２５がコサイン類似度で描画部品のコーナーのペアのベクトルに対して類似度を評価したが、類似度は描画部品の画像データのパターンマッチングなどで求めてもよい。
また、本実施形態では、電子黒板として使用できる表示装置を説明したが、表示装置は画像を表示できればよく、例えばデジタルサイネージなどでもよい。また、ディスプレイでなくプロジェクターの表示データを表示してもよい。この場合、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、表示装置２は、ペン先の座標を超音波により検出してもよい。ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。表示装置２は、方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークとしてプロジェクターが描画（投影）する。
また、本実施形態では電子黒板を一例として説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。電子黒板と同様の機能を有する装置を、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。
また、図４などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
また、表示装置２が単体で本実施形態の機能を有する場合を説明したが、表示装置２の機能をサーバーが提供してもよい。この場合、表示装置２とサーバーがネットワークを介して通信する。表示装置２は手書きデータを表示すると共にサーバーに送信し、サーバーが文字認識や表機能などを提供する。
また、本実施形態において、比較の対象としてしきい値が例示されていたとしても、しきい値は例示された値には限定されない。このため、本実施形態では、全てのしきい値に関し、しきい値未満としきい値以下という記載は同等の意味を持ち、しきい値超過としきい値以上という記載は同等の意味を持つ。例えば、しきい値を１１とした場合のしきい値未満という記載はしきい値が１０である場合のしきい値以下と同等の意味を持つ。また、しきい値を１０とした場合のしきい値超過という記載はしきい値が１１である場合のしきい値以上と同等の意味を持つ。
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
なお、接触位置検出部２１は受付手段の一例である。ログイン管理部２９は認証手段の一例である。描画部品管理部２４は保存手段の一例である。表示制御部２６は表示制御手段の一例である。描画比較部２５は類似度算出手段の一例である。
２ 表示装置
特開2007－265171号公報

Claims (9)

  1. ストロークデータの入力を受け付ける受付手段と、
    所定の条件で区分された複数の前記ストロークデータを描画部品として保存し、１つ以上の前記描画部品を含む描画データを保存する保存手段と、
    前記受付手段が前記描画部品の入力を受け付けた場合、入力された前記描画部品と、前記保存手段が保存した前記描画部品とに基づいて、保存されている前記描画部品を含む前記描画データを表示する表示制御手段と、
    を有する表示装置。
  2. 前記受付手段が入力を受け付けた前記描画部品と、前記保存手段が保存した前記描画部品との類似度を算出する類似度算出手段を有し、
    前記表示制御手段は、前記類似度がしきい値以上又はしきい値超過と判断された前記描画部品を含む前記描画データを表示することを特徴とする請求項１に記載の表示装置。
  3. 前記表示制御手段は、前記受付手段が入力を受け付けた前記描画部品と、前記保存手段が保存した前記描画部品とに基づいて、保存されている前記描画部品を含む前記描画データのリストを表示し、
    前記描画データのリストにおいて選択を受け付けた前記描画データを表示することを特徴とする請求項１又は２に記載の表示装置。
  4. 前記所定の条件は、前記受付手段が最後に受け付けたストロークデータから所定の距離以上離れた位置に次のストロークデータの入力を受け付けるか、又は、
    前記受付手段が最後にストロークデータを受け付けてから一定時間以内に次のストロークデータを受け付けない場合、であり、
    保存手段は、前記所定の条件を最後に満たしてから次に満たすまでに、受付手段が受け付けたストロークデータを１つの前記描画部品と判断する請求項１～３のいずれか１項に記載の表示装置。
  5. 前記保存手段は、前記描画部品が有する２つのストロークデータ間の距離が所定の値以下で、かつ、前記２つのストロークデータの方向が成す角度がしきい値以上又はしきい値超過である場合、前記２つのストロークデータ間の距離が最小となる線分の中点をコーナーとして検出し、または、ストロークデータの方向が変化した点の前後のストロークデータの方向が成す角度がしきい値以上又はしきい値超過である場合に前記変化した点をコーナーとして検出し、前記描画データに対応づけて前記描画部品の前記コーナーの座標を保存しておき、
    前記類似度算出手段は、前記コーナーの座標に基づいて、前記受付手段が入力を受け付けた前記描画部品と、前記保存手段が保存した前記描画部品との類似度を算出することを特徴とする請求項２に記載の表示装置。
  6. 前記類似度算出手段は、前記受付手段が入力を受け付けた前記描画部品が有する、隣接する前記コーナーの座標と、前記保存手段が保存した前記描画部品が有する、隣接する前記コーナーの座標とからコサイン類似度を算出し、
    前記コサイン類似度としきい値を比較することで、前記受付手段が入力を受け付けた前記描画部品と、前記保存手段が保存した前記描画部品が類似しているか否かを判断することを特徴とする請求項５に記載の表示装置。
  7. ユーザーを認証する認証手段を有し、
    前記保存手段は前記ユーザーに対応付けて前記描画部品及び前記描画データを保存しておき、
    前記受付手段が前記ユーザーにより前記描画部品の入力を受け付けた場合、入力された前記描画部品と、前記保存手段が前記ユーザーに対応付けて保存した前記描画部品とに基づいて、保存されている前記描画部品を含む前記描画データを表示する請求項１～６のいずれか１項に記載の表示装置。
  8. 受付手段が、ストロークデータの入力を受け付けるステップと、
    保存手段が、所定の条件で区分された複数の前記ストロークデータを描画部品として保存し、１つ以上の前記描画部品を含む描画データを保存するステップと、
    前記受付手段が前記描画部品の入力を受け付けた場合、入力された前記描画部品と、前記保存手段が保存した前記描画部品とに基づいて、表示制御手段が、保存されている前記描画部品を含む前記描画データを表示するステップと、
    を有する表示方法。
  9. 表示装置を、
    ストロークデータの入力を受け付ける受付手段と、
    所定の条件で区分された複数の前記ストロークデータを描画部品として保存し、１つ以上の前記描画部品を含む描画データを保存する保存手段と、
    前記受付手段が前記描画部品の入力を受け付けた場合、入力された前記描画部品と、前記保存手段が保存した前記描画部品とに基づいて、保存されている前記描画部品を含む前記描画データを表示する表示制御手段、
    として機能させるためのプログラム。
JP2021049023A 2021-03-23 2021-03-23 表示装置、表示方法、プログラム Pending JP2022147675A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021049023A JP2022147675A (ja) 2021-03-23 2021-03-23 表示装置、表示方法、プログラム
US17/695,832 US11734940B2 (en) 2021-03-23 2022-03-16 Display apparatus, display method, and non-transitory recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021049023A JP2022147675A (ja) 2021-03-23 2021-03-23 表示装置、表示方法、プログラム

Publications (1)

Publication Number Publication Date
JP2022147675A true JP2022147675A (ja) 2022-10-06

Family

ID=83364854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021049023A Pending JP2022147675A (ja) 2021-03-23 2021-03-23 表示装置、表示方法、プログラム

Country Status (2)

Country Link
US (1) US11734940B2 (ja)
JP (1) JP2022147675A (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165577A (ja) 1998-11-30 2000-06-16 Ricoh Co Ltd 会議支援装置
WO2006137078A1 (en) * 2005-06-20 2006-12-28 Hewlett-Packard Development Company, L.P. Method, article, apparatus and computer system for inputting a graphical object
JP2007265171A (ja) 2006-03-29 2007-10-11 Toshiba Corp 入力装置およびその方法
JP6668598B2 (ja) 2014-05-19 2020-03-18 株式会社リコー システム、及び通信方法
JP7205386B2 (ja) 2019-05-31 2023-01-17 株式会社リコー 撮像装置、画像処理方法、プログラム
JP7310546B2 (ja) 2019-10-30 2023-07-19 株式会社リコー 表示装置、表示方法、プログラム、画像処理システム
JP2022019426A (ja) 2020-07-17 2022-01-27 株式会社リコー 表示装置、制御方法、プログラム

Also Published As

Publication number Publication date
US11734940B2 (en) 2023-08-22
US20220309818A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
Panwar Hand gesture based interface for aiding visually impaired
US11132122B2 (en) Handwriting input apparatus, handwriting input method, and non-transitory recording medium
US11551480B2 (en) Handwriting input apparatus, handwriting input method, program, and input system
US11907466B2 (en) Apparatus and method which displays additional information along with a display component in response to the display component being selected
JP2016099643A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7452155B2 (ja) 手書き入力装置、手書き入力方法、プログラム
US11048408B2 (en) Display apparatus, recording medium, and display method
Liang et al. Turn any display into a touch screen using infrared optical technique
JP6977408B2 (ja) 情報処理システム、端末装置、情報処理方法及び情報処理プログラム
JP2022147675A (ja) 表示装置、表示方法、プログラム
JP2022138285A (ja) 表示装置、表示方法、プログラム
JP2021082274A (ja) 表示装置、表示方法、プログラム
CN112416121A (zh) 基于物体和手势感应的智能交互方法、装置及存储介质
JP7480608B2 (ja) 表示装置、表示方法、プログラム
JP7404958B2 (ja) 入力装置、入力方法、及びプログラム
US20230315283A1 (en) Display apparatus, display method, display system, and recording medium
US11816327B2 (en) Display apparatus, method for displaying, and non-transitory recording medium
US20230229380A1 (en) Input display control device, input display control method, and input display system
US20230298367A1 (en) Display apparatus, formatting method, and non-transitory computer-executable medium
US11675496B2 (en) Apparatus, display system, and display control method
JP7268479B2 (ja) 表示装置、プログラム、表示方法
WO2016121403A1 (en) Information processing apparatus, image processing system, and program
EP3882757A1 (en) Display device, display method, and program
US20230070034A1 (en) Display apparatus, non-transitory recording medium, and display method
US20230266875A1 (en) Display apparatus, input method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240119