JP2022138285A - 表示装置、表示方法、プログラム - Google Patents

表示装置、表示方法、プログラム Download PDF

Info

Publication number
JP2022138285A
JP2022138285A JP2021038081A JP2021038081A JP2022138285A JP 2022138285 A JP2022138285 A JP 2022138285A JP 2021038081 A JP2021038081 A JP 2021038081A JP 2021038081 A JP2021038081 A JP 2021038081A JP 2022138285 A JP2022138285 A JP 2022138285A
Authority
JP
Japan
Prior art keywords
frame
character
display device
size
handwritten
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021038081A
Other languages
English (en)
Inventor
文彦 皆川
Fumihiko Minagawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2021038081A priority Critical patent/JP2022138285A/ja
Priority to US17/683,369 priority patent/US11687232B2/en
Publication of JP2022138285A publication Critical patent/JP2022138285A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G06V30/347—Sampling; Contour coding; Stroke extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/36—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】文字が入るように枠を拡張することができる表示装置を提供することができる。【解決手段】直線により囲まれた枠４０２内に入力手段２９１によって手書きされた文字の入力を受け付ける受付手段と、前記手書きされた文字のサイズを算出する算出手段と、前記算出手段が算出した前記文字のサイズ、及び、前記手書きされた文字が追加されていく手書き方向の枠と手書きされた文字との間にあるスペースに基づいて、前記手書きされた文字が入るように前記枠を拡張する制御手段と、を有する表示装置を提供する。【選択図】図２

Description

本発明は、表示装置、表示方法、及び、プログラムに関する。
手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレイに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。
表示装置では、図形や表内などの枠内にユーザーが文字を手書きすることができる。枠が小さすぎて文字が枠内に入り切らなくなった場合に、文字を枠に入れる技術が知られている（例えば、特許文献１参照。）。特許文献１には、手書き文字がはみ出た場合に、文字列全体が枠内に収まるように自動的に文字を適切なサイズに縮小する技術が開示されている。
しかしながら、従来の技術では、枠を拡張することができないという問題があった。枠の大きさを変えずに、文字を縮小すると、文字が見にくくなるおそれがある。
本発明は、上記課題に鑑み、文字が入るように枠を拡張することができる表示装置を提供することを目的とする。
本発明は、直線により囲まれた枠内に入力手段によって手書きされた文字の入力を受け付ける受付手段と、前記手書きされた文字のサイズを算出する算出手段と、前記算出手段が算出した前記文字のサイズ、及び、前記手書きされた文字が追加されていく手書き方向の枠と手書きされた文字との間にあるスペースに基づいて、前記手書きされた文字が入るように前記枠を拡張する制御手段と、を有する表示装置を提供する。
文字が入るように枠を拡張することができる表示装置を提供することができる。
表の枠のサイズが変更される様子を説明する図である。 表示装置が枠を拡張する処理の概略を説明する図である。 表示装置の概略斜視図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置の機能をブロック状に分けて説明する機能ブロック図の一例である。 枠の拡張方法について説明する図である。 一文字分のサイズの決定方法を説明する図である。 表示装置が枠に手書きされた手書きデータに基づいて枠を拡張する手順を説明するフローチャート図の一例である。 枠の下端の拡張を説明する図である。 枠の右端と下端の拡張を説明する図である。 手書き終了後のスペースの削除を説明する図である。 拡張ボタンの押下に応じて拡張される枠を説明する図である。 縮小ボタンの押下に応じて縮小される枠を説明する図である。 表示装置が拡張ボタンの押下に応じて枠を拡張する手順を説明するフローチャート図の一例である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。
以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う表示方法について図面を参照しながら説明する。
＜比較例＞
まず、図１を参照して、本実施形態の表示装置２を説明するに当たって好適な比較例を説明する。図１は、表４０１の枠４０２のサイズが変更される様子を説明する図である。なお、比較例は従来技術でない点に注意されたい。
図１（ａ）に示すように、表４０１が４つの枠４０２を有している。ユーザーが入力手段２９１で手書きしている枠４０２に文字が入りきらなくなると、表示装置２は書き込み中のストロークデータ４０３に合わせて枠４０２を拡張する。
図１（ｂ）に示すように、手書き中のストロークデータの座標が右に移動するほど、表示装置２は枠４０２を右方向に拡張する。
しかしながら、手書き中のストロークデータの座標に応じて枠４０２を拡張する方法では、手書きデータの右端と枠４０２までに十分なスペースがない状態が常に続くため、ユーザーが書きにくい場合がある。例えば、ユーザーがストロークデータの右端よりも右側に次のストロークデータを手書きしたい場合（「イ」のように右端から書く場合、句読点や濁点を打つ場合）、スペースが足りない状況が生じうる。これは、図１（ｃ）のように、ユーザーが手書きをやめた状態では、次の文字を書き始めるスペースがないことからも分かる。この場合、ユーザーは自分で枠４０２のサイズを変えてから書き込みを行う必要がある。
＜表示装置の動作の概略＞
図２は、表示装置２が枠４０２を拡張する処理の概略を説明する図である。図２（ａ）に示すように、枠４０２内の右端に文字を書き込むスペースがなくなった。表示装置２は入力手段２９１の先端がディスプレイから離れると、書き込むスペースがどのくらいあるかを判断し、スペースが足りないと判断すると、図２（ｂ）に示すように、一文字分程度のスペースが生じるように枠４０２を拡張する。
一例として、表示装置２は、すでに枠４０２に手書き済みのストロークデータから、一文字分の文字サイズを算出する。表示装置２は、手書き方向である右端のスペース（手書き方向の枠と最後に手書きされた文字の右端との間にあるスペース）が文字サイズより小さくなった場合、枠４０２を少なくとも一文字分、手書き方向である右方向に拡張する。こうすることで、ユーザーは一文字分より大きいスペース４０５に次の文字を手書きできる。
＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。
ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。
ストロークデータに基づいてディスプレイに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。
手書きデータが文字認識して変換された文字列には、テキストデータの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。
文字列とは手書きデータから文字認識により変換された１つ以上の文字コード（フォント）である。文字列は、コンピュータで扱われる1つ以上の文字でよい。文字には、数字、アルファベット、及び、記号等が含まれる。文字列はテキストデータとも言われる。
枠とは少なくとも４つの直線で囲まれた輪郭の線である。枠としては、例えば、表を構成する各セル、図形の１つである四角形がある。
スペースとは空間、余地、余白などの意味である。本実施形態では、文字と枠との間の空白をスペースという。
拡張とは、範囲を広げて大きくすることをいう。縮小とは縮めて小さくすることをいう。
＜構成例＞
図３は、表示装置２の概略斜視図の一例を示す。表示装置２をユーザー（利用者）が利用している。本実施形態の表示装置２は、ユーザーが手又は電子ペン２５００などの入力手段２９１でディスプレイ上に手書きを行うことができる。
図３の表示装置２は横置きされているが、縦置きすることも可能である。ユーザーは表示装置２をディスプレイの中心を軸に回転させて、横置きと縦置きを切り替えることができる。
＜ハードウェア構成例＞
図４は、表示装置２のハードウェア構成の一例を示す図である。本実施形態の表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークコントローラ２０５、及び、外部機器接続Ｉ／Ｆ２０６(Interface)を備えており、複数の利用者により情報を共有するための共有端末である。
これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。
ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。
ネットワークコントローラ２０５は、ネットワークとの通信を制御する。外部機器接続Ｉ／Ｆ２０６は、ＵＳＢ(Universal Serial Bus)メモリ２６００、外付け機器（カメラ２９００、スピーカ２８００、マイク２７００）との通信を制御する。
また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信部２１９、及び近距離通信部２１９のアンテナ２１９ａを備えている。
これらのうち、キャプチャデバイス２１１は、ＰＣ１０のディスプレイに対して映像情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ２２０等へ出力するために画面表示の制御及び管理を行う。
接触センサ２１４は、ディスプレイ２２０上に電子ペン２５００やユーザーの手Ｈ等が接触したことを検知する。電子ペン２５００と手Ｈを区別しない場合、入力手段２９１という。
センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ２２０の上側両端部に設置された２つ受発光装置が、ディスプレイ２２０に平行して複数の赤外線を放射し、ディスプレイ２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法であっても良い。
接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン２５００と通信することで、ディスプレイ２２０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信部２１９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。
更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、ＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体がディスプレイに接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いても良い。また、電子ペンコントローラ２１６が、電子ペン２５００のペン先及びペン尻だけでなく、電子ペン２５００のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしても良い。
＜機能について＞
図５は、表示装置２の機能をブロック状に分けて説明する機能ブロック図の一例を示す図である。図５に示す、表示装置２が有する各機能部は、図４に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。
表示装置２は、入力手段２９１がディスプレイ２２０に接触したことを検知する接触検知部３０１、及び、接触位置の座標を検知する座標検知部３０２を備えている。接触検知部３０１は、主に電子ペン２５００がペン先又はペン尻が押下された旨の信号を送信する。接触検知部３０１は、この信号に基づいて接触を検知する。
接触検知部３０１により接触が検知されると、座標検知部３０２により検知された座標情報と共に、接触を通知するイベントがイベント振分部３０３に通知される。
イベント振分部３０３は、接触がＵＩコントロールの操作か、ジェスチャー操作か、ストローク描画かの判断を行い、それぞれに応じた処理部に振分を行う。ＵＩコントロールの操作とは、操作メニューとして表示されるボタンやアイコンに対するユーザーの押下をいう。ＵＩはユーザーインターフェースの略である。ジェスチャー操作とは、手書きデータの選択、移動、拡張縮小、などをいう。
入力手段２９１の接触がＵＩコントロールの操作と判断された場合、イベントは操作処理部３０４に送信され、操作処理部３０４がユーザーの要求に対応する処理を実行する。処理の結果は画面表示に反映するため後述の画像処理部３１３に送られる。
入力手段２９１の接触がジェスチャー操作と判断された場合、イベントはジェスチャー処理部３０５に送信され、ジェスチャー処理部３０５がユーザーの実施したジェスチャーに紐づけられている操作を判別し、該当する操作を実行するように操作処理部３０４に指示する。操作処理部３０４は、ＵＩコントロールの操作の場合と同様にジェスチャー処理部から指示された処理を実行する。
入力手段２９１の接触がストローク描画と判断された場合には、イベントはストローク処理部３０６に送信される。ストローク処理部３０６は、ストロークデータの座標点に基づいて手書きデータを描画したり、描画された手書きデータを削除したり、描画された手書きデータを編集したりする。
文字サイズ算出部３０７は、ストローク処理部３０６により描画された文字列における一ストロークデータのサイズ（幅・高さ）又は一文字あたりの文字のサイズ（幅・高さ）の算出を行う。文字サイズの算出の方法については後述する。
描画オブジェクト処理部３０８は、直線、図形、表、画像などの描画オブジェクトの変換や編集の処理を行う部分である。描画オブジェクト処理部３０８は、例えば、ストロークデータを直線、図形又は表などに変換したり、ＯＣＲ（Optical Character Recognition）機能によりテキストデータに変換したりする。また、直線、図形、表、又は画像などの描画オブジェクトの変倍（拡張・縮小）や変形も実行する。後述の枠４０２の拡張や縮小はこの描画オブジェクト処理部３０８がその処理を行う。描画オブジェクト処理部３０８は算出された文字のサイズと、手書き方向の枠と手書きされた文字との間にあるスペースとの比較結果に応じて、枠を拡張する。
ストローク処理部３０６により出力されたストロークデータ、描画オブジェクト処理部３０８により出力された描画オブジェクトは、ページ処理部３１０で管理されるページ上に描画される。ページ処理部３１０は、ページの追加や削除、表示するページ切り替えなどのページの管理を行う。ストロークデータや描画オブジェクトなどの各ページの情報はページデータ記憶部３１１に記憶される。
ＵＩ画像生成部３０９は、ページ処理部３１０から出力される情報（どのメニューを表示するか）や、ユーザー操作に基づいて画面に表示すべき操作メニューを生成する。生成した操作メニューは表示部３１２に出力され、表示装置２のディスプレイ上に表示される。
Figure 2022138285000002
 表１はページデータ記憶部３１１が記憶するオブジェクト情報を模式的に示す。オブジェクト情報は、表示装置２が表示する各種のオブジェクトを管理する情報である。
・オブジェクトＩＤは画面内のオブジェクトを識別する識別情報である。オブジェクトは画面に表示されている各種の表示物の全てをいう。
・種別はオブジェクトの種類である。例えば、表（行又は列）、手書き、文字、図形、画像、等がある。表は表オブジェクトを示す。手書きはストロークデータ（座標点列）である。文字は手書きデータから変換された文字列（文字コード）である。文字列をテキストデータという場合もある。図形は、三角や四角など手書きデータから変換された幾何学的な形状である。画像は、ＰＣやインターネットなどから取り込まれたＪｐｅｇ、Ｐｎｇ、Ｔｉｆｆなどの画像データである。各オブジェクトのデータはオブジェクトＩＤに対応付けて管理されている。
・座標は、表示装置２の画面の所定の原点を基準としてオブジェクトの始点の位置を示す。オブジェクトの始点は例えば描画オブジェクトの外接矩形の左上頂点である。座標は例えば、ディスプレイの画素単位で表される。
・サイズは、各オブジェクトの大きさ（幅と高さ）である。終点の位置が記録されていてもよい。
Figure 2022138285000003
 表２は、表の詳細情報を示す。表オブジェクトについてはオブジェクトＩＤと表が対応付けて管理されている。１つの表は、行と列で特定される枠を有する。枠とは行と列で区切られる表の１領域である。詳細情報は枠ごとに座標とサイズを有している。表１に示したようにストロークデータなどの各オブジェクトは位置が分かっているので、各オブジェクトがどの枠に収納されているかが特定される。
＜表の枠の拡張例＞
図６を参照して、枠４０２の拡張方法について説明する。図６（ａ）に示すように、ユーザーが表４０１の枠４０２に「ホワイトボー」と手書きして、入力手段２９１の先端をディスプレイから離した。「ホワイトボー」という手書きデータの右端から（「ー」の最右の座標）、手書き方向（右方向）の枠４０２までにスペースはほとんどない。
描画オブジェクト処理部３０８は、一文字分よりスペースがなくなると、少なくとも一文字以上のスペースが作成されるように、手書き方向の枠４０２を拡張する。一文字分のサイズは、すでに枠４０２に手書きされているストロークデータ又は一文字のサイズに応じて決定される。
図６（ｂ）は拡張された枠４０２を示す。手書きデータの右端にスペース４０５が生成されている。枠４０２の拡張により、一文字分より小さいと判断されたスペースと一文字分のスペースを合計したスペース４０５が生じる。したがって、ユーザーはスペース４０５に続きの文字を手書きすることができる。
なお、手書き方向は、手書きデータ全体（「ホワイトボー」）の外接矩形に基づいて判断される。描画オブジェクト処理部３０８は枠内の手書きデータ全体の外接矩形のアスペクト比が横長を示す場合は横書き、縦長を示す場合は縦書きと判断する。あるいは、描画オブジェクト処理部３０８は、枠内の手書きデータ全体の幅と高さを監視し、変化が大きい方が手書き方向であると判断してもよい。
右から左方向か、左から右方向か、又は、上から下方向か、下から上方向か、の判断については、手書きデータの座標が大きくなる方向でよい。
図７は、一文字分のサイズの決定方法を説明する図である。文字サイズ算出部３０７は、既に手書きされているストロークデータの中で最も大きい幅と高さをそれぞれ一文字分の文字の幅と高さに決定する。すなわち、文字サイズ算出部３０７は、各ストロークデータの外接矩形を求め、最大の幅と高さを抽出する。枠４０２を水平方向に拡張する場合、描画オブジェクト処理部３０８は少なくとも最大の幅、枠４０２を拡張する。枠４０２を手書き方向に対し垂直下向き方向に拡張する場合、描画オブジェクト処理部３０８は少なくとも最大の高さ、枠４０２を拡張する。なお、描画オブジェクト処理部３０８は最大値でなく、最小値、平均値又は中央値を採用してもよい。
また、文字サイズ算出部３０７は１つのストロークデータに着目するのでなく、一文字に着目してもよい。例えば、描画オブジェクト処理部３０８は、ＯＣＲ処理により手書きデータをリアルタイムに文字に変換する。文字サイズ算出部３０７は、各文字の外接矩形を求め、最大の幅と高さを抽出する。文字サイズ算出部３０７は、１つの文字の最大の幅又は最大の高さを一文字分のサイズとする。なお、認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。
＜表示装置が枠を拡張する処理手順＞
図８は、表示装置２が枠４０２に手書きされた手書きデータに基づいて枠４０２を拡張する手順を説明するフローチャート図の一例である。なお、本フローチャートではユーザーが表や図形など枠４０２に囲まれた領域内に書き込みを実施していることを前提としている。枠４０２に囲まれた領域内への書き込みでない場合には、本フローチャートの処理を表示装置２が実施しなくてもよいし、後述のステップＳ３においてＮＯと判断することによりそれ以降の処理が実行されないようにしてもよい。
ユーザーによる手書きが行われると、入力手段２９１が接触した座標を座標検知部３０２が検出する。イベント振分部３０３は座標点列に基づいてストローク描画のイベントであると判断し、ストローク処理部３０６がストロークデータをディスプレイに表示する（Ｓ１）。
ユーザーが入力手段２９１の先端をディスプレイから離すと、文字サイズ算出部３０７が一文字の文字サイズを算出する（Ｓ２）。
なお、文字サイズ算出部３０７が一文字の文字サイズを算出するタイミングは入力手段２９１の先端をディスプレイから離したタイミングでなくてもよい。ユーザーが手書き中にリアルタイムに、文字サイズ算出部３０７が一文字の文字サイズを算出してもよい。
次に、描画オブジェクト処理部３０８は枠４０２内に次の一文字を書き込むスペースがあるかどうかを判断する（Ｓ３）。本実施形態では、描画オブジェクト処理部３０８がスペースの有無を判断する閾値として、ステップＳ２により算出された一文字分の文字サイズを利用する。描画オブジェクト処理部３０８は、一文字分の文字サイズよりも枠４０２内の右端のスペース（最右の文字の右端から枠までの間隔）が小さい場合にスペースが無いと判断する。
なお、描画オブジェクト処理部３０８がスペースの有無を判断する閾値は一文字分の文字サイズと一致させる必要はなく、一文字分の文字サイズにマージンを加算した値などを利用してもよい。描画オブジェクト処理部３０８は、マージンを加味することでスペースを一文字分より大きくできる。マージンは固定値でもよいし、文字サイズの１０％など文字サイズに応じて描画オブジェクト処理部３０８が決定してもよい。
更に、スペースの有無を判断する閾値は二文字分以上でもよい。ユーザーから見ると二文字以上のスペースが確保されるので、手書きに集中しやすくなる。また、描画オブジェクト処理部３０８がスペースの有無を判断する閾値（一文字分、二文字分等）をユーザーが設定できてもよい。
また、本実施形態では手書き方向を左から右としているため右端のスペースを判断に用いているが、ユーザーが右から左に手書きする場合、左端のスペースを用いるとよい。同様に、ユーザーが上から下に手書きする場合、下端のスペースを用いるとよい。ユーザーが下から上に手書きする場合、上端のスペースを用いるとよい。
また、手書き方向が右方向でも、右方向に既に別の手書きデータ等がある場合、描画オブジェクト処理部３０８が下方向に拡張する場合がある（図９参照）。各描画オブジェクトの座標はページデータ記憶部３１１に記憶されているので、描画オブジェクト処理部３０８は描画オブジェクトの外接矩形と枠が重なるかどうかを判断する。この場合、ステップＳ３におけるスペース有無の判断において、右端だけでなく下端のスペースも判断される。一文字以上のスペースがあれば拡張する必要がない。
ステップＳ３において右端のスペースが閾値より大きい場合、描画オブジェクト処理部３０８は何もせずステップＳ１に戻る。
ステップＳ３において右端のスペースが閾値以下の場合には、描画オブジェクト処理部３０８は枠４０２の拡張を行う（Ｓ４）。枠４０２の拡張は、枠４０２の右端に少なくとも一文字分のスペースをできるようにすることをいう。表の場合、描画オブジェクト処理部３０８は列の幅を広げ、図形の場合、図形の横幅を広げることでスペースを作る。
なお、描画オブジェクト処理部３０８は枠の拡張前に存在するスペースを考慮して、一文字分のスペースができるように枠を拡張してもよい。つまり、拡張後のスペースが一文字分であればよい。描画オブジェクト処理部３０８はステップＳ２で算出された一文字のサイズから枠の拡張前に存在するスペースを差し引いて、枠を拡張する。
また、描画オブジェクト処理部３０８は、一文字分でなく、二文字分や三文字分などのスペースが得られるように枠４０２を拡張してもよい。枠４０２を拡張する頻度が減り、表示装置２の負荷を低減できる。また、ユーザーから見て枠４０２のサイズが頻繁に変わらないので手書きに集中しやすくなる。また、描画オブジェクト処理部３０８が一度に拡張する大きさ（一文字分、二文字分等）をユーザーが設定できてもよい。
次に、描画オブジェクト処理部３０８はユーザーによる手書きが終了したか否かを判断する（Ｓ５）。例えば、最後の筆記から一定時間経過した場合に、描画オブジェクト処理部３０８は手書きが終了したものと判断する。この判断方法は一例であり、その他の例として、例えば筆記モードとその他のモードが存在する表示装置２において、ユーザーがボタンを押下することなどで、筆記モードから抜けた場合に筆記終了と判断する方法でもよい。
ステップＳ５において手書きが継続中と判断された場合、処理がステップＳ１に戻り、表示装置２は処理を継続する。
ステップＳ５において、手書きが終了したと判断された場合、描画オブジェクト処理部３０８はステップＳ４で拡張した枠４０２を縮小して拡張前に戻す（Ｓ６）。すなわち、描画オブジェクト処理部３０８は、ステップＳ４で拡張した分だけ逆方向に枠４０２を縮小する。これにより、枠４０２の拡張によって自動的に作成された右端のスペースが不要なまま残ることを防止し、枠４０２のサイズが、文字列が収まる適切な大きさとなる。
＜枠の下端の拡張＞
図９に示すように、描画オブジェクト処理部３０８は、枠４０２の右端ではなく下端（手書き方向に対し垂直下向き方向）にスペースを作るように枠４０２を拡張してもよい。図９は枠の下端の拡張を説明する図である。
図９（ａ）は図６（ａ）と同じものである。「ホワイトボー」という手書きデータの右端から、手書き方向（右方向）の枠４０２までにスペースがほとんどない。
しかし、描画オブジェクト処理部３０８が、手書きデータの右端にスペースを作ることができない場合がある。例えば、別の手書きデータ４０９や文字列等がすでに表示されている場合がある。別の手書きデータ４０９等の座標はページデータ記憶部３１１に記憶されている。
このような場合、描画オブジェクト処理部３０８は、手書きデータの下端に少なくとも一文字以上の高さのスペースが作成されるように、枠４０２を拡張する。つまり、描画オブジェクト処理部３０８は、枠４０２の下端を拡張することで、枠４０２の高さを少なくとも一文字分大きくする。描画オブジェクト処理部３０８は枠内の全てのストロークデータのうち最も下方にあるストロークデータの座標を特定し、そこから少なくとも一文字分の高さ、枠４０２を拡張する。例えば、「ホワイトボー」の「ト」の下端が最も下方にあるストロークデータの座標である場合、描画オブジェクト処理部３０８は「ト」の下端に対し一文字分、枠を拡張する。
図９（ｂ）では、手書きデータの下端にスペース４０６が生成されている。したがって、ユーザーは手書きデータの下端のスペース４０６に続きの文字を手書きすることができる。
また、図１０に示すように、描画オブジェクト処理部３０８は、枠４０２の右端と下端（手書き方向に対し垂直下向き方向）の両方にスペースを作るように枠４０２を拡張してもよい。図１０は、枠の右端と下端の拡張を説明する図である。
図１０（ａ）は図６（ａ）と同じものである。「ホワイトボー」という手書きデータの右端から、手書き方向（右方向）の枠４０２までにスペースはほとんどない。
描画オブジェクト処理部３０８は、手書きデータの右端と下端のそれぞれに少なくとも一文字以上のスペースが作成されるように、枠４０２を拡張する。つまり、描画オブジェクト処理部３０８は、枠４０２の幅と行の高さを少なくとも一文字分大きくする。
図１０（ｂ）では、手書きデータの右端にスペース４０５が生成され、下端にスペース４０６が生成されている。したがって、ユーザーは右端のスペース４０５又は下端のスペース４０６に続きの文字を手書きすることができる。
図１０のような拡張方法は、ユーザーが行を変えて手書きしたい場合に対応できる。ユーザーが右方向にのみ手書きした場合、手書き終了後に描画オブジェクト処理部３０８は下端のスペースを削除するとよい。
＜手書き終了後のスペースの削除＞
図１１は手書き終了後のスペースの削除を説明する図である。手書き終了したと判断された場合、描画オブジェクト処理部３０８は拡張した枠４０２を縮小して拡張前の枠４０２のサイズに戻す。
図１１（ａ）は枠４０２が拡張された状態を示す。図１１（ｂ）は拡張前のサイズに縮小された枠４０２を示す。こうすることで、枠４０２のサイズを手書きデータが収まる適切な大きさにできる。
なお、描画オブジェクト処理部３０８は枠を拡張したか否かに関わらず、又は、枠４０２の拡張量に関係なく、枠４０２を手書きデータが収まるサイズに縮小してもよい。この場合、描画オブジェクト処理部３０８は手書きデータの右端まで枠４０２を縮小すればよい。
また、図１１（ｂ）に示すように、手書きデータが収まるように枠４０２のサイズが縮小された場合、実施例２で説明する拡張ボタンでユーザーが枠を拡張できる。
また、図９で説明したように、描画オブジェクト処理部３０８が自動的に拡張した枠４０２を縮小するのでなく、実施例２で説明する縮小ボタンの押下で枠４０２を縮小してもよい。この場合、右端にスペースが残るので、ユーザーがスペースを空けておいて追加で手書きできる。
＜主な効果＞
本実施形態の表示装置２は、右端のスペースが文字サイズより小さくなった場合に、少なくとも一文字分のスペースができるように枠４０２を拡張するので、ユーザーは一文字分より大きいスペースに次の文字を手書きできる。
本実施例では、ユーザーが枠４０２の拡張ボタン４１０を押下した場合に枠４０２を拡張する表示装置２について説明する。
なお、本実施例においては、上記の実施例にて説明した図４に示したハードウェア構成図、及び、図５に示した機能ブロック図を援用できるものとして説明する。
＜拡張ボタンの例＞
図１２は、拡張ボタン４１０の押下に応じて拡張される枠４０２を説明する図である。図１２（ａ）は図６（ａ）と同じである。本実施例のＵＩ画像生成部３０９は、右端のスペースが一文字分より小さくなると、拡張ボタン４１０を表示する。そして、拡張ボタン４１０が押下されると、描画オブジェクト処理部３０８が手書きデータの右端にスペースができるように枠４０２の右端を拡張する（図１２（ｂ））。拡張方法は実施例１と同様でよい。
拡張ボタン４１０を押下した場合にだけ、枠４０２が拡張されるので、ユーザーの意思で枠４０２を拡張できる。
なお、拡張ボタン４１０として下端の拡張ボタン４１０をＵＩ画像生成部３０９が表示してもよいし、右側の拡張ボタン４１０と下端の拡張ボタン４１０の両方を表示してもよい。
図１３に示すように、縮小ボタン４１１の押下により描画オブジェクト処理部３０８が枠４０２を縮小することができる。
図１３は、縮小ボタン４１１の押下に応じて縮小される枠４０２を説明する図である。図１３（ａ）は図１２（ｂ）と同じであるが、手書きデータの右端にスペース４０５が生成された状態を示す。
本実施例のＵＩ画像生成部３０９は、枠４０２が拡張されると、縮小ボタン４１１を表示する。そして、縮小ボタン４１１が押下されると、描画オブジェクト処理部３０８は、枠４０２を拡張前のサイズに縮小する。縮小方法は実施例１と同様でよい。
なお、下端に枠４０２が拡張された場合、ＵＩ画像生成部３０９は下端の拡張を元に戻す縮小ボタン４１１をＵＩ画像生成部３０９が表示してよい。ＵＩ画像生成部３０９は、下端の拡張を元に戻す縮小ボタン４１１と右端の拡張を元に戻す縮小ボタン４１１の両方を表示してもよい。
＜表示装置が枠を拡張する処理手順＞
図１４は、表示装置２が拡張ボタン４１０の押下に応じて枠４０２を拡張する手順を説明するフローチャート図の一例である。なお、図１４の説明では主に図８との相違を説明する。
ステップＳ１１、Ｓ１２、Ｓ１３はそれぞれ図８のステップＳ１、Ｓ２，Ｓ３と同様の処理である。
ステップＳ１３において、枠４０２内のスペースが閾値以下と判断された場合、ＵＩ画像生成部３０９は枠４０２の拡張を行うための拡張ボタン４１０の表示を行う（Ｓ１４）。
描画オブジェクト処理部３０８は、ユーザーにより拡張ボタン４１０が押下されたか否かを判断する（Ｓ１５）。イベント振分部３０３は座標検知部３０２が検知した入力手段２９１の座標が拡張ボタン４１０に重畳するので、操作処理部３０４にＵＩ操作のイベントを振り分ける。操作処理部３０４は拡張ボタン４１０が押下されたので、描画オブジェクト処理部３０８に枠４０２の拡張を要求する。
ステップＳ１５で拡張ボタン４１０が押下されたと判断された場合、描画オブジェクト処理部３０８が枠４０２の拡張を行う（Ｓ１６）。ステップＳ１６における枠４０２の拡張処理は図８のＳ４と同様でよい。描画オブジェクト処理部３０８は、右方向（手書き方向）のみに枠４０２を拡張してもよいし、下方向（手書き方向に対し垂直下向き方向）に枠４０２を拡張してもよい。
更に、ＵＩ画像生成部３０９は拡張ボタン４１０を消去し、枠４０２の縮小を行うための縮小ボタン４１１を表示する（Ｓ１７）。
ステップＳ１８のユーザーによる手書き終了したかどうかの判断方法は、図８のステップＳ５と同様でよい。ステップＳ１８において手書き継続中と判断される場合、処理はステップＳ１１に戻り処理を継続する。
ステップＳ１８において手書き終了したと判断された場合、描画オブジェクト処理部３０８は枠４０２の縮小を行うための縮小ボタン４１１がユーザーによって押下されたかどうかを判断する（Ｓ１９）。イベント振分部３０３は座標検知部３０２が検知した入力手段２９１の座標が縮小ボタン４１１に重畳するので、操作処理部３０４にＵＩ操作のイベントを振り分ける。操作処理部３０４は縮小ボタン４１１が押下されたので、描画オブジェクト処理部３０８に枠４０２の縮小を要求する。
ステップＳ１９において縮小ボタン４１１が押下されていないと判断された場合、描画オブジェクト処理部３０８は何もせずに処理を終了する。この場合、縮小ボタン４１１は表示された状態を継続してもよいし、一定時間後に消去されてもよい。
ステップＳ１９において、縮小ボタン４１１が押下されたと判断された場合、描画オブジェクト処理部３０８は枠４０２の縮小処理を行う（Ｓ２０）。ステップＳ２０における枠４０２の縮小処理は、図８のステップＳ６における縮小処理と同様であり、ステップＳ１で拡張された枠４０２を元に戻す処理である。
なお、図１４では処理の流れを示すためにステップＳ１５やステップＳ１９で拡張ボタン４１０又は縮小ボタン４１１の押下が判断されている。しかし、描画オブジェクト処理部３０８が、ユーザーによる拡張ボタン４１０又は縮小ボタン４１１の押下を非同期的に判断する形態にして、押下されたタイミングで即時に枠４０２の拡張や縮小を実行する形態としてもよい。
＜主な効果＞
本実施例の表示装置２によれば、ユーザーが拡張ボタン４１０を押下すると枠を拡張でき、縮小ボタン４１１を押下すると枠を拡張に前のサイズに戻すことができる。
以下の実施例では表示装置２の別の構成例について説明する。
＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。
図１５は、表示装置２の他の構成例を示す図である。図１５では、通常のホワイトボード４５２の上辺にプロジェクター４５１が設置されている。このプロジェクター４５１が表示装置２に相当する。通常のホワイトボード４５２とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。
プロジェクター４５１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４５２に投影できる。この映像は、無線又は有線で接続されたＰＣから送信されてもよいし、プロジェクター４５１が記憶していてもよい。
ユーザーは専用の電子ペン２５０１を使ってホワイトボード４５２に手書きする。電子ペン２５０１は、ユーザーが手書きのためにホワイトボード４５２に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４５１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４５１は音波の到達時間により距離を算出する。プロジェクター４５１は、方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。
プロジェクター４５１はメニュー４５４を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４５１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４５５が押下されると、ユーザーが手書きした手書きされたデータ（座標点列）がプロジェクター４５１で保存される。プロジェクター４５１は、予め定められたサーバー４５３又はＵＳＢメモリ２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４５４は表示されなくてもよい。
＜＜表示装置の別の構成例２＞＞
図１６は、表示装置２の他の構成例を示す図である。図１６の例では、表示装置２が、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。
端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。
ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図１５と同様でよい）、端末装置６００へ送信する。
端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
＜＜表示装置の別の構成例３＞＞
図１７は、表示装置２の構成例を示す図である。図１７の例では、表示装置２が、端末装置６００と、ディスプレイ８００Ａと、ペン動作検出装置８１０Ａとを有する。
ペン動作検出装置８１０Ａは、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図１５と同様でよい）、端末装置６００へ送信する。なお、図１７の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。
端末装置６００は、ペン動作検出装置８１０Ａから受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像の画像データを生成し、ディスプレイ８００Ａに表示させる。
＜＜表示装置の別の構成例４＞＞
図１８は、表示装置２の構成例を示す図である。図１８の例では、表示装置２が、端末装置６００と、画像投影装置７００Ａとを有する。
端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。
そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像の画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０Ｂによって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。
以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。
＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、本実施形態では、手書きデータの入力を主に説明したが、描画オブジェクト処理部３０８は手書きデータを文字認識することができる。文字認識のタイミングでスペースの有無や枠の拡張を表示装置２が行ってもよい。
また、本実施形態では、電子黒板として使用できる表示装置を説明したが、表示装置は画像を表示できればよく、例えばデジタルサイネージなどでもよい。また、ディスプレイでなくプロジェクターが表示データを表示してもよい。この場合、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、表示装置２は、ペン先の座標を超音波により検出してもよい。ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークとしてプロジェクターが描画（投影）する。
また、本実施形態では電子黒板を一例として説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。電子黒板と同様の機能を有する装置を、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。
また、図５などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。
また、表示装置２が単体で本実施形態の機能を有する場合を説明したが、表示装置２の機能をサーバーが提供してもよい。この場合、表示装置２とサーバーがネットワークを介して通信する。表示装置２は手書きデータを表示すると共にサーバーに送信し、サーバーが文字認識や表機能などを提供する。
また、本実施形態において、比較の対象として閾値が例示されていたとしても閾値は例示された値には限定されない。このため、本実施形態では、全ての閾値に関し、閾値未満と閾値以下という記載は同等の意味を持ち、閾値超過と閾値以上という記載は同等の意味を持つ。例えば、閾値を１１とした場合の閾値未満という記載は閾値が１０である場合の閾値以下と同等の意味を持つ。また、閾値を１０とした場合の閾値超過という記載は閾値が１１である場合の閾値以上と同等の意味を持つ。
また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
なお、ストローク処理部３０６は受付手段の一例である。文字サイズ算出部３０７は算出手段の一例である。描画オブジェクト処理部３０８は制御手段の一例である。ＵＩ画像生成部３０９は表示制御手段の一例である。
２ 表示装置
特開２０１５‐１９１５６５号公報

Claims (12)

  1. 直線により囲まれた枠内に入力手段によって手書きされた文字の入力を受け付ける受付手段と、
    前記手書きされた文字のサイズを算出する算出手段と、
    前記算出手段が算出した前記文字のサイズ、及び、前記手書きされた文字が追加されていく手書き方向の枠と手書きされた文字との間にあるスペースに基づいて、前記手書きされた文字が入るように前記枠を拡張する制御手段と、
    を有する表示装置。
  2. 前記算出手段は、手書きされた前記文字に含まれるストロークデータの、最大の幅又は最大の高さを前記文字のサイズとして算出することを特徴とする請求項１に記載の表示装置。
  3. 前記算出手段は、手書きされた前記文字を文字認識し、
    文字認識された１つの文字の最大の幅又は最大の高さを前記文字のサイズとして算出することを特徴とする請求項１に記載の表示装置。
  4. 前記算出手段は、前記入力手段がディスプレイから離れたタイミングで、前記文字のサイズを算出することを特徴とする請求項１～３のいずれか１項に記載の表示装置。
  5. 前記制御手段は、手書き方向にあるスペースの大きさより前記文字のサイズの方が大きい場合、又は、前記文字のサイズが手書き方向にあるスペースの大きさ以上である場合、
    前記枠を少なくとも前記文字のサイズ、手書き方向に拡張することを特徴とする請求項１～３のいずれか１項に記載の表示装置。
  6. 前記制御手段は、枠内への手書きが終了した場合、拡張した枠を元に戻すことを特徴とする請求項１～５のいずれか１項に記載の表示装置。
  7. 前記制御手段は、手書き方向に既に別のオブジェクトが存在する場合、
    手書き方向に対し垂直下向き方向に前記枠を拡張することを特徴とする請求項１～６のいずれか１項に記載の表示装置。
  8. 前記制御手段は、手書き方向と、手書き方向に対し垂直下向き方向の両方に、前記枠を拡張することを特徴とする請求項１～３のいずれか１項に記載の表示装置。
  9. 算出された前記文字のサイズと、手書き方向にあるスペースの大きさの比較結果に応じて、拡張ボタンを表示する表示制御手段を有し、
    前記制御手段は、前記拡張ボタンの押下に応じて前記枠を拡張することを特徴とする請求項１～８のいずれか１項に記載の表示装置。
  10. 前記制御手段が、前記拡張ボタンの押下に応じて前記枠を拡張した場合、
    前記表示制御手段は、拡張された枠を元に戻す縮小ボタンを表示し、
    前記制御手段は、前記縮小ボタンの押下に応じて拡張された枠を元に戻すことを特徴とする請求項９に記載の表示装置。
  11. 受付手段が、直線により囲まれた枠内に入力手段によって手書きされた文字の入力を受け付けるステップと、
    算出手段が、前記手書きされた文字のサイズを算出するステップと、
    制御手段が、前記算出手段が算出した前記文字のサイズ、及び、前記手書きされた文字が追加されていく手書き方向の枠と手書きされた文字との間にあるスペースに基づいて、前記手書きされた文字が入るように前記枠を拡張する前記枠を拡張するステップと、
    を有する表示方法。
  12. 表示装置を、
    直線により囲まれた枠内に入力手段によって手書きされた文字の入力を受け付ける受付手段と、
    前記手書きされた文字のサイズを算出する算出手段と、
    前記算出手段が算出した前記文字のサイズ、及び、前記手書きされた文字が追加されていく手書き方向の枠と手書きされた文字との間にあるスペースに基づいて、前記手書きされた文字が入るように前記枠を拡張する制御手段、
    として機能させるためのプログラム。
JP2021038081A 2021-03-10 2021-03-10 表示装置、表示方法、プログラム Pending JP2022138285A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021038081A JP2022138285A (ja) 2021-03-10 2021-03-10 表示装置、表示方法、プログラム
US17/683,369 US11687232B2 (en) 2021-03-10 2022-03-01 Display apparatus, display method, and non-transitory recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021038081A JP2022138285A (ja) 2021-03-10 2021-03-10 表示装置、表示方法、プログラム

Publications (1)

Publication Number Publication Date
JP2022138285A true JP2022138285A (ja) 2022-09-26

Family

ID=83194900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021038081A Pending JP2022138285A (ja) 2021-03-10 2021-03-10 表示装置、表示方法、プログラム

Country Status (2)

Country Link
US (1) US11687232B2 (ja)
JP (1) JP2022138285A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023140704A (ja) * 2022-03-23 2023-10-05 株式会社リコー 表示装置、表示方法、プログラム、情報共有システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02240782A (ja) * 1989-03-14 1990-09-25 Canon Inc 図形処理装置
AU2003266658A1 (en) * 2002-09-27 2004-05-04 Brother Kogyo Kabushiki Kaisha Text edition device and program
US20090063645A1 (en) * 2005-11-30 2009-03-05 Qwest Communications Internatinal Inc. System and method for supporting messaging using a set top box
CN101930545A (zh) * 2009-06-24 2010-12-29 夏普株式会社 手写识别方法和设备
JP2014056517A (ja) 2012-09-13 2014-03-27 Sharp Corp 文字入力装置、文字編集装置、電子辞書、制御方法、制御プログラム、および、記録媒体
JP2014092902A (ja) * 2012-11-02 2014-05-19 Toshiba Corp 電子機器および手書き文書処理方法
JP2015191565A (ja) 2014-03-28 2015-11-02 シャープ株式会社 表示入力装置
US10296207B2 (en) * 2014-12-23 2019-05-21 Lenovo (Singapore) Pte. Ltd. Capture of handwriting strokes
JP2016134014A (ja) 2015-01-20 2016-07-25 株式会社リコー 電子情報ボード装置、情報処理方法およびプログラム
JP6399217B2 (ja) * 2015-05-14 2018-10-03 富士通株式会社 文字認識方法、文字認識装置及び文字認識プログラム
US9715623B2 (en) * 2015-06-10 2017-07-25 Lenovo (Singapore) Pte. Ltd. Reduced document stroke storage
US10564921B2 (en) 2016-03-09 2020-02-18 Ricoh Company, Ltd. Display device, display method, and display system for determining image display size

Also Published As

Publication number Publication date
US20220291828A1 (en) 2022-09-15
US11687232B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
US9069386B2 (en) Gesture recognition device, method, program, and computer-readable medium upon which program is stored
US20140300542A1 (en) Portable device and method for providing non-contact interface
JP7275885B2 (ja) 表示装置、方向特定方法、プログラム
US11907466B2 (en) Apparatus and method which displays additional information along with a display component in response to the display component being selected
JP2016103137A (ja) ユーザインタフェース装置、画像処理装置及び制御用プログラム
JP2022138285A (ja) 表示装置、表示方法、プログラム
JP7338330B2 (ja) 表示装置、表示方法、プログラム
US11726654B2 (en) Display apparatus capable of displaying icon corresponding to shape of hand-drafted input, display method, and non-transitory computer-executable medium storing program thereon
US11816327B2 (en) Display apparatus, method for displaying, and non-transitory recording medium
US20230333731A1 (en) Display apparatus, display system, display method, and non-transitory recording medium
JP7480608B2 (ja) 表示装置、表示方法、プログラム
US20230289517A1 (en) Display apparatus, display method, and non-transitory recording medium
US20230315283A1 (en) Display apparatus, display method, display system, and recording medium
US11734940B2 (en) Display apparatus, display method, and non-transitory recording medium
EP4064020B1 (en) Display system, display method, and carrier means
US20220300147A1 (en) Display apparatus, display method, and non-transitory recording medium
JP7384191B2 (ja) 表示装置、プログラム、領域変更方法
US20230070034A1 (en) Display apparatus, non-transitory recording medium, and display method
JP7404958B2 (ja) 入力装置、入力方法、及びプログラム
JP7467842B2 (ja) 表示装置、表示方法、表示プログラム
JP2022147297A (ja) 表示装置、表示方法、プログラム
JP2022147337A (ja) 表示装置、表示方法、プログラム
JP2022139957A (ja) 表示装置、プログラム、変換方法、表示システム
JP2020149633A (ja) 表示装置、表示方法、表示プログラム
JP2022146853A (ja) 表示装置、プログラム、表示方法、表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240119