JP2021152861A - 入力装置、入力方法、及びプログラム - Google Patents

Abstract

【課題】描画オブジェクトに対する文字又は文字列の入力の操作性を向上すること。【解決手段】手書き入力を受け付ける手書き入力手段と、前記手書き入力手段が受け付けた前記手書き入力に基づき生成した手書きオブジェクトを生成する描画生成手段と、前記手書きオブジェクトから認識した文字又は文字列を表示領域内に表示する第１の描画オブジェクトと、前記第１の描画オブジェクト以外の第２の描画オブジェクトとが重ならないように、前記第１の描画オブジェクトの表示領域の形状を変更するオブジェクト管理手段と、表示領域の形状を変更させた前記第１の描画オブジェクトを表示する表示制御手段と、を有することを特徴とする入力装置を提供する。【選択図】図４

Description

本発明は、入力装置、入力方法、及びプログラムに関する。

例えばユーザから手書き入力を受け付ける電子黒板又はアプリケーション（以下、入力装置という）では、図形（線、丸、三角、吹き出しなど）や図、線、矢印などの予め登録された描画部品を選択して表示できる。このような描画部品は描画オブジェクトとして管理される。描画オブジェクトには、吹き出し等のように文字又は文字列を入力して表示できる表示領域を有するものがあった。

例えば吹き出しが配置される領域の大きさに基づいて吹き出しの大きさを決定し、その吹き出しの大きさに応じて、テキスト情報に含まれる文字の大きさを変更する技術は従来から知られている（例えば特許文献１参照）。

しかしながら、従来の入力装置では、描画オブジェクトに対する文字又は文字列の入力の操作性がよくないという問題があった。例えば、ユーザは表示領域を有する吹き出し等の描画オブジェクトに文字又は文字列を入力する場合、その描画オブジェクトの表示領域内に文字又は文字列が表示されるように編集機能や文字入力機能等の各種機能を切り替えながら操作しなければならなかった。なお、特許文献１は、このような問題について記載されているものではない。

本発明の実施の形態は、描画オブジェクトに対する文字又は文字列の入力の操作性を向上することを目的とする。

上記した課題を達成するために本願請求項１は、手書き入力を受け付ける手書き入力手段と、前記手書き入力手段が受け付けた前記手書き入力に基づき生成した手書きオブジェクトを生成する描画生成手段と、前記手書きオブジェクトから認識した文字又は文字列を表示領域内に表示する第１の描画オブジェクトと、前記第１の描画オブジェクト以外の第２の描画オブジェクトとが重ならないように、前記第１の描画オブジェクトの表示領域の形状を変更するオブジェクト管理手段と、表示領域の形状を変更させた前記第１の描画オブジェクトを表示する表示制御手段と、を備える入力装置を提供する。

本発明の実施形態によれば、描画オブジェクトに対する文字又は文字列の入力の操作性を向上できる。

本実施形態に係る電子黒板の一例の全体構成図である。 本実施形態に係るタッチパネルの一例のハードウェア構成図である。 本実施形態に係る制御部の一例のハードウェア構成図である。 本実施形態に係る電子黒板の一例の機能ブロック図である。 表示部における描画オブジェクトの一例の表示例である。 描画オブジェクト管理テーブルの一例の構成図である。 手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。 図７の場合における電子黒板の処理の一例のフローチャートである。 手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。 ステップＳ１６における電子黒板の処理の一例のフローチャートである。 手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。 ステップＳ１６における電子黒板の処理の一例のフローチャートである。 手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。 ステップＳ１６における電子黒板の処理の一例のフローチャートである。 手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。 描画オブジェクトへの移動設定の一例について説明する図である。 描画オブジェクト管理テーブルの一例の構成図である。 ステップＳ１６における電子黒板の処理の一例のフローチャートである。 手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。 ステップＳ１６における電子黒板の処理の一例のフローチャートである。 入力装置の他の構成例を示す図である。 入力装置の他の構成例を示す図である。 入力装置の他の構成例を示す図である。 入力装置の他の構成例を示す図である。 本実施形態に係るＰＣの一例の全体構成図である。 本実施形態に係るＰＣ本体の一例のハードウェア構成図である。 本実施形態に係るＰＣ本体の一例の機能ブロック図である。 キーボード入力を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。 吹き出しオブジェクトにキーボード入力した文字列を表示する処理の一例のフローチャートである。 キーボード入力を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。 キーボード入力を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。 吹き出しオブジェクトにキーボード入力した文字列を表示する処理の一例のフローチャートである。 キーボード入力を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。 吹き出しオブジェクトにキーボード入力した文字列を表示する処理の一例のフローチャートである。 キーボード入力を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。 吹き出しオブジェクトにキーボード入力した文字列を表示する処理の一例のフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。なお、以下ではユーザから手書き入力を受け付ける入力装置の一例である電子黒板１について説明するが、電子黒板１に限定するものではない。

［第１の実施形態］
＜電子黒板のハードウェア構成＞
図１を用いて、本発明の実施形態に係る電子黒板１の全体構成を説明する。図１は本実施形態に係る電子黒板の一例の全体構成図である。電子黒板１は表示部１０、タッチパネル１１、及び制御部１２を有する構成である。表示部１０はディスプレイであり、例えばＬＣＤ（liquid crystal display）が使用される。

タッチパネル１１は、赤外線発光のＬＥＤ（light emitting diode）とフォトトランジスタとを対向配置して、フォトトランジスタが光を検知できない部分、すなわち光が遮断された部分をタッチされた位置として位置情報を検出する。タッチパネル１１は例えば図２に示すようなハードウェア構成である。

図２は本実施形態に係るタッチパネルの一例のハードウェア構成図である。タッチパネル１１は、１列中のＬＥＤとフォトトランジスタとが等間隔で、また、各ＬＥＤとフォトトランジスタとが対向して配置されている。なお、図２では、ＬＥＤとフォトトランジスタとが横方向にそれぞれ２０個ずつ、縦方向にそれぞれ１５個ずつ、配置されたタッチパネル１１の例を示した。例えば４０インチ以上の大きさのタッチパネル１１の場合、実際にはもっと多くのＬＥＤとフォトトランジスタとが必要となる。

なお、タッチパネル１１は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化により接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することにより生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。タッチパネル１１は、ペン先のタッチの有無を検知するのに電子ペンが必要ある方式でも必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。

制御部１２は例えば図３に示すようなハードウェア構成である。図３は本実施形態に係る制御部の一例のハードウェア構成図である。制御部１２は、ＣＰＵ２０、メインメモリ２１、クロック２２、バスコントローラ２３、ＲＯＭ(Read Only Memory)２４、ＰＣＩ（Peripheral Component Interconnect）ブリッジ２５、キャッシュメモリ２６、ハードディスク２７、ＨＤ（Hard Disk）コントローラ２８、表示コントローラ２９、ＬＡＮコントローラ３０、ＬＡＮ Ｉ／Ｆ（Interface）３１、タッチパネルＩ／Ｆ３２、ＲＴＣ（Real Time Clock）３３、ＣＰＵバス３４、ＰＣＩバス３５、Ｘバス３６（内部バス）から構成されている。

ＣＰＵ２０は、ＲＯＭ２４に記憶された制御処理プログラム、ハードディスク２７からメインメモリ２１に読み出されたＯＳ（Operating System）や各種のアプリケーションプログラムを実行、処理する。メインメモリ２１は、ＤＲＡＭ（Dynamic Random Access Memory）より構成されており、ＣＰＵ２０のワークエリア等で使用される。クロック２２は、水晶発振子と分周回路から構成されており、ＣＰＵ２０やバスコントローラ２３の動作タイミングを制御するためのクロックを生成している。バスコントローラ２３は、ＣＰＵバス３４とＸバス３６でのデータ転送を制御する。

ＲＯＭ２４は、電源オン時のシステム立ち上げや各種デバイスの制御を行うためのプログラムが予め書き込まれている。ＰＣＩブリッジ２５は、キャッシュメモリ２６を使用して、ＰＣＩバス３５とＣＰＵ２０との間のデータ転送を行う。キャッシュメモリ２６はＤＲＡＭより構成されており、ＰＣＩブリッジ２５により使用される。

ハードディスク２７は、システムソフトウェア、各種のアプリケーションプログラム、ユーザが保存するデータ等を記憶する。ＨＤコントローラ２８は、ハードディスク２７とのインタフェースとして例えばＩＤＥ（Integrated Device Electronics）インタフェースを持ち、ハードディスク２７と高速データ転送を行う。

表示コントローラ２９は文字データやグラフィックデータ等をＤ／Ａ（Digital/Analog）変換するとともに、これらのデータを表示部１０に表示するための制御を行う。ＬＡＮコントローラ３０は、例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）802.3規格に準拠した通信プロトコルを実行して、ＬＡＮ Ｉ／Ｆ３１を介してＬＡＮに接続された他の機器との通信を制御する。

タッチパネルＩ／Ｆ３２は、タッチパネル１１用のポートを持ち、タッチパネルドライバ（制御プログラム）によって制御される。ＲＴＣ３３は日付時計であり、バッテリーによりバックアップされている。

なお、本実施形態では特に明記しない限り、ＣＰＵ２０がメインメモリ２１をワークエリアとして使用して、プログラムに従った処理を実行する。

＜電子黒板の機能構成＞
次に、図４を用いて、電子黒板１が有する機能について説明する。図４は、本実施形態に係る電子黒板の一例の機能ブロック図である。図４に示す電子黒板１は、手書き入力部４０、描画データ生成部４１、オブジェクト管理部４２、文字認識部４３、表示制御部４４、会議データ記憶部４５、及びネットワーク通信部４６を有する構成である。

電子黒板１が有する各機能は、図１〜図３に示されている各構成要素の何れかが、メインメモリ２１上に展開されたプログラムに従ったＣＰＵ２０からの命令によって動作することで実現される機能又は手段である。

手書き入力部４０は図３に示されているＣＰＵ２０からの命令、及び図３に示されているタッチパネル１１、及びタッチパネルＩ／Ｆ３２等により実現されており、ユーザの手等（ペンやユーザの手は入力手段となる）によってタッチパネル１１に接触した部分の座標データを求め、ユーザによる手書き入力を受け付ける。手書き入力とは、ユーザの手等（ペンやユーザの手は入力手段となる）がタッチパネル１１に接触している座標の軌跡を用いた入力である。手書き入力部４０は接触位置検出部として機能する。手書き入力部４０はユーザによる手書き入力（筆記）により座標データ列を求める。なお、手書き入力部４０は座標データ列を離散値として求めてもよい。離散値間の座標データは補完計算される。

描画データ生成部４１は、図３に示されているＣＰＵ２０がメインメモリ２１をワークエリアとして使用して、プログラムに従った処理を実行することによって実現され、ユーザが筆記した時に手書き入力部４０が求めた座標データ列から描画線などの手書きオブジェクトを生成する。手書きオブジェクトとは、ユーザの手等がタッチパネル１１に接触した座標データ列により生成された描画線などの表示部１０に表示される対象（表示物）である。また、描画データ生成部４１は手書き入力部４０が求めた座標データ又は座標データ列から、円、矩形、吹き出し、及び矢印などの描画オブジェクトを生成する。例えばユーザはユーザの手等（ペンやユーザの手は入力手段となる）による操作によって、円、矩形、吹き出し、及び矢印などの登録された描画部品を呼び出す操作を行うことで、円、矩形、吹き出し、及び矢印など描画オブジェクトを生成できる。

オブジェクト管理部４２は、図３に示されているＣＰＵ２０がメインメモリ２１をワークエリアとして使用して、プログラムに従った処理を実行することによって実現され、描画データ生成部４１が生成した描画線の領域、円や矩形の領域、吹き出しの領域、及び矢印の領域などを描画オブジェクトとして管理する。描画オブジェクトとは、図形（線、丸、三角、吹き出しなど）や図、線、矢印などの予め登録された表示物である。描画オブジェクトには、例えば吹き出し、円、矩形等の図形のように、文字又は文字列を入力して表示できる表示領域を有するものがある。

以下では、文字又は文字列を入力して表示できる表示領域を有する描画オブジェクトのうち、吹き出しの形状の描画オブジェクトを吹き出しオブジェクトと呼ぶ。なお、文字又は文字列の表示領域を有する描画オブジェクトは吹き出しオブジェクトに限定するものではなく、円や矩形など、様々な形状の描画オブジェクトが含まれる。また、吹き出しという呼び方も一例であって、付箋、メモなど、他の呼び方であってもよい。

オブジェクト管理部４２は、描画オブジェクト管理部５１及び吹き出しオブジェクト管理部５２を有する構成である。描画オブジェクト管理部５１は図３に示されているＣＰＵ２０がメインメモリ２１をワークエリアとして使用して、プログラムに従った処理を実行することによって実現され、描画データ生成部４１が生成した描画線、円、矩形、吹き出し、及び矢印などの領域に対して描画オブジェクトＩＤを付与して管理する。描画オブジェクトＩＤは描画オブジェクトを識別する識別情報の一例である。また、描画オブジェクト管理部５１は各描画オブジェクトの表示位置（表示部１０の画素位置）を示す位置情報も管理する。

吹き出しオブジェクト管理部５２は図３に示されているＣＰＵ２０がメインメモリ２１をワークエリアとして使用して、プログラムに従った処理を実行することによって実現され、描画オブジェクト管理部５１により描画オブジェクトＩＤ及び表示位置が管理される吹き出しオブジェクトについて、吹き出しオブジェクトの領域（表示領域）内に記載される文字又は文字列（文字データ）を管理する。また、吹き出しオブジェクト管理部５２は、後述のように吹き出しオブジェクトの領域の拡張や変形を行ったり、吹き出しオブジェクトの領域内に記載される文字又は文字列のフォントサイズの変更（調整）の処理を行ったりする。

文字認識部４３は図３に示されているＣＰＵ２０がメインメモリ２１をワークエリアとして使用して、プログラムに従った処理を実行することによって実現され、手書き入力部４０が受け付けた手書き入力に基づき、手書き認識辞書などの辞書データと照合することで、ユーザが手書きした文字又は文字列（手書き文字又は手書き文字列）の手書き認識を行い、文字又は文字列のテキストデータを出力する。

文字認識部４３が行う手書き認識はユーザの手書き入力操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号等を認識していく。なお、手書き認識の方法については様々なアルゴリズムが考案されているが、公知の技術を利用できるため、詳細を割愛する。

文字認識部４３は手書き文字又は手書き文字列の入力終了から次の入力が無い状態が所定の時間（例えば２秒）経過すると、文字認識処理終了コマンドを出力する。表示制御部４４は図３に示されているＣＰＵ２０からの命令、及び図３に示されている表示コントローラ２９等により実現され、描画データをディスプレイ（表示部１０）に表示するための制御を行う。

会議データ記憶部４５は図３に示されているＣＰＵ２０からの命令、図３に示されているハードディスク２７、及びＨＤコントローラ２８等により実現され、会議で使用された資料、手書きオブジェクトや描画オブジェクトの描画データ等を記憶する。ネットワーク通信部４６は図３に示されているＣＰＵ２０からの命令、図３に示されているＬＡＮコントローラ３０、及びＬＡＮ Ｉ／Ｆ３１等により実現され、ＬＡＮ等のネットワークに接続してデータ送受信を行う。

＜描画オブジェクトの表示位置＞
ここでは、描画オブジェクト管理部５１が管理する描画オブジェクトの表示位置について説明する。図５は表示部に表示される描画オブジェクトの一例の表示例である。表示部１０の表示画素の位置は、表示部１０の表示領域１０００の左上の角にある画素位置を原点として、右方向をＸ軸の正の方向、下方向をＹ軸の正の方向とした以下のような表示座標で表現する。すなわち、
表示座標＝（原点位置の画素からのＸ軸方向の画素数、原点位置の画素からのＹ軸方向の画素数）
である。また、描画オブジェクト管理部５１は表示領域１０００に表示されている描画オブジェクトの領域を、例えば描画オブジェクトに外接する矩形で管理し、矩形の領域の左上の角にある画素位置を起点座標、矩形の領域の右下の角にある画素位置を終点座標とした位置情報により管理する。描画オブジェクト管理部５１は、例えば図５の表示領域１０００に表示されている描画オブジェクト１００２、１００４、及び１００８と吹き出しオブジェクト１００６との表示位置を、例えば図６の描画オブジェクト管理テーブルにより管理する。

図６は描画オブジェクト管理テーブルの一例の構成図である。図６の描画オブジェクト管理テーブルは、描画オブジェクト１００２、１００４、及び１００８と、吹き出しオブジェクト１００６とについて、描画オブジェクトＩＤ、それぞれの起点座標と終点座標で表される位置情報、及びオブジェクトのタイプを対応付けて管理している。

図５の描画オブジェクト１００２は「オブジェクトのタイプ」が「文字列」の例を示している。描画オブジェクト１００４は「オブジェクトのタイプ」が「グループ化した文字列」の例を示している。描画オブジェクト１００８は「オブジェクトのタイプ」が「アイコン」の例を示している。また、吹き出しオブジェクト１００６は「オブジェクトのタイプ」が「吹き出し」の例を示している。

例えば描画オブジェクト１００４は、文字列間の距離が所定の値以下である場合に、それらの文字列をグループ化して、１つの描画オブジェクトとして管理している例を示している。また、吹き出しオブジェクト１００６は矩形に突起が付いた形状であるが、表示位置を矩形部分で管理している例を示している。吹き出しオブジェクト１００６は「この議題は再検討する」という文字列が表示領域内に入力され、表示されている例である。

＜手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力＞
例えばユーザは図５の吹き出しオブジェクト１００６への手書き認識を利用した文字又は文字列の入力を、例えば図７に示した画面例のように行う。図７は手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。

図７（ａ）は電子黒板１を使った会議において、電子黒板１に表示されている画面２０００である。例えば図７（ａ）の画面２０００に吹き出しオブジェクトを追加して表示したいユーザはアイコン２００２を選択する操作を行う。なお、アイコン２００２などの描画オブジェクトを選択する操作とは、特に明記しない場合、描画オブジェクトが表示されているタッチパネル１１の位置を、指先やペン先で押下することを意味する。

手書き入力部４０がユーザからアイコン２００２を選択する操作を受け付けると、描画データ生成部４１は、例えば領域の大きさが幅「ｘ０」及び高さ「ｙ０」の吹き出しオブジェクト２００４を生成し、画面２０００の中央に表示させる。なお、描画データ生成部４１が吹き出しオブジェクト２００４を生成するとは、特に明記しない場合、吹き出しオブジェクト２００４の描画データを生成することを意味する。吹き出しオブジェクト２００４の領域の大きさは描画オブジェクト管理部５１が管理する。

ユーザは画面２０００の中央に表示された吹き出しオブジェクト２００４を、例えば図７（ｂ）のように、オブジェクトのタイプが「グループ化した文字列」の描画オブジェクト２００６の文字列「機材の確保」の右側に移動する操作を行う。なお、画面２０００に表示されている吹き出しオブジェクト２００４を移動させる操作とは、特に明記しない場合、選択する操作を行ったあとで、移動先のタッチパネル１１の位置を指先やペン先で押下することや、移動先のタッチパネル１１の位置まで吹き出しオブジェクト２００４をドラッグすることを意味する。

次に、ユーザは図７（ｂ）の吹き出しオブジェクト２００４に対して図７（ｃ）に示すように、手書きで「この議題は再検討する」という文字列２００８を入力する。ユーザは手書き入力の文字列２００８の書き始めが吹き出しオブジェクト２００４の領域内となるように手書き入力を行う。例えば図７（ｃ）に示した手書き入力の文字列２００８の書き始めは、文字「こ」の最初のストロークである。ストロークとは、ユーザがタッチパネル１１の任意の位置を押下した状態の指先やペン先を移動させることで手書きした直線や曲線を意味する。

このとき、描画オブジェクト管理部５１は図６の描画オブジェクト管理テーブルを参照して、手書き入力部４０が検出した手書き入力「この議題は再検討する」の書き始めの座標が吹き出しオブジェクト２００４の領域内であると判断する。描画オブジェクト管理部５１は手書き入力の文字列２００８が吹き出しオブジェクト２００４に対して入力されたものとして判断し、手書き入力の文字列２００８と吹き出しオブジェクト２００４とを対応付ける。

そして、描画オブジェクト管理部５１は吹き出しオブジェクト２００４に手書き入力の文字列２００８が入力されたことを吹き出しオブジェクト管理部５２に通知する。文字認識部４３は、手書き入力「この議題は再検討する」の「この」「課題」「は」「再検討」「する」の文字毎に文字認識処理を行い、これらの文字毎にテキストデータを出力する。

また、文字認識部４３は「この議題は再検討する」という手書き入力から所定の時間が経過すると、文字認識処理終了コマンドを出力する。吹き出しオブジェクト管理部５２は文字認識終了コマンドを受けると、手書き入力の文字列２００８から文字認識されたテキストデータ２０１０をゴシック等のフォントデータに変換する。

さらに、吹き出しオブジェクト管理部５２はフォントデータに変換したテキストデータ２０１０の全体が、吹き出しオブジェクト２００４の表示領域内に入るように、フォントサイズを変更（縮小）する。描画オブジェクト管理部５１及び吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の起点座標にオフセット値を加えた座標位置からテキストデータ２０１０が表示されるように描画データを管理する。オフセット値は吹き出しオブジェクト２００４の起点座標に対してテキストデータ２０１０の表示位置を調整するための値であり、吹き出しオブジェクト２００４の左端からテキストデータ２０１０の表示開始位置までの距離を表している。

表示制御部４４は吹き出しオブジェクト２００４の起点座標にオフセット値を加えた座標位置からテキストデータ２０１０が表示されるように変更された描画データにより、例えば図７（ｄ）の画面２０００を表示部１０に表示する。

図７の場合における電子黒板１の動作のフローチャートは図８のようになる。図８は図７の場合における電子黒板の処理の一例のフローチャートである。電子黒板１の描画オブジェクト管理部５１は、吹き出しオブジェクト２００４が画面２０００に描画されることでステップＳ１０からステップＳ１２に進み、処理を行う。

また、描画オブジェクト管理部５１は手書き入力部４０が検出した手書き入力「この議題は再検討する」の最初のストロークが吹き出しオブジェクト２００４の領域内であると判断すると、ステップＳ１２からステップＳ１４に進み、処理を行う。ステップＳ１４において、文字認識部４３は手書き入力の文字列２００８を書き終わってから（タッチパネル１１から指先やペン先が離れてから）一定時間（例えば２秒）が経過すると、ステップＳ１４からステップＳ１６に進み、処理を行う。描画オブジェクト管理部５１は最初のストロークに替えて、最初の接触座標を用いてもよい。

文字認識部４３は手書き入力「この議題は再検討する」の文字認識処理を行い、テキストデータ２０１０を出力する。吹き出しオブジェクト管理部５２は手書き入力の文字列２００８から文字認識されたテキストデータ２０１０の全てが、手書き入力の文字列２００８の位置情報に対応する吹き出しオブジェクト２００４の領域内に入るように、フォントサイズを必要に応じて変更する。

そして、描画オブジェクト管理部５１及び吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の起点座標にオフセット値を加えた座標位置からテキストデータ２０１０が表示されるように描画データを管理する。これにより、表示制御部４４は例えば図７（ｄ）のように、手書き入力の文字列２００８から文字認識されたテキストデータを吹き出しオブジェクト２００４の表示領域内に表示できる。

第１の実施形態によれば、吹き出しオブジェクト２００４などの描画オブジェクトに対する文字又は文字列の入力の操作性を向上できる。

［第２の実施形態］
第２の実施形態は、第１の実施形態のようにオブジェクトのタイプが「グループ化した文字列」の描画オブジェクト２００６の右側に吹き出しオブジェクト２００４（第１の描画オブジェクトの一例）を追加する場合で、更に、吹き出しオブジェクト２００４の右側と下側にスタンプ（マーク）形状の描画オブジェクト（第２の描画オブジェクトの一例）がある場合の例である。

図９は手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。図９（ａ）は図７（ａ）に示した描画オブジェクト２００６の右側に吹き出しオブジェクト２００４を表示した画面２０００である。次に、ユーザは図９（ａ）の吹き出しオブジェクト２００４に対して、図９（ｂ）のように「この課題は明日の会議で再検討する」という文字列２０１６を書き始めが吹き出しオブジェクト２００４の領域内となるように手書きで入力する。

描画オブジェクト管理部５１は描画オブジェクト管理テーブルを参照して、手書き入力部４０が検出した手書き入力「この課題は明日の会議で再検討する」の書き始めの座標が吹き出しオブジェクト２００４の領域内であると判断する。描画オブジェクト管理部５１は手書き入力の文字列２０１６が吹き出しオブジェクト２００４に対して入力されたものとして判断し、手書き入力の文字列２０１６と吹き出しオブジェクト２００４とを対応付ける。

そして、描画オブジェクト管理部５１は吹き出しオブジェクト２００４に手書き入力の文字列２０１６が入力されたことを吹き出しオブジェクト管理部５２に通知する。文字認識部４３は、手書き入力「この課題は明日の会議で再検討する」の文字毎に文字認識処理を行い、これらの文字毎にテキストデータを出力する。

また、文字認識部４３は「この課題は明日の会議で再検討する」という手書き入力から所定の時間が経過すると、文字認識処理終了コマンドを出力する。吹き出しオブジェクト管理部５２は文字認識終了コマンドを受けると、手書き入力の文字列２０１６から文字認識されたテキストデータ２０１８をゴシック等のフォントデータに変換する。

さらに、吹き出しオブジェクト管理部５２はフォントデータに変換したテキストデータ２０１８全体が、吹き出しオブジェクト２００４の表示領域内に入るように、吹き出しオブジェクト２００４の領域の大きさを変更（拡張）する。図９（ｃ）はテキストデータ２０１８の全体が規定の吹き出しオブジェクト２００４の大きさに入らないため、吹き出しオブジェクト２００４の領域が右方向に拡張された画面２０００である。

しかし、図９（ｃ）の例では吹き出しオブジェクト２００４の右側にスタンプ形状の描画オブジェクト２０１２があるため、吹き出しオブジェクト２００４の領域を右方向に拡張し過ぎると、吹き出しオブジェクト２００４とスタンプ形状の描画オブジェクト２０１２とが重なってしまう。

そこで、図９（ｃ）の例では、吹き出しオブジェクト管理部５２が吹き出しオブジェクト２００４とスタンプ形状の描画オブジェクト２０１２との距離を計算し、吹き出しオブジェクト２００４がスタンプ形状の描画オブジェクト２０１２に重ならない長さ分、吹き出しオブジェクト２００４の領域を右方向に拡張している。

さらに、吹き出しオブジェクト管理部５２はテキストデータ２０１８の全体を吹き出しオブジェクト２００４の表示領域内に入るように、吹き出しオブジェクト２００４の領域を図９（ｄ）に示すように下方向に拡張する。

図９の場合、図８に示したフローチャートのステップＳ１６の処理は、例えば図１０のフローチャートに示すように実行される。図１０はステップＳ１６における電子黒板の処理の一例のフローチャートである。

ユーザが手書きで「この議題は明日の会議で再検討する」という文字列２０１６を、書き始めが吹き出しオブジェクト２００４の領域内になるよう手書きで入力すると、描画オブジェクト管理部５１は手書き入力部４０が検出した手書き入力「この議題は明日の会議で再検討する」の最初のストロークが吹き出しオブジェクト２００４の領域内であると判断する。

描画オブジェクト管理部５１は吹き出しオブジェクト２００４に手書き入力の文字列２０１６が入力されたことを吹き出しオブジェクト管理部５２へ通知する。文字認識部４３は、手書き入力「この議題は明日の会議で再検討する」の例えば「この」「議題」「は」「明日」「の」「会議」「で」「再検討」「する」の文字毎に文字認識処理を行い、これらの文字毎にテキストデータを出力する。

また、文字認識部４３は「この議題は明日の会議で再検討する」という手書き入力から所定の時間が経過すると、手書きされた文字（手書き文字）の大きさの情報を含めた文字認識処理終了コマンドを出力する。なお、文字認識部４３は文字認識処理を行う際に手書き文字の大きさを判断し、所定の時間が経過するまでに入力された手書き文字の大きさの平均を求めて、この平均の手書き文字の大きさに該当するフォントサイズを文字認識処理終了コマンドに含める。

吹き出しオブジェクト管理部５２は文字認識処理終了コマンドを受けると、手書き入力の文字列２０１６から文字認識されたテキストデータ２０１８を、その文字認識処理終了コマンドに含まれるフォントサイズに従って、ゴシック等のフォントデータに変換する。

さらに、吹き出しオブジェクト管理部５２はフォントデータに変換したテキストデータ２０１８の全体が、吹き出しオブジェクト２００４の表示領域内に入るように、ステップＳ２２以降の処理を行う。

ステップＳ２２において、吹き出しオブジェクト管理部５２はフォントデータに変換したテキストデータ２０１８を横に並べた時の文字列領域の幅Ｗｓを求める。吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の位置（ｆｘｓ，ｆｙｓ）（起点座標）とスタンプ形状（顔マーク）の描画オブジェクト２０１２の位置（ｓ１ｘｓ，ｓ１ｙｓ）（起点座標）と、を描画オブジェクト管理部５１へ問い合わせて取得する。

吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４及び描画オブジェクト２０１２の起点座標のＸ軸方向の距離（ｓ１ｘｓ−ｆｘｓ）から２つのマージンｆｍｘ及びｓｍを引いた値ｆｗを求める。値ｆｗは描画オブジェクト２０１２の位置を考慮して算出した吹き出しオブジェクト２００４の右方向の拡張限界である。

吹き出しオブジェクト管理部５２は、求めた幅Ｗｓと値ｆｗとを比較して、幅Ｗｓが値ｆｗよりも長いか否かを判定する。幅Ｗｓが値ｆｗよりも長ければ、吹き出しオブジェクト管理部５２はステップＳ２４に進み、吹き出しオブジェクト２００４の幅Ｗｆを（値ｆｗ＋マージンｆｍｘ×２）になるように、横方向に拡張する。

ステップＳ２６において、吹き出しオブジェクト管理部５２は、文字列領域の幅Ｗｓを値ｆｗで割って、小数点以下を切り上げて整数とする。この整数は吹き出しオブジェクト２００４の表示領域内におけるテキストデータ２０１８の行数となる。次に、吹き出しオブジェクト管理部５２は、フォントサイズ、行数、及びＹ軸方向の２つのマージンｆｍｙから吹き出しオブジェクト２００４に必要な高さＨｆを求める。

次に、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の位置（ｆｘｓ，ｆｙｓ）（起点座標）と、下方向にあるスタンプ形状（星マーク）の描画オブジェクト２０１４の位置（ｓ２ｘｓ，ｓ２ｙｓ）（起点座標）と、を描画オブジェクト管理部５１へ問い合わせて取得する。

吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４及び描画オブジェクト２０１４の起点座標のＹ軸方向の距離（ｓ２ｙｓ−ｆｙｓ）からマージンｓｍを引いた値ｆｈを求める。値ｆｈは描画オブジェクト２０１４の位置を考慮して算出した吹き出しオブジェクト２００４の下方向の拡張限界である。

吹き出しオブジェクト管理部５２は、求めた高さＨｆと値ｆｈとを比較して、高さＨｆが値ｆｈよりも長いか否かを判定する。高さＨｆが値ｆｈよりも長ければ、吹き出しオブジェクト管理部５２はステップＳ２８に進み、吹き出しオブジェクト２００４の高さを値ｆｈになるように拡張する。

なお、描画オブジェクト２０１４の位置を考慮して算出した吹き出しオブジェクト２００４の下方向の拡張限界である値ｆｈよりも高さＨｆが長いため、ステップＳ２８の吹き出しオブジェクト２００４の表示領域の拡張ではテキストデータ２０１８の全てを吹き出しオブジェクト２００４の表示領域内に表示することができない。そこで、ステップＳ３０に進み、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の表示領域が高さＨｆとなるように、上方向に（高さＨｆ−値ｆｈ）の長さだけ拡張する。

なお、ステップＳ２２において、吹き出しオブジェクト管理部５２は、幅Ｗｓが値ｆｗよりも長くなければステップＳ３２に進み、幅Ｗｓの文字列２０１６の全てが表示領域内に表示されるように吹き出しオブジェクト２００４の幅Ｗｆを右方向に拡張する。

また、ステップＳ２６において、吹き出しオブジェクト管理部５２は高さＨｆが値ｆｈよりも長くなければステップＳ３４に進み、文字列２０１６の全てが表示領域内に表示されるように吹き出しオブジェクト２００４の高さＨｆを下方向に拡張する。

なお、図９（ａ）〜図９（ｄ）に示した画面２０００は、必ずしも全てが表示されなくてもよい。例えば図９（ｃ）は吹き出しオブジェクト２００４の表示領域の大きさを変更中の画面２０００の例であるため、表示が省略されてもよい。

第２の実施形態によれば、手書き認識を利用して吹き出しオブジェクト２００４への文字又は文字列を入力する場合に、入力する文字又は文字列に従って吹き出しオブジェクト２００４の表示領域の大きさを変更できる。また、第２の実施形態によれば、吹き出しオブジェクト２００４の表示領域の大きさを拡張する処理を、他の描画オブジェクト２０１２及び２０１４と重ならないように実行できる。

したがって、第２の実施形態によれば、手書き認識により文字又は文字列が入力される吹き出しオブジェクト２００４を、他の描画オブジェクト２０１２及び２０１４と重ならない範囲で拡張して表示する処理の操作性を向上できる。

［第３の実施形態］
第３の実施形態は、第２の実施形態の場合で、更に、吹き出しオブジェクト２００４の上側に文字列の描画オブジェクトがある場合の例である。第２の実施形態では、他の描画オブジェクト２０１２及び２０１４と重ならないように、吹き出しオブジェクト２００４を右方向、下方向、及び上方向の順番に拡張することで、テキストデータ２０１８の全てを吹き出しオブジェクト２００４の表示領域内に表示している。第３の実施形態は、吹き出しオブジェクト２００４の上側にも描画オブジェクトがあり、上側の描画オブジェクトにも重ならないように、吹き出しオブジェクト２００４を右方向、下方向、及び上方向の順番に拡張する。

図１１は手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。図１１（ａ）は図９（ａ）に示した吹き出しオブジェクト２００４の上側に文字列の描画オブジェクト２０２０を表示した画面２０００である。

次に、ユーザは図１１（ａ）の吹き出しオブジェクト２００４に対して、図９（ｂ）のように「この課題は明日の会議で再検討する」という文字列２０１６を書き始めが吹き出しオブジェクト２００４の領域内となるように手書きで入力する。

描画オブジェクト管理部５１は描画オブジェクト管理テーブルを参照して、手書き入力部４０が検出した手書き入力「この課題は明日の会議で再検討する」の書き始めの座標が吹き出しオブジェクト２００４の領域内であると判断する。描画オブジェクト管理部５１は手書き入力の文字列２０１６が吹き出しオブジェクト２００４に対して入力されたものとして判断し、手書き入力の文字列２０１６と吹き出しオブジェクト２００４とを対応付ける。

そして、描画オブジェクト管理部５１は吹き出しオブジェクト２００４に手書き入力の文字列２０１６が入力されたことを吹き出しオブジェクト管理部５２に通知する。文字認識部４３は、手書き入力「この課題は明日の会議で再検討する」の文字毎に文字認識処理を行い、これらの文字毎にテキストデータを出力する。

また、文字認識部４３は「この課題は明日の会議で再検討する」という手書き入力から所定の時間が経過すると、文字認識処理終了コマンドを出力する。吹き出しオブジェクト管理部５２は文字認識終了コマンドを受けると、手書き入力の文字列２０１６から文字認識されたテキストデータ２０１８をゴシック等のフォントデータに変換する。

さらに、吹き出しオブジェクト管理部５２はフォントデータに変換したテキストデータ２０１８全体が、吹き出しオブジェクト２００４の表示領域内に入るように、吹き出しオブジェクト２００４の領域の大きさを変更（拡張）する。なお、図１１（ｂ）の画面２０００では、吹き出しオブジェクト２００４の上側の文字列の描画オブジェクト２０２０により、図９の例よりも吹き出しオブジェクト２００４の拡張範囲が制限される。

そこで、図１１（ｃ）の例では、他の描画オブジェクト２０１２、２０１４、及び２０２０と重ならない範囲で吹き出しオブジェクト２００４を拡張した後、手書き入力から文字認識されたテキストデータ２０１８の全体が吹き出しオブジェクト２００４の表示領域内に入るように、テキストデータ２０１８のフォントサイズを縮小している。

図１１の場合、図８に示したフローチャートのステップＳ１６の処理は、例えば図１２のフローチャートに示すように実行される。図１２はステップＳ１６における電子黒板の処理の一例のフローチャートである。なお、図１２のフローチャートは一部を除いて図１０のフローチャートと同一であるため、適宜説明を省略する。

ステップＳ４０〜Ｓ４６、Ｓ５４、及びＳ５６の処理は図１０のステップＳ２２〜Ｓ２８、Ｓ３２、及びＳ３４の処理と同一である。ステップＳ４６に続いてステップＳ４８に進み、吹き出しオブジェクト管理部５２はステップＳ４６の吹き出しオブジェクト２００４の表示領域の拡張でテキストデータ２０１８の全てを吹き出しオブジェクト２００４の表示領域内に収まっているか否かを判定する。

ステップＳ４６の吹き出しオブジェクト２００４の表示領域の拡張でテキストデータ２０１８の全てを吹き出しオブジェクト２００４の表示領域内に収まっていなければ、吹き出しオブジェクト管理部５２はステップＳ５０以降の処理を行う。ステップＳ５０において、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の上方向にある文字列の描画オブジェクト２０２０の位置（起点座標及び終点座標）を描画オブジェクト管理部５１へ問い合わせて取得する。

そして、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４の起点座標及び描画オブジェクト２０２０の終点座標のＹ軸方向の距離（ｆｙｓ−ｔ１ｙｅ）を求めて、これがマージンｓｍより大きいか否かを判定する。描画オブジェクト２０２０及び吹き出しオブジェクト２００４のＹ軸方向の距離（ｆｙｓ−ｔ１ｙｅ）がマージンｓｍより大きければ、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４の表示領域を上方向に拡張できると判断し、ステップＳ５８に進む。ステップＳ５８において吹き出しオブジェクト管理部５２は、図１０のステップＳ３０と同様な処理により、吹き出しオブジェクト２００４の表示領域を上方向に拡張する。

描画オブジェクト２０２０及び吹き出しオブジェクト２００４のＹ軸方向の距離（ｆｙｓ−ｔ１ｙｅ）がマージンｓｍより小さければ、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４の表示領域を上方向に拡張できないと判断し、ステップＳ５２に進む。ステップＳ５２において、吹き出しオブジェクト管理部５２は手書き入力から文字認識されたテキストデータ２０１８の全体が吹き出しオブジェクト２００４の表示領域内に入るように、テキストデータ２０１８のフォントサイズを縮小する。

なお、図１１（ａ）〜図１１（ｃ）に示した画面２０００は、必ずしも全てが表示されなくてもよい。例えば図１１（ｂ）は吹き出しオブジェクト２００４の表示領域の大きさを変更中の画面２０００の例であるため、表示が省略されてもよい。

第３の実施形態によれば、手書き認識を利用して吹き出しオブジェクト２００４への文字又は文字列を入力する場合に、入力する文字又は文字列に従って吹き出しオブジェクト２００４の表示領域の大きさを変更できる。また、第３の実施形態によれば、吹き出しオブジェクト２００４の表示領域の大きさを拡張する処理を、他の描画オブジェクト２０１２、２０１４及び２０２０と重ならないように実行できる。さらに、第３の実施形態によれば、他の描画オブジェクト２０１２、２０１４及び２０２０と重ならない大きさまで吹き出しオブジェクト２００４の表示領域の大きさを拡張したあと、吹き出しオブジェクト２００４の表示領域内に収まるように文字のフォントサイズを小さくできる。

したがって、第３の実施形態によれば、手書き認識により文字又は文字列が入力される吹き出しオブジェクト２００４を、他の描画オブジェクト２０１２、２０１４、及び２０２０と重ならない範囲で拡張して表示する処理の操作性を向上できる。

［第４の実施形態］
第４の実施形態は、余白領域を有効活用するため、吹き出しオブジェクト２００４が他の描画オブジェクト２０１２、２０１４、及び２０２０を避けるように変形して拡張する例である。

図１３は手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。図１３（ａ）は図１１（ａ）と同一である。図１３（ｂ）は図１１（ｂ）と同一である。

吹き出しオブジェクト管理部５２はフォントデータに変換したテキストデータ２０１８全体が、吹き出しオブジェクト２００４の表示領域内に入るように、吹き出しオブジェクト２００４の領域の大きさを変更（拡張）する。しかし、吹き出しオブジェクト２００４の拡張範囲が図１３（ｂ）のように制限されるため、テキストデータ２０１８の全体が吹き出しオブジェクト２００４の表示領域内に収まるように表示できない。

そこで、図１３（ｃ）の例では、吹き出しオブジェクト２００４が他の描画オブジェクト２０１２、２０１４、及び２０２０と重ならないように（避けるように）変形して拡張することで、手書き入力から文字認識されたテキストデータ２０１８の全体が吹き出しオブジェクト２００４の表示領域内に収まるように表示する。

図１３の場合、図８に示したフローチャートのステップＳ１６の処理は、例えば図１４のフローチャートに示すように実行される。図１４はステップＳ１６における電子黒板の処理の一例のフローチャートである。なお、図１４のフローチャートは一部を除いて図１２のフローチャートと同一であるため、適宜説明を省略する。

ステップＳ６０〜Ｓ７０、及びＳ７６〜Ｓ８０の処理は、図１２のステップＳ４０〜Ｓ５０、及びＳ５４〜Ｓ５８の処理と同一である。ステップＳ７０において、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の表示領域を上方向に拡張できないと判断すると、ステップＳ７２に進む。

ステップＳ７２において、吹き出しオブジェクト管理部５２は、描画オブジェクト管理部５１から全ての描画オブジェクトの位置情報を取得する。そして、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の下方向にスタンプ形状（星マーク）の描画オブジェクト２０１４しかないことを確認する。

続いて、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の表示領域の高さを値ｆｈとした場合、吹き出しオブジェクト２００４の表示領域に収まらないテキストデータ２０１８の文字を調べる。図１３（ｂ）の例では、テキストデータ２０１８の最後の三文字「討する」が吹き出しオブジェクト２００４の表示領域に収まらないテキストデータ２０１８の文字として判断される。

吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の幅Ｗｆから描画オブジェクトの幅ｈｘと２つのマージンｓｍを引いた値（ｍ１＋ｍ２）の範囲に、テキストデータ２０１８の最後の三文字「討する」が１行で入るか否かを判定する。

テキストデータ２０１８の最後の三文字「討する」が１行で入ると判断すると、吹き出しオブジェクト管理部５２は、ステップＳ７４の処理により、吹き出しオブジェクト２００４の表示領域を、描画オブジェクト２０１４を避けて下方向へ拡張する。

具体的に、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の起点座標のx座標と、描画オブジェクト２０１４の起点座標のｘ座標からマージンｓｍを引いたｘ座標との間の範囲ｍ１を求める。

吹き出しオブジェクト管理部５２は、求めた範囲ｍ１について、吹き出しオブジェクト２００４を距離（文字の高さ＋吹き出しオブジェクト２００４の表示領域内のＹ軸方向のマージンｆｍｙ）だけ拡張する。

また、吹き出しオブジェクト管理部５２は、描画オブジェクト２０１４の終点座標のｘ座標にマージンｓｍを加算したｘ座標から、吹き出しオブジェクト２００４の終点座標のｘ座標までの範囲ｍ２を求める。

吹き出しオブジェクト管理部５２は、求めた範囲ｍ２について、吹き出しオブジェクト２００４を距離（文字の高さ＋吹き出しオブジェクト２００４の表示領域内のＹ軸方向のマージンｆｍｙ）だけ拡張する。

そして、吹き出しオブジェクト管理部５２は、図１３（ｃ）に示すように「討」の１文字が左側の拡張領域に入るように、また「する」の２文字が右側の拡張領域に入るように描画データを変更する。したがって、表示制御部４４は表示部１０に図１３（ｃ）の画面２０００を表示できる。

なお、ステップＳ７２においてテキストデータ２０１８の最後の三文字「討する」が１行で入らないと判断すると、吹き出しオブジェクト管理部５２は、ステップＳ８２の処理を行う。ステップＳ８２では、吹き出しオブジェクト管理部５２は手書き入力から文字認識されたテキストデータ２０１８の全体が吹き出しオブジェクト２００４の表示領域内に入るように、テキストデータ２０１８のフォントサイズを縮小する。

なお、図１３（ａ）〜図１３（ｃ）に示した画面２０００は、必ずしも全てが表示されなくてもよい。例えば図１３（ｂ）は吹き出しオブジェクト２００４の表示領域の大きさを変更中の画面２０００の例であるため、表示が省略されてもよい。

第４の実施形態によれば、手書き認識を利用して吹き出しオブジェクト２００４への文字又は文字列を入力する場合に、入力する文字又は文字列に従って吹き出しオブジェクト２００４の表示領域の大きさを変更できる。また、第４の実施形態によれば、吹き出しオブジェクト２００４の表示領域の大きさを拡張する処理を、吹き出しオブジェクト２００４が他の描画オブジェクト２０１２、２０１４、及び２０２０を避けるように変形することで実行できる。さらに、第４の実施形態によれば、他の描画オブジェクト２０１２、２０１４及び２０２０と重ならない大きさまで吹き出しオブジェクト２００４の表示領域の大きさを拡張したあと、吹き出しオブジェクト２００４の表示領域内に収まるように文字のフォントサイズを小さくできる。

したがって、第４の実施形態によれば、手書き認識により文字又は文字列が入力される吹き出しオブジェクト２００４を、他の描画オブジェクト２０１２、２０１４、及び２０２０と重ならない範囲で拡張して表示する処理の操作性を向上できる。

［第５の実施形態］
第２〜第４の実施形態は、描画オブジェクト２０１２、２０１４、及び２０２０などの他の描画オブジェクトと重ならないように、吹き出しオブジェクト２００４を拡張することで、吹き出しオブジェクト２００４の表示領域内に手書き文字列を表示している。第５の実施形態は、吹き出しオブジェクト２００４の拡張に合わせて、吹き出しオブジェクト２００４の周りの他の描画オブジェクトが避けるように移動する。

図１５は手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。図１５（ａ）は図１３（ａ）と同一である。次に、ユーザは図１５（ａ）の吹き出しオブジェクト２００４に対して、図９（ｂ）のように「この課題は明日の会議で再検討して解決し、部長に報告する」という文字列を書き始めが吹き出しオブジェクト２００４の領域内となるように手書きで入力する。

描画オブジェクト管理部５１は描画オブジェクト管理テーブルを参照して、手書き入力部４０が検出した手書き入力「この課題は明日の会議で再検討して解決し、部長に報告する」の書き始めの座標が吹き出しオブジェクト２００４の領域内であると判断する。描画オブジェクト管理部５１は手書き文字列が吹き出しオブジェクト２００４に対して入力されたものとして判断し、手書き文字列と、吹き出しオブジェクト２００４と、を対応付ける。

そして、描画オブジェクト管理部５１は吹き出しオブジェクト２００４に手書き文字列が入力されたことを、吹き出しオブジェクト管理部５２に通知する。文字認識部４３は手書き文字列「この課題は明日の会議で再検討して解決し、部長に報告する」の文字毎に文字認識処理を行い、これらの文字毎にテキストデータを出力する。

また、文字認識部４３は、手書き入力から所定の時間が経過すると、文字認識処理終了コマンドを出力する。吹き出しオブジェクト管理部５２は、文字認識終了コマンドを受けると、手書き文字列から文字認識されたテキストデータ２０２４をゴシック等のフォントデータに変換する。

さらに、吹き出しオブジェクト管理部５２はフォントデータに変換したテキストデータ２０２４の全体が、吹き出しオブジェクト２００４の表示領域内に入るように、吹き出しオブジェクト２００４の領域の大きさを変更（拡張）する。なお、図１５（ｂ）の画面２０００では、吹き出しオブジェクト２００４の周りの他の描画オブジェクト２０１２、２０１４、及び２０２０により、吹き出しオブジェクト２００４の拡張範囲が制限されているため、テキストデータ２０２４の全体が吹き出しオブジェクト２００４の表示領域内に収まらない。

そこで、図１５（ｃ）の例では、吹き出しオブジェクト２００４を横方向に拡張すると共に、吹き出しオブジェクト２００４の横方向にある描画オブジェクト２０１２が吹き出しオブジェクト２００４を避けるように横方向に移動している。なお、描画オブジェクト２０１２の横方向への移動ができなくなった場合（画面２０００の右端まで移動済みである場合）は、更に、吹き出しオブジェクト２００４を下方向に拡張してもよい。この場合は吹き出しオブジェクト２００４の下方向にある描画オブジェクト２０１４が吹き出しオブジェクト２００４を避けるように横方向に移動する。

なお、第５の実施形態では例えば図１６（ｂ）に示すように、描画オブジェクト２０１２及び２０１４ごとに移動設定ができるようにしてもよい。図１６は描画オブジェクトへの移動設定の一例について説明する図である。

例えば描画オブジェクト２０１２の上を長押しすると、図１６（ｂ）のように、描画オブジェクト２０１２用の移動設定メニュー２０３０が表示される。また、例えば描画オブジェクト２０１４の上を長押しすると、図１６（ｂ）のように、描画オブジェクト２０１４用の移動設定メニュー２０３２が表示される。

ユーザは例えば描画オブジェクト２０１２用の移動設定メニュー２０３０から描画オブジェクト２０１２の移動を有効とするか無効とするかを設定できる。また、ユーザは例えば描画オブジェクト２０１４用の移動設定メニュー２０３２から描画オブジェクト２０１４の移動を有効とするか無効とするかを設定できる。

なお、描画オブジェクト２０１２及び２０１４に対する移動設定は、例えば図１７に示すような描画オブジェクト管理テーブルにおいて、描画オブジェクト２０１２及び２０１４と対応付けられて管理される。図１７は描画オブジェクト管理テーブルの一例の構成図である。

図１７の描画オブジェクト管理テーブルは、図６の描画オブジェクト管理テーブルの項目に「移動設定」が追加された構成である。項目「移動設定」は描画オブジェクトごとに移動設定「有効／無効」を設定情報として管理する。例えば図１７の描画オブジェクトＩＤが「００２」の描画オブジェクトが図１６の描画オブジェクト２０１２を表す。また、例えば図１７の描画オブジェクトＩＤが「００３」の描画オブジェクトが図１６の描画オブジェクト２０１４を表す。

図１７の例では、吹き出しオブジェクト２００４の右方向にある描画オブジェクト２０１２の移動設定が「有効」に設定されているため、吹き出しオブジェクト２００４の拡張を避けるように移動できる。また、図１７の例では、吹き出しオブジェクト２００４の下方向にある描画オブジェクト２０１４の移動設定が「無効」に設定されているため、吹き出しオブジェクト２００４の拡張を避けるように移動できない。

図１５の場合、図８に示したフローチャートのステップＳ１６の処理は、例えば図１８のフローチャートに示すように実行される。図１８はステップＳ１６における電子黒板の処理の一例のフローチャートである。なお、図１８のフローチャートは一部を除いて図１４のフローチャートと同一であるため、適宜説明を省略する。

ステップＳ１００〜Ｓ１０４、及びＳ１１６の処理は、図１４のステップＳ６０〜Ｓ６４、及びＳ７６の処理と同一である。第４の実施形態と同様に、吹き出しオブジェクト管理部５２はステップＳ１００〜Ｓ１０２において、吹き出しオブジェクト２００４を右方向に拡張した後、ステップＳ１０４〜Ｓ１０８において、吹き出しオブジェクト２００４を上方向または下方向に拡張できるか否かを判定する。

図１５（ｂ）の例では、ステップＳ１０６において、吹き出しオブジェクト２００４の上方向にある描画オブジェクト２０２０との距離が小さいため、上方向に吹き出しオブジェクト２００４を拡張できないと判断する。また、図１５（ｂ）の例では、ステップＳ１０８において、吹き出しオブジェクト管理部５２が、吹き出しオブジェクト２００４を下方向へ拡張できるか否かをチェックする。

すなわち、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４及びスタンプ形状（星マーク）の描画オブジェクト２０１４の起点座標のＹ軸方向の距離（ｓ２ｙｓ−ｆｙｓ）からマージンｓｍを引いた値ｆｈを求める。

吹き出しオブジェクト管理部５２は、求めた値ｆｈと吹き出しオブジェクト２００４に必要な高さＨｆと、を比較して、高さＨｆが値ｆｈよりも長いか否かを判断する。例えば図１５（ｂ）の例では高さＨｆの方が長いと判断する。吹き出しオブジェクト管理部５２は高さＨｆが値ｆｈよりも長ければ、吹き出しオブジェクト２００４を下方向に拡張してもテキストデータ２０２４の全体が吹き出しオブジェクト２００４の表示領域内に収まらない。したがって、吹き出しオブジェクト管理部５２はテキストデータ２０２４の全体が吹き出しオブジェクト２００４の表示領域内に納めるための更なる処理であるステップＳ１１０の処理に進む。

一方、吹き出しオブジェクト管理部５２は高さＨｆが値ｆｈよりも短ければ、吹き出しオブジェクト２００４を下方向に拡張すればテキストデータ２０２４の全体が吹き出しオブジェクト２００４の表示領域内に収まる。したがって、吹き出しオブジェクト管理部５２はステップＳ１１８に進み、テキストデータ２０２４の全体が表示領域内に収まるように吹き出しオブジェクト２００４の高さＨｆを下方向に拡張する。なお、ステップＳ１０６で上方向に拡張できる場合は、ステップＳ１１８に進む。

ステップＳ１１０において、吹き出しオブジェクト管理部５２は図１７に示した描画オブジェクト管理テーブルの項目「移動設定」を参照し、吹き出しオブジェクト２００４の周囲の描画オブジェクト２０１２及び２０１４から移動設定が「有効」であり、横方向への移動が可能な描画オブジェクト２０１２を探し出す。

なお、ステップＳ１１０において横方向への移動が可能な描画オブジェクトを探し出せなければ、ステップＳ１２０に進み、吹き出しオブジェクト管理部５２は文字認識されたテキストデータ２０２４の全体が吹き出しオブジェクト２００４の表示領域内に入るように、テキストデータ２０１８のフォントサイズを縮小する。ステップＳ１１０において横方向への移動が可能な描画オブジェクトを探し出せれば、吹き出しオブジェクト管理部５２はステップＳ１１２及びＳ１１４において、図１５（ｃ）に示すようにテキストデータ２０２４の全体が吹き出しオブジェクト２００４の表示領域内に納めるための更なる処理を実行する。

横方向への移動が可能な描画オブジェクト２０１２が探し出されると、ステップＳ１１０からＳ１１２に進み、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４を下方向へ拡張した時の高さｆｈに入る行数が２行であると判断する。

また、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の表示領域内に表示させる「この議題は明日の会議で再検討して解決し、部長に報告する」の文字列を２行で表示させる場合の吹き出しの幅Ｗｆｎを計算する。計算した幅Ｗｆｎは、文字列領域の幅Ｗｓ＋マージンｆｍｘ×２である。

吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の右側に存在する描画オブジェクト２０１２を、幅Ｗｆｎ−幅Ｗｆの値だけ、右へ移動するように描画オブジェクト管理部５１へ依頼する。描画オブジェクト管理部５１は描画オブジェクト２０１２の起点座標のx座標値を、幅Ｗｆｎ−幅Ｗｆの値を加算した値で置き換えると共に、この置換後の起点座標から描画オブジェクト２０１２が表示されるように描画データを変更する。

表示制御部４４はスタンプ形状（顔マーク）の描画オブジェクト２０１２が置換後の起点座標の位置に移動した画面２０００を、表示部１０に表示する。さらに、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の終点座票のx座標値を、幅Ｗｆｎ−幅Ｗｆの値を加算した値で置き換えるとともに、吹き出しオブジェクト２００４の表示領域を、この大きさに変更する。

また、表示制御部４４は、大きさが変更された吹き出しオブジェクト２００４の表示領域内に「この議題は明日の会議で再検討して解決し、部長に報告する」の文字列が２行で表示された画面２０００を表示する。

したがって、第５の実施形態によれば、他の描画オブジェクト２０１２、２０１４、及び２０２０が、手書き認識により文字又は文字列が入力される吹き出しオブジェクト２００４を避けるように移動することで、他の描画オブジェクト２０１２、２０１４、及び２０２０と重ならない範囲で吹き出しオブジェクト２００４を拡張して表示する処理の操作性を向上できる。

［第６の実施形態］
第６の実施形態は、第１の実施形態のようにオブジェクトのタイプが「グループ化した文字列」の描画オブジェクト２００６の右側に吹き出しオブジェクト２００４を追加する場合で、更に、吹き出しオブジェクト２００４の右側に描画オブジェクト２０１２と、その描画オブジェクト２０１２を補足する吹き出しオブジェクト２０４０がある場合について説明する。

図１９は手書き認識を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。図１９（ａ）は描画オブジェクト２００６の右側に吹き出しオブジェクト２００４を表示した画面２０００である。次に、ユーザは図１９（ａ）の吹き出しオブジェクト２００４に対して、図１９（ｂ）のように「この課題は明日の会議で再検討する」という文字列２０１６を書き始めが吹き出しオブジェクト２００４の領域内となるように手書きで入力する。

手書き入力の文字列２０１６は文字認識される。文字認識により出力された、テキストデータ２０１８は、規定の吹き出しオブジェクト２００４の表示領域内に全てを収めることができなかったものとする。このため、吹き出しオブジェクト２００４の領域の大きさは図１９（ｃ）に示すように、テキストデータ２０１８全体が、吹き出しオブジェクト２００４の表示領域内に入るように拡張される。

描画オブジェクト管理部５１は吹き出しオブジェクト２００４が吹き出しオブジェクト２０４０に重なったことを検出すると、重なり領域の情報を吹き出しオブジェクト管理部５２に通知する。吹き出しオブジェクト管理部５２は重なり領域がなくなるような吹き出しオブジェクト２０４０の形状を判断する。そして、吹き出しオブジェクト管理部５２は例えば図１９（ｄ）に示す吹き出しオブジェクト２０４０の形状となるように、吹き出しオブジェクト２０４０の描画データを変更する。

図１９の場合、図８に示したフローチャートのステップＳ１６の処理は、例えば図２０のフローチャートに示すように実行される。図２０はステップＳ１６における電子黒板の処理の一例のフローチャートである。図１９（ａ）では、吹き出しオブジェクト２００４の起点座標を（ｆ１ｘｓ，ｆ１ｙｓ）とする。また、吹き出しオブジェクト２０４０の起点座標は（ｆ２ｘｓ，ｆ２ｙｓ）とする。

ユーザが手書きで「この議題は明日の会議で再検討する」という文字列２０１６を、書き始めが吹き出しオブジェクト２００４の領域内になるように手書きで入力すると、描画オブジェクト管理部５１は手書き入力部４０が検出した手書き入力「この議題は明日の会議で再検討する」の最初のストロークが吹き出しオブジェクト２００４の領域内であると判断する。

描画オブジェクト管理部５１は吹き出しオブジェクト２００４に手書き入力の文字列２０１６が入力されたことを吹き出しオブジェクト管理部５２へ通知する。文字認識部４３は、手書き入力「この議題は明日の会議で再検討する」の例えば「この」「議題」「は」「明日」「の」「会議」「で」「再検討」「する」の文字毎に文字認識処理を行い、これらの文字毎にテキストデータを出力する。

また、文字認識部４３は「この議題は明日の会議で再検討する」という手書き入力から所定の時間が経過すると、手書きされた文字（手書き文字）の大きさの情報を含めた文字認識処理終了コマンドを出力する。なお、文字認識部４３は文字認識処理を行う際に手書き文字の大きさを判断し、所定の時間が経過するまでに入力された手書き文字の大きさの平均を求めて、この平均の手書き文字の大きさに該当するフォントサイズを文字認識処理終了コマンドに含める。

吹き出しオブジェクト管理部５２は文字認識処理終了コマンドを受けると、手書き入力の文字列２０１６から文字認識されたテキストデータ２０１８を、その文字認識処理終了コマンドに含まれるフォントサイズに従って、ゴシック等のフォントデータに変換する。

そして、吹き出しオブジェクト管理部５２はフォントデータに変換したテキストデータ２０１８の全体が、吹き出しオブジェクト２００４の表示領域内に収まらないと判断した場合に、ステップＳ１５０以降の処理を行う。

ステップＳ１５０において、吹き出しオブジェクト管理部５２は描画オブジェクト管理部５１から全ての描画オブジェクトの位置情報を取得する。吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の右に吹き出しオブジェクト２０４０があり、吹き出しオブジェクト２００４の上に文字列の描画オブジェクト２０２０があり、吹き出しオブジェクト２００４の下にスタンプ形状（星マーク）の描画オブジェクト２０１４があることを確認する。

第３の実施例と同様に、吹き出しオブジェクト２００４は上方向には拡張できず、吹き出しオブジェクト２００４の高さを、吹き出しオブジェクト２００４と、その下方向にあるスタンプ形状（星マーク）の描画オブジェクト２０１４との各起点座標のＹ軸方向の距離（ｓ２ｙｓ−ｆｙｓ）からマージンｓｍを引いた値Ｈｆになるように下方向に拡張する。

そして、吹き出しオブジェクト管理部５２は文字認識されたテキストデータ２０１８が吹き出しオブジェクト２００４の表示領域内に収まるように、吹き出しオブジェクト２００４の幅を計算する。この幅は第２の実施形態と同様にＷｆとなる。また、吹き出しオブジェクト２００４が幅Ｗｆになるためには幅（Ｗｆ−Ｘ０）の長さだけ右方向へ拡張する必要がある。ステップＳ１５２において、吹き出しオブジェクト管理部５２は拡張する方向に吹き出しオブジェクトがある（ステップＳ１５２においてＹｅｓ）と、ステップＳ１５４の処理を行う。なお、ステップＳ１５２において、吹き出しオブジェクト管理部５２は拡張する方向に吹き出しオブジェクトが無ければ、ステップＳ１５４の処理をスキップする。

図１９の例では吹き出しオブジェクト２００４を拡張する方向に吹き出しオブジェクト２０４０があり、吹き出しオブジェクト２００４を幅（Ｗｆ−Ｘ０）の長さだけ右方向へ拡張すると、図１９（ｃ）に示すように吹き出しオブジェクト２０４０と重なる。幅Ｘ０はアイコン２００２を選択する操作により、吹き出しオブジェクト２００４が画面２０００に最初に表示されたときの幅（規定の幅）である。

吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２０４０の起点座標を（ｆ２ｘｓ，ｆ２ｙｓ）から（ｆ１ｘｓ＋Ｗｆ＋ｓｍ，ｆ２ｙｓ）に変更して、吹き出しオブジェクト２０４０の幅を小さくする。吹き出しオブジェクト２０４０の表示領域内に表示されている文字列は吹き出しオブジェクト２０４０の幅を小さくすることで、吹き出しオブジェクト２０４０の表示領域内からはみ出してしまう。

そこで、吹き出しオブジェクト管理部５２は図１９（ｄ）のように吹き出しオブジェクト２０４０の高さが吹き出しオブジェクト２００４と同じ高さＨｆになるように下方向に拡張するとともに、スタンプ形状（顔マーク）の描画オブジェクト２０１２の下側を右方向に拡張する。

すなわち、吹き出しオブジェクト管理部５２は位置（ｆ２ｘｅ，ｓ１ｙｅ＋ｓｍ）から下の吹き出しオブジェクト２０４０の表示領域を、吹き出しオブジェクト２０４０の表示領域内に文字列「場所：ｘｘ大学 日時：ｘｘ／ｘｘ／ｘ」が収まるように、右方向へ拡張する。ここで、ｆ２ｘｅは吹き出しオブジェクト２０４０の終点座標のｘ成分、ｓ１ｙｅはスタンプ形状（顔マーク）の描画オブジェクト２０１２の終点座標のｙ成分、ｓｍはマージンである。なお、吹き出しオブジェクト２０４０は図１９（ｄ）に示すように途中から右方向へ拡張せずに、下方向へさらに拡張するようにしてもよい。

したがって、第６の実施形態によれば、他の吹き出しオブジェクト２０４０が、手書き認識により文字又は文字列が入力される吹き出しオブジェクト２００４を避けるように変形することで、吹き出しオブジェクト２００４を拡張して表示する処理の操作性を向上できる。

＜課題と効果＞
従来、スタンプ等の描画オブジェクトに、吹き出しオブジェクトが重なってしまった場合に、ユーザが吹き出しオブジェクトの位置をずらしたり大きさを変更したりするため、不便であり、また、スタンプ等の描画オブジェクトに、吹き出しオブジェクトが重なってしまった場合には視認性が悪い、という課題があった。

上記の第１〜第６の実施形態によれば、ユーザが吹き出しオブジェクトの位置をずらしたり大きさを変更したりしなくても、スタンプ等の描画オブジェクトに、吹き出しオブジェクトが重ならないよう、吹き出しオブジェクトの形状を変更することができるので、ユーザにとって、視認性を向上することができるという効果がある。

＜入力装置の構成の別の例１＞
本実施形態の入力装置は大型のタッチパネルを有するものとして説明されているが、入力装置はタッチパネルを有するものに限られない。

図２１は、入力装置の他の構成例を示す図である。図２１では、通常のホワイトボード４１３の上辺にプロジェクタ４１１が設置されている。このプロジェクタ４１１が入力装置に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレイではなく、ユーザがマーカで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクタ４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣから送信されてもよいし、プロジェクタ４１１が記憶していてもよい。

ユーザは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクタ４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。

また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクタ４１１は音波の到達時間により距離を算出する。方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置にはストロークが描画（投影）される。

プロジェクタ４１１はメニュー４３０を投影するので、ユーザが電子ペン２５０１でボタンを押下すると、プロジェクタ４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザが手書きしたストローク（座標の集合）がプロジェクタ４１１で保存される。

プロジェクタ４１１は、予め定められたサーバー４１２又はＵＳＢメモリー２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

＜入力装置の構成の別の例２＞
図２２は、入力装置の他の構成例を示す図である。図２２の例では入力装置として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的に、電子ペン８２０はスクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力されるストローク画像の画像データを生成し、画像投影装置７００Ａによってストローク画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。

＜入力装置の構成の別の例３＞
図２３は、入力装置の構成例を示す図である。図２３の例では、入力装置として、端末装置６００とディスプレイ８００Ａと、ペン動作検出装置８１０とを有する。

ペン動作検出装置８１０は、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し、端末装置６００へ送信する。なお、図３４の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力されるストローク画像の画像データを生成し、ディスプレイ８００Ａに表示させる。

＜入力装置の構成の別の例４＞
図２４は、入力装置の構成例を示す図である。図２４の例では、入力装置として、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力されるストローク画像の画像データを生成し、画像投影装置７００Ａにストローク画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では電子黒板を一例として説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。また、電子黒板と同様の機能を有する装置を、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、入力装置は超音波の到達時間により距離を算出する。入力装置は方向と距離によりペンの位置を特定できる。この場合、ペンの軌跡をストロークとしてプロジェクタが描画（投影）する。

また、図１〜図４などの構成例は電子黒板１による処理の理解を容易にするため、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。電子黒板１の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、以下ではユーザからキーボード入力を受け付ける入力装置の一例であるＰＣについて説明する。以下の実施形態ではユーザがタッチパネル１１の代わりにキーボードで文字を入力する。

［第７の実施形態］
図２５を用いて、本発明の実施形態に係るＰＣ２の全体構成を説明する。図２５は本実施形態に係るＰＣの一例の全体構成図である。ＰＣ２は、ＰＣ本体３０００、ディスプレイ３００１、キーボード３００２、及びマウス３００３を有する構成である。マウス３００３は画面上に表示されるポインタやアイコン等を操作するために用いるポインティングデバイスの一例である。図２５の構成図は一例であって、他の周辺機器がＰＣ本体３０００に接続された構成であってもよい。

ＰＣ本体３０００は例えば図２６に示すようなハードウェア構成である。図２６は本実施形態に係るＰＣ本体の一例のハードウェア構成図である。なお、ＰＣ本体３０００の構成は一部を除いて図３に示した制御部１２の構成と同様である。そこで、図２６では図３と同じ構成要素について図３と同じ符号を付け、説明を省略する。図２６に示したＰＣ本体３０００は図３に示した制御部１２のタッチパネルＩ／Ｆ３２がキーボードＩ／Ｆ３０１０及びマウスＩ／Ｆ３０１１に置き換えられた構成である。

キーボードＩ／Ｆ３０１０はキーボード３００２に接続される。キーボードＩ／Ｆ３０１０は例えばＵＳＢ（Universal Serial Bus）である。キーボードＩ／Ｆ３０１０は接続されたキーボード３００２からキーコードを入力される。マウスＩ／Ｆ３０１１はマウス３００３に接続される。マウスＩ／Ｆ３０１１は例えばＵＳＢである。マウスＩ／Ｆ３０１１は接続されたマウス３００３から座標データやクリック情報を入力される。

次に、図２７を用いて、ＰＣ本体３０００が有する機能について説明する。図２７は本実施形態に係るＰＣ本体の一例の機能ブロック図である。なお、ＰＣ本体３０００の機能構成は一部を除いて図４に示した電子黒板１の機能構成と同様である。そこで、図２７では図４と同じ構成要素について図４と同じ符号を付け、適宜説明を省略する。図２７に示したＰＣ本体３０００は図４に示した手書き入力部４０がキーコード入力部３０２０及びマウスイベント入力部３０２１に置き換えられた構成である。また、図２７に示したＰＣ本体３０００は図４に示した文字認識部４３が、かな漢字変換部３０２２に置き換えられた構成である。

キーコード入力部３０２０は図２６に示されているＣＰＵ２０からの命令、及び図２６に示されているキーボード３００２、及びキーボードＩ／Ｆ３０１０等により実現されている。マウスイベント入力部３０２１は図２６に示されているＣＰＵ２０からの命令、及び図２６に示されているマウス３００３、及びマウスＩ／Ｆ３０１１等により実現されている。かな漢字変換部３０２２は図２６に示されているＣＰＵ２０がメインメモリ２１をワークエリアとして使用して、プログラムに従った処理を実行することによって実現されている。

キーコード入力部３０２０はユーザがキーボード３００２にタイプしたキーコードを入力される。キーコード入力部３０２０は入力されたキーコードを対応した文字コードに変換する。マウスイベント入力部３０２１はマウスポインタの座標データやユーザがマウス３００３をクリックしたクリック情報を入力される。かな漢字変換部３０２２は、例えば文字コードと、かな・漢字との対応テーブルを参照することで、キーコード入力部３０２０が変換した文字コードを、かな又は漢字に変換する。

描画データ生成部４１はマウスイベント入力部３０２１に入力された座標データ列から描画線などの手書きオブジェクトを生成するができる。描画データ生成部４１は、マウスイベント入力部３０２１に入力された座標データ又は座標データ列から、円、矩形、吹き出し、及び矢印などの描画オブジェクトを生成する。

オブジェクト管理部４２は、描画オブジェクト管理部５１及び吹き出しオブジェクト管理部５２を有する構成である。描画オブジェクト管理部５１は描画データ生成部４１が生成した描画線、円、矩形、吹き出し、及び矢印などの領域に対して描画オブジェクトＩＤを付与して管理する。また、描画オブジェクト管理部５１は各描画オブジェクトの表示位置（ディスプレイ３００１の画素位置）を示す位置情報も管理する。

吹き出しオブジェクト管理部５２は描画オブジェクト管理部５１により描画オブジェクトＩＤ及び表示位置が管理される吹き出しオブジェクトについて、吹き出しオブジェクトの領域（表示領域）内に記載される文字又は文字列（文字データ）を管理する。また、吹き出しオブジェクト管理部５２は、後述のように吹き出しオブジェクトの領域の拡張や変形を行ったり、吹き出しオブジェクトの領域内に記載される文字又は文字列のフォントサイズの変更（調整）の処理を行ったりする。

第７の実施形態は、第１の実施形態のようにオブジェクトのタイプが「グループ化した文字列」の描画オブジェクト２００６の右側に吹き出しオブジェクト２００４（第１の描画オブジェクトの一例）を追加する場合で、更に、吹き出しオブジェクト２００４の右側と下側にスタンプ（マーク）形状の描画オブジェクト（第２の描画オブジェクトの一例）がある場合の例である。

図２８はキーボード入力を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。図２８（ａ）は図７（ｂ）に示した描画オブジェクト２００６の右側に吹き出しオブジェクト２００４を表示した画面２０００である。ユーザは図２８（ａ）の吹き出しオブジェクト２００４に対して、図２８（ｂ）のように「この課題は明日の会議」とキーボード３００２から入力する。図２８（ｂ）では、入力された文字列のテキストデータ２０１８が吹き出しオブジェクト２００４に表示される。

図２８（ｂ）の画面２０００は、ユーザが入力しようとしていた「この課題は明日の会議で再検討する」という文字列が、規定の大きさの吹き出しオブジェクト２００４にテキストデータ２０１８として入りきらなかった例である。

図２８（ｃ）の画面２０００は、テキストデータ２０１８全体が、吹き出しオブジェクト２００４の表示領域内に入るように、吹き出しオブジェクト２００４の領域の大きさを変更（拡張）している。図２８（ｃ）は吹き出しオブジェクト２００４の領域が右方向に拡張された画面２０００である。

しかし、図２８（ｃ）の例では吹き出しオブジェクト２００４の右側にスタンプ形状の描画オブジェクト２０１２があるため、吹き出しオブジェクト２００４の領域を右方向に拡張し過ぎると、吹き出しオブジェクト２００４とスタンプ形状の描画オブジェクト２０１２とが重なってしまう。

そこで、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４とスタンプ形状の描画オブジェクト２０１２との距離を計算し、吹き出しオブジェクト２００４がスタンプ形状の描画オブジェクト２０１２に重ならない長さ分、吹き出しオブジェクト２００４の領域を右方向に拡張する。ユーザは「この課題は明日の会議」に続けて「で再」とキーボード３００２から入力する。

さらに、ユーザは「この課題は明日の会議で再」に続けて「検討する」とキーボード３００２から入力する。図２８（ｃ）の画面２０００は、入力された「検討する」が吹き出しオブジェクト２００４に入りきらないものとする。吹き出しオブジェクト管理部５２はテキストデータ２０１８の全体が、吹き出しオブジェクト２００４の表示領域内に入るように、吹き出しオブジェクト２００４の領域を図２８（ｄ）に示すように下方向に拡張する。

図２８の処理は、例えば図２９のフローチャートに示すように実行される。図２９は吹き出しオブジェクトにキーボード入力した文字列を表示する処理の一例のフローチャートである。

ユーザは例えばマウス３００３を操作して図形の一覧メニューから吹き出しオブジェクト２００４を選択する。ユーザが吹き出しオブジェクトを選択すると、描画データ生成部４１は、カーソルの位置に規定の大きさで表示されるように吹き出しオブジェクト２００４を生成する。画面２０００に表示された吹き出しオブジェクト２００４は、ユーザがマウス３００３を使用してカーソルの位置を移動させることで、そのカーソルの位置に移動する。ユーザがマウス３００３をクリックすると、描画オブジェクト管理部５１は吹き出しオブジェクト２００４の位置を確定する。

位置が確定した吹き出しオブジェクト２００４は、ユーザが吹き出し内に文字列を入力するためのカーソルが表示される。吹き出しオブジェクト管理部５２は、描画オブジェクト管理部５１へ問い合わせ、吹き出しオブジェクト２００４の位置（ｆｘｓ，ｆｙｓ）（起点座標）と、右方向に存在するスタンプ形状（顔マーク）の描画オブジェクト２０１２の位置（ｓ１ｘｓ，ｓ１ｙｓ）（起点座標）と、下方向にあるスタンプ形状（星マーク）の描画オブジェクト２０１４の位置（ｓ２ｘｓ，ｓ２ｙｓ）（起点座標）と、を取得する。

ユーザはキーボード３００２から文字列の入力を行う。ユーザによる文字列の入力があると（ステップＳ２００においてＹＥＳ）、かな漢字変換部３０２２は入力された文字列の仮名漢字変換処理を行う。吹き出しオブジェクト管理部５２は仮名漢字変換処理後の文字列の全体が、吹き出しオブジェクト２００４の表示領域内に入るように、ステップＳ２０２以降の処理を行う。

追加される文字列が吹き出しオブジェクト２００４の表示領域内に収まれば（ステップＳ２０２においてＹＥＳ）、吹き出しオブジェクト管理部５２はステップＳ２１４の処理を実行する。ステップＳ２１４において、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４の表示領域内に、追加される文字列（仮名、漢字、英数、記号等）を表示するように管理する。

追加される文字列が吹き出しオブジェクト２００４の表示領域内に収まらなければ（ステップＳ２０２においてＮＯ）、吹き出しオブジェクト管理部５２はステップＳ２０４以降の処理を行う。ステップＳ２０４〜Ｓ２０６において、吹き出しオブジェクト管理部５２は文字または文字列が追加される毎に、右方向の拡張限界まで吹き出しオブジェクト２００４を右方向に拡張する。

吹き出しオブジェクト管理部５２は文字または文字列が追加される毎に、文字列領域の幅Ｗｓを求める。吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４及び描画オブジェクト２０１２の起点座標のＸ軸方向の距離（ｓ１ｘｓ−ｆｘｓ）から２つのマージンｆｍｘ及びｓｍを引いた値ｆｗを求める。値ｆｗは描画オブジェクト２０１２の位置を考慮して算出した吹き出しオブジェクト２００４の右方向の拡張限界である。

吹き出しオブジェクト管理部５２は、求めた幅Ｗｓと値ｆｗとを比較して、幅Ｗｓが値ｆｗよりも短いか否かを判定する。幅Ｗｓが値ｆｗよりも短ければ、吹き出しオブジェクト管理部５２はステップＳ２０６の処理を実行する。吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４の幅Ｗｆを（値ｆｗ＋マージンｆｍｘ×２）になるように横方向に拡張して、この長さで横方向の拡張を止める。

吹き出しオブジェクト管理部５２は１行の長さをｆｗとして、文字列領域の幅Ｗｓが１行の長さｆｗより大きくなると、１行の長さｆｗに入る最後の文字の後に改行コードを挿入して、その後の文字または文字列を２行目の先頭から表示させる。図２８（ｃ）に示した既定の吹き出しオブジェクト２００４の高さは２行の文字列が入る長さである。このため、吹き出しオブジェクト管理部５２は２行の文字列まで吹き出しオブジェクト２００４の高さを変更しない。

その後、文字列が追加されて、文字列が３行になると、３行目の文字は吹き出し領域からはみ出てしまう。そこで、吹き出しオブジェクト管理部５２は３行目の文字が吹き出し領域に入るように、ステップＳ２０８〜Ｓ２１２、及びＳ２１６の処理を実行する。

ステップＳ２０８において、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４を下方向へ拡張できるかチェックする。すなわち、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４を下方向へ拡張した時に、吹き出しオブジェクト２００４の下に存在するスタンプ（星マーク）と吹き出しオブジェクト２００４とが重なるか否かを判断する。

吹き出しオブジェクト管理部５２はフォントサイズと行数（３行）とＹ軸方向の２つのマージンｆｍｙから吹き出しオブジェクト２００４に必要な高さＨｆを求める。吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４の位置（ｆｘｓ，ｆｙｓ）（起点座標）と下方向にあるスタンプ形状（星マーク）の描画オブジェクト２０１４の位置（ｓ２ｘｓ，ｓ２ｙｓ）（起点座標）と、から、各起点座標のＹ軸方向の距離Ｄｙを求める。吹き出しオブジェクト２００４に必要な高さＨｆが距離Ｄｙからマージンｓｍを引いた値より小さい場合（ステップＳ２０８でＮＯ）、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４を高さＨｆ−ｙ０の長さだけ下方向に拡張する（ステップＳ２１６）。

また、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４に必要な高さＨｆが距離Ｄｙからマージンｓｍを引いた値より大きい場合（ステップＳ２０８でＹＥＳ）、吹き出しオブジェクト２００４を下方向に（距離Ｄｙ−マージンｓｍ−高さｙ０）の長さだけ拡張し（ステップＳ２１０）、上方向に（高さＨｆ−（距離Ｄｙ−マージンｓｍ））の長さだけ拡張する（ステップＳ２１２）。そして、吹き出しオブジェクト管理部５２は図２８（ｄ）に示したように、吹き出しオブジェクト２００４の表示領域内に３行の文字列を表示する。

第７の実施形態によれば、キーボード３００２を利用して吹き出しオブジェクト２００４への文字又は文字列を入力する場合に、入力する文字又は文字列に従って吹き出しオブジェクト２００４の表示領域の大きさを変更できる。また、第７の実施形態によれば、吹き出しオブジェクト２００４の表示領域の大きさを拡張する処理を、他の描画オブジェクト２０１２及び２０１４と重ならないように実行できる。

したがって、第７の実施形態によれば、キーボード入力により文字又は文字列が入力される吹き出しオブジェクト２００４を、他の描画オブジェクト２０１２及び２０１４と重ならない範囲で拡張して表示する処理の操作性を向上できる。

［第８の実施形態］
図３０はキーボード入力を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。第７の実施形態では、吹き出しオブジェクト２００４を下に拡張しようとしても、下方向にスタンプ形状（星マーク）の描画オブジェクト２０１４があって下方向にそれ以上拡張できないため、吹き出しオブジェクト２００４を上方向にも拡張する場合を示した。第８の実施形態は吹き出しオブジェクト２００４をそれ以上、拡張できなくなった場合に、吹き出しオブジェクト２００４の表示領域内に入るように、テキストデータのフォントサイズを小さくして表示させる。

第７の実施形態の図２９のステップＳ２０６、Ｓ２１０、及びＳ２１２では、吹き出しオブジェクト２００４を拡張することで、文字列「この課題は明日の会議で再検討する」を全て吹き出しオブジェクト２００４の表示領域に入れる場合を示している。第８の実施形態の図３０では吹き出しオブジェクト２００４の上方向に文字列の描画オブジェクト２０２０があり、上方向への吹き出しオブジェクト２００４の拡張範囲が制限される。

図３０（ｂ）の例では、他の描画オブジェクト２０１２、２０１４、及び２０２０と重ならない範囲で吹き出しオブジェクト２００４を拡張しても、ユーザにより入力された文字列のテキストデータ２０１８が吹き出しオブジェクト２００４の表示領域からはみ出ている。

そこで、図３０（ｃ）の例では、テキストデータ２０１８の全体が吹き出しオブジェクト２００４の表示領域内に入るように、テキストデータ２０１８のフォントサイズを縮小している。

図３０の処理は、一部を除いて第７の実施形態の図２９に示した処理と一部を除いて同様である。図３０の処理では、図２９のステップＳ２１０までの処理により、ユーザが入力した文字列のテキストデータ２０１８が吹き出しオブジェクト２００４の表示領域に収めることができない。

また、ステップＳ２１２において、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４の上方向にある描画オブジェクト２０２０の位置（起点座標および終点座標）を描画オブジェクト管理部５１から取得する。吹き出しオブジェクト管理部５２は取得した描画オブジェクト２０２０の終点座標と吹き出しオブジェクト２００４の起点座標からＹ軸方向の距離（ｆｙｓ−ｔ１ｙｅ）を求め、マージンｓｍより大きいか否かをチェックする。描画オブジェクト２０２０と吹き出しオブジェクト２００４のＹ軸方向の距離（ｆｙｓ−ｔ１ｙｅ）がマージンｓｍより小さいため、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４を上方向へは拡張できないと判断する。

そこで、吹き出しオブジェクト管理部５２は、文字列「この議題は明日の会議で再検討して解決し、部長に報告する」のテキストデータ２０１８の文字フォントのサイズを、吹き出しオブジェクト２００４に表示できる大きさに変更する。

第８の実施形態によれば、キーボード３００２を利用して吹き出しオブジェクト２００４への文字又は文字列を入力する場合に、他の描画オブジェクト２０１２、２０１４及び２０２０と重ならない大きさまで吹き出しオブジェクト２００４の表示領域の大きさを拡張したあと、吹き出しオブジェクト２００４の表示領域内に収まるように文字のフォントサイズを小さくできる。

したがって、第８の実施形態によれば、キーボード入力により文字又は文字列が入力される吹き出しオブジェクト２００４を、他の描画オブジェクト２０１２及び２０１４と重ならない範囲で拡張して表示する処理の操作性を向上できる。

［第９の実施形態］
第７及び第８の実施形態は、描画オブジェクト２０１２、２０１４、及び２０２０などの他の描画オブジェクトと重ならないように、吹き出しオブジェクト２００４を拡張することで、吹き出しオブジェクト２００４の表示領域内にキーボード入力された文字列を表示している。第９の実施形態は、吹き出しオブジェクト２００４の拡張に合わせて、吹き出しオブジェクト２００４の周りの他の描画オブジェクトが避けるように移動する。

図３１はキーボード入力を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。図３１（ａ）では、吹き出しオブジェクト２００４の上方向に文字列の描画オブジェクト２０２０があり、上方向への吹き出しオブジェクト２００４の拡張範囲が制限される。

ユーザは図３１（ａ）の吹き出しオブジェクト２００４に対して、図３１（ｂ）のように「この課題は明日の会議で再検討」という文字列をキーボード入力により吹き出しオブジェクト２００４に入力する。吹き出しオブジェクト管理部５２はキーボード入力により入力された文字列のテキストデータ２０２４が、吹き出しオブジェクト２００４の表示領域内に入るように、吹き出しオブジェクト２００４の領域の大きさを拡張する。

しかし、図３１（ｂ）の画面２０００では、吹き出しオブジェクト２００４の周りの他の描画オブジェクト２０１２、２０１４、及び２０２０により、吹き出しオブジェクト２００４の拡張範囲が制限されているため、テキストデータ２０２４の全体を吹き出しオブジェクト２００４の表示領域内に収めることができない。

そこで、図３１（ｃ）及び図３１（ｄ）の例では、吹き出しオブジェクト２００４を横方向に拡張すると共に、吹き出しオブジェクト２００４の横方向にある描画オブジェクト２０１２が吹き出しオブジェクト２００４を避けるように横方向に移動している。描画オブジェクト２０１２の横方向への移動ができなくなった場合（画面２０００の右端まで移動済みである場合）は、更に、吹き出しオブジェクト２００４を下方向に拡張するようにしてもよい。この場合は吹き出しオブジェクト２００４の下方向にある描画オブジェクト２０１４が吹き出しオブジェクト２００４を避けるように移動する。

図３１の処理は、例えば図３２のフローチャートに示すように実行される。図３２は吹き出しオブジェクトにキーボード入力した文字列を表示する処理の一例のフローチャートである。なお、図３２のフローチャートは一部を除いて図２９のフローチャートと同一であるため、適宜説明を省略する。ステップＳ２５０〜Ｓ２６０、Ｓ２７０、及びＳ２７２の処理は、図２９のステップＳ２００〜Ｓ２１０、Ｓ２１４、及びＳ２１６の処理と同一である。

第８の実施形態と同様に、吹き出しオブジェクト管理部５２はキーボード入力された文字列のテキストデータ２０２４が吹き出しオブジェクト２００４の既定の表示領域の大きさに収まらない場合、ステップＳ２５４〜Ｓ２５６において、吹き出しオブジェクト２００４を右方向に拡張する。

吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４の右方向の拡張限界まで吹き出しオブジェクト２００４を拡張した後、文字または文字列の入力があると、ステップＳ２５８以降の処理を行う。ステップＳ２５８〜Ｓ２６２、及びＳ２７２において、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４を下方向の拡張限界まで拡張した後、文字または文字列の入力があると、ステップＳ２６４以降の処理を行う。

ステップＳ２６４及びＳ２７４において、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４を上方向の拡張限界まで拡張した後、文字または文字列の入力があると、ステップＳ２６６以降の処理を行う。

吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４の横方向にある描画オブジェクト２０１２が吹き出しオブジェクト２００４を避けるように横方向に移動できれば、ステップＳ２６８の処理を行う。ステップＳ２６８において、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４を横方向に拡張すると共に、吹き出しオブジェクト２００４の横方向にある描画オブジェクト２０１２が吹き出しオブジェクト２００４を避けるように横方向に移動する。

吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４の横方向にある描画オブジェクト２０１２が吹き出しオブジェクト２００４を避けるように横方向に移動できなければ、ステップＳ２７６の処理を行う。ステップＳ２７６において、吹き出しオブジェクト管理部５２はテキストデータ２０２４の全体が吹き出しオブジェクト２００４の表示領域内に収まるように、テキストデータ２０２４のフォントサイズを縮小する。

例えばユーザがキーボード３００２で「saikentou」と入力すると、かな漢字変換部３０２２は仮名漢字変換処理を行う。吹き出しオブジェクト管理部５２は仮名漢字変換処理後の文字列「再検討」を表示させようとする。しかし、吹き出しオブジェクト２００４の右方向にある描画オブジェクト２０１２及び下方向にある描画オブジェクト２０１４と重ならないという条件下では、図３１（ｂ）に示したように「討」の字が吹き出しオブジェクト２００４の表示領域に収まらない。

そこで、吹き出しオブジェクト管理部５２は「討」の字が吹き出しオブジェクト２００４の表示領域に収まるように、吹き出しオブジェクト２００４の表示領域を右方向へ幅Ｅｘ１の長さだけ拡張する。吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の右側にある描画オブジェクト２０１２を幅Ｅｘ１の長さだけ右方向へ移動させるように描画オブジェクト管理部５１へ依頼する。

描画オブジェクト管理部５１は描画オブジェクト２０１２の起点座標のｘ座標値を幅Ｅｘ１の値を加算した値で置き換える。また、描画オブジェクト管理部５１は置換後の起点座標から描画オブジェクト２０１２を表示するように表示制御部４４へ依頼する。表示制御部４４は描画オブジェクト２０１２を置換後の起点座標の位置に移動して、図３１（ｃ）に示すようにディスプレイ３００１に表示する。

続いて、ユーザがキーボード３００２を使用して文字列をキーボード入力すると、吹き出しオブジェクト管理部５２は図３１（ｄ）に示すように、入力された文字列のテキストデータ２０２４が吹き出しオブジェクト２００４の表示領域に入るように、吹き出しオブジェクト２００４の表示領域を右に拡張する。また、描画オブジェクト管理部５１は吹き出しオブジェクト２００４を拡張した長さだけ、描画オブジェクト２０１２を右へ移動するように表示制御部４４に依頼する。このようにして、ユーザがキーボード入力した「この議題は明日の会議で再検討して解決し、部長に報告する」の文字列は右方向に拡張された吹き出しオブジェクト２００４の表示領域内に表示される。

したがって、第９の実施形態によれば、他の描画オブジェクト２０１２、２０１４、及び２０２０が、文字又は文字列がキーボード入力される吹き出しオブジェクト２００４を避けるように移動することで、他の描画オブジェクト２０１２、２０１４、及び２０２０と重ならない範囲で吹き出しオブジェクト２００４を拡張して表示する処理の操作性を向上できる。

したがって、第９の実施形態によれば、他の描画オブジェクト２０１２、２０１４、及び２０２０が、キーボード入力により文字又は文字列が入力される吹き出しオブジェクト２００４を避けるように移動することで、他の描画オブジェクト２０１２、２０１４、及び２０２０と重ならない範囲で吹き出しオブジェクト２００４を拡張して表示する処理の操作性を向上できる。

［第１０の実施形態］
なお、第９の実施形態では図１６（ｂ）に示したように、描画オブジェクト２０１２及び２０１４などの描画オブジェクトごとに移動設定ができるようにしてもよい。例えば描画オブジェクト２０１２の上をマウス３００３でクリックすると、描画オブジェクト２０１２用の移動設定メニュー２０３０が表示される。また、例えば描画オブジェクト２０１４の上をクリックすると、描画オブジェクト２０１４用の移動設定メニュー２０３２が表示される。

ユーザは例えば描画オブジェクト２０１２用の移動設定メニュー２０３０から描画オブジェクト２０１２の移動を有効とするか無効とするかを設定できる。また、ユーザは例えば描画オブジェクト２０１４用の移動設定メニュー２０３２から描画オブジェクト２０１４の移動を有効とするか無効とするかを設定できる。設定のデフォルトは、例えば無効である。設定の有効／無効の設定情報は、図１７に示したように、描画オブジェクト管理部５１が描画オブジェクトに対応付けて管理する。

例えば図１７中、描画オブジェクトＩＤ「００１」の描画オブジェクトがグループ化された文字列（図１６では図示を省略）である。描画オブジェクトＩＤ「００２」の描画オブジェクト２０１２は顔マークのスタンプである。描画オブジェクトＩＤ「００３」の描画オブジェクト２０１４は星マークのスタンプである。また、描画オブジェクトＩＤ「００４」は吹き出しオブジェクト２００４を表している。

第１０の実施形態では、吹き出しオブジェクト２００４を拡張させる場合に、吹き出しオブジェクト２００４の拡張を避けるように移動できるか否かを描画オブジェクトそれぞれに対して設定できる。

［第１１の実施形態］
第１１の実施形態は、第７の実施形態のようにオブジェクトのタイプが「グループ化した文字列」の描画オブジェクト２００６の右側に吹き出しオブジェクト２００４を追加する場合であって、更に、吹き出しオブジェクト２００４の右側に描画オブジェクト２０１２と、その描画オブジェクト２０１２を補足する吹き出しオブジェクト２０４０がある場合について説明する。

図３３はキーボード入力を利用した吹き出しオブジェクトへの文字又は文字列の入力の一例について説明する図である。図３３（ａ）は描画オブジェクト２００６の右側に吹き出しオブジェクト２００４を表示した画面２０００である。ユーザは図３３（ａ）の吹き出しオブジェクト２００４に対して「この課題は明日の会議で再検討」までキーボード入力する。

キーボード入力された文字列のテキストデータ２０１８は吹き出しオブジェクト２００４の表示領域に追加されるが、既定の吹き出しオブジェクト２００４の表示領域の大きさに収まらなかったものとする。このため、図３３（ｂ）に示すように、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４の右方向にある吹き出しオブジェクト２０４０と重ならないように吹き出しオブジェクト２００４を右方向へ拡張する。

また、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４の下方向にある描画オブジェクト２０１４と重ならないように吹き出しオブジェクト２００４を下方向へ拡張する。

ユーザは図３３（ｂ）の吹き出しオブジェクト２００４に対して、キーボード入力により続けて「する」と入力する。吹き出しオブジェクト管理部５２はキーボード入力された文字列が吹き出しオブジェクト２００４の表示領域に収まるように、吹き出しオブジェクト２００４を右方向へ拡張する。描画オブジェクト管理部５１は吹き出しオブジェクト２００４が吹き出しオブジェクト２０４０に重なったことを検出すると、重なり領域の情報を吹き出しオブジェクト管理部５２に通知する。吹き出しオブジェクト管理部５２は重なり領域がなくなるような吹き出しオブジェクト２０４０の形状を判断する。吹き出しオブジェクト管理部５２は例えば図３３（ｃ）に示す吹き出しオブジェクト２０４０の形状となるように、吹き出しオブジェクト２０４０の描画データを変更する。

図３３の処理は、例えば図３４に示すフローチャートを利用して実行される。図３４は吹き出しオブジェクトにキーボード入力した文字列を表示する処理の一例のフローチャートである。吹き出しオブジェクト２００４の起点座標は（ｆ１ｘｓ，ｆ１ｙｓ）とする。吹き出しオブジェクト２０４０の起点座標は（ｆ２ｘｓ，ｆ２ｙｓ）とする。

ユーザが吹き出しオブジェクト２００４に対してキーボード３００２により文字列の入力を開始すると、吹き出しオブジェクト管理部５２は、入力された文字列のテキストデータ２０１８が規定の大きさの吹き出しオブジェクト２００４の表示領域に収まるか否かをチェックする。テキストデータ２０１８の文字数が多くなって吹き出し領域に収まらなくなると、吹き出しオブジェクト管理部５２は描画オブジェクト管理部５１から全ての描画オブジェクトの位置情報を取得する。

吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の右方向に吹き出しオブジェクト２０４０があり、吹き出しオブジェクト２００４の上方向に文字列の描画オブジェクト２０２０があり、吹き出しオブジェクト２００４の下方向にスタンプ形状（星マーク）の描画オブジェクト２０１４がある、ことを確認する。

既定の大きさの吹き出しオブジェクト２００４の表示領域には「この議題は明日の会議」のテキストデータ２０１８まで収まるが、その次の「で」のテキストデータ２０１８が収まらないものとする。

吹き出しオブジェクト管理部５２は「で」がキーボード入力されると、吹き出しオブジェクト２００４を拡張できるかチェックする。吹き出しオブジェクト２００４の終点座標は、吹き出しオブジェクト２０４０の起点座標のＸ座標値ｆ２ｘｓからマージンｓｍを引いた値までＸ軸方向（右方向）に拡張できる。

図３３の例では、吹き出しオブジェクト管理部５２が、右方向の拡張限界まで吹き出しオブジェクト２００４を拡張しても「で」のテキストデータ２０１８が吹き出しオブジェクト２００４の表示領域に収まらない判断する。

次に、吹き出しオブジェクト管理部５２は「で」のテキストデータ２０１８が収まるように吹き出しオブジェクト２００４を下方向へ拡張した場合に、吹き出しオブジェクト２００４の終点座標のＹ座標値が吹き出しオブジェクト２００４の下方向にある描画オブジェクト２０１４の起点座標のＹ座標値からマージンｓｍを引いた値より小さいことを確認すると、吹き出しオブジェクト２００４を「で」のテキストデータ２０１８が収まるように下方向へ拡張する。

続いて、ユーザは「再検討する」をキーボード入力する。図３３（ｂ）に示した吹き出しオブジェクト２００４の表示領域には「再検討」のテキストデータ２０１８まで収まるが、その次の「する」のテキストデータ２０１８が収まらないものとする。吹き出しオブジェクト管理部５２は「する」がキーボード入力されると、吹き出しオブジェクト２００４を下方向へ拡張できるかチェックする。

吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の終点座標のＹ座標値が吹き出しオブジェクト２００４の下方向にある描画オブジェクト２０１４の起点座標のＹ座標値からマージンｓｍを引いた値より大きいため、吹き出しオブジェクト２００４を下方向へ拡張できないと判断する。

ステップＳ３００において、吹き出しオブジェクト管理部５２は、拡張できないと判断した吹き出しオブジェクト２００４の周囲に、他の吹き出しオブジェクトがあるか否かをチェックする。図３３の例では、吹き出しオブジェクト管理部５２が吹き出しオブジェクト２００４の右方向に他の吹き出しオブジェクト２０４０があると判断し、ステップＳ３０２の処理を実行する。

吹き出しオブジェクト管理部５２は「する」の文字列のテキストデータ２０１８が収まるように吹き出しオブジェクト２００４を右方向へ幅Ｅｘ２の長さだけ拡張する。また、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の右方向にある吹き出しオブジェクト２０４０の幅をＥｘ２の長さだけ小さくする。すなわち、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２０４０の起点座標を（ｆ２ｘｓ，ｆ２ｙｓ）から（ｆ２ｘｓ＋Ｅｘ２，ｆ２ｙｓ）に変更する。

吹き出しオブジェクト２０４０の幅を小さくすると、吹き出しオブジェクト２０４０の表示領域に収まっているテキストデータが吹き出しオブジェクト２０４０の表示領域からはみ出てしまう。このため、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２０４０の高さが吹き出しオブジェクト２００４と同じ高さＨｆになるように吹き出しオブジェクト２０４０を下方向に拡張するとともに、吹き出しオブジェクト２０４０を描画オブジェクト２０１２の下側且つ右方向に拡張する。

すなわち、吹き出しオブジェクト管理部５２は「この議題は明日の会議で再検討する」のテキストデータ２０１８が吹き出し２００４に収まるように、吹き出しオブジェクト２０４０の位置（ｆ２ｘｅ，ｓ１ｙｅ＋ｓｍ）から下の領域を、図３３（ｃ）に示したように右方向へ拡張している。ｆ２ｘｅは吹き出しオブジェクト２０４０の終点座標のｘ成分であり、ｓ１ｙｅは描画オブジェクト２０１２の終点座標のｙ成分であり、ｓｍはマージンである。なお、吹き出しオブジェクト２０４０は図３３（ｃ）に示したように途中から右方向へ拡張せずに、下方向へ拡張するようにしてもよい。

したがって、第１１の実施形態によれば、他の吹き出しオブジェクト２０４０が、文字又は文字列がキーボード入力されることで拡張される吹き出しオブジェクト２００４を避けるように変形することで、吹き出しオブジェクト２００４を拡張して表示する処理の操作性を向上できる。

［第１２の実施形態］
第１２の実施形態は、余白領域を有効活用するため、吹き出しオブジェクト２００４が他の描画オブジェクト２０１２、２０１４、及び２０２０を避けるように変形して拡張する例である。

図２９のステップＳ２０６、Ｓ２１０、及びＳ２１２では、吹き出しオブジェクト２００４を拡張することで、キーボード入力した文字列のテキストデータ２０１８を全て吹き出しオブジェクト２００４の表示領域に収める場合を示している。図３５では吹き出しオブジェクト２００４の上方向に文字列の描画オブジェクト２０２０があるため、吹き出しオブジェクト２００４の表示領域の拡張範囲が制限される。このため、キーボード入力された文字列のテキストデータ２０１８は、図３５（ｂ）に示したように、吹き出しオブジェクト２００４からはみ出てしまう。

そこで、図３５（ｃ）の例では、吹き出しオブジェクト２００４が他の描画オブジェクト２０１２、２０１４、及び２０２０と重ならないように（避けるように）変形して拡張することで、キーボード入力されたテキストデータ２０１８の全体が吹き出しオブジェクト２００４の表示領域内に収まるように表示する。

図３５の処理は、例えば図３６に示すフローチャートを利用して実行される。図３６は吹き出しオブジェクトにキーボード入力した文字列を表示する処理の一例のフローチャートである。なお、図３６のフローチャートは一部を除いて図３２のフローチャートと同一であるため、適宜説明を省略する。ステップＳ３２０〜Ｓ３３４、Ｓ３４０、Ｓ３４２、及びＳ３４４の処理は、図３２のステップＳ２５０〜Ｓ２６４、Ｓ２７０、Ｓ２７２、及びＳ２７４の処理と同一である。

ステップＳ３３６までの処理で、吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４を右方向、下方向、及び上方向に拡張限界まで拡張している。ステップＳ３３６において、吹き出しオブジェクト管理部５２は描画オブジェクト管理部５１から描画オブジェクト全ての位置情報を取得する。吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の下方向に描画オブジェクト２０１４しか存在しないことを確認する。そして、吹き出しオブジェクト管理部５２は、吹き出し領域の幅から描画オブジェクト２０１４の幅と二つのマージンｓｍを引いた値が文字の大きさより大きいことを確認する。

ステップＳ３３６でＹＥＳの場合、吹き出しオブジェクト管理部５２は、ステップＳ３３８において、描画オブジェクト２０１４に重ならないように吹き出しオブジェクト２００４を例えば図３５（ｃ）のように変形して下方向へ拡張する。すなわち、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の表示領域の起点座標のｘ座標から描画オブジェクト２０１４の起点座標のｘ座標値からマージンｓｍを引いた値のx座標までの範囲（ｍ１）について、吹き出しオブジェクト２００４を下方向へ文字の大きさ（高さ）＋吹き出しオブジェクト２００４の表示領域内のＹ軸方向のマージンｆｍｙの距離だけ拡張する。

また、吹き出しオブジェクト管理部５２は、描画オブジェクト２０１４の終点座標のｘ座標値にマージンｓｍを加算した値のｘ座標から、吹き出しオブジェクト２００４の表示領域の終点座標のｘ座標までの範囲（ｍ２）について、吹き出しオブジェクト２００４を下方向へ文字の大きさ（高さ）＋吹き出しオブジェクト２００４の表示領域内のＹ軸方向のマージンｆｍｙの距離だけ拡張する。

そして、吹き出しオブジェクト管理部５２は「討」を吹き出しオブジェクト２００４の左側の拡張領域に入れる。続いて、ユーザが「する」を入力すると、吹き出しオブジェクト管理部５２は「する」を吹き出しオブジェクト２００４の右側の拡張領域に入れる。

なお、吹き出しオブジェクト管理部５２は、吹き出しオブジェクト２００４の表示領域内にテキストデータ２０１８が追加される毎に、表示制御部４４へ表示を依頼する。表示制御部４４は更新された画面データをディスプレイ３００１に表示する。吹き出しオブジェクト管理部５２は吹き出しオブジェクト２００４を変形して拡張しても、キーボード入力された文字列のテキストデータ２０１８が吹き出しオブジェクト２００４に収まらなければ、ステップＳ３４６において、テキストデータ２０１８の全体が吹き出しオブジェクト２００４の表示領域内に収まるように、テキストデータ２０１８のフォントサイズを縮小する。

したがって、第１２の実施形態によれば、吹き出しオブジェクト２００４の表示領域の大きさを拡張する処理を、吹き出しオブジェクト２００４が他の描画オブジェクト２０１２、２０１４、及び２０２０を避けるように変形することで、吹き出しオブジェクト２００４を拡張して表示する処理の操作性を向上できる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

なお、吹き出しオブジェクト２００４は、特許請求の範囲の第１の描画オブジェクトの一例である。描画オブジェクト２０１２、２０１４、２０２０、及び２０４０は、第２の描画オブジェクトの一例である。手書き入力部４０は手書き入力手段の一例である。描画データ生成部４１は描画生成手段の一例である。オブジェクト管理部４２はオブジェクト管理手段の一例である。表示制御部４４は表示制御手段の一例である。キーコード入力部３０２０はキーコード入力手段の一例である。

１ 電子黒板
２ ＰＣ
１０ 表示部
１１ タッチパネル
１２ 制御部
４０ 手書き入力部
４１ 描画データ生成部
４２ オブジェクト管理部
４３ 文字認識部
４４ 表示制御部
４５ 会議データ記憶部
４６ ネットワーク通信部
５１ 描画オブジェクト管理部
５２ 吹き出しオブジェクト管理部
２００４、２０４０ 吹き出しオブジェクト
２０１２、２０１４、２０２０ 描画オブジェクト
２０１６ 文字列
２０１８ テキストデータ
３０００ ＰＣ本体
３００１ ディスプレイ
３００２ キーボード
３００３ マウス
３０２０ キーコード入力部
３０２１ マウスイベント入力部
３０２２ かな漢字変換部

特開２０１５−７３１９８号公報

Claims (15)

1. 手書き入力を受け付ける手書き入力手段と、
   前記手書き入力手段が受け付けた前記手書き入力に基づき生成した手書きオブジェクトを生成する描画生成手段と、
   前記手書きオブジェクトから認識した文字又は文字列を表示領域内に表示する第１の描画オブジェクトと、前記第１の描画オブジェクト以外の第２の描画オブジェクトとが重ならないように、前記第１の描画オブジェクトの表示領域の形状を変更するオブジェクト管理手段と、
   表示領域の形状を変更させた前記第１の描画オブジェクトを表示する表示制御手段と、
   を備える入力装置。
2. キーコードによる入力を受け付けるキーコード入力手段と、
   前記キーコードから変換した文字又は文字列を表示領域内に表示する第１の描画オブジェクトと、前記第１の描画オブジェクト以外の第２の描画オブジェクトとが重ならないように、前記第１の描画オブジェクトの表示領域の形状を変更するオブジェクト管理手段と、
   表示領域の形状を変更させた前記第１の描画オブジェクトを表示する表示制御手段と、
   を備える入力装置。
3. 表示領域の形状とは、表示領域の形又は大きさのうち少なくとも１つを示すことを
   特徴とする請求項１又は２に記載の入力装置。
4. 前記オブジェクト管理手段は、前記手書きオブジェクトから認識した文字又は文字列を前記第１の描画オブジェクトの表示領域内に表示するように、前記第１の描画オブジェクトの表示領域の形状を変更すること、
   を特徴とする請求項１記載の入力装置。
5. 前記オブジェクト管理手段は、前記手書きオブジェクトから認識した文字又は文字列を前記第１の描画オブジェクトの表示領域内に表示するように、前記手書きオブジェクトから認識した文字又は文字列のフォントサイズを変更すること
   を特徴とする請求項１又は４記載の入力装置。
6. 前記オブジェクト管理手段は、前記キーコードから変換した文字又は文字列を前記第１の描画オブジェクトの表示領域内に表示するように、前記文字又は文字列のフォントサイズを変更すること
   を特徴とする請求項２記載の入力装置。
7. 前記オブジェクト管理手段は、前記第１の描画オブジェクトと、前記第２の描画オブジェクトと、が重ならないように、前記第２の描画オブジェクトの表示位置を変更すること
   を特徴とする請求項１乃至６の何れか一項に記載の入力装置。
8. 前記オブジェクト管理手段は、前記第２の描画オブジェクトごとに、前記表示位置の変更の有効／無効の設定情報を管理し、前記設定情報が有効の前記第２の描画オブジェクトの表示位置を変更すること
   を特徴とする請求項７記載の入力装置。
9. 前記オブジェクト管理手段は、前記第１の描画オブジェクトと前記第２の描画オブジェクトと、が重ならないように、前記第２の描画オブジェクトを変形して表示するように変更すること
   を特徴とする請求項１乃至６の何れか一項に記載の入力装置。
10. 前記オブジェクト管理手段は、前記文字又は文字列が認識された前記手書きオブジェクトの書き始めの位置情報が前記表示領域内である前記第１の描画オブジェクトを、前記手書きオブジェクトに対応する前記第１の描画オブジェクトとして選択すること
    を特徴とする請求項１又は４記載の入力装置。
11. 前記第１の描画オブジェクトは、吹き出しオブジェクトであること
    を特徴とする請求項１乃至１０の何れか一項に記載の入力装置。
12. 手書き入力手段が、手書き入力を受け付ける手書き入力ステップと、
    描画生成手段が、前記手書き入力ステップで受け付けた前記手書き入力に基づき生成した手書きオブジェクトを生成する描画生成ステップと、
    オブジェクト管理手段が、前記手書きオブジェクトから認識した文字又は文字列を表示領域内に表示する第１の描画オブジェクトと、前記第１の描画オブジェクト以外の第２の描画オブジェクトとが重ならないように、前記第１の描画オブジェクトの表示領域の形状を変更するオブジェクト管理ステップと、
    表示制御手段が、表示領域の形状を変更させた前記第１の描画オブジェクトを表示する表示制御ステップと、
    を有することを特徴とする入力方法。
13. キーコード入力手段が、キーコードによる入力を受け付けるキーコード入力ステップと、
    オブジェクト管理手段が、前記キーコードから変換した文字又は文字列を表示領域内に表示する第１の描画オブジェクトと、前記第１の描画オブジェクト以外の第２の描画オブジェクトとが重ならないように、前記第１の描画オブジェクトの表示領域の形状を変更するオブジェクト管理ステップと、
    表示制御手段が、表示領域の形状を変更させた前記第１の描画オブジェクトを表示する表示制御ステップと、
    を有することを特徴とする入力方法。
14. 入力装置を、
    手書き入力を受け付ける手書き入力手段、
    前記手書き入力手段が受け付けた前記手書き入力に基づき生成した手書きオブジェクトを生成する描画生成手段、
    前記手書きオブジェクトから認識した文字又は文字列を表示領域内に表示する第１の描画オブジェクトと、前記第１の描画オブジェクト以外の第２の描画オブジェクトとが重ならないように、前記第１の描画オブジェクトの表示領域の形状を変更するオブジェクト管理手段、
    表示領域の形状を変更させた前記第１の描画オブジェクトを表示する表示制御手段、
    として機能させるためのプログラム。
15. 入力装置を、
    キーコードによる入力を受け付けるキーコード入力手段、
    前記キーコードから変換した文字又は文字列を表示領域内に表示する第１の描画オブジェクトと、前記第１の描画オブジェクト以外の第２の描画オブジェクトとが重ならないように、前記第１の描画オブジェクトの表示領域の形状を変更するオブジェクト管理手段、
    表示領域の形状を変更させた前記第１の描画オブジェクトを表示する表示制御手段、
    として機能させるためのプログラム。

Images