JP2015049592A - 電子機器および方法 - Google Patents

電子機器および方法 Download PDF

Info

Publication number
JP2015049592A
JP2015049592A JP2013179523A JP2013179523A JP2015049592A JP 2015049592 A JP2015049592 A JP 2015049592A JP 2013179523 A JP2013179523 A JP 2013179523A JP 2013179523 A JP2013179523 A JP 2013179523A JP 2015049592 A JP2015049592 A JP 2015049592A
Authority
JP
Japan
Prior art keywords
annotation
screen
document
size
layout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013179523A
Other languages
English (en)
Inventor
栄太 首藤
Eita Shudo
栄太 首藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2013179523A priority Critical patent/JP2015049592A/ja
Priority to US14/163,775 priority patent/US20150067469A1/en
Publication of JP2015049592A publication Critical patent/JP2015049592A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/103Formatting, i.e. changing of presentation of documents

Abstract

【課題】ドキュメント上の注釈をリフローに応じて適切に配置できる電子機器を実現する。
【解決手段】実施形態によれば、電子機器は、入力手段と表示処理手段とを具備する。入力手段は、第1画面に表示される場合に複数のエレメントが第1レイアウトで配置されるドキュメントであって、前記複数のエレメントの内の第1エレメントの少なくとも一部分上に注釈が配置されるドキュメントのデータを入力する。表示処理手段は、前記データを用いて前記第1画面のサイズとは異なるサイズを有する第2画面にドキュメントを表示する場合、前記複数のエレメントが第2レイアウトで配置され、前記第2レイアウトで配置される第1エレメントの少なくとも一部分上に前記注釈が配置されるドキュメントを、前記第2画面に表示する。
【選択図】図6

Description

本実施形態は、ドキュメントを処理する電子機器および該機器に適用される方法に関する。
ウェブページや電子書籍のような各種のドキュメントの閲覧には、デスクトップ型またはノートブック型のパーソナルコンピュータ(PC)、タブレットコンピュータ、スマートフォン、携帯電話のような様々な電子機器が利用されている。
このような電子機器には、ドキュメントを画面サイズ(解像度)に応じたレイアウトで表示するリフロー機能を有するものがある。ドキュメントが画面サイズに応じたレイアウトで表示されることによって、ユーザはそのドキュメントを容易に閲覧することができる。
特開2005−4774号公報
ところで、閲覧しているドキュメント上に注釈(アノテーション)を付加する機能が期待される場合がある。ユーザは、ドキュメント上に注釈を付加することにより、例えば、後でそのドキュメントを閲覧する場合や、別のユーザにドキュメントを閲覧させる場合に、そのドキュメントを効率的に利用することができる。
しかし、ある電子機器(例えば、ノートブック型PC)でドキュメント上に注釈を付与した後に、画面サイズが異なる別の電子機器(例えば、スマートフォン)でその注釈が付与されたドキュメントを閲覧する場合、上述したリフロー機能によって注釈が意図しない位置に配置される可能性がある。
本発明の一形態は、ドキュメント上の注釈をリフローに応じて適切に配置できる電子機器および方法を提供することを目的とする。
実施形態によれば、電子機器は、入力手段と表示処理手段とを具備する。入力手段は、第1画面に表示される場合に複数のエレメントが第1レイアウトで配置されるドキュメントであって、前記複数のエレメントの内の第1エレメントの少なくとも一部分上に注釈が配置されるドキュメントのデータを入力する。表示処理手段は、前記データを用いて前記第1画面のサイズとは異なるサイズを有する第2画面にドキュメントを表示する場合、前記複数のエレメントが第2レイアウトで配置され、前記第2レイアウトで配置される第1エレメントの少なくとも一部分上に前記注釈が配置されるドキュメントを、前記第2画面に表示する。
実施形態に係る電子機器の外観を示す斜視図。 同実施形態の電子機器のシステム構成を示すブロック図。 同実施形態の電子機器によって表示されるドキュメント内のエレメントのレイアウトが変更(リフロー)される例を示す図。 ドキュメント上に書き込まれた注釈が、レイアウトの変更後に不適切な領域に表示される例を示す図。 同実施形態の電子機器によって、ドキュメント上に書き込まれた注釈が、レイアウトの変更後に適切な領域に表示される例を示す図。 同実施形態の電子機器によって実行されるブラウザアプリケーションプログラムの機能構成の例を示すブロック図。 同実施形態の電子機器によって、注釈に対応する基準エレメントが決定される例を説明するための図。 同実施形態の電子機器によって用いられるエレメントデータの一構成例を示す図。 同実施形態の電子機器によって用いられる注釈データの一構成例を示す図。 同実施形態の電子機器によって、基準エレメントの拡大または縮小に応じて注釈が拡大または縮小される例を示す図。 同実施形態の電子機器によって、ドキュメント上に書き込まれた注釈がレイアウトの変更後に適切な領域に表示される別の例を示す図。 同実施形態の電子機器によって、ドキュメント上に手書きされた注釈がレイアウトの変更後に適切な領域に表示される例を示す図。 同実施形態の電子機器によって実行されるドキュメント保存処理の手順の例を示すフローチャート。 同実施形態の電子機器によって実行されるドキュメント表示処理の手順の例を示すフローチャート。
以下、実施の形態について図面を参照して説明する。
図1は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、PDA等として実現され得る。以下では、この電子機器がタブレットコンピュータ10として実現されている場合を想定する。タブレットコンピュータ10は、タブレットまたはスレートコンピュータとも称される携帯型電子機器であり、図1に示すように、本体11とタッチスクリーンディスプレイ17とを備える。タッチスクリーンディスプレイ17は、本体11の上面に重ね合わせるように取り付けられている。
本体11は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ17には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置(LCD)であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの2種類のセンサの双方がタッチスクリーンディスプレイ17に組み込まれている場合を想定する。
デジタイザ及びタッチパネルの各々は、フラットパネルディスプレイの画面と重なるように設けられる。タッチスクリーンディスプレイ17は、指を使用した画面に対するタッチ操作(接触操作)のみならず、ペン10Aを使用した画面に対するタッチ操作(接触操作)も検出することができる。ペン10Aは例えば電磁誘導ペンであってもよい。ユーザは、ペン10Aまたは指を使用してタッチスクリーンディスプレイ17上で様々なジェスチャ操作、例えば、タップ、ドラッグ、スワイプ、フリック、等を行うことができる。
また、ユーザは、ペン10Aを使用してタッチスクリーンディスプレイ17上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上のペン10Aの動きの軌跡、つまり手書き入力操作によって手書きされるストローク(手書きストロークの軌跡)がリアルタイムに描画され、これによって手書きにより入力された複数の手書きストローク(各手書きストロークの軌跡)が画面上に表示される。
図2は、実施形態におけるタブレットコンピュータ10のシステム構成を示す図である。
タブレットコンピュータ10は、図2に示されるように、CPU101、システムコントローラ102、メインメモリ103、グラフィクスコントローラ104、BIOS−ROM105、記録デバイス106、無線通信デバイス107、エンベデッドコントローラ(EC)108等を備える。
CPU101は、タブレットコンピュータ10内の各種コンポーネントの動作を制御するプロセッサである。CPU101は、記録デバイス106からメインメモリ103にロードされる各種プログラムを実行する。CPU101により実行されるプログラムには、オペレーティングシステム(OS)201や、ブラウザアプリケーションプログラム202等の各種アプリケーションプログラムが含まれている。ブラウザアプリケーションプログラム202は、サーバからドキュメント(例えば、ウェブページ)のデータを取得する機能、ドキュメントを画面に表示する機能、ドキュメント上に注釈を作成する機能、ドキュメントを保存する機能等を有する。
また、CPU101は、BIOS−ROM105に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
システムコントローラ102は、CPU101のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ102には、メインメモリ103をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ102は、シリアルバスなどを介してグラフィクスコントローラ104との通信を実行する機能も有している。
グラフィクスコントローラ104は、タブレットコンピュータ10のディスプレイモニタとして使用されるLCD17Aを制御する表示コントローラである。グラフィクスコントローラ104によって生成される表示信号はLCD17Aに送られる。LCD17Aは、表示信号に基づいて画面イメージを表示する。LCD17Aの上層には、画面上の指の接触位置を検知するためのタッチパネル17Bが配置されている。さらに、LCD17Aの下層には、画面上のペン10Aの接触位置を検知するためのデジタイザ17Cが配置されている。タッチパネル17Bは、LCD17Aの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置及び接触位置の動き等はタッチパネル17Bによって検出される。デジタイザ17CはLCD17Aの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン10Aが接触される画面上の接触位置及び接触位置の動き等はデジタイザ17Cによって検出される。
OS201は、タッチパネル17Bを制御するドライバプログラムと協働して、画面上に指が接触したこと、およびその接触位置を示す入力イベントを発行する。また、OS201は、デジタイザ17Cを制御するドライバプログラムと協働して、画面上にペン10Aが接触したこと、およびその接触位置を示す入力イベントを発行する。
無線通信デバイス107は、無線LANまたは3G移動通信などの無線通信を実行するように構成されたデバイスである。
EC108は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。EC108は、ユーザによるパワーボタンの操作に応じてタブレットコンピュータ10を電源オンまたは電源オフする機能を有している。
上述したように、ブラウザアプリケーションプログラム202はドキュメントを画面に表示する閲覧機能を有する。ドキュメントは、テキスト、画像、表、図形、等の少なくともいずれかを含む情報であればよく、例えば、HTML形式のウェブページやePub形式の電子書籍である。ドキュメントは、例えば、複数のエレメント(ブロック)を含み、これら複数のエレメントはツリー構造を有する。
また、ブラウザアプリケーションプログラム202は、HTML形式のウェブページのようなドキュメントを表示する場合に、画面のサイズ、ウェブページに含まれるエレメントのツリー構造、フォントサイズ、等に応じて、エレメントのレイアウトを決定するリフロー機能も有する。なお、画面のサイズは、画面の物理的な大きさではなく、解像度を示すこともある。また、画面は、例えばディスプレイを回転させることによって、その画面の向き(ユーザに正対した場合の画面の向き)を変更できるので、ブラウザアプリケーションプログラム202は、画面が横表示である場合と縦表示である場合とで、画面を異なるサイズとして扱う。したがって、ブラウザアプリケーションプログラム202は、リフロー機能が用いられる場合に、画面が横表示であるか縦表示であるかに応じて、エレメントのレイアウトを変更することができる。
図3を参照して、このリフロー機能を用いて表示されるドキュメントの例を説明する。
ブラウザアプリケーションプログラム202は、例えば、画面のサイズに応じて、ドキュメント(ウェブページ)内のエレメントのレイアウトを変更する、すなわち、ドキュメント内のエレメントをリフローする。例えば、ノートブック型のPCに設けられた大きな画面と、タブレットコンピュータやスマートフォンに設けられた小さな画面とでは、同一のドキュメントが異なるレイアウトで表示される。
図3に示す第1画面40と第2画面60とでは同一のドキュメント(例えば、同一のHTMLソースコードに基づくウェブページ)が表示されている。しかし、第1画面40と第2画面60とでは画面のサイズが異なるので、ドキュメント内のエレメントの配置(レイアウト)が異なっている。
例えば、第2画面60上のドキュメントに含まれる“エレメント1(Elm1)”61〜“エレメント8(Elm8)”68は、第1画面40上のドキュメントに含まれる“エレメント1(Elm1)”41〜“エレメント8(Elm8)”48にそれぞれ対応するが、第2画面60の幅が第1画面40の幅よりも小さいことに応じてエレメントの配置が変更されている。また、第1画面40のドキュメントに含まれる“エレメント9(Elm9)”49および“エレメント10(Elm10)”50は、第2画面60ではその一部分69,70しか表示されておらず、例えば、第2画面60をスクロールする操作によってエレメントの全体を表示することができる。
このように、ブラウザアプリケーションプログラム202は、1つのドキュメントを、表示されるディスプレイ17の画面のサイズに応じたレイアウトで表示することができる。
ところで、このようなドキュメント(ウェブページ)上には、注釈、コメント、メモ、等の、ユーザの任意の記述を追記することが期待される場合がある。ドキュメント上に注釈等が追記されることにより、例えば、ユーザが後でそのドキュメントを閲覧する場合や、別のユーザにドキュメントを閲覧させる場合に、そのドキュメントを効率的に利用することができる。
図4に示す例では、第1画面40に表示された“エレメント8(Elm8)”48上に、注釈4Aが付加されている。上述したように、ドキュメント内のエレメントは画面サイズに応じてリフローされるので、第1画面40上の“エレメント8”48は、サイズが異なる第2画面60上の“エレメント8(Elm8)”68に対応している。
しかし、第1画面40上の注釈4Aが第2画面60上でも同一の座標に配置された場合には、第1画面40において“エレメント8”48に重ね合わせられていた注釈4Aが、第2画面60においては“エレメント5(Elm5)”65と“エレメント7(Elm7)”67とに重ね合わせられている。したがって、画面サイズに応じたエレメントのリフローによって、エレメントのレイアウトが変更された場合には、注釈4Aが、ユーザが意図していたエレメント上から、別のエレメント上にずれてしまう可能性がある。
本実施形態では、図5に示すように、ドキュメント上の注釈をリフローに応じて適切に配置する。本実施形態では、第1サイズの画面を有するコンピュータ上で表示されていた注釈付きのドキュメントが、第1サイズとは異なる第2サイズの画面を有するコンピュータで表示される場合に、それら2つの画面間で、注釈と、当該注釈に対応するエレメント(注釈がリンクする基準エレメント)との位置関係が維持される。
図5に示す例では、第1画面40上の“エレメント8”48の少なくとも一部分上に注釈4Aが配置されている場合に、第1画面40とは異なるサイズを有し、エレメントがリフローされた第2画面60上でも、“エレメント8”48に対応する“エレメント8”68の少なくとも一部分上に注釈6Aが配置され、注釈と、当該注釈に対応するエレメントとの位置関係が維持されている。したがって、エレメントがリフローされた場合にも、ユーザが意図したエレメントにリンクして注釈が移動されるので、元のドキュメント上の必要な部分(注釈によって隠されたくない部分)上に注釈が配置されないようにすることができる。
図6は、本実施形態の電子機器によって実行されるブラウザアプリケーションプログラム202の機能構成の例を示す。ブラウザアプリケーションプログラム202は、ウェブサーバ31やクラウドサーバ32によって送信されたドキュメントのデータを用いて、画面にドキュメントを表示する。以下では、本実施形態の電子機器を、クライアントコンピュータ10とも称する。クライアントコンピュータ10は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、PDA等の種々の電子機器として実現され得る。
ブラウザアプリケーションプログラム202は、例えば、入力部21、ウェブ表示処理部22、注釈表示処理部23、エレメント決定部24、および保存処理部25を備える。以下では、ブラウザアプリケーションプログラム202が、表示されたドキュメント(ウェブページ)に注釈を付加し、注釈が付加されたドキュメントを保存する場合の処理と、その保存されたドキュメントを画面に表示する場合の処理とを順に説明する。
まず、ブラウザアプリケーションプログラム202が、表示されたドキュメントに注釈を付加し、注釈が付加されたドキュメントを保存する場合の処理について説明する。
入力部21はウェブサーバ31からのドキュメントのデータを入力(受信)する。ここでは、説明を簡単にするために、ドキュメントがウェブページである場合を想定する。入力部21は、例えば、ユーザによる操作に応じて、指定されたURLのウェブページのデータの送信をウェブサーバ31に要求し、当該ウェブサーバ31によって送信されたウェブページのデータを受信する。このウェブページのデータは、例えばHTMLのソースコードを含む。
ウェブ表示処理部22は、入力されたウェブページのデータに含まれるHTMLのソースコードをDOM(Document Object Model)解析し、ウェブページに含まれるエレメント(エレメントのツリー構造)を検出する。そして、ウェブ表示処理部22は、検出されたエレメントが表示される第1画面上の第1レイアウトを決定する。ウェブ表示処理部22は、例えば、第1画面のサイズ(または、ウィンドウのサイズ)、各エレメントに含まれるテキストや画像の内容、テキストのフォントサイズ、エレメント間の関係(例えば、エレメントの包含関係)、エレメントの表示に関するパラメータ、等に基づいて、各エレメントが表示される位置とサイズとを決定する。ウェブ表示処理部22は、決定された第1レイアウトに基づいて配置された複数のエレメントを含むウェブページを第1画面に表示する。
注釈表示処理部23は、ユーザによる操作に応じて、表示中のウェブページ上に注釈を作成する。注釈表示処理部23は、例えば、注釈を作成するための操作に応じて、ウェブページ上の任意の位置に注釈の領域を示す画像(例えば、付箋を表す画像)を表示する。そして、注釈表示処理部23は、キーボード入力に応じた文字(テキスト)をその画像内に表示する。なお、注釈表示処理部23は、タッチスクリーンディスプレイ17を用いた手書き入力操作に応じて、ウェブページ上に手書きの文字や図形(手書きのストローク)を含む注釈を表示してもよい。
エレメント決定部24は、表示中のウェブページ(ドキュメント)の保存が要求されたことに応じて、ウェブページ上の注釈に対応するエレメント(基準エレメント)を決定する。この基準エレメントは、複数のエレメントが第1レイアウトで配置される場合に、それら複数のエレメントから、注釈に関連する度合いに応じて定められるエレメントである。
より具体的には、エレメント決定部24は、ウェブページに含まれる1以上のエレメントの各々の評価値Vを算出する。この評価値Vは、エレメントが注釈に関連している度合いを示す。評価値Vは、例えば、注釈の領域に対する、第1エレメントの領域と注釈の領域との重なりを用いて定められる。具体的には、エレメント決定部24は、エレメントの各々について、エレメントの領域Eと注釈の領域Aとが重なり合っている共通部分(共通部分の面積)E∩Aを算出する。そして、エレメント決定部24は、注釈の領域(面積)Aに対する共通部分E∩Aの割合(以下、第1の割合とも称する)と、エレメントの領域(面積)Eに対する共通部分E∩Aの割合(以下、第2の割合とも称する)とに基づいて、エレメントの評価値Vを算出する。
図7を参照して、注釈に対応する基準エレメントが決定される例を説明する。図7に示す例では、第1レイアウトで配置された複数のエレメント711〜717を含むドキュメント上に、1つの注釈718が付加されている場合を想定する。
注釈表示処理部23は、複数のエレメント711〜717の各々について、注釈718との関連性を示す評価値Vを算出する。この評価値Vは、注釈718の領域Aに対する、注釈718の領域Aとエレメントの領域Eとの共通部分E∩Aの割合(第1の割合)と、エレメントの領域Eに対する、注釈718の領域Aとエレメントの領域Eとの共通部分E∩Aの割合(第2の割合)とに基づいて算出され、例えば次式により算出される。
V=(E∩A/A)α×(E∩A/E)β
なお、αとβとは、第1の割合と第2の割合との重み付けのためのパラメータである。また、評価値Vは第1の割合と第2の割合とを重み付け加算した値であってもよい。
より具体的な例として、図7に示す“エレメント1(Elm1)”71の評価値と“エレメント6(Elm6)”76との評価値とについて説明する。
“エレメント1”71では、注釈718の領域Aに対する、注釈718の領域Aとエレメント711の領域E1との共通部分E1∩Aの割合E1∩A/A(第1の割合)が、全エレメント711〜717の中で最大になる。つまり、注釈718を包含する“エレメント1”711では、E1∩A=Aであるので、第1の割合がE1∩A/A=1になり、第1の割合が最大になる。しかし、“エレメント1”711では、“エレメント1”711の領域E1に対する、注釈718の領域Aとエレメントの領域E1との共通部分E1∩Aの割合E1∩A/E1(第2の割合)は小さくなる。
一方、“エレメント6”716では、注釈718の領域Aに対する、注釈718の領域Aと“エレメント6”716の領域E6との共通部分E6∩Aの割合E6∩A/A(第1の割合)が全てのエレメント711〜717の中で2番目に大きい。また、“エレメント6”716では、“エレメント6”716の領域E6に対する、注釈718の領域Aと“エレメント6”716の領域E6との共通部分E6∩Aの割合E6∩A/E6(第2の割合)が全てのエレメント711〜717の中で最大になる。
評価値Vは第1の割合と第2の割合とに基づいて算出されるので、図7に示す例では、全てのエレメント711〜717の中で、“エレメント6”76の評価値Vが最大になる。
エレメント決定部24は、評価値Vが最大であるエレメントを、注釈に対応する基準エレメントに決定する。図7に示す例では、エレメント決定部24は、算出されたエレメント711〜717の各々に対応する評価値Vを用いて、評価値Vが最大である“エレメント6”76を、注釈718に対応する基準エレメントに決定する。つまり、エレメント決定部24は、評価値が最大であるエレメントを、ユーザが注釈をリンクさせることを意図したエレメントであると判断する。そして、エレメント決定部24は、第1レイアウトで配置されている基準エレメント76に対する、注釈718の相対座標(相対位置)を算出する。この相対座標は、例えば、基準エレメント76の左上隅の座標716Aを原点とする場合の、注釈718の左上隅の座標718Aで表される。
なお、エレメント決定部24は、表示中のドキュメント上に複数の注釈がある場合には、それら複数の注釈の各々について、基準エレメントを決定し、決定された基準エレメントに対する相対座標を算出する。
次いで、保存処理部25は、第1画面に表示される場合に複数のエレメントが第1レイアウトで配置されるドキュメントであって、それら複数のエレメントの内の第1エレメント(基準エレメント)の少なくとも一部分上に注釈が配置されるドキュメントのドキュメントデータを保存する。より具体的には、保存処理部25は、ウェブページのデータ(HTMLソースコード)と、当該ウェブページに含まれるエレメントに対応するエレメントデータと、ウェブページ上の注釈に対応する注釈データとを含むドキュメントデータを保存する。ドキュメントデータは任意の記憶媒体に保存することができ、例えば、クライアント10内に設けられたDB13やクラウドサーバ32内に設けられたDB32Aに保存される。
図8はエレメントデータの一構成例を示す。エレメントデータは、例えば、1つのドキュメント(例えば、ウェブページ、電子書籍、等)内の複数のエレメントに対応する複数のエントリを含む。各エントリは、エレメントID、サイズ、等を含む。
あるエレメントに対応するエントリにおいて、「エレメントID」はそのエレメントに付与された識別情報を示す。「サイズ」はそのエレメントが画面に表示されるサイズを示す。「サイズ」は、例えば、そのエレメントが表示される矩形領域の幅と高さとを示す。
また、図9は注釈データの一構成例を示す。注釈データは、例えば、1つのドキュメント上に作成された1以上の注釈に対応する1以上のエントリを含む。各エントリは、アノテーションID、エレメントID、相対座標、サイズ、内容、等を含む。
ある注釈に対応するエントリにおいて、「アノテーションID」はその注釈に付与された識別情報を示す。「エレメントID」は、その注釈に対応する基準エレメントの識別情報を示す。「エレメントID」には、上述したエレメントデータによって示される、複数のエレメントの内の1つのエレメントのエレメントIDが設定される。「相対座標」は、その注釈の、基準エレメントに対する相対座標(相対位置)を示す。「サイズ」はその注釈が画面に表示されるサイズを示す。「サイズ」は、例えば、その注釈が表示される矩形領域の幅と高さとを示す。「内容」は、その注釈の内容を示し、例えば、注釈として書き込まれたテキストを示す。
なお、表示中のウェブページ上に注釈がない場合、保存処理部25はウェブページのデータ(HTMLソースコード)を含むドキュメントデータを保存する。
以上のようにドキュメントデータを保存することによって、保存されたドキュメントを再度閲覧することや、ドキュメントを保存したクライアントコンピュータ10とは別のクライアントコンピュータ10で当該ドキュメントを閲覧すること等が可能になる。
次いで、ブラウザアプリケーションプログラム202が、保存されたドキュメントを画面に表示する場合の処理について説明する。なお、ドキュメントを保存するクライアントコンピュータ10と、その保存されたドキュメントを表示するクライアントコンピュータ10とは、別々のコンピュータであり得る。ユーザは、例えば、第1画面を備えるクライアントコンピュータ10(例えば、ノートブック型のパーソナルコンピュータ)でドキュメントを閲覧し、そのドキュメント上に注釈を付加し、注釈付きのドキュメントのデータを保存する。その後、ユーザは、第2画面を備えるクライアントコンピュータ10(例えば、スマートフォン)で、保存されたドキュメントのデータを取得し、第1画面を備えるクライアントコンピュータ10で付加された注釈付きのドキュメントを閲覧することもできる。ブラウザアプリケーションプログラム202は、プログラム202が実行されるクライアントコンピュータ10に設けられた画面のサイズ等に応じて、保存されたドキュメントを表示する。
より具体的には、まず、入力部21は、記憶媒体に保存されたドキュメントデータを入力する。入力部21は、例えば、クラウドサーバ32内のDB32Aからドキュメントデータを受信してもよいし、クライアント10内のDB13からドキュメントデータを読み出してもよい。入力部21は、例えば、第1画面に表示される場合に複数のエレメントが第1レイアウトで配置されるドキュメントであって、それら複数のエレメントの内の第1エレメント(基準エレメント)の少なくとも一部分上に注釈が配置されるドキュメントのドキュメントデータを入力する。
ウェブ表示処理部22および注釈表示処理部23は、入力されたドキュメントデータを用いて第1画面のサイズとは異なるサイズを有する第2画面にドキュメントを表示する場合、複数のエレメントが第2レイアウトで配置され、第2レイアウトで配置される第1エレメント(すなわち、第1画面上の基準エレメントに対応する基準エレメント)の少なくとも一部分上に注釈が配置されるドキュメントを、第2画面に表示する。
より具体的には、ウェブ表示処理部22は、ウェブサーバ31からウェブページのデータが入力(受信)された場合と同様に、ドキュメントデータに含まれるHTMLデータをDOM解析し、ウェブページ(ドキュメント)に含まれるエレメント(エレメントのツリー構造)を検出する。そして、ウェブ表示処理部22は、検出されたエレメントが表示される第2画面上の第2レイアウトを決定する。ウェブ表示処理部22は、例えば、第2画面のサイズ(または、ウィンドウのサイズ)、各エレメントに含まれるテキストや画像の内容、テキストのフォントサイズ、エレメント間の関係(例えば、エレメントの包含関係)、エレメントの表示に関するパラメータ、等に基づいて、各エレメントが表示される位置とサイズとを決定する。
注釈表示処理部23は、ドキュメントデータに含まれる注釈データを用いて、ウェブページ上の注釈に対応する基準エレメントを検出する。そして、注釈表示処理部23は、ドキュメントデータに含まれるエレメントデータによって示される基準エレメントのサイズ(すなわち、第1画面上での基準エレメントのサイズ)と、ウェブ表示処理部22によって算出された現在の基準エレメントのサイズ(第2画面上での基準エレメントのサイズ)とを比較することによって、基準エレメントのサイズが変更されているか否かを判定する。
基準エレメントのサイズが変更されていない場合、ウェブ表示処理部22および注釈表示処理部23は、第1レイアウトで配置される基準エレメント(第1エレメント)に対する注釈の相対的な位置関係に従って定まる、第2レイアウトで配置される基準エレメントに対する相対的な位置に、注釈が配置されるドキュメントを第2画面に表示する。
より具体的には、基準エレメントのサイズが変更されていない場合、注釈表示処理部23は、ウェブ表示処理部22によって算出された基準エレメントの位置と、注釈データに示される基準エレメントに対する注釈の相対座標(すなわち、第1画面上に第1レイアウトで配置される基準エレメントに対する注釈の相対座標)とに基づいて、注釈が表示される第2画面上の位置を算出する。つまり、注釈表示処理部23は、第2レイアウトで配置される基準エレメントに対して、注釈データに示される相対座標を有する位置を、注釈が表示される第2画面上の位置に決定する。そして、ウェブ表示処理部22および注釈表示処理部23は、ウェブ表示処理部22によって算出された位置およびサイズで配置されたエレメントと、注釈表示処理部23によって算出された位置に、注釈データで示されるサイズ(すなわち、ウェブページが保存されたときに注釈が表示されていたサイズ)で配置された注釈とを含むドキュメントを第2画面に表示する。
これにより、上述した図5の例のように、ドキュメントに含まれるエレメントの位置が変更(リフロー)される場合にも、注釈を適切な位置に表示することができる。すなわち、第1画面40内のエレメントのレイアウトから第2画面60内のエレメントのレイアウトへの変更のように、ドキュメントに含まれるエレメントの位置が変更(リフロー)された場合に、第1画面40上の注釈4Aに対応する第2画面60上の注釈6Aを適切な位置に表示することができる。
一方、基準エレメントのサイズが変更されている場合、すなわち、第2レイアウトで配置される基準エレメント(第1エレメント)のサイズが、第1レイアウトで配置される基準エレメントのサイズとは異なる場合、ウェブ表示処理部22および注釈表示処理部23は、第1レイアウトで配置される基準エレメントのサイズと第2レイアウトで配置される基準エレメントのサイズとの関係に従って定まるサイズを有する注釈が配置されるドキュメントを第2画面に表示する。
より具体的には、基準エレメントのサイズが変更されている場合、注釈表示処理部23は、基準エレメントのサイズ変更に応じたサイズを有する注釈が配置されたドキュメントを第2画面に表示する。注釈表示処理部23は、基準エレメントのサイズ変更(例えば、2倍に拡大)と、注釈データに示される注釈のサイズとに基づいて、注釈が表示される画面上のサイズを算出する、すなわち、注釈の領域を拡大または縮小する。また、注釈表示処理部23は、ウェブ表示処理部22によって算出された基準エレメントの位置と、基準エレメントのサイズ変更と、注釈データに示される基準エレメントに対する注釈の相対座標とに基づいて、注釈が表示される第2画面上の位置を算出する。より具体的には、注釈表示処理部23は、注釈データに示される基準エレメントに対する注釈の相対座標を、基準エレメントのサイズ変更(例えば、2倍に拡大)に比例して変換し、ウェブ表示処理部22によって算出された基準エレメントの位置に、変換された相対座標を加算することによって、第2画面上での注釈の位置を算出する。そして、ウェブ表示処理部22および注釈表示処理部23は、ウェブ表示処理部22によって算出された位置およびサイズで配置されたエレメントと、注釈表示処理部23によって算出された位置およびサイズで配置された注釈とを含むドキュメントを第2画面に表示する。
このように、ウェブ表示処理部22は、リフロー時に、ドキュメント内のエレメントの表示位置を変更するだけでなく、エレメントのサイズも変更(拡大または縮小)する場合がある。その場合、注釈表示処理部23は、エレメントが表示される位置とサイズの変更を考慮して、注釈が表示される位置とサイズとを決定する。
図10を参照して、エレメントの位置とサイズとの変更(リフロー)に応じて、注釈の位置とサイズとが決定される例について説明する。ここでは、第1画面72に表示されているドキュメントにエレメント721〜723が含まれ、このエレメント721〜723の少なくとも一部分上に注釈724が付加されている場合を想定する。なお、エレメント決定部24によって、注釈724に対応する基準エレメントが“エレメント3(Elm3)”723であることが決定されているものとする。
ウェブ表示処理部22は、この第1画面72上のドキュメントが、第1画面72とは異なるサイズを有する第2画面73に表示されるとき、その第2画面73に、エレメント721〜723に対応するエレメント731〜733を表示するためのレイアウトを決定する。ウェブ表示処理部22は、第2画面73のサイズに応じてエレメント731〜733の位置およびサイズを決定する。
そして、注釈表示処理部23は、第1画面72に表示されていた基準エレメント(“エレメント3”)723のサイズと、ウェブ表示処理部22によって第2画面73に応じて決定された基準エレメント(“エレメント3”)733のサイズとが異なるので、この基準エレメントのサイズ変更に応じて注釈734のサイズを決定する。なお、このサイズの変更は、基準エレメントのアスペクト比が維持される拡大または縮小に限らず、水平方向または垂直方向だけの拡大または縮小のようなアスペクト比が維持されないサイズ変更であってもよい。
注釈表示処理部23はさらに、この基準エレメントのサイズ変更に応じて注釈734の位置も決定する。注釈表示処理部23は、基準エレメントのサイズ変更と、第1画面72上の基準エレメント723に対する注釈724の相対座標と、第2画面73上の基準エレメント733の位置とに基づいて、注釈734の位置を決定する。
図10に示す例では、注釈表示処理部23は、第1画面72上の基準エレメント723から第2画面73上の基準エレメント733へのサイズ変更が、水平方向のサイズ(幅)を1/2倍する縮小(スケーリング)であることを検出する。そして、注釈表示処理部23は、検出されたサイズ変更に基づいて、注釈724の幅Wを1/2倍することによって、第2画面73上の注釈734の幅(W/2)を決定する。なお、サイズ変更が水平方向の縮小のみであるので、第2画面73上の注釈734の高さは、第1画面72上の注釈724の高さHのままである。
そして、注釈表示処理部23は、基準エレメントのサイズ変更が水平方向のサイズを1/2倍する縮小であり、第1画面72上の基準エレメント723の左上隅の座標723Aを原点とする注釈724の左上隅の位置724Aの相対座標が(x,y)であることに基づいて、第2画面73上の基準エレメント733の左上隅の座標733Aを原点とする注釈734の左上隅の位置734Aの相対座標(x/2,y)を算出する。注釈表示処理部23は、第2画面73上の基準エレメント733の左上隅の座標733Aに、注釈734の相対座標(x/2,y)を加算することによって、第2画面73上の注釈734の座標(絶対座標)を算出する。
以上により、ドキュメントに含まれるエレメントの位置とサイズとが変更(リフロー)される場合にも、注釈を適切な位置に適切なサイズで表示することができる。
例えば、図11に示すように、第1画面40内のエレメントのレイアウトから第2画面80内のエレメントのレイアウトへの変更のように、ドキュメントに含まれるエレメントの位置とサイズとが変更(リフロー)された場合に、第1画面40上の注釈4Aに対応する第2画面80上の注釈8Aを適切な位置に適切なサイズで表示することができる。また、図5に示す第2画面60または図11に示す第2画面80に表示された注釈付きのドキュメントに、注釈をさらに付加することもできる。その場合、付加された注釈に対応する注釈データをさらに含むドキュメントデータが記憶媒体に保存される。
なお、上述した注釈の表示位置および表示サイズの変更は、保存されたドキュメントが異なるサイズを有する別の画面に表示される場合だけでなく、ドキュメントの表示中における、ウィンドウサイズの変更、画面の回転、フォントサイズの変更、等に伴うエレメントのリフロー時にも適用できる。
また、上述したように、ドキュメント上に付加される注釈は、領域を表す画像(例えば、付箋の形状を有する画像)とキーボード入力されたテキストとからなる注釈に限らず、例えば、タッチスクリーンディスプレイ17を用いてドキュメント上に手書きされた文字や図形からなる注釈であってもよい。
図12に示す例では、第1画面40のドキュメントに手書きの注釈4Bが書き込まれている場合を想定する。このような手書きの注釈4Bを含むドキュメントが保存される場合、エレメント決定部24は、注釈4Bの外接矩形4Cを用いて注釈4Bに対応する基準エレメントを決定する。つまり、エレメント決定部24は、注釈4Bの領域を外接矩形4Cと見なし、外接矩形4Cに基づいて各エレメント41〜50が注釈4Bに関連する度合いを示す評価値Vを算出する。評価値Vの算出方法の詳細は図7を参照して説明した通りである。
第1画面40のドキュメントに含まれるエレメント41〜50では、“エレメント8”48の評価値Vが最大であるので、エレメント決定部24は“エレメント8”48を注釈4Bに対応する基準エレメントに決定する。そして、エレメント決定部24は、この基準エレメント48に対する外接矩形4Cの相対座標を検出し、基準エレメントと相対座標とを示す注釈データを保存する。
また、ウェブ表示処理部22は、第1画面40のサイズとは異なるサイズを有する第2画面60にドキュメントを表示する場合、第1画面40のエレメント41〜50に対応するエレメント61〜70の配置を第2画面60のサイズに応じて決定する。そして、注釈表示処理部23は、保存されている注釈データを用いて、注釈4Bに対応する基準エレメント(“エレメント8”)48を検出し、この基準エレメント48に対応する第2画面60上の基準エレメント68の位置と、注釈データに示される基準エレメント48に対する注釈4B(外接矩形4C)の相対座標とに応じて、注釈6Bの外接矩形6Cの位置を決定する。
これにより、第1画面40のドキュメント上に手書きの注釈4Bが書き込まれた場合にも、その注釈4Bの外接矩形4Cを用いた処理によって、サイズが異なる第2画面60上の適切な位置に対応する注釈6Bを表示することができる。
次いで、図13のフローチャートを参照して、ブラウザアプリケーションプログラム202によって実行されるドキュメント保存処理の手順の例を説明する。以下では、タッチスクリーンディスプレイ17の画面にドキュメント(例えば、ウェブページ)が表示されている場合を想定する。
まず、エレメント決定部24は、ドキュメントの保存が要求されたか否かを判定する(ブロックB11)。ドキュメントの保存が要求されていない場合(ブロックB11のNO)、ブロックB11に戻り、再度、ドキュメントの保存が要求されたか否かが判定される。
ドキュメントの保存が要求されている場合(ブロックB11のYES)、ドキュメント上に注釈が作成されているか否かを判定する(ブロックB12)。ドキュメント上に注釈がない場合(ブロックB12のNO)、保存処理部25はドキュメントのHTMLデータ(HTMLのソースコード)を保存する(ブロックB21)。このドキュメントのデータは任意の記憶媒体に保存することができ、例えば、クライアント10内に設けられたDB13やクラウドサーバ32内に設けられたDB32Aに保存される。
また、ドキュメント上に注釈がある場合(ブロックB12のYES)、エレメント決定部24は、ドキュメントに含まれる1以上のエレメントの内の、1つのエレメント(対象エレメント)の評価値Vを算出する(ブロックB13)。この評価値Vは、その対象エレメントが注釈に関連している度合いを示す。具体的には、エレメント決定部24は、対象エレメントEと注釈Aとが重なり合っている領域の面積(共通部分)E∩Aを算出する。そして、エレメント決定部24は、注釈の面積Aに対する共通部分E∩Aの割合(第1の割合)と、対象エレメントの面積Eに対する共通部分E∩Aの割合(第2の割合)とに基づいて、対象エレメントの評価値Vを算出する。対象エレメントの評価値Vは、例えば、第1の割合と第2の割合の両方が大きい場合に大きくなる。
次いで、エレメント決定部24は、ドキュメント内に他のエレメント(すなわち、評価値がまだ算出されていないエレメント)があるか否かを判定する(ブロックB14)。他のエレメントがある場合(ブロックB14のYES)、ブロックB13に戻り、そのエレメントの評価値Vが算出される。これにより、各エレメントに対応する評価値が算出される。
他のエレメントがない場合、すなわち、全てのエレメントに対応する評価値Vが算出された場合(ブロックB14のNO)、エレメント決定部24は、評価値Vが最大であるエレメントを、注釈に対応する基準エレメントに決定する(ブロックB15)。つまり、エレメント決定部24は、評価値が最大であるエレメントを、ユーザが注釈をリンクさせることを意図したエレメントであると判断する。そして、エレメント決定部24は、基準エレメントに対する、注釈の相対座標(相対位置)を算出する(ブロックB16)。この相対座標は、例えば、基準エレメントの左上隅の座標を原点とする座標で示される。
次いで、エレメント決定部24は、ドキュメント上に他の注釈(すなわち、基準エレメントがまだ決定されていない注釈)があるか否かを判定する(ブロックB17)。他の注釈がある場合(ブロックB17のYES)、ブロックB13に戻り、その注釈に対応する基準エレメントを決定するための処理を行う。
他の注釈がない場合、すなわち、ドキュメント上の全ての注釈に対応する基準エレメントが決定された場合(ブロックB17のNO)、保存処理部25はドキュメントのHTMLデータを保存し(ブロックB18)、当該ドキュメントに含まれるエレメントに対応するエレメントデータを保存する(ブロックB19)。エレメントデータは、例えば、表示中のドキュメントにおける、各エレメントのサイズを示すデータを含む。保存処理部25はさらに、ドキュメント上の注釈に対応する注釈データを保存する(ブロックB20)。注釈データは、例えば、注釈に対応する基準エレメントと、基準エレメントに対する、注釈の相対座標と、注釈のサイズと、注釈の内容とを示すデータを含む。HTMLデータとエレメントデータと注釈データとを含むドキュメントデータは任意の記憶媒体に保存することができ、例えば、クライアント10内に設けられたDB13やクラウドサーバ32内に設けられたDB32Aに保存される。
また、図14のフローチャートを参照して、ブラウザアプリケーションプログラム202によって実行されるドキュメント表示処理の手順の例を説明する。このドキュメント表示処理では、図13のドキュメント保存処理で保存されたドキュメントが画面に表示される場合を想定する。
まず、入力部21はドキュメントデータを入力する(ブロックB31)。入力部21は、例えば、クラウドサーバ32内のDB32Aからドキュメントデータを受信してもよいし、クライアント10内のDB13からドキュメントデータを読み出してもよい。
ウェブ表示処理部22は、ドキュメントデータに含まれるHTMLデータをDOM解析し、ドキュメントに含まれるエレメント(エレメントのツリー構造)を検出する(ブロックB32)。そして、ウェブ表示処理部22は、検出された各エレメントが表示される画面上の位置とサイズとを算出する(ブロックB33)。
次いで、ウェブ表示処理部22はドキュメント上に注釈があるか否かを判定する(ブロックB34)。ウェブ表示処理部22は、例えば、ドキュメントデータに注釈データが含まれているか否かに基づいて、ドキュメント上に注釈があるか否かを判定する。ドキュメント上に注釈がない場合(ブロックB34のNO)、ウェブ表示処理部22は、決定された各エレメントの位置とサイズとに基づいて配置されたエレメントを含むドキュメントを画面に表示する(ブロックB35)。
一方、ドキュメント上に注釈がある場合(ブロックB34のYES)、注釈表示処理部23は注釈データを用いて注釈に対応する基準エレメントを検出する(ブロックB36)。そして、注釈表示処理部23は、ドキュメントデータに含まれるエレメントデータを用いて、ドキュメントが保存されたときに基準エレメントが表示されていたサイズと、ブロックB33で算出された当該基準エレメントのサイズとを比較し、基準エレメントのサイズが変更されているか否かを判定する(ブロックB37)。
基準エレメントのサイズが変更されていない場合(ブロックB37のNO)、注釈表示処理部23は、ブロックB33で算出された基準エレメントの位置と、注釈データに示される基準エレメントに対する注釈の相対座標とに基づいて、注釈が表示される画面上の位置を算出する(ブロックB38)。そして、ウェブ表示処理部22および注釈表示処理部23は、ブロックB33で算出された位置およびサイズで配置されたエレメントと、ブロックB38で算出された位置に、注釈データで示されるサイズで配置された注釈とを含むドキュメントを画面に表示する(ブロックB39)。
また、基準エレメントのサイズが変更されている場合(ブロックB37のYES)、注釈表示処理部23は、基準エレメントのサイズ変更と、注釈データに示される注釈のサイズとに基づいて、注釈が表示される画面上のサイズを算出する(ブロックB40)、すなわち、注釈の領域を拡大または縮小する。また、注釈表示処理部23は、ブロックB33で算出された基準エレメントの位置と、基準エレメントのサイズ変更と、注釈データに示される基準エレメントに対する注釈の相対座標とに基づいて、注釈が表示される画面上の位置を算出する(ブロックB41)。そして、ウェブ表示処理部22および注釈表示処理部23は、ブロックB33で算出された位置およびサイズで配置されたエレメントと、ブロックB39で算出された位置に、ブロックB40で算出されたサイズで配置された注釈とを含むドキュメントを画面に表示する(ブロックB42)。
なお、上述した手順では、ドキュメント上に1つの注釈がある場合について記載したが、ドキュメント上には複数の注釈があってもよい。その場合、複数の注釈のそれぞれについて、画面上に表示される位置とサイズとを決定するための処理が行われる。
以上説明したように、本実施形態によれば、ドキュメント上の注釈をリフローに応じて適切に配置することができる。入力部21は、第1画面40に表示される場合に複数のエレメント41〜50が第1レイアウトで配置されるドキュメントであって、それら複数のエレメント41〜50の内の第1エレメント48の少なくとも一部分上に注釈4Aが配置されるドキュメントのデータを入力する。ウェブ表示処理部22および注釈表示処理部23は、入力されたデータを用いて第1画面40のサイズとは異なるサイズを有する第2画面60にドキュメントを表示する場合、複数のエレメント61〜70が第2レイアウトで配置され、第2レイアウトで配置される第1エレメント68の少なくとも一部分上に注釈6Aが配置されるドキュメントを、第2画面60に表示する。これにより、第1画面上に第1レイアウトで表示されていたドキュメントが、リフローによって第2画面上に第2レイアウトで表示される場合にも、ドキュメント上の注釈を適切なエレメント上に配置することができる。
なお、図13および図14のフローチャートで説明した本実施形態の処理手順は全てソフトウェアによって実行することができる。このため、この処理手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10…クライアント、13…DB、202…ブラウザアプリケーション、21…入力部、22…ウェブ表示処理部、23…注釈表示処理部、24…エレメント決定部、25…保存処理部、31…ウェブサーバ、32…クラウドサーバ、32A…DB。

Claims (15)

  1. 第1画面に表示される場合に複数のエレメントが第1レイアウトで配置されるドキュメントであって、前記複数のエレメントの内の第1エレメントの少なくとも一部分上に注釈が配置されるドキュメントのデータを入力する入力手段と、
    前記データを用いて前記第1画面のサイズとは異なるサイズを有する第2画面にドキュメントを表示する場合、前記複数のエレメントが第2レイアウトで配置され、前記第2レイアウトで配置される第1エレメントの少なくとも一部分上に前記注釈が配置されるドキュメントを、前記第2画面に表示する表示処理手段とを具備する電子機器。
  2. 前記表示処理手段は、前記第1レイアウトで配置される第1エレメントに対する前記注釈の相対的な位置関係に従って定まる前記第2レイアウトで配置される第1エレメントに対する相対的な位置に、前記注釈が配置されるドキュメントを前記第2画面に表示する請求項1記載の電子機器。
  3. 前記表示処理手段は、前記第2レイアウトで配置される第1エレメントのサイズが、前記第1レイアウトで配置される第1エレメントのサイズとは異なる場合、前記第1レイアウトで配置される第1エレメントのサイズと前記第2レイアウトで配置される第1エレメントのサイズとの関係に従って定まるサイズを有する前記注釈が配置されるドキュメントを前記第2画面に表示する請求項1記載の電子機器。
  4. 第1エレメントは、前記複数のエレメントが前記第1レイアウトで配置される場合に、前記複数のエレメントの内、注釈に関連する度合いに応じて定められるエレメントである請求項1記載の電子機器。
  5. 第1エレメントが前記注釈に関連する度合いは、前記複数のエレメントが前記第1レイアウトで配置される場合に、前記注釈の領域に対する、第1エレメントの領域と前記注釈の領域との重なりを用いて定められる請求項4記載の電子機器。
  6. 第1画面に表示される場合に複数のエレメントが第1レイアウトで配置されるドキュメントであって、前記複数のエレメントの内の第1エレメントの少なくとも一部分上に注釈が配置されるドキュメントのデータを入力し、
    前記データを用いて前記第1画面のサイズとは異なるサイズを有する第2画面にドキュメントを表示する場合、前記複数のエレメントが第2レイアウトで配置され、前記第2レイアウトで配置される第1エレメントの少なくとも一部分上に前記注釈が配置されるドキュメントを、前記第2画面に表示する方法。
  7. 前記表示することは、前記第1レイアウトで配置される第1エレメントに対する前記注釈の相対的な位置関係に従って定まる前記第2レイアウトで配置される第1エレメントに対する相対的な位置に、前記注釈が配置されるドキュメントを前記第2画面に表示する請求項6記載の方法。
  8. 前記表示することは、前記第2レイアウトで配置される第1エレメントのサイズが、前記第1レイアウトで配置される第1エレメントのサイズとは異なる場合、前記第1レイアウトで配置される第1エレメントのサイズと前記第2レイアウトで配置される第1エレメントのサイズとの関係に従って定まるサイズを有する前記注釈が配置されるドキュメントを前記第2画面に表示する請求項6記載の方法。
  9. 第1エレメントは、前記複数のエレメントが前記第1レイアウトで配置される場合に、前記複数のエレメントの内、注釈に関連する度合いに応じて定められるエレメントである請求項6記載の方法。
  10. 第1エレメントが前記注釈に関連する度合いは、前記複数のエレメントが前記第1レイアウトで配置される場合に、前記注釈の領域に対する、第1エレメントの領域と前記注釈の領域との重なりを用いて定められる請求項9記載の方法。
  11. コンピュータにより実行されるプログラムであって、前記プログラムは、
    第1画面に表示される場合に複数のエレメントが第1レイアウトで配置されるドキュメントであって、前記複数のエレメントの内の第1エレメントの少なくとも一部分上に注釈が配置されるドキュメントのデータを入力する手順と、
    前記データを用いて前記第1画面のサイズとは異なるサイズを有する第2画面にドキュメントを表示する場合、前記複数のエレメントが第2レイアウトで配置され、前記第2レイアウトで配置される第1エレメントの少なくとも一部分上に前記注釈が配置されるドキュメントを、前記第2画面に表示する手順とを前記コンピュータに実行させるプログラム。
  12. 前記表示する手順は、前記第1レイアウトで配置される第1エレメントに対する前記注釈の相対的な位置関係に従って定まる前記第2レイアウトで配置される第1エレメントに対する相対的な位置に、前記注釈が配置されるドキュメントを前記第2画面に表示する請求項11記載のプログラム。
  13. 前記表示する手順は、前記第2レイアウトで配置される第1エレメントのサイズが、前記第1レイアウトで配置される第1エレメントのサイズとは異なる場合、前記第1レイアウトで配置される第1エレメントのサイズと前記第2レイアウトで配置される第1エレメントのサイズとの関係に従って定まるサイズを有する前記注釈が配置されるドキュメントを前記第2画面に表示する請求項11記載のプログラム。
  14. 第1エレメントは、前記複数のエレメントが前記第1レイアウトで配置される場合に、前記複数のエレメントの内、注釈に関連する度合いに応じて定められるエレメントである請求項11記載のプログラム。
  15. 第1エレメントが前記注釈に関連する度合いは、前記複数のエレメントが前記第1レイアウトで配置される場合に、前記注釈の領域に対する、第1エレメントの領域と前記注釈の領域との重なりを用いて定められる請求項14記載のプログラム。
JP2013179523A 2013-08-30 2013-08-30 電子機器および方法 Pending JP2015049592A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013179523A JP2015049592A (ja) 2013-08-30 2013-08-30 電子機器および方法
US14/163,775 US20150067469A1 (en) 2013-08-30 2014-01-24 Electronic apparatus and method for display control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013179523A JP2015049592A (ja) 2013-08-30 2013-08-30 電子機器および方法

Publications (1)

Publication Number Publication Date
JP2015049592A true JP2015049592A (ja) 2015-03-16

Family

ID=52585035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013179523A Pending JP2015049592A (ja) 2013-08-30 2013-08-30 電子機器および方法

Country Status (2)

Country Link
US (1) US20150067469A1 (ja)
JP (1) JP2015049592A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852049B2 (en) 2014-05-27 2017-12-26 International Business Machines Corporation Screenshot validation testing
JP5885133B1 (ja) * 2014-11-17 2016-03-15 富士ゼロックス株式会社 端末装置、不具合報告システムおよびプログラム
US20180373680A1 (en) * 2017-06-26 2018-12-27 Interactive Media, LLC Document stamping system and method
CN108170611B (zh) * 2018-01-23 2019-07-16 网易(杭州)网络有限公司 自动化测试方法及装置、存储介质、电子设备
CN109460200A (zh) * 2018-09-21 2019-03-12 维沃移动通信有限公司 一种信息标记方法及终端设备
CN111597467A (zh) * 2020-05-08 2020-08-28 北京字节跳动网络技术有限公司 展示方法、装置和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218783B2 (en) * 2003-06-13 2007-05-15 Microsoft Corporation Digital ink annotation process and system for recognizing, anchoring and reflowing digital ink annotations

Also Published As

Publication number Publication date
US20150067469A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
US10984169B2 (en) Systems, methods, and computer-readable media for providing a dynamic loupe for displayed information
JP6790651B2 (ja) 計算装置、計算装置のグラフ表示方法、及びプログラム
JP2015049592A (ja) 電子機器および方法
US20090315841A1 (en) Touchpad Module which is Capable of Interpreting Multi-Object Gestures and Operating Method thereof
US20150067483A1 (en) Electronic device and method for displaying electronic document
US20150253985A1 (en) System and method for controlling display of virtual keyboard to avoid obscuring data entry fields
JP5951886B2 (ja) 電子機器および入力方法
TW201520878A (zh) 頁面元素的控制方法及裝置
US20140289672A1 (en) Graph display apparatus, graph display method and storage medium having stored thereon graph display program
WO2023284442A1 (zh) 一种页面处理方法、装置、电子设备及可读存储介质
JP2014067304A (ja) 電子機器および手書き文書処理方法
US20150067546A1 (en) Electronic apparatus, method and storage medium
EP3043251A1 (en) Method of displaying content and electronic device implementing same
US20160117093A1 (en) Electronic device and method for processing structured document
KR102297903B1 (ko) 웹 브라우저 디스플레이 방법 및 이를 이용하는 단말장치
JP2014127103A (ja) 資料共有プログラム、端末装置、資料共有方法
US20150007106A1 (en) Information processing apparatus
JP5997328B2 (ja) プログラム及び端末装置
US20140075376A1 (en) Display control apparatus, storage medium, display control system, and display method
KR20080032391A (ko) 피디에이에서의 인터넷 웹페이지 디스플레이방법
JP4854797B2 (ja) プログラムおよび電子機器
US9378568B2 (en) Electronic apparatus and displaying method
JP5805289B2 (ja) 装置及び配信方法
US9146666B2 (en) Touch sensor navigation
US10019423B2 (en) Method and apparatus for creating electronic document in mobile terminal