JP2021135912A - 表示装置 - Google Patents

Abstract

【課題】領域を特定し、当該領域のコンテンツをコメントとして記憶する表示装置を提供すること。【解決手段】コンテンツを表示する表示部と、入力部と、記憶部と、制御部と、を備えた表示装置において、前記記憶部は、前記コンテンツに対応付けて文字又は画像をコメントとして記憶可能であり前記制御部は、前記表示部に表示されたコンテンツのうち、前記入力部により入力された領域を特定し、前記特定された領域のコンテンツに基づく第１の画像をコメントとして記憶する。【選択図】図４

Description

本発明は表示装置に関する。

近年、タッチやペン入力に対応するパソコンやタブレットが普及しており、手書き入力に関する技術も様々提案されている。

例えば、複数の手書きストロークがテキスト入力である場合に１以上の手書き単語ブロックを生成し、第１の所定のレイアウト基準に従って位置付け、複数の手書きストロークがスケッチである場合に、スケッチコンテンツオブジェクトを生成し、第１の所定のレイアウト基準とは異なる第２の所定のレイアウト基準に従って位置づけることによって、複数の手書きストロークを入力エリアで受信することに応答する技術が提案されている（特許文献１参照）。

また、直前に入力したイメージデータに対して、所定のコマンド（ジェスチャ）を入力することで、イメージデータを削除する技術が提案されている（特許文献２参照）。

特表２０１８−５３００４２号公報 特開平６−３０９０９３号公報

文書ファイル等のコンテンツをブラッシュアップする上で、他者によるレビューは欠かせず、コンテンツに対してコメントが入力できるアプリケーション等の利用も進んでいる。しかしながら、特許文献１や特許文献２に開示された技術では、ユーザがコンテンツの中の所定の領域に対してコメントを付加させることを考えても、簡易な方法により、コメントを付加する対象となったコンテンツの領域を知り得ることはできなかった。

上述した課題を解決するために、本発明の表示装置は、領域を特定し、当該領域のコンテンツをコメントとして記憶する表示装置を提供することを目的とする。

上述した課題を解決するための第１の実施態様は、コンテンツを表示する表示部（例えば、図２の表示部１１０）と、入力部（例えば、図２の入力部１２０）と、記憶部（例えば、図２の記憶部１５０）と、制御部（例えば、図２の制御部１００）と、を備えた表示装置において、
前記記憶部は、前記コンテンツに対応付けて文字又は画像をコメントとして記憶可能であり、
前記制御部は、
前記表示部に表示されたコンテンツのうち、前記入力部により入力された領域を特定し、
前記特定された領域のコンテンツに基づく第１の画像をコメントとして記憶する、
ことを特徴とする表示装置である。

第２の実施態様は、コンテンツを表示する表示部（例えば、図２の表示部１１０）と、入力部（例えば、図２の入力部１２０）と、記憶部（例えば、図２の記憶部１５０）と、制御部（例えば、図２の制御部１００）と、を備えた表示装置において、
前記記憶部は、前記コンテンツに対応付けて文字又は画像をコメントとして記憶可能であり、
前記制御部は、
前記表示部に、第１の画像を入力するための入力領域を前記コンテンツに重畳させて表示し、
前記入力領域が重畳された範囲を含む領域を特定し、
前記入力領域に入力された第１の画像と、前記特定された領域のコンテンツに基づく第２の画像とをコメントとして記憶する、
ことを特徴とする表示装置である。

本発明の表示装置によれば、領域を特定し、当該領域のコンテンツをコメントとして記憶することができる。

第１実施形態におけるシステムの概要を説明するための図である。 第１実施形態における表示装置の機能構成を説明するための図である。 第１実施形態におけるコンテンツ情報、手書き図形情報、コメント情報を説明するための図である。 第１実施形態におけるコメント記憶処理を説明するための図である。 第１実施形態における動作例を説明するための図である。 第１実施形態における動作例を説明するための図である。 第２実施形態におけるコメント記憶・追記処理を説明するための図である。 第２実施形態における動作例を説明するための図である。 第３実施形態におけるコメント記憶処理を説明するための図である。 第３実施形態における動作例を説明するための図である。 第４実施形態におけるコメント記憶処理を説明するための図である。 第５実施形態におけるファイル添付処理を説明するための図である。 第５実施形態における動作例を説明するための図である。 第６実施形態における表示切り替え処理を説明するための図である。 第６実施形態における動作例を説明するための図である。

以下、本発明の表示装置を適用した場合の実施形態について説明する。なお、各実施形態は本発明を説明する都合上記載したものであり、本発明の技術的範囲が以下の実施形態に限定されるものではない。

［１．第１実施形態］
［１．１ 全体構成］
図１（ａ）は、表示装置１０の外観を示した図である。表示装置１０は、例えば、タブレット型の端末装置や、ノートパソコンといった情報処理装置であってもよいし、電子ホワイトボード、電子黒板（ＩＷＢ：Interactive Whiteboard）で利用されるような大型の表示装置や、テーブル型の表示装置であってもよい。表示装置１０に対するユーザの操作は、例えば、タッチパネルによるタッチを検出したり、入力装置１５を用いた操作を検出したりすることで入力される。

本システムでは、表示装置１０にコンテンツやコメントが記憶されている。表示装置１０は、記憶されたコンテンツやコメントを参照することで、コンテンツにコメントを付加して表示することができる。

なお、本実施形態において、表示装置１０は単一の装置として説明するが、複数の表示装置を含む構成や、表示装置とサーバとが連携するような構成であってもよい。

例えば、図１（ｂ）のように、管理者であるユーザが利用する表示装置１０Ｈと、他のユーザが使用する複数の表示装置を含むシステムの構成としてもよい。以下、システム全体の動作の概要について説明する。

（１）管理者であるユーザＨが利用する表示装置１０Ｈにおいて、ユーザＨは、コンテンツを選択する（Ｆ１０）。このとき、ユーザＨは、コンテンツに対して自らコメントを付加してもよい。コメントは、コンテンツとは別のファイル（データ）として記憶されてもよい。

（２）ユーザＡは、ユーザＡが利用する表示装置１０Ａにおいて、表示装置１０Ｈからコンテンツと、必要に応じてコメントを読み出す（Ｆ１２）。

（３）ユーザＡは、読み出されたコンテンツにコメントを付加する処理を実行する（Ｆ１４）。

（４）ユーザＡがコンテンツに付加したコメントは、表示装置１０Ｈに送信される（Ｆ１６）。表示装置１０Ｈは、受信したコメントに基づいて、コンテンツに対応するコメントを更新することで、コンテンツに、ユーザＡが付加したコメントが反映されることになる。

（５）同様に、ユーザＢ、ユーザＣでも、ユーザＨが選択したコンテンツにコメントを付加する処理を実行する。

このように、本システムを利用することで、各ユーザはコンテンツに対してそれぞれコメントを付加することが可能である。

また、表示装置は、サーバ装置と接続可能なシステムであってもよい。例えば、図１（ｃ）に示すように、表示装置１０が通信可能なサーバ装置２０をシステムに接続する。サーバ装置２０は、同一ネットワークであってもよいし、クラウドにあってもよい。図１（ｃ）に示すように、表示装置１０は、それぞれサーバ装置２０と通信可能に構成されている。すなわち、図１（ｂ）の構成において表示装置１０Ｈに記憶されているコンテンツや、コメントに関するデータをサーバ装置２０に記憶する。表示装置１０Ｈ、表示装置１０Ａ、表示装置１０Ｂは、それぞれサーバ装置２０を参照することで、上述した構成と同じ動作が実現できる。

なお、以下の説明は、１台の表示装置で実現する場合について説明するが、いわゆる当業者であれば第２の構成、第３の構成にも適用できる。

［１．２ 機能構成］
つづいて、図２を参照して、表示装置１０の機能構成について説明する。各構成は、動作に必要なものを備えれば十分であり、必須の構成ではない。

制御部１００は、表示装置１０の全体を制御するための機能部である。制御部１００は、記憶部１５０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、１又は複数の演算装置（例えば、ＣＰＵ（Central Processing Unit））により構成される。

また、制御部１００は、プログラムを実行することにより、コメント処理部１０２、ＵＩ（User Interface）処理部１０４、ユーザ認証部１０６として動作する。

コメント処理部１０２は、ユーザから入力された操作に応じてコメントの入力・変更・削除といった編集処理を実行する。コメント処理部１０２は、ユーザにより入力されたコメントに、必要な情報を付加して記憶部１５０のコメント情報１５６に記憶する。また、他の表示装置１０や、サーバ装置２０にコメント情報が記憶されている場合、コメント処理部１０２は、通信部１６０を介して他の装置とコメントを送受信してもよい。

コメント処理部１０２は、ユーザから入力されたオブジェクトを、コンテンツに対して入力されたコメントとして処理する。ユーザによって入力されるオブジェクトには、例えば、図形、テキスト（文字）、記号が含まれる。

本実施形態において、コンテンツとは、表示装置１０の表示部１１０に表示される内容であり、例えば、画像や文書である。また、文書とは、ワープロソフトや、表計算ソフト、プレゼンテーションソフトを用いて作成されたデータや、ＰＤＦ（Portable Document Format）形式のデータをいう。

また、本実施形態において、コメントとは、コンテンツ対応付けるためにユーザによって入力される情報であって、当該内容を入力したユーザの情報や当該内容が入力されたときに表示されたコンテンツの情報に対応付けられるものをいう。ユーザによってコメントとして入力される情報は、コンテンツに対する注釈や指摘等、他のユーザに対して伝達する情報であってもよいし、備忘録等、私的な情報であってもよい。

オブジェクトの入力については、例えば、コメント処理部１０２は、ユーザからソフトウェアキーボードや、ハードウェアキーボードから入力された場合はテキストのコメントの入力を受け付ける。また、コメント処理部１０２は、タッチパネルにより図形が描画された場合や、操作ペンで図形が描画された場合は、当該入力された図形のコメントの入力を受け付ける。以下の説明において、タッチパネルに対するタッチ操作や操作ペンによる操作によって入力された図形を、手書き図形という。手書き図形には、例えば、文字や記号を構成する図形や、点、線、矢印、矩形等の図形が含まれる。また、コメント処理部１０２は、タッチボタンや操作によって、テキストによるコメントと、図形によるコメントとを切り替えて入力を受け付けてもよい。

さらに、コメント処理部１０２は、手書き図形を文字認識することでテキストに変換してもよいし、テキストを画像化してもよい。本実施形態では、ユーザは、テキスト入力と、手書き入力とを意識しないでコメントを付加することができる。

さらに、コメント処理部１０２は、ユーザが付加するコメントとして、スタンプのような画像を処理してもよい。

なお、コメント処理部１０２は、その他の一般的な編集処理、例えば、挿入、削除、変更、置換、移動といった操作や、文字種の変更、カーソルの移動、フォントの変更、線の色・太さの変更、線の変形といった公知の編集処理は実行可能である。

ＵＩ処理部１０４は、ユーザインタフェースの画面を生成し、表示部１１０に表示する。本実施形態においては、ＵＩ処理部１０４は、表示部１１０に、コンテンツと、コメントに関する情報及びコメントの一覧とを表示する処理を行う。例えば、図５（ａ）に示すように、表示画面Ｗ１００の全体にコンテンツを表示し、領域Ｒ１００にコメントを縦方向に並べて一覧で表示する。コメントは、時系列に並べてもよいし、ユーザ毎に表示してもよい。例えば、図５（ａ）の領域Ｒ１０２に、ユーザアイコンが表示されている。ユーザによりユーザアイコンが選択されると、ＵＩ処理部１０４は選択されたユーザに対応するコメントを、コメント情報１５６から読み出して表示する。ＵＩ処理部１０４は、コメントの一覧を、コンテンツに重畳して表示してもよいし、表示部１１０の表示領域を分割し、コンテンツが表示される領域とは異なる領域にコメントの一覧を表示してもよい。また、ＵＩ処理部１０４は、コメントの一覧の表示と非表示とを切り替えられてもよい。

ユーザ認証部１０６は、ユーザを認証する。具体的には、ユーザ認証部１０６は、ユーザ情報１５８を参照して、例えば、コメントを付けるユーザを認証したり、コンテンツの所有者（ユーザ）の認証をしたりする。なお、ユーザ認証部１０６は、外部の認証サーバを利用してもよい。認証サーバを利用した場合、ユーザ認証部１０６及びユーザ情報１５８は、認証サーバに記憶してもよい。

表示部１１０は、コンテンツやコメントを表示したり、表示装置１０の各種状態や、操作入力の状態を表示したりする。例えば、液晶ディスプレイ（ＬＣＤ：liquid crystal display）や、有機ＥＬパネル、電気泳動方式を利用した電子ペーパ等により構成されている。

入力部１２０は、ユーザからの操作入力を受け付ける。例えば、静電容量式や、感圧式のタッチパネルにより構成される。入力部１２０は、タッチパネルと操作ペンを組み合わせてもよいし、キーボード、マウスといった入力装置であってもよい。その他にも、例えば、マイク等と組み合わせて音声入力を行う等、入力部１２０は、ユーザが情報を入力できればよい。

また、入力部１２０は、ユーザから入力の操作があった位置を検出し、入力位置として制御部１００に出力する。入力位置は、例えば、タッチパネルにおいて検出された位置として、表示部１１０に表示されている表示画面上の座標であることが好ましい。それ以外にも、カーソルの位置（文章中の行、列の位置）や、配置されているレイアウトの情報（例えば、ボタン上や、スクロールバー上）といった位置であってもよい。

記憶部１５０は、表示装置１０の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部１５０は、例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等により構成されている。また、記憶部１５０は、コンテンツ情報１５２と、手書き図形情報１５４と、コメント情報１５６と、ユーザ情報１５８とを記憶している。

コンテンツ情報１５２は、コンテンツと、コンテンツに関する情報とを記憶している。コンテンツ情報１５２には、例えば、図３（ａ）に示すように、以下の情報が含まれている。

・コンテンツＩＤ：コンテンツを識別するための情報。
・コンテンツ：コンテンツに関する情報。コンテンツは、例えば、文章ファイル、画像ファイル、ＰＤＦ（Portable Document Format）ファイル、オフィスファイル等である。これらのコンテンツとしては、実際のデータが記憶されてもよいし、記憶されている場所（例えば、フォルダの場所、ＵＲＬ（uniform resource locator））が記憶されてもよい。また、コンテンツは、１又は複数のページで構成されてもよい。
・コメントＩＤリスト：コメントＩＤのリスト。当該コンテンツに付加されたコメントに対応するコメントＩＤが含まれている。

手書き図形情報１５４は、コンテンツに対して入力された手書き図形に関する情報を記憶している。コンテンツに対して入力された手書き図形とは、コンテンツが表示されている領域に対して、ユーザによるタッチ操作や操作ペン等の操作がされることにより、コンテンツ対して直接入力された手書き図形をいう。

手書き図形情報１５４には、例えば、図３（ｂ）に示すように、以下の情報が含まれている。
・コンテンツＩＤ：コンテンツを識別するための情報。
・位置：手書き図形が入力された領域と対応付けられた位置。当該コンテンツ又はコンテンツのページ内での位置であり、例えば、座標（ＸＹ座標）で示される。
・作成者：手書き図形を入力したユーザに関する情報。
・手書き図形情報：手書き図形を示す情報。

手書き図形情報１５４に記憶される位置は、手書き図形を含む領域の内部又はその周辺の位置が記憶される。また、手書き図形情報１５４に記憶される手書き図形情報は、ラスタ形式の画像で記憶されてもよいし、ベクタ形式の画像で記憶されてもよい。

コメント情報１５６は、ユーザがコンテンツに付加したコメントと、当該コンテンツに関する情報を記憶している。コメント情報１５６には、例えば、図３（ｃ）に示すように、以下の情報が含まれている。

・コメントＩＤ：コメントを識別するための情報。
・コンテンツＩＤ：コメントに対応するコンテンツを識別するための情報。
・位置：コンテンツの中でコメントが付加されている位置の情報。当該コンテンツ又はコンテンツのページ内での位置であり、例えば、座標（ＸＹ座標）で示される。また、コンテンツがテキストデータ等の文章データの場合、行・列で表されてもよい。
・作成者：コメントの作成者に関する情報。
・参照先ＩＤ：当該コメントが参照するコメント（親コメント）を識別するための情報。ユーザが、コメントを階層的に付加した場合に、親となるコメントを識別するため、親となるコメントＩＤを記憶する。なお、親と子のコメントとなるような、関連のあるコメントをコメント群と表現する。
・コメント：実際にユーザが入力した（付加した）コメントの内容を示す情報。内容には、例えば、テキストデータ、画像データ、添付ファイルに関するデータ等が記憶される。

なお、コメントは、複数の内容が記憶されてもよい。例えば、コメントとして画像データとテキストデータとが記憶されてもよいし、複数の画像データが記憶されてもよい。また、コメントとして複数のデータが記憶される場合は、記憶された順番（入力された順番）が保持されてもよい。例えば、１番目に入力された画像（第１の画像）と、２番目に入力された画像（第２の画像）とが、順番を保持した上でコメントとして記憶されてもよい。この場合は、コメント処理部１０２は、第２の画像を、第１の画像に対する追記としてのコメント（第１の画像に対応付けられる情報）として扱ってもよい。

ユーザ情報１５８は、ユーザに関する情報を記憶している。例えば、ユーザを識別するための情報として、ユーザ毎のログインＩＤ、パスワード、氏名、使用端末、ユーザの生体情報、使用する入力ペンのＩＤ等を記憶してもよい。また、ユーザ情報１５８は、ユーザ毎にアイコンを対応づけて記憶している。

通信部１６０は、他の装置と通信を行う。例えば、ＬＡＮ（Local Area Network）に接続して、他の装置とコメントに関する情報を送受信したり、ドキュメントを送受信したりする。通信方式は、一般的なイーサネット（登録商標）であるＬＡＮの他にも、ＬＴＥ／４Ｇ／５Ｇといった通信を利用してもよい。

なお、上述した各構成は、必要に応じた機能を表示装置１０が備えていればよい。例えば、管理者でないユーザ（一般ユーザ）が使用する表示装置１０や、サーバ装置２０に各データを記憶する場合であればコンテンツ情報１５２、コメント情報１５６は記憶部１５０に記憶する必要はない。また、必要に応じて各種情報は、クラウド上のサーバに記憶してもよい。

図２に記載された構成は、少なくとも制御部１００及び記憶部１５０を備えていればよく、本実施形態における動作を実現できるものを備えていればよい。また、一部の機能は外部の装置で実現されてもよい。例えば、表示部１１０を、ディスプレイ等の外部装置として構成してもよい。すなわち、表示装置１０は、表示装置と、端末装置とで構成されてもよく、制御部１００、記憶部１５０は、端末装置に備えていればよい。

［１．３ 処理の流れ］
本実施形態のコメント記憶処理の流れについて、図４を参照して説明する。制御部１００が、図４に示したコメント記憶処理を実行するのは、ＵＩ処理部１０４によってコンテンツとコメントを表示する処理を行うためのユーザインタフェースの画面が生成され、表示部１１０に表示された後である。

はじめに、制御部１００は、表示部１１０にメニューを表示する（ステップＳ１０２）。制御部１００は、入力部１２０を介して、長押しやダブルタップ等のジェスチャや、メニューを表示するためのアイコンやボタンを選択する操作が入力された場合に、メニューを表示する。

ステップＳ１０２において表示されるメニューには、制御部１００が実行可能な処理を示す項目が１又は複数表示される。ユーザは、メニューから１の項目を選択することで、所定の処理を実行させることができる。なお、本実施形態では、ステップＳ１０２において表示されるメニューに含まれる項目の中には、コンテンツの一部を画像として取得し、当該取得した画像（対象画像）をコメントとして出力する処理である「画像切り出し」が含まれる。

制御部１００は、メニューから、「画像切り出し」が選択されたか否かを判定する（ステップＳ１０４）。ここで、メニューから、「画像切り出し」が選択されず、他の処理を示す項目が選択された場合は、制御部１００は、選択された処理を実行する（ステップＳ１０４；Ｎｏ→ステップＳ１０６）。

一方で、メニューから、「画像切り出し」が選択された場合は、制御部１００は、入力部１２０を介して入力された操作に基づき、コンテンツの領域を特定する（ステップＳ１０４；Ｙｅｓ→ステップＳ１０８）。

例えば、制御部１００は、入力部１２０を介して、ユーザからの、タッチ操作、操作ペンの操作、マウスによる操作によるドラッグ操作の入力を受け付け、受け付けたドラッグ操作により領域を指定することが可能な画面を表示部１１０に表示する。そして、ユーザによってドラッグ操作がされた場合、制御部１００は、当該ドラッグ操作に基づく領域を、表示部１１０に表示されたコンテンツから特定する。

制御部１００が特定する領域は、矩形領域や円形領域であってもよいし、ドラッグ操作がされた位置をそのまま領域の境界とする自由形状の領域であってもよい。

つづいて、制御部１００は、特定したコンテンツの領域を決定するか否かを判定する（ステップＳ１１０）。例えば、制御部１００は、ドロップ操作など、ドラッグ操作が終了したことを検出した場合に、領域を決定するか否かを選択させるメニューを表示部１１０に表示する。ユーザによって領域を決定することが選択された場合は、制御部１００は、特定したコンテンツの領域を決定することを判定する。

なお、制御部１００は、ドラッグ操作が終了したことを検出した時点で、メニューなどを表示することなく、そのまま特定したコンテンツの領域を決定してもよい。また、制御部１００は、ドラッグ操作が終了したことを検出した後に、所定時間（例えば、３秒）経過するまでに、ユーザによって操作が入力されなかった場合に、特定したコンテンツの領域を決定してもよい。

なお、コンテンツの領域を決定しなかった場合は、制御部１００は、ステップＳ１０８に戻る（ステップＳ１１０；Ｎｏ→ステップＳ１０８）。

つづいて、制御部１００は、ステップＳ１１０においてコンテンツの領域を決定した場合、当該特定した領域のコンテンツに基づく画像を取得し、コメントとして記憶する（ステップＳ１１０；Ｙｅｓ→ステップＳ１１２）。

コンテンツに基づく画像を取得するために、制御部１００は、表示部１１０に表示されているコンテンツから、コメントとして記憶する画像を生成する。例えば、制御部１００は、ステップＳ１１０において決定した領域をキャプチャする（切り出す）ことで、コンテンツに基づく画像を取得する。なお、制御部１００は、キャプチャする領域内に、オブジェクト（例えば、コンテンツに対して直接入力された手書き図形）が含まれる場合は、コンテンツに基づく画像とオブジェクトとを重ねた画像を取得してもよい。

また、制御部１００は、取得した画像をコメントとして含み、表示部１１０に表示されているコンテンツのコンテンツＩＤと、コメントＩＤと、位置と、作成者とを含んだコメント情報を生成し、コメント情報１５６として記憶する。このようにすることで、ユーザによって選択された領域に基づくコンテンツに基づく画像は、コメントとして記憶される。

なお、制御部１００は、コメント情報１５６として記憶するコメントＩＤを、連番としてもよいし、所定の規則によって生成した文字列としてもよいし、ランダムな文字列としてもよい。

また、制御部１００は、コメント情報１５６として記憶する位置を、例えば、ステップＳ１０２においてメニューを表示する際に、長押しやダブルタップ等のジェスチャが入力された位置とする。なお、制御部１００は、コメント情報１５６として記憶される位置を、ドラッグ操作が終了した位置としてもよいし、ユーザに選択させてもよいし、キャプチャする領域に基づいて決定してもよい。キャプチャする領域に基づいて決定される位置とは、例えば、キャプチャする領域の中心であってもよいし、キャプチャする領域が矩形領域であれば、矩形領域の四隅のいずれかの位置であってもよい。

また、制御部１００は、コメント情報１５６として記憶する作成者を、ステップＳ１０２においてメニューを表示する前に予めユーザに選択させてもよいし、ステップＳ１０８において、ユーザによってコンテンツの領域を入力する際に用いられた操作ペンに基づいて特定してもよい。

つづいて、制御部１００（ＵＩ処理部１０４）は、コメント情報１５６を読み出して、コメントが付加された位置に、当該コメントを付加したユーザ（作成者）を示す識別表示として、ユーザアイコンを表示部１１０に表示する（ステップＳ１１４）。ここで、ユーザアイコンとは、コメントを付加したユーザ（作成者）を識別する識別表示の１つであり、コメントを付加したユーザを識別するための図形、記号、文字、画像のことをいう。識別表示は、コメントを付加したユーザを識別できる表示であればよい。

また、制御部１００（ＵＩ処理部１０４）は、表示部１１０に、コメントを一覧で表示する処理を行う（ステップＳ１１６）。なお、制御部１００（ＵＩ処理部１０４）は、コメントとして記憶されたコンテンツの一部分の画像の縦の長さ又は横の長さが大きい場合は、当該コンテンツの一部分の画像を縮小して表示してもよい。

このように、コンテンツの一部分の画像がコメントとして記憶されることにより、ユーザは、コメントとして付加する対象となった領域のコンテンツに基づく画像を、表示部１１０に一覧で表示されたコメントを見ることで把握することができる。また、ユーザは、コメント処理部１０２に編集処理を実行させることにより、コメントの編集やコメントの削除を行うことができる。

［１．４ 動作例］
本実施形態の動作例について、図５及び図６を参照して説明する。はじめに、図５（ａ）を参照して、ＵＩ処理部１０４によって生成されたユーザインタフェースである表示画面Ｗ１００について説明する。表示画面Ｗ１００には、表示部１１０の表示可能領域全体にコンテンツが表示されており、画面右端の領域Ｒ１００に、コメントが一覧で表示されている。なお、領域Ｒ１００は、画面端の上下左右の何れの位置であってもよい。また、領域Ｒ１００は、画面端に位置しなくても、例えば、ウィンドウ形式でコンテンツに重畳表示されてもよい。

領域Ｒ１００には、コンテンツに付加されたコメントが一覧で表示されている。例えば、コメントＣ１００としてユーザＡのコメントが、コメントＣ１０２としてユーザＢのコメントが、それぞれ表示されている。また、表示画面Ｗ１００には、ユーザアイコンＵ１００やユーザアイコンＵ１０２が示すように、コメントが付加された位置に、ユーザアイコンが表示されている。

なお、コメントを一覧で表示する場合においては、親コメント／子コメントが確認できるように表示されるようにしてもよい。例えば、コメントＣ１００の子コメントであるコメントＣ１０２は、親コメントであるコメントＣ１００にぶら下がるように表示（入れ子となるように表示）してもよい。

つづいて、制御部１００によってコメント記憶処理が実行されるときに、表示部１１０に表示される表示画面について説明する。まず、コメント記憶処理のステップＳ１０２において、メニューを表示する処理が実行された場合、表示部１１０には、図５（ｂ）に示した表示画面Ｗ１１０が表示される。表示画面Ｗ１１０には、メニューＭ１１０が表示される。メニューＭ１１０には、項目として「画像切り出し」が含まれる。なお、メニューＭ１１０に表示される項目のうち、ユーザが選択できない項目はグレーアウトされてもよい。

表示画面Ｗ１１０に表示されたメニューから「画像切り出し」が選択された場合、表示部１１０に表示される表示画面は、表示画面Ｗ１１０から図５（ｃ）に示した表示画面Ｗ１２０に遷移する。表示画面Ｗ１２０は、図５（ｃ）に示すように、コンテンツ全体に暗幕を掛けたような表示がされ、コンテンツが暗く表示される。

このとき、ユーザによって操作がされた場合に表示される表示画面Ｗ１３０を、図６（ａ）に示す。例えば、ユーザによって操作ペンＰ１３０を用いたドラッグ操作が入力された場合、ドラッグ操作に基づいて表示装置１０によって特定された領域が、図６（ａ）の領域Ｒ１３０に示すように、明るく表示されてもよい。このようにすることで、表示装置１０は、ユーザに対して、コメントとして記憶されるコンテンツの領域を確認させることができる。

表示画面Ｗ１３０において、表示装置１０によって、ドラッグ操作が終了したことを検出された場合、表示部１１０に表示される表示画面は、表示画面Ｗ１３０から図６（ｂ）に示した表示画面Ｗ１４０に遷移する。表示画面Ｗ１４０には、メニューＭ１４０が表示される。メニューＭ１４０には、項目として、ユーザによって入力された操作に基づき特定された領域を決定するための「ＯＫ」と、領域を選択し直すための「キャンセル」とが含まれる。このとき、ユーザによって、メニューＭ１４０から「キャンセル」が選択された場合は、表示部１１０に表示される表示画面は、表示画面Ｗ１４０から図５（ｃ）に示した表示画面Ｗ１２０に遷移する。なお、図６（ａ）に示した表示画面Ｗ１３０に遷移し、特定された領域（例えば、領域Ｒ１３０のように明るく表示された領域）を変形させる操作が受け付けられるようにしてもよい。

一方で、ユーザによって、メニューＭ１４０から「ＯＫ」が選択された場合、表示部１１０に表示される表示画面は、表示画面Ｗ１４０から図６（ｃ）に示した表示画面Ｗ１５０に遷移する。表示画面Ｗ１５０は、ユーザの操作に基づき特定された領域（図６（ａ）の領域Ｒ１３０）のコンテンツに基づく画像がコメントとして新たに記憶されたときの表示画面である。

例えば、ユーザの操作に基づき特定された領域である図６（ａ）の領域１３０に基づくコンテンツの画像として、図６（ｂ）の領域Ｒ１４０で示した矩形領域のコンテンツの画像がキャプチャされ、コメントとして記憶される。この結果、コンテンツの一部分の画像として、領域Ｒ１４０の範囲をキャプチャした画像がコメントとして新たに記憶される、例えば、コメントが一覧で表示される領域Ｒ１５０には、コメントＣ１５０に示すように、コメントの一覧の中に、新たに記憶されたコメント（領域Ｒ１４０のコンテンツの画像）が表示される。また、コメントＣ１５０が付加された位置には、ユーザアイコンＵ１５０が表示される。

本実施形態によれば、表示装置は、ユーザからの入力に基づき、コンテンツの領域を特定し、特定した領域に基づき、コンテンツを取得し、コメントとして記憶する。したがって、ユーザは、コンテンツの領域を選択することで、選択した領域に基づくコンテンツをコメントとして記憶させることができる。

［２．第２実施形態］
つづいて、第２実施形態について説明する。第２実施形態は、コメントとして記憶したコンテンツに基づく画像に対して、更にコメントを追記することが可能な実施形態である。

［２．１ 処理の流れ］
本実施形態では、制御部１００は、図７に示したコメント記憶・追記処理を実行する。制御部１００が、図７に示したコメント記憶・追記処理を実行するのは、ＵＩ処理部１０４によってコンテンツとコメントを表示する処理を行うためのユーザインタフェースの画面が生成され、表示部１１０に表示された後である。

はじめに、制御部１００は、第１実施形態において説明したコメント記憶処理を実行する（ステップＳ２０２）。これにより、制御部１００は、ユーザの操作に基づき特定した領域に基づくコンテンツをコメントとして記憶する。また、制御部１００（ＵＩ処理部１０４）は、コメント記憶処理よって記憶されたコメントに基づき、表示部１１０に、ユーザアイコンを表示させる。

つづいて、制御部１００は、表示部１１０にコメントボックスを表示する（ステップＳ２０４）。コメントボックスとは、表示部１１０に表示されたコンテンツに重畳して表示される領域であり、タッチ操作や操作ペンによる操作に基づき、コメント（オブジェクト）の入力を受け付ける領域（入力領域）である。なお、本実施形態では、ステップＳ２０４において表示されるコメントボックスは、ステップＳ２０２において記憶されたコメントに対するコメントを入力するために表示されることとして説明する。

つづいて、制御部１００は、コメントボックスが操作ペンによってタッチされたか否かを判定する（ステップＳ２０６）。コメントボックスが操作ペンによってタッチされた場合は、制御部１００は、操作ペンによるコメント（手書き図形）の入力を受け付ける（ステップＳ２０６；Ｙｅｓ→ステップＳ２０８）。これにより、ユーザは、コメントボックスに、コメント（手書き図形）を入力することができる。

つづいて、制御部１００は、コメントボックスの外がタッチされたか否かを判定する（ステップＳ２１０）。コメントボックスの外がタッチされない場合は、引き続き、操作ペンによるコメントの入力を受け付ける（ステップＳ２１０；Ｎｏ→ステップＳ２０８）。

コメントボックスの外がタッチされた場合は、制御部１００は、コメントボックスに入力されたコメントを、ステップＳ２０２において記憶したコメント（コンテンツに基づく画像）に対する追記のコメントとして記憶する（ステップＳ２１０；Ｙｅｓ→ステップＳ２１６）。

例えば、ステップＳ２０８において操作ペンによるコメントの入力を受け付けた場合、制御部１００は、ステップＳ２０２において記憶したコメント（コンテンツの一部分の画像）を第１の画像とし、操作ペンの入力に基づくコメント（手書き図形）の画像を第２の画像としたコメント情報１５６を記憶する。これにより、制御部１００は、操作ペンを用いてコメントボックスに入力されたコメントの画像を、コンテンツに基づく画像に対するコメントとして記憶させることができる。

ステップＳ２０６において、コメントボックスが操作ペンによってタッチされたと判定しなかった場合は、制御部１００は、テキストのコメントの入力を受け付ける（ステップＳ２０６；Ｎｏ→ステップＳ２１２）。例えば、ユーザは、キーボード等を用いて、コメントボックスに対してテキストを入力する。

つづいて、制御部１００は、コメントボックスの外がタッチされたか否かを判定する（ステップＳ２１４）。コメントボックスの外がタッチされない場合は、引き続き、テキストによるコメントの入力を受け付ける（ステップＳ２１４；Ｎｏ→ステップＳ２１２）。

コメントボックスの外がタッチされた場合は、制御部１００は、コメントボックスに入力されたコメントを、ステップＳ２０２において記憶したコメント（コンテンツに基づく画像）に対するコメントとして記憶する（ステップＳ２１４；Ｙｅｓ→ステップＳ２１６）。例えば、制御部１００は、ステップＳ２０２において記憶したコメント情報１５６のコメントに、ステップＳ２１２において入力を受け付けたテキストを追加して記憶する。これにより、制御部１００は、コメントボックスに入力されたテキストのコメントを、コンテンツに基づく画像に対する追記のコメントとして記憶させることができる。

つづいて、制御部１００（ＵＩ処理部１０４）は、表示部１１０に、コメントを一覧で表示する（ステップＳ２１８）。これにより、ステップＳ２０２において記憶されたコンテンツに基づく画像と、コメントボックスに入力されたコメントとが、グループとして表示部１１０に表示されることとなる。

［２．２ 動作例］
本実施形態の動作例について、図８を参照して説明する。図８（ａ）は、コメントボックスを表示する処理が実行された場合、表示部１１０に表示される表示画面Ｗ２００を示した図である。表示画面Ｗ２００には、ユーザアイコンＵ２００とコメントボックスＥ２００とが表示される。また、ユーザアイコンＵ２００とコメントボックスＥ２００とを接続する線等が表示されることにより、追記の対象となるコメントを示されてもよい。

図８（ｂ）は、コメントボックスＥ２１０に操作ペンＰ２１０を用いて、コメント（手書き図形）が入力された場合に、表示部１１０に表示される表示画面Ｗ２１０を示した図である。このようにすることで、ユーザは、例えば、タッチ操作や操作ペンによる操作によって選択した領域に基づくコンテンツに基づく画像に対するコメントを、コメントボックスＥ２１０を介して入力することができる。

図８（ｃ）は、コメントボックスの外がタッチされた場合に、表示部１１０に表示される表示画面Ｗ２２０を示した図である。コメントボックスの外がタッチされることにより、コメントボックスに入力されたコメントが確定される。また、表示画面Ｗ２２０に表示されたコメントＣ２２０には、コメントとして記憶されたコンテンツの一部分の画像Ｃ２２２と、コメントボックスに対して入力されたコメントの画像Ｃ２２４とが表示される。ユーザは、コメントＣ２２０を見ることで、ユーザによって入力されたコメントが、コンテンツのどの部分に対して入力されたコメントであるかを確認することができる。

本実施形態によれば、表示装置は、コメントとして記憶したコンテンツの一部分の画像に対するコメントの入力を受け付け、入力されたコメントをコンテンツの一部分の画像に対するコメントとして記憶することができる。これにより、コンテンツの一部分の画像と、コンテンツの一部分の画像に対するコメントとが一覧として表示されるため、ユーザは、コンテンツに対するコメントの内容と、そのコメントが付加されたコンテンツの内容とを把握することができる。

［３．第３実施形態］
つづいて、第３実施形態について説明する。第３実施形態は、第２実施形態とは異なり、先にオブジェクトの入力を受け付けてから、コメントとして記憶するコンテンツの領域を選択する実施形態である。本実施形態は、特に、先に受け付けるコメントが、コンテンツに対して直接入力された手書き図形である場合の実施形態である。本実施形態は、第１実施形態の図４を図９に置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。

［３．１ 処理の流れ］
本実施形態では、制御部１００は、図９に示したコメント記憶処理を実行する。制御部１００が、図９に示したコメント記憶処理を実行するのは、ＵＩ処理部１０４によってコンテンツとコメントを表示する処理を行うためのユーザインタフェースの画面が生成され、表示部１１０に表示された後である。

はじめに、制御部１００は、コンテンツに対する手書き図形の入力を受け付ける（ステップＳ３０２）。例えば、制御部１００は、入力部１２０（タッチパネル）に対するタッチダウンを検出した場合や、入力部１２０に対する操作ペンによる入力を検出した場合に、手書きコメント入力状態（モード）に遷移し、手書き図形の入力を受け付ける。手書きコメント入力状態（モード）とは、表示されているコンテンツに対して、直接手書き図形を入力することができる状態（モード）である。制御部１００は、手書き図形入力処理を実行すると、タッチパネルに対する入力の軌跡に基づいて手書き図形として出力する。制御部１００は、入力が終了するまで手書き図形を記憶部１５０に一時的に出力してもよいし、手書き図形情報１５４に出力してもよい。

つづいて、制御部１００は、手書き図形の入力が完了したか否かを判定する（ステップＳ３０４）。としては、例えば、以下の場合が挙げられる。

（１）タッチアップしてから所定時間経過した場合
入力部１２０（例えば、タッチパネル）が、ユーザのタッチ入力について、タッチアップを検出してから所定時間経過した場合、制御部１００は、手書き図形の入力が終了したと判定する。所定時間は、予め設定されていてもよいし、ユーザによって設定されてもよい。所定時間は、好ましくは１００ミリ秒〜３秒程度であり、より好ましくは１秒程度である。これにより、複数の手書き図形が連続して入力されることにより、タッチダウンとタッチアップとが複数回検出される場合であっても、制御部１００は、所定時間が経過する前に再度のタッチダウンを検出した場合、手書き図形の入力を継続させることができる。

（２）手書き図形入力における操作以外の操作を検出した場合
手書き図形の入力における操作は、例えば、タッチパネルをタッチしたままタッチした位置を動かしたり、操作ペンを接触させたまま動かしたりする操作（ドラッグ操作）である。ここで、通常の手書き図形の入力の操作以外の操作（例えば、ダブルタップや、長押し等）を検出したとき、制御部１００は、手書き図形の入力が終了したと判定する。

（３）手書き図形の入力が終了したことを示す操作がされた場合
ユーザから手書き図形の入力が終了した操作がなされた場合に、制御部１００は手書き図形の入力が終了したと判定する。例えば、制御部１００は、「入力終了」といったボタンを表示部１１０にさせ、当該ボタンがユーザによって選択されたとき、手書き図形の入力が終了したと判定する。

なお、手書き図形の入力が完了していない場合は、制御部１００は、ステップＳ３０２へ戻ることで、手書き図形の入力の受け付けを継続する（ステップＳ３０４；Ｎｏ→ステップＳ３０２）。

手書き図形の入力が完了したと判定した場合は、制御部１００は、入力された手書き図形を、表示部１１０に表示されているコンテンツのコンテンツＩＤ、作成者、位置の情報とともに、手書き図形情報１５４として記憶する（ステップＳ３０４；Ｙｅｓ→ステップＳ３０６）。

ここで、制御部１００は、手書き図形情報１５４に記憶する位置として、例えば、コンテンツに対して入力された手書き図形を含む領域の境界線上の所定の位置（矩形領域であれば四隅のうちの何れか）を記憶する。なお、制御部１００は、手書き図形情報１５４に記憶する位置を、手書き図形を含む領域の中心としてもよいし、手書き図形の入力が開始された位置又はその周辺の位置としてもよい。

また、制御部１００は、作成者として記憶されるユーザを、ステップＳ３０２を実行する前に予めユーザに選択させてもよいし、手書き図形を入力する際に用いられた操作ペンに基づいて特定してもよい。

手書き図形情報を記憶したら、制御部１００は、表示部１１０にメニューを表示する（ステップＳ１０２）。メニューには、第１実施形態と同様に、項目に「画像切り出し」が含まれる。なお、「画像切り出し」以外の項目として、例えば、コンテンツに基づく画像を取得せずに手書き図形だけをコメントとして記憶する項目や、手書き図形をコメントとして記憶せず、単にコンテンツ上に手書き図形を残す項目が含まれてもよい。

つづいて、制御部１００は、ステップＳ１０４〜ステップＳ１１０の処理を実行することにより、入力部１２０を介して入力された操作に基づき、コンテンツの領域を特定する。

つづいて、制御部１００は、ステップＳ３０２において入力を受け付けた手書き図形の画像と、ステップＳ１１０において決定した領域に基づいて取得したコンテンツに基づく画像とを、コメントとして記憶する（ステップＳ３０８）。

例えば、制御部１００は、ステップＳ１１０において決定した領域に基づいて取得したコンテンツに基づく画像を第１の画像とし、ステップＳ３０２において入力を受け付けた手書き図形の画像を第２の画像としたコメントを、コメント情報１５６として記憶する。なお、コメント情報１５６として記憶される位置及び作成者は、ステップＳ３０６で記憶された位置及び作成者と同一であってよい。なお、コメント情報１５６として記憶されるコメントＩＤは、所定の方法により生成されたものが記憶されればよい。

［３．２ 動作例］
本実施形態の動作例について、図１０を参照して説明する。図１０（ａ）は、コンテンツに対して、手書き図形が入力された場合、表示部１１０に表示される表示画面Ｗ３００を示した図である。例えば、ユーザによって文字を構成する線Ｌ３００が手書き図形として入力され、表示部１１０に表示される。

コンテンツに対する手書き図形の入力が完了し、メニューから「画像切り出し」が選択された場合、表示部１１０に表示される表示画面は、表示画面Ｗ３００から図１０（ｂ）に示した表示画面Ｗ３１０に遷移する。図１０（ｂ）は、第１実施形態の図５（ｃ）に示した表示画面Ｗ１２０と同様の画面であり、ユーザによって操作ペンＰ３１０を用いたドラッグ操作が入力された場合に、ドラッグ操作に基づいて特定された領域を明るく表示させた画面である。

コンテンツの領域が決定した場合、表示部１１０に表示される表示画面は、表示画面Ｗ３１０から図１０（ｃ）に示した表示画面Ｗ３２０に遷移する。表示画面Ｗ３２０に表示されたコメントＣ３２０には、コメントとして記憶されたコンテンツの一部分の画像Ｃ３２２と、コンテンツに対して入力された手書き図形の画像Ｃ３２４とが表示される。ユーザは、コメントＣ３２０を見ることで、ユーザによって入力された手書き図形のコメントが、コンテンツのどの部分に対して入力されたコメントであるかを確認することができる。

また、手書き図形が含まれる矩形領域Ｅ３２０の右下の隅の位置に、ユーザアイコンＵ３２０が表示される。ユーザは、ユーザアイコンＵ３２０を見ることで、ユーザアイコンＵ３２０の周囲に入力された手書き図形（手書きのコメント）を入力したユーザ（図１０（ｃ）の例では「Ｃ」）を識別することができる。

本実施形態によれば、表示装置は、コンテンツに対する手書き図形の入力を受け付けたあとで、コンテンツの一部分の画像を取得し、手書き図形の画像とコンテンツの一部分の画像とをコメントとして記憶する。したがって、ユーザは、手書きによるコメントの入力と、コンテンツの領域の選択を、効率的に行うことが可能となる。

［４．第４実施形態］
つづいて、第４実施形態について説明する。第４実施形態は、コメントボックスの背景となっているコンテンツに基づく画像を自動で取得し、コメントとして記憶する実施形態である。

本実施形態では、制御部１００は、図１１に示したコメント記憶処理を実行する。制御部１００が、図１１に示したコメント記憶処理を実行するのは、ＵＩ処理部１０４によってコンテンツとコメントを表示する処理を行うためのユーザインタフェースの画面が生成され、表示部１１０に表示された後である。

はじめに、制御部１００は、入力部１２０を介して、表示部１１０に表示されたコンテンツ上にタッチ操作がされた場合、タッチ操作がされた位置に、ユーザアイコンを表示する（ステップＳ４０２→ステップＳ４０４）。なお、制御部１００は、ステップＳ４０２において、シングルタッチを検出したときにタッチ操作がされたと判定してもよいし、長押しやダブルタップ等のジェスチャを検出したときにタッチ操作がされたと判定してもよい。これにより、ユーザは、コメントを付加する場所を指定することができる。

つづいて、制御部１００は、コメントボックスを表示する（ステップＳ４０６）。例えば、制御部１００は、コメントボックスを表示する位置を、ステップＳ４０４で表示したユーザアイコンの周囲とする。

つづいて、制御部１００は、コメントボックスが操作ペンによってタッチされた場合は、操作ペンによるコメント（手書き図形）の入力を受け付ける（ステップＳ４０８；Ｙｅｓ→ステップＳ４１０）。

つづいて、制御部１００は、操作ペンによるコメント（手書き図形）の入力が完了したか否かを判定する（ステップＳ４１２）。なお、操作ペンによるコメント（手書き図形）の入力が完了したか否かの判定については、制御部１００は、第３実施形態で説明したコメント記憶処理のステップＳ３０４と同様の処理を行えばよい。

なお、操作ペンによるコメント（手書き図形）の入力が完了していない場合は、制御部１００は、ステップＳ４１０へ戻ることで、操作ペンによるコメントの入力の受け付けを継続する（ステップＳ４１２；Ｎｏ→ステップＳ４１０）。

一方で、ステップＳ４０８において、コメントボックスが操作ペンによってタッチされたと判定しなかった場合は、制御部１００は、テキストのコメントの入力を受け付ける（ステップＳ４０８；Ｎｏ→ステップＳ４１４）。つづいて、制御部１００は、ステップＳ４０２で表示したユーザアイコンがタッチされたか否かを判定する（ステップＳ４１６）。

操作ペンによるコメント（手書き図形）の入力が完了した場合（ステップＳ４１２；Ｙｅｓ）、又は、ステップＳ４０２で表示したユーザアイコンがタッチされた場合（ステップＳ４１６；Ｙｅｓ）は、制御部１００は、メニューを表示する（ステップＳ４１８）。本実施形態では、ステップＳ４１８において表示されるメニューの項目には、「コメント化」と「画像切り出し」とが含まれることとする。

つづいて、制御部１００は、ステップＳ４１８で表示したメニューから「コメント化」が選択されたか否かを判定する（ステップＳ４２０）。

コメント化が選択された場合は、コメントボックスに入力された内容（オブジェクト）を、コンテンツＩＤ、コメントＩＤ、作成者、位置の情報とともに、コメントとして記憶する（ステップＳ４２０；Ｙｅｓ→ステップＳ４２２）。具体的には、制御部１００は、コメントボックスに入力された内容（オブジェクト）をコメントとして、コンテンツＩＤ、コメントＩＤ、作成者、位置の情報とともに、コメント情報１５６として記憶する。コンテンツＩＤ、コメントＩＤ、作成者、位置の情報に関しては、第１実施形態のコメント記憶処理のステップＳ１１２において記憶される情報と同様の情報である。

つづいて、制御部１００（ＵＩ処理部１０４）は、コメントを一覧で表示する（ステップＳ４２４）。なお、メニューから「コメント化」が選択された場合は、コンテンツに基づく画像はコメントとして記憶されないため、ステップＳ４２４において表示されるコメントには、コメントボックスに入力された内容（オブジェクト）のみが含まれる。

一方で、ステップＳ４２０において、「コメント化」が選択されなかった場合は、制御部１００は、「画像切り出し」が選択されたか否かを判定する（ステップＳ４２０；Ｎｏ→ステップＳ４２６）。

「画像切り出し」が選択された場合（ステップＳ４２６；Ｙｅｓ）、制御部１００は、コメントボックスの背景となっている領域のコンテンツに基づく画像を取得する。そして、制御部１００は、コメントボックスに対して入力された内容と、コンテンツに基づく画像とを、コメントとして記憶する（ステップＳ４２８）。

ここで、コメントボックスの背景となっている領域のコンテンツに基づく画像の取得方法について説明する。コンテンツに基づく画像を取得するために、例えば、制御部１００は、コメントボックスが重畳されている領域を特定し、特定した領域をコンテンツに基づく画像を取得する領域とみなして、当該領域のコンテンツに基づく画像を取得する。

なお、制御部１００は、コンテンツに基づく画像を取得する領域を、所定の方法により拡張させてもよい。例えば、制御部１００は、コメントボックスが重畳されている領域に含まれる文字または画像に隣接する他の文字または画像との間隔を測り、間隔が所定値よりも広くなったところまで、領域を拡張させてもよい。なお、表示装置１０が検索する文字は、オブジェクトのテキスト（文字）であってもよいし、手書き図形によって構成される文字であってもよいし、コンテンツに基づく画像に含まれるテキスト（文字）であってもよい。さらに、制御部１００は、領域に含まれる画像に隣接する画像（かたまり）を含めたグループ画像を含むように、領域を拡張させてもよい。

なお、制御部１００は、コンテンツに基づく画像を取得する領域に含まれるオブジェクトと領域外のオブジェクトとの間の間隔を求め、それに基づきコンテンツに基づく画像を取得する領域を拡張するか否かを判定してもよい。また、制御部１００は、オブジェクト間の間隔だけでは領域を拡張するか否かの判定ができない場合は、文字認識と意味認識、図形認識とを実行し、文章が通じる範囲まで、コンテンツに基づく画像を取得する領域を拡張させてもよい。

制御部１００は、上述した方法によってコンテンツに基づく画像を取得する領域を拡張させ、当該領域のコンテンツに基づく画像を取得することにより、意味として通じるコンテンツに基づく画像を取得することができ、コメントの意味をより明確にすることができる。

なお、制御部１００は、ステップＳ４２６において、コメントボックスに入力された内容と、取得したコンテンツに基づく画像とをコメントとして、コンテンツＩＤ、コメントＩＤ、作成者、位置の情報とともに、コメント情報１５６として記憶する。コンテンツＩＤ、コメントＩＤ、作成者、位置の情報に関しては、第１実施形態のコメント記憶処理のステップＳ１１２において記憶される情報と同様の情報である。

ステップＳ４２８の処理が完了したら、制御部１００（ＵＩ処理部１０４）は、コメントを一覧で表示する（ステップＳ４２４）。なお、メニューから「画像切り出し」が選択された場合は、ステップＳ４２８において取得されたコンテンツに基づく画像もコメントとして記憶される。したがって、ステップＳ４２４において表示されるコメントには、コンテンツの一部分の画像と、コメントボックスに入力された内容（オブジェクト）とが含まれる。

ステップＳ４１６においてユーザアイコンがタッチされなかった場合（ステップＳ４１６；Ｎｏ）や、ステップＳ４２６においてメニューから「画像切り出し」が選択されなかった場合（ステップＳ４２６；Ｎｏ）は、制御部１００は、コメントボックスの外をタッチする操作がされたか否かを判定する（ステップＳ４３０）。

コメントボックスの外がタッチされた場合は、制御部１００は、ステップＳ４２２の処理を実行することで、コメントボックスに入力された内容をコメントとして記憶する（ステップＳ４３０；Ｙｅｓ→ステップＳ４２２）。一方で、コメントボックスの外がタッチされなかった場合は、制御部１００は、ステップＳ４０８へ戻る（ステップＳ４３０；Ｎｏ→ステップＳ４０８）。

本実施形態によれば、表示装置は、コメントに対する背景となるコンテンツに基づく画像を自動的に取得する。したがって、ユーザは、コメントを付加したい場所を選択してコメントを入力するだけで、入力したコメントの内容とコンテンツの一部分の画像とを、コメントとすることができる。

［５．第５実施形態］
つづいて、第５実施形態について説明する。第５実施形態は、コメントに対してファイルを添付することができる実施形態である。本実施形態は、第１実施形態〜第４実施形態において実行される処理に加えて、制御部１００は、図１２に示すファイル添付処理を実行する。

［５．１ 処理の流れ］
図１２を参照して、ファイル添付処理について説明する。制御部１００が、図１２に示したファイル添付処理を実行するのは、コメント記憶処理又はコメント記憶・追記処理が実行されているときである。例えば、制御部１００は、コメント記憶処理又はコメント記憶・追記処理とファイル添付処理とを並列で実行する。

なお、本実施形態では、制御部１００（ＵＩ処理部１０４）は、コメント情報１５６を読み出し、表示部１１０に表示されたコンテンツ上に、コメント情報１５６に記憶された位置に基づき、識別表示（例えば、ユーザアイコン）を表示する。また、制御部１００（ＵＩ処理部１０４）は、ユーザによってユーザアイコンが選択されたときにコメントボックスを表示する。制御部１００（ＵＩ処理部１０４）は、コメントボックスに、ユーザによって選択されたユーザアイコンが表示された場所に付加されたコメントと、クリップボタンとを表示させる。

はじめに、制御部１００は、ファイルを添付する操作があったか否かを判定する（ステップＳ５０２）。ファイルを添付する操作とは、例えば、コメントボックスに表示されたクリップボタンをユーザによって選択される操作である。なお、ファイルを添付する操作は、添付するファイルをドラッグし、コメントボックスや、一覧で表示されたコメントに対してドロップする操作（ドラッグ＆ドロップ）であってもよい。

ファイルを添付する操作があった場合は、制御部１００は、表示部１１０に、コメントに添付するファイルを選択するためのファイル選択画面を表示する制御を行う（ステップＳ５０２；Ｙｅｓ→ステップＳ５０４）。

制御部１００は、ユーザによってファイルが選択されるまで、ファイル選択画面を表示する（ステップＳ５０６；Ｎｏ→ステップＳ５０４）。他方、ユーザによってファイルが選択された場合は、制御部１００は、コメントに、ユーザによって選択されたファイルを添付する（ステップＳ５０６；Ｙｅｓ→ステップＳ５０８）。

具体的には、制御部１００は、ファイルを添付する対象のコメントに対応するコメント情報１５６と、ステップＳ２０６においてユーザによって選択されたファイルの情報とを対応付ける。例えば、制御部１００は、ファイルを添付する対象のコメントに対応するコメント情報１５６に、添付するファイルそのものやファイルの記憶場所（例えば、ファイルパスやＵＲＬ）を記憶する。なお、コメントとファイルとを対応付けられれば、どのような方法を用いてもよく、制御部１００は、ファイルを添付する対象のコメントのコメントＩＤと、ユーザによって選択されたファイルとを対応付けて記憶部１５０に記憶する方法を用いてもよい。

なお、コメントに添付されたファイルを表示する操作がユーザによってされた場合は、制御部１００は、ユーザの操作に基づき、コメントに添付されたファイルを表示部１１０に表示する。

［５．２ 動作例］
本実施形態の動作例について、図１３を参照して説明する。図１３（ａ）は、コンテンツが表示された表示画面Ｗ５００の一例を示した図である。表示画面Ｗ５００の右端には、コメントの一覧を表示する領域Ｒ５００が確保されている。

また、表示画面Ｗ５００には、ユーザアイコンＵ５００が表示されている。ユーザによってユーザアイコンＵ５００が選択された場合、選択されたユーザアイコンＵ５００が表示された位置に付加されたコメントが、コメントボックスＥ５００に表示される。

コメントボックスＥ５００には、クリップボタンＭ５００が含まれる。ユーザにより、クリップボタンＭ５００を選択する操作がされた場合、図１０（ｂ）に示すように、ファイル選択画面Ｒ２１０を含む表示画面Ｗ２１０が表示される。ユーザは、ファイル選択画面Ｒ２１０から、コメントに添付するファイルを選択する。これにより、コメントにファイルが添付される。

図１０（ｃ）は、ユーザによって、コメントに添付するファイルが選択された場合の表示画面Ｗ５２０の一例を示した図である。表示画面Ｗ５２０の右端に確保されたコメントの一覧を表示する領域Ｒ５２０において、ファイルが添付されたコメントには、ファイルが添付されていることを示す表示がされる。例えば、ファイルが添付されたコメントＣ５２０のように、コメントにファイルが添付されていることを示す表示として、クリップ留めボタンＭ５２０が表示される。また、この場合、クリップ留めボタンＭ５２０をコメントに添付されたファイルを表示する操作を受け付けるボタンとしてもよい。

ここで、ユーザによって、クリップ留めボタンＭ５２０が選択された場合は、図１０（ｄ）に示すように、コメントに添付されたファイルが、既定のアプリケーションで開かれ、ファイルの内容が表示された表示画面Ｗ５３０が表示される。

本実施形態によれば、ユーザは、コメントに対して、関連するファイルを添付することが可能となる。また、添付されたファイルは、一覧として表示されたコメントに対する操作により、ファイルの内容を表示することができる。このように、ユーザは、コメントの一覧を閲覧するだけで、コンテンツに付加されたコメントと、コメントに関連するファイルを把握することができる。

［６．第６実施形態］
つづいて、第６実施形態について説明する。第６実施形態は、制御部１００が、コンテンツに重畳して表示された手書き図形の表示又は非表示を切り替える制御を行う実施形態である。本実施形態は、第１実施形態〜第５実施形態において実行される処理に加えて、制御部１００は、図１４に示す表示切り替え処理を実行する。

［６．１ 処理の流れ］
図１４を参照して、表示切り替え処理について説明する。制御部１００が、図１４に示した表示切り替え処理を実行するのは、コメント記憶処理又はコメント記憶・追記処理が実行されているときである。例えば、制御部１００は、コメント記憶処理又はコメント記憶・追記処理と表示切り替え処理とを並列で実行する。

なお、本実施形態では、制御部１００は、手書き図形情報１５４を読み出して、コンテンツに手書き図形を重畳して表示させる。また、制御部１００は、表示部１１０に表示されたコンテンツ上に、手書き図形情報１５４に記憶された位置に基づき、手書き図形を入力したユーザを示す識別表示（例えば、ユーザアイコン）を表示する。

はじめに、制御部１００は、コンテンツ上に手書き図形が表示されているか否かを判定する（ステップＳ６０２）。ここで、手書き図形が表示されていない場合とは、手書き図形情報１５４が記憶部１５０に記憶されていない場合（コンテンツに対する手書き図形の入力がされていない場合）である。手書き図形が表示されていない場合は、表示切り替え処理を終了する（ステップＳ６０２；Ｎｏ）。

つづいて、コンテンツ上に手書き図形が表示されている場合、つづいて、制御部１００は、コンテンツ上のユーザアイコンに対するタッチ入力がされたか否かを判定する（ステップＳ６０４）。コンテンツ上のユーザアイコンに対するタッチ入力がされたと判定した場合は、制御部１００は、選択されたユーザアイコンによって示された位置に入力された手書き図形を非表示にする（ステップＳ６０４；Ｙｅｓ→ステップＳ６０６）。

具体的には、制御部１００は、タッチ入力がされたユーザアイコンによって示された位置に入力された手書き図形情報を手書き図形情報１５４から読み出さないようにする。その上で、制御部１００は、手書き図形を再表示することで、選択されたユーザアイコンによって示された位置に入力された手書き図形を、コンテンツに重畳して表示しないようにする。なお、制御部１００は、コンテンツ上のユーザアイコンを表示させたままにする。

つづいて、制御部１００は、ステップＳ６０４においてユーザによって選択されたユーザアイコンに対するタッチ入力がされたか否かを判定する（ステップＳ６０８）。ユーザアイコンに対するタッチ入力がされたと判定した場合は、制御部１００は、選択されたユーザアイコンによって示された位置に入力された手書き図形を表示する（ステップＳ６０８；Ｙｅｓ→ステップＳ６１０）。具体的には、制御部１００は、タッチ入力されたユーザアイコンによって示された位置に入力された手書き図形情報１５４から読み出し、読み出した手書き図形を、表示部１１０に表示されたコンテンツに重畳して表示するようにする。

なお、制御部１００は、ステップＳ６１０の処理を実行した後、再び、手書き図形を非表示にする処理を実行するために、ステップＳ６０４へ処理を遷移してもよい。

［６．２ 動作例］
本実施形態の動作例について、図１５を参照して説明する。図１５（ａ）は、コンテンツに手書き図形が重畳して表示された表示画面Ｗ６００の一例を示した図である。図１５（ａ）に示した領域Ｒ６００は、ユーザＣによって入力された手書き図形を含む領域である。また、図１５（ａ）に示すように、ユーザＣによって入力された手書き図形の近傍に、識別表示として、当該ユーザＣを示すユーザアイコンＵ６００が表示される。

ユーザアイコンＵ６００を選択する操作であるタッチ入力が検出された場合、図１５（ｂ）に示すように、ユーザアイコンＵ６００によって示された位置に入力された手書き図形が非表示にされた表示画面Ｗ６１０が表示される。なお、ユーザＣを示すユーザアイコンＭ６１０は表示される。

また、表示画面Ｗ６１０において、ユーザアイコンＵ６１０を選択する操作であるタッチ入力が検出された場合、ユーザアイコンＵ６１０によって示された位置に入力された手書き図形が表示される。その結果、再度、図１５（ａ）の表示画面Ｗ６００に示すような表示画面が表示される。このように、ユーザアイコンを選択されるたびに、ユーザアイコンによって示された位置に入力された手書き図形の表示・非表示を切り替えることができる。

本実施形態によれば、ユーザは、一般的に非表示にできない又は非表示にするために煩雑な操作を必要とする手書き図形の表示・非表示の切り替えを、識別表示を選択するという簡易な操作で行うことができる。これにより、ユーザは、手書き図形の入力を行う領域を常に確保することが可能となる。

なお、本実施形態では、手書き図形が入力された領域毎に手書き図形の表示・非表示の切り替えを行うこととして説明したが、ユーザ毎に手書き図形の表示・非表示の切り替えを行ってもよいし、また、手書き図形の表示・非表示の切り替えを全コメントに対して一斉にできてもよい。

［７．変形例］
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。

また、各機能はプログラムで構成されていてもよいし、ハードウェアで構成されてもよい。そして、プログラムで実現されている場合は、記録媒体に記録されており、当該記録媒体からプログラムを読み出して実行してもよいし、ネットワークに保存され、ダウンロードして実行してもよい。

また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。

例えば、第１実施形態と第３実施形態とを組み合わせてもよい。例えば、表示装置１０の制御部１００は、長押しなど特定のジェスチャを検出した場合は、第１実施形態で説明したようにメニューを表示させ、特定のジェスチャ以外の入力を検出した場合は、コンテンツに対する手書き図形の入力を受け付ける。

また、第６実施形態と第７実施形態とを組み合わせてもよい。例えば、表示装置１０の制御部１００は、コンテンツに対して入力された手書き入力について、コメントとして記憶されている場合はファイルの添付を受け付け、コメントとして記憶されていない場合は表示・非表示を切り替える。

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭやＨＤＤ、ＳＳＤの記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。

また、各機能を備えたアプリケーションを、スマートフォンやタブレット、画像形成装置といった各種装置にインストールし、実行することで実現してもよい。

１０ 表示装置
１００ 制御部
１０２ コメント処理部
１０４ ＵＩ処理部
１０６ ユーザ認証部
１１０ 表示部
１２０ 入力部
１５０ 記憶部
１５２ コンテンツ情報
１５４ 手書き図形情報
１５６ コメント情報
１５８ ユーザ情報
１６０ 通信部

Claims (10)

1. コンテンツを表示する表示部と、入力部と、記憶部と、制御部と、を備えた表示装置において、
   前記記憶部は、前記コンテンツに対応付けて文字又は画像をコメントとして記憶可能であり、
   前記制御部は、
   前記表示部に表示されたコンテンツのうち、前記入力部により入力された領域を特定し、
   前記特定された領域のコンテンツに基づく第１の画像をコメントとして記憶する、
   ことを特徴とする表示装置。
2. 前記入力部はタッチパネルであって、
   前記制御部は、
   前記入力部により受け付けられたタッチ操作により前記領域を特定する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記制御部は、
   第２の画像を、前記第１の画像に対応付けられた情報として更に記憶することを特徴とする請求項１に記載の表示装置。
4. 前記制御部は、
   前記表示部に、前記第２の画像を入力するための入力領域を表示し、
   前記入力領域に入力された前記第２の画像を、前記第１の画像に対応づけられた情報として情報とする
   ことを特徴とする請求項３に記載の表示装置。
5. 前記制御部は、
   前記表示部に表示されたコンテンツに対して入力された手書き図形に基づく画像を、前記第２の画像とする、
   ことを特徴とする請求項３に記載の表示装置。
6. 前記制御部は、
   前記手書き図形の表示又は非表示を切り替える制御を行う
   ことを特徴とする請求項５に記載の表示装置。
7. 前記制御部は、
   前記手書き図形の近傍に、当該手書き図形を入力したユーザを示す識別表示を行う
   ことを特徴とする請求項５に記載の表示装置。
8. 前記制御部は、
   前記識別表示が選択されることにより、前記手書き図形の表示又は非表示を切り替える制御を行う
   ことを特徴とする請求項７に記載の表示装置。
9. 前記制御部は、前記コメントに、ファイルを対応付けて記憶することを特徴とする請求項１から８の何れか一項に記載の表示装置。
10. コンテンツを表示する表示部と、入力部と、記憶部と、制御部と、を備えた表示装置において、
    前記記憶部は、前記コンテンツに対応付けて文字又は画像をコメントとして記憶可能であり、
    前記制御部は、
    前記表示部に、第１の画像を入力するための入力領域を前記コンテンツに重畳させて表示し、
    前記入力領域が重畳された範囲を含む領域を特定し、
    前記入力領域に入力された第１の画像と、前記特定された領域のコンテンツに基づく第２の画像とをコメントとして記憶する、
    ことを特徴とする表示装置。

Images