図1は、本発明の一実施形態に係るタブレット端末1(情報処理装置の一例)の機能構成を示す図である。タブレット端末1は、電子文書を表示部に表示し、ユーザに当該電子文書を閲覧及び編集させるための装置である。タブレット端末1が表示する電子文書には、電子文書の内容に関連する動画が添付される。タブレット端末1は、文書表示手段101(第1表示手段一例)と、再生手段102と、記憶手段103と、選択受付手段104と、特定手段105と、再生制御手段106(第1制御手段の一例)と、オブジェクト表示手段107(第2表示手段の一例)と、オブジェクト制御手段108(第2制御手段の一例)と、動画編集受付手段109(第1受付手段の一例)と、文書編集受付手段110(第2受付手段の一例)と、編集内容表示手段111(第3表示手段の一例)と、表示制御手段112(第3制御手段の一例)とを有する。
文書表示手段101は、電子文書(以下単に「文書」という)を表示する。再生手段102は、文書表示手段101により文書が表示されている際に、当該文書に添付された動画を再生する。記憶手段103は、文書内の第1領域と、文書に添付された動画内の時間軸上の再生箇所とを関連付けて記憶する。選択受付手段104は、文書表示手段101により表示された文書内の領域の選択を受け付ける。特定手段105は、選択受付手段104により文書内の第1領域の選択が受け付けられると、記憶手段103において当該第1領域と関連付けて記憶された再生箇所を特定する。再生制御手段106は、特定手段105により特定された再生箇所から動画が再生されるように再生手段102を制御する。
オブジェクト表示手段107は、文書表示手段101により表示された文書上に付箋オブジェクトを表示する。付箋オブジェクトは、文書内の指定されたページの指定された位置に付加されるオブジェクトである。本実施形態において付箋オブジェクトは、動画が文書に添付されていることを示す。付箋オブジェクトは、付箋を模した画像として文書上に貼り付けられる(すなわち文書上に表示される)。オブジェクト制御手段108は、記憶手段103において一つの動画内の複数の再生箇所が第1領域と文書内の第1領域とは異なる第2領域と関連付けて記憶されている場合、少なくとも記憶手段103により当該一つの動画について記憶された再生箇所の数に付箋オブジェクトが区分されるようにオブジェクト表示手段107を制御する。
動画編集受付手段109は、文書に添付された動画の編集を受け付ける。文書編集受付手段110は、文書表示手段101により表示された文書の編集を受け付ける。
編集内容表示手段111は、再生手段102により再生される動画上に、動画編集受付手段109により受け付けられた編集の内容(以下「編集内容」という)を表示する。表示制御手段112は、編集内容表示手段111を制御する。
図2は、タブレット端末1のハードウェア構成を示すブロック図である。タブレット端末1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、記憶部14と、IF(インターフェース)部15と、タッチパネル16と、撮像部17と、測位部18とを有するコンピュータである。CPU11は、プログラムを実行することによりタブレット端末1の各部を制御する制御装置である。CPU11は、ROM12及び記憶部14に記憶されているプログラム及びデータを読み出し、RAM13を作業エリアにしてプログラムを実行する。ROM12は、各種のプログラム及びデータを記憶した不揮発性の記憶装置である。RAM13は、データを記憶する揮発性の主記憶装置である。
記憶部14は、各種のプログラム及びデータを記憶する不揮発性の補助記憶装置である。本実施形態において、記憶部14は、管理テーブルTB1を記憶する。管理テーブルTB1は、文書内の領域と動画内の時間軸上の再生箇所(以下単に「動画内の再生箇所」又は「再生箇所」と表現する)とを関連付けて記憶するテーブルである。管理テーブルTB1は、文書内の選択された領域に関連する再生箇所を特定するために参照される。管理テーブルTB1の具体例については後述する。
IF部15は、データを送受信する手段であり、インターネットなどの通信回線を介して外部装置と通信を行う。タッチパネル16は、液晶ディスプレイなどの表示面上に座標を感知するパネルが重ねて設けられた入力装置である。タッチパネル16には、例えば、光学式、抵抗膜方式、静電容量式、又は超音波式のタッチパネルが用いられる。
撮像部17は、被写体を撮像し、画像データを生成するデジタルカメラであり、レンズ、CCD(Charge Coupled Device)イメージセンサー、及び信号処理回路を有する。測位部18は、タブレット端末1の位置を測定する手段である。測位部18は、例えばGPS(Global Positioning System)によりタブレット端末1の位置を測定する。なお、測位部18は、GPS測位以外の方法(例えば、基地局測位等)によりタブレット端末1の位置を測定してもよい。
図2において、文書の閲覧及び編集用のプログラム(以下「文書編集プログラム」という)を実行しているCPU11により制御されたタッチパネル16は、文書表示手段101、再生手段102、選択受付手段104、オブジェクト表示手段107、動画編集受付手段109、文書編集受付手段110、及び編集内容表示手段111の一例である。文書編集プログラムを実行しているCPU11により制御された記憶部14は、記憶手段103の一例である。文書編集プログラムを実行しているCPU11は、特定手段105、再生制御手段106、オブジェクト制御手段108、及び表示制御手段112の一例である。
以下では、本発明に係るタブレット端末1の具体的な動作を説明する。なお、以下で説明する複数の実施形態がタブレット端末1において併用されてもよい。
(第1実施形態)
図3は、文書に動画が添付される際のタブレット端末1の動作を示すフローチャートである。以下の処理は、文書編集プログラムが起動され、記憶部14に予め記憶された文書データが読み込まれた状態で開始される。文書データが読み込まれると、タッチパネル16には文書が表示される。ステップSA1において、CPU11は、付箋オブジェクトを文書に貼り付けるための指示(以下「付箋貼付指示」という)の入力を受け付ける。付箋貼付指示は、ユーザがタッチパネル16に表示されている文書に動画を添付する目的で入力される。ユーザは、タッチパネル16を操作して付箋貼付指示を入力する。
図4は、文書データが読み込まれた際に表示される画面を例示する図である。図4は、タブレット端末1が、タッチパネル16上の表示領域(ウインドウW1)に複数枚に亘る文書D1が重ねて表示される例を示している。文書D1には、テキスト領域Txが含まれている。テキスト領域Txは、文字列又は図形などの文書の内容が表示される領域である。ウインドウW1には、文書の閲覧及び編集に関する各種操作を行うためのアイコン又はボタンが複数並んだツールバーB1が表示される。上述したステップSA1において、ユーザは、例えば、ツールバーB1内のアイコンをタップ(指で軽く叩く)して付箋貼付指示を入力する。
再び図3を参照する。ステップSA2において、CPU11は、テキスト領域Tx内の文字列に対して目印を付ける動作(以下「マーキング」という)を受け付ける。図3に示す処理で、マーキングは、文書内のある文字列と、文書に添付される動画内の再生箇所とを関連付ける目的で行われる。マーキングは、文書の編集の一例である。ステップSA1で付箋貼付指示が入力されると、タッチパネル16には、例えば、マーキングに用いる色を選択するためのアイコン(図示省略)が表示される。ユーザは、このアイコンをタップして選択した色で、文書内の文字列に対してマーキングを行う。マーキングは、例えば、ユーザが、タッチパネル16に触れた指をテキスト領域Tx内の文字列に沿って移動させることにより行われる。なお、ステップSA2においてマーキングが行われる箇所は、一箇所に限らない。文書内の複数の箇所に対してマーキングが行われてもよい。この場合、ユーザは、一つのページ内では、互いに異なる色を選択して複数の箇所に対してマーキングを行う。以下では、ステップSA2においてマーキングが行われた箇所を「マーキング箇所」と表現する。マーキング箇所は、文書内の編集が受け付けられた領域の一例である。ステップSA2においてマーキングが行われると、CPU11は、マーキング箇所についての情報(以下「マーカ情報」という)をRAM13に記憶する。マーカ情報は、例えば、マーキングの色、マーキング箇所の座標、及びマーキング箇所の文字列などを示す。
図5は、マーキングが行われた文書を例示する図である。図5において、ユーザは、まず文書D1内の文字列「××の点検作業について」に対して、ある色Yを用いてマーキングを行っている。ユーザは、次に文書D1内の文字列「点検箇所○○は、・・・。」に対して、色Yとは異なる色Rを用いてマーキングを行っている。
再び図3を参照する。ステップSA3において、CPU11は、マーキングが終了したか否かを判断する。CPU11は、例えば、付箋オブジェクトを文書に貼り付ける動作が行われたことを契機にマーキングが終了したと判断する。付箋オブジェクトを文書に貼り付ける動作は、例えば、ユーザが、ツールバーB1内から付箋オブジェクト(又は付箋オブジェクトを模した図形)をドラッグ(付箋オブジェクトに触れた指を移動させること)し、文書内のいずれかの位置でドロップする(ドラッグしている指を離す)ことにより行われる。マーキングが終了したと判断された場合(SA3:YES)、CPU11は、付箋オブジェクトがドロップされた位置(具体的には、付箋オブジェクトがドロップされたページの番号と座標)をRAM13に記憶し、処理をステップSA4に移行する。マーキングが終了していないと判断された場合(SA3:NO)、CPU11は処理を待機する。
ステップSA4において、CPU11は、付箋オブジェクトを文書上に表示する。具体的には、CPU11は、ステップSA3において付箋オブジェクトがドロップされた位置から付箋オブジェクトの各頂点の座標を算出し、当該座標により特定される位置に付箋オブジェクトを表示する。付箋オブジェクトの各頂点の座標は記憶部14に記憶され、ページごとに管理される。CPU11は、また、RAM13に記憶されたマーカ情報から特定される色(すなわちステップSA2で行われたマーキングの色)で付箋オブジェクトを表示する。ステップSA2におけるマーキングが複数の箇所に対して行われている場合(すなわち複数のマーキング箇所についてのマーカ情報がRAM13に記憶されている場合)には、CPU11は、マーキング箇所の数に付箋オブジェクトを区分する。CPU11は、付箋オブジェクト内の区画にマーキングに用いられた色を割り当てる。マーキング箇所が一箇所である場合には、CPU11は、当該マーキング箇所の色で付箋オブジェクトを表示する。
図6は、付箋オブジェクトが表示された文書を例示する図である。図6(a)は、図5に示した文書D1に対して付箋オブジェクトTag1が貼り付けられた状態を示している。上述の通り文書D1には色Yを用いたマーキングと色Rを用いたマーキングが行われており、付箋オブジェクトTag1は区画C11と区画C12に均等に区分され、区画C11に色Yが、区画C12に色Rが割り当てられている。付箋オブジェクト内の区画への色の割り当ては、マーキングが行われた順序が早い色ほど、付箋オブジェクト内の上側にくるように行われる。付箋オブジェクトには、文書に添付された動画のサムネイル(動画の1フレーム分の画像を縮小した画像)を表示するための領域Sが含まれる。ステップSA4において付箋オブジェクトが表示された時点では、未だ文書に添付される動画は撮影されていないため、図6(a)に示す付箋オブジェクトTag1の領域Sにはサムネイルは表示されていない。あるページに貼り付けられた付箋オブジェクトは、図6(b)に示す通り、他のページが表示されているときにも、その一部がページの端部からはみ出して表示される。
再び図3を参照する。ステップSA5において、CPU11は、文書に添付される動画の撮影を開始する。動画の撮影は、例えば、付箋オブジェクトの領域Sがダブルタップ(2回連続してタップする)されたことを契機に開始される。ユーザは、撮像部17のレンズを被写体に向けた状態で、領域Sをダブルタップする。動画の撮影が開始されると、タッチパネル16は、被写体を撮影するときの電子ファインダーとして機能する。ステップSA5において撮影された動画は、記憶部14に記憶される。
図7は、動画の撮影中に表示される画面を例示する図である。動画の撮影が開始されるとウインドウW1には領域Fdが現れる。領域Fdは、タッチパネル16の表示領域のうち電子ファインダーとして機能する領域である。ユーザは、動画の撮影中に、マーキング箇所と動画内の再生箇所(撮影された動画が再生されるときの動画内の再生箇所)との関連付けをするための操作を行う。具体的には、ユーザは、ステップSA2でのマーキング箇所がN(Nは2以上の自然数)箇所ある場合、動画の撮影中に領域Fdを(N−1)回タップすることにより、マーキング箇所と動画内の再生箇所との関連付けを行う。例えば、図5に示した文書ではマーキング箇所が2箇所であるため、ユーザは、動画の撮影中に領域Fdを1回タップする。この操作において、領域Fdに対するM(Mは1以上の自然数)回目のタップは、(M+1)箇所目のマーキング箇所と動画内の再生箇所との関連付けのための動作である。CPU11は、領域Fdがタップされたときの時間(タイミング)をRAM13に記憶する。なお、マーキング箇所が一箇所である場合には、領域Fdのタップは行われない。また、あるマーキング箇所と動画内の再生箇所との関連付けをするためのタップがされなかった場合(具体的には、領域Fdがタップされない場合、又はタップの回数が本来必要なタップの回数よりも少ない場合)には、後述する管理テーブルTB1において、当該マーキング箇所と動画内の再生箇所との関連付けは行われない。
再び図3を参照する。ステップSA6において、CPU11は、動画の撮影を終了する。動画の撮影は、例えば、領域Fdがダブルタップされたことを契機に終了する。ステップSA7において、CPU11は、新たに貼り付けられた付箋オブジェクトについての管理テーブルTB1を生成する。具体的には、CPU11は、マーカ情報と領域Fdがタップされたときの時間とをRAM13から読み出し、これらの情報を用いて管理テーブルTB1を生成する。CPU11は、生成された管理テーブルを記憶部14に記憶する。CPU11は、生成された管理テーブルTB1を付箋オブジェクトごと(より具体的には、ステップSA3で付箋オブジェクトがドロップされた位置ごと)に管理する。管理テーブルTB1は、例えば、文書データの一部として記憶部14に記憶される。
図8は、ステップSA7で生成される管理テーブルTB1を例示する図である。図8は、付箋オブジェクトTag1についての管理テーブルTB1を示す。第1実施形態における管理テーブルTB1は、「マーカ情報」と「動画情報」の2列のフィールドにより構成されるレコード(行)の集合体である。「マーカ情報」は、マーキング箇所についての情報を示すフィールドであり、「マーカID」、「マーキング位置」、「文字列」の3列のフィールドにより構成される。「マーカID」のフィールドには、マーキングの色を示す数値が記憶される。この例で、マーカIDに記憶された数値は、マーキングの色と一対一で対応している。「マーキング位置」のフィールドには、マーキング箇所の座標を示す値が記憶される。「文字列」のフィールドには、マーキング箇所の文字列を示す値(データ)が記憶される。図8の管理テーブルTB1において、「マーカ情報」のフィールドは、座標(5,3)から始まる文字列「××の点検作業について」に対して、マーカID「1」から特定される色(この例では色Y)のマーキングが行われていることを示す。また、「マーカ情報」のフィールドは、座標(10,1)から始まる文字列「点検箇所○○は、・・・。」に対して、マーカID「2」から特定される色(この例では色R)のマーキングが行われていることを示す。上述の通り、本実施形態では、ある付箋オブジェクトの貼り付けに際して一つのページ内の複数の箇所に対してマーキングが行われる場合、互いに異なる色が用いられる。そのため、マーカIDは、マーキングの色だけでなく、マーキング箇所を識別する値として用いられる。
「動画情報」は、動画内の再生箇所を示すフィールドであり、「動画ID」と「再生箇所」の2列のフィールドにより構成される。「動画ID」のフィールドには、動画を識別する値が記憶される。「再生箇所」のフィールドには、動画内の再生箇所を示す値が記憶される。図8は、動画の撮影が開始されてから25秒後に領域Fdがタップされた場合の動画情報を例示している。図8の例では、マーカID「1」のマーキング箇所とマーカID「2」のマーキング箇所の2箇所に動画ID「1」の動画が関連付けられている。より詳細には、マーカID「1」のマーキング箇所には動画ID「1」の動画内の再生箇所(0:00,0:25)が関連付けられている。これは、マーカID「1」のマーキング箇所が、動画ID「1」の動画内の0秒から25秒の箇所に関連付けられていることを表す。同様に、マーカID「2」のマーキング箇所には動画ID「1」の動画内の再生箇所(0:25,0:40)が関連付けられている。なお、この例で、撮影された動画全体の再生時間は40秒である。
図8では、マーキング箇所が2箇所である場合の管理テーブルTB1を示したが、マーキング箇所が一箇所である場合、マーキング箇所には撮影された動画全体が関連付けられる。例えば、図8の例で、仮にマーキング箇所がマーカID「1」の一箇所である場合、当該マーキング箇所には動画ID「1」の動画内の再生箇所(0:00,0:40)が関連付けられる。
再び図3を参照する。ステップSA8において、CPU11は、撮影された動画のサムネイルを生成し、付箋オブジェクトの領域Sに表示する。CPU11は、例えば、記憶部14に記憶された動画の1フレーム目の画像を読み出し、当該画像を縮小してサムネイルを生成する。ステップSA9において、CPU11は、付箋オブジェクトの表示態様を変更する。上述の通り、ステップSA2でのマーキングが複数の箇所に対して行われている場合(ステップSA9の処理が行われる時点では、管理テーブルTB1において、一つの動画内の複数の再生箇所が文書内の異なるマーキング箇所と関連付けられている場合)、付箋オブジェクトはマーキング箇所の数(ステップSA9の処理が行われる時点では、一つの動画について管理テーブルTB1に記憶された再生箇所の数)に区分されている。この状態で、CPU11は、例えば、管理テーブルTB1に記憶された複数の再生箇所から特定される位置で付箋オブジェクトが色分けされるように付箋オブジェクトの表示態様を変更する。なお、マーキング箇所が一箇所である場合には付箋オブジェクトの色分けはされていないため、ステップSA9の処理は省略される。
図9は、付箋オブジェクトの色分けを説明する図である。図9は、図8に示した管理テーブルTB1が参照されて付箋オブジェクトTag1の色分けがされる様子を示す。この例で、付箋オブジェクトTag1は、2箇所のマーキング箇所の各々に関連付けられた動画内の再生箇所の再生時間の比率に応じた位置で色分けされている。ここでいう再生時間とは、再生箇所の始点から終点までの時間を表し、図8に示した再生箇所(0:00,0:25)の再生時間は25秒、再生箇所(0:25,0:40)の再生時間は15秒である。CPU11は、例えば、再生時間の比率と、付箋オブジェクト内の色分けされた区画のy軸方向(この例では表示される文書の縦方向)の長さの比率とが以下の式(1)を満たすように、付箋オブジェクトの表示態様を変更する。
式(1)において、T1、T2、・・・Tnは、複数のマーキング箇所の各々に関連付けられた動画内の再生箇所の再生時間を表す。L1、L2、・・・Lnは、マーキング箇所の色で表示される各区画のy軸方向における長さを表す。図9の例では、マーカID「1」のマーキング箇所に対応する区画C11と、マーカID「2」のマーキング箇所に対応する区画C12とは、L1:L2が、5:3(25:15)になるように付箋オブジェクトが色分けされている。L1からLnの値Liは、例えば、以下の式(2)により算出される。
式(2)において、Lfは、付箋オブジェクトのy軸方向における全長を表す。Lfは、定数であってもよいし、ユーザにより指定された値であってもよい。CPU11は、各区画のy軸方向における長さと、記憶部14に記憶された付箋オブジェクトの各頂点の座標とを用いて複数の区画の境界となる位置を特定し、当該位置で付箋オブジェクトを色分けする。
図10は、ステップSA9の処理後に表示される画面を例示する図である。図10は、図7に示した動画の撮影が終了した後の画面を示す。文書D1上には付箋オブジェクトTag1が図9に示した表示態様で表示されている。また、付箋オブジェクトTag1内の領域Sには、撮影された動画の1フレーム目の画像のサムネイルが表示されている。さらに、付箋オブジェクトTag1には、動画を撮影したユーザのユーザ名、撮影場所、撮影日時を示す情報が付加的に表示されている。この例で、ユーザ名には、タブレット端末1にログインしているユーザのユーザ名が用いられる。撮影場所は、測位部18を介して取得される。撮影日時は、例えば、タブレット端末1に内蔵された時計を介して取得される。以下では、付箋オブジェクト又は動画上に付加的に表示される情報を「メタ情報」と表現する。なお、図10に示したメタ情報は、必ずしも付箋オブジェクト上に表示されなくてもよい。
図11は、文書に添付された動画が再生される際のタブレット端末1の動作を示すフローチャートである。以下の処理は、図3に示した処理が事前に行われ、文書に動画が添付された状態(例えば図10に示した画面が表示された状態)で開始される。
ステップSB1において、CPU11は、マーキング箇所が選択されたか否かを判断する。この例で、CPU11は、マーキング箇所がタップされたことを契機にマーキング箇所が選択されたと判断する。マーキング箇所が選択されたと判断された場合(SB1:YES)、CPU11は、処理をステップSB2に移行する。マーキング箇所が選択されていないと判断された場合(SB1:NO)、CPU11は、処理を待機する。
ステップSB2において、CPU11は、選択されたマーキング箇所が、文書に添付された動画内の再生箇所と関連付けられているか否かを判断する。具体的には、CPU11は、選択されたマーキング箇所のマーカ情報(この例では、マーカID、マーキング位置、及び文字列)を特定し、当該マーカ情報が記憶部14に記憶された管理テーブルTB1に含まれているか否かを判断する。なお、1つの文書に複数の動画が添付されており、複数の付箋オブジェクトについて管理テーブルTB1が記憶されている場合には、CPU11は、各管理テーブルTB1を参照してステップSB2の判断を行う。選択されたマーキング箇所が動画内の再生箇所と関連付けられていると判断された場合(SB2:YES)、CPU11は、選択されたマーキング箇所に関連する動画の動画IDと当該動画内の再生箇所とをRAM13に記憶し処理をステップSB3に移行する。選択されたマーキング箇所が動画内の再生箇所と関連付けられていないと判断された場合(SB2:NO)、CPU11は、動画を再生することなく処理を終了する。例えば、マーキングが文書に動画を添付する行為とは無関係に行われた場合(すなわち図3に示した一連の処理とは別にマーキングが独立して行われた場合)、又は動画の撮影中にマーキング箇所と動画内の再生箇所との関連付けをするためのタップがされなかった場合、マーキング箇所は動画内の再生箇所と関連付けられていないと判断される。
ステップSB3において、CPU11は、選択されたマーキング箇所に関連する動画内の再生箇所から動画を再生する。具体的には、CPU11は、RAM13に記憶された動画IDにより特定される動画を記憶部14から読み出して、RAM13に記憶された再生箇所の始点から動画を再生する。
図12は、動画が再生される際の画面の遷移を例示する図である。ここでは、図8に示した管理テーブルTB1が記憶部14に記憶されており、且つ、図10に示した画面が表示されている場合における画面の遷移を示す。図12(a)において、ユーザは、色Yのマーキングがされた文字列「××の点検作業について」をタップしている。この場合、図12(b)に示す通り、動画ID「1」の動画が、再生箇所の始点である「0秒」から再生される。動画の再生は、ウインドウW1に現れる領域Mpにおいて行われる。領域Mpの位置は、ユーザが領域Mpをドラッグすることにより変更されてもよい。動画が再生される際には、選択されたマーキング箇所の文字列が動画上に表示される。図12(b)では、タップされた文字列「××の点検作業について」が領域Mpに表示されている。このように、マーキング箇所の文字列が動画上に表示されるため、動画がテキスト領域Tx上で再生されることによりテキスト領域Tx内のマーキング箇所が視認されない状態になっても、ユーザは動画の視聴と共にマーキング箇所の内容を見ることができる。図12(b)では、また、領域Mp内の文字列「××の点検作業について」は、テキスト領域Tx内で当該文字列に対して行われたマーキングの色Yと同じ色で網掛けされた状態で表示されている。これにより、動画内の再生箇所とマーキング箇所との関連が、動画を視聴したユーザに直感的に把握される。
領域Mpにおける文字列の表示は、マーキング箇所に関連する動画内の再生箇所で行われる。例えば、図8に示した管理テーブルTB1で、文字列「××の点検作業について」に関連する動画内の再生箇所は0秒から25秒である。そのため、文字列「××の点検作業について」は、動画ID「1」の動画の0秒から25秒まで表示される。別の例で、図8に示した管理テーブルTB1で、文字列「点検箇所○○は、・・・。」に関連する動画内の再生箇所は25秒から40秒である。そのため、文字列「点検箇所○○は、・・・。」は、動画ID「1」の動画の25秒から40秒まで表示される。なお、領域Mpには、動画を撮影したユーザのユーザ名、撮影場所、撮影日時などがメタ情報として表示されてもよい。
図13は、動画が再生される際の画面の遷移を例示する別の図である。ここでは、図8に示した管理テーブルTB1が記憶部14に記憶されており、且つ、図10に示した画面が表示されている場合における画面の遷移を示す。図13(a)において、ユーザは、色Rのマーキングがされた文字列「点検箇所○○は、・・・。」をタップしている。この場合、図13(b)に示す通り、動画ID「1」の動画が、再生箇所の始点である「25秒」から再生される。図13(b)では、タップされた文字列「点検箇所○○は、・・・。」が、テキスト領域Tx内で当該文字列に対して行われたマーキングの色Rと同じ色で網掛けされた状態で領域Mpに表示されている。文字列「点検箇所○○は、・・・。」は、上述の通り、動画の25秒から40秒まで領域Mpに表示される。
再び図11を参照する。ステップSB4において、CPU11は、動画の再生を停止又は終了する。動画の再生は、例えば、領域Mpがタップされたことを契機に停止する。領域Mpがタップされることなく動画全体が再生されると動画の再生は終了する。ステップSB5において、CPU11は、付箋オブジェクトの領域Sに表示されるサムネイルを変更する。具体的には、CPU11は、ステップSB4において動画の再生を停止した場合、再生を停止した時点のフレームの画像を記憶部14から読み出し、当該画像を縮小してサムネイルを生成する。CPU11は、また、ステップSB4において動画の再生が終了した場合、当該動画の最終フレームの画像を読み出し、当該画像を縮小してサムネイルを生成する。CPU11は、既に表示されているサムネイルに替えて、新たに生成されたサムネイルを付箋オブジェクトの領域Sに表示する。このように、付箋オブジェクトに表示されるサムネイルは動画の再生が停止(又は終了)された時点のフレームに更新される。
図14は、動画の再生が停止された後に表示される画面を例示する図である。図14は、図12(又は図13)に示した操作で開始された動画の再生が停止されたときの画面を例示する図である。付箋オブジェクトTag1内の領域Sには、動画の再生が停止されたときのフレームのサムネイルSn1が表示されている。また、付箋オブジェクトTag1には、動画を視聴したユーザのユーザ名(視聴者名)及び視聴日時がメタ情報として表示されている。この例で、視聴者名には、タブレット端末1にログインしているユーザのユーザ名が用いられる。視聴日時は、例えば、タブレット端末1に内蔵された時計を介して取得される。なお、図14に示したメタ情報は、必ずしも付箋オブジェクト上に表示されなくてもよい。
以上の処理により、文書に動画が添付された状態でマーキング箇所がタップされると、タップされたマーキング箇所に関連付けられた動画内の再生箇所から動画が再生される。したがって、マーキング箇所と動画内の再生箇所との関連付けがされない場合に比べて、マーキング箇所に関連する箇所から動画を視聴する際のユーザの利便性が向上する。また、付箋オブジェクトは当該付箋オブジェクトに関係するマーキング箇所の色で表示されるため、マーキング箇所と異なる色で付箋オブジェクトが表示された場合に比べて、マーキング箇所と付箋オブジェクトとの対応関係がユーザに直感的に把握される。
また、付箋オブジェクトは、マーキング箇所の各々に関連付けられた動画内の再生箇所から特定される位置で色分けされるため、再生箇所とは無関係の位置で付箋オブジェクトが色分けされる場合に比べて、マーキング箇所に関連する再生箇所が動画内のどのあたりなのかがユーザに直感的に把握される。さらに、本実施形態では、図6(b)に示した通り、あるページに貼り付けられた付箋オブジェクトが、他のページが表示されているときにも、その一部がページの端部からはみ出して表示される。したがって、付箋オブジェクトが貼り付けられたページ以外のページがウインドウW1に表示されている場合であっても、はみ出して表示された付箋オブジェクトの色の数を見ることで、付箋オブジェクトが貼り付けられたページ内に存在するマーキング箇所(ここでは動画内の再生箇所と関連付けられたマーキング箇所)の数がユーザにより把握される。
上述した第1実施形態では、文書に動画を添付する行為と関係してテキスト領域Tx内の文字列に対してマーキングが行われる例を示したが、文書に動画を添付する行為がマーキングとは無関係に行われてもよい。この場合、図3に示した処理において、ステップSA2、SA7、及びSA9の処理は省略され、予め定められた色又はユーザにより指定された色の付箋オブジェクトが文書上に表示される。また、この場合、文書に添付された動画の再生は、例えば付箋オブジェクトの領域Sに表示されたサムネイルをタップすることにより開始される。
(第2実施形態)
図15は、文書に添付された動画が編集される際のタブレット端末1の動作を示すフローチャートである。以下の処理は、文書に添付された動画が再生されている状態で開始される。ステップSC1において、CPU11は、動画の編集を開始するための指示(以下「動画編集指示」という)の入力を受け付ける。ユーザは、タッチパネル16を操作して動画編集指示を入力する。
図16は、動画が再生されているときの画面を例示する図である。図16において、文書D1には色Gの付箋オブジェクトTag2が貼り付けられている。図16は、付箋オブジェクトTag2内のサムネイルがタップされ、動画が領域Mp内で再生されているときの画面を示す。上述したステップSC1において、ユーザは、例えば、ツールバーB1内のアイコンをタップして動画編集指示を入力する。
再び図15を参照する。ステップSC2において、CPU11は、領域Mp内で再生されている動画の編集を受け付ける。図15に示す処理で、動画の編集は、例えば、添付された動画に対して説明を加えたり、動画内の再生箇所を強調したりする目的で行われる。ステップSC1で動画編集指示が入力されると、タッチパネル16には、例えば、動画の編集に用いる色を選択するためのアイコン(図示省略)が表示される。ユーザは、このアイコンをタップして選択した色で動画に対して編集を行う。動画の編集は、例えば、ユーザが、領域Mp内でタッチパネル16に触れた指を移動させることにより行われる。以下では、ステップSC2において編集が行われた動画内の再生箇所を「編集箇所」と表現する。ステップSC2において動画の編集が受け付けられると、CPU11は、編集内容を示すデータ(以下「編集データ」という)RAM13に記憶する。編集データには、例えば、編集箇所、編集に用いられた色、及び編集時の指の軌跡を示すデータなどが含まれる。
図17は、動画が編集される様子を例示する図である。図17において、ユーザは、領域Mp内で再生される動画に色Rを用いて矢印a1を描いている。
再び図15を参照する。ステップSC3において、CPU11は、テキスト領域Tx内の文字列に対するマーキングを受け付ける。図15に示す処理で、マーキングは、動画内の編集箇所と、文書内のある文字列とを関連付ける目的で行われる。ユーザは、ステップSC2での動画の編集に用いた色と同じ色を用いてマーキングを行う。ステップSC3においてマーキングが行われると、CPU11は、マーカ情報をRAM13に記憶する。
図18は、マーキングが行われた文書を例示する図である。図18は、図17に示した文書D1に対してマーキングが行われた状態を示している。図18において、ユーザは、領域Mpをドラッグして移動させた後、文書D1内の文字列「点検箇所○○は、・・・。」に対して、色Rを用いてマーキングを行っている。
再び図15を参照する。ステップSC4において、CPU11は、マーキングが終了したか否かを判断する。CPU11は、例えば、動画の編集を終了するための指示(以下「編集終了指示」という)が入力されたことを契機にマーキングが終了したと判断する。マーキングが終了したと判断された場合(SC4:YES)、CPU11は、処理をステップSC5に移行する。マーキングが終了していないと判断された場合(SC4:NO)、CPU11は処理を待機する。
ステップSC5において、CPU11は、動画の編集が行われた付箋オブジェクトについての管理テーブルTB1を生成する。具体的には、CPU11は、編集データとマーカ情報とをRAM13から読み出し、これらの情報を用いて管理テーブルTB1を生成する。CPU11は、生成された管理テーブルTB1を記憶部14に記憶する。CPU11は、第1実施形態と同様に、生成された管理テーブルTB1を付箋オブジェクトごとに管理する。
図19は、ステップSC5で生成される管理テーブルTB1を例示する図である。図19は、付箋オブジェクトTag2についての管理テーブルTB1を示す。第2実施形態における管理テーブルTB1は、「マーカ情報」と「動画情報」と「編集情報」の3列のフィールドにより構成されるレコード(行)の集合体である。「マーカ情報」は、第1実施形態と同様に、「マーカID」、「マーキング位置」、「文字列」の3列のフィールドにより構成される。「動画情報」は、動画内の編集箇所を示すフィールドであり、「動画ID」と「編集箇所」の2列のフィールドにより構成される。「動画ID」のフィールドには、動画を識別する値が記憶される。「編集箇所」のフィールドには、動画内の編集箇所を示す値が記憶される。図19の例では、マーカID「2」のマーキング箇所に動画ID「1」の動画が関連付けられている。より詳細には、マーカID「2」のマーキング箇所には動画ID「1」の動画内の編集箇所(0:25,0:40)が関連付けられている。これは、マーカID「2」のマーキング箇所が、動画ID「1」の動画内の25秒から40秒の箇所に関連付けられていることを表す。
「編集情報」は、動画の編集についての情報を示すフィールドであり、「編集ID」と「軌跡データ」の2列のフィールドにより構成される。「編集ID」のフィールドには、動画の編集内容を識別する値が記憶される。「軌跡データ」のフィールドには、編集時の指の軌跡を示すデータが記憶される。なお、上述の通り、動画内のある箇所の編集と、当該編集に関連するマーキングとは同じ色を用いて行われる。そのため、図19に示す管理テーブルTB1において、軌跡データが示す軌跡の色は「マーカID」のフィールドから特定される。
再び図15を参照する。ステップSC6において、CPU11は、付箋オブジェクトの領域Sに表示されるサムネイルを変更する。具体的には、CPU11は、編集箇所の始点に対応するフレームの画像を記憶部14から読み出し、当該画像を縮小してサムネイルを生成する。編集箇所の始点は、管理テーブルTB1の「編集箇所」のフィールドを参照することにより特定される。CPU11は、既に表示されているサムネイルに替えて、新たに生成されたサムネイルを付箋オブジェクトの領域Sに表示する。このように付箋オブジェクトに表示されるサムネイルは動画の編集が開始された時点のフレームに更新される。ステップSC7において、CPU11は、付箋オブジェクトの色を変更する。具体的には、CPU11は、付箋オブジェクトの色を、管理テーブルTB1の「マーカID」から特定される色に変更する。このように、付箋オブジェクトの色は、動画の編集及びマーキングに用いられた色と同じ色に変更される。
図20は、ステップSC7の処理後に表示される画面を例示する図である。図20は、図18に示したマーキングがされ、図19に示した管理テーブルTB1が生成された後の画面を示す。付箋オブジェクトTag2内の領域Sには、編集箇所の始点である「25秒」の時点のフレームのサムネイルが表示されている。また、付箋オブジェクトTag2は、動画の編集及びマーキングに用いられた色Rで表示されている。さらに、この例では、動画が編集されたことを示す文字列「編集あり」がメタ情報として付箋オブジェクトTag2に表示されている。なお、付箋オブジェクトTag2には、動画を編集したユーザのユーザ名及び編集日時がメタ情報として表示されてもよい。また、付箋オブジェクトTag2内の領域Sに表示されるサムネイルは、編集箇所の始点のフレームのサムネイルに限らない。例えば、領域Sがダブルタップされたことを契機に、既に領域Sに表示されているサムネイルに替えて、編集箇所の終点(図20の例では「40秒」の時点)のフレームのサムネイルが表示されてもよい。
図21は、文書に添付された動画が再生される際のタブレット端末1の動作を示すフローチャートである。以下の処理は、図15に示した処理が事前に行われた状態(例えば図20に示した画面が表示された状態)で開始される。
ステップSD1において、CPU11は、上述したステップSB1と同様に、マーキング箇所が選択されたか否かを判断する。マーキング箇所が選択されたと判断された場合(SD1:YES)、CPU11は、処理をステップSD2に移行する。マーキング箇所が選択されていないと判断された場合(SD1:NO)、CPU11は、処理を待機する。
ステップSD2において、CPU11は、選択されたマーキング箇所が、文書に添付された動画内の編集箇所と関連付けられているか否かを判断する。具体的には、CPU11は、選択されたマーキング箇所のマーカ情報(この例では、マーカID、マーキング位置、及び文字列)を特定し、当該マーカ情報が記憶部14に記憶された管理テーブルTB1に含まれているか否かを判断する。選択されたマーキング箇所が動画内の編集箇所と関連付けられていると判断された場合(SD2:YES)、CPU11は、選択されたマーキング箇所に関連する動画の動画ID、当該動画内の編集箇所、軌跡データ、及びマーカIDをRAM13に記憶し処理をステップSD3に移行する。選択されたマーキング箇所が動画内の編集箇所と関連付けられていないと判断された場合(SB2:NO)、CPU11は、動画を再生することなく処理を終了する。例えば、マーキングが文書に動画を添付する行為とは無関係に行われた場合(すなわち図15に示した一連の処理とは別にマーキングが独立して行われた場合)、マーキング箇所は動画内の編集箇所と関連付けられていないと判断される。
ステップSD3において、CPU11は、選択されたマーキング箇所に関連する動画内の編集箇所から動画を再生する。具体的には、CPU11は、RAM13に記憶された動画IDにより特定される動画を記憶部14から読み出して、RAM13に記憶された編集箇所の始点から動画を再生する。CPU11は、また、RAM13に記憶された編集箇所を再生する際に、動画上に編集内容を表示する。具体的には、CPU11は、軌跡データが示す軌跡であってマーカIDから特定される色の軌跡を動画上に表示する。
図22は、動画が再生される際の画面の遷移を例示する図である。ここでは、図19に示した管理テーブルTB1が記憶部14に記憶されており、且つ、図20に示した画面が表示されている場合における画面の遷移を示す。図22(a)において、ユーザは、色Rのマーキングがされた文字列「点検箇所〇〇は、・・・。」をタップしている。この場合、図22(b)に示す通り、動画ID「1」の動画が、編集箇所の始点である「25秒」から再生される。この例で、動画の25秒から40秒までは、ユーザにより描かれた色Rの矢印a1が動画上に表示される。図22(b)では、また、第1実施形態と同様に、タップされた文字列「点検箇所〇〇は、・・・。」が領域Mpに表示されている。なお、動画の再生位置は、ユーザがシークバーSbを操作することにより変更されてもよい。
再び図21を参照する。ステップSD4及びステップSD5において、CPU11は、上述したステップSB4及びステップSB5と同様の処理を行う。なお、ステップSD5の処理後に付箋オブジェクトの領域Sに表示されているサムネイルは、領域Sがダブルタップされたことを契機に切り替えられてもよい。例えば、領域Sがダブルタップされると、既に領域Sに表示されているサムネイルに替えて、編集箇所の始点又は終点のフレームのサムネイルが表示されてもよい。
以上の処理により、文書に編集済みの動画が添付された状態でマーキング箇所がタップされると、タップされたマーキング箇所に関連付けられた動画内の編集箇所から動画が再生される。したがって、マーキング箇所と動画内の編集箇所との関連付けがされない場合に比べて、マーキング箇所に関連する箇所から動画を視聴する際のユーザの利便性が向上する。また、付箋オブジェクトは当該付箋オブジェクトに関係するマーキング箇所の色で表示されるため、マーキング箇所と異なる色で付箋オブジェクトが表示された場合に比べて、マーキング箇所と付箋オブジェクトとの対応関係がユーザに直感的に把握される。
上述した第2実施形態では、動画を編集する行為と関係してテキスト領域Tx内の文字列に対してマーキングが行われる例を示したが、動画を編集する行為がマーキングとは無関係に行われてもよい。この場合、図15に示した処理において、ステップSC3及びSC5の処理は省略され、付箋オブジェクトの色が、例えば、動画の編集に用いられた色と同じ色に変更される。また、この場合、編集済みの動画の再生は、例えば付箋オブジェクトの領域Sに表示されたサムネイルをタップすることにより開始される。
(変形例)
本発明は、上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下で説明する変形例のうち、2つ以上のものが組み合わされて用いられてもよい。
動画の編集は動画内の一箇所に対して行われる場合に限らない。動画内の複数の箇所に対して編集が行われてもよい。また、動画の編集は複数のユーザにより別個に行われてもよい。動画内の複数の箇所が編集される場合、これらの編集は互いに異なる色を用いて行われることが望ましい。この場合、編集済みの動画が再生されるとき(ここでは、付箋オブジェクトの領域Sに表示されたサムネイルがタップされて動画が再生されるとき)、付箋オブジェクトの色と同じ色を用いて編集が行われた編集箇所から動画が再生されてもよい。具体例として、ある動画に対して色Rを用いた編集と色Yを用いた編集が行われており、付箋オブジェクトの色が色Yである場合を考える。この場合、ユーザが付箋オブジェクト内のサムネイルをタップすると、色Yを用いた編集が行われた編集箇所から動画が再生される。付箋オブジェクトの色は、ユーザが予め定められた操作(例えば、付箋オブジェクトをタップして付箋オブジェクトの色を選択する操作)を行うことにより変更されてもよい。
第2実施形態において、編集データは、編集を行ったユーザのユーザ名と関連付けて記憶部14に記憶されてもよい。この場合、編集済みの動画を再生するにあたり、動画を視聴するユーザが動画の編集を行ったユーザの中から一又は複数のユーザの指定を行うと、指定されたユーザと関連付けて記憶部14に記憶された編集データから特定される編集内容のみが再生される動画上に表示されてもよい。
図23は、編集データとユーザ名とを関連付けるための操作を例示する図である。図23に示す操作は、例えば、動画の編集を行うユーザが、実際に動画の編集を開始する前(上述したステップSC2の処理が行われる前)に行われる。図23(a)では、ユーザは、文書に添付された動画が再生されている状態で付箋オブジェクトTag2を矢印A2の方向にスワイプしている(すなわち付箋オブジェクトTag2に触れた指を矢印A2の方向に移動させている)。付箋オブジェクトTag2がスワイプされると、図23(b)に示す通り、これから行われる動画の編集についての編集データをユーザ名と関連付けるか否かをユーザに選択させるためのダイアログボックスDb(ユーザに情報を提示し、ユーザに応答させるウインドウ)が画面に表示される。ユーザは、ダイアログボックスDb内の「YES」ボタンを押下することにより、編集データとユーザ名との関連付けを許可する。この状態で動画の編集が受け付けられると、CPU11は、編集データと、編集を行ったユーザのユーザ名とを関連付けて記憶部14に記憶する。
図24は、指定したユーザと関連する編集内容のみを動画上に表示させるための操作を例示する図である。図24に示す操作は、例えば図23に示した操作を伴う動画の編集が一又は複数のユーザにより行われた状態で開始される。編集済みの文書が表示されている状態でユーザが予め定められた操作(例えばツールバーB1内のアイコンをタップする操作)を行うと、動画の編集を行ったユーザの中から一又は複数のユーザを選択させるための領域Dsが画面に現れる。動画を視聴するユーザは、領域Ds内のユーザを選択することにより、動画の再生中に動画上に表示される編集内容の指定を行う。例えば、領域Ds内において「ユーザ〇〇〇」が選択されて動画が再生されると、「ユーザ〇〇〇」と関連付けて記憶された編集内容のみが動画上に表示され、「ユーザ×××」と関連付けて記憶された編集内容及び「ユーザ△△△」と関連付けて記憶された編集内容は動画上に表示されない。
管理テーブルTB1の内容は、図3又は図15に示した処理が行われた後に変更されてもよい。例えば、ユーザによるタッチパネル16の操作に応じて、管理テーブルTB1におけるマーキング箇所と動画内の再生箇所(又は編集箇所)との関連付けが変更されてもよい。
図25は、マーキング箇所と動画内の再生箇所との関連付けを変更するための操作を例示する図である。図25(a)及び(b)は、図10に示した画面内の付箋オブジェクトTag1に対して操作が行われる様子を示している。この例で、ユーザは、区画C11と区画C12の境界線BLを矢印A3の方向(y軸正方向)にドラッグしている。CPU11は、境界線BLがドロップされると、境界線BLがドロップされた位置で付箋オブジェクトが色分けされるように付箋オブジェクトの表示態様を変更(この例では区画C11と区画C12のy軸方向における長さL1及びL2を変更)する。CPU11は、また、変更後の各区画のy軸方向における長さと、複数のマーキング箇所の各々に関連付けられた動画内の再生箇所の再生時間とが上述した式(1)を満たすように再生時間を算出する。CPU11は、管理テーブルTB1の「再生箇所」のフィールドに記憶された値を、算出された再生時間から特定される値に変更する。図25(a)及び(b)で、ユーザは境界線BLをy軸正方向にドラッグしており、L2の値を大きくする(L1の値を小さくする)操作を行っている。図25(c)は、図25(a)及び(b)の操作後の管理テーブルTB1を示している。この例で、CPU11は、マーカID「1」のマーキング箇所に関連する動画内の再生箇所を(0:00,0:18)に変更し、マーカID「1」のマーキング箇所に関連する動画内の再生箇所を(0:18,0:40)に変更している。
マーキング箇所が選択された際の動画の再生は、マーキング箇所に関連する動画内の再生箇所の始点から行われる場合に限らない。マーキング箇所が選択された際の動画の再生は、例えば、マーキング箇所に関連する動画内の再生箇所における他の再生位置から行われてもよい。
第1実施形態において、文書に添付される動画は、タブレット端末1により撮影された動画に限らない。例えば、通信回線を介して外部装置から取得された動画が文書に添付されてもよい。
第1実施形態において、付箋オブジェクトが区分されるときの区画の数は、実施形態に記載した数に限らない。CPU11は、マーキング箇所の数を上回る数に付箋オブジェクトを区分してもよい。
タッチパネル16上での文書の表示態様は、実施形態に示した表示態様に限らない。例えば、複数枚に亘る文書が表示される際に、文書が並べて表示(あるページと他のページとが重ならずに表示)されてもよい。
マーキングは、文字列に対して行われる場合に限らない。マーキングは、単一の文字に対して行われてもよい。
マーキングは、色を用いて行われる場合に限らない。マーキングは、例えば、模様(色と図形の組み合わせ)又は図形を用いて行われてもよい。この場合、付箋オブジェクトには、マーキング箇所と同じ模様又は図形が表示されてもよい。
管理テーブルTB1に記憶されたデータは、テーブル以外の他の形式で記憶部14に記憶されてもよい。
本発明が適用される情報処理装置は、タブレット端末1に限らない。例えば、パーソナルコンピュータなどの他の情報処理装置に本発明が適用されてもよい。
実施形態において、タブレット端末1によって実行される文書編集プログラムは、磁気記録媒体(磁気テープ、磁気ディスク(HDD、FD(Flexible Disk))など)、光記録媒体(光ディスク(CD(Compact Disk)、DVD(Digital Versatile Disk))など)、光磁気記録媒体、半導体メモリ(フラッシュROMなど)などのコンピュータが読み取り可能な記録媒体に記憶した状態で提供されてもよい。また、これらのプログラムは、インターネットなどのネットワーク経由でダウンロードされてもよい。