JP2009229605A - Activity process reflection support system - Google Patents
Activity process reflection support system Download PDFInfo
- Publication number
- JP2009229605A JP2009229605A JP2008072512A JP2008072512A JP2009229605A JP 2009229605 A JP2009229605 A JP 2009229605A JP 2008072512 A JP2008072512 A JP 2008072512A JP 2008072512 A JP2008072512 A JP 2008072512A JP 2009229605 A JP2009229605 A JP 2009229605A
- Authority
- JP
- Japan
- Prior art keywords
- card
- annotation
- user
- data
- annotations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
本発明は、ワークショップにおける活動についてのリフレクションを、時間配置と構造配置による表現を融合することにより支援する仕組みである「ワークショップリフレクター」を提供することのできるシステムに関するものである。 The present invention relates to a system capable of providing a “workshop reflector” that is a mechanism for supporting reflection of activities in a workshop by fusing expressions by time arrangement and structure arrangement.
1960年代以降、世界中の様々な分野においてワークショップと呼ばれる参加体験型の学習や創造活動の場が広がりを見せている。ワークショップを開催する目的も様々であり、企業研修のグループワークのように意見表出や問題解決のトレーニングとして利用することや、地域住民が主体的にまちづくりの計画や製作の策定を行う場として利用されることもある。近年では特に、市民の表現活動や創作活動の活性化を目的としたワークショップが盛んに開催されており、例えば、子どもを対象に創造性や表現力を引き出すワークショップを定期的に提供していたり、映像を用いたストーリーテリングのワークショップを提供していたりする。 Since the 1960s, there have been widespread opportunities for participation-based learning and creation activities called workshops in various fields around the world. The purpose of holding workshops is also various, and it is used as an opportunity for opinion presentation and problem-solving training, as in group work for corporate training, and as a place for local residents to actively develop community planning and production. Sometimes used. In recent years, workshops have been actively held for the purpose of revitalizing citizens' expression activities and creative activities. For example, workshops that regularly bring out creativity and expressiveness to children are provided. And provide storytelling workshops using video.
このようなワークショップにおいては、参加者の創造性や表現力の向上だけでなく、体験共有やコミュニケーションの活性化といった参加者同士の相互作用を目指すこともできる。 In such workshops, not only can participants improve their creativity and expressiveness, but they can also aim for interaction among participants, such as sharing experiences and activating communication.
表現活動や創造活動を活性化するという文脈では、自己の活動を認知的アプローチにより振り返ることが有効である。このような振り返りをリフレクションと呼ぶ。また、自己の活動振り返って言語化することは学習を促進する。 In the context of activating expression and creative activities, it is effective to look back on one's own activities using a cognitive approach. Such a reflection is called reflection. Also, looking back on your activities and verbalizing promotes learning.
表現活動ということに焦点を絞ると、ワークショップのリフレクションは以下の二つに分かれると考えられる。
・ワークショップで表現活動を行った参加者自身によるリフレクション
・ワークショップという表現の場を提供したファシリテータ(司会進行役等)たちによるリフレクション
特に、ファシリテータはワークショップで重要な役割を担う。リフレクションによって、ファシリテータたちが自分たちの活動を振り返りワークショップの進行上の良かった点、悪かった点などを内省することを通じて、ファシリテータ自身のスキルを学習することが、ワークショップの効果的な運用につながると考えられる。
Focusing on expression activities, workshop reflection can be divided into the following two categories.
-Reflection by facilitators (moderator facilitators, etc.) who provided a place of expression called reflection workshop by participants who performed expression activities at the workshop. In particular, the facilitator plays an important role in the workshop. By reflecting on the activities of the facilitators and reflecting on the pros and cons of the progress of the workshop through reflection, learning the facilitator's own skills is the effective operation of the workshop. It is thought that it leads to.
リフレクションは複数のファシリテータで行われるため、時間軸に沿った多視点かつ協働できる枠組みが有効である。また、協働で活動プロセスを構造的に扱う仕組みとして、KJ法のようなカードベースの構造配置による表現が有効である。 Since reflection is performed by a plurality of facilitators, a multi-viewpoint and collaborative framework along the time axis is effective. In addition, as a mechanism for structurally handling activity processes in collaboration, an expression based on a card-based structure arrangement such as the KJ method is effective.
そこで、本発明は、ワークショップにおける活動についてのリフレクションを、時間配置と構造配置による表現を融合することにより支援する仕組み「ワークショップリフレクター」を実現する活動プロセスリフレクション支援システムを提供する。これによれば、ワークショップ中に記録した写真やビデオを時間配置で表現する「タイムラインリフレクター」と、ワークショップ中のイベントをカードとして表現し構造配置する「カードリフレクター」を組み合わせて、活動プロセスをリフレクションする仕組みを実現することができる。 Therefore, the present invention provides an activity process reflection support system that realizes a mechanism “workshop reflector” that supports reflection of activities in a workshop by fusing expressions by time arrangement and structure arrangement. According to this, the activity process combines the “timeline reflector” that represents the photos and videos recorded during the workshop with time arrangement and the “card reflector” that represents the events during the workshop as cards and arranges them. Can be implemented.
本発明は、上記の課題を解決するものとして、第1には、
ユーザの活動プロセスに関するデータを記録する記録装置と、
記録されたデータに対してアノテーションを自動付与するオートアノテーション装置と、
記録されたデータおよびアノテーションを時間軸に沿って提示するタイムライン提示装置と、
提示されたタイムライン上のデータに対してユーザ任意のアノテーションを付与するタイムラインユーザアノテーション装置と、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示するカード提示装置と、
提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードユーザアノテーション装置と
を備える、活動プロセスリフレクション支援システムを提供する。
As the present invention solves the above problems, first,
A recording device for recording data relating to user activity processes;
An auto annotation device that automatically assigns annotation to recorded data;
A timeline presentation device for presenting recorded data and annotation along a time axis;
A timeline user annotation device for giving user arbitrary annotation to the data on the presented timeline;
A card presentation device for presenting recorded data and annotations as virtual cards on a virtual field;
There is provided an activity process reflection support system including a card user annotation device that gives a user arbitrary annotation to a pseudo card on a presented virtual field.
第2には、
ユーザの活動プロセスに関するデータを記録し、記録されたデータに対してアノテーションを自動付与し、記録されたデータおよびアノテーションを時間軸に沿って提示し、提示されたデータに対してユーザ任意のアノテーションを付与するタイムラインリフレクターと、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードリフレクターと
を備える、活動プロセスリフレクション支援システムを提供する。
Secondly,
Records data related to the user's activity process, automatically adds annotations to the recorded data, presents the recorded data and annotations along the time axis, and gives user-specified annotations to the displayed data A timeline reflector to grant,
Provided is an activity process reflection support system including a card reflector that presents recorded data and annotations as virtual cards on a virtual field, and gives a user arbitrary annotation to the pseudo cards on the displayed virtual field. .
第3には、
ユーザの活動プロセスに関するデータを記録し、
記録したデータに対してアノテーションを自動付与し、
記録したデータおよびアノテーションを時間軸に沿って提示し、
提示したデータに対してユーザ任意のアノテーションを付与し、
記録したデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、
提示した仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与する、
活動プロセスリフレクション支援方法を提供する。
Third,
Record data about user activity processes,
Annotations are automatically added to the recorded data,
Present the recorded data and annotations along the time axis,
Annotate the user arbitrarily to the presented data,
Present recorded data and annotations as virtual cards on virtual fields,
A user arbitrary annotation is given to the pseudo card on the presented virtual field.
Provide an activity process reflection support method.
第4には、前記方法をコンピュータに実行させるプログラムならびに該プログラムを記録したコンピュータ読取可能な記録媒体を提供する。 Fourth, a program for causing a computer to execute the method and a computer-readable recording medium on which the program is recorded are provided.
1.ワークショップのリフレクションの支援
1.1 ワークショップの実例
ここで対象とするワークショップの一例は、室内で実施される参加者数十人規模の参加体験型創造活動である。このようなワークショップでは、ファシリテータと呼ばれるワークショップの設計者および司会者がテーマを設け、参加者が作品を仕上げる過程を通じて、学習やコミュニケーションの活性化を図る。たとえば、実際に開催されたあるワークショップは、「子育てにやさしい町をつくりたい」というテーマのもと、中学生の「子育て」に対する関心を高めることを目的として、参加者たちが、自身の幼児期について調べ、当時の写真や親から聞いた子どものころの様子を作品として作成し、発表した。
1. Support for Workshop Reflection 1.1 Examples of Workshops An example of a target workshop here is a participatory experience-based creative activity with dozens of participants in the room. In such workshops, workshop designers and facilitators, called facilitators, set themes, and participants aim to revitalize learning and communication through the process of finishing their works. For example, in a workshop that was actually held, participants wanted to raise their interest in child-rearing under the theme of “I want to create a town that is friendly to child-rearing”. I made a picture of my childhood that I heard from my parents and my parents.
ワークショップ中に記録した1000枚を超える写真の多くは、参加者たちが作品を作成する様子や、参加者同士やファシリテータとの対話の様子が中心的だった。このことから、ファシリテータが注目する点は、作品が出来上がる過程、および参加者やファシリテータの対話であると考えられる。さらに、ファシリテータにインタビューを行った結果、このようなワークショップのリフレクションにおいて、以下の要素が必要であるとわかった。
・作品を作成する過程に対する註釈の付与
・参加者の動きや対話に対する註釈の付与
・同時に複数個所で起こるイベントの俯瞰
・ワークショップ中のイベントの切り出し
・時間的に離れているイベント間の関連付け
1.2 ワークショップのリフレクションシステムの全体像
前述のリフレクションに必要な要素をふまえ、本発明では、ワークショップにおける活動プロセスのリフレクションの仕組みを図1のように想定している。この仕組みでは、ワークショップで記録されたコンテンツを、リフレクションの目的に応じて時間配置と構造配置により表現し、組み合わせることで効果的なリフレクションを目指している。
Many of the over 1000 photos recorded during the workshop were centered on how participants created their work and how they interacted with each other and with the facilitator. From this, it is considered that the facilitator pays attention to the process of completing the work and the dialogue between the participants and the facilitator. Furthermore, as a result of interviewing the facilitator, it was found that the following elements were necessary for reflection in such workshops.
・ Annotations for the process of creating works ・ Annotations for participants' movements and dialogues ・ Overview of events that occur simultaneously at multiple locations ・ Extracting events during workshops ・ Associating events that are separated in time 1 .2 Overall Image of Workshop Reflection System Based on the above-described elements necessary for reflection, the present invention assumes the mechanism of reflection of the activity process in the workshop as shown in FIG. In this mechanism, the content recorded in the workshop is expressed by time arrangement and structure arrangement according to the purpose of reflection, and it aims at effective reflection.
まず、カメラやマイク、ペンタブレットなどの画像、映像、音声、文字等の入力及び記録のための各種デバイスないしセンサを用いて、ワークショップの活動プロセス(時間を含む)をサーバやデータベース等に記録する。次に、記録したセンサデータに対し、アノテーションの自動付与を行う。アノテーションの自動付与における本発明が想定するデータ処理の例を以下にあげる。
・文字が書かれた写真をスキャナで取り込んだデータの文字認識
・タブレットのオンライン文字認識
・写真中の人の顔検出
・音響データからの音声認識
・センシングデータからのユーザの位置や向きの推定
これら各種データ処理には、文字や画像(ここでは適宜「画像」と総称する)、物音や音声(ここでは適宜「音声」と総称する)、位置や方向、角度(ここで適宜「位置」と総称する)などといった、センサデータ固有のアノテーションを認識、判定、推定等するあらゆる公知の技術を利用することができる。位置推定技術の一例としてはたとえばNishimura, T., Nakamura, Y., Tomobe, H.,Kurata, T., Okuma, T. and Matsuo, Y."Location
Estimation using Auditory Signal Emitted and Received by All Objects", Proc. Of
INSS’07 (2007)を参照。
First, the activity process of the workshop (including time) is recorded in a server or database using various devices or sensors for inputting and recording images, video, audio, text, etc. from cameras, microphones, pen tablets, etc. To do. Next, annotation is automatically given to the recorded sensor data. An example of data processing assumed by the present invention in automatic annotation assignment is given below.
・ Character recognition of data obtained by scanning a photograph with written characters ・ Online character recognition on tablets ・ Detection of human face in a photograph ・ Speech recognition from acoustic data ・ Estimation of user position and orientation from sensing data For various data processing, characters and images (generically referred to as “images” as appropriate herein), sounds and sounds (herein referred to as “speech” as appropriate), positions, directions, and angles (herein referred to as “positions” as appropriate) Any known technique for recognizing, determining, estimating, etc., an annotation specific to sensor data can be used. Examples of location estimation techniques include Nishimura, T., Nakamura, Y., Tomobe, H., Kurata, T., Okuma, T. and Matsuo, Y. "Location
Estimation using Auditory Signal Emitted and Received by All Objects ", Proc. Of
See INSS'07 (2007).
ユーザはアノテーションが自動付与されたデータ、および映像や音声などのデータ自体を用いてリフレクションを行う。まず、ユーザは「タイムラインリフレクター」を用いて、ワークショップの活動をリフレクションする。タイムラインリフレクターは、ワークショップ時に記録されたセンサデータを時系列に配置し、時間軸に沿ってデータを提示することにより、活動を振り返ることができるツールである。ユーザは、コンピューディスプレイ等に表示されたタイムラインリフレクター上で提示された映像や音声から、ワークショップ中の特徴的なイベントを抽出し、ユーザ自身の解釈や印象を加える。これにより、ワークショップの活動プロセスがセグメンテーションされる。ユーザによる抽出や入力はキーボードやマウス等の各種入力デバイスを介してタイムラインリフレクター上で行われ、センサデータと関連付けて記憶手段に記憶されることでセグメンテーションが実現される。 The user performs reflection using the data to which the annotation is automatically given and data such as video and audio. First, the user uses the “timeline reflector” to reflect the activities of the workshop. The timeline reflector is a tool that can reflect on activities by arranging sensor data recorded at the time of the workshop in time series and presenting the data along the time axis. The user extracts characteristic events in the workshop from the video and audio presented on the timeline reflector displayed on the computer display or the like, and adds his own interpretation and impression. Thereby, the activity process of the workshop is segmented. Extraction and input by the user are performed on the timeline reflector via various input devices such as a keyboard and a mouse, and the segmentation is realized by being stored in the storage means in association with the sensor data.
次に、ユーザは「カードリフレクター」を用いて活動プロセスのリフレクションを行う。カードリフレクターは、タイムラインリフレクターでセグメンテーションされた活動プロセスをカード化し、つまりセグメンテーション後の各センサデータを擬似的に一つのカードとして見なし、ディスプレイ等に表示される2次元の仮想フィールド上に各カードを配置し、各カードに対して更に解釈や印象をアノテーションとして加えることによりリフレクションを可能にするツールである。本発明では、カードリフレクターとタイムラインリフレクターを組み合わせてリフレクションするシステムをワークショップリフレクターと呼ぶ。 Next, the user uses the “card reflector” to reflect the activity process. The card reflector converts the activity process segmented by the timeline reflector into cards, that is, each sensor data after segmentation is regarded as one pseudo card, and each card is placed on a two-dimensional virtual field displayed on a display or the like. It is a tool that allows reflection by placing and adding interpretation and impressions as annotations to each card. In the present invention, a system that performs reflection by combining a card reflector and a timeline reflector is called a workshop reflector.
2.ワークショップリフレクター
2.1 時間配置によるワークショップの表現:タイムラインリフレクター
ワークショップのリフレクションでは、時間軸上で特徴的な出来事を抽出できる必要がある。そこでタイムラインリフレクターでは、ワークショップ中に記録した映像や音声などのデータを時系列に配置し、時間軸に沿ってデータに対し解釈や印象などのアノテーションをユーザが付与することで特徴的な出来事を抽出する。以下にタイムラインリフレクターに必要な機能をあげる。
2. Workshop Reflector 2.1 Representation of workshop by time allocation: Timeline Reflector In workshop reflection, it is necessary to extract characteristic events on the time axis. Therefore, in the timeline reflector, data such as video and audio recorded during the workshop is arranged in time series, and the user gives annotations such as interpretation and impression to the data along the time axis, which is a characteristic event To extract. The functions required for the timeline reflector are listed below.
<映像や音声などのデータの時系列表示>
タイムラインリフレクターでは、時間をインデックスとして時系列でデータを配置することにより、同時間に記録された映像や音声などを並列に表示して、ユーザが閲覧できる。
<Time series display of data such as video and audio>
In the timeline reflector, by arranging data in time series with time as an index, a user can view video or audio recorded in parallel at the same time and browse them.
<解釈や印象などのアノテーションの付与>
映像や音声などのデータに対してテキストやフリーハンドによるアノテーションを付与できる。アノテーションは映像や音声などのデータ全体かデータの一部(時間範囲や矩形範囲)に対し付与される。これにより、実世界の特徴的な活動を切り出すことができ、ワークショップのセグメンテーションを実現できる。
<Annotation such as interpretation and impression>
Text and freehand annotation can be added to data such as video and audio. Annotations are given to the entire data such as video and audio or a part of the data (time range or rectangular range). As a result, it is possible to extract the characteristic activities in the real world and realize the segmentation of the workshop.
<映像や音声などのデータの検索>
ユーザはタイムライン上に配置された映像や音声のデータを、時間をキーにして検索することができる。また、ユーザは自動アノテーションや付与したアノテーションから映像や音声の検索ができる。例えば、インデックスとして利用される時間以外に、文字情報や顔などの画像情報、位置情報に基づいたデータ検索ができる。
<Search for data such as video and audio>
The user can search for video and audio data arranged on the timeline using time as a key. In addition, the user can search for video and audio from automatic annotations and attached annotations. For example, in addition to the time used as an index, data search based on character information, image information such as a face, and position information can be performed.
図2にタイムラインリフレクターの一実施例であるコンピュータディスプレイ上の表示例を示す。タイムラインリフレクターの本実施例では、動画や静止画、音声、位置情報などのデータが記録された時間をもとにタイムラインを表示する。また、各データは平行して閲覧できるように表示される。 FIG. 2 shows a display example on a computer display which is an embodiment of the timeline reflector. In this embodiment of the timeline reflector, the timeline is displayed based on the time when data such as moving images, still images, audio, and position information is recorded. Each data is displayed so that it can be viewed in parallel.
この表示例では、タイムライン上からデータを選択しマウス等によりクリックすると、時間をインデックスとしてデータベース等から抽出された対応する動画や静止画が拡大表示される。拡大表示されたデータに対し、マウス操作等を介して任意の矩形範囲を指定することでアノテーションウィンドウが開く。アノテーションウィンドウでデータや指定した範囲に関する解釈や説明をキーボード等によりテキストで入力できる。また、アノテーションウィンドウ上にて開始時間と終了時間を設定することにより、時間範囲を指定することもできる。時間範囲が指定されたアノテーションは、タイムラインリフレクター上では指定された時間範囲のみ表示される。すなわち、抽出したセンサデータに対してユーザ任意の情報を時間とともに入力、指定してアノテーションを実行することができる。アノテーションの様子を図3に示す。このアノテーションをもとに、カードリフレクター上にカードが生成される。 In this display example, when data is selected from the timeline and clicked with a mouse or the like, the corresponding moving image or still image extracted from the database or the like is displayed in an enlarged manner using time as an index. An annotation window is opened by specifying an arbitrary rectangular range for the enlarged data via a mouse operation or the like. Interpretation and explanation about the data and the specified range in the annotation window can be entered as text using the keyboard. The time range can also be specified by setting the start time and end time on the annotation window. An annotation with a specified time range is displayed only on the specified time range on the timeline reflector. That is, it is possible to execute annotation by inputting and specifying arbitrary information with respect to the extracted sensor data with time. The state of annotation is shown in FIG. Based on this annotation, a card is generated on the card reflector.
2.2 構造配置によるワークショップの表現:カードリフレクター
タイムラインリフレクターによりセグメンテーションされたワークショップの活動プロセスをリフレクションするためには、さらにユーザの解釈や意図を直感的に付与できる仕組みが必要であると考えられる。例えば、KJ法のように、データやアイデアをカードとして2次元上のフィールドに表現し配置する手法は、直感的な思考を行うために有効であると考えられる。そこでユーザは、カードリフレクターを用いて、計算機上の仮想的な机(フィールド)の上で、活動プロセスをカードとして配置し、関係のあるカードを近くに配置することや、アノテーションにより解釈や意図をカードに加えることで、ワークショップの活動を構造化し、直感的な思考を行うことができる。なお、カードを配置するフィールドは、2次元平面空間フィールドだけでなく、3次元立体空間フィールドとしてもよいことはいうまでもない。以下にカードリフレクターに必要な機能をあげる。
2.2 Representation of workshop by structural arrangement: Card reflector In order to reflect the activity process of the workshop segmented by the timeline reflector, it is necessary to have a mechanism that can give the user's interpretation and intention more intuitively. Conceivable. For example, a method of expressing and arranging data and ideas in a two-dimensional field as a card, such as the KJ method, is considered effective for performing intuitive thinking. Therefore, the user uses the card reflector to place the activity process as a card on a virtual desk (field) on the computer, place related cards nearby, and use annotations to interpret and intent. By adding to the card, you can structure the activities of the workshop and make intuitive thinking. Needless to say, the field in which the cards are arranged may be not only a two-dimensional plane space field but also a three-dimensional solid space field. The functions required for the card reflector are listed below.
<新しいカードの作成>
タイムラインリフレクターを用いて、ユーザは活動プロセスをセグメンテーションする。このセグメンテーションした活動プロセスは、カードリフレクター上ではカードとして表現される。それぞれのカードはワークショップ中に記録された映像や音声などのセンサデータを持つ。
<Create a new card>
Using the timeline reflector, the user segments the activity process. This segmented activity process is represented as a card on the card reflector. Each card has sensor data such as video and audio recorded during the workshop.
<カードの移動とグルーピング>
ユーザはカードリフレクターのフィールド上でカードを直感的に操作できる。例えば、関連性の強い活動プロセスのカードを近くに移動させることができる。また、カードの角度を変化させることにより、対面テーブルなどで用いてリフレクションする場合に対面にいるユーザにカードを提示することできる。さらに、活動プロセスを構造化するためにはカードのグルーピングが望ましい。グルーピングは関係するカードを円で囲むといった簡単な操作で実現される。これらの操作はマウスやキーボード等の各種入力デバイスを介して行うことができる。
<Card movement and grouping>
The user can intuitively operate the card on the card reflector field. For example, cards with highly relevant activity processes can be moved nearby. Further, by changing the angle of the card, it is possible to present the card to the user who is facing the user when reflecting on the table or the like. In addition, card grouping is desirable to structure the activity process. Grouping is realized by a simple operation such as enclosing related cards in a circle. These operations can be performed via various input devices such as a mouse and a keyboard.
<アノテーションの追加>
活動プロセスの解釈や意図として、ユーザはテキストやリンク、描画アノテーションを付与することができる。テキストアノテーションと描画アノテーションは、カード全体やカードの一部に対して付与される。関係あるカードにリンクアノテーションを用いることにより、ワークショップの活動プロセスはネットワーク状になり、ユーザは構造的に俯瞰することができる。また、フリーハンドによる描画アノテーションは活動プロセスへの解釈を直感的に付与することができる。さらにカードが配置されているフィールド(仮想的な机)へも直接描画アノテーションを加えることにより、ユーザは活動プロセスの構造化を支援する情報を付与できる。
<Add annotation>
Users can add text, links, and drawing annotations as interpretations and intentions of activity processes. The text annotation and the drawing annotation are given to the entire card or a part of the card. By using link annotations on related cards, the workshop activity process becomes a network, and the user can have a bird's-eye view structurally. In addition, freehand drawing annotation can intuitively give an interpretation to the activity process. Furthermore, by adding a drawing annotation directly to the field (virtual desk) where the card is placed, the user can give information that supports the structuring of the activity process.
<カードやアノテーションの検索>
ユーザが目的のカードを容易に操作するために、カードやアノテーションの検索が必要である。ユーザはテキストのキーワードによる検索だけでなく、リンク構造に基づくカードの検索も必要である。さらに、前述の自動アノテーションデータベースから、ユーザが描画した情報をクエリとした類似描画検索、ユーザがアップした写真、音響、動画との類似関連データの検索も、莫大なデータからユーザが関心あるデータを発見したい場合に役立つ。
<Search for cards and annotations>
In order for the user to easily operate the target card, it is necessary to search for the card or annotation. The user needs to search not only for text keywords but also for cards based on the link structure. Furthermore, from the above-mentioned automatic annotation database, similar drawing search using information drawn by the user as a query, search for similar related data with photos, sounds, and videos uploaded by the user can also be obtained from a huge amount of data. Useful if you want to discover.
図4にカードリフレクターの表示の一例を示す。カードリフレクターの入力操作はペンタブレット等を用いて行う。リフレクション時の操作はペンタブレット等をユーザが共有して入力する。ユーザはそれぞれIDが記録されているペン等により入力を行うことができ、これにより、全ての操作について操作を行ったユーザを互いに関連付けてデータベース等に記録することができ、このデータに基づいて各操作を行った各ユーザを特定することが可能である。ユーザはカードの中心をポイントしドラッグすることでカードを操作することができる。また、カードの四隅をポイントしドラッグするとカードを回転することができる。また、フィールドに対し図形や文字をフリーハンドで描画することができる。 FIG. 4 shows an example of the card reflector display. The input operation of the card reflector is performed using a pen tablet or the like. For the operation at the time of reflection, the user shares and inputs a pen tablet or the like. Each user can make an input with a pen or the like in which an ID is recorded. This allows users who have performed operations for all operations to be associated with each other and recorded in a database or the like. It is possible to specify each user who performed the operation. The user can operate the card by pointing and dragging the center of the card. You can also rotate the card by pointing and dragging at the four corners of the card. In addition, figures and characters can be drawn freehand on the field.
カードにリンクアノテーションを付与するには、フィールド上のカードを2つ以上選ぶ。まず、ユーザはリンクの始点となるカードを選択しポイントする。次にリンクの終点となる別のカードを選択しポイントする。リンクの始点と終点となるカードを確認し、リンクを付与する場合には終点となるカードをもう一度ポイントするとこれらのカードにリンクが付与される。 To add a link annotation to a card, select two or more cards on the field. First, the user selects and points to the card that is the starting point of the link. Then select another card that will be the end of the link and point to it. When the card which becomes the start point and end point of the link is confirmed and the link is given, when the card which becomes the end point is pointed again, the link is given to these cards.
図5にカードのアノテーション付与ウィンドウの一例を示す。フィールド上のカードをダブルクリックするとアノテーション付与ウィンドウが開く。アノテーションウィンドウでは、カードに直接描画することで描画アノテーションを付与することやカード全体や一部に対してテキストアノテーションを付与することができる。 FIG. 5 shows an example of a card annotation assignment window. Double-clicking a card on the field opens the annotation assignment window. In the annotation window, a drawing annotation can be given by drawing directly on the card, or a text annotation can be given to the entire card or a part thereof.
当然のことながらアノテーションは、各カードと関連付けてデータベースやサーバ等に記録されて、適宜読み出すことができる。 As a matter of course, the annotation is recorded in a database or a server in association with each card, and can be read out as appropriate.
3.一実験例
ワークショップのリフレクションツールとして、本発明によるワークショップリフレクターの特徴を示すため、タイムラインリフレクターとカードリフレクターによるリフレクションを行った。実験では、テーマを2つ(テーマA、テーマB)用意し、2グループでそれぞれのリフレクターを用いてリフレクションを行った。両方のリフレクターの利用方法の詳細を説明した後、各被験者にペンタブレット入力用のペンを配布し、それぞれのツールにおける操作履歴を記録した。テーマへの依存を考慮し、各グループのリフレクションのテーマと利用ツールを表1に示す。また、リフレクション終了後にカードリフレクターとタイムラインリフレクターのリフレクション効果や使用感に関するアンケートを行った。
3. One Experimental Example In order to show the characteristics of the workshop reflector according to the present invention as a workshop reflection tool, reflection was performed using a timeline reflector and a card reflector. In the experiment, two themes (theme A and theme B) were prepared, and reflection was performed using the respective reflectors in two groups. After explaining the details of how to use both reflectors, pens for pen tablet input were distributed to each subject, and the operation history of each tool was recorded. Table 1 shows the reflection themes and tools used for each group, taking into account themes. In addition, after the end of reflection, we conducted a questionnaire on the reflection effect and usability of the card reflector and timeline reflector.
3.1 実験結果
表2にカードリフレクターのフィールドおよびカードへのアノテーション数とタイムラインリフレクターの画像へのアノテーション数とリフレクションにかかった時間を示す。なお、Cはカードリフレクター、Tはタイムラインリフレクターを示す。
3.1 Experimental Results Table 2 shows the number of annotations to the field and card of the card reflector, the number of annotations to the image of the timeline reflector, and the time taken for reflection. C represents a card reflector, and T represents a timeline reflector.
テーマA、テーマBともカードリフレクターによるアノテーション数はタイムラインリフレクターを上回った。一方、画像に対し付与されたアノテーションの数はタイムラインリフレクターがカードリフレクターを上回った。 In both theme A and theme B, the number of annotations by the card reflector exceeded that of the timeline reflector. On the other hand, the number of annotations given to images exceeded the number of card reflectors by the timeline reflector.
カードリフレクターによりリフレクションを行った結果得られたカードの最終的な配置の例として、グループ2のカードリフレクターの様子を図7に示す。またツール利用後のアンケートでは、リフレクターに対し以下のような意見が得られた。
・カードリフレクターではカードの関係を構造的に俯瞰でき、全体をまとめたリフレクションができる。
・カードを並び替えて構造的に理解するため、カードへコメントする機会が少なくなるが、その替わりにフィールドへのアノテーションの機会が多くなる。
・カードリフレクターでは構造的な俯瞰により、活動プロセスを振り返る上で不足している要素が明確になる。
・タイムラインリフレクターでは活動の変遷を俯瞰することが容易である。
As an example of the final arrangement of the cards obtained as a result of the reflection by the card reflector, the state of the card reflector of group 2 is shown in FIG. In the questionnaire after using the tool, the following opinions were given to the reflector.
-The card reflector can provide a bird's-eye view of the relationship between the cards and reflect the whole.
-Since the cards are rearranged and understood structurally, there are fewer opportunities for commenting on the cards, but instead there are more opportunities for annotation on the field.
・ The structural overview of card reflectors reveals the elements that are lacking in looking back on the activity process.
・ The timeline reflector makes it easy to overlook the transition of activities.
評価実験において、タイムラインリフレクターでは、シーケンシャルにデータが提示されるので提示されているデータに集中してリフレクションでき、個々の活動プロセスに対するコミュニケーションが活性化するシーンが見られた。一方カードリフレクターでは、活動プロセス全体を通じてカードを配置し、リフレクションを行うシーンが見られた。 In the evaluation experiment, in the timeline reflector, since the data was presented sequentially, it was possible to reflect by concentrating on the presented data, and there was a scene where communication with each activity process was activated. On the other hand, in the card reflector, there were scenes where cards were placed and reflected throughout the activity process.
評価実験では、カードリフレクターを用いて、グループ1、グループ2ともにフィールドへのアノテーションが集まった。カードの移動は6秒に1度の間隔で行われていた。また、リフレクション時間はタイムラインリフレクターに比べカードリフレクターのほうが長かった。これはユーザがカードの移動やグルーピングすることで、カードを様々な視点によりカードを構造化しようとしていたことを示している。 In the evaluation experiment, annotations to the field were gathered in both Group 1 and Group 2 using card reflectors. The cards were moved once every 6 seconds. Also, the reflection time was longer for the card reflector than for the timeline reflector. This indicates that the user tried to structure the card from various viewpoints by moving or grouping the card.
タイムラインリフレクターでは、活動プロセス自体に対しアノテーションが付与される様子がよく見られた。被験者のコメントにあるように、タイムラインリフレクターを通じて活動の変遷を見つけることができたと考えられる。 In the timeline reflector, it was often seen that the activity process itself was annotated. It is thought that the activity transition was found through the timeline reflector, as shown in the subject's comments.
この実験から、時間配置による表現はプロセスの変遷のような時間的な変化を詳細に捉える場合に役立つことがわかった。また、構造配置による表現では、ユーザはカードの移動やグルーピングを通じ、活動プロセスの関係性や構造化を考え振り返る場合に役立つことがわかった。よって、時系列による可視化とカードによる可視化を併用することが、活動プロセスのリフレクションに効果的であると考えられる。 From this experiment, it was found that the expression by time arrangement is useful for grasping the time change like process transition in detail. In addition, it was found that the expression by the structure arrangement is useful when the user looks back on the relationship and structure of the activity process through the movement and grouping of cards. Therefore, it is considered that the combination of time series visualization and card visualization is effective for reflection of the activity process.
4.タイムラインリフレクターおよびカードリフレクターに関する各種処理フロー
ここでは、上述したタイムラインリフレクターおよびカードリフレクターのための各種処理のフローについて、図7〜図15を参照しながら説明する。これらの処理を実行するタイムラインリフレクターおよびカードリフレクターを組み合わせたワークショップリフレクターのシステム概略構成の一例は図16に示す。このシステム構成における各機能は、たとえば各々個別の装置やデバイス、あるいは一体型システムないし装置に組み込まれる各機能実行部などとして、あるいは各機能をコンピュータに実行させるプログラムなどといった様々な実施形態を考慮できるが、その実施形態によって各処理、機能を特徴とする本発明が限定されるものでないことは言うまでもない。
4). Various Process Flows for Timeline Reflector and Card Reflector Here, the flow of various processes for the above-described timeline reflector and card reflector will be described with reference to FIGS. FIG. 16 shows an example of a system schematic configuration of a workshop reflector that combines a timeline reflector and a card reflector that execute these processes. For each function in this system configuration, various embodiments such as individual apparatuses and devices, function execution units incorporated in an integrated system or apparatus, or programs for causing a computer to execute the functions can be considered. However, it goes without saying that the present invention characterized by each process and function is not limited by the embodiment.
4.1 ワークショップデータ登録(図7参照)
まず、ワークショップの活動プロセスに関するデータを登録する。
4.1 Workshop data registration (see Fig. 7)
First, register data on the activity process of the workshop.
ステップ1:ワークショップに関する情報(開催日、開始時刻、終了時刻、ワークショップの概要等)を入力して登録する。 Step 1: Enter and register information about the workshop (date, start time, end time, workshop summary, etc.).
ステップ2:ワークショップに関わった人物(記録者、参加者など)の情報(氏名、ニックネーム等)を登録する。 Step 2: Register information (name, nickname, etc.) of persons involved in the workshop (recorders, participants, etc.).
ステップ3:各種デバイスないしセンサ(デジタルカメラ、ビデオカメラ、マイク、加速度センサなど)を用いて記録した、画像、映像、音声、文字等の活動プロセスを表す各種データであるコンテンツを入力する。 Step 3: Input contents, which are various data representing activity processes such as images, video, sound, characters, etc., recorded using various devices or sensors (digital camera, video camera, microphone, acceleration sensor, etc.).
ステップ4:各入力コンテンツから、各々の日時、時間、種類等のメタデータを自動抽出する。 Step 4: Metadata such as date, time, type, etc. is automatically extracted from each input content.
ステップ5:メタデータの自動抽出に成功したか否かを判断する。メタデータは、デジタルカメラ等の入力デバイス/センサによりコンテンツ登録時に自動的に付与されていれば、自動抽出が可能となる。 Step 5: It is determined whether or not the automatic extraction of metadata is successful. If metadata is automatically given at the time of content registration by an input device / sensor such as a digital camera, automatic extraction can be performed.
ステップ6:メタデータの自動抽出ができなかった場合には、ユーザがメタデータを手動入力する。 Step 6: If the metadata cannot be extracted automatically, the user manually inputs the metadata.
ステップ7:各コンテンツに対応させて、ワークショップ名や撮影者名等のメタデータとは別の識別データを入力する。これは自動/手動を問わない。 Step 7: Input identification data different from metadata such as workshop name and photographer name in correspondence with each content. This may be automatic or manual.
ステップ8:以上のコンテンツ及びデータを互いに関連付けてデータベースに登録する。 Step 8: The above contents and data are associated with each other and registered in the database.
なお、このデータ登録では、各コンテンツについて、上記メタデータ以外のアノテーションを自動付与して同様にデータベースに登録しておいてもよい。自動アノテーションとしては、たとえば、
・写真中の顔認識、特定の物の認識、Watermarking(電子透かし)情報の検出、文字認識
など
・音響信号からの特定音の認識、音声認識など
・動画像に関して上記両者の認識、推定など
・ペンタブレットやマウス等の入力デバイスを介した描画データの構造抽出、文字認識等の特徴抽出など
・さらに、各種センサデータのパターン認識結果を統合的に比較検討することで人物の位置推定など
といったものを考慮でき、これらを自動的に初期アノテーションとして付与し、データベースに登録する。
In this data registration, an annotation other than the metadata may be automatically assigned to each content and registered in the database in the same manner. Examples of automatic annotations include
・ Face recognition in photographs, recognition of specific objects, detection of watermarking (digital watermark) information, character recognition, etc. ・ Recognition of specific sounds from audio signals, voice recognition, etc. Extraction of drawing data structure via input devices such as pen tablet and mouse, extraction of features such as character recognition, etc. ・ Furthermore, pattern position recognition results of various sensor data are comprehensively compared and examined. Can be considered, and these are automatically assigned as initial annotations and registered in the database.
4.2 タイムラインリフレクターの表示(図8参照)
次に、登録されたワークショップ毎のコンテンツをタイムラインリフレクターとして表示する。
4.2 Timeline reflector display (see Figure 8)
Next, the contents for each registered workshop are displayed as a timeline reflector.
ステップ11:ワークショップを選択する。 Step 11: Select a workshop.
ステップ12:選択したワークショップに登録されているコンテンツ群の中から表示させたいコンテンツを選択する。この選択は、たとえば予め登録してあるワークショップの基本データをキーにして行う。 Step 12: Select content to be displayed from the content group registered in the selected workshop. This selection is performed using, for example, basic data of a workshop registered in advance as a key.
ステップ13:データベースから選択された表示対象コンテンツを検索する。 Step 13: Search the display target content selected from the database.
ステップ14:検索されたコンテンツを時間順に表示する。 Step 14: The searched contents are displayed in time order.
ステップ15:検索されたコンテンツのタイムラインを表示する。具体的にはたとえば、検索されたコンテンツに対応するメタデータであるタイムコードをデータベースから読み出し、タイムコードで示される時間に基づいて、タイムライン上の該当するコンテンツが存在する時間の位置にマークを表示する。このマークをクリック等により選択するとコンテンツが表示されるようにもできる。 Step 15: Display the searched content timeline. Specifically, for example, a time code that is metadata corresponding to the searched content is read from the database, and a mark is placed at the time position where the corresponding content exists on the timeline based on the time indicated by the time code. indicate. When this mark is selected by clicking or the like, the content can be displayed.
ステップ16:選択したコンテンツが全て表示されたか否かを判断する。全て表示されていなければステップ13から繰り返し、全て表示された時点で終了する。 Step 16: It is determined whether or not all the selected contents are displayed. If not all are displayed, the process is repeated from step 13, and the process ends when all are displayed.
4.3 コンテンツへのアノテーション(図9参照)
次に、タイムラインリフレクター上に表示されたコンテンツに対してユーザが手動でアノテーションを付与する。
4.3 Annotating content (see Figure 9)
Next, the user manually annotates the content displayed on the timeline reflector.
ステップ21:アノテーションを付与したいコンテンツを選択する。 Step 21: Select content to which annotation is to be added.
ステップ22:選択したコンテンツ内にてさらに対象となる矩形範囲を選択する。例示では、画像コンテンツに映し出されているある人物像を矩形選択している。 Step 22: Select a target rectangular range in the selected content. In the example, a certain person image displayed in the image content is selected as a rectangle.
ステップ23:選択するとアノテーションウィンドウがポップアップ表示されるので、そのアノテーションウィンドウ上に表示されている時間範囲入力枠に時間範囲を選択入力する。 Step 23: Since an annotation window pops up when selected, a time range is selected and input into a time range input frame displayed on the annotation window.
ステップ24:さらにアノテーションウィンドウが自由記述モードになっているか否かを判断する。 Step 24: It is further determined whether or not the annotation window is in a free description mode.
ステップ25:自由記述モードになっていれば、自由にアノテーションテキストを入力する。 Step 25: If in the free description mode, input annotation text freely.
ステップ26:自由記述モードになっていなければ、予めワークショップ毎に登録されている人物(記録者、参加者など)の人名リストが自動表示される。 Step 26: If not in the free description mode, a list of names of persons (recorders, participants, etc.) registered in advance for each workshop is automatically displayed.
ステップ27:表示された人名リストから、矩形範囲内の人物像に対応する人名を選択する。 Step 27: A person name corresponding to a person image within a rectangular range is selected from the displayed person name list.
ステップ28:入力が行われたか否かを確認する。 Step 28: It is confirmed whether or not an input has been made.
ステップ29:入力データを選択コンテンツ内の選択矩形範囲に対応させてデータベースに登録する。 Step 29: The input data is registered in the database in correspondence with the selected rectangular range in the selected content.
上記各種選択や入力は、マウスのクリック、キーボードの入力等の入力デバイスの操作により実行することができ、入力データは記憶手段に随時記憶される。また、コンテンツ内から選択する範囲は矩形に限定されるものではなく、円形や楕円形、その他の自由形状であってもよい。 The various selections and inputs can be executed by operating an input device such as a mouse click or a keyboard input, and the input data is stored in the storage means as needed. Further, the range selected from the content is not limited to a rectangle, and may be a circle, an ellipse, or other free shapes.
4.4 アノテーションのカード化(図10参照)
次に、データベースに登録されたタイムラインリフレクター上のアノテーションが付与されたコンテンツデータをカード化する。
4.4 Annotation card (see Fig. 10)
Next, the content data to which the annotation on the timeline reflector registered in the database is added is carded.
ステップ31:ワークショップを選択する。 Step 31: Select a workshop.
ステップ32:選択したワークショップに対応するコンテンツリストをデータベースから読み出す。 Step 32: Read a content list corresponding to the selected workshop from the database.
ステップ33:コンテンツ(1...n)
ステップ34:各コンテンツについて、付与されたアノテーションがN個以上あるか否かを判断する。
Step 33: Content (1 ... n)
Step 34: For each content, it is determined whether there are N or more assigned annotations.
ステップ35:N個以上あれば、該当するコンテンツを、N個以上のアノテーションを持つカードとしてカードリストに追加する。 Step 35: If there are N or more, the corresponding content is added to the card list as a card having N or more annotations.
ステップ36:全てのコンテンツをチェック済みか判断する。チェック済みでなければ、ステップ34から繰り返す。 Step 36: It is determined whether all contents have been checked. If not checked, repeat from step 34.
ステップ37:チェック済みであれば、カードリストのカードをデータベースに登録する。 Step 37: If checked, the card in the card list is registered in the database.
4.5 カードリフレクターの表示(図11参照)
次に、データベースに登録されたカードをカードリフレクターに表示する。
4.5 Card reflector display (see Figure 11)
Next, the card registered in the database is displayed on the card reflector.
ステップ41:ワークショップを選択する。 Step 41: Select a workshop.
ステップ42:2次元ないし3次元の仮想フィールド(図11では2次元の矩形平面フィールドを例示)を作成する。 Step 42: A two-dimensional or three-dimensional virtual field (a two-dimensional rectangular plane field is illustrated in FIG. 11) is created.
ステップ43:選択されたワークショップに対応するカードリストのカード、つまりN個以上のアノテーションを持つコンテンツのカードをデータベースから検索する。 Step 43: A card in the card list corresponding to the selected workshop, that is, a content card having N or more annotations is searched from the database.
ステップ44:読み出したカードをフィールド上に配置する。ここで、予め各カードの配置位置(x,y座標など)が決められていればそれに従い、決められていない場合にはランダムにフィールド上に配置する。 Step 44: The read card is placed on the field. Here, if the arrangement position (x, y coordinates, etc.) of each card is determined in advance, the card is randomly arranged on the field.
ステップ45:データベースから手書き描画情報を検索する。 Step 45: Search for handwritten drawing information from the database.
ステップ46:読み出した手書き描画情報に基づき手書き描画を実行する。手書き描画についてはさらに後述する。 Step 46: Handwritten drawing is executed based on the read handwritten drawing information. The handwritten drawing will be further described later.
ステップ47:データベースからリンク情報を検索する。 Step 47: Retrieve link information from the database.
ステップ48:読み出したリンク情報に基づきカード間にリンクを描画する。リンク描画についてはさらに後述する。 Step 48: A link is drawn between the cards based on the read link information. The link drawing will be further described later.
4.6 アノテーション:手書き描画(図12参照)
カードリフレクターのフィールド上に表示されている各カードに対して手書き描画の追加アノテーションを付与する。
4.6 Annotation: Handwritten drawing (see Fig. 12)
An additional handwritten drawing annotation is assigned to each card displayed on the card reflector field.
ステップ51:パレットから色を選択する。 Step 51: Select a color from the palette.
ステップ52:ペンタブレットやマウス等の入力デバイスにより、フィールド上に表示されている各カードに対して任意の手書き描画を入力する。 Step 52: An arbitrary handwritten drawing is input to each card displayed on the field by an input device such as a pen tablet or a mouse.
ステップ53:入力デバイスからの入力に従って手書き描画を実行する。 Step 53: Perform handwritten drawing according to the input from the input device.
ステップ54:手書き描画情報を追加アノテーションとして各カードと関連付けてデータベースに登録する。 Step 54: Register handwritten drawing information as an additional annotation in the database in association with each card.
4.8 アノテーション:カード間リンク(図13参照)
カードリフレクターのフィールド上に表示されている各カードに対してカード間リンクの追加アノテーションを付与する。
4.8 Annotation: Link between cards (see Fig. 13)
An additional annotation for an inter-card link is given to each card displayed on the card reflector field.
ステップ61:入力デバイスにより、フィールド上に表示されているカードの中から、リンクの始点となるカードを選択する。 Step 61: Using the input device, a card as a link start point is selected from the cards displayed on the field.
ステップ62:同様にリンクの終点となるカードを選択する。 Step 62: Similarly, a card that is the end point of the link is selected.
ステップ63:確認OKか否かを判断し、OKでなければステップ71から繰り返す。 Step 63: It is determined whether or not the confirmation is OK.
ステップ64:選択した始点カードから終点カードを結ぶリンクを描画する。 Step 64: Draw a link connecting the selected start point card to the end point card.
ステップ65:リンク情報を各カードと関連付けてデータベースに登録する。 Step 65: Link information is associated with each card and registered in the database.
4.9 アノテーション:カード配置(図14参照)
カードリフレクターのフィールド上に表示されている各カードの位置や角度を指定して配置を行う。
4.9 Annotation: Card placement (see Figure 14)
Place and specify the position and angle of each card displayed on the card reflector field.
ステップ71:入力デバイスにより、位置や角度を指定したいカードをフィールド上のカード群から選択する。 Step 71: A card whose position and angle are to be specified is selected from the card group on the field by the input device.
ステップ72:入力デバイスの操作により、選択したカードを移動させる。 Step 72: The selected card is moved by operating the input device.
ステップ73:同様に、選択したカードの角度を変更する。 Step 73: Similarly, the angle of the selected card is changed.
ステップ74:x,y座標、回転角度等の位置情報および角度情報を各カードと関連付けてデータベースに登録する。 Step 74: Position information and angle information such as x and y coordinates and rotation angle are associated with each card and registered in the database.
4.10 アノテーション:テキスト入力(図15参照)
カードリフレクターのフィールド上に表示されている各カードに対してテキストによる追加アノテーションを付与する。
4.10 Annotation: Text input (see Fig. 15)
Add additional text annotations to each card displayed on the card reflector field.
ステップ81:テキストアノテーションを付与したいカードを選択する。 Step 81: Select a card to which a text annotation is to be added.
ステップ82:カードつまりコンテンツを拡大表示する。 Step 82: The card, that is, the content is enlarged and displayed.
ステップ83:前述と同様にコンテンツ内の更なる対象範囲として矩形等の範囲を選択する。 Step 83: Select a range such as a rectangle as a further target range in the content as described above.
ステップ84:テキスト入力ウィンドウが表示され、そこにテキストを入力する。 Step 84: A text input window is displayed, in which text is entered.
ステップ85:入力を確認する。 Step 85: Confirm input.
ステップ86:入力テキストデータを各カードと関連付けてデータベースに登録する。 Step 86: The input text data is associated with each card and registered in the database.
Claims (13)
記録されたデータに対してアノテーションを自動付与するオートアノテーション装置と、
記録されたデータおよびアノテーションを時間軸に沿って提示するタイムライン提示装置と、
提示されたタイムライン上のデータに対してユーザ任意のアノテーションを付与するタイムラインユーザアノテーション装置と、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示するカード提示装置と、
提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードユーザアノテーション装置と
を備える、活動プロセスリフレクション支援システム。 A recording device for recording data relating to user activity processes;
An auto annotation device that automatically assigns annotation to recorded data;
A timeline presentation device for presenting recorded data and annotation along a time axis;
A timeline user annotation device for giving user arbitrary annotation to the data on the presented timeline;
A card presentation device for presenting recorded data and annotations as virtual cards on a virtual field;
An activity process reflection support system comprising: a card user annotation device for giving a user arbitrary annotation to a pseudo card on a presented virtual field.
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードリフレクターと
を備える、活動プロセスリフレクション支援システム。 Records data related to the user's activity process, automatically adds annotations to the recorded data, presents the recorded data and annotations along the time axis, and gives user-specified annotations to the displayed data A timeline reflector to grant,
An activity process reflection support system comprising: a card reflector that presents recorded data and annotation as a pseudo card on a virtual field and gives a user arbitrary annotation to the pseudo card on the presented virtual field.
ユーザの活動プロセスに関するデータを記録する記録部と、
記録されたデータに対してアノテーションを自動付与するオートアノテーション部と、
記録されたデータおよびアノテーションを時間軸に沿って提示するタイムライン提示部と、
提示されたデータに対してユーザ任意のアノテーションを付与するタイムラインユーザアノテーション部と
を備え、
カードリフレクターは、
記録されたデータならびにアノテーションを仮想フィールド上に擬似カードとして提示するカード提示部と、
提示された仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与するカードユーザアノテーション部と
を備える、請求項2記載の活動プロセスリフレクション支援システム。 Timeline reflector is
A recording unit for recording data relating to user activity processes;
An auto-annotation part that automatically assigns annotations to recorded data;
A timeline presentation unit for presenting recorded data and annotations along a time axis;
With a timeline user annotation part that gives user arbitrary annotations to the presented data,
Card reflector
A card presentation unit for presenting recorded data and annotations as virtual cards on a virtual field;
The activity process reflection support system according to claim 2, further comprising: a card user annotation unit that gives a user arbitrary annotation to the pseudo card on the presented virtual field.
の活動プロセスリフレクション支援システム。 The activity process reflection support system according to claim 1, wherein data relating to a user activity process is input.
記録したデータに対してアノテーションを自動付与し、
記録したデータおよびアノテーションを時間軸に沿って提示し、
提示したデータに対してユーザ任意のアノテーションを付与し、
記録したデータならびにアノテーションを仮想フィールド上に擬似カードとして提示し、
提示した仮想フィールド上の擬似カードに対してユーザ任意のアノテーションを付与する、
活動プロセスリフレクション支援方法。 Record data about user activity processes,
Annotations are automatically added to the recorded data,
Present the recorded data and annotations along the time axis,
Annotate the user arbitrarily to the presented data,
Present recorded data and annotations as virtual cards on virtual fields,
A user arbitrary annotation is given to the pseudo card on the presented virtual field.
Activity process reflection support method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008072512A JP2009229605A (en) | 2008-03-19 | 2008-03-19 | Activity process reflection support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008072512A JP2009229605A (en) | 2008-03-19 | 2008-03-19 | Activity process reflection support system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009229605A true JP2009229605A (en) | 2009-10-08 |
Family
ID=41245109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008072512A Pending JP2009229605A (en) | 2008-03-19 | 2008-03-19 | Activity process reflection support system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009229605A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014219906A (en) * | 2013-05-10 | 2014-11-20 | 富士ゼロックス株式会社 | Information processing apparatus and information processing program |
JP2014531638A (en) * | 2011-09-12 | 2014-11-27 | インテル・コーポレーション | Method and apparatus for video content annotation and / or recommendation |
US10015557B2 (en) | 2011-12-31 | 2018-07-03 | Intel Corporation | Content-based control system |
CN109448467A (en) * | 2018-11-01 | 2019-03-08 | 深圳市木愚科技有限公司 | A kind of virtual image teacher teaching program request interaction systems |
JP2021005248A (en) * | 2019-06-26 | 2021-01-14 | 富士通株式会社 | Determination system, determination control program, and determination control method |
-
2008
- 2008-03-19 JP JP2008072512A patent/JP2009229605A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014531638A (en) * | 2011-09-12 | 2014-11-27 | インテル・コーポレーション | Method and apparatus for video content annotation and / or recommendation |
US10015557B2 (en) | 2011-12-31 | 2018-07-03 | Intel Corporation | Content-based control system |
JP2014219906A (en) * | 2013-05-10 | 2014-11-20 | 富士ゼロックス株式会社 | Information processing apparatus and information processing program |
CN109448467A (en) * | 2018-11-01 | 2019-03-08 | 深圳市木愚科技有限公司 | A kind of virtual image teacher teaching program request interaction systems |
JP2021005248A (en) * | 2019-06-26 | 2021-01-14 | 富士通株式会社 | Determination system, determination control program, and determination control method |
JP7298337B2 (en) | 2019-06-26 | 2023-06-27 | 富士通株式会社 | Discrimination system, discrimination control program and discrimination control method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Benyon | Designing user experience | |
US10339715B2 (en) | Virtual reality system | |
US8380040B2 (en) | Systems and methods of capturing and organizing annotated content on a mobile device | |
US20190235740A1 (en) | Rotatable Object System For Visual Communication And Analysis | |
JP2018170019A (en) | Method and apparatus for recognition and matching of objects depicted in images | |
US20190156558A1 (en) | Virtual reality system | |
Liao et al. | Realitytalk: Real-time speech-driven augmented presentation for ar live storytelling | |
JP2010244526A (en) | Method, system, and computer program for automatic detection of collaborative content, and method and system for visualizing change over time of content | |
CN103620600A (en) | Method and apparatus for enabling virtual tags | |
JP2013097808A (en) | Meeting summary creation device, program, and computer-readable recording medium | |
KR20140079749A (en) | Content selection in a pen-based computing system | |
Carre et al. | Mixed-reality demonstration and training of glassblowing | |
JP2020098568A (en) | Information management device, information management system, information management method, and information management program | |
US20170212906A1 (en) | Interacting with user interfacr elements representing files | |
Kim et al. | Sketchstudio: Experience prototyping with 2.5-dimensional animated design scenarios | |
US20210166461A1 (en) | Avatar animation | |
JP6888854B1 (en) | Remote work support system and remote work support method | |
JP2009229605A (en) | Activity process reflection support system | |
Decker | Technology and digital initiatives: Innovative approaches for museums | |
Raptis et al. | MuMIA: Multimodal interactions to better understand art contexts | |
US11258945B2 (en) | Interactive data visualization environment | |
Verlinden et al. | Recording augmented reality experiences to capture design reviews | |
Furferi et al. | Enhancing traditional museum fruition: current state and emerging tendencies | |
Munteán | Touching time: Photography, affect and the digital archive | |
US8819534B2 (en) | Information processing system and information processing method |