JP2008172582A - Minutes generating and reproducing apparatus - Google Patents

Minutes generating and reproducing apparatus Download PDF

Info

Publication number
JP2008172582A
JP2008172582A JP2007004465A JP2007004465A JP2008172582A JP 2008172582 A JP2008172582 A JP 2008172582A JP 2007004465 A JP2007004465 A JP 2007004465A JP 2007004465 A JP2007004465 A JP 2007004465A JP 2008172582 A JP2008172582 A JP 2008172582A
Authority
JP
Japan
Prior art keywords
text
input
minutes
recorded
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007004465A
Other languages
Japanese (ja)
Inventor
Hiroshi Hinohara
寛 日野原
Kazunori Takatsu
和典 高津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2007004465A priority Critical patent/JP2008172582A/en
Publication of JP2008172582A publication Critical patent/JP2008172582A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To generate minutes to be easily referred concerning a target part in a minutes generating and reproducing apparatus. <P>SOLUTION: The sound of a conference is recorded with a microphone 2 and the image of the conference is video-recorded with a camera 3 and a video camera 4. Independently recorded sound data can be subsequently added. When the memo of the conference is inputted from the keyboard of a personal computer 1 during recording and video-recording, passage time information from an input start is additionally recorded. When the recorded sound and image are reproduced, the part of a memo corresponding to the passage time is displayed. When the arbitrary part of the memo is designated, the sound and image corresponding to the part are reproduced. The image can be a still image or an animation. When the image is designated, the part of the corresponding memo is displayed. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、議事録作成再生装置に関し、特に、会議の音声や映像やメモからなる議事録を作成して再生する議事録作成再生装置に関する。   The present invention relates to a minutes creation / playback apparatus, and more particularly, to a minutes creation / playback apparatus that creates and plays a meeting consisting of audio, video, and notes of a meeting.

会議をサポートするシステムや、会議の議事録を作成するシステムがある。例えば、会議の映像を記録する際、話題や話者ごとに分割して記録することで、後から特定の話題や特定の話者の発言を追いかけやすくしている。また、物理的に離れた場所にいる会議参加者のあいだの情報交換をサポートし、会議の終了後には、会議の記録を利用者に提供する。あるいは、発言や参加者の移動などの事象に基づいて、会議の映像を自動的に要約する。以下に、議事録作成に関連する従来技術の例をいくつかあげる。   There are systems that support meetings and systems that create meeting minutes. For example, when recording a video of a conference, it is possible to easily follow a specific topic or a specific speaker later by recording the video separately for each topic or speaker. It also supports the exchange of information between conference participants who are physically separated, and provides the user with a record of the conference after the conference is over. Alternatively, the conference video is automatically summarized based on events such as remarks and participant movement. The following are some examples of prior art related to the preparation of minutes.

特許文献1に開示された「議事録作成支援装置」は、会議で発言された音声メモからテキストメモを起こす際に、音声の再生範囲を指定して再生することで、正確な議事録を作成するものである。会議中の発言の音声情報を記録し、それぞれ所定の再生範囲でのみ聴取可能に再生する。再生された音声メモをもとにテキストメモを作成して構造化する。構造化されたテキストメモを表示する。   The “Minute Creation Support Device” disclosed in Patent Document 1 creates an accurate minutes by specifying and playing a voice playback range when generating a text memo from a voice memo made at a conference. To do. The voice information of the speech during the conference is recorded and reproduced so as to be audible only within a predetermined reproduction range. Create and structure a text memo based on the played voice memo. Display structured text notes.

特許文献2に開示された「情報再生装置」は、会議やプレゼンテーションで提示された電子文書を、実際に提示された通りのタイミングで、動画像や音声などの時系列情報と同期させて表示するものである。会議やプレゼンテーションの際に提示された電子文書を、識別子と対応付けて格納する。識別子と提示時刻情報を対応付けて格納する。会議やプレゼンテーションを再現する際に、時系列情報に対応する電子文書を検索して、時系列情報に同期させて表示する。   The “information reproduction apparatus” disclosed in Patent Document 2 displays an electronic document presented at a meeting or presentation in synchronization with time-series information such as a moving image or sound at the timing as actually presented. Is. The electronic document presented at the meeting or presentation is stored in association with the identifier. The identifier and the presentation time information are stored in association with each other. When reproducing a meeting or presentation, an electronic document corresponding to time-series information is retrieved and displayed in synchronization with the time-series information.

特許文献3に開示された「議事録ファイル生成方法」は、マルチメディア情報の議事録ファイルのデータ量を効率的に削減し、議事録ファイルへの効率的なアクセスを実現する方法である。会議サーバーと複数の会議端末とが、ネットワークを介して接続されている。会議の進行中に、リアルタイム会議データファイルと、時刻情報および見出し情報を含むインデックスファイルを作成する。会議終了後に、リアルタイム会議データファイルの音声ストリームのマージ処理や画像の間引き処理等の編集を行い、議事録ファイルを生成する。この議事録ファイルを、インデックスファイルで管理する。   The “meeting file generation method” disclosed in Patent Document 3 is a method for efficiently reducing the data amount of the minutes file of multimedia information and realizing efficient access to the minutes file. A conference server and a plurality of conference terminals are connected via a network. While the conference is in progress, a real-time conference data file and an index file including time information and header information are created. After the conference is finished, edits such as audio stream merge processing and image thinning processing of the real-time conference data file are performed to generate a minutes file. The minutes file is managed as an index file.

特許文献4に開示された「議事録作成支援装置」は、会議参加者に負担をかけることなく、議事録作成者の意図を加味した議事録を作成するものである。図8に示すように、会議映像に日時情報を付して記録する。会議進行中に、会議の進行内容のメモを入力し、日時情報を付けて記憶する。会議中の音声を音声認識することによって、書き起こしテキストを作成する。会議の進行内容のメモを編集して議事録を作成する。議事録と会議映像音声との間にリンクをはって、会議映像音声と関連付けた議事録を作成する。議事録を表示する際に、議事録に対応する映像音声を表示できるので、議事録の記述内容が会議のどのシーンに対応するか確認できる。
特開平08-194492号公報 特許第3637937号公報(特開平10-055391号公報) 特開2005-244524号公報 特開2006-268800号公報
The “minutes creation support device” disclosed in Patent Document 4 creates a minutes taking into account the intentions of the minutes creator without placing a burden on the meeting participants. As shown in FIG. 8, the conference video is recorded with date information. While the conference is in progress, a memo of the progress of the conference is input and stored with date and time information. Transcript text is created by recognizing speech during a meeting. Edit meeting notes and create minutes. The minutes associated with the conference video and audio are created by linking the minutes and the conference video and audio. When displaying the minutes, since the video and audio corresponding to the minutes can be displayed, it is possible to confirm which scene of the meeting the description content of the minutes corresponds to.
Japanese Unexamined Patent Publication No. 08-194492 Japanese Patent No. 3637937 (Japanese Patent Laid-Open No. 10-055391) JP 2005-244524 JP JP 2006-268800 JP

しかし、従来の議事録作成方法では、次のような問題がある。会議の映像を見ることは、非常に手間と時間のかかる行為である。要約されていたり、特定の話題に絞られていたりしても、必要な部分を見るためには無駄が多い。目的とする部分を見るまでに長い時間がかかる。それを避けるために、議事録を編集すると、議事録作成の時間とコストがかかる。また、特許文献4に開示された「議事録作成支援装置」のように、メモと映像音声とをリンクで対応付ける方法では、後編集の時間と手間が必要になり、議事録閲覧の操作も煩雑になる。   However, the conventional minutes preparation method has the following problems. Watching the video of the meeting is a very time-consuming and time-consuming activity. Whether it is summarized or focused on a specific topic, it is wasteful to see what is needed. It takes a long time to see the target part. To avoid this, editing the minutes takes time and cost to create the minutes. In addition, in the method of associating a memo and a video / audio with a link as in the “meeting creation support device” disclosed in Patent Document 4, time and labor for post-editing are required, and the operation of browsing the minutes is complicated. become.

本発明の目的は、上記従来の問題を解決して、議事録作成再生装置において、会議の映像音声とメモを対応させた議事録をリアルタイムに作成して、会議終了後に直ちにメモを映像音声に対応させて閲覧できるようにし、閲覧したい目的の映像音声やメモの部分を、いずれからも簡単に取り出せるようにすることである。   An object of the present invention is to solve the above-mentioned conventional problems, and in the minutes creation / playback apparatus, create a minutes in correspondence with the video and audio of the conference in real time, and immediately convert the memo to video and audio after the conference ends. It is to be able to browse correspondingly, and to make it possible to easily take out the target audio / video or memo part to be browsed.

上記の課題を解決するために、本発明では、議事録作成再生装置を、文字データを入力する文字入力手段と、入力された文字データに入力開始からの時間情報を付加してテキストとして記録するテキスト記録手段と、音声を入力する音声入力手段と、入力された音声に入力開始からの時間情報を付加して記録する音声記録手段と、記録されたテキストを時系列で表示するテキスト表示手段と、記録された音声を再生出力する音声出力手段と、再生音声に対応するテキストの位置を表示するように制御する同期表示制御手段とを具備する構成とした。同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する音声を再生する手段を備える。音声記録手段に、時間情報を付加して音声データを追加する手段を備える。   In order to solve the above-described problem, in the present invention, the minutes creation / playback apparatus records character data by inputting character data and time information from the start of input to the input character data. Text recording means, voice input means for inputting voice, voice recording means for adding time information from the start of input to the input voice and recording, and text display means for displaying the recorded text in time series The audio output means for reproducing and outputting the recorded voice and the synchronous display control means for controlling to display the position of the text corresponding to the reproduced voice are provided. The synchronous display control means includes means for reproducing sound corresponding to a part of the displayed text when the part of the displayed text is designated. The voice recording means includes means for adding time information and adding voice data.

また、静止画を入力する画像入力手段と、入力された静止画に入力開始からの時間情報を付加して記録する画像記録手段と、記録された静止画を再生出力する画像表示手段とを備え、同期表示制御手段に、表示された静止画が指定されたことに応じて当該静止画の時間に対応する音声を再生する手段を備える。同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する静止画を表示する手段を備える。動画像を入力する映像入力手段と、入力された動画像に入力開始からの時間情報を付加して記録する映像記録手段と、記録された動画像を再生出力する映像表示手段とを備え、同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する動画像を再生する手段を備える。   In addition, an image input unit that inputs a still image, an image recording unit that adds and records time information from the start of input to the input still image, and an image display unit that reproduces and outputs the recorded still image are provided. The synchronous display control means includes means for reproducing sound corresponding to the time of the still image in response to the designation of the displayed still image. The synchronous display control means includes means for displaying a still image corresponding to the part of the displayed text in response to the part of the displayed text being designated. A video input means for inputting a moving image; a video recording means for recording the input moving image with time information from the start of input; and a video display means for reproducing and outputting the recorded moving image. The display control means includes means for reproducing a moving image corresponding to a part of the displayed text when the part of the displayed text is designated.

また、議事録作成再生サーバー装置を、ネットワークを介してクライアント装置と交信する送受信手段と、送受信手段を介して受信した文字データに入力開始からの経過時間情報を付加してテキストとして記録するテキスト記録手段と、送受信手段を介して受信した音声データを格納する音声格納手段と、記録されたテキストをクライアント装置に送信する手段と、音声データをクライアント装置に送信して再生させる手段と、再生音声に対応するテキストの位置を表示するようにクライアント装置に指示する同期表示制御手段とを具備する構成とした。   Also, the minutes recording / playback server device communicates with the client device via the network, and the text recording for recording the text data received via the transmitting / receiving device as text with the elapsed time information from the start of input added Means, voice storing means for storing voice data received via the transmitting / receiving means, means for sending recorded text to the client device, means for sending voice data to the client device for playback, and playback voice Synchronous display control means for instructing the client device to display the position of the corresponding text is provided.

上記のように構成したことにより、目的の部分を簡単に取り出せる議事録を作成できる。すなわち、会議の映像音声の再生時にメモを参照できるので、話題を把握しやすくなる。メモを指定して対応する映像音声の個所を再生できるので、聞きたい個所を容易に探せる。映像音声から対応するメモを取り出せるので、会議の内容を文字で確認できる。動画像も検索できるので、ホワイトボードに図を描きながら説明しているような会議でも内容がわかりやすくなる。   By configuring as described above, it is possible to create a minutes in which the target portion can be easily extracted. That is, since the memo can be referred to during the reproduction of the video and audio of the conference, it becomes easy to grasp the topic. You can specify the memo and play the corresponding audio / video part, so you can easily find the part you want to hear. Since the corresponding memo can be taken out from the video and audio, the contents of the conference can be confirmed by text. You can also search for moving images, so it's easy to understand the content even in meetings that are explained while drawing diagrams on the whiteboard.

また、議事録作成再生サーバー装置では、サーバー上の音声データの再生開始位置をURLの形式で自由に指定することができるので、第三者に「この会議のこの部分」という情報を、メールなどの文字ベースの手段で簡単に伝えることができる。さらに、複数の議事録担当者が議事録メモを作成しているときに、それぞれのクライアントPCに同じ情報を表示するので、齟齬を減らすことができる。   In addition, the minutes creation and playback server device can freely specify the playback start position of the audio data on the server in the URL format, so information such as “this part of this meeting” can be sent to third parties by e-mail, etc. Can be easily communicated by means of character-based. Furthermore, when multiple minutes clerks are creating minutes memos, the same information is displayed on each client PC, which can reduce wrinkles.

以下、本発明を実施するための最良の形態について、図1〜図7を参照しながら詳細に説明する。   Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to FIGS.

本発明の実施例1は、入力された文字データに入力開始からの時間情報を付加して記録し、音声も同時に記録し、記録された音声の再生時に、文字データの対応する位置を表示する議事録作成再生装置である。   In the first embodiment of the present invention, the time information from the start of input is added to the input character data and recorded, the sound is also recorded at the same time, and the corresponding position of the character data is displayed when the recorded sound is reproduced. It is a minutes creation and playback device.

図1は、本発明の実施例1における議事録作成再生装置の構成を示す概念図と、機能的ブロック図と、処理手順の流れ図である。図1において、パソコン1は、議事録を作成し再生するためのパソコンである。マイク2は、パソコンに接続するマイクである。カメラ3は、パソコンに接続する静止画撮影用のカメラである。ビデオカメラ4は、パソコンに接続する動画像撮影用のビデオカメラである。   FIG. 1 is a conceptual diagram showing a configuration of a minutes creation / playback apparatus according to the first embodiment of the present invention, a functional block diagram, and a flowchart of a processing procedure. In FIG. 1, a personal computer 1 is a personal computer for creating and reproducing minutes. The microphone 2 is a microphone connected to a personal computer. The camera 3 is a still image shooting camera connected to a personal computer. The video camera 4 is a video camera for shooting moving images connected to a personal computer.

図2は、議事録作成再生装置の議事録作成時の表示画面を示す図である。図3は、議事録作成再生装置のデータ例を示す図である。図4は、議事録作成再生装置の議事録閲覧時の表示画面を示す図である。   FIG. 2 is a diagram showing a display screen when the minutes are created by the minutes creation / playback apparatus. FIG. 3 is a diagram illustrating an example of data of the minutes creation / playback apparatus. FIG. 4 is a view showing a display screen when the minutes are viewed by the minutes creation / playback apparatus.

上記のように構成された本発明の実施例1における議事録作成再生装置の機能と動作を説明する。最初に、図1を参照しながら、議事録作成再生装置の機能の概要を説明する。図1(a)に示す構成では、パソコン1のキーボードから文字データを入力する。入力された文字データに、入力開始からの時間情報を付加してテキストとして記録する。マイク2から音声を入力する。入力された音声に、入力開始からの時間情報を付加して記録する。音声データは、あとで時間情報を付加して追加することもできる。再生時には、記録されたテキストを時系列で表示し、記録された音声を再生出力する。そのとき、再生音声に対応するテキストの位置を表示する。表示されたテキストの一部分が指定されると、当該部分に対応する音声を再生する。   The function and operation of the minutes creation / playback apparatus according to the first embodiment of the present invention configured as described above will be described. First, an overview of the functions of the minutes creation / playback apparatus will be described with reference to FIG. In the configuration shown in FIG. 1A, character data is input from the keyboard of the personal computer 1. Time information from the start of input is added to the input character data and recorded as text. Voice is input from the microphone 2. Time information from the start of input is added to the input voice and recorded. Audio data can be added later with time information added. During playback, the recorded text is displayed in chronological order, and the recorded voice is played back and output. At that time, the position of the text corresponding to the reproduced voice is displayed. When a part of the displayed text is designated, sound corresponding to the part is reproduced.

図1(b)に示す構成では、カメラ3から静止画を入力する。入力された静止画に、入力開始からの時間情報を付加して記録する。再生時には、記録された静止画を再生出力する。表示された静止画が指定されると、当該静止画の時間に対応する音声を再生する。表示されたテキストの一部分が指定されると、当該部分に対応する静止画を表示する。図1(c)に示す構成では、ビデオカメラ4から動画像を入力する。入力された動画像に入力開始からの時間情報を付加して記録する。再生時には、記録された動画像を再生出力する。表示されたテキストの1行が指定されると、当該行の時間に対応する動画像を再生する。   In the configuration shown in FIG. 1B, a still image is input from the camera 3. Time information from the start of input is added to the input still image and recorded. During playback, the recorded still image is played back and output. When the displayed still image is designated, sound corresponding to the time of the still image is reproduced. When a part of the displayed text is specified, a still image corresponding to the part is displayed. In the configuration shown in FIG. 1C, a moving image is input from the video camera 4. Time information from the start of input is added to the input moving image and recorded. At the time of reproduction, the recorded moving image is reproduced and output. When one line of the displayed text is designated, a moving image corresponding to the time of the line is reproduced.

会議中に議事録の担当者が取ったメモは、会議中の話題を追いかけるのには最適な材料である。そのメモの一文一文に、経過時間を記録する。その時間の前後では、そのメモに対応する話題が議論されていたはずである。会議の音声や映像も経過時間情報を付して記録し、関心のあるメモの部分を指定することで、目的の箇所の音声や映像を容易に見つけられる。   Notes taken by the minutes clerk during the meeting are the best material to follow the topic during the meeting. Record the elapsed time in each sentence of the memo. Before and after that time, the topic corresponding to the memo should have been discussed. The audio and video of the conference is also recorded with elapsed time information, and by specifying the part of the memo that is of interest, the audio and video at the target location can be easily found.

これらの機能をまとめて示すと、図1(d)のブロック図のようになる。キーボードなどのテキスト入力手段からメモを入力する。入力されたメモには、タイマーにより経過時間情報が付加され、テキスト記録手段に記録される。マイク2やカメラ3やビデオカメラ4などの音声映像入力手段から入力された音声や静止画や動画像は、タイマーにより経過時間情報が付加され、音声映像記録手段に記録される。再生時には、同期表示制御手段により同期がとられて、対応部分が表示手段に表示される。   These functions are collectively shown in the block diagram of FIG. A memo is input from a text input means such as a keyboard. Elapsed time information is added to the input memo by a timer and recorded in the text recording means. The audio, still image, or moving image input from the audio / video input means such as the microphone 2, the camera 3 or the video camera 4 is added with elapsed time information by a timer and recorded in the audio / video recording means. During reproduction, synchronization is controlled by the synchronous display control means, and the corresponding part is displayed on the display means.

議事録を作成する手順の概要を、図1(e)の流れ図を参照しながら説明する。ステップ1で、録音と撮影の開始を指示する。ステップ2で、メモを入力する。メモは随時入力できる。会議が終わると、ステップ3で、録音と撮影の終了を指示する。ステップ4で、ファイルの保存処理を行なう。議事録を再生する手順の概要を、図1(f)の流れ図を参照しながら説明する。ステップ5で、再生ボタンを押下する。ステップ6で、音声と映像を再生し、その経過時間に対応するメモを表示する。ステップ7で、メモの1行が選択されると、ステップ8で、その経過時間に対応する映像を表示する。ステップ9で、映像の1つが選択されると、ステップ10で、その経過時間に対応するメモを表示する。ステップ11で、停止ボタンが押下されると終了する。   An outline of the procedure for creating the minutes will be described with reference to the flowchart of FIG. In step 1, the start of recording and shooting is instructed. In step 2, enter a note. You can enter notes at any time. When the conference is over, in step 3, the end of recording and shooting is instructed. In step 4, a file saving process is performed. The outline of the procedure for reproducing the minutes will be described with reference to the flowchart of FIG. In step 5, the playback button is pressed. In step 6, audio and video are reproduced and a memo corresponding to the elapsed time is displayed. When one line of the memo is selected in step 7, an image corresponding to the elapsed time is displayed in step 8. When one of the images is selected in step 9, a memo corresponding to the elapsed time is displayed in step 10. In step 11, when the stop button is pressed, the process ends.

次に、図2と図3を参照しながら、議事録作成時の動作を詳しく説明する。まず、パソコン1にマイク2を接続する。マイク2はパソコン1に内蔵のものがあれば、当然それでもかまわない。なお、パソコン1とは関係のないICレコーダーなどを使って録音をして、後から音声データを追加するのであれば、パソコン1に接続されたマイク2を使用しなくてもかまわない。操作者が記録用ソフトを起動すると、図2(a)に示すように、画面には、インジケータ部、操作部、タイマー部、入力部が表示される。記録者が画面の記録開始ボタンを押すと録音が開始される。録音の開始と同時に内部のタイマーがスタートし、録音開始からの時間が計測される。また同時に、録音の開始時間を記録しておく。   Next, the operation when creating the minutes will be described in detail with reference to FIG. 2 and FIG. First, the microphone 2 is connected to the personal computer 1. As long as the microphone 2 is built in the personal computer 1, it can be used. If recording is performed using an IC recorder not related to the personal computer 1 and audio data is added later, the microphone 2 connected to the personal computer 1 may not be used. When the operator starts the recording software, as shown in FIG. 2A, an indicator unit, an operation unit, a timer unit, and an input unit are displayed on the screen. Recording starts when the recorder presses the recording start button on the screen. An internal timer starts simultaneously with the start of recording, and the time from the start of recording is measured. At the same time, the recording start time is recorded.

この状態で、入力部に文字を入力する。入力部にフォーカスした状態でキーを叩くと、その時間、すなわち、画面の記録開始ボタンを押してからの経過時間を記録し、入力部の左に表示する。入力の途中で改行を入力すると、新たな行に移動する。その状態でさらに入力をすると、再びその入力の時間を記録する。ある程度入力した状態の画面が、図2(b)である。停止ボタンを押すと録音が終了し、タイマーも終了する。この状態で、メニューから「保存」を選ぶと、議事録の名前を入力させたうえで、一連のファイルが保存される。保存されるファイルは、例えば、図3(a)のようになる。2006年12月25日に記録し、「クリスマス記念講演」という名前で保存した例である。   In this state, a character is input to the input unit. When the key is hit with the input portion focused, the time, that is, the elapsed time since the recording start button on the screen is pressed, is recorded and displayed on the left of the input portion. If a line feed is entered in the middle of input, it moves to a new line. If further input is made in this state, the time of the input is recorded again. FIG. 2B shows a screen that has been input to some extent. Pressing the stop button ends recording and the timer also ends. In this state, if you select “Save” from the menu, you will be prompted to enter the name of the minutes and a series of files will be saved. The saved file is, for example, as shown in FIG. This is an example recorded on December 25, 2006 and saved under the name "Christmas Memorial Lecture".

ここで、project.datは、議事録のファイル構成などを記録したファイルであり、内容は、図3(c)のようになる。ここでは、yaml形式のテキストファイルとしてあるが、独自のバイナリ形式やその他のテキスト形式(XML、JSON、独自など)でもよい。mp3形式のファイルは、録音した音声で、ファイル名は、年、月、日、時、分、秒(1/100秒まで)としてあるが、これにこだわる必要はない。また、形式もmp3でなくwavなど、ほかの形式でもよい。   Here, project.dat is a file recording the file structure of the minutes, and the contents are as shown in FIG. Here, it is a text file in yaml format, but it may be in its own binary format or other text format (XML, JSON, original, etc.). mp3 format files are recorded audio, and the file names are year, month, day, hour, minute, and second (up to 1 / 100th of a second), but there is no need to be particular about this. Also, the format may be other formats such as wav instead of mp3.

memo.txtは、入力欄に入力したテキストで、図3(e)のような形式で保存される。このようにプレーンテキストの形式で保存することで、後で別のエディタなどで編集することができる。バイナリなど別の形式でもかまわない。以上のファイル構成は、あくまで例なので、すべてを1ファイルにしてもよい。入力欄への入力と時刻データの関連付けを、複数ファイルに分割してもよい。また、そのほかの形にしてもかまわない。   memo.txt is the text entered in the input field and is saved in the format as shown in FIG. By saving the data in the plain text format in this way, it can be edited later by another editor or the like. Other formats such as binary may be used. The above file structure is just an example, and all may be made into one file. The association between the input in the input field and the time data may be divided into a plurality of files. Other shapes are also acceptable.

一時停止ボタンを押すと、録音とタイマーのカウントの両方が停止する。一時停止中や停止後に、入力部のテキストを編集しても、時間は記録されない。図1(b)のようにカメラ3を接続して、音声だけでなく映像(静止画)も同時に記録できる。この画面例を、図2(c)に示す。マイク2とカメラ3ではなく、図1(c)のように、パソコン1に接続可能なビデオカメラ4を利用してもよい。新しい行に一度文字を書いて時間が記録されたのち、文字を削除しても、記録された時間は消えない。新しい行に何も書かずに、さらに改行した場合、時間は記録されない。   Pressing the pause button stops both recording and timer counting. Even if the text in the input section is edited during or after the pause, no time is recorded. By connecting the camera 3 as shown in FIG. 1B, not only audio but also video (still image) can be recorded simultaneously. An example of this screen is shown in FIG. Instead of the microphone 2 and the camera 3, a video camera 4 that can be connected to the personal computer 1 may be used as shown in FIG. After writing a character on a new line and recording the time, deleting the character does not erase the recorded time. If nothing is written on a new line and a line break occurs, the time is not recorded.

議事録作成中にデジタルスチルカメラなどで撮影した写真の画像ファイルを、あとで添付することができる。メニューから「画像の追加」を選択すると、ファイル選択のダイアログが表示され、画像が追加される。このときのファイル構成は、図3(b)のようになる。ここで、画像ファイルに記録されたEXIF情報などから撮影の時間を取り出し、project.datに保存されている開始時刻と比較して、録音開始時点からの経過時間を計算する。この時間と画像ファイルの関連は、photo.metaファイルに記録する。   You can attach an image file of a photo taken with a digital still camera or the like later while creating the minutes. When “Add Image” is selected from the menu, a file selection dialog is displayed and an image is added. The file structure at this time is as shown in FIG. Here, the shooting time is extracted from the EXIF information recorded in the image file, and compared with the start time stored in project.dat, the elapsed time from the recording start time is calculated. The relationship between this time and the image file is recorded in the photo.meta file.

このときのproject.datの内容とphoto.metaの内容は、それぞれ、図3(d)、(f)のようになる。図3(f)の例では、yaml形式になっているが、これもどんな形式でもよい。2つめのファイル(R00126.jpg)の「after:true」となっているのは、録音の終了後に撮影されたことを示す。このほか、別のICレコーダーやビデオカメラなどで撮影した音声や映像がある場合、同様に追加することができ、project.datに情報が追加される。また、開始時刻が自動的に取得できない場合は、手作業で時刻を入力する。   At this time, the contents of project.dat and the contents of photo.meta are as shown in FIGS. 3D and 3F, respectively. In the example of FIG. 3 (f), the yaml format is used, but any format may be used. “After: true” in the second file (R00126.jpg) indicates that the image was shot after the recording was completed. In addition, if there is audio or video shot with another IC recorder or video camera, it can be added in the same way, and information is added to project.dat. If the start time cannot be acquired automatically, the time is input manually.

次に、図4を参照しながら、再生(閲覧)時の動作を説明する。操作者は再生用のプログラムを起動する。実際には、再生用と記録用を1つのプログラムとして、起動時にモードを選択するようにしてもよい。あるいは、はじめに再生用モードで起動して、必要なときに記録用モードに変更するようにしてもよい。起動すると、図4(a)、(b)に示すように、画面にはインジケータ部、操作部、映像表示部(ビデオファイルがあれば)、画像表示部(写真ファイルがあれば)、テキスト表示部が表示される。   Next, an operation during reproduction (browsing) will be described with reference to FIG. The operator starts a playback program. Actually, the playback mode and the recording mode may be set as one program, and the mode may be selected at startup. Alternatively, it may be activated first in the playback mode and changed to the recording mode when necessary. When activated, as shown in FIGS. 4 (a) and 4 (b), the screen has an indicator section, an operation section, a video display section (if there is a video file), an image display section (if there is a photo file), and a text display. Part is displayed.

操作部の再生ボタンをクリックすると、音声や映像(動画像)が再生される。テキスト表示部で、対応する行にカーソルが移動して、現在どの行に対応する部分を再生しているのかがわかる。また逆に、テキスト表示部の一部分をクリックすると、記録されている時間から判断し、音声や映像を対応する部分から再生する。静止画がある場合には、同様に、音声や映像の再生時には、対応する静止画がカーソルで示され、静止画をクリックすると、対応する位置から音声や映像が再生される。また、検索機能も備える。メニューから検索を選択すると、検索語を入力するダイアログが開く。検索結果をクリックすると、該当するテキストが表示されるだけでなく、音声や映像も該当部分から再生することができる。   When the playback button on the operation unit is clicked, audio and video (moving images) are played back. In the text display area, the cursor moves to the corresponding line, and it can be seen which line is currently being reproduced. On the other hand, when a part of the text display part is clicked, it is judged from the recorded time, and audio and video are reproduced from the corresponding part. Similarly, when there is a still image, when reproducing audio or video, the corresponding still image is indicated by the cursor, and when the still image is clicked, the audio or video is reproduced from the corresponding position. It also has a search function. Selecting Search from the menu opens a dialog for entering a search term. Clicking on the search result not only displays the relevant text, but also plays audio and video from the relevant part.

このようにして、会議の録音を再生しているときに、議事録担当者が記録したメモを自動で対応させながら見ることができ、そのときの話題が追いかけやすくなる。議事録担当者が作成したメモの一部を指定することで、会議の録音のなかからその部分に対応する個所を再生することができ、聞きたい個所を探すのが容易になる。他の手段で録音した音声を利用することができ、録音機器が故障した際などにも対応できる。会議の音声だけでなく映像も検索することができるようになり、ホワイトボードに図を描きながら説明しているような会議でも、内容がわかりやすくなる。議事録担当者が作成したメモだけではなく、撮影担当者がデジタルスチルカメラなどで撮影した写真データから、撮影したときの話題の映像や音声を再生することができ、また逆に、再生時に写真を表示することができ、会議の雰囲気を伝えやすくなる。   In this way, when the conference recording is being played back, the memo recorded by the person in charge of the minutes can be viewed while automatically responding, and the topic at that time can be easily followed. By specifying a part of the memo created by the person in charge of the minutes, the part corresponding to that part can be reproduced from the recording of the meeting, and it becomes easy to find the part to be heard. Voices recorded by other means can be used, and can be used when a recording device fails. You can search not only the audio of the meeting but also the video, and the contents will be easier to understand even in a meeting that is explained while drawing a picture on the whiteboard. In addition to the notes created by the person in charge of the minutes, you can play the topical video and audio from the photo taken by the person in charge of shooting with a digital still camera, etc. Can be displayed, making it easier to convey the atmosphere of the meeting.

上記のように、本発明の実施例1では、議事録作成再生装置を、入力された文字データに入力開始からの時間情報を付加して記録し、音声も同時に記録し、記録された音声の再生時に、文字データの対応する位置を表示する構成としたので、簡単に目的の部分を参照できる議事録を作成することが可能となる。   As described above, in the first embodiment of the present invention, the minutes creation / playback apparatus records the input character data with the time information from the start of input added and records the sound at the same time. Since the corresponding position of the character data is displayed at the time of reproduction, it is possible to create a minutes that can easily refer to the target portion.

本発明の実施例2は、受信した文字データに入力開始からの経過時間情報を付加してテキストとして記録し、受信した音声や映像のデータを格納し、クライアント装置からの再生要求に応じてテキストと音声や映像のデータを送信し、音声や映像に対応するテキストの位置を表示するようにクライアント装置に指示する議事録作成再生サーバー装置である。   Embodiment 2 of the present invention adds the elapsed time information from the start of input to the received character data and records it as text, stores the received audio and video data, and responds to a playback request from the client device. The minutes creation / playback server device that transmits voice and video data and instructs the client device to display the position of the text corresponding to the voice and video.

図5は、本発明の実施例2における議事録作成再生サーバー装置を含むシステム構成を示す概念図と、機能的ブロック図と、処理手順の流れ図である。図5において、ビデオカメラ4は、パソコンに接続する動画像撮影用のビデオカメラである。サーバー5は、議事録を作成するサーバー装置である。クライアントPC6は、議事録の作成を依頼するPCである。ネットワーク7は、LANやインターネットなどである。図6は、議事録を作成する時の表示画面を示す図である。図7は、議事録閲覧時の表示画面を示す図である。   FIG. 5 is a conceptual diagram showing a system configuration including a minutes creation / playback server apparatus according to the second embodiment of the present invention, a functional block diagram, and a flowchart of a processing procedure. In FIG. 5, a video camera 4 is a video camera for capturing moving images connected to a personal computer. The server 5 is a server device that creates minutes. The client PC 6 is a PC that requests creation of minutes. The network 7 is a LAN or the Internet. FIG. 6 is a diagram showing a display screen when creating the minutes. FIG. 7 is a diagram showing a display screen when viewing the minutes.

上記のように構成された本発明の実施例2における議事録作成再生サーバー装置の機能と動作を説明する。最初に、図5を参照しながら、議事録作成サーバー装置の機能の概要を説明する。会議中に受信した文字データに、入力開始からの経過時間情報をタイマーで付加してテキストとして記録する。また、会議終了後に受信した音声や映像のデータファイルを格納する。クライアント装置からの再生要求に応じて、テキストと音声や映像のデータを送信して再生させる。そのとき、再生音声に対応するテキストの位置を表示するように、クライアント装置に指示する。クライアント装置から経過時間を指定する情報を受信すると、受信した経過時間に対応するテキストと音声や映像のデータをクライアント装置に送信する。会議中に複数のクライアント装置から文字データを受信すると、経過時間に従って1つのテキストに編集して、各クライアント装置に編集結果のテキストを返送する。   The function and operation of the minutes creation / playback server apparatus configured as above according to the second embodiment of the present invention will be described. First, an overview of the function of the minutes creation server device will be described with reference to FIG. The elapsed time information from the start of input is added to the character data received during the conference by a timer and recorded as text. It also stores audio and video data files received after the conference. In response to a playback request from the client device, text, audio, and video data are transmitted and played back. At that time, the client apparatus is instructed to display the position of the text corresponding to the reproduced voice. When the information specifying the elapsed time is received from the client device, text and audio / video data corresponding to the received elapsed time are transmitted to the client device. When character data is received from a plurality of client devices during the conference, the text data is edited into one text according to the elapsed time, and the edited text is returned to each client device.

議事録を作成する手順の概要を、図5(c)の流れ図を参照しながら説明する。ステップ21で、会議の始めに録音と撮影の開始を指示する。ステップ22で、会議中にメモを入力する。メモは随時入力できる。会議が終わると、ステップ23で、録音と撮影の終了を指示する。ステップ24で、音声や映像のファイルをサーバーにアップロードする。議事録を再生する手順の概要を、図5(d)の流れ図を参照しながら説明する。予め、クライアントPCでサーバーの議事録閲覧のページを読み出す。ステップ25で、再生ボタンを押下する。ステップ26で、音声と映像を再生し、その経過時間に対応するメモを表示する。ステップ27で、メモの1行が選択されると、ステップ28で、その経過時間に対応する映像を表示する。ステップ29で、映像の1つが選択されると、ステップ30で、その経過時間に対応するメモを表示する。ステップ31で、停止ボタンが押下されると終了する。   The outline of the procedure for creating the minutes will be described with reference to the flowchart of FIG. In step 21, an instruction is given to start recording and shooting at the beginning of the meeting. In step 22, a note is input during the meeting. You can enter notes at any time. When the conference is over, in step 23, the end of recording and shooting is instructed. In step 24, the audio and video files are uploaded to the server. The outline of the procedure for reproducing the minutes will be described with reference to the flowchart of FIG. Read the server's minutes browsing page on the client PC in advance. In step 25, the playback button is pressed. In step 26, audio and video are reproduced and a memo corresponding to the elapsed time is displayed. When one line of the memo is selected at step 27, an image corresponding to the elapsed time is displayed at step 28. When one of the images is selected in step 29, a memo corresponding to the elapsed time is displayed in step 30. In step 31, when the stop button is pressed, the process ends.

次に、図6を参照しながら、議事録作成時の動作を説明する。利用者#1はクライアントPC#1を操作し、利用者#2はクライアントPC#2を操作しているものとする。この場合、利用者#1もしくは第三者が、ビデオカメラなどで撮影を行う。ビデオカメラを用いなくて、クライアントPCに接続されたUSBカメラとマイクを用いてもよい。マイクだけ使って音声のみを収録してよい。ICレコーダーなどで録音してもよい。利用者#1が、サーバー上にある議事録作成再生ページにWebブラウザでアクセスすると、図6(a)に示す画面が表示される。表示された画面で議事録の名前を入力して、新規作成のボタンをクリックする。すると、新しい議事録のURLが生成され、利用者#1のブラウザは、そのURLの画面を表示する。   Next, the operation at the time of creating the minutes will be described with reference to FIG. It is assumed that user # 1 operates client PC # 1, and user # 2 operates client PC # 2. In this case, the user # 1 or a third party takes a picture with a video camera or the like. Instead of using a video camera, a USB camera and a microphone connected to the client PC may be used. You may record only audio using only a microphone. You may record with an IC recorder. When user # 1 accesses the minutes creation / playback page on the server with a Web browser, the screen shown in FIG. 6A is displayed. Enter the name of the minutes on the displayed screen and click the new button. Then, a URL of a new minutes is generated, and the browser of user # 1 displays the screen of the URL.

ここで、利用者#1は、ビデオカメラの録画ボタンを押すのに合わせて、「開始」ボタンを押す。すると、「開始」ボタンを押したことがサーバーに通知され、サーバー上で開始時刻を記録する。この後、新規入力部にメモを入力すると、その内容は逐一サーバーに送信される。サーバーは、文字入力の開始に合わせて、図3に示すようなデータを構築する。新規入力部で文字入力を開始したときには、サーバーに即通知して時刻を記録するが、編集部の内容は、10秒に一度などの頻度でサーバー上のデータと同期する。新規入力部で入力後にEnterキーを入力すると、編集部の末尾に入力内容が追加され、新規入力部がクリアされる。   Here, the user # 1 presses the “start” button at the same time as the recording button of the video camera is pressed. Then, the server is notified that the “start” button has been pressed, and the start time is recorded on the server. Thereafter, when a memo is input to the new input section, the contents are transmitted to the server one by one. The server constructs data as shown in FIG. 3 in accordance with the start of character input. When the character input is started in the new input unit, the server is notified immediately and the time is recorded, but the contents of the editing unit are synchronized with the data on the server as frequently as once every 10 seconds. When the Enter key is input after inputting in the new input section, the input content is added to the end of the editing section, and the new input section is cleared.

このとき、議事録のURLに利用者#2がアクセスすると、利用者#1と同様の画面が表示され、メモの入力をすることができる。編集部を利用者#1、#2の双方が編集すると競合する可能性がある。競合を自動的に解消できる場合は解消し、できない場合は利用者#1の編集を優先する。利用者#1しか編集部で編集できないようにしてもいいし、優先する利用者を選択できるようにしてもよい。「開始」ボタンをクリックした利用者#1の情報は、Cookieを利用すれば取得できる。利用者#1が「開始」ボタンをクリックした時点で、Cookieをブラウザに保存する。Cookieが保存されている場合に、利用者#1に優先権を与える。また、利用者#1が編集できるようにする。   At this time, when the user # 2 accesses the minutes URL, a screen similar to the user # 1 is displayed, and a memo can be input. If both the users # 1 and # 2 edit the editing section, there is a possibility of conflict. If the conflict can be resolved automatically, resolve it. If not, give priority to editing by user # 1. Only user # 1 may be allowed to edit in the editing unit, or priority users may be selected. Information of user # 1 who clicked the “Start” button can be obtained by using a cookie. When user # 1 clicks the “Start” button, the cookie is saved in the browser. Give priority to user # 1 when cookies are stored. Also, user # 1 is allowed to edit.

録音が終了したら、利用者#1が「終了」ボタンをクリックする。利用者#2が押してもよい。また、利用者#1以外は押せないようにしてもよい。この判断にもCookieを利用する。「終了」ボタンをクリックすると、図7(a)に示すように、音声ファイルや映像ファイルや画像ファイルをアップロードする画面になる。これらのファイルをアップロードすると、図3(b)に示すようなメタデータが生成される。ファイルは、メタデータの示すとおりに保存される。アップロードしたファイルが画像の場合、実施例1の場合と同様に、EXIF情報から撮影時刻を取得する。   When the recording is finished, the user # 1 clicks the “End” button. User # 2 may press it. Further, only the user # 1 may be pressed. Cookies are also used for this determination. When the “Finish” button is clicked, a screen for uploading an audio file, a video file, or an image file is displayed as shown in FIG. When these files are uploaded, metadata as shown in FIG. 3B is generated. The file is saved as indicated by the metadata. When the uploaded file is an image, the shooting time is acquired from the EXIF information as in the first embodiment.

次に、図6と図7を参照しながら、議事録再生(閲覧)時の動作を説明する。利用者は、Webブラウザで、図6(a)に示す画面の既存の議事録の欄から、閲覧したい議事録を選択してクリックする。図7(a)のような画面が開き、音声もしくは映像のストリーミング再生をすることができる。再生中は、テキスト表示部のテキストと画像表示部の画像が映像の再生位置に従ってスクロールする。また、テキスト表示部のテキストは一行一行がリンクになっており、そこをクリックすると映像の該当部分から再生が始まる。また、画像も同様にリンクになっていて、クリックすると撮影した時刻に対応する部分から再生が始まる。   Next, referring to FIG. 6 and FIG. 7, the operation at the time of reproducing (viewing) the minutes will be described. The user selects and clicks the minutes to be viewed from the existing minutes column on the screen shown in FIG. A screen as shown in FIG. 7A is opened, and audio or video streaming playback can be performed. During playback, the text on the text display section and the image on the image display section scroll according to the playback position of the video. Each line of text in the text display section is a link. Clicking on the text starts playback from the corresponding part of the video. Similarly, the image is also a link, and when it is clicked, playback starts from the portion corresponding to the shooting time.

図6(a)に示す画面の右上の検索ボックスに検索語句を入れて検索すると、入力したテキストから検索語句が検索される。検索結果のリンクは、その該当するテキストに対応するURLになっている。検索結果をクリックすると、映像も該当部分から再生される。また、各議事録の再生ページは、blogシステムのように、コメントやトラックバックを受け付けられるようになっていてもよい。RSSやAtomなどのFeedで、新規議事録の追加を通知してもよい。さらに、Feedを利用する場合は、enclosureとしてビデオへのリンクを含み、podcastingと呼ばれる技術に対応してもいい。   When a search term is entered in the search box at the upper right of the screen shown in FIG. 6A, the search term is searched from the input text. The search result link is a URL corresponding to the corresponding text. Clicking on the search result will play the video from the corresponding part. Moreover, the reproduction page of each minutes may be able to accept comments and trackbacks as in the blog system. The addition of new minutes may be notified by RSS or Atom feeds. In addition, when using Feed, you may include a link to the video as an enclosure and support a technology called podcasting.

このようにして、サーバーシステム上で議事録用のメモを作成することができるため、複数のクライアントPCからアクセスすることで、複数の議事録担当者によりメモを充実できる。また、サーバー上に音声データなどを保持して表示することで、クライアントPCには特別なソフトウェアをインストールしなくても、Webブラウザのみで議事録を見ることができる。サーバー上の音声データの開始位置を、URLの形式で自由に指定することができるので、第三者に「この会議のこの部分」という情報を、メールなどの文字ベースの手段で簡単に伝えることができる。複数の議事録担当者が議事録メモを作成しているときに、それぞれのクライアントPCに同じ情報を表示することができ、齟齬を減らすことができる。会議の音声だけでなく映像も検索することができるようになり、ホワイトボードに図を描きながら説明しているような会議でも、内容がわかりやすくなる。議事録担当者が作成したメモだけではなく、撮影担当者がデジタルスチルカメラなどで撮影した写真データから、撮影したときの話題の映像や音声を再生することができる。また逆に、再生時に写真を表示することができ、会議の雰囲気を伝えやすくなる。   In this way, since a memo for minutes can be created on the server system, access can be made from a plurality of client PCs, and the memo can be enhanced by a plurality of minutes staff. In addition, by holding and displaying audio data on the server, the minutes can be viewed only with a Web browser without installing special software on the client PC. Since the start position of the voice data on the server can be freely specified in the form of a URL, it is easy to convey the information "this part of this meeting" to a third party by text-based means such as e-mail Can do. When multiple minutes clerks are creating minutes memos, the same information can be displayed on each client PC, thus reducing the number of wrinkles. You can search not only the audio of the meeting but also the video, and the contents will be easier to understand even in a meeting that is explained while drawing a picture on the whiteboard. In addition to the notes created by the person in charge of the minutes, it is possible to reproduce the topical video and audio when the photographer took from the photograph data taken with a digital still camera or the like. On the other hand, a photograph can be displayed during playback, which makes it easier to convey the atmosphere of the meeting.

上記のように、本発明の実施例2では、議事録作成再生サーバー装置を、受信した文字データに入力開始からの経過時間情報を付加してテキストとして記録し、受信した音声や映像のデータを格納し、クライアント装置からの再生要求に応じてテキストと音声や映像のデータを送信し、音声や映像に対応するテキストの位置を表示するようにクライアント装置に指示する構成としたので、簡単に目的の部分を参照できる議事録をサーバーで作成することが可能となる。   As described above, in the second embodiment of the present invention, the minutes creation / playback server device records the received text data as text by adding the elapsed time information from the start of input to the received character data. Since it is configured to store, transmit text, audio and video data in response to a playback request from the client device, and instruct the client device to display the text position corresponding to the audio and video, It is possible to create a minutes on the server that can refer to this part.

本発明の議事録作成再生装置は、会議の議事録を作成する装置として最適である。また、大学の講義を収録する講義収録システムとしても利用できる。   The minutes creation / playback apparatus of the present invention is optimal as a device for creating a meeting minutes. It can also be used as a lecture recording system for recording university lectures.

本発明の実施例1における議事録作成再生装置の構成を示す概念図である。It is a conceptual diagram which shows the structure of the minutes creation reproducing apparatus in Example 1 of this invention. 本発明の実施例1における議事録作成再生装置の画面を示す概念図である。It is a conceptual diagram which shows the screen of the minutes creation reproducing apparatus in Example 1 of this invention. 本発明の実施例1における議事録作成再生装置のデータ構成を示す概念図である。It is a conceptual diagram which shows the data structure of the minutes creation reproducing apparatus in Example 1 of this invention. 本発明の実施例1における議事録作成再生装置の再生画面を示す概念図である。It is a conceptual diagram which shows the reproduction | regeneration screen of the minutes preparation reproducing | regenerating apparatus in Example 1 of this invention. 本発明の実施例2における議事録作成再生サーバー装置を含むシステムの構成を示す概念図である。It is a conceptual diagram which shows the structure of the system containing the minutes production reproduction | regeneration server apparatus in Example 2 of this invention. 本発明の実施例2における議事録作成再生サーバー装置がクライアントPCに送る入力画面を示す概念図である。It is a conceptual diagram which shows the input screen which the minutes creation reproduction | regeneration server apparatus in Example 2 of this invention sends to client PC. 本発明の実施例2における議事録作成再生サーバー装置がクライアントPCに送る再生画面を示す概念図である。It is a conceptual diagram which shows the reproduction | regeneration screen which the minutes creation reproduction | regeneration server apparatus in Example 2 of this invention sends to client PC. 従来の議事録作成支援装置の概念図である。It is a conceptual diagram of the conventional minutes preparation support apparatus.

符号の説明Explanation of symbols

1・・・パソコン、2・・・マイク、3・・・カメラ、4・・・ビデオカメラ、5・・・サーバー、6・・・クライアントPC、7・・・ネットワーク。 DESCRIPTION OF SYMBOLS 1 ... Personal computer, 2 ... Microphone, 3 ... Camera, 4 ... Video camera, 5 ... Server, 6 ... Client PC, 7 ... Network.

Claims (16)

文字データを入力する文字入力手段と、入力された文字データに入力開始からの時間情報を付加してテキストとして記録するテキスト記録手段と、音声を入力する音声入力手段と、入力された音声に入力開始からの時間情報を付加して記録する音声記録手段と、記録されたテキストを時系列で表示するテキスト表示手段と、記録された音声を再生出力する音声出力手段と、再生音声に対応するテキストの位置を表示するように制御する同期表示制御手段とを具備することを特徴とする議事録作成再生装置。   Character input means for inputting character data, text recording means for adding time information from the start of input to the input character data and recording it as text, voice input means for inputting voice, and input to the input voice Voice recording means for adding time information from the start and recording, text display means for displaying the recorded text in time series, voice output means for reproducing and outputting the recorded voice, and text corresponding to the reproduced voice The apparatus for creating and reproducing minutes includes a synchronous display control means for controlling to display the position of the minutes. 前記同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する音声を再生する手段を備えることを特徴とする請求項1記載の議事録作成再生装置。   2. The minutes creation / playback apparatus according to claim 1, wherein said synchronous display control means comprises means for playing back a sound corresponding to a part of the displayed text in response to designation of the part of the displayed text. 前記音声記録手段に、時間情報を付加して音声データを追加する手段を備えることを特徴とする請求項1記載の議事録作成再生装置。   The apparatus for creating and reproducing minutes according to claim 1, further comprising means for adding time data to the sound recording means to add sound data. 静止画を入力する画像入力手段と、入力された静止画に入力開始からの時間情報を付加して記録する画像記録手段と、記録された静止画を再生出力する画像表示手段とを備え、前記同期表示制御手段に、表示された静止画が指定されたことに応じて当該静止画の時間に対応する音声を再生する手段を備えることを特徴とする請求項1記載の議事録作成再生装置。   Image input means for inputting a still image, image recording means for adding time information from the start of input to the input still image and recording, and image display means for reproducing and outputting the recorded still image, 2. The minutes creation and reproduction apparatus according to claim 1, wherein the synchronous display control means comprises means for reproducing sound corresponding to the time of the still image in response to designation of the displayed still image. 前記同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する静止画を表示する手段を備えることを特徴とする請求項4記載の議事録作成再生装置。   5. The minutes creation / playback apparatus according to claim 4, wherein said synchronous display control means comprises means for displaying a still image corresponding to a part of the displayed text when a part of the displayed text is designated. 動画像を入力する映像入力手段と、入力された動画像に入力開始からの時間情報を付加して記録する映像記録手段と、記録された動画像を再生出力する映像表示手段とを備え、前記同期表示制御手段に、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する動画像を再生する手段を備えることを特徴とする請求項1記載の議事録作成再生装置。   Video input means for inputting a moving image, video recording means for adding and recording time information from the start of input to the input moving image, and video display means for reproducing and outputting the recorded moving image, 2. The minutes creation and reproduction apparatus according to claim 1, wherein the synchronous display control means comprises means for reproducing a moving image corresponding to a portion of the displayed text when the portion of the displayed text is designated. ネットワークを介してクライアント装置と交信する送受信手段と、前記送受信手段を介して受信した文字データに入力開始からの経過時間情報を付加してテキストとして記録するテキスト記録手段と、前記送受信手段を介して受信した音声データを格納する音声格納手段と、記録されたテキストを前記クライアント装置に送信する手段と、前記音声データを前記クライアント装置に送信して再生させる手段と、再生音声に対応するテキストの位置を表示するように前記クライアント装置に指示する同期表示制御手段とを具備することを特徴とする議事録作成再生サーバー装置。   A transmission / reception unit that communicates with a client device via a network, a text recording unit that adds text information received from the transmission / reception unit to the elapsed time from the start of input and records the text as text, and a transmission / reception unit Voice storage means for storing received voice data; means for sending recorded text to the client apparatus; means for sending the voice data to the client apparatus for reproduction; and position of text corresponding to the reproduced voice And a synchronous display control means for instructing the client apparatus to display the minutes. 前記クライアント装置から経過時間を指定する情報を受信する手段と、受信した経過時間に対応するテキストを前記クライアント装置に送信する手段と、受信した経過時間に対応する音声データを前記クライアント装置に送信して再生させる手段とを備えることを特徴とする請求項7記載の議事録作成再生サーバー装置。   Means for receiving information specifying the elapsed time from the client device; means for transmitting text corresponding to the received elapsed time to the client device; and transmitting voice data corresponding to the received elapsed time to the client device. 8. The minutes creation / playback server apparatus according to claim 7, further comprising: 複数のクライアント装置から受信した文字データを経過時間に従って1つのテキストに編集する手段と、各クライアント装置に編集結果のテキストを返送する手段とを備えることを特徴とする請求項7記載の議事録作成再生サーバー装置。   8. The minutes creation according to claim 7, comprising means for editing character data received from a plurality of client devices into one text according to the elapsed time, and means for returning the text of the edited result to each client device. Playback server device. 前記送受信手段を介して受信した静止画データを格納する静止画格納手段と、前記静止画データを前記クライアント装置に送信して再生させる手段とを備え、前記同期表示制御手段に、再生音声に対応する静止画の位置を表示するように前記クライアント装置に指示する手段を備えることを特徴とする請求項7記載の議事録作成再生サーバー装置。   Still image storage means for storing still image data received via the transmission / reception means, and means for transmitting the still image data to the client device for playback, wherein the synchronous display control means supports playback audio 8. The minutes creation / playback server apparatus according to claim 7, further comprising means for instructing the client apparatus to display a position of a still image to be displayed. 前記送受信手段を介して受信した動画像データを格納する動画像格納手段と、前記動画像データを前記クライアント装置に送信して再生させる手段とを備え、前記同期表示制御手段に、再生動画像に対応するテキストの位置を表示するように前記クライアント装置に指示する手段を備えることを特徴とする請求項7記載の議事録作成再生サーバー装置。   A moving image storing means for storing moving image data received via the transmission / reception means; and a means for transmitting the moving image data to the client device for reproduction. 8. The minutes creation / playback server apparatus according to claim 7, further comprising means for instructing the client apparatus to display a position of a corresponding text. 記録開始指示に応じて、入力された文字データに入力開始からの時間情報を付加してテキストとして記録するとともに、入力された音声に入力開始からの時間情報を付加して記録し、再生指示に応じて、記録されたテキストを時系列で表示するとともに、記録された音声を再生出力して再生音声に対応するテキストの位置を表示し、表示されたテキストの一部分が指定されたことに応じて、当該部分に対応する音声を再生することを特徴とする議事録作成再生方法。   In response to the recording start instruction, the time information from the start of input is added to the input character data and recorded as text, and the time information from the start of input is added to the input voice and recorded. In response, the recorded text is displayed in chronological order, and the recorded voice is played back and output to display the position of the text corresponding to the playback voice, in response to a part of the displayed text being specified. A method for creating and reproducing minutes, characterized in that sound corresponding to the part is reproduced. 入力された静止画に入力開始からの時間情報を付加して記録し、記録された静止画を再生出力し、表示された静止画が指定されたことに応じて当該静止画の時間に対応する音声を再生し、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する静止画を表示することを特徴とする請求項12記載の議事録作成再生方法。   Adds time information from the start of input to the input still image, records it, plays back the recorded still image, and responds to the time of the still image when the displayed still image is specified 13. The minutes creation and reproduction method according to claim 12, wherein a sound is reproduced and a still image corresponding to the part of the displayed text is displayed in response to designation of the part of the displayed text. 入力された動画像に入力開始からの時間情報を付加して記録し、記録された動画像を再生出力し、表示されたテキストの一部分が指定されたことに応じて当該部分に対応する動画像を再生することを特徴とする請求項12記載の議事録作成再生方法。   Time information from the start of input is added to and recorded on the input moving image, the recorded moving image is reproduced and output, and the moving image corresponding to the portion of the displayed text is designated according to the designation 13. The method for creating and reproducing minutes according to claim 12, wherein: 請求項12〜14のいずれかに記載の議事録作成再生方法をコンピュータで実行させるための処理手順を記述したコンピュータプログラム。   A computer program describing a processing procedure for causing a computer to execute the minutes creation and reproduction method according to claim 12. 請求項15記載のコンピュータプログラムを格納した記録媒体。   A recording medium storing the computer program according to claim 15.
JP2007004465A 2007-01-12 2007-01-12 Minutes generating and reproducing apparatus Pending JP2008172582A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007004465A JP2008172582A (en) 2007-01-12 2007-01-12 Minutes generating and reproducing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007004465A JP2008172582A (en) 2007-01-12 2007-01-12 Minutes generating and reproducing apparatus

Publications (1)

Publication Number Publication Date
JP2008172582A true JP2008172582A (en) 2008-07-24

Family

ID=39700246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007004465A Pending JP2008172582A (en) 2007-01-12 2007-01-12 Minutes generating and reproducing apparatus

Country Status (1)

Country Link
JP (1) JP2008172582A (en)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011197914A (en) * 2010-03-18 2011-10-06 Brother Industries Ltd Communication system, minutes creation method, minutes creation apparatus, and minutes creation program
JP2012049785A (en) * 2010-08-26 2012-03-08 Canon Inc Recording apparatus and recording method
JP2012146151A (en) * 2011-01-13 2012-08-02 Dainippon Printing Co Ltd Terminal and method for image output receiving, and program
JP2012226651A (en) * 2011-04-21 2012-11-15 Canon Inc Information processing apparatus, information processing method, and program
JP2014222290A (en) * 2013-05-13 2014-11-27 キヤノン株式会社 Minute recording device, minute recording method, and program
JP2015501476A (en) * 2011-10-10 2015-01-15 タルコ インコーポレーテッド Communications system
JP2015169834A (en) * 2014-03-07 2015-09-28 富士通株式会社 Speech analysis method, speech analysis program, and speech analysis device
WO2016043110A1 (en) * 2014-09-16 2016-03-24 株式会社東芝 Conference information accumulation device, method, and program
KR20160036949A (en) * 2014-09-26 2016-04-05 주식회사 엘지유플러스 Terminal and method for providing conference record
EP3197139A1 (en) 2016-01-20 2017-07-26 Ricoh Company, Ltd. Information processing system, information processing device, and information processing method
CN107430851A (en) * 2015-04-10 2017-12-01 株式会社东芝 Speech suggestion device, speech reminding method and program
JP2018032098A (en) * 2016-08-22 2018-03-01 株式会社リコー Information processing apparatus, information processing method, information processing program, and information processing system
US9971493B2 (en) 2013-05-07 2018-05-15 Ricoh Company, Limited Information processing device and display control method
JP2018169977A (en) * 2017-03-30 2018-11-01 Kddi株式会社 Minute book support device, minute book support method, and computer program
CN110264998A (en) * 2019-06-19 2019-09-20 安徽声讯信息技术有限公司 A kind of audio localization method for meeting shorthand system
US10565246B2 (en) 2016-08-22 2020-02-18 Ricoh Company, Ltd. Information processing apparatus, information processing method, and information processing system
KR20200073669A (en) * 2018-12-14 2020-06-24 이정무 Method for managing image information, Apparatus for managing image information and Computer program for the same
JP2022061932A (en) * 2020-10-07 2022-04-19 ネイバー コーポレーション Method, system and computer-readable recording medium for creating memorandum for voice file by linkage between application and website
JP7337415B2 (en) 2021-09-30 2023-09-04 エピックベース株式会社 Information processing system, program and information processing method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099530A (en) * 2000-09-22 2002-04-05 Sharp Corp Minutes production device, method and storage medium using it
JP2003196303A (en) * 2001-12-27 2003-07-11 Sony Corp Network information processing system and information processing method
JP2003255979A (en) * 2002-03-06 2003-09-10 Nippon Telegr & Teleph Corp <Ntt> Data editing method, device and program
WO2004040576A1 (en) * 2002-11-01 2004-05-13 Synchro Arts Limited Methods and apparatus for use in sound replacement with automatic synchronization to images
WO2004079709A1 (en) * 2003-03-07 2004-09-16 Nec Corporation Scroll display control
JP2004266578A (en) * 2003-02-28 2004-09-24 Kanazawa Inst Of Technology Moving image editing method and apparatus
WO2005027092A1 (en) * 2003-09-08 2005-03-24 Nec Corporation Document creation/reading method, document creation/reading device, document creation/reading robot, and document creation/reading program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002099530A (en) * 2000-09-22 2002-04-05 Sharp Corp Minutes production device, method and storage medium using it
JP2003196303A (en) * 2001-12-27 2003-07-11 Sony Corp Network information processing system and information processing method
JP2003255979A (en) * 2002-03-06 2003-09-10 Nippon Telegr & Teleph Corp <Ntt> Data editing method, device and program
WO2004040576A1 (en) * 2002-11-01 2004-05-13 Synchro Arts Limited Methods and apparatus for use in sound replacement with automatic synchronization to images
JP2004266578A (en) * 2003-02-28 2004-09-24 Kanazawa Inst Of Technology Moving image editing method and apparatus
WO2004079709A1 (en) * 2003-03-07 2004-09-16 Nec Corporation Scroll display control
WO2005027092A1 (en) * 2003-09-08 2005-03-24 Nec Corporation Document creation/reading method, document creation/reading device, document creation/reading robot, and document creation/reading program

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011197914A (en) * 2010-03-18 2011-10-06 Brother Industries Ltd Communication system, minutes creation method, minutes creation apparatus, and minutes creation program
JP2012049785A (en) * 2010-08-26 2012-03-08 Canon Inc Recording apparatus and recording method
JP2012146151A (en) * 2011-01-13 2012-08-02 Dainippon Printing Co Ltd Terminal and method for image output receiving, and program
JP2012226651A (en) * 2011-04-21 2012-11-15 Canon Inc Information processing apparatus, information processing method, and program
US9942293B2 (en) 2011-10-10 2018-04-10 Microsoft Technology Licensing, Llc Communication system
JP2015501476A (en) * 2011-10-10 2015-01-15 タルコ インコーポレーテッド Communications system
US9971493B2 (en) 2013-05-07 2018-05-15 Ricoh Company, Limited Information processing device and display control method
JP2014222290A (en) * 2013-05-13 2014-11-27 キヤノン株式会社 Minute recording device, minute recording method, and program
JP2015169834A (en) * 2014-03-07 2015-09-28 富士通株式会社 Speech analysis method, speech analysis program, and speech analysis device
WO2016043110A1 (en) * 2014-09-16 2016-03-24 株式会社東芝 Conference information accumulation device, method, and program
US10970678B2 (en) 2014-09-16 2021-04-06 Kabushiki Kaisha Toshiba Conference information accumulating apparatus, method, and computer program product
CN106716466A (en) * 2014-09-16 2017-05-24 株式会社东芝 Conference information accumulation device, method, and program
JP2016062196A (en) * 2014-09-16 2016-04-25 株式会社東芝 Conference information accumulation device, method and program
KR20160036949A (en) * 2014-09-26 2016-04-05 주식회사 엘지유플러스 Terminal and method for providing conference record
KR102296483B1 (en) * 2014-09-26 2021-08-31 주식회사 엘지유플러스 Terminal and method for providing conference record
CN107430851B (en) * 2015-04-10 2021-01-12 株式会社东芝 Speech presentation device and speech presentation method
CN107430851A (en) * 2015-04-10 2017-12-01 株式会社东芝 Speech suggestion device, speech reminding method and program
US10347250B2 (en) 2015-04-10 2019-07-09 Kabushiki Kaisha Toshiba Utterance presentation device, utterance presentation method, and computer program product
EP3197139A1 (en) 2016-01-20 2017-07-26 Ricoh Company, Ltd. Information processing system, information processing device, and information processing method
US10565246B2 (en) 2016-08-22 2020-02-18 Ricoh Company, Ltd. Information processing apparatus, information processing method, and information processing system
JP2018032098A (en) * 2016-08-22 2018-03-01 株式会社リコー Information processing apparatus, information processing method, information processing program, and information processing system
JP2018169977A (en) * 2017-03-30 2018-11-01 Kddi株式会社 Minute book support device, minute book support method, and computer program
KR20200073669A (en) * 2018-12-14 2020-06-24 이정무 Method for managing image information, Apparatus for managing image information and Computer program for the same
KR102172943B1 (en) * 2018-12-14 2020-11-02 이정무 Method for managing image information, Apparatus for managing image information and Computer program for the same
CN110264998B (en) * 2019-06-19 2021-07-27 安徽声讯信息技术有限公司 Audio positioning method for conference shorthand system
CN110264998A (en) * 2019-06-19 2019-09-20 安徽声讯信息技术有限公司 A kind of audio localization method for meeting shorthand system
JP2022061932A (en) * 2020-10-07 2022-04-19 ネイバー コーポレーション Method, system and computer-readable recording medium for creating memorandum for voice file by linkage between application and website
JP7254842B2 (en) 2020-10-07 2023-04-10 ネイバー コーポレーション A method, system, and computer-readable recording medium for creating notes for audio files through interaction between an app and a website
JP7337415B2 (en) 2021-09-30 2023-09-04 エピックベース株式会社 Information processing system, program and information processing method

Similar Documents

Publication Publication Date Title
JP2008172582A (en) Minutes generating and reproducing apparatus
US8353406B2 (en) System, method, and computer readable medium for creating a video clip
KR101013055B1 (en) Creating annotated recordings and transcripts of presentations using a mobile device
US20020091658A1 (en) Multimedia electronic education system and method
JP4288879B2 (en) Network information processing system and information processing method
US20130339539A1 (en) System and Method for Capturing, Editing, Searching, and Delivering Multi-Media Content
JP2008293219A (en) Content management system, information processor in content management system, link information generation system in information processor, link information generation program in information processor, and recording medium with link information generation program recorded thereon
US20150244758A1 (en) Slice-and-stitch approach to editing media (video or audio) for multimedia online presentations
WO2003056459A1 (en) Network information processing system and information processing method
JP2006148730A (en) Conference system and conference information providing method
WO2003001430A1 (en) Content delivery method, scenario data, recording medium, and scenario data creation method
US20190019533A1 (en) Methods for efficient annotation of audiovisual media
JP2004266578A (en) Moving image editing method and apparatus
JP2000267639A (en) Information processor
JP2008523759A (en) Method and system for synthesizing video messages
JP4129162B2 (en) Content creation demonstration system and content creation demonstration method
JP3757229B2 (en) Lectures at academic conferences, editing systems for lectures, and knowledge content distribution systems
KR100459668B1 (en) Index-based authoring and editing system for video contents
CA3079444C (en) Systems and methods for processing image data to coincide in a point of time with audio data
JP7195030B1 (en) Web page creation support system
JP2007012091A (en) Content distribution method
US11131697B2 (en) System and method for combining a remote audio source with an animatronically controlled puppet
JP2011193372A (en) Information management apparatus, information terminal, and information content viewing method
JP4640564B2 (en) Content distribution system
JP2002354452A (en) Document preparation system, document preparation server, document preparation program, and medium recording program for making document

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120702