JP2017062611A - Information processing device and program - Google Patents

Information processing device and program Download PDF

Info

Publication number
JP2017062611A
JP2017062611A JP2015187195A JP2015187195A JP2017062611A JP 2017062611 A JP2017062611 A JP 2017062611A JP 2015187195 A JP2015187195 A JP 2015187195A JP 2015187195 A JP2015187195 A JP 2015187195A JP 2017062611 A JP2017062611 A JP 2017062611A
Authority
JP
Japan
Prior art keywords
information
time
corresponding image
character information
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015187195A
Other languages
Japanese (ja)
Other versions
JP6638281B2 (en
Inventor
小川　正和
Masakazu Ogawa
正和 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2015187195A priority Critical patent/JP6638281B2/en
Publication of JP2017062611A publication Critical patent/JP2017062611A/en
Application granted granted Critical
Publication of JP6638281B2 publication Critical patent/JP6638281B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an information processing device capable of specifying a reproduction position of time series information on the basis of a position that is arbitrarily instructed by a user to a correspondence image corresponding to the time series information to be reproduced.SOLUTION: The information processing device includes correspondence image display means for displaying a correspondence image associated with time series information that changes with time and including a plurality of pieces of character information on a display part, indication position information acquisition means for acquiring instruction position information showing a position indicated by a user in the correspondence image, character information acquisition means for acquiring character information corresponding to the position shown by the indication position information, appearance time point specification means for specifying an appearance time point at which a word or a sentence showing the acquired character information appears in speech information included in the time series information, and reproduction processing means for reproducing the time series information from a reproduction position corresponding to the specified appearance time point.SELECTED DRAWING: Figure 5

Description

本発明は、情報処理装置及びプログラムに関する。   The present invention relates to an information processing apparatus and a program.

特許文献１には、講演等の映像を使用したスライド画像と同期させて再生する映像再生システムについて開示されている。このような映像再生システムでは、スライド画像に含まれるオブジェクトと映像の再生位置とを予め関連付けておき、オブジェクトを指定すると当該オブジェクトに関連付けられる再生位置から映像が再生される。特許文献２には、発表者がマウスカーソルでスライド画像を指し示す等、スライド画像に対して位置指定を行った場合、該位置指定とその際の発表者の音声情報を対応づけて記憶し、利用者が同スライド画像の位置を指示した際、該位置に対応付けられた音声情報を再生することが開示されている。   Patent Document 1 discloses a video playback system that plays back in synchronization with a slide image using a video such as a lecture. In such a video playback system, an object included in a slide image and a video playback position are associated in advance, and when an object is specified, video is played back from the playback position associated with the object. In Patent Document 2, when the presenter designates a position with respect to the slide image, for example, by pointing the slide image with a mouse cursor, the position designation is associated with the voice information of the presenter and stored and used. It is disclosed that when a person instructs the position of the slide image, audio information associated with the position is reproduced.

特開２００６−２２８０５９号公報JP 2006-228059 A 特開２０１２−６５１７０号公報JP2012-65170A

しかし、一般的に、発表者がスライド画像に対して位置指定を行わなかった場合は、その際の音声情報はスライド画像と対応づけて記憶することができず、対応付けが行われていないスライドの位置を指示した場合、利用者は該位置に関する音声情報を再生することができなかった。   However, generally, when the presenter does not specify the position for the slide image, the audio information at that time cannot be stored in association with the slide image, and the slide is not associated. When the position is indicated, the user cannot reproduce the audio information related to the position.

本発明の目的の一つは、対応画像に対して発表者の位置指定が行われていなくても、再生される時系列情報に対応する対応画像に対して利用者が任意に指示した位置に基づいて、時系列情報の再生位置を特定できる情報処理装置を提供することにある。   One of the objects of the present invention is that the user arbitrarily designates the corresponding image corresponding to the time-series information to be reproduced even if the position of the presenter is not specified for the corresponding image. It is an object of the present invention to provide an information processing apparatus that can specify the playback position of time-series information.

請求項１に係る情報処理装置は、時間とともに変化する時系列情報に対応付けられ、複数の文字情報を含む対応画像を表示部に表示させる対応画像表示手段と、前記対応画像における、利用者により指示された位置を示す指示位置情報を取得する指示位置情報取得手段と、前記指示位置情報が示す位置に対応する前記文字情報を取得する文字情報取得手段と、前記時系列情報に含まれる音声情報において、前記取得された文字情報の示す単語または文章が出現する出現時点を特定する出現時点特定手段と、前記特定された出現時点に応じた再生位置から前記時系列情報を再生する再生処理手段と、を含むことを特徴とする。   An information processing apparatus according to claim 1 is associated with time-series information that changes with time, and a corresponding image display unit that displays a corresponding image including a plurality of character information on a display unit; Instruction position information acquisition means for acquiring instruction position information indicating the indicated position, character information acquisition means for acquiring the character information corresponding to the position indicated by the instruction position information, and voice information included in the time series information And an output current time specifying means for specifying a current output time point at which a word or a sentence indicated by the acquired character information appears, and a reproduction processing means for reproducing the time series information from a reproduction position corresponding to the specified output current time point, , Including.

請求項２に係る情報処理装置は、請求項１に記載の情報処理装置において、前記出現時点特定手段は、前記音声情報をテキスト化した音声テキスト情報から前記取得された文字情報の示す単語または文章を検索する検索手段、をさらに含み、前記検索手段により検索された前記音声テキスト情報における前記単語または文章の位置に基づいて前記出現時点を特定する。   The information processing device according to claim 2 is the information processing device according to claim 1, wherein the outgoing current point identification unit is a word or sentence indicated by the character information acquired from the voice text information obtained by converting the voice information into text. Search means for searching for, and specifying the start time based on the position of the word or sentence in the speech text information searched by the search means.

請求項３に係る情報処理装置は、請求項１または２に記載の情報処理装置において、前記出現時点特定手段は、前記再生位置の候補となる複数の前記出現時点を特定した場合に、いずれか１つの前記出現時点を前記再生位置として決定する。   The information processing apparatus according to claim 3 is the information processing apparatus according to claim 1 or 2, wherein the output current specifying unit specifies any of the plurality of output current candidates that are candidates for the reproduction position. One of the current times is determined as the playback position.

請求項４に係る情報処理装置は、請求項３に記載の情報処理装置において、前記出現時点特定手段は、前記対応画像に含まれる複数の前記文字情報を当該対応画像内の位置に基づく規則に従って順序付ける順序付け手段と、をさらに含み、前記順序付けされた前記複数の文字情報における前記取得された文字情報の位置に基づいて、前記複数の出現時点のうちいずれか１つの前記出現時点を前記再生位置として決定する。   The information processing apparatus according to claim 4 is the information processing apparatus according to claim 3, wherein the outgoing current point identification unit performs a plurality of character information included in the corresponding image according to a rule based on a position in the corresponding image. Ordering means for ordering, and based on the position of the acquired character information in the ordered plurality of character information, any one of the plurality of output current times is the reproduction position. Determine as.

請求項５に係るプログラムは、時間とともに変化する時系列情報に対応付けられ、複数の文字情報を含む対応画像を表示部に表示させる対応画像表示手段、前記対応画像における、利用者により指示された位置を示す指示位置情報を取得する指示位置情報取得手段、前記指示位置情報が示す位置に対応する前記文字情報を取得する文字情報取得手段、前記時系列情報に含まれる音声情報において、前記取得された文字情報の示す単語または文章が出現する出現時点を特定する出現時点特定手段、前記特定された出現時点に応じた再生位置から前記時系列情報を再生する再生処理手段、としてコンピュータを機能させるためのプログラムである。   The program according to claim 5 is associated with time-series information that changes with time, and corresponds to a corresponding image display unit that displays a corresponding image including a plurality of character information on a display unit. In the indicated position information acquiring means for acquiring the indicated position information indicating the position, the character information acquiring means for acquiring the character information corresponding to the position indicated by the indicated position information, and the voice information included in the time series information, the acquired information For causing the computer to function as an outgoing current point specifying means for specifying a current outgoing time point at which a word or a sentence indicated by the character information appears, and a reproduction processing means for reproducing the time series information from a reproduction position corresponding to the specified outgoing current time point It is a program.

請求項１及び５に係る発明によれば、対応画像に対して発表者の位置指定が行われていなくても、再生される時系列情報に対応する対応画像に対して利用者が任意に指示した位置に対応した時系列情報を再生できる。   According to the first and fifth aspects of the present invention, even if the presenter's position is not specified for the corresponding image, the user arbitrarily designates the corresponding image corresponding to the time-series information to be reproduced. Time-series information corresponding to the selected position can be reproduced.

請求項２に係る発明によれば、音声情報をテキスト化した音声テキスト情報に基づいて、対応画像に対して発表者の位置指定が行われていなくても、対応画像に対して利用者が任意に指示した位置に対応した時系列情報を再生できる。   According to the second aspect of the present invention, the user can arbitrarily select the corresponding image even if the presenter's position is not specified for the corresponding image based on the voice text information obtained by converting the voice information into text. It is possible to reproduce time-series information corresponding to the position instructed.

請求項３及び４に係る発明によれば、対応画像において利用者が任意に指示した位置に対応した時系列情報の再生位置が複数ある場合に、最適な１つの再生位置を特定できる。   According to the third and fourth aspects of the present invention, when there are a plurality of reproduction positions of time-series information corresponding to positions arbitrarily designated by the user in the corresponding image, one optimum reproduction position can be specified.

本実施形態に係る情報処理装置のハードウエア構成の一例を示す図である。It is a figure which shows an example of the hardware constitutions of the information processing apparatus which concerns on this embodiment. 本実施形態に係る時系列情報テーブルの一例を示す図である。It is a figure which shows an example of the time series information table which concerns on this embodiment. 本実施形態に係る対応画像の一例を示す図である。It is a figure which shows an example of the corresponding | compatible image which concerns on this embodiment. 本実施形態に係る対応画像情報テーブルの一例を示す図である。It is a figure which shows an example of the corresponding | compatible image information table which concerns on this embodiment. 本実施形態に係る情報処理装置が実現する機能の一例を示す機能ブロック図である。It is a functional block diagram which shows an example of the function which the information processing apparatus which concerns on this embodiment implement | achieves. 本実施形態に係る情報処理装置が実行する時系列情報再生処理の一例を示すフロー図である。It is a flowchart which shows an example of the time series information reproduction | regeneration processing which the information processing apparatus which concerns on this embodiment performs. 本実施形態に係る情報処理装置が実行する再生位置決定処理の一例を示すフロー図である。It is a flowchart which shows an example of the reproduction position determination process which the information processing apparatus which concerns on this embodiment performs. 本実施形態に係る対応画像テキストの一例を示す図である。It is a figure which shows an example of the corresponding | compatible image text which concerns on this embodiment.

以下、本発明の実施の形態について、図面を参照しながら説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１は、本実施形態に係る情報処理装置１０のハードウエア構成の一例を示す図である。本実施形態に係る情報処理装置１０は、例えばパーソナルコンピュータ等であって、図１に示すように、制御部１１、記憶部１２、通信部１３、表示部１４、操作部１５、及び音声出力部１６を含んで構成される。なお、上記各部１１〜１６はバスを介して接続される。   FIG. 1 is a diagram illustrating an example of a hardware configuration of the information processing apparatus 10 according to the present embodiment. An information processing apparatus 10 according to the present embodiment is, for example, a personal computer, and includes a control unit 11, a storage unit 12, a communication unit 13, a display unit 14, an operation unit 15, and an audio output unit as illustrated in FIG. 16 is comprised. In addition, each said part 11-16 is connected via a bus | bath.

制御部１１は、例えばＣＰＵ等であって、記憶部１２に格納されるプログラムに従って各種の情報処理を実行する。   The control unit 11 is, for example, a CPU or the like, and executes various types of information processing according to programs stored in the storage unit 12.

記憶部１２は、例えばＲＡＭやＲＯＭ等のメモリ素子、ハードディスクなどを含んで構成される。記憶部１２は、制御部１１によって実行されるプログラムや、各種のデータを保持する。また、記憶部１２は、制御部１１のワークメモリとしても動作する。   The storage unit 12 includes a memory element such as a RAM and a ROM, a hard disk, and the like. The storage unit 12 holds programs executed by the control unit 11 and various data. The storage unit 12 also operates as a work memory for the control unit 11.

通信部１３は、例えばＬＡＮカード等のネットワークインタフェースであって、ＬＡＮや無線通信網などの通信手段を介して、他の情報処理装置との間で情報の送受信を行う。   The communication unit 13 is a network interface such as a LAN card, for example, and transmits and receives information to and from other information processing apparatuses via a communication unit such as a LAN or a wireless communication network.

表示部１４は、例えば液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ等であって、制御部１１からの指示に従って、情報の表示を行う。   The display unit 14 is a liquid crystal display, a CRT display, an organic EL display, or the like, for example, and displays information in accordance with an instruction from the control unit 11.

操作部１５は、例えばキーボード、マウス、ボタンやタッチパネル等であって、利用者の指示操作を受け付けて、当該指示操作の内容を制御部１１に出力する。   The operation unit 15 is, for example, a keyboard, a mouse, a button, a touch panel, and the like. The operation unit 15 receives a user instruction operation and outputs the content of the instruction operation to the control unit 11.

音声出力部１６は、例えばスピーカ等の音声出力デバイスであって、制御部１１が出力する音声信号に従って音声の出力を行う。   The audio output unit 16 is an audio output device such as a speaker, for example, and outputs audio according to the audio signal output from the control unit 11.

本実施形態では、利用者が情報処理装置１０を用いて、記録された講演情報等を視聴する。例えば、発表者がスクリーンやモニタの画面などに講演画像を表示させながら、プレゼンテーションや講義などの講演を行うことがある。本実施形態では、ビデオカメラなどの記録装置が、講演画像や、講演の際の音声や、講演の状況を示す動画像などの各種情報を、記録する。ここで、記録開始時及び表示される講演画像が発表者の指示などによって変更された場合には、新たに表示された講演画像を記録し、講演画像の切り替えタイミングを示す時刻情報を記録する。また、それまで記録された音声や動画像を一つの映像データとして出力して、新たな音声や動画像の記録を開始する。これにより、講演の際に聴衆に提示された複数の講演画像のそれぞれについて、当該講演画像が画面上に表示された表示時間が記録されるともに、当該講演画像の表示中に記録された音声情報や動画像を含んだ映像データが生成される。   In this embodiment, a user views recorded lecture information and the like using the information processing apparatus 10. For example, a presenter may give a lecture such as a presentation or a lecture while displaying a lecture image on a screen or a monitor screen. In the present embodiment, a recording device such as a video camera records various information such as a lecture image, audio during the lecture, and a moving image indicating the status of the lecture. Here, when the recording starts and when the displayed lecture image is changed by an instruction from the presenter or the like, the newly displayed lecture image is recorded, and time information indicating the switching timing of the lecture image is recorded. Also, the sound and moving image recorded so far are output as one video data, and recording of a new sound and moving image is started. As a result, for each of a plurality of lecture images presented to the audience during the lecture, the display time when the lecture image was displayed on the screen is recorded, and the audio information recorded during the presentation of the lecture image is recorded. And video data including moving images is generated.

そして、本実施形態に係る情報処理装置１０の記憶部１２には、上述した複数の映像データからなる時系列情報と、講演の際に聴衆に提示された１以上の講演画像（時系列情報に対応する対応画像とする）と、が関連付けられて記憶されている。図２は、本実施形態に係る時系列情報テーブルＴｂｌ１００の一例を示す図である。図２に示す時系列情報テーブルＴｂｌ１００は情報処理装置１０の記憶部１２に記憶される。図２に示すように時系列情報テーブルＴｂｌ１００は、対応画像毎に、対応画像に対応する時系列情報の再生位置と、対応画像に対応する映像データと、が関連付けられて管理されている。対応画像は、講演の際に表示された順に番号（ここでは、００１〜０１０）が付与されて記憶される。対応画像に対応する時系列情報の再生位置は、講演時に対応画像が切り替えられたタイミングとするが、発表者が対応画像に関する話を開始したタイミングとしてもよい。複数の映像データは、互いの順序が定められたデータであって、これら互いに順序づけられた複数の映像データによって、講演の開始時から終了時までの時間にわたって時間とともに変化する時系列情報が構成されている。例えば図２においては、対応画像の番号に応じて「００１．ｍｐｇ」から「０１０．ｍｐｇ」まで順に並べられた一連の映像データが時系列情報を構成している。なお各映像データは、音声情報と、複数のフレーム画像から構成される画像情報と、を含む。   In the storage unit 12 of the information processing apparatus 10 according to the present embodiment, the time-series information including the plurality of video data described above and one or more lecture images (in time-series information) presented to the audience during the lecture. And a corresponding corresponding image) are stored in association with each other. FIG. 2 is a diagram illustrating an example of the time-series information table Tbl100 according to the present embodiment. 2 is stored in the storage unit 12 of the information processing apparatus 10. The time series information table Tbl100 illustrated in FIG. As shown in FIG. 2, the time-series information table Tbl100 is managed in association with the reproduction position of the time-series information corresponding to the corresponding image and the video data corresponding to the corresponding image for each corresponding image. Corresponding images are assigned and stored with numbers (here, 001 to 010) in the order in which they were displayed during the lecture. The reproduction position of the time-series information corresponding to the corresponding image is the timing at which the corresponding image is switched at the time of the lecture, but may be the timing at which the presenter starts talking about the corresponding image. The plurality of video data is data in which the order of each other is determined, and the time-series information that changes with time over the time from the start to the end of the lecture is configured by the plurality of video data that are ordered with each other. ing. For example, in FIG. 2, a series of video data arranged in order from “001.mpg” to “010.mpg” according to the number of the corresponding image constitutes time-series information. Each video data includes audio information and image information composed of a plurality of frame images.

利用者が記録された時系列情報を視聴する際に、時系列情報のはじめから再生して視聴する場合もあれば、興味のある部分だけを再生したい場合もある。利用者が任意に再生位置を指定すれば当該再生位置からの時系列情報を再生することができるが、図２に示すような時系列情報テーブルＴｂｌ１００により時系列情報が管理されていれば、利用者は対応画像に対応する部分の時系列情報だけを容易に視聴することができる。例えば利用者が対応画像を指示すれば当該対応画像に対応する再生位置が特定され、当該再生位置から時系列情報が再生される。さらに本実施形態では、対応画像内のオブジェクト毎に時系列情報の再生位置を特定できる構成としている。これにより利用者は、情報処理装置１０の表示部１４に表示された対応画像を見て興味のあるオブジェクトやその周辺を指示することで、当該オブジェクトに関する内容を話している時点から時系列情報を視聴することができることとなる。   When viewing the time-series information recorded by the user, there are cases where the user reproduces and views from the beginning of the time-series information, and sometimes desires to reproduce only the portion of interest. If the user arbitrarily designates the reproduction position, the time series information from the reproduction position can be reproduced. However, if the time series information is managed by the time series information table Tbl100 as shown in FIG. The person can easily view only the time-series information of the part corresponding to the corresponding image. For example, if the user indicates a corresponding image, a reproduction position corresponding to the corresponding image is specified, and time-series information is reproduced from the reproduction position. Further, in the present embodiment, the reproduction position of the time series information can be specified for each object in the corresponding image. As a result, the user views the corresponding image displayed on the display unit 14 of the information processing apparatus 10 and indicates an object of interest and its surroundings, so that time-series information can be obtained from the time when the content related to the object is spoken. It will be possible to watch.

以下に本実施形態で用いられる対応画像について説明する。図３は、本実施形態に係る対応画像１００の一例を示す図である。図３に示すように、本実施形態に係る対応画像１００は、講演の際に聴衆に提示するための画像であり、発表者が話す内容に対応する事項が示されている。図３に示す対応画像１００は、１以上の文字オブジェクト１１０（例えば１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ）を含む。文字オブジェクト１１０は、単語、文章等の文字情報を含むオブジェクトである。ここでは文字オブジェクト１１０ａ〜１１０ｄを例として示しているがその他の単語、文章等についても文字オブジェクト１１０として認識されていることとする。なお、対応画像１００には、文字オブジェクト以外に図形や画像などを含むオブジェクトが含まれていてもよい。そして情報処理装置１０の表示部１４に対応画像１００が表示されると、利用者が操作部１５を操作することでカーソル１５０を任意の位置に移動させ指示操作可能となっている。   The corresponding image used in this embodiment will be described below. FIG. 3 is a diagram illustrating an example of the correspondence image 100 according to the present embodiment. As shown in FIG. 3, the correspondence image 100 according to the present embodiment is an image to be presented to the audience during the lecture, and shows items corresponding to the content spoken by the presenter. The corresponding image 100 shown in FIG. 3 includes one or more character objects 110 (for example, 110a, 110b, 110c, 110d). The character object 110 is an object including character information such as words and sentences. Here, the character objects 110a to 110d are shown as examples, but other words, sentences, and the like are also recognized as the character object 110. Note that the corresponding image 100 may include objects including figures and images in addition to the character objects. When the corresponding image 100 is displayed on the display unit 14 of the information processing apparatus 10, the user can operate the operation unit 15 to move the cursor 150 to an arbitrary position and perform an instruction operation.

図４は、本実施形態に係る対応画像情報テーブルＴｂｌ２００の一例を示す図である。図４に示す対応画像情報テーブルＴｂｌ２００は情報処理装置１０の記憶部１２に記憶される。図４に示す対応画像情報テーブルＴｂｌ２００は、図３に示した対応画像１００に含まれる複数の文字オブジェクトに関する情報を示している。図４に示すように対応画像情報テーブルＴｂｌ２００は、文字オブジェクト毎に、文字オブジェクトを識別する識別ＩＤと、文字オブジェクトに含まれる文字情報と、対応画像における文字オブジェクトの位置を示す位置情報と、文字オブジェクトのサイズを示す情報と、が関連付けられて管理されている。文字情報は、単語、数字、記号、文章等であってよい。位置情報は、対応画像における位置を示す情報であり、例えば図３に示す対応画像における左上の点Ｏを原点とする座標値であってよい。このとき図３に示す対応画像の左から右へ向かう方向をＸ軸、上から下へ向かう方向をＹ軸とする。文字オブジェクトのサイズを示す情報は、オブジェクトの高さ、幅、文字の大きさなどであってよい。このような対応画像情報テーブルＴｂｌ２００が対応画像毎に記憶されていることとする。   FIG. 4 is a diagram showing an example of the corresponding image information table Tbl200 according to the present embodiment. The corresponding image information table Tbl200 illustrated in FIG. 4 is stored in the storage unit 12 of the information processing apparatus 10. The correspondence image information table Tbl200 shown in FIG. 4 shows information on a plurality of character objects included in the correspondence image 100 shown in FIG. As shown in FIG. 4, the correspondence image information table Tbl200 includes, for each character object, an identification ID for identifying the character object, character information included in the character object, position information indicating the position of the character object in the correspondence image, and character Information indicating the size of the object is managed in association with each other. The character information may be words, numbers, symbols, sentences, and the like. The position information is information indicating a position in the corresponding image, and may be, for example, a coordinate value with the upper left point O in the corresponding image shown in FIG. 3 as the origin. At this time, the direction from the left to the right of the corresponding image shown in FIG. 3 is the X axis, and the direction from the top to the bottom is the Y axis. The information indicating the size of the character object may be the height, width, character size, etc. of the object. It is assumed that such a corresponding image information table Tbl200 is stored for each corresponding image.

以下、本実施形態に係る情報処理装置１０が実現する機能について、説明する。図５は、本実施形態に係る情報処理装置１０が実現する機能の一例を示す機能ブロック図である。図５に示すように、本実施形態に係る情報処理装置１０は、機能的には、対応画像取得部、指示位置情報取得部５２、文字情報取得部５３、出現時点特定部５４、及び再生処理部５５を含んで構成される。これらの機能は、記憶部１２に記憶されたプログラムを制御部１１が実行することにより実現される。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ可読な情報記憶媒体を介して、あるいは、インターネットなどの通信手段を介して情報処理装置１０に供給される。   Hereinafter, functions realized by the information processing apparatus 10 according to the present embodiment will be described. FIG. 5 is a functional block diagram illustrating an example of functions realized by the information processing apparatus 10 according to the present embodiment. As illustrated in FIG. 5, the information processing apparatus 10 according to the present embodiment functionally includes a corresponding image acquisition unit, an instruction position information acquisition unit 52, a character information acquisition unit 53, an outgoing current point identification unit 54, and a reproduction process. A part 55 is included. These functions are realized by the control unit 11 executing the program stored in the storage unit 12. This program is supplied to the information processing apparatus 10 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via communication means such as the Internet. .

対応画像表示部５１は、時間とともに変化する時系列情報に対応付けられている対応画像を表示部１４に表示させる。   The corresponding image display unit 51 causes the display unit 14 to display a corresponding image associated with time-series information that changes with time.

指示位置情報取得部５２は、表示部１４に表示された対応画像に対して利用者が指示操作を行うと、利用者が指示した対応画像内の位置を示す指示位置情報を取得する。本実施形態においては、利用者が操作部１５を用いて対応画像内の任意の位置を指示する指示操作（例えばクリック操作やタップ操作）を行う。すると操作部１５が当該指示操作を受け付けて、当該指示操作が示す情報（ここでは対応画像内の位置を示す指示位置情報）を出力する。そして指示位置情報取得部５２が操作部１５から出力された指示位置情報を取得する。   When the user performs an instruction operation on the corresponding image displayed on the display unit 14, the instruction position information acquisition unit 52 acquires instruction position information indicating the position in the corresponding image instructed by the user. In the present embodiment, the user performs an instruction operation (for example, a click operation or a tap operation) that instructs an arbitrary position in the corresponding image using the operation unit 15. Then, the operation unit 15 receives the instruction operation and outputs information indicated by the instruction operation (in this case, instruction position information indicating a position in the corresponding image). The designated position information acquisition unit 52 acquires the designated position information output from the operation unit 15.

文字情報取得部５３は、指示位置情報取得部５２が取得した指示位置情報が示す位置に対応する文字情報を取得する。本実施形態において、文字情報取得部５３は、予め記憶部１２に記憶されている対応画像情報テーブルＴｂｌ２００から指示位置情報が示す位置に対応する文字情報を取得する。ここで文字情報取得部５３は、指示位置情報が示す位置に最も近い文字オブジェクトに含まれる文字情報を取得すればよい。   The character information acquisition unit 53 acquires character information corresponding to the position indicated by the instruction position information acquired by the instruction position information acquisition unit 52. In the present embodiment, the character information acquisition unit 53 acquires character information corresponding to the position indicated by the indicated position information from the corresponding image information table Tbl200 stored in the storage unit 12 in advance. Here, the character information acquisition unit 53 may acquire the character information included in the character object closest to the position indicated by the designated position information.

出現時点特定部５４は、時系列情報に含まれる音声情報において、文字情報取得部５３が取得した文字情報の示す単語または文章が出現する出現時点を特定する。以下、文字情報取得部５３が取得した文字情報の示す単語または文章、つまりは利用者が指示した文字情報の示す単語または文章をキーワードとする。ここでキーワードは、文字情報に含まれる単語や文章そのものであってもよいし、文字情報に含まれる単語や文章の一部であってもよい。またキーワードが出現する出現時点は、講演者によりキーワードが発せられた時点とし、時系列情報における再生位置として示されてよい。本実施形態において出現時点特定部５４は、音声情報をテキスト化した音声テキスト情報からキーワードを検索する。そして出現時点特定部５４は、検索されたキーワードの音声テキスト情報における位置に基づいて出現時点を特定する。また出現時点特定部５４は、音声情報からキーワードが発せられる時点を検索して出現時点を特定してもよい。   The outgoing current point specifying unit 54 specifies the outgoing current point in time when the word or the sentence indicated by the character information acquired by the character information acquiring unit 53 appears in the voice information included in the time series information. Hereinafter, the word or sentence indicated by the character information acquired by the character information acquisition unit 53, that is, the word or sentence indicated by the character information designated by the user is used as a keyword. Here, the keyword may be a word or sentence itself included in the character information, or may be a part of a word or sentence included in the character information. Further, the present time when the keyword appears may be the time when the keyword is issued by the speaker, and may be indicated as the reproduction position in the time series information. In this embodiment, the outgoing current point identification unit 54 searches for a keyword from voice text information obtained by converting voice information into text. Then, the outgoing current point specifying unit 54 specifies the outgoing current point based on the position of the searched keyword in the voice text information. Further, the outgoing time specifying unit 54 may specify the outgoing current time by searching the time point when the keyword is issued from the voice information.

再生処理部５５は、出現時点特定部５４が特定した出現時点に対応する再生位置から時系列情報を再生する。再生処理部５５は、出現時点特定部５４が特定した出現時点を再生位置として時系列情報を再生してもよいし、出現時点特定部５４が特定した出現時点から所定時間だけ前後した範囲内を再生位置として時系列情報を再生してもよい。   The reproduction processing unit 55 reproduces time-series information from the reproduction position corresponding to the present time specified by the present time specifying unit 54. The reproduction processing unit 55 may reproduce the time-series information with the output current point specified by the output current point specifying unit 54 as a reproduction position, or within a range around a predetermined time from the output current point specified by the output current point specifying unit 54. Time series information may be reproduced as a reproduction position.

ここで本実施形態に係る情報処理装置１０が実行する時系列情報再生処理の一例について図６に示すフロー図を参照して説明する。   Here, an example of time-series information reproduction processing executed by the information processing apparatus 10 according to the present embodiment will be described with reference to the flowchart shown in FIG.

まず、利用者の表示指示に応じて情報処理装置１０の表示部１４に対応画像が表示されることとする。ここでは具体的に図３に示す対応画像が表示部１４に表示される例について説明する。   First, it is assumed that a corresponding image is displayed on the display unit 14 of the information processing apparatus 10 in accordance with a user's display instruction. Here, an example in which the corresponding image shown in FIG. 3 is displayed on the display unit 14 will be described.

そして、指示位置情報取得部５２が、対応画像に対する利用者の指示操作を監視する（Ｓ１０１）。処理Ｓ１０１に示す処理では、利用者が操作部１５を用いて対応画像に対して所定の指示操作（クリック操作やタップ操作等）を行ったか否かが判断される。   Then, the designated position information acquisition unit 52 monitors the user's instruction operation for the corresponding image (S101). In the process shown in process S <b> 101, it is determined whether or not the user has performed a predetermined instruction operation (such as a click operation or a tap operation) on the corresponding image using the operation unit 15.

処理Ｓ１０１の判断の結果、利用者により所定の指示操作が行われたと判断された場合は（Ｓ１０１：Ｙ）、指示位置情報取得部５２が当該指示操作により指示された対応画像内の位置を示す指示位置情報を取得する（Ｓ１０２）。   As a result of the determination in step S101, when it is determined that a predetermined instruction operation has been performed by the user (S101: Y), the instruction position information acquisition unit 52 indicates the position in the corresponding image instructed by the instruction operation. The designated position information is acquired (S102).

具体的に、図３に示す対応画像において利用者がカーソル１５０を「香川」に合わせて指示操作を行うと、指示位置情報取得部５２は、図３に示す対応画像におけるカーソル１５０の位置を示す指示位置情報を取得する。指示位置情報取得部５２は、例えば位置情報として座標（０．１０１,０．４５）を取得する。   Specifically, when the user performs an instruction operation by moving the cursor 150 to “Kagawa” in the corresponding image illustrated in FIG. 3, the instruction position information acquisition unit 52 indicates the position of the cursor 150 in the corresponding image illustrated in FIG. 3. The indicated position information is acquired. The designated position information acquisition unit 52 acquires coordinates (0.101, 0.45) as position information, for example.

そして文字情報取得部５３は、対応画像情報テーブルから指示位置情報が示す位置に対応する文字情報を取得する（Ｓ１０３）。   Then, the character information acquisition unit 53 acquires character information corresponding to the position indicated by the designated position information from the corresponding image information table (S103).

具体的に、文字情報取得部５３は、図４に示す対応画像情報テーブルＴｂｌ２００の位置情報を示す欄から、指示位置情報取得部５２が取得した指示位置情報である座標（０．１０１,０．４５）に最も近い値を検索し、該当する位置情報（ここでは（０．１，０．４５））に対応する文字情報（ここでは識別ＩＤ＝００４の文字情報）を取得する。   Specifically, the character information acquisition unit 53 uses the coordinates (0.101, 0...) As the instruction position information acquired by the instruction position information acquisition unit 52 from the column indicating the position information of the corresponding image information table Tbl200 shown in FIG. 45) is retrieved to obtain character information (here, character information of identification ID = 004) corresponding to the corresponding position information (here, (0.1, 0.45)).

そして出現時点特定部５４は、対応画像に対応する音声テキストを取得する（Ｓ１０４）。   Then, the outgoing current point identification unit 54 acquires the audio text corresponding to the corresponding image (S104).

ここで出現時点特定部５４は、図２に示す時系列情報テーブルＴｂｌ１００から、利用者が指示操作を行った対象の対応画像（例えば対象画像００２．ｊｐｇ）に対応する映像データ（例えば映像データ００２．ｍｐｇ）を取得する。そして出現時点特定部５４は、当該映像データに含まれる音声情報を取得する。そして出現時点特定部５４は、当該音声情報に対して音声認識を行い文字情報に変換した音声テキストを取得する。   Here, the present time specifying unit 54 determines video data (for example, video data 002) corresponding to the target corresponding image (for example, target image 002.jpg) for which the user has performed an instruction operation from the time-series information table Tbl100 illustrated in FIG. .Mpg). Then, the outgoing current point identification unit 54 acquires audio information included in the video data. Then, the outgoing current point identification unit 54 performs voice recognition on the voice information and acquires voice text converted into character information.

そして出現時点特定部５４は、処理Ｓ１０４において取得された音声テキストから、処理Ｓ１０３において取得された文字情報が示す単語または文章（以下、キーワードとする）を検索する（Ｓ１０５）。   Then, the outgoing current point identification unit 54 searches for a word or a sentence (hereinafter referred to as a keyword) indicated by the character information acquired in the process S103 from the voice text acquired in the process S104 (S105).

具体的に、処理Ｓ１０３で取得された識別ＩＤ＝００４の文字情報である「香川」がキーワードとなる。この場合、出現時点特定部５４は、音声テキストからキーワードである「香川」を検索する。   Specifically, “Kagawa”, which is the character information of the identification ID = 004 acquired in step S103, is a keyword. In this case, the outgoing current point identification unit 54 searches for the keyword “Kagawa” from the voice text.

そして出現時点特定部５４は、音声情報におけるキーワードの出現時点Ｔｎを特定する（Ｓ１０６）。   Then, the outgoing time specifying unit 54 specifies the outgoing time Tn of the keyword in the voice information (S106).

例えば音声テキストには、単語毎または文節毎に音声情報における再生位置が関連付けられていることとする。そして出現時点特定部５４が、検索されたキーワードに関連付けられている再生位置を取得して出現時点Ｔｎと特定する。また、出現時点特定部５４は、音声テキストにおける検索されたキーワードの出現位置から、音声情報における出現時点Ｔｎを推定することとしてもよい。具体的にはまず、出現時点特定部５４は、音声テキストにおけるキーワードの出現位置を、音声テキストの総文字数に対する、音声テキストの最初の文字からキーワードが出現するまでの文字数の割合として算出する。なお、文字数は単語数であってもよい。次に、出現時点特定部５４は、音声情報の総再生時間に対して、音声テキストにおけるキーワードの出現位置（すなわち算出した割合）を掛けることで算出される再生位置を、音声情報におけるキーワードの出現時点Ｔｎとして推定する。   For example, it is assumed that the reproduction position in the audio information is associated with the voice text for each word or phrase. Then, the outgoing current point specifying unit 54 acquires the reproduction position associated with the searched keyword and specifies it as the outgoing current point Tn. Further, the outgoing current point specifying unit 54 may estimate the outgoing current point Tn in the voice information from the appearance position of the searched keyword in the voice text. Specifically, first, the outgoing current specifying unit 54 calculates the appearance position of the keyword in the speech text as a ratio of the number of characters from the first character of the speech text to the appearance of the keyword with respect to the total number of characters of the speech text. Note that the number of characters may be the number of words. Next, the present time specifying unit 54 determines the reproduction position calculated by multiplying the total reproduction time of the voice information by the appearance position (that is, the calculated ratio) of the keyword in the voice text, and the keyword output in the voice information. Estimated as the current Tn.

次に処理Ｓ１０６において出現時点特定部５４が特定した出現時点Ｔｎの個数が判断される（Ｓ１０７）。処理Ｓ１０７の処理では、出現時点特定部５４が出現時点Ｔｎを１つ特定したか、出現特定時点Ｔｎを複数特定したまたは特定しないか、が判断される。   Next, the number of outgoing current times Tn specified by the outgoing current time specifying unit 54 in step S106 is determined (S107). In the process of step S107, it is determined whether the outgoing current point specifying unit 54 has specified one outgoing current point Tn, or whether or not a plurality of appearance specific time points Tn have been specified.

処理Ｓ１０７の判断の結果、出現時点特定部５４が出現時点Ｔｎを１つ特定したと判断された場合は、再生処理部５５が出現時点Ｔｎを再生位置Ｔｓとして決定する（Ｓ１０８）。そして再生処理部５５が再生位置Ｔｓ（＝Ｔｎ）ら時系列情報を再生し（Ｓ１０９）、時系列情報再生処理が終了する。   As a result of the determination in step S107, when it is determined that the output current time specifying unit 54 has specified one output current time Tn, the reproduction processing unit 55 determines the output current time Tn as the reproduction position Ts (S108). Then, the reproduction processing unit 55 reproduces the time series information from the reproduction position Ts (= Tn) (S109), and the time series information reproduction process ends.

また処理Ｓ１０７の判断の結果、出現時点特定部５４が出現特定時点Ｔｎを複数特定したまたは特定しない、と判断された場合は、再生位置Ｔｓ決定処理が実行される（Ｓ１１０）。   Further, as a result of the determination in step S107, when it is determined that the present time specifying unit 54 has specified or does not specify a plurality of appearance specifying times Tn, a reproduction position Ts determination process is executed (S110).

本実施形態に係る情報処理装置１０が実行する再生位置Ｔｓ決定処理の一例については図７に示すフロー図を参照して説明する。図７に示すように、まず、出現時点特定部５４は、対応画像に含まれる複数の文字情報を所定の規則に従って並べてテキスト化した対応画像テキストを取得する（Ｓ２０１）。   An example of the reproduction position Ts determination process executed by the information processing apparatus 10 according to the present embodiment will be described with reference to the flowchart shown in FIG. As shown in FIG. 7, first, the outgoing current point identification unit 54 obtains corresponding image text in which a plurality of character information included in the corresponding image is arranged and converted into text according to a predetermined rule (S201).

図８は、本実施形態に係る対応画像テキストの一例を示す図である。図８に示す対応画像テキストは、図３に示した対応画像をテキスト化したものである。また図８に示す対応画像テキストは、図３に示した対応画像に含まれる複数の文字情報を、Ｘ座標値が小さい文字オブジェクト（すなわち対応画像の左側に位置する文字オブジェクト）に対応する文字情報から順に、そしてＹ座標値が小さい文字オブジェクト（すなわち対応画像の上側に位置する文字オブジェクト）に対応する文字情報から順に、並べてなるテキストである。この対応画像テキストにおける文字情報の順は、講演者が対応画像の左上から右下にかけて説明すると想定した場合の順序であり、その他の規則に従った順序で並べられてもよい。例えば文字情報が縦書きで構成されている場合には、複数の文字情報が、Ｘ座標値が大きい文字オブジェクト（すなわち対応画像の右側に位置する文字オブジェクト）に対応する文字情報から順に、そしてＹ座標値が小さい文字オブジェクト（すなわち対応画像の上側に位置する文字オブジェクト）に対応する文字情報から順に、並べられてもよい。   FIG. 8 is a diagram showing an example of the corresponding image text according to the present embodiment. The corresponding image text shown in FIG. 8 is obtained by converting the corresponding image shown in FIG. 3 into text. 8 corresponds to the character information corresponding to the character object having a small X-coordinate value (that is, the character object located on the left side of the corresponding image) included in the corresponding image shown in FIG. The texts are arranged in order from the character information corresponding to the character object having a small Y coordinate value (that is, the character object located above the corresponding image). The order of the character information in the corresponding image text is the order when the lecturer is assumed to explain from the upper left to the lower right of the corresponding image, and may be arranged in an order according to other rules. For example, when the character information is composed of vertical writing, the plurality of character information items are in order from the character information corresponding to the character object having a large X coordinate value (that is, the character object located on the right side of the corresponding image) and then Y You may arrange in order from the character information corresponding to the character object with a small coordinate value (namely, the character object located above a corresponding image).

そして出現時点特定部５４は、対応画像テキストにおけるキーワードの出現位置を算出する（Ｓ２０２）。ここでは出現時点特定部５４は、対応画像テキストにおけるキーワードの出現位置を、対応画像テキストの総文字数に対する、対応画像テキストの最初の文字からキーワードが出現するまでの文字数の割合として算出する。なお文字数を単語数であってもよい。   Then, the outgoing current point identification unit 54 calculates the appearance position of the keyword in the corresponding image text (S202). Here, the present time specifying unit 54 calculates the appearance position of the keyword in the corresponding image text as a ratio of the number of characters from the first character of the corresponding image text to the appearance of the keyword with respect to the total number of characters of the corresponding image text. The number of characters may be the number of words.

そして出現時点特定部５４は、対応画像テキストにおけるキーワードの出現位置から、音声情報におけるキーワードの推定出現時点Ｔｐを算出する（Ｓ２０３）。ここでは出現時点特定部５４は、音声情報の総再生時間に対して、対応画像テキストにおけるキーワードの出現位置を掛けることで算出される再生位置を、音声情報におけるキーワードの推定出現時点Ｔｐとして算出する。   Then, the outgoing current time specifying unit 54 calculates the estimated outgoing current time Tp of the keyword in the voice information from the appearance position of the keyword in the corresponding image text (S203). Here, the outgoing current point specifying unit 54 calculates the reproduction position calculated by multiplying the total reproduction time of the voice information by the appearance position of the keyword in the corresponding image text as the estimated outgoing time Tp of the keyword in the voice information. .

次に、処理Ｓ１０６において出現時点特定部５４が特定した出現時点Ｔｎの個数が判断される（Ｓ２０４）。処理Ｓ２０４の処理では、出現時点特定部５４が出現時点Ｔｎを複数特定したか、出現時点Ｔｎを特定しないか、が判断される。   Next, the number of outgoing current times Tn specified by the outgoing current time specifying unit 54 in step S106 is determined (S204). In the process of step S204, it is determined whether the outgoing current point specifying unit 54 has specified a plurality of outgoing current points Tn or not specified outgoing current points Tn.

処理Ｓ２０４の判断の結果、出現時点特定部５４が出現時点Ｔｎを特定しないと判断された場合は、出現時点特定部５４が推定出現時点Ｔｐを再生位置Ｔｓとして決定し（Ｓ２０５）、リターンする。ここでは、音声テキストにキーワードが含まれていない場合に、再生処理部５５が処理Ｓ２０３において出現時点特定部５４が算出した推定出現時点Ｔｐから時系列情報を再生することとなる。なお、出現時点特定部５４が出現時点Ｔｎを特定しないと判断された場合に、再生処理部５５が対応画像に関連付けられる再生位置から時系列情報を再生してもよい。対応画像に関連付けられる再生位置は時系列情報テーブルＴｂｌ１００から取得することができる。この場合は、音声テキストにキーワードが含まれていない場合に、キーワードが含まれている対応画像についての時系列情報を最初から再生することとする。   As a result of the determination in step S204, when it is determined that the outgoing current point specifying unit 54 does not specify the outgoing current point Tn, the outgoing current point specifying unit 54 determines the estimated outgoing current point Tp as the reproduction position Ts (S205), and returns. Here, when the keyword is not included in the voice text, the reproduction processing unit 55 reproduces the time series information from the estimated outgoing current point Tp calculated by the outgoing current point specifying unit 54 in step S203. When it is determined that the outgoing current point specifying unit 54 does not specify the outgoing current point Tn, the playback processing unit 55 may play back the time series information from the playback position associated with the corresponding image. The reproduction position associated with the corresponding image can be acquired from the time series information table Tbl100. In this case, when the keyword is not included in the voice text, the time series information about the corresponding image including the keyword is reproduced from the beginning.

また処理Ｓ２０４の判断の結果、出現時点特定部５４が出現時点Ｔｎを複数特定したと判断された場合は、出現時点特定部５４が処理Ｓ２０３において算出された推定出現時点Ｔｐに最も近い出現時点Ｔｎを再生位置Ｔｓとして決定し（Ｓ２０６）、リターンする。ここでは、音声テキストにキーワードが複数含まれている場合、つまり再生位置Ｔｓの候補である候補再生位置（つまりは出現時点Ｔｎ）が複数ある場合に、いずれか１つを再生位置Ｔｓとして決定する。具体的には、処理Ｓ２０３において算出された推定出現時点Ｔｐからの時系列情報の内容が、キーワードについての説明として最適であるとの考えから、出現時点特定部５４は推定出現時点Ｔｐに最も近い出現時点Ｔｎを再生位置Ｔｓとして決定する。   As a result of the determination in step S204, if it is determined that the outgoing current point specifying unit 54 has specified a plurality of outgoing current point Tn, the outgoing current point specifying unit 54 is closest to the estimated outgoing current point Tp calculated in step S203. Is determined as the reproduction position Ts (S206), and the process returns. Here, when a plurality of keywords are included in the speech text, that is, when there are a plurality of candidate reproduction positions (that is, the current output time Tn) that are candidates for the reproduction position Ts, any one is determined as the reproduction position Ts. . Specifically, since the content of the time series information from the estimated output current time Tp calculated in the process S203 is optimal as an explanation for the keyword, the output current time specifying unit 54 is closest to the estimated output current time Tp. The outgoing current time Tn is determined as the reproduction position Ts.

なお、上述の例では対応画像テキストに基づいて推定出現時点Ｔｐを算出する例を示したがこの例に限定されない。例えば、処理Ｓ２０１において出現時点特定部５４は、対応画像に含まれる複数の文字情報を所定の規則に従って順序付けできれば対応画像をテキスト化しなくてもよい。例えば、出現時点特定部５４が、上述したような規則に従って複数の文字情報を順序付けし、各文字情報に順序付けに応じた番号を付与することとしてもよい。そして、処理Ｓ２０２において出現時点特定部５４は、対応画像テキストにおけるキーワードの出現位置を、複数の文字情報に付与された番号のうち最大の番号に対する、キーワードを含む文字情報に付与された番号の割合として算出してもよい。このように順序付けされた複数の文字情報におけるキーワードを含む文字情報の位置に基づいて、複数の出現時点Ｔｎのうちいずれか１つを再生位置として決定する。   In the above example, an example is shown in which the estimated current time Tp is calculated based on the corresponding image text, but the present invention is not limited to this example. For example, in step S201, the present time specifying unit 54 may not convert the corresponding image into text as long as a plurality of pieces of character information included in the corresponding image can be ordered according to a predetermined rule. For example, the outgoing current point identification unit 54 may order a plurality of character information according to the rules described above, and give each character information a number corresponding to the ordering. In step S <b> 202, the current time specifying unit 54 determines the ratio of the number given to the character information including the keyword with respect to the maximum number of the numbers given to the plurality of character information for the appearance position of the keyword in the corresponding image text. May be calculated as Based on the position of the character information including the keyword in the plurality of character information thus ordered, one of the plurality of outgoing current times Tn is determined as the reproduction position.

なお、再生位置Ｔｓの候補である候補再生位置（つまりは出現時点Ｔｎ）が複数ある場合に、いずれか１つを再生位置Ｔｓとして決定する方法は上述の例に限定されない。例えば音声テキストにおける複数のキーワードの位置について重心位置を算出し、当該重心位置に最も近いキーワードの出現時点Ｔｎを再生位置Ｔｓとして決定してもよい。   Note that when there are a plurality of candidate playback positions (that is, the current time Tn) that are candidates for the playback position Ts, the method of determining any one as the playback position Ts is not limited to the above example. For example, the centroid position may be calculated for the positions of a plurality of keywords in the speech text, and the current keyword Tn closest to the centroid position may be determined as the reproduction position Ts.

なお、本発明は上述の実施形態に限定されるものではない。   In addition, this invention is not limited to the above-mentioned embodiment.

例えば、図５に示した本実施形態に係る情報処理装置１０が実現する機能の一部又は全部が情報処理装置１０とネットワークを介して接続される他の情報処理装置に実装されてもよい。具体的には、他の情報処理装置に対応画像表示部５１及び再生処理部５５が実装され、情報処理装置１０が時系列情報の配信装置として機能してもよい。   For example, some or all of the functions realized by the information processing apparatus 10 according to the present embodiment illustrated in FIG. 5 may be implemented in another information processing apparatus connected to the information processing apparatus 10 via a network. Specifically, the corresponding image display unit 51 and the reproduction processing unit 55 may be mounted on another information processing device, and the information processing device 10 may function as a time-series information distribution device.

１０ 情報処理装置、１１ 制御部、１２ 記憶部、１３ 通信部、１４ 表示部、１５ 操作部、１６ 音声出力部、５１ 対応画像表示部、５２ 指示位置情報取得部、５３ 文字情報取得部、５４ 出現時点特定部、５５ 再生処理部、１００ 対応画像、１１０ 文字オブジェクト、１５０ カーソル、Ｔｂｌ１００ 時系列情報テーブル、Ｔｂｌ２００ 対応画像情報テーブル。   DESCRIPTION OF SYMBOLS 10 Information processing apparatus, 11 Control part, 12 Storage part, 13 Communication part, 14 Display part, 15 Operation part, 16 Voice output part, 51 Corresponding image display part, 52 Pointed position information acquisition part, 53 Character information acquisition part, 54 Outgoing current time specifying unit, 55 playback processing unit, 100 corresponding image, 110 character object, 150 cursor, Tbl100 time-series information table, Tbl200 compatible image information table.

Claims (5)

時間とともに変化する時系列情報に対応付けられ、複数の文字情報を含む対応画像を表示部に表示させる対応画像表示手段と、
前記対応画像における、利用者により指示された位置を示す指示位置情報を取得する指示位置情報取得手段と、
前記指示位置情報が示す位置に対応する前記文字情報を取得する文字情報取得手段と、
前記時系列情報に含まれる音声情報において、前記取得された文字情報の示す単語または文章が出現する出現時点を特定する出現時点特定手段と、
前記特定された出現時点に応じた再生位置から前記時系列情報を再生する再生処理手段と、
を含むことを特徴とする情報処理装置。 Corresponding image display means for displaying a corresponding image including a plurality of character information on the display unit in correspondence with time-series information that changes with time;
Instructed position information acquisition means for acquiring indicated position information indicating the position designated by the user in the corresponding image;
Character information acquisition means for acquiring the character information corresponding to the position indicated by the indicated position information;
In the voice information included in the time-series information, an outgoing current point specifying unit for specifying an outgoing current point at which a word or sentence indicated by the acquired character information appears;
Reproduction processing means for reproducing the time-series information from the reproduction position corresponding to the specified present time;
An information processing apparatus comprising: 前記出現時点特定手段は、
前記音声情報をテキスト化した音声テキスト情報から前記取得された文字情報の示す単語または文章を検索する検索手段、をさらに含み、
前記検索手段により検索された前記音声テキスト情報における前記単語または文章の位置に基づいて前記出現時点を特定する、
ことを特徴とする請求項１に記載の情報処理装置。 The departure time specifying means is:
Search means for searching for a word or sentence indicated by the acquired character information from the voice text information obtained by converting the voice information into text,
Identifying the current point of departure based on the position of the word or sentence in the speech text information searched by the search means;
The information processing apparatus according to claim 1. 前記出現時点特定手段は、
前記再生位置の候補となる複数の前記出現時点を特定した場合に、いずれか１つの前記出現時点を前記再生位置として決定する、
ことを特徴とする請求項１または２に記載の情報処理装置。 The departure time specifying means is:
When a plurality of the current time points that are candidates for the reproduction position are specified, any one of the current time points is determined as the reproduction position;
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus. 前記出現時点特定手段は、
前記対応画像に含まれる複数の前記文字情報を当該対応画像内の位置に基づく規則に従って順序付ける順序付け手段と、をさらに含み、
前記順序付けされた前記複数の文字情報における前記取得された文字情報の位置に基づいて、前記複数の出現時点のうちいずれか１つの前記出現時点を前記再生位置として決定する、
ことを特徴とする請求項３に記載の情報処理装置。 The departure time specifying means is:
Ordering means for ordering a plurality of the character information included in the corresponding image according to a rule based on a position in the corresponding image;
Based on the position of the acquired character information in the ordered plurality of character information, any one of the plurality of outgoing current times is determined as the reproduction position.
The information processing apparatus according to claim 3. 時間とともに変化する時系列情報に対応付けられ、複数の文字情報を含む対応画像を表示部に表示させる対応画像表示手段、
前記対応画像における、利用者により指示された位置を示す指示位置情報を取得する指示位置情報取得手段、
前記指示位置情報が示す位置に対応する前記文字情報を取得する文字情報取得手段、
前記時系列情報に含まれる音声情報において、前記取得された文字情報の示す単語または文章が出現する出現時点を特定する出現時点特定手段、
前記特定された出現時点に応じた再生位置から前記時系列情報を再生する再生処理手段、
としてコンピュータを機能させるためのプログラム。 Corresponding image display means for displaying a corresponding image including a plurality of character information on the display unit in association with time-series information that changes with time,
Instructed position information acquisition means for acquiring indicated position information indicating the position instructed by the user in the corresponding image;
Character information acquisition means for acquiring the character information corresponding to the position indicated by the indicated position information;
In the voice information included in the time-series information, an outgoing current specifying means for specifying an outgoing current time at which a word or sentence indicated by the acquired character information appears,
Playback processing means for playing back the time-series information from the playback position corresponding to the identified current time point;
As a program to make the computer function as.
JP2015187195A 2015-09-24 2015-09-24 Information processing device and program Expired - Fee Related JP6638281B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015187195A JP6638281B2 (en) 2015-09-24 2015-09-24 Information processing device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015187195A JP6638281B2 (en) 2015-09-24 2015-09-24 Information processing device and program

Publications (2)

Publication Number Publication Date
JP2017062611A true JP2017062611A (en) 2017-03-30
JP6638281B2 JP6638281B2 (en) 2020-01-29

Family

ID=58428765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015187195A Expired - Fee Related JP6638281B2 (en) 2015-09-24 2015-09-24 Information processing device and program

Country Status (1)

Country Link
JP (1) JP6638281B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207264A1 (en) * 2017-05-09 2018-11-15 オリンパス株式会社 Image replaying apparatus and observation system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004104986A1 (en) * 2003-05-21 2004-12-02 Matsushita Electric Industrial Co., Ltd. Voice output device and voice output method
JP2010055259A (en) * 2008-08-27 2010-03-11 Konica Minolta Business Technologies Inc Image processing apparatus, image processing program, and image processing method
JP2013200649A (en) * 2012-03-23 2013-10-03 Fuji Xerox Co Ltd Information processing apparatus and information processing program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004104986A1 (en) * 2003-05-21 2004-12-02 Matsushita Electric Industrial Co., Ltd. Voice output device and voice output method
JP2010055259A (en) * 2008-08-27 2010-03-11 Konica Minolta Business Technologies Inc Image processing apparatus, image processing program, and image processing method
JP2013200649A (en) * 2012-03-23 2013-10-03 Fuji Xerox Co Ltd Information processing apparatus and information processing program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207264A1 (en) * 2017-05-09 2018-11-15 オリンパス株式会社 Image replaying apparatus and observation system
US11194145B2 (en) 2017-05-09 2021-12-07 Olympus Corporation Image reproducing device and observation system for selecting images using tag information attached in accordance with information that operation is performed on sample and input when at least one of images is acquired

Also Published As

Publication number Publication date
JP6638281B2 (en) 2020-01-29

Similar Documents

Publication Publication Date Title
US20230333725A1 (en) Method for generating and reproducing multimedia content, electronic device for performing same, and recording medium in which program for executing same is recorded
US10031649B2 (en) Automated content detection, analysis, visual synthesis and repurposing
JP6044553B2 (en) Information processing apparatus, information processing method, and program
US10622021B2 (en) Method and system for video editing
US10642463B2 (en) Interactive management system for performing arts productions
KR20140139859A (en) Method and apparatus for user interface for multimedia content search
CN101930779A (en) Video commenting method and video player
JP2005267279A (en) Information processing system and information processing method, and computer program
JP4568144B2 (en) Information presentation device and information presentation program
JPWO2014069114A1 (en) Information processing apparatus, playback state control method, and program
US11544322B2 (en) Facilitating contextual video searching using user interactions with interactive computing environments
WO2020251967A1 (en) Associating object related keywords with video metadata
US20150199171A1 (en) Handwritten document processing apparatus and method
JP2018180519A (en) Voice recognition error correction support device and program therefor
JP2019128850A (en) Information processing device, moving-image search method, generation method, and program
JP6638281B2 (en) Information processing device and program
US9870134B2 (en) Interactive blocking and management for performing arts productions
JP2013092912A (en) Information processing device, information processing method, and program
JP2006252678A (en) Operation history display apparatus and method, and program
WO2022179415A1 (en) Audiovisual work display method and apparatus, and device and medium
JP2009283020A (en) Recording apparatus, reproducing apparatus, and program
JP6010062B2 (en) Cue point control device and cue point control program
JP2022051500A (en) Related information provision method and system
WO2016086573A1 (en) Projection display method and device
JP2017004193A (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190409

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191209

R150 Certificate of patent or registration of utility model

Ref document number: 6638281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees