JP2000308017A - Video audience device - Google Patents

Video audience device

Info

Publication number
JP2000308017A
JP2000308017A JP11111977A JP11197799A JP2000308017A JP 2000308017 A JP2000308017 A JP 2000308017A JP 11111977 A JP11111977 A JP 11111977A JP 11197799 A JP11197799 A JP 11197799A JP 2000308017 A JP2000308017 A JP 2000308017A
Authority
JP
Japan
Prior art keywords
video
feature value
related information
signal
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11111977A
Other languages
Japanese (ja)
Other versions
JP3196761B2 (en
Inventor
Rina Hayasaka
里奈 早坂
Katsuhiro Ochiai
勝博 落合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP11197799A priority Critical patent/JP3196761B2/en
Publication of JP2000308017A publication Critical patent/JP2000308017A/en
Application granted granted Critical
Publication of JP3196761B2 publication Critical patent/JP3196761B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To enable a user of a video audience device to efficiently watch and listen related videos within a limited period of time. SOLUTION: A video characteristic value calculating device 21 calculates the characteristic value of a video signal having a form suitable for retrieval from video signals sent from a video input device 1, records the value in a video characteristic value storing device 32, and conveys the value to a video retrieving device 22. When the retrieving device 22 retrieves that the characteristic value from the calculating device 21 resembles one of the characteristic value stored in the storing device 32, the device 22 stores the video-related information indicating that the characteristic values are related to each other in a video-related information storing device 33 and gives the information to a reproducing and displaying device 41 for display. When a related-video audience requesting signal is inputted from a user input device 42, the retrieving device 22 makes a reference to the storing device 33, selects the related video signal corresponding to the characteristic value indicated by the requesting signal from a video storing device 31, and displays the signal on the reproducing and displaying device 41.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、映像を視聴するた
めの映像視聴装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video viewing device for viewing a video.

【0002】[0002]

【従来の技術】従来のテレビ装置またはビデオデッキな
どの映像蓄積装置は、放送された番組の映像を時間順に
見ていくためのものである。現状における一般のテレビ
視聴者は、テレビ番組の映像に関連する情報を新聞のテ
レビ欄や番組ガイドなどの雑誌から得る場合が多い。こ
のような情報源には、番組全体に関する簡単な情報しか
掲載されていない。また、視聴者がニュース番組などの
テレビ映像を視聴する際、別のチャンネルが同じ内容の
ニュースを放映していたとしても、現状ではそれらの関
連情報を視聴者側が持っていることは少ない。また、同
じチャンネルで異なる時間に同じ話題のニュースを放映
したとしても、同様にそれらの関連情報はほとんどの場
合に視聴者には与えられない。
2. Description of the Related Art A conventional video storage device such as a television device or a video deck is used to view broadcast program images in chronological order. At present, ordinary television viewers often obtain information related to images of television programs from magazines such as newspaper columns and program guides. These sources contain only brief information about the entire program. Further, when a viewer watches a television image such as a news program, even if another channel broadcasts the same news, the viewer rarely has such related information at present. Even if the same channel broadcasts news on the same topic at different times, the related information is not given to the viewer in most cases.

【0003】これは、ニュースに限らず全ての放映され
るテレビ映像および蓄積されたテレビ映像に関しても言
えることである。多チャンネル化が進み、蓄積機能を持
つテレビが普及すると共に類似する番組が関連付けをさ
れずに多数存在してしまう可能性が高い。
[0003] This applies not only to news but also to all broadcasted television images and stored television images. As the number of channels has increased and televisions having a storage function have become widespread, there is a high possibility that many similar programs will exist without being associated.

【0004】[0004]

【発明が解決しようとする課題】従来のテレビ装置また
はビデオデッキなどの映像蓄積装置においては、視聴ま
たは蓄積された映像に関して、相互に類似した関連映像
が存在しても、関連映像を視聴することができないとい
う問題がある。例えば、従来のテレビ装置またはビデオ
デッキなどの映像蓄積装置においては、ある番組を視聴
中に同一の話題で、かつ、内容を深く掘り下げた他の関
連番組の関連映像が放映されていてもこの関連映像を視
聴することができない。
In a conventional video storage device such as a television device or a VCR, it is necessary to view related videos even if there are related videos similar to each other with respect to the viewed or stored video. There is a problem that can not be. For example, in a conventional video storage device such as a television device or a video deck, even when a certain program is viewed and the same topic is spoken, and the related video of another related program whose content is digging deeply is broadcast, the related video is not displayed. I cannot watch the video.

【0005】本発明の目的は、限られた時間において関
連する映像を効率よく視聴することができる映像視聴装
置を提供することにある。
It is an object of the present invention to provide a video viewing apparatus capable of efficiently viewing related video in a limited time.

【0006】[0006]

【課題を解決するための手段】前記課題を解決するため
に、請求項1記載の発明は、動画像信号および音声信号
を含む入力映像信号を記憶する入力映像記憶手段と、こ
の入力映像記憶手段に記憶された所定の入力映像信号の
所定の位置から再生する映像再生手段と、入力映像信号
の特徴値を算出する映像特徴値算出手段と、この映像特
徴値算出手段により算出された特徴値を記憶する映像特
徴値記憶手段と、映像特徴値算出手段からの特徴値が映
像特徴値記憶手段の特徴値のいずれかと類似するか否か
を検索して類似することを検索した時に、これらの特徴
値が関連していることを示す映像関連情報を作成する映
像検索手段と、この映像検索手段からの映像関連情報を
記憶する映像関連情報記憶手段と、この映像関連情報記
憶手段が映像関連情報を記憶した時に映像関連情報の存
在を表示して視聴者に通知する関連情報通知手段と、こ
の関連情報通知手段により通知された映像関連情報が示
す特徴値に対応する入力映像記憶手段に記憶されている
映像信号の再生を要求する関連映像視聴要求信号を入力
する入力手段と、この入力手段により入力された関連映
像視聴要求信号に対応する映像信号を再生する関連映像
再生手段とを有することを特徴とする。
According to a first aspect of the present invention, there is provided an input video storage unit for storing an input video signal including a moving image signal and an audio signal, and the input video storage unit. Video playback means for playing back from a predetermined position of a predetermined input video signal stored in the storage unit, video feature value calculation means for calculating a feature value of the input video signal, and a feature value calculated by the video feature value calculation means. When the feature value from the image feature value storage means to be stored and the feature value from the image feature value calculation means are searched for similarity to any one of the feature values in the image feature value storage means, when these features are searched for similarity, A video search unit for generating video-related information indicating that the values are related; a video-related information storage unit for storing video-related information from the video search unit; and a video-related information storage unit. Related information notifying means for displaying the presence of video-related information when the information is stored and notifying the viewer, and storing the input video storage means corresponding to the characteristic value indicated by the video-related information notified by the relevant information notifying means. Input means for inputting a related video viewing request signal requesting playback of a video signal being input, and related video playing means for playing a video signal corresponding to the related video viewing request signal input by the input means. It is characterized by.

【0007】請求項2記載の発明は、請求項1記載の発
明において、入力映像信号がテレビで放映中のテレビ番
組の映像信号であることを特徴とする。
According to a second aspect of the present invention, in the first aspect, the input video signal is a video signal of a television program being broadcast on a television.

【0008】請求項3記載の発明は、請求項1記載の発
明において、入力映像信号が記憶されたテレビ番組の映
像信号であることを特徴とする。
According to a third aspect of the present invention, in the first aspect, the input video signal is a video signal of a stored television program.

【0009】請求項4記載の発明は、請求項2および3
の1つに記載の発明において、映像特徴値算出手段によ
る入力映像の特徴値算出の単位および映像検索手段によ
る検索の単位がカメラカットによって区切られる映像信
号単位であることを特徴とする。
The invention described in claim 4 is the second and third aspects of the present invention.
In the invention described in one of the above, the unit for calculating the feature value of the input video by the video feature value calculating means and the unit for searching by the video searching means are video signal units separated by camera cut.

【0010】請求項5記載の発明は、請求項2および3
の1つに記載の発明において、映像特徴値算出手段によ
る入力映像の特徴値の算出の単位および映像検索手段に
よる検索の単位が所定の事象について説明する複数の時
間的に連続したショット単位であることを特徴とする。
[0010] The invention described in claim 5 is the second and third inventions.
In the invention described in one of the above, the unit of calculation of the feature value of the input video by the video feature value calculation unit and the unit of search by the video search unit are a plurality of temporally consecutive shot units describing a predetermined event. It is characterized by the following.

【0011】請求項6記載の発明は、請求項4記載の発
明において、映像特徴値算出手段はショットの色特徴値
を特徴値として用いることを特徴とする。
According to a sixth aspect of the present invention, in the fourth aspect, the video feature value calculating means uses a color feature value of the shot as a feature value.

【0012】請求項7記載の発明は、請求項6に記載の
発明において、映像特徴値算出手段は、ショット内のフ
レームを複数の類似部分に分割し、これらの類似部分毎
に代表フレームを作成し、これらの代表フレームの色特
徴値を特徴値として用いることを特徴とする。
According to a seventh aspect of the present invention, in the sixth aspect, the video feature value calculating means divides a frame in the shot into a plurality of similar parts and creates a representative frame for each of these similar parts. Then, the feature values of the representative frames are used as feature values.

【0013】請求項8記載の発明は、動画像信号および
音声信号を含む入力映像信号を記憶する入力映像記憶手
段と、この入力映像記憶手段に記憶された所定の入力映
像信号の所定の位置から再生する映像再生手段と、入力
映像信号の音声信号を認識してテキストデータに変換す
る音声認識手段と、この音声認識手段からのテキストデ
ータのキーワードを算出する単語分割手段と、この単語
分割手段からのキーワードと入力映像信号の動画像信号
との特徴値を算出する映像特徴値算出手段と、この映像
特徴値算出手段からの特徴値を記憶する映像特徴値記憶
手段と、映像特徴値算出手段からの特徴値が映像特徴値
記憶手段の特徴値のいずれかと類似するか否かを検索し
て類似することを検索した時に、これらの特徴値が関連
していることを示す映像関連情報を作成する映像検索手
段と、この映像検索手段からの映像関連情報を記憶する
映像関連情報記憶手段と、この映像関連情報記憶手段が
映像関連情報を記憶した時に映像関連情報の存在を表示
して視聴者に通知する関連情報通知手段と、この関連情
報通知手段により通知された映像関連情報が示す特徴値
に対応する入力映像記憶手段に記憶されている映像信号
の再生を要求する関連映像視聴要求信号を入力する入力
手段と、この入力手段により入力された関連映像視聴要
求信号に対応する映像信号を再生する関連映像再生手段
とを有することを特徴とする。
According to the present invention, there is provided an input video storage means for storing an input video signal including a moving image signal and an audio signal, and a predetermined position of a predetermined input video signal stored in the input video storage means. A video reproducing means for reproducing, a voice recognizing means for recognizing an audio signal of the input video signal and converting it into text data, a word dividing means for calculating a keyword of the text data from the voice recognizing means, Video feature value calculating means for calculating the feature value of the keyword and the moving image signal of the input video signal, video feature value storing means for storing the feature value from the video feature value calculating means, and video feature value calculating means. When a search is performed to determine whether or not the feature value of any of the image feature values is similar to any of the feature values in the video feature value storage means, a search is performed to indicate that these feature values are related. Video search means for creating video-related information, video-related information storage means for storing video-related information from the video search means, and presence of the video-related information when the video-related information storage means stores the video-related information. A related information notifying means for displaying and notifying the viewer, and an association requesting reproduction of a video signal stored in the input video storage means corresponding to the characteristic value indicated by the video related information notified by the relevant information notifying means. It is characterized by having input means for inputting a video viewing request signal and related video reproducing means for reproducing a video signal corresponding to the relevant video viewing request signal input by the input means.

【0014】請求項9記載の発明は、請求項8記載の発
明において、映像特徴値算出手段は、入力映像信号に含
まれる音声信号を認識音声文字に変換し対応するショッ
トまたはシーン毎に認識音声文字を特徴値として用いる
ことを特徴とする。
According to a ninth aspect of the present invention, in the invention according to the eighth aspect, the video feature value calculating means converts the audio signal included in the input video signal into a recognized voice character and recognizes the recognized voice for each corresponding shot or scene. Characters are used as characteristic values.

【0015】[0015]

【発明の実施の形態】次に、本発明の実施の形態を図面
に基づいて詳細に説明する。図1に示すように、本発明
の第1の実施形態としての映像視聴装置は、動画像信号
および音声信号を含む映像信号を入力するテレビ端末装
置などの映像入力装置1と、入力された映像信号を解析
するデータ処理装置2と、映像信号等の情報を記憶する
記憶装置3と、映像信号の再生および関連映像視聴要求
信号の入力等を行うユーザインタフェース装置4とを有
している。データ処理装置2は、映像入力装置1に接続
されている。記憶装置3は、データ処理装置2に接続さ
れている。ユーザインタフェース装置4は、記憶装置3
に接続されている。
Next, embodiments of the present invention will be described in detail with reference to the drawings. As shown in FIG. 1, a video viewing device as a first embodiment of the present invention includes a video input device 1 such as a television terminal device for inputting a video signal including a moving image signal and an audio signal; The apparatus includes a data processing device 2 for analyzing signals, a storage device 3 for storing information such as video signals, and a user interface device 4 for reproducing video signals and inputting related video viewing request signals. The data processing device 2 is connected to the video input device 1. The storage device 3 is connected to the data processing device 2. The user interface device 4 includes the storage device 3
It is connected to the.

【0016】記憶装置3は、映像入力装置1に接続され
この映像入力装置1からの入力映像信号そのものを記憶
する映像記憶装置31と、映像信号を簡単化した特徴値
を記憶する映像特徴値記憶装置32と、複数の映像信号
が関連していることを示す映像関連情報を記憶する映像
関連情報記憶装置33とを有している。映像関連情報記
憶装置33は、映像記憶装置31に接続されている。
The storage device 3 is connected to the video input device 1 and stores a video signal itself from the video input device 1 and a video feature value storage for storing a feature value obtained by simplifying the video signal. It has a device 32 and a video related information storage device 33 for storing video related information indicating that a plurality of video signals are related. The video related information storage device 33 is connected to the video storage device 31.

【0017】データ処理装置2は、映像入力装置1に接
続されている映像特徴値算出装置21と、この映像特徴
値算出装置21に接続されている映像検索装置22とを
有している。また、映像特徴値算出装置21は、映像特
徴値記憶装置32に接続されている。また、映像検索装
置22は、映像特徴値記憶装置32と映像関連情報記憶
装置33とに接続されている。映像特徴値算出装置21
は、映像入力装置1から入力される映像信号から検索に
適した形の映像信号の特徴値を算出し、この特徴値を映
像特徴値記憶装置32へ書き込み、映像検索装置22へ
伝える。映像検索装置22は、映像特徴値算出装置21
により得られた特徴値を検索要求として映像特徴値記憶
装置32の特徴値を検索対象として検索を行う。映像検
索装置22は、映像特徴値算出装置21からの特徴値が
映像特徴値記憶装置32の特徴値のいずれかと類似する
ことを検索した時には、これらの特徴値が関連している
ことを示す映像関連情報を映像関連情報記憶装置33に
記憶し、かつ、ユーザインタフェース装置4に与える。
The data processing device 2 has a video feature value calculation device 21 connected to the video input device 1, and a video search device 22 connected to the video feature value calculation device 21. The video feature value calculation device 21 is connected to a video feature value storage device 32. The video search device 22 is connected to a video feature value storage device 32 and a video related information storage device 33. Video feature value calculation device 21
Calculates a feature value of a video signal in a form suitable for retrieval from a video signal input from the video input device 1, writes the feature value to the video feature value storage device 32, and transmits the feature value to the video search device 22. The video search device 22 includes a video feature value calculation device 21
The search is performed using the feature value obtained by the above as a search request and the feature value of the video feature value storage device 32 as a search target. When the video search device 22 searches for a feature value from the video feature value calculation device 21 that is similar to any one of the feature values in the video feature value storage device 32, the video indicating that these feature values are related to each other. The related information is stored in the video related information storage device 33 and is given to the user interface device 4.

【0018】ユーザインタフェース装置4は、映像関連
情報記憶装置33に接続されている再生表示装置41と
ユーザ入力装置42とを有している。再生表示装置41
は、映像関連情報記憶装置33が映像検索装置22から
映像関連情報を受けた時に映像関連情報が存在すること
を表示する。ユーザ入力装置42は、視聴者が操作する
ことにより視聴者の関連情報に対応する映像の視聴を要
求する関連映像視聴要求信号を入力するものである。ユ
ーザ入力装置42は、関連映像視聴要求信号の入力があ
った時に、映像関連情報記憶装置33に問い合わせ、関
連映像視聴要求信号が示す特徴値に対応する映像信号を
映像記憶装置31から選び、再生表示装置41によって
表示する映像を関連映像に切り替える。
The user interface device 4 has a reproduction display device 41 and a user input device 42 connected to the video related information storage device 33. Playback display device 41
Indicates that the video-related information is present when the video-related information storage device 33 receives the video-related information from the video search device 22. The user input device 42 inputs a related video viewing request signal for requesting viewing of a video corresponding to the related information of the viewer by operating the viewer. When the related video viewing request signal is input, the user input device 42 inquires the video related information storage device 33, selects a video signal corresponding to the characteristic value indicated by the related video viewing request signal from the video storage device 31, and reproduces the video signal. The image displayed by the display device 41 is switched to the related image.

【0019】次に、本発明の第1の実施形態としての映
像視聴装置の動作を図1と共に図2に基づいて詳細に説
明する。図2のステップA1において、映像特徴値算出
装置21は、映像入力装置1からの入力映像信号をカメ
ラカットにより区切られるショット単位に切り分けられ
て、ショット毎に特徴値を算出し、映像特徴値記憶装置
32に記憶させる。また、映像入力装置1からの入力映
像信号は映像記憶装置31に記憶され、かつ、再生表示
装置41にて表示される。次に、ステップA2におい
て、映像特徴値算出装置21は特徴値を単位毎に映像検
索装置22に与えて映像特徴値算出装置21からの特徴
値が映像特徴値記憶装置32の特徴値のいずれかと類似
するか否かを検索させる。ステップA3において、映像
特徴値算出装置21からの特徴値が映像特徴値記憶装置
32の特徴値のいずれかと類似することを検索できたか
を判断する。ステップA3において、映像特徴値算出装
置21からの特徴値が映像特徴値記憶装置32の特徴値
のいずれかと類似することを検索できない時には、ステ
ップA1に戻る。
Next, the operation of the video viewing apparatus according to the first embodiment of the present invention will be described in detail with reference to FIG. 1 and FIG. In step A1 of FIG. 2, the video feature value calculation device 21 divides an input video signal from the video input device 1 into shot units separated by camera cuts, calculates a feature value for each shot, and stores the video feature value. The information is stored in the device 32. Further, an input video signal from the video input device 1 is stored in the video storage device 31 and displayed on the reproduction display device 41. Next, in step A2, the video feature value calculation device 21 gives the feature value to the video search device 22 for each unit, and the feature value from the video feature value calculation device 21 is compared with one of the feature values in the video feature value storage device 32. The user is searched for similarity. In step A3, it is determined whether or not the feature value from the video feature value calculation device 21 can be searched to be similar to any of the feature values in the video feature value storage device 32. In step A3, when it cannot be found that the feature value from the video feature value calculation device 21 is similar to any of the feature values in the video feature value storage device 32, the process returns to step A1.

【0020】ステップA3において、映像特徴値算出装
置21からの特徴値が映像特徴値記憶装置32の特徴値
のいずれかと類似することを検索できた時には、ステッ
プA4において、これらの特徴値が関連していることを
示す映像関連情報を作成し映像関連情報記憶装置33に
記憶する。次に、映像関連情報記憶装置33は映像関連
情報を受けた時には、ステップA5において映像関連情
報の存在を再生表示装置41に通知して表示させ、視聴
者に知らせる。次に、ステップA6において再生表示装
置41による映像関連情報の存在の通知を見たユーザに
よる映像関連情報に対する関連映像視聴要求信号があっ
たか否かを判断する。ステップA6において関連映像視
聴要求信号があった時には、ステップA7において再生
表示装置41は現在表示している番組の映像信号の表示
から映像関連情報に対応する映像信号の表示に切り替え
る。
If it is found in step A3 that the feature value from the video feature value calculating device 21 is similar to any of the feature values in the video feature value storage device 32, these feature values are related in step A4. Is generated and stored in the video-related information storage device 33. Next, when receiving the video-related information, the video-related information storage device 33 notifies the playback display device 41 of the presence of the video-related information in step A5 to display it, thereby notifying the viewer. Next, in step A6, it is determined whether or not there is a related video viewing request signal for the video related information by the user who has seen the notification of the presence of the video related information by the reproduction display device 41. When there is a related video viewing request signal in step A6, in step A7, the reproduction display device 41 switches from displaying the video signal of the currently displayed program to displaying the video signal corresponding to the video related information.

【0021】次に、本発明の第2の実施形態を図面に基
づいて説明する。本発明の第2の実施形態においては、
本発明の第1の実施形態と同じ構成要素には同じ参照符
号が付されている。本発明の第2の実施形態は、入力映
像信号がすでに記憶されている映像信号であるという点
において第1の実施形態と異なる。本発明の第2の実施
形態においては、映像信号の入力と解析が同時に進行し
ない。
Next, a second embodiment of the present invention will be described with reference to the drawings. In a second embodiment of the present invention,
The same components as those in the first embodiment of the present invention are denoted by the same reference numerals. The second embodiment of the present invention differs from the first embodiment in that the input video signal is an already stored video signal. In the second embodiment of the present invention, the input and the analysis of the video signal do not proceed at the same time.

【0022】図3に示すように、本発明の第2の実施形
態としての映像視聴装置は、図1の本発明の第1の実施
形態としての映像視聴装置において映像入力装置1に接
続されている映像要求信号入力装置5を追加してなる。
すなわち、本発明の第2の実施形態としての映像視聴装
置は、映像入力装置1と、データ処理装置2と、記憶装
置3と、ユーザインタフェース装置4と、映像要求信号
入力装置5とを有している。記憶装置3は、映像記憶装
置31と、映像特徴値記憶装置32と、映像関連情報記
憶装置33とを有している。データ処理装置2は、映像
特徴値算出装置21と、映像検索装置22とを有してい
る。ユーザインタフェース装置4は、映像関連情報記憶
装置33に接続されている再生表示装置41とユーザ入
力装置42とを有している。
As shown in FIG. 3, the video viewing apparatus according to the second embodiment of the present invention is connected to the video input apparatus 1 in the video viewing apparatus according to the first embodiment of the present invention shown in FIG. The video request signal input device 5 is added.
That is, the video viewing device according to the second embodiment of the present invention includes the video input device 1, the data processing device 2, the storage device 3, the user interface device 4, and the video request signal input device 5. ing. The storage device 3 includes a video storage device 31, a video feature value storage device 32, and a video related information storage device 33. The data processing device 2 includes a video feature value calculation device 21 and a video search device 22. The user interface device 4 has a playback display device 41 and a user input device 42 connected to the video related information storage device 33.

【0023】視聴者の視聴にかかわらず、番組の映像信
号を記憶する際には、その記憶と同時に映像信号に対す
る映像特徴値算出装置21と映像検索装置22の処理を
繰り返して実行して映像信号の特徴値を映像特徴値記憶
装置32に記憶し、映像関連情報を映像関連情報記憶装
置33に記憶しておく。
Regardless of the viewer's viewing, when storing the video signal of the program, at the same time as storing the video signal, the video characteristic value calculation device 21 and the video search device 22 repeatedly execute the processing on the video signal to execute the video signal. Are stored in the video feature value storage device 32, and the video related information is stored in the video related information storage device 33.

【0024】実際に映像記憶装置31に記憶されている
入力映像信号の視聴要求信号が映像要求信号入力装置5
から映像記憶装置31に与えられて映像記憶装置31に
記憶されている入力映像信号が再生表示装置41に表示
されて視聴が行われる時には、視聴している部分の映像
信号の映像関連情報を映像関連情報記憶装置33で常に
チェックし、映像関連情報が存在する場合は、第1の実
施形態と同様に映像関連情報の存在を再生表示装置41
で表示し、視聴者によるユーザ入力装置42からの関連
映像視聴要求信号を映像関連情報記憶装置33が受け付
ける。入力映像信号がすでに記憶されている映像信号で
あるという点であることを除けば、図3の映像視聴装置
の動作は、図1の映像視聴装置の動作と同じである。す
なわち、図4のステップA1´において映像記憶装置3
1に記憶されている入力映像信号の特徴値を映像特徴値
算出装置21で算出することを除けば、図4のステップ
A2〜A7は図2のステップA2〜A7と同じである。
The viewing request signal of the input video signal actually stored in the video storage device 31 is transmitted to the video request signal input device 5.
When the input video signal supplied to the video storage device 31 and stored in the video storage device 31 is displayed on the playback display device 41 for viewing, the video related information of the video signal of the part being viewed is displayed on the video. The related information storage device 33 always checks, and if video related information exists, the presence of the video related information is reproduced and displayed by the playback display device 41 as in the first embodiment.
And the video related information storage device 33 receives a related video viewing request signal from the user input device 42 by the viewer. The operation of the video viewing apparatus of FIG. 3 is the same as the operation of the video viewing apparatus of FIG. 1 except that the input video signal is an already stored video signal. That is, in step A1 'of FIG.
Steps A2 to A7 in FIG. 4 are the same as steps A2 to A7 in FIG. 2 except that the feature value of the input video signal stored in 1 is calculated by the video feature value calculating device 21.

【0025】次に、本発明の第3の実施形態を図面に基
づいて説明する。本発明の第3の実施形態においては、
本発明の第1の実施形態と同じ構成要素には同じ参照符
号が付されている。図5に示すように、本発明の第3の
実施形態は、データ処理装置2の内部に映像構造化装置
51を有する点において本発明の第1の実施形態と異な
る。すなわち、本発明の第3の実施形態としての映像視
聴装置は、映像入力装置1と、データ処理装置2と、記
憶装置3と、ユーザインタフェース装置4とを有してい
る。記憶装置3は、映像記憶装置31と、映像特徴値記
憶装置32と、映像関連情報記憶装置33とを有してい
る。データ処理装置2は、映像構造化装置51と、映像
特徴値算出装置21と、映像検索装置22とを有してい
る。ユーザインタフェース装置4は、映像関連情報記憶
装置33に接続されている再生表示装置41とユーザ入
力装置42とを有している。映像構造化装置51は、映
像入力装置1と映像特徴値算出装置21と映像特徴値記
憶装置32とに接続されている。
Next, a third embodiment of the present invention will be described with reference to the drawings. In a third embodiment of the present invention,
The same components as those in the first embodiment of the present invention are denoted by the same reference numerals. As shown in FIG. 5, the third embodiment of the present invention differs from the first embodiment of the present invention in having a video structuring device 51 inside the data processing device 2. That is, the video viewing device according to the third embodiment of the present invention includes the video input device 1, the data processing device 2, the storage device 3, and the user interface device 4. The storage device 3 includes a video storage device 31, a video feature value storage device 32, and a video related information storage device 33. The data processing device 2 includes a video structuring device 51, a video feature value calculation device 21, and a video search device 22. The user interface device 4 has a playback display device 41 and a user input device 42 connected to the video related information storage device 33. The video structuring device 51 is connected to the video input device 1, the video feature value calculation device 21, and the video feature value storage device 32.

【0026】次に、本発明の第3の実施形態としての映
像視聴装置の動作を図5とともに図6に基づいて説明す
る。図6のステップB1において映像構造化装置51
は、入力された入力映像信号をショット単位に分割して
単位映像を生成した後に、それぞれの単位映像信号を解
析し、ある同一の事象について説明する複数の時間的に
連続した単位映像信号の組を検出する。次に、ステップ
B2において、単位映像信号毎に第1の実施形態と同様
に映像信号の特徴値を映像特徴値算出装置21で算出を
行い、検出した組毎にまとめたものを映像特徴値記憶装
置32に記憶する。
Next, the operation of the video viewing apparatus according to the third embodiment of the present invention will be described with reference to FIGS. In step B1 of FIG. 6, the image structuring device 51
Is generated by dividing an input video signal into shot units to generate a unit video, analyzing each unit video signal, and describing a set of a plurality of temporally continuous unit video signals that explain a certain same event. Is detected. Next, in step B2, the characteristic value of the video signal is calculated by the video characteristic value calculating device 21 for each unit video signal in the same manner as in the first embodiment, and the video signal characteristic values are stored for each detected set. It is stored in the device 32.

【0027】次に、ステップB3において映像特徴値算
出装置21は特徴値を組毎に映像検索装置22に与えて
映像特徴値算出装置21からの特徴値が映像特徴値記憶
装置32の特徴値のいずれかと類似するか否かを検索さ
せる。次に、ステップB4において映像特徴値算出装置
21は特徴値を組毎に映像検索装置22に与えて映像特
徴値算出装置21からの特徴値が映像特徴値記憶装置3
2の特徴値のいずれかと類似するかを判断する。
Next, in step B 3, the video feature value calculation device 21 gives the feature values to the video search device 22 for each set, and the feature values from the video feature value calculation device 21 are used as the feature values of the video feature value storage device 32. A search is made to see if any of them are similar. Next, in step B4, the video feature value calculation device 21 gives the feature value to the video search device 22 for each set, and the feature value from the video feature value calculation device 21 is stored in the video feature value storage device 3.
It is determined whether the characteristic value is similar to any of the two characteristic values.

【0028】ステップB4において映像特徴値算出装置
21は特徴値を組毎に映像検索装置22に与えて映像特
徴値算出装置21からの特徴値が映像特徴値記憶装置3
2の特徴値のいずれかと類似しない時には、ステップB
1に戻る。ステップB4において映像特徴値算出装置2
1は特徴値を組毎に映像検索装置22に与えて映像特徴
値算出装置21からの特徴値が映像特徴値記憶装置32
の特徴値のいずれかと類似する時には、ステップB5に
おいて、その特徴値に関係する2つの組の間に関連があ
るという映像関連情報を作成して映像関連情報記憶装置
33に記憶させる。次に、映像関連情報記憶装置33が
映像関連情報を受けた時にはステップB6において映像
関連情報の存在を再生表示装置41に表示する。次に、
ステップB7において再生表示装置41による関連情報
の存在の通知を見たユーザによる映像関連情報に対する
関連映像視聴要求信号があったか否かを判断する。ステ
ップB7において関連映像視聴要求信号があった時に
は、ステップB8において再生表示装置41は現在表示
している番組の映像信号の表示から映像関連情報に対応
する組の映像信号の表示に切り替える。
In step B4, the video feature value calculation device 21 gives the feature values to the video search device 22 for each set, and the feature values from the video feature value calculation device 21 are stored in the video feature value storage device 3.
Step B, if it is not similar to any of the feature values of
Return to 1. In step B4, the video feature value calculation device 2
Reference numeral 1 denotes a feature value provided to the video search device 22 for each set, and the feature value from the video feature value calculation device 21 is stored in the video feature value storage device 32.
If it is similar to any one of the feature values, video related information indicating that there is a relationship between the two sets related to the feature value is created and stored in the video related information storage device 33 in step B5. Next, when the video-related information storage device 33 receives the video-related information, the existence of the video-related information is displayed on the reproduction display device 41 in step B6. next,
In step B7, it is determined whether or not there has been a related video viewing request signal for the video related information by the user who has seen the notification of the presence of the related information by the reproduction display device 41. When there is a related video viewing request signal in step B7, in step B8, the reproduction display device 41 switches from displaying the video signal of the currently displayed program to displaying a set of video signals corresponding to the video related information.

【0029】次に、本発明の第4の実施形態を図面に基
づいて説明する。本発明の第4の実施形態においては、
本発明の第1の実施形態と同じ構成要素には同じ参照符
号が付されている。図7に示すように、本発明の第4の
実施形態は、音声解析装置6を有する点において第1の
実施形態と異なる。すなわち、本発明の第4の実施形態
としての映像視聴装置は、映像入力装置1と、データ処
理装置2と、記憶装置3と、ユーザインタフェース装置
4と、音声解析装置6とを有している。記憶装置3は、
映像記憶装置31と、映像特徴値記憶装置32と、映像
関連情報記憶装置33とを有している。データ処理装置
2は、映像特徴値算出装置21と、映像検索装置22と
を有している。ユーザインタフェース装置4は、映像関
連情報記憶装置33に接続されている再生表示装置41
とユーザ入力装置42とを有している。音声解析装置6
は、映像入力装置1およびデータ処理装置2に接続され
ている。
Next, a fourth embodiment of the present invention will be described with reference to the drawings. In a fourth embodiment of the present invention,
The same components as those in the first embodiment of the present invention are denoted by the same reference numerals. As shown in FIG. 7, the fourth embodiment of the present invention differs from the first embodiment in having a voice analysis device 6. That is, the video viewing device according to the fourth embodiment of the present invention includes the video input device 1, the data processing device 2, the storage device 3, the user interface device 4, and the audio analysis device 6. . The storage device 3
It has a video storage device 31, a video feature value storage device 32, and a video related information storage device 33. The data processing device 2 includes a video feature value calculation device 21 and a video search device 22. The user interface device 4 includes a playback display device 41 connected to the video-related information storage device 33.
And a user input device 42. Voice analysis device 6
Are connected to the video input device 1 and the data processing device 2.

【0030】音声解析装置6は、音声認識装置61と単
語分割装置62とを有している。音声認識装置61は、
映像入力装置1に接続されている。単語分割装置62
は、音声認識装置61と映像特徴値算出装置21とに接
続されている。音声認識装置61は、映像入力装置1か
らの入力映像信号のうち音声信号を受ける。音声認識装
置61は、音声信号をテキストデータに変換し変換され
たテキストデータを単語分割装置62に与える。単語分
割装置62は、テキストデータを受けてキーワードを算
出する。単語分割装置62は、得られたキーワードをシ
ョット毎の特徴値として映像特徴値記憶装置32に記憶
させる。この後の処理は、第1の実施形態と同様であ
る。
The speech analysis device 6 has a speech recognition device 61 and a word segmentation device 62. The voice recognition device 61
It is connected to the video input device 1. Word segmentation device 62
Is connected to the voice recognition device 61 and the video feature value calculation device 21. The voice recognition device 61 receives a voice signal among the input video signals from the video input device 1. The speech recognition device 61 converts the speech signal into text data and provides the converted text data to the word segmentation device 62. The word division device 62 receives the text data and calculates a keyword. The word segmentation device 62 stores the obtained keyword in the video feature value storage device 32 as a feature value for each shot. Subsequent processing is the same as in the first embodiment.

【0031】[0031]

【実施例】次に、本発明の第1の実施例を図面に基づい
て説明する。本発明の第1の実施例は、図1の本発明の
第1の実施形態の具体的な例である。本発明の第1の実
施例は、映像入力装置1としてテレビ番組の受信機能を
持つビデオキャプチャカードを有し、データ処理装置2
としてパーソナルコンピュータのCPUを有し、記憶装
置3として磁気ディスク記憶装置を有し、再生表示装置
41としてディスプレイ装置を有し、ユーザ入力装置4
2として赤外線出力部を有するリモートコントロール装
置を有し、赤外線受信機としてのパーソナルコンピュー
タを有し、映像特徴値算出装置21としてのパーソナル
コンピュータを有し、かつ、映像検索装置22としての
パーソナルコンピュータを有している。
Next, a first embodiment of the present invention will be described with reference to the drawings. The first example of the present invention is a specific example of the first embodiment of the present invention shown in FIG. The first embodiment of the present invention includes a video capture card having a function of receiving a television program as a video input device 1 and a data processing device 2.
A CPU of a personal computer, a magnetic disk storage device as the storage device 3, a display device as the reproduction display device 41, and a user input device 4
2 has a remote control device having an infrared output unit, has a personal computer as an infrared receiver, has a personal computer as a video feature value calculation device 21, and has a personal computer as a video search device 22. Have.

【0032】データ処理装置2には、前日と当日の現時
点までの複数のテレビ番組の映像信号、その特徴値およ
び映像関連情報が記憶されているとする。この状態で、
現時点で放映されているニュース番組の映像信号を視聴
する。まず、ニュース番組の映像信号は、ビデオキャプ
チャカードを通じてパーソナルコンピュータに取り込ま
れ、磁気ディスクに記憶され、また検索のための映像特
徴値算出装置21に与えられる。
It is assumed that the data processing apparatus 2 stores video signals of a plurality of television programs, their characteristic values, and video related information up to the previous day and the current day. In this state,
View the video signal of the news program currently being broadcast. First, a video signal of a news program is taken into a personal computer through a video capture card, stored on a magnetic disk, and given to a video feature value calculating device 21 for search.

【0033】映像信号の特徴値の算出方法について述べ
る。まず、映像信号の各フレーム毎の色値の変化を利用
して、カメラの切り替え点(カメラカット)を検出し、
映像信号をショット単位に分割する。次に、ショットの
特徴値を算出する。ここでは、その特徴を最も良く表現
する静止画像(以下、代表フレームと呼ぶ)を選択し、
その代表フレームを4分割したブロック毎の色平均値を
ショットの特徴値とすることにする。代表フレームとし
ては、ショットの最初の画像信号であったり、時間的に
中央の画像信号であったり、全てのフレームの画素値を
合計したフレームなどが利用可能であるが、ここでは単
純にショットの最初の画像信号を利用する。つまり、一
つのショットの特徴値は12個の数値で表現される。こ
のようにして算出した色特徴値とショットの始点(時
間)終点(時間)および含まれる番組名の4種類の値を
映像特徴値記憶装置32に記憶させる。
A method for calculating the characteristic value of a video signal will be described. First, a change point (camera cut) of a camera is detected using a change in a color value of each frame of a video signal,
The video signal is divided into shot units. Next, the feature value of the shot is calculated. Here, a still image (hereinafter, referred to as a representative frame) that best represents the feature is selected,
The color average value of each block obtained by dividing the representative frame into four is used as the characteristic value of the shot. As the representative frame, the first image signal of the shot, the image signal at the center in time, the frame obtained by summing the pixel values of all the frames, and the like can be used. Use the first image signal. That is, the feature value of one shot is represented by 12 numerical values. The video feature value storage device 32 stores the color feature values thus calculated, the start point (time) of the shot, the end point (time), and four types of values of the included program name.

【0034】ショットの特徴値が得られると、それと色
特徴値の値の近いものを映像特徴値記憶装置32の特徴
値から検索する。値の近さは12次元ベクトル距離で算
出し、閾値処理する。特徴値が閾値以下の映像が存在し
た場合、その特徴を持つショット同士を結びつける関連
情報(それぞれの含まれる番組名と始点および終点)を
映像関連情報記憶装置33に記憶する。以上のようにし
て映像検索が行われる。
When the characteristic value of the shot is obtained, the characteristic value close to the characteristic value of the shot is searched from the characteristic value of the video characteristic value storage device 32. The closeness of the value is calculated by a 12-dimensional vector distance, and threshold processing is performed. When there is a video whose characteristic value is equal to or smaller than the threshold value, the video-related information storage device 33 stores the relevant information (the program name included therein and the start point and the end point) for linking shots having the characteristic. The video search is performed as described above.

【0035】例えば、ある同じ題材を扱っているニュー
スが、同じ映像素材を放送している場合には、その映像
信号同士の色特徴が酷似するため関連映像として選別で
きる。例えば、同じ局の時間帯の異なるニュースや、場
合によっては他局のニュース番組の中の同じ内容のニュ
ースとの関連を記述することができる。
For example, if news dealing with a certain subject broadcasts the same video material, the color characteristics of the video signals are very similar to each other and can be selected as related video. For example, it is possible to describe the news related to the same station in different time zones or, in some cases, the news of the same content in a news program of another station.

【0036】関連するショットが得られた場合、図8に
示すように、視聴者が見ている再生表示装置41の画面
にマークを表示し、存在を知らせる。それを見た視聴者
がリモートコントロール装置のボタンの操作を行うと、
赤外線受信部でその情報を受信し、再生表示装置41に
は映像関連情報記憶装置33に記憶されている関連番組
の詳細情報(番組名および放送時間など)が表示され
る。それを見た視聴者が、再びリモートコントロール装
置のボタンを操作して、関連番組に対する関連映像視聴
要求信号を送信した場合に、その関連映像視聴要求信号
を受信し、再生表示装置41の表示は記録されている関
連映像信号の再生に切り替わり関連するショットから再
生が始まる。
When a related shot is obtained, as shown in FIG. 8, a mark is displayed on the screen of the reproduction display device 41 being watched by the viewer to notify the presence of the mark. When the viewer who sees it operates the buttons on the remote control device,
The information is received by the infrared receiving section, and the reproduction display device 41 displays the detailed information (such as the program name and the broadcast time) of the related program stored in the video related information storage device 33. When the viewer who sees it operates the button of the remote control device again and transmits a related video viewing request signal for the related program, the related video viewing request signal is received, and the display of the reproduction display device 41 is displayed. Switching to playback of the recorded related video signal starts playback from the related shot.

【0037】次に、本発明の第2の実施例を説明する。
本発明の第2の実施例は、本発明の第1の実施形態にお
いて映像特徴値算出装置21がショット内のフレームを
複数の類似部分に分割し、これらの類似部分毎に代表フ
レームを作成し、これらの代表フレームの色特徴値を用
いる場合の具体的な例である。
Next, a second embodiment of the present invention will be described.
In the second embodiment of the present invention, in the first embodiment of the present invention, the video feature value calculating device 21 divides a frame in a shot into a plurality of similar portions, and creates a representative frame for each of these similar portions. This is a specific example of using the color feature values of these representative frames.

【0038】本発明の第2の実施例では、映像の特徴抽
出の際に、一つのショットの特徴を複数の代表フレーム
を用いて表現する。代表フレームの選出方法は以下に示
す。ショットを構成するフレームをN枚(N≧1)おき
に抜き出し、それぞれの色特徴値を簡単な特徴値(例え
ば、4分割して平均した色値)に表現する。その特徴値
を用いてクラスタリング処理を行う。図9に示すよう
に、クラスタリングを行うことで、ショット内にパンな
どのカメラの動きがあった場合、それぞれのフレームは
いくつかのグループに分割される。このグループ毎に全
てのフレームを平均した画像を作成し、それを代表フレ
ームとする。
In the second embodiment of the present invention, the features of one shot are expressed using a plurality of representative frames when extracting the features of the video. The method of selecting a representative frame is described below. The frames constituting the shot are extracted every N frames (N ≧ 1), and each color feature value is expressed as a simple feature value (for example, a color value divided into four and averaged). A clustering process is performed using the feature value. As shown in FIG. 9, by performing clustering, when a camera movement such as panning occurs in a shot, each frame is divided into several groups. An image is created by averaging all the frames for each group, and is used as a representative frame.

【0039】以上で選出した代表フレームの色特徴値が
ショットの特徴値として記録される。一つのショットに
複数の代表フレームが存在することになるので、検索処
理も第1の実施例と異なったものとなる。全ての代表フ
レームの組み合わせに対して距離を求め、閾値を越えて
いる距離が一つでも存在するものを検索結果とする。こ
のようにすることによって、ショットの一部分が類似し
ている映像であっても検出することが可能となる。
The color characteristic value of the representative frame selected as described above is recorded as the characteristic value of the shot. Since a plurality of representative frames exist in one shot, the search processing is different from that of the first embodiment. Distances are obtained for all combinations of the representative frames, and a search result is a search result in which at least one distance exceeding the threshold exists. This makes it possible to detect even a video in which a part of a shot is similar.

【0040】次に、本発明の第3の実施例を説明する。
本発明の第3の実施例は、図3の本発明の第2の実施形
態の具体的な例である。本発明の第3の実施例は、第1
の実施例において映像要求信号入力装置5を追加してな
る。映像要求信号入力装置5は、ユーザの操作により映
像要求信号を映像記憶装置31に与えるものである。
Next, a third embodiment of the present invention will be described.
The third embodiment of the present invention is a specific example of the second embodiment of the present invention shown in FIG. The third embodiment of the present invention is the first embodiment.
In this embodiment, the video request signal input device 5 is added. The video request signal input device 5 supplies a video request signal to the video storage device 31 by a user operation.

【0041】本発明の第3の実施例においては、視聴者
が視聴する番組が現在放送されている番組の映像ではな
く既に記憶された映像である点において本発明の第1の
実施例と異なる。本発明の第3の実施例において映像信
号を記憶する際には、本発明の第1の実施例と同じよう
に常に映像信号のカット点検出を行いショット毎に特徴
値の算出および記憶をし、特徴値の検索と映像関連情報
の記憶の処理を行う。視聴者が記憶してある番組の映像
を視聴する場合、番組の映像信号の再生と同時に映像関
連情報記憶装置33に蓄積されている映像関連情報を取
り出し、映像関連情報が関連する他の映像信号が存在を
示している場合は、第1の実施例と同様に映像関連情報
が関連する他の映像信号が存在を示していることを表示
する。映像関連情報記憶装置33は、ユーザ入力装置4
2による関連映像視聴要求信号の入力があった時に、関
連する映像信号を映像記憶装置31から選び、再生表示
装置41によって表示する映像を関連映像に切り替え
る。
The third embodiment of the present invention is different from the first embodiment of the present invention in that a program viewed by a viewer is not a video of a currently broadcast program but a video already stored. . When storing the video signal in the third embodiment of the present invention, the cut point of the video signal is always detected and the feature value is calculated and stored for each shot, as in the first embodiment of the present invention. , And processing of searching for characteristic values and storing video-related information. When a viewer watches a video of a stored program, the video-related information stored in the video-related information storage device 33 is taken out simultaneously with the reproduction of the video signal of the program, and the other video signal to which the video-related information is related. Indicates that there is another video signal associated with the video-related information, as in the first embodiment. The video-related information storage device 33 includes the user input device 4
When the related video viewing request signal is input by the user 2, the related video signal is selected from the video storage device 31, and the video displayed by the reproduction display device 41 is switched to the relevant video.

【0042】次に、本発明の第4の実施例を説明する。
本発明の第4の実施例は、図5の本発明の第3の実施形
態の具体的な例である。本発明の第4の実施例において
は、入力映像信号をカット点検出ののち、特願平10−
284153号に記載されている映像信号の構造化処理
を行って、同じテーマについて述べている時間的に連続
したショットのまとまり(シーン)を検出する。例え
ば、図10に示すように、ニュース番組であれば、ある
一つのニュースの話題について述べているショットのま
とまり毎に分割できる。このようにして得られるシーン
情報を利用する。
Next, a fourth embodiment of the present invention will be described.
The fourth embodiment of the present invention is a specific example of the third embodiment of the present invention shown in FIG. In the fourth embodiment of the present invention, after a cut point is detected from an input video signal, the input video signal is detected in Japanese Patent Application No.
By performing a structuring process of a video signal described in Japanese Patent No. 284153, a group of temporally continuous shots (scenes) describing the same theme is detected. For example, as shown in FIG. 10, in the case of a news program, it can be divided into shots describing a certain topic of news. The scene information thus obtained is used.

【0043】映像特徴値記憶装置32には、ショット毎
の色特徴値と始点および終点の他にシーン毎の始点およ
び終点の情報も記憶しておく。映像信号の検索は第1の
実施例と同様にショット毎に行うが、類似のショットが
存在する場合にショット同士が関連するとして関連情報
に記述するのではなく、そのショットが含まれるシーン
同士が関連するとして記述する。図11に示すように、
再生している映像に対して関連映像の再生要求があった
場合は、関連映像の再生はシーン単位で行う。
The video feature value storage device 32 stores information on the start and end points of each scene in addition to the color feature values and the start and end points of each shot. The video signal search is performed for each shot in the same manner as in the first embodiment. However, when similar shots exist, the shots including the shots are not described in the related information instead of assuming that the shots are related. Describe as related. As shown in FIG.
When a related video is requested to be reproduced for the video being reproduced, the related video is reproduced in scene units.

【0044】次に、本発明の第5の実施例を説明する。
本発明の第5の実施例は、図7の本発明の第4の実施形
態の具体的な例である。本発明の第5の実施例において
は、音声解析装置6としては音声入力装置とそのデータ
解析ソフトウェアを用いる。音声解析装置6によって入
力映像信号の音声信号をテキストデータ化し、そこから
キーワードを選出して特徴値として記憶する。例えば、
あるニュースでキャスターが、「本日国会では第2次補
正予算案について討議を行い、首相は…」と話していた
場合、「国会」、「第2次補正予算案」、「首相」とい
う単語がキーワードとして切り出され、そのショットお
よびシーンの特徴値として色特徴値と同様に記憶され
る。ショットの検索の際にはあらかじめ決められた個数
以上同じキーワードを持っているショットを関連ショッ
トとして検出する。
Next, a fifth embodiment of the present invention will be described.
The fifth embodiment of the present invention is a specific example of the fourth embodiment of the present invention shown in FIG. In the fifth embodiment of the present invention, a voice input device and its data analysis software are used as the voice analysis device 6. The audio signal of the input video signal is converted into text data by the audio analysis device 6, and a keyword is selected therefrom and stored as a feature value. For example,
In a news story, a caster said, “We are discussing the second supplementary budget today in the Diet and the Prime Minister is…”. It is cut out as a keyword and stored as the feature value of the shot and the scene in the same manner as the color feature value. When searching for shots, shots having the same keyword in a predetermined number or more are detected as related shots.

【0045】[0045]

【発明の効果】本発明によれば、記憶された映像信号の
中から現在視聴している映像に関連する映像信号を検出
して関連映像を視聴することができるから、限られた時
間において関連する映像を効率よく視聴することができ
る。
According to the present invention, it is possible to detect a video signal related to a currently viewed video from stored video signals and view the related video, so that the related video can be viewed for a limited time. You can efficiently watch the video you do.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施形態としての映像視聴装置
を示すブロック図である。
FIG. 1 is a block diagram illustrating a video viewing device according to a first embodiment of the present invention.

【図2】図1の映像視聴装置の動作を説明するための流
れ図である。
FIG. 2 is a flowchart for explaining the operation of the video viewing device of FIG. 1;

【図3】本発明の第2の実施形態としての映像視聴装置
を示すブロック図である。
FIG. 3 is a block diagram illustrating a video viewing device according to a second embodiment of the present invention.

【図4】図3の映像視聴装置の動作を説明するための流
れ図である。
FIG. 4 is a flowchart for explaining the operation of the video viewing device of FIG. 3;

【図5】本発明の第3の実施形態としての映像視聴装置
を示すブロック図である。
FIG. 5 is a block diagram showing a video viewing device as a third embodiment of the present invention.

【図6】図5の映像視聴装置の動作を説明するための流
れ図である。
FIG. 6 is a flowchart for explaining the operation of the video viewing device of FIG. 5;

【図7】本発明の第4の実施形態としての映像視聴装置
を示すブロック図である。
FIG. 7 is a block diagram showing a video viewing device as a fourth embodiment of the present invention.

【図8】本発明の映像視聴装置の映像関連情報の表示の
一例を示す図である。
FIG. 8 is a diagram showing an example of display of video-related information of the video viewing device of the present invention.

【図9】本発明の第2の実施例において映像信号の特徴
値の算出で行うクラスタリングを説明するための図であ
る。
FIG. 9 is a diagram for explaining clustering performed in calculating a feature value of a video signal in the second embodiment of the present invention.

【図10】本発明の第4の実施例におけるシーンを説明
するための図である。
FIG. 10 is a diagram for explaining a scene in a fourth embodiment of the present invention.

【図11】本発明の第4の実施例における映像関連情報
の再生を説明するための図である。
FIG. 11 is a diagram for explaining reproduction of video-related information according to a fourth embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1 映像入力装置 2 データ処理装置 3 記憶装置 4 ユーザインタフェース装置 5 映像要求信号入力装置 6 音声解析装置 21 映像特徴値算出装置 22 映像検索装置 31 映像記憶装置 32 映像特徴値記憶装置 33 映像関連情報記憶装置 41 再生表示装置 42 ユーザ入力装置 51 映像構造化装置 61 音声認識装置 62 単語分割装置 REFERENCE SIGNS LIST 1 video input device 2 data processing device 3 storage device 4 user interface device 5 video request signal input device 6 audio analysis device 21 video feature value calculation device 22 video search device 31 video storage device 32 video feature value storage device 33 video related information storage Device 41 Playback display device 42 User input device 51 Video structuring device 61 Speech recognition device 62 Word segmentation device

フロントページの続き Fターム(参考) 5C025 BA27 CA02 CA09 CA16 5C052 AA01 AC08 DD08 EE03 FA04 FA05 FA06 FB01 FB05 5C053 FA07 FA23 HA29 KA24 LA06 LA11 Continued on the front page F term (reference) 5C025 BA27 CA02 CA09 CA16 5C052 AA01 AC08 DD08 EE03 FA04 FA05 FA06 FB01 FB05 5C053 FA07 FA23 HA29 KA24 LA06 LA11

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 動画像信号および音声信号を含む入力映
像信号を記憶する入力映像記憶手段と、 該入力映像記憶手段に記憶された所定の入力映像信号の
所定の位置から再生する映像再生手段と、 前記入力映像信号の特徴値を算出する映像特徴値算出手
段と、 該映像特徴値算出手段により算出された前記特徴値を記
憶する映像特徴値記憶手段と、 前記映像特徴値算出手段からの前記特徴値が前記映像特
徴値記憶手段の前記特徴値のいずれかと類似するか否か
を検索して類似することを検索した時に、これらの特徴
値が関連していることを示す映像関連情報を作成する映
像検索手段と、 該映像検索手段からの前記映像関連情報を記憶する映像
関連情報記憶手段と、 該映像関連情報記憶手段が前記映像関連情報を記憶した
時に前記映像関連情報の存在を表示して視聴者に通知す
る関連情報通知手段と、 該関連情報通知手段により通知された前記映像関連情報
が示す前記特徴値に対応する前記入力映像記憶手段に記
憶されている前記映像信号の再生を要求する関連映像視
聴要求信号を入力する入力手段と、 該入力手段により入力された関連映像視聴要求信号に対
応する前記映像信号を再生する関連映像再生手段とを有
することを特徴とする映像視聴装置。
1. An input video storage means for storing an input video signal including a moving image signal and an audio signal, and a video reproduction means for reproducing from a predetermined position of a predetermined input video signal stored in the input video storage means. A video feature value calculation unit that calculates a feature value of the input video signal; a video feature value storage unit that stores the feature value calculated by the video feature value calculation unit; When a feature value is searched for similarity with any one of the feature values in the video feature value storage means, and when similarity is searched, video related information indicating that these feature values are related is created. Video-related information storage means for storing the video-related information from the video search means; and storing the video-related information when the video-related information storage means stores the video-related information. Related information notifying means for displaying presence and notifying the viewer, and the video signal stored in the input video storage means corresponding to the characteristic value indicated by the video related information notified by the related information notifying means Input means for inputting a related video viewing request signal for requesting playback of the related video, and related video playing means for playing back the video signal corresponding to the related video viewing request signal input by the input means. Video viewing device.
【請求項2】 請求項1に記載の映像視聴装置におい
て、 前記入力映像信号がテレビで放映中のテレビ番組の映像
信号であることを特徴とする映像視聴装置。
2. The video viewing apparatus according to claim 1, wherein the input video signal is a video signal of a television program being broadcast on a television.
【請求項3】 請求項1に記載の映像視聴装置におい
て、 前記入力映像信号が記憶されたテレビ番組の映像信号で
あることを特徴とする映像視聴装置。
3. The video viewing apparatus according to claim 1, wherein the input video signal is a video signal of a stored television program.
【請求項4】 請求項2および3の1つに記載の映像視
聴装置において、 前記映像特徴値算出手段による前記入力映像の特徴値算
出の単位および前記映像検索手段による検索の単位がカ
メラカットによって区切られる映像信号単位であること
を特徴とする映像視聴装置。
4. The video viewing apparatus according to claim 2, wherein a unit for calculating the feature value of the input video by the video feature value calculating unit and a unit for searching by the video searching unit are camera cut. An image viewing apparatus characterized by being divided into image signal units.
【請求項5】 請求項2および3の1つに記載の映像視
聴装置において、 前記映像特徴値算出手段による前記入力映像の特徴値の
算出の単位および前記映像検索手段による検索の単位が
所定の事象について説明する複数の時間的に連続したシ
ョット単位であることを特徴とする映像視聴装置。
5. The video viewing apparatus according to claim 2, wherein a unit of calculation of the feature value of the input video by the video feature value calculation unit and a unit of search by the video search unit are predetermined. A video viewing apparatus characterized by a plurality of temporally continuous shot units for explaining an event.
【請求項6】 請求項4に記載の映像視聴装置におい
て、 前記映像特徴値算出手段はショットの色特徴値を前記特
徴値として用いることを特徴とする映像視聴装置。
6. The video viewing apparatus according to claim 4, wherein said video feature value calculating means uses a color feature value of a shot as said feature value.
【請求項7】 請求項6に記載の映像視聴装置におい
て、 前記映像特徴値算出手段は、ショット内のフレームを複
数の類似部分に分割し、これらの類似部分毎に代表フレ
ームを作成し、これらの代表フレームの色特徴値を前記
特徴値として用いることを特徴とする映像視聴装置。
7. The video viewing apparatus according to claim 6, wherein the video feature value calculating unit divides a frame in the shot into a plurality of similar parts, and creates a representative frame for each of these similar parts. Wherein the color feature value of the representative frame is used as the feature value.
【請求項8】 動画像信号および音声信号を含む入力映
像信号を記憶する入力映像記憶手段と、 該入力映像記憶手段に記憶された所定の入力映像信号の
所定の位置から再生する映像再生手段と、 前記入力映像信号の前記音声信号を認識してテキストデ
ータに変換する音声認識手段と、 該音声認識手段からの前記テキストデータのキーワード
を算出する単語分割手段と、 該単語分割手段からのキーワードと前記入力映像信号の
前記動画像信号との特徴値を算出する映像特徴値算出手
段と、 該映像特徴値算出手段からの前記特徴値を記憶する映像
特徴値記憶手段と、 前記映像特徴値算出手段からの前記特徴値が前記映像特
徴値記憶手段の前記特徴値のいずれかと類似するか否か
を検索して類似することを検索した時に、これらの特徴
値が関連していることを示す映像関連情報を作成する映
像検索手段と、 該映像検索手段からの前記映像関連情報を記憶する映像
関連情報記憶手段と、 該映像関連情報記憶手段が前記映像関連情報を記憶した
時に前記映像関連情報の存在を表示して視聴者に通知す
る関連情報通知手段と、 該関連情報通知手段により通知された前記映像関連情報
が示す前記特徴値に対応する前記入力映像記憶手段に記
憶されている前記映像信号の再生を要求する関連映像視
聴要求信号を入力する入力手段と、 該入力手段により入力された関連映像視聴要求信号に対
応する前記映像信号を再生する関連映像再生手段とを有
することを特徴とする映像視聴装置。
8. An input video storage means for storing an input video signal including a moving image signal and an audio signal, and a video reproduction means for reproducing from a predetermined position of a predetermined input video signal stored in the input video storage means. Speech recognition means for recognizing the audio signal of the input video signal and converting it to text data; word division means for calculating a keyword of the text data from the speech recognition means; and a keyword from the word division means. Video feature value calculating means for calculating a feature value of the input video signal with the moving image signal; video feature value storing means for storing the feature value from the video feature value calculating means; From the image feature value storage means to determine whether or not the feature values are similar to each other. Video search means for creating video related information indicating that the video related information is stored; video related information storage means for storing the video related information from the video search means; and the video related information storage means storing the video related information. Related information notifying means for displaying the presence of the video related information and notifying the viewer at times, and storing in the input video storage means corresponding to the characteristic value indicated by the video related information notified by the related information notifying means Input means for inputting a related video viewing request signal requesting playback of the video signal, and related video playing means for playing the video signal corresponding to the related video viewing request signal input by the input means. A video viewing apparatus characterized by having:
【請求項9】 請求項8に記載の映像視聴装置におい
て、 前記映像特徴値算出手段は、前記入力映像信号に含まれ
る音声信号を認識音声文字に変換し対応するショットま
たはシーン毎に前記認識音声文字を特徴値として用いる
ことを特徴とする映像視聴装置。
9. The video viewing apparatus according to claim 8, wherein the video feature value calculating means converts an audio signal included in the input video signal into a recognized voice character and outputs the recognized voice for each corresponding shot or scene. A video viewing apparatus characterized by using characters as feature values.
JP11197799A 1999-04-20 1999-04-20 Video viewing device Expired - Fee Related JP3196761B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11197799A JP3196761B2 (en) 1999-04-20 1999-04-20 Video viewing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11197799A JP3196761B2 (en) 1999-04-20 1999-04-20 Video viewing device

Publications (2)

Publication Number Publication Date
JP2000308017A true JP2000308017A (en) 2000-11-02
JP3196761B2 JP3196761B2 (en) 2001-08-06

Family

ID=14574876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11197799A Expired - Fee Related JP3196761B2 (en) 1999-04-20 1999-04-20 Video viewing device

Country Status (1)

Country Link
JP (1) JP3196761B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003504952A (en) * 1999-07-09 2003-02-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and apparatus for linking a video segment to another video segment or source

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003504952A (en) * 1999-07-09 2003-02-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Method and apparatus for linking a video segment to another video segment or source

Also Published As

Publication number Publication date
JP3196761B2 (en) 2001-08-06

Similar Documents

Publication Publication Date Title
CA2924065C (en) Content based video content segmentation
KR101644789B1 (en) Apparatus and Method for providing information related to broadcasting program
US9860593B2 (en) Devices, systems, methods, and media for detecting, indexing, and comparing video signals from a video display in a background scene using a camera-enabled device
JP3431789B2 (en) Interactive display and recognition system
KR100915847B1 (en) Streaming video bookmarks
US8214368B2 (en) Device, method, and computer-readable recording medium for notifying content scene appearance
US20060062549A1 (en) Non-linear reproduction control method of multimedia stream and apparatus thereof
CN108293140B (en) Detection of common media segments
JP2002533841A (en) Personal video classification and search system
JP2008148077A (en) Moving picture playback device
KR20000054561A (en) A network-based video data retrieving system using a video indexing formula and operating method thereof
KR20090040758A (en) Method for tagging video and apparatus for video player using the same
KR20150083355A (en) Augmented media service providing method, apparatus thereof, and system thereof
US20110138418A1 (en) Apparatus and method for generating program summary information regarding broadcasting content, method of providing program summary information regarding broadcasting content, and broadcasting receiver
JP4513667B2 (en) VIDEO INFORMATION INPUT / DISPLAY METHOD AND DEVICE, PROGRAM, AND STORAGE MEDIUM CONTAINING PROGRAM
JPH1139343A (en) Video retrieval device
JP2011203821A (en) Information processor, information processing method and program
JP2011239247A (en) Digital broadcast receiver and related information presentation program
CN112291585A (en) Multimedia resource searching method and device, electronic equipment and storage medium
JP3196761B2 (en) Video viewing device
JP2009159437A (en) Information processor, information processing method, and program
KR101930488B1 (en) Metadata Creating Method and Apparatus for Linkage Type Service
Dimitrova et al. Selective video content analysis and filtering
JPH11261909A (en) Multimedia data processor, its method and recording medium
US9400842B2 (en) Method for selection of a document shot using graphic paths and receiver implementing the method

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010508

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080608

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090608

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100608

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100608

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110608

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110608

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120608

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120608

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130608

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees