JP2002049625A - Image retrieval device and image retrieval method - Google Patents

Image retrieval device and image retrieval method

Info

Publication number
JP2002049625A
JP2002049625A JP2000236714A JP2000236714A JP2002049625A JP 2002049625 A JP2002049625 A JP 2002049625A JP 2000236714 A JP2000236714 A JP 2000236714A JP 2000236714 A JP2000236714 A JP 2000236714A JP 2002049625 A JP2002049625 A JP 2002049625A
Authority
JP
Japan
Prior art keywords
cut
image
input
attribute information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000236714A
Other languages
Japanese (ja)
Inventor
Fumio Maehara
文雄 前原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telecommunications Advancement Organization
Panasonic Holdings Corp
Original Assignee
Telecommunications Advancement Organization
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telecommunications Advancement Organization, Matsushita Electric Industrial Co Ltd filed Critical Telecommunications Advancement Organization
Priority to JP2000236714A priority Critical patent/JP2002049625A/en
Publication of JP2002049625A publication Critical patent/JP2002049625A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To make it possible to retrieve an image by a spontaneous sentence, and to directly retrieve a corresponding spot of the image. SOLUTION: This invention is constituted so that, in registering images, an editing cut point is detected and a key word is inputted regarding this corresponding portion, and, in retrieving, an independent word morpheme obtained by analyzing a natural language is collated with the key word, and the corresponding image or the corresponding cut is retrieved.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、必要な画像を検索
して取り出す画像検索装置および画像検索方法に関する
ものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image retrieval apparatus and an image retrieval method for retrieving and extracting a required image.

【0002】[0002]

【従来の技術】この種の従来の装置としては、例えば
「知識工学と人工知能」56−9、pp.65−72に
示されているものがある。以下、図4を用いて従来の画
像検索システムについて説明する。図4は、従来の画像
検索システムの構成図を示す図である。
2. Description of the Related Art A conventional apparatus of this kind is described in, for example, "Knowledge Engineering and Artificial Intelligence", 56-9, pp. 139-143. 65-72. Hereinafter, a conventional image search system will be described with reference to FIG. FIG. 4 is a diagram showing a configuration diagram of a conventional image search system.

【0003】図4において、画像蓄積部40には各種画
像が予め記録されている。推論エンジン41は、ユーザ
ーによって対話インターフェイス42から入力された入
力文章を推論する。対話インターフェイス42は、キー
ボードなどの入力装置である。画像記述部44は、画像
検出動作時に、画像蓄積部40に格納された画像を、画
像記憶フレーム44a、構成要素インスタンスフレーム
44b、および構成要素クラスフレーム44cに分けて
格納する。画像記録フレーム44aは、画像情報を格納
する部分である。
In FIG. 4, various images are recorded in an image storage section 40 in advance. The inference engine 41 infers an input sentence input from the interactive interface 42 by the user. The interactive interface 42 is an input device such as a keyboard. The image description unit 44 stores the image stored in the image storage unit 40 into an image storage frame 44a, a component instance frame 44b, and a component class frame 44c during the image detection operation. The image recording frame 44a is a part for storing image information.

【0004】構成要素インスタンスフレーム44bは、
画像を検出するために使用される、ツリー構造をした見
出しを格納する部分である。構成要素クラスフレーム
は、画像を検出するために使用される見出しに使用され
る名詞、動詞などの言語情報である。
[0004] The component instance frame 44b is:
This part stores a tree-structured heading used for detecting an image. The component class frame is linguistic information such as a noun and a verb used for a heading used for detecting an image.

【0005】画像解釈知識部43は、推論エンジン41
に画像検出の際の知識を与える。具体的には、画像解釈
知識部43は、画像蓄積部40に蓄積されている画像と
見出し格納手段である構成要素インスタンスフレーム4
4bに対してさらに詳細な情報を与える部分である。例
えば、「家」であっても「大きな家」「小さな家」「赤い
家」等が存在する。画像解釈知識部43は、推論エンジ
ン41にこれらの情報をあたえ、これらが全て「家」と
いう情報を指すという情報を与える。従って推論エンジ
ンに「家」という情報が入力されても画像蓄積部40で
はその候補として画像解釈知識部43に記憶されている
すべての「家」を候補として画像記憶フレーム44aに
出力する。
[0005] The image interpretation knowledge section 43 includes an inference engine 41.
Gives the knowledge for image detection. Specifically, the image interpretation knowledge unit 43 stores the image stored in the image storage unit 40 and the component instance frame 4 serving as a heading storage unit.
4b is a section for giving more detailed information to 4b. For example, even if it is a "house", there are a "large house", a "small house", a "red house", and the like. The image interpretation knowledge unit 43 gives these information to the inference engine 41, and gives information that these all indicate the information of "house". Therefore, even if the information “house” is input to the inference engine, the image storage unit 40 outputs all the “houses” stored in the image interpretation knowledge unit 43 as candidates to the image storage frame 44a as candidates.

【0006】次に、以上のように構成された従来の画像
検索システムの画像検索動作について説明する。
Next, an image search operation of the conventional image search system configured as described above will be described.

【0007】ユーザーが「人の映っている画像」を得た
い場合、ユーザーは対話インターフェイス42を操作し
て、適当な画像検索要求として「人」と入力する。する
と、推論エンジン41が、構成要素クラスフレーム44
cを参照し、画像記録フレーム44aから「人」という
見出しがつけられた画像を検出する。
[0007] When the user wants to obtain an "image showing a person", the user operates the interactive interface 42 and inputs "person" as an appropriate image search request. Then, the inference engine 41 executes the component class frame 44
With reference to c, an image with a heading "person" is detected from the image recording frame 44a.

【0008】また、ユーザーが「四角い窓の有る家の画
像」を得たい場合、ユーザーは対話インターフェイス4
2を操作して、適当な画像検索要求として、「家」、
「窓」、「四角い」と階層的になった情報を入力する。
すると、推論エンジン41が、構成要素インスタンスフ
レーム44bに記述されているツリー構造の見出しを、
「家」、「窓」、「四角い」というようにたどることに
より、画像記録フレーム44aから四角い窓のある家」
に該当する画像を検索する。
When the user wants to obtain “an image of a house with a square window”, the user must use the interactive interface 4.
2. Operate 2 and select "house",
Input the hierarchical information such as “window” and “square”.
Then, the inference engine 41 finds the heading of the tree structure described in the component instance frame 44b,
By tracing “house”, “window”, “square”, and the like, the house having a square window from the image recording frame 44a ”
Search for images that match.

【0009】このように、画像検出に使用する見出しを
ツリー構造にすることにより、「四角い窓の有る家」な
どの長い画像検索要求を、「家」、「窓」、「四角い」
というような短く一般的な画像検索要求にして画像検索
できる。また、画像検索要求を「家」、「窓」、「四角
い」という短く一般的な単語にすることで、検索のヒッ
ト率が上がり、画像検索効率が上がる。
As described above, by making the headings used for image detection into a tree structure, a long image search request such as "a house having a square window" can be used for "house", "window", "square".
An image search can be made using a short general image search request such as that described above. In addition, by making the image search request a short and general word such as “house”, “window”, and “square”, the search hit rate increases and the image search efficiency increases.

【0010】[0010]

【発明が解決しようとする課題】しかしながら、上記構
成は、静止画像を対象としたものであり、動画像のよう
に色々な場面が登場するものは、画像検索要求の種類が
膨大な数になる。よって、画像を検索するための見出し
をツリー構造で構成した場合であっても、ツリーの種類
が膨大な数になるので、見出しをツリー構造で記述する
ことも困難である。
However, the above-described configuration is intended for still images, and in the case of various scenes such as moving images, the number of image search requests is enormous. . Therefore, even when a heading for searching for an image is configured in a tree structure, the number of types of trees is enormous, and it is difficult to describe the heading in a tree structure.

【0011】また、従来のシステムは、見出しに用いら
れる言葉が限定されている。このため、操作者は、シス
テムの見出しにあった画像検索情報を使用しなくてはな
らない。このため、操作者は使える画像検索情報を調べ
てから検索をしなくてはならないという不都合があっ
た。
[0011] Further, in the conventional system, words used for headings are limited. For this reason, the operator must use the image search information corresponding to the headline of the system. For this reason, there is a disadvantage that the operator has to search for usable image search information before searching.

【0012】また、任意に与えられた自然言語を解析し
て画像を検索しようとすることも考えられるが、この場
合,自然言語に含まれる膨大な数の単語を見出しにする
必要がある。よって、見出しをツリー構造で構成した場
合であっても、ツリーの種類が膨大となり実用上、実現
が困難である。
It is also conceivable to try to search for an image by analyzing a given natural language, but in this case, it is necessary to make an enormous number of words included in the natural language a headline. Therefore, even when the headings are configured in a tree structure, the number of types of trees is enormous, and it is practically difficult to realize.

【0013】本発明はかかる点に鑑みてなされたもので
あり、大容量の動画像の蓄積映像に対して、その内容に
該当する映像を検索可能とする画像検索装置を提供する
ことを目的とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and has as its object to provide an image retrieval apparatus capable of retrieving a video corresponding to the content of a large-capacity moving video. I do.

【0014】[0014]

【課題を解決するための手段】本発明は、動画をカット
映像に分割し、夫々のカット映像に対してカット属性を
入力し、入力された画像検出情報と入力されたカット属
性情報とを比較し、一致するカット属性情報を含むカッ
ト映像を取り出すものである。
SUMMARY OF THE INVENTION The present invention divides a moving image into cut images, inputs cut attributes for each cut image, and compares input image detection information with input cut attribute information. Then, a cut image including the matching cut attribute information is extracted.

【0015】これにより、カット属性の数が削減され
る。よって、大容量の映像に対してもカット属性を用い
た検索システムが可能になる。
As a result, the number of cut attributes is reduced. Therefore, a search system using a cut attribute for a large-capacity video becomes possible.

【0016】[0016]

【発明の実施の形態】本発明の第1の態様にかかる画像
検索装置は、入力映像を蓄積する映像蓄積手段と、前記
入力映像の編集カット点を検出する編集カット点検出手
段と、検出された前記編集カット点間のカット映像に対
応するカット属性情報を入力するカット属性情報入力手
段と、前記映像蓄積部の映像を検索するための検索情報
を入力する検索情報入力手段と、入力された前記検索情
報と前記カット属性情報との比較を行う比較手段と、前
記比較手段での比較結果から、入力された前記検索情報
と一致する前記カット属性情報を有する前記カット映像
を前記映像蓄積手段から抽出し、出力する判断手段と、
を具備した構成を採る。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An image retrieval apparatus according to a first aspect of the present invention comprises: video storage means for storing an input video; edit cut point detection means for detecting an edit cut point of the input video; Cut attribute information input means for inputting cut attribute information corresponding to the cut image between the edit cut points, search information input means for inputting search information for searching for a video in the video storage unit, A comparison unit that compares the search information with the cut attribute information, and from the comparison result obtained by the comparison unit, the cut image having the cut attribute information that matches the input search information is output from the image storage unit. Extracting means for extracting and outputting,
Is adopted.

【0017】この構成により、カット映像単位でカット
属性情報を持てるため、カット属性の数を抑制すること
ができる。また、入力画像をその内容の変化が大きい編
集カット点毎に区切ることで、動画像をその内容に応じ
て適切に区切ることができる。さらに、このように内容
が大きく変化していることが想定されるカット画像毎に
カット属性を入力することで、すべての画情報に対して
カット属性情報を持たせることに近い精度で所望の検索
ができる。
According to this configuration, the number of cut attributes can be reduced because the cut attribute information can be stored in units of cut images. In addition, by dividing the input image at each edit cut point where the change in the content is large, the moving image can be appropriately divided according to the content. Further, by inputting a cut attribute for each cut image in which the content is expected to change greatly, a desired search can be performed with an accuracy close to having cut attribute information for all image information. Can be.

【0018】本発明の第2の態様は、第1の態様にかか
る画像検索装置において、前記カット映像に対応カット
属性情報は、前記編集カット点の位置に対応する映像に
対して入力される構成を採る。
According to a second aspect of the present invention, in the image search device according to the first aspect, the cut attribute information corresponding to the cut image is input to the image corresponding to the position of the edit cut point. Take.

【0019】この構成により、このように画像の内容の
変化が大きい編集カット点の静止画像に対してカット属
性を入力することにより、画像の特徴を適切に表すカッ
ト属性を入れることができる。この結果、確実に画像検
索を行うことができる。
According to this configuration, by inputting the cut attribute to the still image at the edit cut point where the content of the image greatly changes, the cut attribute appropriately representing the feature of the image can be entered. As a result, an image search can be reliably performed.

【0020】本発明の第3の態様は、第1の態様または
第2の態様にかかる画像検索装置において、前記検索情
報入力手段により入力される入力文字列に対し、その構
文を解析し、前記検索情報を抽出する構文解析手段を具
備し、前記比較手段は、前記構文解析手段により得られ
た前記検索情報と前記カット属性情報記憶手段との比較
を行う構成を採る。
According to a third aspect of the present invention, in the image retrieval apparatus according to the first aspect or the second aspect, the syntax of an input character string inputted by the retrieval information input means is analyzed, and A syntactic analysis means for extracting search information is provided, and the comparing means adopts a configuration for comparing the search information obtained by the syntactic analysis means with the cut attribute information storage means.

【0021】この構成により、自然言語を入力すること
により検索情報やカット属性情報を抽出できるので、入
力された任意の自然言語に対し該当する映像を検索でき
る。これにより、操作者が普段使用している言語で各種
情報を入力できるので、操作者が容易に検索情報やカッ
ト属性情報を入力できる。
According to this configuration, since search information and cut attribute information can be extracted by inputting a natural language, a video corresponding to an arbitrary input natural language can be searched. This allows the operator to input various types of information in the language he or she usually uses, so that the operator can easily input search information and cut attribute information.

【0022】本発明の第4の態様は、第1の態様から第
3の態様にかかる画像検索装置において、入力されたす
べての前記検索情報に対応する前記カット属性情報を有
する前記カット映像が複数ある場合、当該複数の前記カ
ット映像を表示手段に表示し、表示された複数の前記カ
ット映像から選択された一つの前記カット映像を出力す
る構成を採る。
According to a fourth aspect of the present invention, in the image retrieval apparatus according to any one of the first to third aspects, a plurality of cut images having the cut attribute information corresponding to all of the inputted search information are provided. In some cases, the plurality of cut images are displayed on a display unit, and one cut image selected from the displayed plurality of cut images is output.

【0023】この構成により、入力された検索情報に対
応するカット属性情報を含むカット映像が複数ある場合
であっても、操作者が表示された複数の候補であるカッ
ト映像をみながら、適切なカット映像を検索できる。
With this configuration, even when there are a plurality of cut images including cut attribute information corresponding to the inputted search information, the operator can view appropriate cut images as a plurality of candidates while viewing the cut images. You can search for cut images.

【0024】本発明の第5の態様は、第1の態様から第
3の態様にかかる画像検索装置において、入力された前
記検索情報に対応する前記カット属性情報をすくなくと
も一つ以上有する前記カット映像が複数ある場合、当該
複数の前記カット映像の各々について入力された前記カ
ット属性情報との一致が最も多い前記カット映像から順
位付けし、当該順位を対応する前記カット画像を共に表
示し、表示された前記カット映像から選択された一つの
前記カット映像を出力する構成を採る。
According to a fifth aspect of the present invention, in the image retrieval apparatus according to any one of the first to third aspects, the cut image having at least one or more of the cut attribute information corresponding to the inputted search information is provided. When there is a plurality, the cut images having the highest match with the cut attribute information input for each of the plurality of cut images are ranked from the cut image, and the cut images corresponding to the rank are displayed together and displayed. And outputting one cut image selected from the cut images.

【0025】この構成により、入力されたすべての検索
情報に対応するカット属性情報を含むカット映像がない
場合であっても、一致したカット属性情報数に応じて順
位付けをし、順位付けしたものを表示することで、操作
者が表示された複数の候補をみながら、適切なカット映
像を検索できる。
With this configuration, even when there is no cut image including cut attribute information corresponding to all the input search information, ranking is performed in accordance with the number of matched cut attribute information, and the ranking is determined. Is displayed, the operator can search for an appropriate cut image while looking at the displayed plurality of candidates.

【0026】本発明の第6の態様は、第1の態様から第
5の態様にかかる画像検索装置において、情報入力手段
に音声もしくは手書き文字を文字列符号に変換する認識
手段を設け、前記認識手段により認識された前記文字列
符号を前記カット属性情報および前記検索情報とする構
成を採る。
According to a sixth aspect of the present invention, in the image retrieval device according to the first to fifth aspects, the information input means is provided with a recognition means for converting voice or handwritten characters into a character string code. The character string code recognized by the means is used as the cut attribute information and the search information.

【0027】この構成により、手書き文章や,音声をに
よってカット属性情報、検索情報を入力することが可能
である。これにより、キーボードなどを操作して文字入
力を行うことが不得意な操作者であっても容易に、カッ
ト属性情報、検索情報を入力できる。
With this configuration, it is possible to input cut attribute information and search information by handwritten text or voice. Thus, even an operator who is not good at inputting characters by operating a keyboard or the like can easily input cut attribute information and search information.

【0028】本発明の第7の態様は、入力映像の編集カ
ット点を検出し、検出された前記編集カット点間のカッ
ト映像に対応するカット属性情報を入力する工程と、前
記入力映像を検索するための検索情報を入力する工程
と、入力された前記検索情報と前記カット属性情報との
比較を行い、入力された前記検索情報と一致する前記カ
ット属性情報を有する前記カット映像を前記映像蓄積手
段から抽出し、出力する工程と、を具備した画像検索方
法である。
According to a seventh aspect of the present invention, a step of detecting an edit cut point of an input image, inputting cut attribute information corresponding to a cut image between the detected edit cut points, and searching the input image Inputting search information for performing the search, comparing the input search information with the cut attribute information, and storing the cut image having the cut attribute information that matches the input search information with the image storage Extracting from the means and outputting.

【0029】本発明の第8の態様は、コンピュータに、
入力映像の編集カット点を検出させ、入力された、前記
編集カット点間のカット映像に対応するカット属性情報
と、入力された検索情報と前記カット属性情報との比較
を行わせ、入力された前記検索情報と一致する前記カッ
ト属性情報を有する前記カット映像を前記入力画像から
抽出し、出力させるプログラムを格納したことを特徴と
するコンピュータ読取可能な記憶媒体である。
According to an eighth aspect of the present invention, there is provided a computer comprising:
The edit cut point of the input video is detected, and the cut attribute information corresponding to the input cut video between the edit cut points is input, and the input search information and the cut attribute information are compared. A computer-readable storage medium storing a program for extracting the cut image having the cut attribute information matching the search information from the input image and outputting the cut image.

【0030】以下、本発明の一実施の形態にかかる画像
検索装置ついて図面を参照して説明する。図1は、上記
実施の形態における映像検索装置のブロック図を示すも
のである。
Hereinafter, an image retrieval apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows a block diagram of the video search device in the above embodiment.

【0031】図1において、映像蓄積部1は、外部から
の入力映像を蓄積する手段であり、大容量の映像をデー
タベースとして蓄積する。
In FIG. 1, an image storage unit 1 is means for storing an externally input image, and stores a large amount of images as a database.

【0032】また、編集カット点検出部2は、蓄積すべ
き映像の入力に際し、該当映像の編集カット点を検出す
る手段である。編集カット点検出部2が行う編集カット
点検出方式は、入力映像フレームの特徴量(DCT係数
等)と後続するフレームの特徴量の差が一定閾値を越え
る部分を編集カット点とする方式が一般的であり、これ
を改良した特願平09−101429号公報等の技術が
使用可能である。
The edit cut point detector 2 is a means for detecting an edit cut point of a video when the video to be stored is input. The edit cut point detection method performed by the edit cut point detection unit 2 generally employs a method in which a portion where a difference between a feature amount (such as a DCT coefficient) of an input video frame and a feature amount of a subsequent frame exceeds a certain threshold is set as an edit cut point. It is possible to use an improved technique such as that disclosed in Japanese Patent Application No. 09-101429.

【0033】編集カット点記憶部3は、編集カット点検
出部2が検出した編集カット点に対応する位置情報(タ
イムコードもしくはフレーム番号など)を記憶する手段
である。映像管理部4は、入力映像に対して映像蓄積部
1の位置を示す番地を割り付け、編集カット点検出部2
により検出された編集カット点と映像蓄積部1に蓄積さ
れている該当映像の編集カット点番地を対応づける手段
である。
The edit cut point storage section 3 is means for storing position information (such as a time code or a frame number) corresponding to the edit cut point detected by the edit cut point detection section 2. The video management unit 4 assigns an address indicating the position of the video storage unit 1 to the input video, and the edit cut point detection unit 2
Is a means for associating the edit cut point detected by the above with the edit cut point address of the relevant video stored in the video storage unit 1.

【0034】表示部5は、編集カット点検出部2で検出
された編集カット点を先頭とするカット映像を順次表示
する。また、表示部5は、編集カット点検出部2で検出
された編集カット点の位置の静止画像も順次表示する。
なお、カット映像とは、編集カット点から次の編集カッ
ト点までの映像である。また、表示部5は、後述する編
集カット点のカット属性情報をあわせて表示する。
The display section 5 sequentially displays cut images starting from the edit cut point detected by the edit cut point detection section 2. The display unit 5 also sequentially displays still images at the positions of the edit cut points detected by the edit cut point detection unit 2.
Note that the cut video is a video from an edit cut point to the next edit cut point. The display unit 5 also displays cut attribute information of an edit cut point, which will be described later.

【0035】カット属性情報入力部6は、カット映像に
対してカット属性情報を入力する手段である。また、カ
ット属性情報記憶部7は、カット属性情報入力部6から
入力されたカット属性情報を編集カット点記憶部3の記
憶番地との対比において記憶する。
The cut attribute information input section 6 is means for inputting cut attribute information for a cut image. Further, the cut attribute information storage unit 7 stores the cut attribute information input from the cut attribute information input unit 6 in comparison with the storage address of the edited cut point storage unit 3.

【0036】検索情報入力部8は、入力された素材映像
に対しての、検索情報を文章で入力する手段である。カ
ット属性情報入力部6および検索情報入力部8は、キー
ボードなどの文字入力が可能な手段である。
The search information input section 8 is a means for inputting search information for the input material video as a sentence. The cut attribute information input unit 6 and the search information input unit 8 are means capable of inputting characters such as a keyboard.

【0037】構文解析部90は、検索情報入力部8から
入力された入力文章に対して構文解析を行う。構文解析
部90には、形態素解析部9と言語形態素辞書10が設
けられている。形態素解析部9は、言語形態素辞書10
とのマッチングを取ることによって形態素解析を行い文
章の内容を判断する。言語形態素辞書10の中には日本
語の辞書から抽出された自立語の辞書である自立語辞書
と、付属語が記憶されている付属語辞書が設けられてい
る。
The syntax analysis section 90 performs syntax analysis on the input text input from the search information input section 8. The syntax analyzer 90 includes a morphological analyzer 9 and a linguistic morphological dictionary 10. The morphological analysis unit 9 includes a language morphological dictionary 10
The morphological analysis is performed by taking the matching with, and the content of the sentence is determined. The linguistic morphological dictionary 10 includes an independent word dictionary which is a dictionary of independent words extracted from a Japanese dictionary, and an auxiliary word dictionary in which auxiliary words are stored.

【0038】比較部11は、構文解析部90により解析
された文章内容と、カット属性情報記憶部7の内容を順
次比較する。
The comparing section 11 sequentially compares the contents of the sentence analyzed by the syntax analyzing section 90 with the contents of the cut attribute information storage section 7.

【0039】判定部12は、比較部11での比較の結果
が該当する映像の全カット映像において、一致するカッ
ト属性情報の総和が最も多いカット映像から順にその順
位を判定する。また、判定部12は、比較部11での比
較の結果が該当する全カット映像の全編集カット点から
一致するカット属性情報の多いカット映像の編集カット
点の順位を判定する。そして、判定部12は、該当カッ
ト映像の先頭番地および編集カット点番地を映像管理部
4に与える。
The judging unit 12 judges the order of the cut images having the largest sum of the corresponding cut attribute information in all the cut images of the images to which the result of the comparison by the comparing unit 11 is applicable. Further, the determination unit 12 determines the order of the edit cut point of the cut video having a large number of cut attribute information that matches from all the edit cut points of all the cut videos to which the result of the comparison by the comparison unit 11 is applicable. Then, the determination unit 12 provides the video management unit 4 with the start address of the cut video and the edit cut point address.

【0040】映像管理部4は、判定部12からの判定結
果に基づき、カット映像先頭番地もしくは該当編集カッ
ト点番地から映像蓄積部1の蓄積映像の先頭番地から全
部もしくは該当カット映像部分のみを検索映像出力とし
て出力する。
Based on the judgment result from the judging section 12, the picture management section 4 retrieves all or only the cut video portion from the start address of the video stored in the video storage section 1 from the start address of the cut video or the corresponding edit cut point address. Output as video output.

【0041】表示方法入力部13は、判定部12で判定
された結果に基づき該当映像に含まれる全カット映像に
おけるカット属性情報の一致数が最も多いカット映像の
みを第1候補として表示部5に表示する。また、検出の
結果、抽出されたカット映像を検索映像出力(素材映像
出力)として出力するか、第1、第2、・・候補のカッ
ト映像を順次出力するかは、操作者の表示方法入力部1
3からの入力により決定できる。また、カット属性一致
数が最も多いカット映像のみを表示するか、カット映像
の第1候補、第2候補・・を順次表示するかも、操作者
の表示方法入力部13からの入力により決定できる。ま
た、検索結果をカット映像で表示するか、編集カット点
の静止画像で表示するかも、操作者の表示方法入力部1
3からの入力により決定できる。
Based on the result determined by the determination unit 12, the display method input unit 13 displays only the cut image having the largest number of matches of the cut attribute information in all the cut images included in the relevant image as the first candidate on the display unit 5. indicate. Whether the cut video extracted as a result of the detection is output as a search video output (material video output) or the first, second,... Candidate cut video is sequentially output is determined by a display method input by the operator. Part 1
3 can be determined. Whether to display only the cut image having the largest number of cut attribute matches or to sequentially display the first candidate, the second candidate,... Of the cut image can be determined by the input from the display method input unit 13 by the operator. Whether the search result is displayed as a cut image or as a still image at an edit cut point may be displayed by the operator's display method input unit 1.
3 can be determined.

【0042】この表示方法入力部13から入力された情
報は判定部12に入力され、判定部12は、カット映像
の出力方式もしくはカット映像の表示方式を選択する。
また、表示方法入力部13は、コンピュータのキーボー
ド等の一般的な入力手段である。
The information input from the display method input unit 13 is input to the determination unit 12, and the determination unit 12 selects a cut image output method or a cut image display method.
The display method input unit 13 is a general input unit such as a computer keyboard.

【0043】また、認識部14は、音声や手書き文字な
どを入力したとき、これを文字列符号に変換する。これ
により、ユーザーが音声や手書き文字などでカット属性
情報および検索情報を入力しても、これを認識部14が
文字列符号に変換できる。よって、カット属性情報およ
び検索情報を音声や手書き文字などで入力できる。ま
た、音声や手書き文字の入力には公知の音声認識装置や
文字認識装置を用いることができる。音声認識装置の一
例としては特開昭59−160199号公報 「音声認
識装置」 前原文雄他等がある。
When inputting voice, handwritten characters, and the like, the recognizing unit 14 converts them into a character string code. As a result, even if the user inputs the cut attribute information and the search information by voice, handwritten characters, or the like, the recognition unit 14 can convert them into a character string code. Therefore, the cut attribute information and the search information can be input by voice, handwritten characters, and the like. A well-known voice recognition device or character recognition device can be used for inputting voice or handwritten characters. Japanese Patent Laid-Open Publication No. Sho 59-160199 discloses an example of a speech recognition apparatus, such as Fumio Maehara and others.

【0044】以下、上記のように構成された映像検索装
置の動作を、図2および図3を用いて説明する。図2
は、上記実施の形態にかかる入力映像と編集カット点と
カット属性情報の対応を説明する図である。図3は、上
記実施の形態にかかる表示部における表示の一例を示す
図である。
Hereinafter, the operation of the video search apparatus configured as described above will be described with reference to FIGS. FIG.
FIG. 8 is a diagram for explaining correspondence between an input video, an edit cut point, and cut attribute information according to the embodiment. FIG. 3 is a diagram illustrating an example of a display on the display unit according to the embodiment.

【0045】図中21の示されるものは、映像蓄積部1
に格納される入力映像である。入力映像21は、編集カ
ット点検出部2により編集カット点が検出され、複数の
カット映像で構成されている。22で示されるものは、
入力映像22に該当する編集カット点位置の映像(静止
画もしくは動画)である。編集カット点映像22は、編
集カット点記憶部3に記憶される。23で示されるもの
は、編集カット点映像22に対応して入力された各カッ
トのカット属性情報を示す。カット属性情報23は、カ
ット属性情報記憶部7に格納される。
In the figure, reference numeral 21 denotes a video storage unit 1
Is the input video stored in the. The input video 21 is composed of a plurality of cut videos, where an edit cut point is detected by the edit cut point detection unit 2. The one indicated by 22 is
This is a video (still image or moving image) at the edit cut point position corresponding to the input video 22. The edit cut point video 22 is stored in the edit cut point storage unit 3. Reference numeral 23 indicates cut attribute information of each cut input corresponding to the edited cut point video 22. The cut attribute information 23 is stored in the cut attribute information storage unit 7.

【0046】例えば「山田と鈴木が富士山に登山してい
る。」という内容の映像を登録する場合の動作について
説明する。
An operation for registering an image having a content "Yamada and Suzuki are climbing Mt. Fuji" will be described.

【0047】入力映像21は図1に示す映像蓄積部1に
入力される。また、この際に、映像管理部4により入力
映像21が映像蓄積部1に記憶された記憶番地が記憶さ
れる。入力映像21が入力されると同時に編集カット点
検出部3が、編集における編集カット点を検出する。一
般的に、入力映像21の編集カット点は複数個存在す
る。例えば一時間程度の入力映像21には、平均50程
度の編集カット点が存在する。
The input video 21 is input to the video storage unit 1 shown in FIG. At this time, the storage address where the input video 21 is stored in the video storage unit 1 by the video management unit 4 is stored. At the same time as the input video 21 is input, the edit cut point detector 3 detects an edit cut point in editing. Generally, there are a plurality of edit cut points of the input video 21. For example, an input video 21 of about one hour has about 50 edit cut points on average.

【0048】そして、表示部5は、先ずカット映像の先
頭画面を1枚(編集カット点の位置の静止画像)、もし
くは複数のカット画像の編集カット点の位置の静止画像
を複数枚同時に一覧表の形で表示する。このときに表示
部5に、表示される映像の1例を図3に示す。
Then, the display unit 5 first lists the first screen of the cut image as one (still image at the position of the edit cut point) or a plurality of still images at the position of the edit cut point at the same time. Display in the form of FIG. 3 shows an example of an image displayed on the display unit 5 at this time.

【0049】操作者のカット属性情報入力部6からの入
力により、順次編集カット点から次の編集カット点まで
の連続したカット表示映像32(図中では4枚同時表示
の例)を表示部5の表示画面31に表示する。この際、
現在カット属性情報を入力しようとしているカット映像
をカット属性情報入力部6から入力された指示により、
動画もしくはこれを停止して静止画として表示する。
According to the input from the cut attribute information input unit 6 by the operator, a continuous cut display image 32 (an example of simultaneous display of four images in the figure) from the successive edit cut point to the next edit cut point is displayed on the display unit 5. Is displayed on the display screen 31. On this occasion,
According to the instruction input from the cut attribute information input unit 6, the cut image for which the cut attribute information is currently to be input is input.
Display a moving image or a still image by stopping it.

【0050】操作者は、表示画面31に表示されたカッ
ト映像の内容に従って関連するカット属性情報をカット
属性情報入力部6から入力する。そして、表示部5に表
示されている該当カット映像との対応において、入力さ
れたカット属性情報を表示すると共にカット属性情報記
憶部7に入力する。カット映像22とカット属性情報2
3との対比を図2に示す。また、カット映像22の表示
とカット属性情報23の表示の一実施例を図3の31お
よび33で示す。
The operator inputs the relevant cut attribute information from the cut attribute information input unit 6 in accordance with the content of the cut image displayed on the display screen 31. Then, in response to the corresponding cut image displayed on the display unit 5, the input cut attribute information is displayed and input to the cut attribute information storage unit 7. Cut image 22 and cut attribute information 2
2 is shown in FIG. One embodiment of the display of the cut image 22 and the display of the cut attribute information 23 is shown by 31 and 33 in FIG.

【0051】この場合、例えば第1カット映像が「静岡
県の風物」というタイトルであれば、操作者はカット属
性情報として例えば「タイトル」、「静岡」、「風物」
等を入力する。そして、第3カットには「タイトル」、
「静岡」、「風物」がカット属性情報としてカット属性
情報記憶部7に登録される。
In this case, for example, if the first cut image is titled “Future of Shizuoka Prefecture”, the operator can use, for example, “Title”, “Shizuoka”, “Future” as cut attribute information.
And so on. And in the third cut, "Title"
“Shizuoka” and “feature” are registered in the cut attribute information storage unit 7 as cut attribute information.

【0052】また、第2カット映像で「富士山」の映像
が映されておれば、操作者はカット属性情報として例え
ば「富士山」、「日本一」、「高い山」等の関連すると
判断されるカット属性を入力する。そして、第2カット
映像には「富士山」、「日本一」、「高い山」がカット
属性情報としてカット属性情報記憶部7に登録される。
If the image of "Mt. Fuji" is shown in the second cut image, the operator judges that the cut attribute information is related to, for example, "Mt. Fuji", "Best in Japan", "High mountain", and the like. Enter the cut attribute. In the second cut image, “Mt. Fuji”, “Best in Japan”, and “High Mountain” are registered in the cut attribute information storage unit 7 as cut attribute information.

【0053】また、第3カット映像で「山田」、「鈴
木」なる人物が登場すれば操作者はこれもカット属性情
報として入力する。そして、第3カットには「山田」、
「鈴木」がカット属性情報としてカット属性情報記憶部
7に登録される。
If the characters "Yamada" and "Suzuki" appear in the third cut image, the operator also inputs this as cut attribute information. And in the third cut, "Yamada"
“Suzuki” is registered in the cut attribute information storage unit 7 as cut attribute information.

【0054】また、第4カット映像において2人が登山
しているカット映像が有った場合、操作者はカット属性
情報入力部6から「登山」というカット属性情報を入力
する。そして、第4カットには「登山」がカット属性情
報としてカット属性情報記憶部7に登録される。
If there is a cut image in which two persons are climbing in the fourth cut image, the operator inputs cut attribute information “climbing” from the cut attribute information input unit 6. For the fourth cut, “climbing” is registered in the cut attribute information storage unit 7 as cut attribute information.

【0055】以上の操作を、入力映像21の全カット映
像について行う。実際には、この他にも操作者の判断に
よってその他の種々のカット属性情報が入力される。
The above operation is performed for all cut images of the input image 21. Actually, other various cut attribute information is input according to the judgment of the operator.

【0056】次に映像を検索する場合の動作について説
明する。例として検索情報入力部9より「富士山に山田
と鈴木が登山している。」という文章が入力された場合
を考える。
Next, the operation for retrieving a video will be described. As an example, consider a case where a sentence “Yamada and Suzuki are climbing Mt. Fuji” is input from the search information input unit 9.

【0057】検索情報入力部8に「富士山に山田と鈴木
が登山している。」と入力されると、形態素解析部9
は、言語形態素辞書10の自立語辞典および付属語辞典
を参照する。自立語辞典の中には、「富士山」「山田」
「鈴木」「登山」などの自立語が付属語辞典の中には、
「て」「に」「の」「を」「が」「いる」の付属語が入
っている。形態素解析部9は、検索情報入力部8からの
入力文章を自立語辞書から順に比較を行い、マッチング
したものを解析結果とみなす。また、形態素解析部9
は、検索情報入力部8からの入力文章が自立語辞典の中
の複数個の自立語とマッチングした場合は一番長い自立
語をマッチング結果とする。
When "Yamada and Suzuki are climbing Mt. Fuji" is input to the search information input unit 8, the morphological analysis unit 9
Refers to the independent word dictionary and the attached word dictionary of the language morphological dictionary 10. "Mt. Fuji" and "Yamada" in the independent dictionary
Independent words such as "Suzuki" and "climbing" are included in the attached dictionary,
Includes the attached words "te", "ni", "no", "wo", "ga", and "is". The morphological analysis unit 9 compares input sentences from the search information input unit 8 in order from the independent word dictionary, and regards a result of the matching as an analysis result. The morphological analysis unit 9
If the input sentence from the search information input unit 8 matches a plurality of independent words in the independent word dictionary, the longest independent word is used as the matching result.

【0058】次に、形態素解析部9は、検索情報入力部
8からの入力文章から自立語を省いた部分に対して付属
語辞書を用いてマッチングを行い付属語の判定を行う。
そして、次に、形態素解析部9は、マッチングのとれた
付属語と自立語に対して付属語カット属性に関する結合
が可能かどうかのチェックを行う。この結果、接続可能
な自立語と付属語の対が決定できれば構文解析を終了
し、決定できなければマッチングのとれた第2候補の付
属語に対して同様の操作を行う。そして、形態素解析部
9は、「富士山」「山田」「鈴木」「登山」を自立語と
して出力する。
Next, the morphological analysis unit 9 performs matching by using an attached word dictionary for a part of the sentence input from the search information input unit 8 from which the independent word is omitted, and determines an attached word.
Next, the morphological analysis unit 9 checks whether or not it is possible to combine the attached word and the independent word with respect to the attached word cut attribute. As a result, if a pair of a connectable independent word and an adjunct word can be determined, the syntactic analysis ends, and if it cannot be determined, the same operation is performed on the matched second candidate adjunct word. Then, the morphological analysis unit 9 outputs “Mt. Fuji”, “Yamada”, “Suzuki”, and “climbing” as independent words.

【0059】このように、形態素解析部9により、入力
された任意の自然言語から自立語を解析できる。
As described above, the morphological analysis unit 9 can analyze an independent word from an input natural language.

【0060】比較部11では、形態素解析部9から出力
された自立語と、カット属性情報記憶部7に記憶されて
いる文字との比較を行う。そして、比較部11は、カッ
ト属性情報として「富士山」が記憶されている編集カッ
ト点に該当する映像の番地並びにその編集カット点位置
をカット映像候補として判定部12に出力する。以下、
比較部11は、同様の動作を繰り返し「山田」「鈴木」
に該当する編集カット点、カット映像の蓄積番地を選び
だす。そして、比較部11は、以上の動作を映像蓄積部
1に蓄積されている全カット映像に対して行う。
The comparison unit 11 compares the independent word output from the morphological analysis unit 9 with the character stored in the cut attribute information storage unit 7. Then, the comparison unit 11 outputs the address of the video corresponding to the edit cut point in which “Mt. Fuji” is stored as the cut attribute information and the position of the edit cut point to the determination unit 12 as a cut video candidate. Less than,
The comparing unit 11 repeats the same operation as “Yamada”, “Suzuki”
Select the edit cut point corresponding to and the storage address of the cut image. Then, the comparison unit 11 performs the above operation on all cut images stored in the image storage unit 1.

【0061】当然、映像蓄積部1には多数のカット映像
が蓄積されているので、入力された検索情報と同じカッ
ト属性情報を含むカット映像は一つとは限らず、複数存
在することもある。またカット属性情報の全てが含まれ
るカット映像が必ず存在するとも限らない。
Naturally, since a large number of cut images are stored in the image storage unit 1, the number of cut images containing the same cut attribute information as the input search information is not limited to one, but may be plural. In addition, there is not always a cut video including all of the cut attribute information.

【0062】そこで、判定部12では比較部11の結果
に基づき該当映像の全カット映像において一致したカッ
ト属性情報数の総和ならびに、登録されているカット映
像の各々について該当カット属性情報との一致が最も多
いカット映像から順に第1候補、第2候補というように
候補順位を決定する。
Accordingly, the determination unit 12 determines, based on the result of the comparison unit 11, the sum of the number of pieces of cut attribute information matching in all the cut images of the corresponding video, and the matching of the registered cut images with the corresponding cut attribute information. The candidate ranking is determined in the order of the most-cut video, such as the first candidate and the second candidate.

【0063】そして、判定部12は、この決定した候補
順位をカット映像にあわせて表示部5に表示する。ある
いは、判定部12は、カット属性情報の一致が最も多い
カット映像のみを順に表示部5に表示する。この場合、
表示部5にカット映像を第1候補のみを表示するか、複
数の候補のカット映像を表示するかするか、あるいは第
1候補のカット部の画像のみを表示するか、複数のカッ
ト部の画像を表示するかは、操作者が表示方法入力部1
3からその旨を入力することにより選択できる。この選
択方法は、コンピュータなどに用いられる公知の手段に
より可能である。
Then, the determination unit 12 displays the determined candidate order on the display unit 5 in accordance with the cut image. Alternatively, the determination unit 12 displays only the cut images with the highest matching of the cut attribute information on the display unit 5 in order. in this case,
Whether to display only the first candidate of the cut image on the display unit 5, display the cut images of a plurality of candidates, display only the image of the first candidate cut unit, or display the image of the plurality of cut units. Is displayed by the operator in the display method input unit 1.
3 can be selected by inputting that effect. This selection method can be performed by a known means used for a computer or the like.

【0064】そして、操作者は表示内容に従い、表示情
報入力部13からの入力により、必要とする映像を先頭
から、もしくは該当カット属性情報の入っているカット
映像から任意に選択して検索映像出力として取り出す。
Then, according to the display content, the operator selects the required video from the beginning or from the cut video containing the corresponding cut attribute information and arbitrarily selects the required video by inputting from the display information input unit 13. Take out as.

【0065】このようにして、入力されたすべての検索
情報に対応するカット属性情報を含むカット映像がない
場合であっても、一致したカット属性情報数に応じて順
位付けをし、順位付けをしたものを表示することで、操
作者が表示部5に表示された複数の候補をみながら、適
切なカット映像を検索できる。
As described above, even when there is no cut image including cut attribute information corresponding to all the input search information, ranking is performed in accordance with the number of matched cut attribute information, and ranking is performed. By displaying the result, the operator can search for an appropriate cut image while viewing a plurality of candidates displayed on the display unit 5.

【0066】また、このようにして順位付けをした結
果、第1候補となるカット映像が複数あった場合であっ
ても、表示部5に第1候補となる複数のカット映像を表
示し、操作者が表示部5に表示された複数の第1候補の
カット映像をみながら、適切なカット映像を検索でき
る。
As a result of ranking in this way, even when there are a plurality of cut images as the first candidates, a plurality of cut images as the first candidates are displayed on the display unit 5 and the operation is performed. The user can search for an appropriate cut image while viewing the plurality of first candidate cut images displayed on the display unit 5.

【0067】また、操作者に選択させることなく、順位
つけした結果、第1候補となるカット映像を検索画像と
して出力しても良い。
Further, as a result of ranking, a cut image as a first candidate may be output as a search image without the operator making a selection.

【0068】また、入力された検索情報に対応するカッ
ト属性情報を含むカット映像が複数ある場合であって
も、表示部5に対応するカット属性情報を含む複数のカ
ット映像を表示し、操作者が表示部5に表示された複数
の候補をみながら、適切なカット映像を検索できる。
Even when there are a plurality of cut images including cut attribute information corresponding to the input search information, a plurality of cut images including cut attribute information corresponding to the display unit 5 are displayed, and Can search for an appropriate cut image while viewing a plurality of candidates displayed on the display unit 5.

【0069】なお、上記実施の形態ではカット属性情報
入力部6、検索情報入力部8、表示方法入力部13は、
図1ではそれぞれ別々の入力装置として記載されている
が、これらはコンピュータのキーボード等で実現可能で
あり、同一の入力手段を共用することが可能である。
In the above embodiment, the cut attribute information input unit 6, the search information input unit 8, and the display method input unit 13
Although shown in FIG. 1 as separate input devices, these can be realized by a computer keyboard or the like, and can share the same input means.

【0070】また、認識部14を使用することで、手書
き文章や,音声をによってカット属性情報、検索情報を
入力することが可能である。これにより、キーボードな
どを操作して文字入力を行うことが不得意な操作者であ
っても容易に、カット属性情報、検索情報を入力でき
る。
Further, by using the recognizing unit 14, it is possible to input cut attribute information and search information by handwritten text or voice. Thus, even an operator who is not good at inputting characters by operating a keyboard or the like can easily input cut attribute information and search information.

【0071】また、上記実施の形態においては、編集カ
ット点検出部2、映像管理部4、構文解析部90、比較
部11、判定部12の動作をプログラムとしてCD−R
OMなどの記憶媒体に記憶し、編集カット点検出部2、
映像管理部4、構文解析部90、比較部11、判定部1
2の動作をコンピュータを用いてソフトウエア的に実現
することを想定し、映像蓄積部1、編集カット点記憶部
3、カット属性情報記憶部7には、コンピュータの記憶
部が使用されることを想定している。
In the above-described embodiment, the operations of the edit cut point detection unit 2, the video management unit 4, the syntax analysis unit 90, the comparison unit 11, and the determination unit 12 are implemented as programs as CD-Rs.
Stored in a storage medium such as an OM, and an edit cut point detection unit 2;
Video management unit 4, syntax analysis unit 90, comparison unit 11, determination unit 1
Assuming that the operation of step 2 is realized by software using a computer, it is assumed that a storage unit of the computer is used for the video storage unit 1, the edit cut point storage unit 3, and the cut attribute information storage unit 7. I assume.

【0072】しかし、これに限らず、上記実施の形態に
かかる映像検出装置を編集カット点検出部2、映像管理
部4、構文解析部90、比較部11、判定部12の機能
を備えた専用のハードウエア回路で実現することも可能
である。
However, the present invention is not limited to this, and the video detecting apparatus according to the above-described embodiment may be a dedicated video processing device having the functions of the edit cut point detecting unit 2, the video managing unit 4, the syntax analyzing unit 90, the comparing unit 11, and the determining unit 12. It is also possible to realize by the hardware circuit of FIG.

【0073】また、上記実施の形態では素材映像が外部
から入力される形態で説明したが、、素材映像を予めプ
ログラムと共にCD−ROMなどの記憶媒体に格納して
おく形態であっても良い。また、上記実施の形態では、
カット属性情報を後から操作者が入力する形態で説明し
たが、カット属性情報を素材映像を作成者などにより予
め入力しておいても良い。
Further, in the above-described embodiment, the description has been made of the form in which the material video is input from the outside. However, the material video may be stored in advance in a storage medium such as a CD-ROM together with the program. In the above embodiment,
In the above description, the cut attribute information is input by the operator later, but the cut attribute information may be input in advance by the creator of the material video.

【0074】以上のように、上記実施の形態によれば、
カット映像単位でカット属性を持つため、大容量の動画
像の蓄積映像に対してもカット属性の数を抑制すること
ができる。また、動画像をその内容の変化が大きい編集
カット点毎に区切ることで、動画像をその内容に応じて
適切に区切ることができる。さらに、このように内容が
大きく変化していることが想定されるカット画像毎にカ
ット属性を入力することで、すべての画情報に対してカ
ット属性情報を持たせることに近い精度で所望の検索が
できる。
As described above, according to the above embodiment,
Since a cut attribute is provided for each cut image, the number of cut attributes can be suppressed even for a large-capacity moving image stored image. In addition, by dividing the moving image at each edit cut point where the change in the content is large, the moving image can be appropriately divided according to the content. Further, by inputting a cut attribute for each cut image in which the content is expected to change greatly, a desired search can be performed with an accuracy close to having cut attribute information for all image information. Can be.

【0075】さらに、上記実施の形態では、編集カット
点の静止画像に対してカット属性を入力することも可能
である。このように、画像の内容の変化が大きい編集カ
ット点の静止画像に対してカット属性を入力することに
より、画像の特徴を適切に表すカット属性を入れること
ができる。この結果、確実に画像検索を行うことができ
る。
Further, in the above embodiment, it is also possible to input a cut attribute for a still image at an edit cut point. As described above, by inputting the cut attribute to the still image at the edit cut point where the change of the content of the image is large, it is possible to insert the cut attribute appropriately representing the feature of the image. As a result, an image search can be reliably performed.

【0076】また、上記実施の形態によれば、自然言語
から自立語を抽出できるので、入力された任意の自然言
語に対し該当する映像を検索できる。つまり、画像検索
の場合に、例えば「富士山に山田が登山している」とい
う一連の文章で記述されたカット属性から映像を検索す
ることができる。これにより、操作者が普段使用してい
る言語で各種情報を入力できるので、操作者が容易にカ
ット属性や検索用の情報を入力できる。
Further, according to the above embodiment, independent words can be extracted from a natural language, so that a video corresponding to any input natural language can be searched. That is, in the case of an image search, for example, a video can be searched from a cut attribute described in a series of sentences such as “Yamada is climbing Mt. Fuji”. This allows the operator to input various types of information in the language he or she usually uses, so that the operator can easily input cut attributes and search information.

【0077】また、該当する映像の中で特定のカット属
性情報を有する映像部分を直接検索することができる。
つまり、画像検索の場合に、例えば「富士山」と入力し
た場合「富士山」を含むいくつかのカットを直接検索擦
ることができる。
Further, it is possible to directly search for a video portion having specific cut attribute information in the relevant video.
That is, in the case of image search, for example, when "Mt. Fuji" is input, several cuts including "Mt. Fuji" can be directly searched and rubbed.

【0078】また、上記実施の形態によれば、パターン
認識部14を用いることにより、手書き文字認識や音声
の入力によりカット属性入力、検索情報を入力すること
が可能である。
Further, according to the above embodiment, by using the pattern recognition unit 14, it is possible to input cut attributes and search information by handwritten character recognition and voice input.

【0079】[0079]

【発明の効果】以上に説明したように、本発明によれば
動画像に対して、その内容的確に表すカット属性(キー
ワード)を効率よく入力できる。また、本発明によれ
ば、自然言語の文章から映像を効率よく検索できる。さ
らに、本発明によれば、映像のうち、最も入力文章の言
葉に近いカット映像を直接を取り出すことができる。こ
れにより、大容量の映像データ―ベースを高速かつ効率
よく検索できる。
As described above, according to the present invention, it is possible to efficiently input a cut attribute (keyword) accurately representing the content of a moving image. Further, according to the present invention, a video can be efficiently searched for from a sentence in a natural language. Further, according to the present invention, it is possible to directly extract a cut image closest to the words of the input sentence from the images. As a result, a large-capacity video database can be searched quickly and efficiently.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明における一実施の形態にかかる映像検索
装置のブロック図
FIG. 1 is a block diagram of a video search device according to an embodiment of the present invention.

【図2】上記実施の形態にかかる入力映像と編集カット
点、カット属性情報の対応を説明する図
FIG. 2 is a view for explaining the correspondence between an input video, an edit cut point, and cut attribute information according to the embodiment;

【図3】上記実施の形態にかかる編集カット点並びに映
像カットとそのカット属性情報の表示の一例を説明する
FIG. 3 is a view for explaining an example of display of an edit cut point, a video cut and its cut attribute information according to the embodiment;

【図4】従来の画像検索システムのブロック図FIG. 4 is a block diagram of a conventional image search system.

【符号の説明】[Explanation of symbols]

1 映像蓄積部 2 編集カット点検出部 3 編集カット点記憶部 4 映像管理部 5 表示部 6 カット属性情報入力部 7 カット属性情報記憶部 8 検索情報入力部 11 比較部 12 判定部 13 表示方法入力部 14 認識部 90 構文解析部 DESCRIPTION OF SYMBOLS 1 Video storage part 2 Edit cut point detection part 3 Edit cut point storage part 4 Video management part 5 Display part 6 Cut attribute information input part 7 Cut attribute information storage part 8 Search information input part 11 Comparison part 12 Judgment part 13 Display method input Part 14 Recognition part 90 Syntax analysis part

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/76 G10L 3/00 551G 5/91 H04N 5/91 N Fターム(参考) 5B075 ND12 NK02 NK25 PP02 PP03 PP07 PP13 PP24 PQ02 PQ46 PQ72 5C052 AB02 AB04 AC08 CC06 CC20 EE03 5C053 FA14 HA29 HA40 JA01 JA16 JA30 KA26 LA06 LA11 5D015 KK01 KK02 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 5/76 G10L 3/00 551G 5/91 H04N 5/91 NF Term (Reference) 5B075 ND12 NK02 NK25 PP02 PP03 PP07 PP13 PP24 PQ02 PQ46 PQ72 5C052 AB02 AB04 AC08 CC06 CC20 EE03 5C053 FA14 HA29 HA40 JA01 JA16 JA30 KA26 LA06 LA11 5D015 KK01 KK02

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 入力映像を蓄積する映像蓄積手段と、前
記入力映像の編集カット点を検出する編集カット点検出
手段と、検出された前記編集カット点間のカット映像に
対応するカット属性情報を入力するカット属性情報入力
手段と、前記映像蓄積部の映像を検索するための検索情
報を入力する検索情報入力手段と、入力された前記検索
情報と前記カット属性情報との比較を行う比較手段と、
前記比較手段での比較結果から、入力された前記検索情
報と一致する前記カット属性情報を有する前記カット映
像を前記映像蓄積手段から抽出し、出力する判断手段
と、を具備したことを特徴とする画像検索装置。
1. An image storage means for storing an input image, an edit cut point detecting means for detecting an edit cut point of the input image, and cut attribute information corresponding to a cut image between the detected edit cut points. Cut attribute information input means for inputting, search information input means for inputting search information for searching for a video in the video storage unit, and comparison means for comparing the input search information with the cut attribute information; ,
Judging means for extracting, from the video accumulating means, the cut image having the cut attribute information that matches the input search information from the comparison result by the comparing means, and outputting the cut image. Image search device.
【請求項2】 前記カット映像に対応カット属性情報
は、前記編集カット点の位置に対応する映像に対して入
力されることを特徴とする請求項1に記載の画像検索装
置。
2. The image search apparatus according to claim 1, wherein the cut attribute information corresponding to the cut video is input for a video corresponding to the position of the edit cut point.
【請求項3】 前記検索情報入力手段により入力される
入力文字列に対し、その構文を解析し、前記検索情報を
抽出する構文解析手段を具備し、前記比較手段は、前記
構文解析手段により得られた前記検索情報と前記カット
属性情報記憶手段との比較を行うことを特徴とする請求
項1または請求項2に記載の画像検索装置。
3. A syntactic analysis means for analyzing the syntax of an input character string input by the search information input means and extracting the search information, wherein the comparison means is provided by the syntax analysis means. 3. The image search device according to claim 1, wherein the search information obtained is compared with the cut attribute information storage unit.
【請求項4】 入力されたすべての前記検索情報に対応
する前記カット属性情報を有する前記カット映像が複数
ある場合、当該複数の前記カット映像を表示手段に表示
し、表示された複数の前記カット映像から選択された一
つの前記カット映像を出力することを特徴とする請求項
1から請求項3のいずれかに記載の画像検索装置。
4. When there are a plurality of cut images having the cut attribute information corresponding to all the inputted search information, the plurality of cut images are displayed on a display means, and the displayed plurality of cut images are displayed. The image search device according to claim 1, wherein one of the cut images selected from the images is output.
【請求項5】 入力された前記検索情報に対応する前記
カット属性情報をすくなくとも一つ以上有する前記カッ
ト映像が複数ある場合、当該複数の前記カット映像の各
々について入力された前記カット属性情報との一致が最
も多い前記カット映像から順位付けし、当該順位を対応
する前記カット画像を共に表示し、表示された前記カッ
ト映像から選択された一つの前記カット映像を出力する
ことを特徴とする請求項1から請求項3のいずれかに記
載の画像検索装置。
5. When there is a plurality of cut images having at least one or more pieces of the cut attribute information corresponding to the input search information, the cut image includes a plurality of cut attribute information corresponding to each of the plurality of cut images. The cut image having the highest number of matches is ranked, the cut images corresponding to the rank are displayed together, and one cut image selected from the displayed cut images is output. The image search device according to claim 1.
【請求項6】 情報入力手段に音声もしくは手書き文字
を文字列符号に変換する認識手段を設け、前記認識手段
により認識された前記文字列符号を前記カット属性情報
および前記検索情報とすることを特徴とする請求項1か
ら請求項5のいずれかに記載の記載の画像検索装置。
6. The information input means includes a recognition means for converting voice or handwritten characters into a character string code, and the character string code recognized by the recognition means is used as the cut attribute information and the search information. The image search device according to any one of claims 1 to 5, wherein
【請求項7】 入力映像の編集カット点を検出し、検出
された前記編集カット点間のカット映像に対応するカッ
ト属性情報を入力する工程と、前記入力映像を検索する
ための検索情報を入力する工程と、入力された前記検索
情報と前記カット属性情報との比較を行い、入力された
前記検索情報と一致する前記カット属性情報を有する前
記カット映像を前記映像蓄積手段から抽出し、出力する
工程と、を具備した画像検索方法。
7. A step of detecting an edit cut point of an input video, inputting cut attribute information corresponding to a cut video between the detected edit cut points, and inputting search information for searching the input video. And comparing the input search information with the cut attribute information, extracting the cut image having the cut attribute information that matches the input search information from the image storage unit, and outputting the cut image. An image search method comprising:
【請求項8】 コンピュータに、入力映像の編集カット
点を検出させ、入力された、前記編集カット点間のカッ
ト映像に対応するカット属性情報と、入力された検索情
報と前記カット属性情報との比較を行わせ、入力された
前記検索情報と一致する前記カット属性情報を有する前
記カット映像を前記入力画像から抽出し、出力させるプ
ログラムを格納したことを特徴とするコンピュータ読取
可能な記憶媒体。
8. A computer which detects an edit cut point of an input video, and calculates a relationship between input cut attribute information corresponding to a cut video between the edit cut points, input search information, and the cut attribute information. A computer-readable storage medium storing a program for causing a comparison, extracting the cut video having the cut attribute information that matches the input search information from the input image, and outputting the cut video.
JP2000236714A 2000-08-04 2000-08-04 Image retrieval device and image retrieval method Pending JP2002049625A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000236714A JP2002049625A (en) 2000-08-04 2000-08-04 Image retrieval device and image retrieval method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000236714A JP2002049625A (en) 2000-08-04 2000-08-04 Image retrieval device and image retrieval method

Publications (1)

Publication Number Publication Date
JP2002049625A true JP2002049625A (en) 2002-02-15

Family

ID=18728716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000236714A Pending JP2002049625A (en) 2000-08-04 2000-08-04 Image retrieval device and image retrieval method

Country Status (1)

Country Link
JP (1) JP2002049625A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009517768A (en) * 2005-12-20 2009-04-30 エヌエイチエヌ コーポレーション Video scene search method and scene search system using the same
KR20170087776A (en) 2016-01-21 2017-07-31 주식회사 알티캐스트 Service method and service system for providing self-growing contents based on relationship information
KR20170087775A (en) 2016-01-21 2017-07-31 주식회사 알티캐스트 Service method and service system for providing self-growing contents based on relationship information
JP2021521525A (en) * 2018-05-07 2021-08-26 グーグル エルエルシーGoogle LLC Voice-based search for digital content on the network

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009517768A (en) * 2005-12-20 2009-04-30 エヌエイチエヌ コーポレーション Video scene search method and scene search system using the same
KR20170087776A (en) 2016-01-21 2017-07-31 주식회사 알티캐스트 Service method and service system for providing self-growing contents based on relationship information
KR20170087775A (en) 2016-01-21 2017-07-31 주식회사 알티캐스트 Service method and service system for providing self-growing contents based on relationship information
JP2021521525A (en) * 2018-05-07 2021-08-26 グーグル エルエルシーGoogle LLC Voice-based search for digital content on the network
JP7021368B2 (en) 2018-05-07 2022-02-16 グーグル エルエルシー Voice-based search for digital content on the network
JP2022070886A (en) * 2018-05-07 2022-05-13 グーグル エルエルシー Voice-based search for digital content in network
JP7311653B2 (en) 2018-05-07 2023-07-19 グーグル エルエルシー Voice-based search for digital content in networks
US11776536B2 (en) 2018-05-07 2023-10-03 Google Llc Multi-modal interface in a voice-activated network

Similar Documents

Publication Publication Date Title
US6442540B2 (en) Information retrieval apparatus and information retrieval method
Chen et al. A novel video summarization based on mining the story-structure and semantic relations among concept entities
US20070112838A1 (en) Method and system for classifying media content
CN109558513B (en) Content recommendation method, device, terminal and storage medium
JP5212610B2 (en) Representative image or representative image group display system, method and program thereof, and representative image or representative image group selection system, method and program thereof
US8451292B2 (en) Video summarization method based on mining story structure and semantic relations among concept entities thereof
CN106708905B (en) Video content searching method and device
JPH07114567A (en) Method and device for retrieving video
Kuper et al. Intelligent multimedia indexing and retrieval through multi-source information extraction and merging
JP2009199302A (en) Program, device, and method for analyzing document
JP2007328713A (en) Related term display device, searching device, method thereof, and program thereof
EP1405212B1 (en) Method and system for indexing and searching timed media information based upon relevance intervals
CN113407775A (en) Video searching method and device and electronic equipment
US7949667B2 (en) Information processing apparatus, method, and program
JP2002049625A (en) Image retrieval device and image retrieval method
Zhang et al. A video database system for digital libraries
JP4120597B2 (en) Partial content creation method, apparatus and program
CN114428881A (en) Method and device for pushing media asset video, storage medium and electronic equipment
KR20220135901A (en) Devices, methods and programs for providing customized educational content
CN109284364B (en) Interactive vocabulary updating method and device for voice microphone-connecting interaction
KR101014661B1 (en) System and method for managing multimedia contents
CN117221669B (en) Bullet screen generation method and device
Liu et al. NewsBR: a content-based news video browsing and retrieval system
JP2009048334A (en) Video identification processing apparatus, image identification processing apparatus, and computer program
CN111339391B (en) Novel searching method based on public data

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20040513

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040517

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20040928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060602

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060711