JP2002175311A - Method and device for registering video information, and method and device for retrieving the video information - Google Patents

Method and device for registering video information, and method and device for retrieving the video information

Info

Publication number
JP2002175311A
JP2002175311A JP2000373760A JP2000373760A JP2002175311A JP 2002175311 A JP2002175311 A JP 2002175311A JP 2000373760 A JP2000373760 A JP 2000373760A JP 2000373760 A JP2000373760 A JP 2000373760A JP 2002175311 A JP2002175311 A JP 2002175311A
Authority
JP
Japan
Prior art keywords
video
embedded
feature
information
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000373760A
Other languages
Japanese (ja)
Inventor
Hiroshi Ogawa
宏 小川
Takao Nakamura
高雄 中村
Noboru Sonehara
曽根原  登
Hiroshi Sakai
洋 酒井
Tomio Kishimoto
登美夫 岸本
Tsuneo Okubo
恒夫 大久保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Electronics Corp
Nippon Telegraph and Telephone Corp
Original Assignee
NTT Electronics Corp
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Electronics Corp, Nippon Telegraph and Telephone Corp filed Critical NTT Electronics Corp
Priority to JP2000373760A priority Critical patent/JP2002175311A/en
Publication of JP2002175311A publication Critical patent/JP2002175311A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide technology capable of registering video information for realizing high retrieving accuracy in a video database. SOLUTION: A video featured value is extracted from an image to be registered, the extracted video featured value is embedded in the image to be registered as a format, corresponding to the identification(ID) information of an extraction algorithm and the image in which the video featured value is padded is registered in the video data base by a format corresponding to the video featured value. The video featured value, embedded in a reading image, is detected, an image, in which a video featured value similar to the detected video featured value is embedded, is retrieved from the video data base and outputted. Thus high retrieval accuracy can be realized in accordance with the constitution, by solving the problem of conventional technology which adopts constitution for outputting the video featured value and the image by a communication data format linking both the featured value and the image.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、高い検索精度を実
現する映像情報を映像データベースに登録できるように
する映像情報登録方法及び装置と、その映像情報登録方
法及び装置により登録された映像情報を検索できるよう
にする映像情報検索方法及び装置とに関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video information registration method and apparatus for registering video information realizing a high search accuracy in a video database, and a video information registered by the video information registration method and apparatus. The present invention relates to a video information search method and apparatus for enabling a search.

【0002】[0002]

【従来の技術】図7に示すインタネット映像検索に従っ
て、従来の映像検索について説明する。
2. Description of the Related Art A conventional video search will be described with reference to the Internet video search shown in FIG.

【0003】この図に示すように、エンドユーザ側は、
ターミナル装置を使って映像メディアを検索するための
手段を備え、ネットワーク側のデータベースとはTCP
/IPによる通信手順を用いてホームページ(HP)に
表示される閲覧情報を見ながら目的とするコンテンツ
(映像)を取得するようにしている。
[0003] As shown in this figure, the end user side
Equipped with a means for searching for video media using a terminal device, and the database on the network side is TCP
A target content (video) is obtained while viewing browsing information displayed on a homepage (HP) using a communication procedure based on / IP.

【0004】(1)ネットワーク側のHP部の構成・動
作 HP部には、エンドユーザ側からの検索情報を受信する
受信機能と、検索された映像あるいは閲覧された映像を
ダウンローディングするための送信機能とからなる通信
インタフェースが備えられるとともに、その通信インタ
フェースにリンクする形で設けられるデータベースを操
作するための映像閲覧機能と、その通信インタフェース
と映像を蓄積するデータベースとの間で転送されるコン
テンツの検索情報管理を行う映像管理機能とが備えられ
る。
(1) Configuration and operation of the HP unit on the network side The HP unit has a receiving function of receiving search information from the end user, and a transmission function for downloading searched or browsed images. A communication interface consisting of functions is provided, and a video browsing function for operating a database provided in a form linked to the communication interface, and a content transfer function between the communication interface and the database for storing video. A video management function for managing search information is provided.

【0005】この映像閲覧機能には、閲覧される映像の
一部である静止画が蓄積されており、映像管理機能は、
通信インタフェースから入力するURL情報に基づき、
ユーザ指定される閲覧画像と閲覧画像にリンクするデー
タベースアクセス情報との管理を行う。
[0005] In this video browsing function, a still image which is a part of a video to be browsed is stored.
Based on the URL information input from the communication interface,
It manages browse images specified by the user and database access information linked to the browse images.

【0006】(2)データベースの構成・動作 一方、データベースには、コンテンツ(映像)を蓄積す
る映像コンテンツ蓄積機能と、映像コンテンツ蓄積機能
の検索および蓄積管理を行う映像管理機能とが備えられ
る。
(2) Configuration and Operation of Database On the other hand, the database is provided with a video content storage function for storing content (video), and a video management function for searching and storing management of the video content storage function.

【0007】この映像管理情報における検索ID情報
(本発明では、コンテンツの特徴を示す情報を検索ID
情報と呼ぶ)と、映像コンテンツ蓄積機能の蓄積するコ
ンテンツとはリンクしており、HP部の映像管理機能か
らのアクセス情報に基づき、データベースの映像管理機
能がコンテンツの選択出力を行い、エンドユーザに対し
てコンテンツのダウンロードを行う構成となっている。
[0007] Search ID information in the video management information (In the present invention, information indicating the characteristics of the content is referred to as a search ID
Information) and the content stored by the video content storage function are linked, and the video management function of the database selects and outputs the content based on the access information from the video management function of the HP unit, and provides the end user with the information. On the other hand, the content is downloaded.

【0008】以上述べたように、コンテンツとコンテン
ツのID情報である検索情報とは、映像管理機能を介在
して対応付けられているため、HP部とデータベースと
の間でコンテンツを送る場合には、検索ID情報とコン
テンツとをリンクさせた通信データ形式で通信する必要
がある。
As described above, since the content and the search information as the ID information of the content are associated with each other via the video management function, when the content is transmitted between the HP unit and the database, It is necessary to communicate in a communication data format in which the search ID information and the content are linked.

【0009】従来技術では、具体的には、ヘッダ部分に
検索ID情報を収容するデータ形式を使って、検索ID
情報とコンテンツとをリンクさせて通信するようにして
いる。
In the prior art, specifically, using a data format in which a header portion contains search ID information, a search ID is used.
Information and content are linked for communication.

【0010】[0010]

【発明が解決しようとする課題】しかしながら、従来技
術のように、検索ID情報とコンテンツとをリンクさせ
た通信データ形式で通信するという方法を用いている
と、閲覧環境の構築などのために、データベースから送
られてきたコンテンツをフォーマット変換したり画像編
集処理などを行う際に、通信データ形式のヘッダ部分に
記録される検索ID情報が破壊されることがあるという
問題点がある。
However, when a method of communicating in a communication data format in which search ID information and content are linked as in the prior art is used, the construction of a browsing environment or the like is difficult. When the content sent from the database is subjected to format conversion or image editing processing, there is a problem that the search ID information recorded in the header portion of the communication data format may be destroyed.

【0011】これから、選択された閲覧映像の指す映像
を検索できないことが起こるという問題点がある。
From this, there is a problem that the video pointed to by the selected browsing video cannot be searched.

【0012】更に、従来技術のように、検索ID情報と
コンテンツとをリンクさせた通信データ形式で通信する
という方法を用いていると、その管理体系の運用維持の
ためのコストや労力が膨大なものになるという問題点が
ある。
Further, when a method of communicating search ID information and content in a communication data format is used as in the prior art, the cost and labor for maintaining and operating the management system are enormous. There is a problem that it becomes something.

【0013】本発明はかかる事情に鑑みてなされたもの
であって、高い検索精度を実現する映像情報を映像デー
タベースに登録できるようにする新たな映像情報登録方
法及び装置の提供と、その映像情報登録方法及び装置に
より登録された映像情報を検索できるようにする新たな
映像情報検索方法及び装置の提供とを目的とする。
The present invention has been made in view of the above circumstances, and provides a new video information registration method and apparatus capable of registering video information realizing high retrieval accuracy in a video database, and providing the video information registration method. It is an object of the present invention to provide a new video information search method and apparatus that enables video information registered by a registration method and apparatus to be searched.

【0014】[0014]

【課題を解決するための手段】この目的を達成するため
に、本発明の映像情報登録方法は、複数の抽出アルゴリ
ズムを使って、登録対象の映像から映像特徴量を抽出す
る過程と、その抽出した映像特徴量を、それの抽出に用
いた抽出アルゴリズムの識別情報との対応をとりつつ、
電子透かしを使って登録対象の映像に埋め込む過程と、
映像特徴量の埋め込まれた映像を、その埋め込まれた映
像特徴量との対応をとりつつ映像コンテンツ蓄積部に登
録する過程とを備えるように構成する。
In order to achieve this object, a video information registration method according to the present invention uses a plurality of extraction algorithms to extract a video feature from a video to be registered. The video features that have been extracted, while corresponding to the identification information of the extraction algorithm used to extract them,
The process of embedding in the video to be registered using digital watermark,
Registering the video with the embedded video feature in the video content storage unit while associating the video with the embedded video feature.

【0015】そして、この目的を達成するために、本発
明の映像情報検索方法は、電子透かしを使って映像特徴
量の埋め込まれた閲覧映像を入力する過程と、入力した
閲覧映像から、それに埋め込まれている映像特徴量を検
出する過程と、上述の映像コンテンツ蓄積部にアクセス
することで、その映像コンテンツ蓄積部に記憶される映
像特徴量の中から、検出した映像特徴量に類似するもの
を検索する過程と、映像コンテンツ蓄積部から、検索し
た映像特徴量に対応付けられる映像特徴量の埋め込まれ
た映像を読み出して出力する過程とを備えるように構成
する。
In order to achieve this object, a video information search method according to the present invention comprises the steps of: inputting a browsing video in which a video feature is embedded using a digital watermark; The process of detecting the video features stored in the video content storage unit, and accessing the video content storage unit described above, the video features stored in the video content storage unit that are similar to the detected video feature It is configured to include a step of searching, and a step of reading and outputting, from the video content storage unit, a video in which the video feature amount associated with the searched video feature amount is embedded, and outputting the video.

【0016】この構成に従って、本発明の映像情報登録
方法によれば、登録対象の映像に、映像特徴量が抽出ア
ルゴリズムの識別情報と対応をとられる形で埋め込まれ
て、その映像特徴量の埋め込まれた映像が映像特徴量と
の対応がとられる形で映像コンテンツ蓄積部に登録され
ることになる。
According to this configuration, according to the video information registration method of the present invention, the video feature is embedded in the video to be registered in a form corresponding to the identification information of the extraction algorithm, and the video feature is embedded. The obtained video is registered in the video content storage unit in a form corresponding to the video feature amount.

【0017】そして、この構成に従って、本発明の映像
情報検索方法によれば、この映像コンテンツ蓄積部か
ら、閲覧映像から検出された映像特徴量に類似する映像
特徴量を持つ映像特徴量の埋め込まれた映像が検索され
て、それが出力されることになる。
According to this configuration, according to the video information search method of the present invention, a video feature having a video feature similar to the video feature detected from the browsed video is embedded from the video content storage unit. The retrieved video is retrieved and output.

【0018】このように、本発明によれば、映像特徴量
の埋め込まれた映像が映像データベースに登録されると
ともに、映像特徴量の埋め込まれた映像が映像データベ
ースから検索されて出力されることになることから、映
像特徴量と映像とをリンクさせた通信データ形式で出力
するという構成を採る従来技術が持つ問題点を解決でき
るようになる。
As described above, according to the present invention, the video with the embedded video feature is registered in the video database, and the video with the embedded video feature is retrieved from the video database and output. Therefore, it is possible to solve the problem of the related art that adopts a configuration in which a video feature amount and a video are output in a communication data format in which the video is linked.

【0019】[0019]

【発明の実施の形態】以下、実施の形態に従って本発明
を詳細に説明する。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail according to embodiments.

【0020】図1に、本発明を具備する映像検索システ
ムの全体構成の一実施形態例を図示する。
FIG. 1 shows an embodiment of the overall configuration of a video search system provided with the present invention.

【0021】この図に示すように、本発明を具備する映
像検索システムは、ネットワーク側に位置する検索シス
テム1と、エンドユーザ側に位置するターミナル装置2
とで構成されている。
As shown in this figure, a video search system equipped with the present invention comprises a search system 1 located on the network side and a terminal device 2 located on the end user side.
It is composed of

【0022】この検索システム1は、HP(ホームペー
ジ)部10と、データベース11とを備え、一方、ター
ミナル装置2は、HPアクセス部20と、ダウンローデ
ィング対応部21とを備える。
The search system 1 includes an HP (homepage) unit 10 and a database 11, while the terminal device 2 includes an HP access unit 20 and a download correspondence unit 21.

【0023】次に、これら各部の詳細について説明す
る。
Next, details of these units will be described.

【0024】(1)検索システム1の構成 (a)HP部10の構成 HP部10は、データベース11を利用するエンドユー
ザ側へのインタフェースとしてホームページを提供す
る。
(1) Configuration of the Search System 1 (a) Configuration of the HP Unit 10 The HP unit 10 provides a home page as an interface to the end user using the database 11.

【0025】このHP部10には、データベース11を
操作するためのGUI(グラフィックユーザインタフェ
ース)100と、検索対象となる閲覧映像を蓄積する閲
覧映像蓄積部101と、ユーザ側より送られてくる検索
情報を受信する受信部102と、データベース11より
検索された映像や閲覧映像をダウンローディングするた
めの映像送信部103とが備えられている。
The HP unit 10 includes a GUI (Graphical User Interface) 100 for operating the database 11, a browse video storage unit 101 for storing browse videos to be searched, and a search sent from the user side. A receiving unit 102 for receiving information and a video transmitting unit 103 for downloading a video or a browsing video retrieved from the database 11 are provided.

【0026】映像送信部103によりダウンローディン
グされる閲覧映像は、動画の一部、すなわちフレーム画
像(静止画)あるいは短い連続フレームなどからなり、
これらの閲覧映像には検索対象となる映像の特徴である
属性が電子透かしで埋め込まれている。なお、閲覧映像
には動画の一部ばかりでなく、映画公開の際に展示した
ポスターグラビア等の静止画像なども含まれる。
The browsing video downloaded by the video transmitting unit 103 includes a part of a moving image, that is, a frame image (still image) or a short continuous frame.
Attributes that are features of the video to be searched are embedded with digital watermarks in these browsed videos. The browsed video includes not only a part of the moving image but also a still image such as a poster gravure exhibited when the movie was released.

【0027】(b)データベース11の構成 データベース11に対して、本発明の特徴である電子透
かし処理機能を備えたメディア検索が適用される。本実
施形態例では、データベース11はネットワーク側の検
索システム1に設置されている。
(B) Configuration of Database 11 A media search having a digital watermarking function, which is a feature of the present invention, is applied to the database 11. In the present embodiment, the database 11 is installed in the search system 1 on the network side.

【0028】このデータベース11には、映像コンテン
ツ蓄積部110と、入力インタフェース部111と、出
力インタフェース部112と、ユーティリティ部113
とが備えられている。
The database 11 includes a video content storage section 110, an input interface section 111, an output interface section 112, and a utility section 113.
And are provided.

【0029】(イ)映像コンテンツ蓄積部110には、
検索の対象となる映像が蓄積されている。具体的には、
オリジナルの映像と、オリジナルの映像にリンクする形
で格納される検索ID情報(オリジナルの映像から抽出
された映像の特徴を示す情報)と、オリジナルの映像の
中に検索ID情報が電子透かしで埋め込まれることで作
成されたID埋め込み映像とが蓄積されている。
(A) In the video content storage unit 110,
Videos to be searched are stored. In particular,
The original video, search ID information stored in a form linked to the original video (information indicating characteristics of the video extracted from the original video), and the search ID information embedded in the original video with a digital watermark. And the ID-embedded video created by the operation.

【0030】ここで、ID埋め込み映像の他にオリジナ
ルの映像についても格納するのは、電子透かしのアルゴ
リズムによっては、ID埋め込み映像からオリジナルの
映像のみを取り出すことができない場合があるからであ
る。また、ID埋め込み映像の他に検索ID情報につい
ても格納するのは、ID埋め込み映像からいちいち検索
ID情報を取り出していたのでは、検索性能が落ちるか
らである。
Here, the reason why the original video is stored in addition to the ID-embedded video is that, depending on the digital watermark algorithm, only the original video may not be extracted from the ID-embedded video. The reason why the search ID information is also stored in addition to the ID-embedded video is that if the search ID information is extracted from each of the ID-embedded videos, the search performance is degraded.

【0031】(ロ)入力インタフェース部111は、デ
ータベース11に閲覧映像を入力するためのインタフェ
ースである。この入力インタフェース部111には、非
言語的な検索情報源である閲覧映像に埋め込まれた電子
透かし情報を検出することで、映像の特徴を示す検索I
D情報を生成するための電子透かし検出機能が備えられ
ている。
(B) The input interface unit 111 is an interface for inputting a viewing video to the database 11. The input interface unit 111 detects the digital watermark information embedded in the browse video, which is a non-linguistic search information source, so that the search I
An electronic watermark detection function for generating D information is provided.

【0032】(ハ) 出力インタフェース部112は、検
索ID情報に基づいて検索された映像情報をデータベー
ス11より出力するためのインタフェースである。
(C) The output interface unit 112 is an interface for outputting the video information searched based on the search ID information from the database 11.

【0033】(ニ)ユーティリティ部113は、データ
ベース11のデータ管理、データ入出力の制御を行う。
このユーティリティ部113には、映像コンテンツ蓄積
部110への新規映像情報の追加・更新および蓄積情報
のメンテナンスを行う際に必要となる電子透かし埋め込
み機能、電子透かし検出機能および映像特徴抽出機能が
備えられている。
(D) The utility unit 113 manages data of the database 11 and controls data input / output.
The utility unit 113 includes a digital watermark embedding function, a digital watermark detection function, and a video feature extraction function that are required when adding / updating new video information to the video content storage unit 110 and performing maintenance on the stored information. ing.

【0034】(2)ターミナル装置2の構成 エンドユーザ側は、ターミナル装置2を使って映像メデ
ィアを検索する。
(2) Configuration of Terminal Device 2 The end user uses the terminal device 2 to search for video media.

【0035】このターミナル装置2には、TCP/IP
を用いてホームページに表示される閲覧映像の選択や映
像属性の取得などの処理を行うHPアクセス部20と、
ネットワークを介して送られてくる検索された映像情報
を受信するダウンローディング対応部21とが備えられ
ている。
The terminal device 2 has a TCP / IP
An HP access unit 20 that performs processing such as selection of a browsed video displayed on a homepage and acquisition of a video attribute using
And a downloading support unit 21 for receiving the searched video information transmitted via the network.

【0036】次に、データベース11の詳細な構成につ
いて説明する。
Next, a detailed configuration of the database 11 will be described.

【0037】図2に、データベース11の詳細な構成の
一実施形態例を図示する。図中、図1で説明したものに
ついては同じ記号で示してあり、114は映像コンテン
ツ蓄積部110に蓄積される映像情報を検索する処理を
行う検索部である。
FIG. 2 shows an embodiment of the detailed configuration of the database 11. In the figure, those described with reference to FIG. 1 are denoted by the same symbols, and reference numeral 114 denotes a search unit that performs processing for searching for video information stored in the video content storage unit 110.

【0038】映像コンテンツ蓄積部110は、上述した
理由により、オリジナルの映像と、オリジナルの映像に
リンクする形で格納される検索ID情報と、オリジナル
の映像の中に検索ID情報が電子透かしで埋め込まれる
ことで作成されたID埋め込み映像とを蓄積している。
For the reasons described above, the video content storage unit 110 embeds the original video, the search ID information stored in a form linked to the original video, and the search ID information embedded in the original video with a digital watermark. And the ID-embedded video created as a result.

【0039】ここで、ID埋め込み映像と、その作成元
となったオリジナルの映像との間にはリンクが張られて
おり、従って、ID埋め込み映像と、それに埋め込まれ
ている検索ID情報との間にはリンクが張られている。
Here, a link is provided between the ID-embedded video and the original video from which the ID-embedded video was created. Therefore, the link between the ID-embedded video and the search ID information embedded in the video is embedded. Is linked.

【0040】上述した理由の他に、コンテンツの作成段
階やコンテンツの検索過程では、ID埋め込み映像から
検索ID情報を抽出した状態にしておいた方のが効率的
なので、検索ID情報をID埋め込み映像にリンクして
蓄積するという構成が採られている。
In addition to the above-mentioned reasons, it is more efficient to extract the search ID information from the ID-embedded video during the content creation stage and the content search process. Is linked to and stored.

【0041】映像コンテンツ蓄積部110に蓄積される
映像情報の検索に用いる検索ID情報の内容としては、
例えば以下の属性があり、いずれの属性も検索精度の向
上、および検索速度の短縮の観点から検索に対して有効
に使用される。
The contents of the search ID information used for searching for the video information stored in the video content storage unit 110 include:
For example, there are the following attributes, all of which are effectively used for search from the viewpoint of improving search accuracy and reducing search speed.

【0042】映像の物理的特徴(特性)を表す情報とし
て、シーンチェンジの変化のパタン、オプティカルフロ
ーのパタン等のフレーム変化のパタン、景観等の情報
(他に比べて特徴ある景観シーンを含んでいる場合には
その景観の特徴)など種々のものがある。
As information representing the physical characteristics (characteristics) of the video, information such as a scene change pattern, a frame change pattern such as an optical flow pattern, and a landscape (including a scenery scene which is more characteristic than others). If there are, there are various things.

【0043】検索ID情報として付与するパタン情報に
は、抽出した生データを系統整理・類型化してコード情
報等に置き換えたものを用いた方が検索ID情報量の節
約の観点で有利である。そこで、本発明では、コード情
報等に置き換えられる定量的な値を持つ検索ID情報を
用いるという構成を採っている。
It is more advantageous to use, as the pattern information to be added as the search ID information, data obtained by systematizing and classifying the extracted raw data and replacing it with code information or the like, from the viewpoint of reducing the amount of search ID information. Therefore, the present invention employs a configuration in which search ID information having a quantitative value replaced with code information or the like is used.

【0044】図3に示す映像シーンを具体例にして、本
発明で用いる検索ID情報の一例について説明する。
An example of the search ID information used in the present invention will be described using the video scene shown in FIG. 3 as a specific example.

【0045】この図3において、フレーム#k,#k+
1,#k+2のそれぞれは、映像特徴を抽出するためのブ
ロックに分割されていて、フレーム間で比較する場合の
対応付けは図示するようになる。図3では1フレームを
8ブロックに分割しているが、実際には更に多数のブロ
ックに分割してもよいことは言うまでもない。
In FIG. 3, frames #k and # k +
Each of # 1 and # k + 2 is divided into blocks for extracting video features, and the correspondence when comparing between frames is as shown in the figure. In FIG. 3, one frame is divided into eight blocks, but it goes without saying that actually one frame may be divided into a larger number of blocks.

【0046】図3に示す映像シーンは、街路樹風景シー
ン、海浜風景シーンから構成されていて、街路樹風景シ
ーンは、動きのない(あるいは動きの小さい)背景部と
動物体とからなる。一方、海浜風景シーンは夜景であ
り、YUVからなる映像信号値は街路樹風景シーンより
小さく、動きは小さいものとする。
The video scene shown in FIG. 3 is composed of a street tree scenery scene and a beach scenery scene. The street tree scenery scene includes a background part with no motion (or little motion) and a moving object. On the other hand, it is assumed that the beach scene is a night scene, the video signal value composed of YUV is smaller than the street tree scene, and the motion is smaller.

【0047】このような2つのシーンをもつ映像におい
て、映像の物理的特徴(特性)を表す情報として整理し
た例を図4に示す。
FIG. 4 shows an example in which an image having such two scenes is arranged as information representing physical characteristics (characteristics) of the image.

【0048】ここでは、映像の特徴を抽出するアルゴリ
ズムとして、フレーム間差分値、動きベクトル、オプデ
ィカルフロー、画素のY,U,V 信号平均値を抽出するもの
を想定している。括弧内の数値は1フレームの中で変化
が大きいブロックの数を示しており、このブロック数か
ら動物体の大きさを把握できる。また、フレーム#kに
対するフレーム間差分の比較対象は図示しないフレーム
#k-1であり、フレーム#k-1は動物体を除いて背景は
#kと同じであることを想定している。
Here, it is assumed that an algorithm for extracting a feature of an image extracts an inter-frame difference value, a motion vector, an optical flow, and an average value of Y, U, and V signals of pixels. The numerical value in parentheses indicates the number of blocks having a large change in one frame, and the size of the moving object can be grasped from the number of blocks. The comparison target of the inter-frame difference with respect to the frame #k is a frame # k-1 (not shown), and it is assumed that the background of the frame # k-1 is the same as that of the frame #k except for the moving object.

【0049】なお、オプティカルフローは、動きベクト
ルにハフ変換を施す処理を行う抽出アルゴリズムであ
り、連続的に変化する動きの方向・角度を特定する機能
を有している。
The optical flow is an extraction algorithm for performing a process of performing Hough transform on a motion vector, and has a function of specifying a direction and an angle of a continuously changing motion.

【0050】街路樹風景シーンから海浜風景シーンに切
り替わったシーンチェンジの部分については、例えば、
フレーム間差分値を全ブロックについて判定し、変化の
大きいブロック数を数えることにより特定できる。動き
ベクトルについては、シーンチェンジの場合、フレーム
#kにおける画素信号レベルが比較するフレーム#k+1
に存在しない場合があり、このときには検出不能とな
る。また、オプディカルフローも途切れることになる。
平均画素値はシーン全体の明るさ、色彩に関係し、シー
ンチェンジの判断基準となる。
For the scene change portion where the scene is switched from the street tree scene to the beach scene, for example,
It can be specified by determining the inter-frame difference value for all the blocks and counting the number of blocks having a large change. Regarding the motion vector, in the case of a scene change, the frame # k + 1 is compared with the pixel signal level in the frame #k.
May not exist, and at this time, detection is not possible. In addition, the optical flow is interrupted.
The average pixel value is related to the brightness and color of the entire scene, and serves as a criterion for scene change.

【0051】これらの、映像特徴アルゴリズムはいずれ
も公知であって容易に実現できるものであるが、これら
を多数組み合わせることにより、様々な観点からの映像
特徴を定量化できる。
Although all of these video feature algorithms are known and can be easily realized, by combining a large number of them, the video features from various viewpoints can be quantified.

【0052】また、図4に示す映像特徴は画像空間での
処理であるが、さらに周波数空間での特徴を付加しても
よい。例えば、フレーム毎にフーリエ変換して、空間周
波数ωとパワースペクトルS(ω)の関係を求める。こ
の関係 S(ω)∝ω-D において、S(ω) の減少の程度を規定する正の定数D
(フラクタル次元)が映像景観(例えば山脈の険しさの
程度等)に寄与することが知られており、この定数Dを
検索ID情報に加えてもよい。
Although the video feature shown in FIG. 4 is a process in an image space, a feature in a frequency space may be added. For example, a relationship between the spatial frequency ω and the power spectrum S (ω) is obtained by performing a Fourier transform for each frame. In this relation S (ω) ∝ω- D , a positive constant D defining the degree of reduction of S (ω)
It is known that (fractal dimension) contributes to a video landscape (for example, the degree of steepness of a mountain range), and this constant D may be added to the search ID information.

【0053】本発明では、電子透かしとして映像特徴を
埋め込むことになるが、この場合、各フレーム毎の特徴
ではなく、系統的に整理・類型化したものを検索ID情
報として埋め込んでもよい。例えば、映像の全フレーム
を対象としたフレーム間差分値あるいは動きベクトルの
変化幅や平均値、シーンチェンジの数、フラクタル次元
等の映像特徴の統計量、さらに、映像のシーン毎のフレ
ーム間差分値あるいは動きベクトルの変化幅、フラクタ
ル次元などを検索ID情報として埋め込んでもよい。
In the present invention, video features are embedded as digital watermarks. In this case, instead of features for each frame, systematically organized and categorized information may be embedded as search ID information. For example, the inter-frame difference value for all frames of the video or the change width and average value of the motion vector, the number of scene changes, statistics of video features such as fractal dimension, and the inter-frame difference value for each video scene Alternatively, a change width of a motion vector, a fractal dimension, or the like may be embedded as search ID information.

【0054】このように、映像の特徴を抽出するアルゴ
リズムとして複数のものを用いる場合には、画像特徴抽
出結果は多数の映像特徴の集合となるものの、画像認識
等のような複雑な手段は必要ではなく簡単に実現可能で
ある。物理的特性のパターンが極端な場合であれば、そ
の定量化した値が他の映像と区別する重要な判断材料と
なる。
As described above, in the case where a plurality of algorithms are used as the algorithm for extracting video features, although the image feature extraction result is a set of many video features, complicated means such as image recognition is necessary. It can be easily realized. If the pattern of the physical characteristic is extreme, the quantified value is an important judgment material to distinguish it from other images.

【0055】このような映像特性を用いた方法の特徴は
評価基準を増やすことにより、検索精度が確実に向上す
る。キーワードなどのような人間の感覚に基づく言葉に
よる内容規定では映像識別を完全に記述することが難し
いが、このような映像特性を用いた方法はその問題解決
に有効である。
The feature of the method using such video characteristics is that the search accuracy is surely improved by increasing the evaluation criteria. Although it is difficult to completely describe video identification in the content definition based on human senses such as keywords, a method using such video characteristics is effective in solving the problem.

【0056】もちろん映像内容に係わるものとしてキー
ワード、コメント情報等を付与することは重要であり、
このような映像内容そのものではない情報についても検
索ID情報として用いることができる。また、例えば、
映像の製造、容量、流通等のような映像内容とは無関係
な情報についても、必要に応じて検索ID情報として用
いることができる。
Of course, it is important to add keywords, comment information, and the like as related to the video contents.
Such information other than the video content itself can also be used as search ID information. Also, for example,
Information irrelevant to video content, such as video production, capacity, distribution, etc., can also be used as search ID information as needed.

【0057】このような映像内容に直接的に関係しない
管理情報(キーワードやコメントやその他の情報)を検
索ID情報に加えることで、検索精度の向上を更に図れ
るようになる。
By adding such management information (keywords, comments, and other information) not directly related to the video contents to the search ID information, the search accuracy can be further improved.

【0058】図2の説明に戻るならば、データベース1
1は、映像コンテンツ蓄積部110の他に、入力インタ
フェース部111と、検索部114と、出力インタフェ
ース部112と、ユーティリティ部113とを備えてい
る。
Returning to the description of FIG.
1 includes an input interface unit 111, a search unit 114, an output interface unit 112, and a utility unit 113 in addition to the video content storage unit 110.

【0059】この入力インタフェース部111は、閲覧
映像が選択されるときに、電子透かし検出部1110を
使ってその閲覧映像に埋め込まれている検索ID情報を
検出する処理を行い、検索部114は、映像コンテンツ
蓄積部110に蓄積されている検索ID情報の中から、
この検索された検索ID情報に類似するものを検索する
処理を行い、出力インタフェース部112は、検索され
た検索ID情報とリンクするID埋め込み映像を出力す
る処理を行う。
The input interface unit 111 performs a process of detecting search ID information embedded in the browse video using the digital watermark detection unit 1110 when the browse video is selected. From the search ID information stored in the video content storage unit 110,
The output interface unit 112 performs a process of searching for one similar to the searched search ID information, and outputs the ID-embedded video linked to the searched search ID information.

【0060】入力インタフェース部111の電子透かし
検出部1110は、方式の異なる複数の透かし検出機能
を備えている。電子透かしの埋め込みのアルゴリズムに
は埋め込み対象に合った適性を持つ種々のものがあり、
それらに対応するべく、アルゴリズムの異なる透かし検
出方式1〜Mを備えているのである。
The digital watermark detecting section 1110 of the input interface section 111 has a plurality of watermark detecting functions of different systems. There are various algorithms for embedding digital watermarks that have suitability for the embedding target.
In order to cope with them, watermark detection methods 1 to M having different algorithms are provided.

【0061】この電子透かし検出部1110は、入力さ
れた閲覧映像に対して、あるアルゴリズムでは透かしを
検出できなかった場合(透かしの検出量で評価できる)
には、他のアルゴリズムに切り替えていくことで透かし
を検出する。なお、アルゴリズムの選定が妥当であって
も、検出条件のパラメータ設定が適切でない場合にも透
かし検出ができない。そこで、アルゴリズム選択ととも
に、パラメータ選択の制御を行い、透かしを検出する。
The digital watermark detection unit 1110 detects a watermark from an input browsing image by a certain algorithm (can be evaluated based on the detected amount of the watermark).
, The watermark is detected by switching to another algorithm. Note that even if the selection of the algorithm is appropriate, the watermark cannot be detected even when the parameter setting of the detection condition is not appropriate. Therefore, parameter selection is controlled together with algorithm selection, and a watermark is detected.

【0062】このようにして閲覧映像から検出された電
子透かし情報は検索ID情報として、I/O部を介して
検索部114に入力され、検索部114により該当する
ID埋め込み映像が見つかれば、出力インタフェース部
112を介して、そのID埋め込み映像が出力されるこ
とになる。
The digital watermark information detected from the browsed video is input as search ID information to the search unit 114 via the I / O unit. If the search unit 114 finds the corresponding ID-embedded video, it is output. The ID embedded video is output via the interface unit 112.

【0063】なお、電子透かし検出部1110における
検出アルゴリズムの切り替えや、検出パラメータの設定
や、映像コンテンツ蓄積部110との間のI/O制御は
後述するユーテリティ部113のデータベース制御部1
135によってコントロールされることになる。
The switching of the detection algorithm in the digital watermark detection unit 1110, the setting of the detection parameters, and the I / O control with the video content storage unit 110 are performed by the database control unit 1 of the utility unit 113 described later.
135.

【0064】次に、ユーティリティ部113の詳細な構
成について説明する。
Next, a detailed configuration of the utility section 113 will be described.

【0065】ユーティリティ部113は、上述したよう
に、データベース11のデータ管理、データ入出力の制
御を行う。さらに重要な機能として、映像コンテンツ蓄
積部110への新規映像情報の追加・更新する機能を有
するが、このとき、映像の特徴を抽出し、それを電子透
かしを使って映像に埋め込む処理を行う。そして、映像
コンテンツ蓄積部110に蓄積されているID埋め込み
映像を処理対象として、そのID埋め込み映像に埋め込
まれている検索ID情報(映像特徴情報)を検出して、
それをモニタ出力する処理を行う。
The utility section 113 performs data management of the database 11 and control of data input / output as described above. As an even more important function, it has a function of adding / updating new video information to the video content storage unit 110. At this time, a feature of the video is extracted and embedded in the video using a digital watermark. Then, with the ID embedded video stored in the video content storage unit 110 as a processing target, search ID information (video feature information) embedded in the ID embedded video is detected.
The monitor output is performed.

【0066】これらの処理を行うために、ユーティリテ
ィ部113は、図2に示すように、映像特徴抽出部11
30と、電子透かし埋め込み部1131と、I/O部1
132と、電子透かし検出部1133と、モニタ出力部
1134と、データベース制御部1135とを備えてい
る。
In order to perform these processes, the utility unit 113 transmits the image feature extracting unit 11 as shown in FIG.
30, an electronic watermark embedding unit 1131, and an I / O unit 1
132, a digital watermark detection unit 1133, a monitor output unit 1134, and a database control unit 1135.

【0067】(1)映像特徴抽出部1130 映像特徴抽出部1130は、電子透かしとして埋め込む
映像の特徴を抽出する処理を行うものであり、アルゴリ
ズムの異なる抽出方式を複数(1〜N)備えている。例
えば、映像のフレーム間の比較を行って、シーンチェン
ジや動きのある部分の速度を特定する機能や、ハフ変換
を用いた線画テクスチャーを抽出する機能等を備えてい
る。これらのアルゴリズムを複数組合せ、種々の評価視
点からの映像特徴抽出を行う。
(1) Video Feature Extraction Unit 1130 The video feature extraction unit 1130 performs a process of extracting the feature of a video to be embedded as a digital watermark, and has a plurality (1 to N) of extraction methods with different algorithms. . For example, it has a function of comparing the frames of a video to specify the speed of a scene change or a moving part, a function of extracting a line drawing texture using Hough transform, and the like. A plurality of these algorithms are combined to perform video feature extraction from various evaluation viewpoints.

【0068】(2)電子透かし埋め込み部1131 電子透かし埋め込み部1131は、映像特徴抽出部11
30の出力する映像特徴を受け取り、それを電子透かし
として映像に埋め込む処理を行うものであり、アルゴリ
ズムの異なる透かし埋め込み方式を複数(1〜M)備え
て、その中から埋め込み対象の映像特徴量や埋め込み先
の映像に適したアルゴリズムを1つ選択して、それを使
って埋め込み処理を行う。
(2) Digital Watermark Embedding Unit 1131 The digital watermark embedding unit 1131
30 for embedding a video feature output as an electronic watermark into a video. A plurality of (1 to M) watermark embedding methods having different algorithms are provided, and a video feature amount to be embedded and An algorithm suitable for the video at the embedding destination is selected, and embedding processing is performed using the selected algorithm.

【0069】この映像特徴(検索ID情報)の埋め込み
にあたって、その映像特徴の抽出に用いた抽出アルゴリ
ズムの識別ID(番号などによって表される識別情報)
についても埋め込むように処理する。
When embedding this video feature (search ID information), the identification ID (identification information represented by a number or the like) of the extraction algorithm used to extract the video feature
Is also embedded.

【0070】(3)I/O部1132 ユーティリティ部113と映像コンテンツ蓄積部110
との間のインタフェースとして動作する。
(3) I / O Unit 1132 Utility Unit 113 and Video Content Storage Unit 110
Acts as an interface between and.

【0071】(4)電子透かし検出部1133 電子透かし検出部1133は、映像コンテンツ蓄積部1
10に蓄積されているID埋め込み映像を取り込んで、
埋め込まれている検索ID情報(映像特徴情報)を検出
する処理を行うものであり、アルゴリズムの異なる透か
し検出方式を複数(1〜M)備えて、あるアルゴリズム
では透かしを検出できなかった場合には、他のアルゴリ
ズムに切り替えていくことで透かしを検出する。
(4) Digital Watermark Detection Unit 1133 The digital watermark detection unit 1133
10 by taking in the ID embedded video stored in
This is a process for detecting embedded search ID information (video feature information). When a plurality of watermark detection methods (1 to M) with different algorithms are provided and a certain algorithm cannot detect a watermark, The watermark is detected by switching to another algorithm.

【0072】このようにして検出された検索ID情報
は、必要に応じて映像コンテンツ蓄積部110にフィー
ドバックされて、検索ID情報の埋め込まれていない映
像や検索ID情報の埋め込まれた映像とリンクする形態
でバッファされたり、モニタ出力部1134に出力され
ることになる。
The search ID information detected in this way is fed back to the video content storage unit 110 as needed, and is linked to a video in which search ID information is not embedded or a video in which search ID information is embedded. It is buffered in the form or output to the monitor output unit 1134.

【0073】(5)モニタ出力部1134 映像コンテンツ蓄積部110に蓄積されている映像や検
索ID情報をモニタするために用意されるインタフェー
スである。また、電子透かし検出部1133により検出
された検索ID情報や、その検出元となったID埋め込
み映像のモニタリングもこのインタフェースを介して行
われる。モニタ出力部1134は、このための処理や、
検索ID情報を映像化するためのビデオフォーマット処
理機能をを備えている。
(5) Monitor output unit 1134 This is an interface prepared to monitor the video and search ID information stored in the video content storage unit 110. Further, monitoring of the search ID information detected by the electronic watermark detection unit 1133 and the ID embedded video from which the search ID information is detected are also performed via this interface. The monitor output unit 1134 performs processing for this,
A video format processing function for visualizing the search ID information is provided.

【0074】(6)データベース制御部1135 データベース制御部1135は、映像特徴抽出部113
0、電子透かし埋め込み部1131、I/O部113
2、電子透かし検出部1133およびモニタ出力部11
34を制御する処理を行う。
(6) Database control unit 1135 The database control unit 1135
0, digital watermark embedding unit 1131, I / O unit 113
2. Digital watermark detection unit 1133 and monitor output unit 11
34 is performed.

【0075】図5に、データベース制御部1135の発
行する制御信号を図示する。この制御信号の各機能モジ
ュールに対する制御内容は次のようになっている。
FIG. 5 shows control signals issued by the database control unit 1135. The control contents of the control signal for each functional module are as follows.

【0076】(a)制御信号Cont.1 電子透かし埋め込みアルゴリズムの選択および埋め込み
パラメータ(電子透かし鍵情報、透かし埋め込み強度
等)の設定。
(A) Control signal Cont.1 Selection of digital watermark embedding algorithm and setting of embedding parameters (digital watermark key information, watermark embedding strength, etc.).

【0077】(b)制御信号Cont.2 電子透かし検出アルゴリズムの選択および検出パラメー
タ(電子透かし鍵情報等)の設定。
(B) Control signal Cont.2 Selection of digital watermark detection algorithm and setting of detection parameters (digital watermark key information and the like).

【0078】(c)制御信号Cont.3 ユーティリティ部113と映像コンテンツ蓄積部110
との間における映像および検索ID情報のインタフェー
ス制御。
(C) Control signal Cont.3 Utility unit 113 and video content storage unit 110
Interface control of video and search ID information between and.

【0079】(d)制御信号Cont.4 映像コンテンツ蓄積部110からの出力(映像/ID埋
め込み映像/検索ID情報)と、電子透かし検出部11
10からの出力(ID埋め込み映像/検索ID情報)の
切り替え。
(D) Control signal Cont.4 Output from video content storage section 110 (video / ID embedded video / search ID information) and digital watermark detection section 11
Switching of output (ID embedded video / search ID information) from 10.

【0080】(e)制御信号Cont.5 映像特徴抽出アルゴリズムの選択および抽出パラメータ
の設定。
(E) Control signal Cont.5 Selection of video feature extraction algorithm and setting of extraction parameters.

【0081】このような制御条件が各機能モジュールに
対して設定され、これにより、ユーティリティ部113
では、前述した映像コンテンツ蓄積部110への映像情
報の登録、映像コンテンツ蓄積部110からの映像情報
の出力が行われる。
Such control conditions are set for each function module.
Then, the registration of the video information in the video content storage unit 110 and the output of the video information from the video content storage unit 110 are performed.

【0082】最後に、図6に従って、以上に説明した本
発明の処理の概要について説明する。
Finally, an outline of the processing of the present invention described above will be described with reference to FIG.

【0083】本発明では、映像コンテンツ蓄積部110
に登録する映像情報が与えられると、図6に示すよう
に、先ず最初に、図中のに示すように、映像特徴抽出
部1130を使って、複数の抽出アルゴリズムを動作さ
せることで、登録対象の映像から映像特徴量を抽出す
る。
In the present invention, the video content storage unit 110
When the video information to be registered is given, as shown in FIG. 6, first, as shown in FIG. The video feature amount is extracted from the video.

【0084】このとき、映像が複数フレームで構成され
る場合に、各フレームから抽出した映像特徴量を系統的
に整理したものを最終的な映像特徴量として抽出するよ
うに処理することがある。
At this time, when an image is composed of a plurality of frames, processing may be performed so that a systematic arrangement of image features extracted from each frame is extracted as a final image feature.

【0085】続いて、図中のに示すように、電子透か
し埋め込み部1131を使って、その抽出された映像特
徴量を、それの抽出に用いた抽出アルゴリズムの識別I
Dとの対応をとりつつ、電子透かしを使って登録対象の
映像に埋め込む。
Subsequently, as shown in the figure, using the digital watermark embedding unit 1131, the extracted video feature amount is identified by the extraction algorithm I used for the extraction.
While taking correspondence with D, it is embedded in the video to be registered using a digital watermark.

【0086】例えば、第1の抽出アルゴリズムにより
“αα”という映像特徴量が抽出され、第2の抽出アル
ゴリズムにより“ββ”という映像特徴量が抽出され、
第3の抽出アルゴリズムにより“γγ”という映像特徴
量が抽出される場合には、映像特徴量=(ID=1:α
α,ID=2:ββ,ID=3:γγ)というデータ構
造を持つ映像特徴量を、電子透かしを使って登録対象の
映像に埋め込むのである。
For example, a video feature quantity “αα” is extracted by the first extraction algorithm, and a video feature quantity “ββ” is extracted by the second extraction algorithm.
When the video feature amount “γγ” is extracted by the third extraction algorithm, the video feature amount = (ID = 1: α
A video feature having a data structure of α, ID = 2: ββ, ID = 3: γγ) is embedded in a video to be registered using a digital watermark.

【0087】なお、図中ので、複数のアルゴリズムを
動作させるのではなくて、規定の1つの抽出アルゴリズ
ムを動作させることもあるが、このときには、抽出アル
ゴリズムの識別IDについては埋め込む必要はない。
In the figure, there is a case where one specified extraction algorithm is operated instead of operating a plurality of algorithms. At this time, it is not necessary to embed the identification ID of the extraction algorithm.

【0088】この電子透かし埋め込み処理にあたって、
登録対象の映像の管理情報(キーワードやコメントなど
のような映像内容から直接抽出したものでない情報や、
映像内容とは無関係なその他の情報など)についても、
電子透かしを使って登録対象の映像に埋め込むように処
理することがある。
In this digital watermark embedding process,
Management information of the video to be registered (information not directly extracted from the video content, such as keywords and comments,
Other information unrelated to the video content)
In some cases, processing is performed so as to be embedded in a video to be registered using a digital watermark.

【0089】また、電子透かし埋め込みのアルゴリズム
を複数用意して、その中から最適なものを選択し、それ
を使って、映像特徴量を登録対象の映像に埋め込むよう
に処理することがある。
In some cases, a plurality of algorithms for embedding a digital watermark are prepared, an optimum one is selected from the algorithms, and a process for embedding a video feature amount in a video to be registered is performed using the optimum algorithm.

【0090】続いて、図中のに示すように、その映像
特徴量の埋め込まれた映像(検索ID情報の埋め込まれ
た映像)を、その埋め込まれた映像特徴量(検索ID情
報)との対応をとりつつ映像コンテンツ蓄積部110に
登録する。
Subsequently, as shown in the figure, the video in which the video feature amount is embedded (the video in which the search ID information is embedded) is associated with the embedded video feature amount (the search ID information). And register it in the video content storage unit 110.

【0091】このようにして、本発明では、登録対象の
映像に、映像特徴量が抽出アルゴリズムの識別情報と対
応をとられる形で埋め込まれて、その映像特徴量の埋め
込まれた映像が映像特徴量との対応がとられる形で映像
コンテンツ蓄積部110に登録されることになる。
As described above, according to the present invention, the video feature is embedded in the video to be registered so as to correspond to the identification information of the extraction algorithm. The content is registered in the video content storage unit 110 in a form corresponding to the amount.

【0092】一方、本発明では、電子透かしを使って映
像特徴量の埋め込まれた閲覧映像が与えられると、図6
に示すように、先ず最初に、図中のに示すように、そ
の閲覧映像を入力する。
On the other hand, according to the present invention, when a browsing image in which an image feature amount is embedded using an electronic watermark is given, FIG.
First, as shown in the figure, the browsing video is input.

【0093】続いて、図中のに示すように、電子透か
し検出部1110を使って、入力した閲覧映像から、そ
れに埋め込まれている映像特徴量(検索ID情報)を検
出する。
Subsequently, as shown in the figure, a video feature amount (search ID information) embedded in the input browsed video is detected by using the digital watermark detection unit 1110.

【0094】続いて、図中のに示すように、検索部1
14を使って、映像コンテンツ蓄積部110にアクセス
することで、映像コンテンツ蓄積部110に記憶される
映像特徴量(検索ID情報)の中から、その検出した映
像特徴量(検索ID情報)に類似するものを検索(通常
は最も類似するものを検索)する。
Subsequently, as shown in FIG.
By accessing the video content storage unit 110 using No. 14, the video feature amount (search ID information) stored in the video content storage unit 110 is similar to the detected video feature amount (search ID information). Search (usually the most similar one).

【0095】例えば、検索部114は、電子透かし検出
部1110により検出された検索ID情報が抽出アルゴ
リズムの識別IDに対応付けて、 (ID=1:αα,ID=2:ββ,ID=3:γγ) というデータ値を持ち、一方、映像コンテンツ蓄積部1
10に記憶される検索ID情報が抽出アルゴリズムの識
別IDに対応付けて、 (ID=1:aa,ID=2:bb,ID=3:cc) というデータ値を持つ場合には、例えば、 距離=〔(αα−aa)2 +(ββ−bb)2 +(γγ
−cc)2 1/2 で定義される距離に基づいて、2つの検索ID情報の類
似度を測定することで検索処理を実行するのである。
For example, the search unit 114 associates the search ID information detected by the digital watermark detection unit 1110 with the identification ID of the extraction algorithm, and calculates (ID = 1: αα, ID = 2: ββ, ID = 3: γγ), while the video content storage unit 1
If the search ID information stored in 10 has a data value of (ID = 1: aa, ID = 2: bb, ID = 3: cc) in association with the identification ID of the extraction algorithm, for example, the distance = [(Αα-aa) 2 + (ββ-bb) 2 + (γγ
−cc) 2 ] The search process is executed by measuring the similarity between the two pieces of search ID information based on the distance defined by 1/2 .

【0096】続いて、図中のに示すように、映像コン
テンツ蓄積部110から、その検索した映像特徴量(検
索ID情報)に対応付けられるID埋め込み映像を読み
出して出力する。
Subsequently, as shown in the figure, an ID-embedded video associated with the searched video feature amount (search ID information) is read from the video content storage unit 110 and output.

【0097】このようにして、本発明では、映像コンテ
ンツ蓄積部110から、閲覧映像から検出された映像特
徴量に類似する映像特徴量を持つ映像特徴量の埋め込ま
れた映像が検索されて、それが出力されることになる。
As described above, in the present invention, the video content storage unit 110 searches for a video in which a video feature amount having a video feature amount similar to the video feature amount detected from the browsed video is embedded, and retrieves the video. Is output.

【0098】このように、本発明では、検索ID情報
(映像特徴量)と映像とをリンクさせた通信データ形式
で通信するという従来技術の方法を用いていないことか
ら、閲覧環境の構築などのために、映像データベースか
ら送られてきた映像をフォーマット変換したり画像編集
処理などを行う際にも、検索ID情報(映像特徴量)が
破壊されるというような不都合が起こらない。
As described above, since the present invention does not use the conventional method of communicating search ID information (video feature amount) and video in a communication data format in which the video is linked, it is necessary to construct a browsing environment. Therefore, even when the format sent from the video database is converted or the image editing process is performed, the disadvantage that the search ID information (video feature amount) is destroyed does not occur.

【0099】図示実施形態例に従って本発明を説明した
が、本発明はこれに限定されるものではない。例えば、
実施形態例で説明した映像は動画に限られるものではな
く、静止画も含むものである。
Although the present invention has been described with reference to the illustrated embodiment, the present invention is not limited to this. For example,
The video described in the embodiment is not limited to a moving image, but includes a still image.

【0100】[0100]

【発明の効果】以上説明したように、本発明によれば、
映像特徴量の埋め込まれた映像が映像データベースに登
録されるとともに、映像特徴量の埋め込まれた映像が映
像データベースから検索されて出力されることになるこ
とから、映像特徴量と映像とをリンクさせた通信データ
形式で出力するという構成を採る従来技術が持つ問題点
を解決できるようになる。
As described above, according to the present invention,
Since the video with the embedded video feature is registered in the video database, and the video with the video feature embedded is searched and output from the video database, the video feature and the video are linked. Thus, it is possible to solve the problem of the prior art adopting a configuration of outputting in a communication data format.

【0101】そして、本発明では、映像の特徴情報を埋
め込むという非言語的な検索情報を使用することから、
キーワード等の言語的コード情報に基づく検索に比べて
高い精度の検索が期待できる。
In the present invention, since non-verbal search information of embedding video feature information is used,
Higher precision search can be expected compared to a search based on linguistic code information such as keywords.

【0102】そして、本発明では、映像の特徴を抽出す
るにあたって、複数のアルゴリズムを組み合わせること
で、映像の顕著な特性の組み合わせを検索ID情報とし
て用いるためロバストな特徴抽出ができるばかりでな
く、画像認識におけるセマンティックな情景記述を行う
等の特徴抽出を行う方式に比べて、サーバ側の処理負荷
を少なくできる。
In the present invention, when extracting features of a video, a combination of a plurality of algorithms is used to use a combination of remarkable characteristics of the video as search ID information. The processing load on the server side can be reduced as compared with a method of performing feature extraction such as performing semantic scene description in recognition.

【0103】そして、本発明では、アルゴリズムの異な
る透かし埋め込み方式を複数備えて、その中から埋め込
み対象の映像特徴量や埋め込み先の映像に適したアルゴ
リズムを選択して、それを使って透かし情報を埋め込む
ことから、耐性を高かめることができる。
In the present invention, a plurality of watermark embedding schemes having different algorithms are provided, and an algorithm suitable for the video feature quantity to be embedded or the video to be embedded is selected from among them, and the watermark information is used by using the selected algorithm. By embedding, the resistance can be increased.

【0104】そして、本発明では、映像特徴量を映像に
直接埋め込んだ形態でデータベース蓄積するため、デー
ベース管理が大幅に簡易化されるばかりでなく運用時に
おける映像と検索ID情報とのミスマッチに伴う障害・
損失を避けられることができるようになる。
In the present invention, since the database is stored in a form in which the image feature amount is directly embedded in the image, not only the database management is greatly simplified, but also the mismatch between the image and the search ID information during operation. Accompanying obstacles
Loss can be avoided.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施形態例である。FIG. 1 is an embodiment of the present invention.

【図2】データベースの一実施形態例である。FIG. 2 is an example of an embodiment of a database.

【図3】映像シーンの説明図である。FIG. 3 is an explanatory diagram of a video scene.

【図4】映像特徴の説明図である。FIG. 4 is an explanatory diagram of video features.

【図5】データベース制御部の発行する制御信号の説明
図である。
FIG. 5 is an explanatory diagram of a control signal issued by a database control unit.

【図6】本発明の説明図である。FIG. 6 is an explanatory diagram of the present invention.

【図7】従来技術の説明図である。FIG. 7 is an explanatory diagram of a conventional technique.

【符号の説明】[Explanation of symbols]

1 検索システム 2 ターミナル装置 10 HP部 11 データベース 20 HPアクセス部 21 ダウンローディング対応部 100 GUI 101 閲覧映像蓄積部 102 受信部 103 映像送信部 110 映像コンテンツ蓄積部 111 入力インタフェース部 112 出力インタフェース部 113 ユーティリティ部 DESCRIPTION OF SYMBOLS 1 Search system 2 Terminal device 10 HP part 11 Database 20 HP access part 21 Downloading correspondence part 100 GUI 101 Browsing video accumulating part 102 Receiving part 103 Video transmitting part 110 Video content accumulating part 111 Input interface part 112 Output interface part 113 Utility part

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 5/76 H04N 5/76 B 5/91 7/173 640A 7/173 640 5/91 N (72)発明者 中村 高雄 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 曽根原 登 東京都千代田区大手町二丁目3番1号 日 本電信電話株式会社内 (72)発明者 酒井 洋 東京都渋谷区道玄坂一丁目12番1号 エヌ ティティエレクトロニクス株式会社内 (72)発明者 岸本 登美夫 東京都渋谷区道玄坂一丁目12番1号 エヌ ティティエレクトロニクス株式会社内 (72)発明者 大久保 恒夫 東京都渋谷区道玄坂一丁目12番1号 エヌ ティティエレクトロニクス株式会社内 Fターム(参考) 5B075 ND06 ND12 NK06 NK21 NR02 PR06 QM08 5B082 EA07 5C052 AC08 DD04 5C053 FA07 HA29 JA21 5C064 BA07 BB10 BC18 BC20 BD02 BD08 BD09 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 5/76 H04N 5/76 B 5/91 7/173 640A 7/173 640 5/91 N (72) Inventor Takao Nakamura 2-3-1 Otemachi, Chiyoda-ku, Tokyo Nippon Telegraph and Telephone Corporation (72) Inventor Noboru Sonehara 2-3-1 Otemachi, Chiyoda-ku, Tokyo Nippon Telegraph and Telephone Corporation ( 72) Inventor Hiroshi Sakai 1-1-12 Dogenzaka, Shibuya-ku, Tokyo NTT Electronics Corporation (72) Inventor Tomio Kishimoto 1-1-12 Dogenzaka, Shibuya-ku, Tokyo Inside NTT Electronics Corporation (72 Inventor Tsuneo Okubo 1-12-1 Dogenzaka, Shibuya-ku, Tokyo NTT Electronics Corporation F-term ) 5B075 ND06 ND12 NK06 NK21 NR02 PR06 QM08 5B082 EA07 5C052 AC08 DD04 5C053 FA07 HA29 JA21 5C064 BA07 BB10 BC18 BC20 BD02 BD08 BD09

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 登録対象の映像から映像特徴量を抽出す
る過程と、 上記映像特徴量を電子透かしを使って登録対象の映像に
埋め込む過程と、 上記映像特徴量の埋め込まれた映像を、その埋め込まれ
た映像特徴量との対応をとりつつ映像コンテンツ蓄積部
に登録する過程とを備えることを、 特徴とする映像情報登録方法。
A step of extracting a video feature from a video to be registered; a step of embedding the video feature in a video to be registered by using a digital watermark; Registering the video information in the video content storage unit while associating with the embedded video feature amount.
【請求項2】 複数の抽出アルゴリズムを使って、登録
対象の映像から映像特徴量を抽出する第1の過程と、 上記映像特徴量を、それの抽出に用いた抽出アルゴリズ
ムの識別情報との対応をとりつつ、電子透かしを使って
登録対象の映像に埋め込む第2の過程と、 上記映像特徴量の埋め込まれた映像を、その埋め込まれ
た映像特徴量との対応をとりつつ映像コンテンツ蓄積部
に登録する第3の過程とを備えることを、 特徴とする映像情報登録方法。
2. A first process of extracting a video feature from a video to be registered using a plurality of extraction algorithms, and a correspondence between the video feature and identification information of an extraction algorithm used for extracting the video feature. A second process of embedding in the video to be registered using a digital watermark while capturing the video with the video feature amount in the video content storage unit while associating the video with the embedded video feature amount. And a third step of registering the video information.
【請求項3】 請求項2に記載される映像情報登録方法
において、 上記第1の過程で、映像が複数フレームで構成される場
合に、各フレームから抽出した映像特徴量を系統的に整
理したものを最終的な映像特徴量として抽出するように
処理することを、 特徴とする映像情報登録方法。
3. The video information registration method according to claim 2, wherein in the first step, when a video is composed of a plurality of frames, video feature amounts extracted from each frame are systematically arranged. A video information registration method characterized by processing to extract an object as a final video feature amount.
【請求項4】 請求項2又は3に記載される映像情報登
録方法において、 上記第2の過程で、登録対象の映像の管理情報について
も、電子透かしを使って登録対象の映像に埋め込むよう
に処理することを、 特徴とする映像情報登録方法。
4. The video information registration method according to claim 2, wherein the management information of the video to be registered is embedded in the video to be registered using a digital watermark in the second step. A video information registration method characterized by processing.
【請求項5】 請求項2ないし4のいずれか1項に記載
される映像情報登録方法において、 上記第2の過程で、電子透かし埋め込みのアルゴリズム
を複数用意して、その中から最適なものを選択し、それ
を使って、上記映像特徴量を登録対象の映像に埋め込む
ように処理することを、 特徴とする映像情報登録方法。
5. The video information registration method according to claim 2, wherein in the second step, a plurality of digital watermark embedding algorithms are prepared, and an optimum one is selected from among them. A video information registration method characterized by selecting and using it to process the video feature amount so as to be embedded in the video to be registered.
【請求項6】 複数の抽出アルゴリズムを使って、登録
対象の映像から映像特徴量を抽出する手段と、 上記映像特徴量を、それの抽出に用いた抽出アルゴリズ
ムの識別情報との対応をとりつつ、電子透かしを使って
登録対象の映像に埋め込む手段と、 上記映像特徴量の埋め込まれた映像を、その埋め込まれ
た映像特徴量との対応をとりつつ映像コンテンツ蓄積部
に登録する手段とを備えることを、 特徴とする映像情報登録装置。
6. A means for extracting a video feature quantity from a video to be registered by using a plurality of extraction algorithms, and associating the video feature quantity with identification information of an extraction algorithm used for extracting the video feature quantity. Means for embedding in a video to be registered using a digital watermark, and means for registering the video in which the video feature is embedded in the video content storage unit while associating the video with the embedded video feature. A video information registration device, characterized in that:
【請求項7】 電子透かしを使って映像特徴量の埋め込
まれた閲覧映像を入力する過程と、 上記入力した閲覧映像から、それに埋め込まれている映
像特徴量を検出する過程と、 映像特徴量の埋め込まれた映像をその埋め込まれた映像
特徴量との対応をとりつつ記憶する映像コンテンツ蓄積
部にアクセスすることで、該映像コンテンツ蓄積部に記
憶される映像特徴量の中から、上記検出した映像特徴量
に類似するものを検索する過程と、 上記映像コンテンツ蓄積部から、上記検索した映像特徴
量に対応付けられる映像特徴量の埋め込まれた映像を読
み出して出力する過程とを備えることを、 特徴とする映像情報検索方法。
7. A step of inputting a browsing video with an embedded video feature using a digital watermark, a step of detecting a video feature embedded in the input browsing video, and a step of detecting the video feature. By accessing the video content storage unit that stores the embedded video while associating the video with the embedded video feature amount, the detected video is stored in the video content amount stored in the video content storage unit. A step of searching for a feature similar to the feature, and a step of reading and outputting, from the video content storage unit, a video in which the video feature associated with the searched video feature is embedded. Video information search method.
【請求項8】 電子透かしを使って映像特徴量の埋め込
まれた閲覧映像を入力する手段と、 上記入力した閲覧映像から、それに埋め込まれている映
像特徴量を検出する手段と、 映像特徴量の埋め込まれた映像をその埋め込まれた映像
特徴量との対応をとりつつ記憶する映像コンテンツ蓄積
部にアクセスすることで、該映像コンテンツ蓄積部に記
憶される映像特徴量の中から、上記検出した映像特徴量
に類似するものを検索する手段と、 上記映像コンテンツ蓄積部から、上記検索した映像特徴
量に対応付けられる映像特徴量の埋め込まれた映像を読
み出して出力する手段とを備えることを、 特徴とする映像情報検索装置。
8. A means for inputting a browsing video with a video feature embedded using a digital watermark, a means for detecting a video feature embedded in the input browsing video, By accessing the video content storage unit that stores the embedded video while associating the video with the embedded video feature amount, the detected video is stored in the video content amount stored in the video content storage unit. Means for searching for a feature similar to the feature, and means for reading and outputting, from the video content storage unit, a video in which the video feature associated with the searched video feature is embedded. Video information search device.
JP2000373760A 2000-12-08 2000-12-08 Method and device for registering video information, and method and device for retrieving the video information Pending JP2002175311A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000373760A JP2002175311A (en) 2000-12-08 2000-12-08 Method and device for registering video information, and method and device for retrieving the video information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000373760A JP2002175311A (en) 2000-12-08 2000-12-08 Method and device for registering video information, and method and device for retrieving the video information

Publications (1)

Publication Number Publication Date
JP2002175311A true JP2002175311A (en) 2002-06-21

Family

ID=18843073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000373760A Pending JP2002175311A (en) 2000-12-08 2000-12-08 Method and device for registering video information, and method and device for retrieving the video information

Country Status (1)

Country Link
JP (1) JP2002175311A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004003756A1 (en) * 2002-06-26 2004-01-08 Sony Corporation Content-related information providing apparatus, content-related information providing method, electronic bulletin board system, and computer program
WO2006030509A1 (en) * 2004-09-16 2006-03-23 Fujitsu Limited Image search device, image search method, image creation device, image creation method, and program
JP2007193827A (en) * 2007-02-19 2007-08-02 Sony Corp Content related information providing device, content related information providing method, electronic bulletin board system, and computer program
WO2008007745A1 (en) * 2006-07-12 2008-01-17 Panasonic Corporation Recording/reproducing system, recording device, and reproduction device
JP4750133B2 (en) * 2005-12-13 2011-08-17 三菱電機株式会社 Digital watermark embedding device, digital watermark detection device, and digital watermark system
US8972522B2 (en) 2011-03-15 2015-03-03 Kabushiki Kaisha Toshiba Information distribution system, information distribution apparatus, information communication terminal, and information distribution method
WO2016009637A1 (en) * 2014-07-17 2016-01-21 パナソニックIpマネジメント株式会社 Recognition data generation device, image recognition device, and recognition data generation method
US9762951B2 (en) 2013-07-30 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Video reception device, added-information display method, and added-information display system
US9774924B2 (en) 2014-03-26 2017-09-26 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
US9900650B2 (en) 2013-09-04 2018-02-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US9906843B2 (en) 2013-09-04 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and display system for providing additional information to be superimposed on displayed image
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
US10194216B2 (en) 2014-03-26 2019-01-29 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7747696B2 (en) 2002-06-26 2010-06-29 Sony Corporation Content-related information providing apparatus, content related information providing method, electronic bulletin board system, and computer program
WO2004003756A1 (en) * 2002-06-26 2004-01-08 Sony Corporation Content-related information providing apparatus, content-related information providing method, electronic bulletin board system, and computer program
WO2006030509A1 (en) * 2004-09-16 2006-03-23 Fujitsu Limited Image search device, image search method, image creation device, image creation method, and program
JP4750133B2 (en) * 2005-12-13 2011-08-17 三菱電機株式会社 Digital watermark embedding device, digital watermark detection device, and digital watermark system
WO2008007745A1 (en) * 2006-07-12 2008-01-17 Panasonic Corporation Recording/reproducing system, recording device, and reproduction device
JP2007193827A (en) * 2007-02-19 2007-08-02 Sony Corp Content related information providing device, content related information providing method, electronic bulletin board system, and computer program
JP4539663B2 (en) * 2007-02-19 2010-09-08 ソニー株式会社 Content related information providing apparatus, content related information providing method, electronic bulletin board system, and computer program
US8972522B2 (en) 2011-03-15 2015-03-03 Kabushiki Kaisha Toshiba Information distribution system, information distribution apparatus, information communication terminal, and information distribution method
US9955103B2 (en) 2013-07-26 2018-04-24 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
US9762951B2 (en) 2013-07-30 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Video reception device, added-information display method, and added-information display system
US9900650B2 (en) 2013-09-04 2018-02-20 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
US9906843B2 (en) 2013-09-04 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and display system for providing additional information to be superimposed on displayed image
US9774924B2 (en) 2014-03-26 2017-09-26 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
US9906844B2 (en) 2014-03-26 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method and additional information display system
US10194216B2 (en) 2014-03-26 2019-01-29 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and additional information display system
JPWO2016009637A1 (en) * 2014-07-17 2017-04-27 パナソニックIpマネジメント株式会社 Recognition data generation device, image recognition device, and recognition data generation method
WO2016009637A1 (en) * 2014-07-17 2016-01-21 パナソニックIpマネジメント株式会社 Recognition data generation device, image recognition device, and recognition data generation method
US10616613B2 (en) 2014-07-17 2020-04-07 Panasonic Intellectual Property Management Co., Ltd. Recognition data generation device, image recognition device, and recognition data generation method
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method

Similar Documents

Publication Publication Date Title
US7310628B2 (en) Content searching/distributing device and content searching/distributing method
KR100492437B1 (en) Image retrieval system and image retrieval method
Hanjalic et al. Automated high-level movie segmentation for advanced video-retrieval systems
US7929808B2 (en) Systems and methods for generating digital images having image meta-data combined with the image data
US8515933B2 (en) Video search method, video search system, and method thereof for establishing video database
KR100889026B1 (en) Searching system using image
US20030126126A1 (en) Apparatus and method for searching multimedia object
JP2002175311A (en) Method and device for registering video information, and method and device for retrieving the video information
US11070851B2 (en) System and method for providing image-based video service
KR100737974B1 (en) Image extraction combination system and the method, And the image search method which uses it
JP2002530781A (en) A system for acquiring images using a database
JP2001331724A (en) Method and device for data processing and recording medium
US10380267B2 (en) System and method for tagging multimedia content elements
KR101718891B1 (en) Method and apparatus for searching image
US7542984B2 (en) Database system for control data storage
US20040205825A1 (en) Video distribution method and video distribution system
JP4770875B2 (en) Image feature data generation device, image feature determination device, and image search system
JP2007318688A (en) Video information exchange method, server device, and client device
JP5557756B2 (en) Digital watermark embedding device, digital watermark embedding program, digital watermark detection device, and digital watermark detection program
CN111274449A (en) Video playing method and device, electronic equipment and storage medium
JP2009049668A (en) Data processor, data processing method, program, and recording medium
US20170103285A1 (en) Method and device for detecting copies in a stream of visual data
KR101330524B1 (en) Method, Terminal, Server and System for Searching Subtitle of Video
JP2006018831A (en) System and method for image retrieval
US20180293461A1 (en) Method and device for detecting copies in a stream of visual data