JP2020009300A - ラベル付与装置、ラベル付与方法およびプログラム - Google Patents
ラベル付与装置、ラベル付与方法およびプログラム Download PDFInfo
- Publication number
- JP2020009300A JP2020009300A JP2018131457A JP2018131457A JP2020009300A JP 2020009300 A JP2020009300 A JP 2020009300A JP 2018131457 A JP2018131457 A JP 2018131457A JP 2018131457 A JP2018131457 A JP 2018131457A JP 2020009300 A JP2020009300 A JP 2020009300A
- Authority
- JP
- Japan
- Prior art keywords
- label
- feature
- content
- feature amount
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 67
- 238000001514 detection method Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 361
- 238000012545 processing Methods 0.000 claims description 56
- 238000002372 labelling Methods 0.000 claims description 55
- 238000012937 correction Methods 0.000 claims description 22
- 238000012790 confirmation Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 15
- 230000001815 facial effect Effects 0.000 description 117
- 238000010586 diagram Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 13
- 239000000284 extract Substances 0.000 description 7
- 238000003064 k means clustering Methods 0.000 description 6
- 230000000877 morphologic effect Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/908—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
本実施形態は、コンテンツから抽出される特徴量に対するラベル付与を自動で行うものである。本実施形態で想定するコンテンツは、例えば、動画、静止画、音声、センサデータなど、様々な形式のデータを含む。本実施形態では、これらのコンテンツに関連付けられた関連データを用いて、コンテンツから抽出した特徴量に付与するラベルの候補を生成する。関連データは、例えばコンテンツの説明文、字幕情報などのように、コンテンツに対して予め付与されたテキストデータであってもよいし、コンテンツに対して、音声認識や文字認識、画像説明文生成(キャプショニング)などの所定の処理を行うことで得られるテキストデータであってもよい。
TV番組は、一般的に動画と番組説明文がセットとなって提供される。番組説明文はTV番組の内容を説明するテキストデータであり、TV番組に登場する主要登場人物の名前が記載されていることが多い。本実施例では、TV番組の動画から得られる主要登場人物の顔特徴代表ベクトル(代表特徴量の一例)に対して、番組説明文から得られる主要登場人物の名前をラベルとして自動で付与する。
次に、第2実施例について説明する。本実施例は、上述の第1実施例に対し、ラベル候補の表記ゆれを吸収する機能を付加したものである。その他の機能は上述の第1実施例と同様であるため、以下では、本実施例に特有の機能についてのみ説明する。
次に、第3実施例について説明する。本実施例は、上述の第1実施例に対し、ラベルを自動付与できない特徴量に対する手動によるラベル付与を効率よく行うための機能を付加したものである。その他の機能は上述の第1実施例と同様であるため、以下では、本実施例に特有の機能についてのみ説明する。
次に、第4実施例について説明する。本実施例は、上述の第1実施例に対し、特徴量に対するラベルの自動付与が期待通りに処理されているか否かを確認し、期待通りに処理されていない可能性がある場合にユーザによる手動確認および修正を行うための機能を付加したものである。その他の機能は上述の第1実施例と同様であるため、以下では、本実施例に特有の機能についてのみ説明する。
処理(2):要手動チェック特徴量ペア保持部16cと要手動チェック特徴量保持部16dに格納された顔特徴代表ベクトルに対してラベルが適切に付与されているか否かをユーザの手動チェックにより確認し、必要があるときはユーザによる手動の修正を受け付ける。
次に、第5実施例について説明する。本実施例は、上述の第4実施例に対して、ユーザによる手動確認および修正を効率よく行うための機能を付加したものである。その他の機能は上述の第4実施例と同様であるため、以下では、本実施例に特有の機能についてのみ説明する。
上述した各実施例のラベル付与装置10は、一例として、一般的なコンピュータとしてのハードウェアを用いた実行環境で動作するプログラムによる実装が可能である。この場合、ラベル付与装置10における上述の各機能的な構成要素(ラベル候補生成部11、特徴量抽出部12、特徴量ペア検出部13、ラベル付与部14、メタデータ生成部15、データ保持部16、ラベル候補修正部17、教示対象選択部18、操作受付部19、特徴量ペア判定部20、ラベル確認部21、確認対象絞り込み部22)は、ハードウェアとソフトウェア(プログラム)との協働により実現される。
11 ラベル候補生成部
12 特徴量抽出部
13 特徴量ペア検出部
14 ラベル付与部
15 メタデータ生成部
16 データ保持部
17 ラベル候補修正部
18 教示対象選択部
19 操作受付部
20 特徴量ペア判定部
21 ラベル確認部
22 確認対象絞り込み部
50 コンテンツDB
51 コンテンツ
52 関連データ
Claims (15)
- コンテンツに関連付けられた関連データからラベル候補を生成するラベル候補生成部と、
第1コンテンツから抽出された特徴量と第2コンテンツから抽出された特徴量との組み合わせのうち、特徴量間の類似度が最も高い組み合わせである特徴量ペアを検出する特徴量ペア検出部と、
前記第1コンテンツに関連付けられた第1関連データと前記第2コンテンツに関連付けられた第2関連データとの双方から生成された共通のラベル候補を、前記特徴量ペアを構成する各特徴量に対してラベルとして付与するラベル付与部と、
を備えるラベル付与装置。 - 前記ラベル付与部は、第3コンテンツから抽出された特徴量と前記特徴量ペアを構成する各特徴量との間の距離が閾値以下の場合に、前記第3コンテンツから抽出した特徴量に対して前記特徴量ペアを構成する各特徴量と共通のラベルを付与する
請求項1に記載のラベル付与装置。 - コンテンツから特徴量を抽出する特徴量抽出部をさらに備える
請求項1または2に記載のラベル付与装置。 - 前記特徴量抽出部は、コンテンツから抽出した特徴量群をクラスタリングしてクラスタごとの代表特徴量を生成し、
前記特徴量ペア検出部は、前記第1コンテンツから生成された代表特徴量と前記第2コンテンツから生成された代表特徴量との組み合わせのうち、代表特徴量間の類似度が最も高い組み合わせを前記特徴量ペアとして検出する
請求項3に記載のラベル付与装置。 - ラベルが付与された特徴量を用いてコンテンツのメタデータを生成するメタデータ生成部をさらに備える
請求項1乃至4のいずれか一項に記載のラベル付与装置。 - 前記第1コンテンツと前記第2コンテンツは、1つのコンテンツを分割することで生成される
請求項1乃至5のいずれか一項に記載のラベル付与装置。 - 前記ラベル候補の意味ベクトルを生成し、意味ベクトル間の類似度が閾値以上のラベル候補同士を共通化するラベル候補修正部をさらに備える
請求項1乃至6のいずれか一項に記載のラベル付与装置。 - 前記共通のラベル候補が複数存在し、1つのラベル候補と特徴量との関係が決定することにより他のラベル候補と特徴量との関係が決定する場合、前記1つのラベル候補を教示対象として選択する教示対象選択部と、
前記教示対象のラベル候補と特徴量との関係を教示するユーザ操作を受け付ける操作受付部と、をさらに備える
請求項1乃至7のいずれか一項に記載のラベル付与装置。 - 前記特徴量ペアの誤りスコアを算出し、算出した誤りスコアに基づいて前記特徴量ペアが同一の対象を表しているか否かを判定する特徴量ペア判定部をさらに備える
請求項1乃至8のいずれか一項に記載のラベル付与装置。 - 前記誤りスコアが閾値を超える特徴量ペアを構成する各特徴量、または、前記特徴量ペアを構成できない特徴量に対して正しくラベルが付与されているか否かをユーザに確認するラベル確認部をさらに備える
請求項9に記載のラベル付与装置。 - 新たなコンテンツが追加された場合に、新たなコンテンツから抽出された特徴量を用いて、前記誤りスコアが閾値を超える特徴量ペアを構成する各特徴量、または、前記特徴量ペアを構成できない特徴量のうち、ラベルが正しく付与されているか否かの確認が必要な特徴量を絞り込む確認対象絞り込み部をさらに備える
請求項10に記載のラベル付与装置。 - 前記コンテンツは、動画、静止画、音声、センサデータのいずれかである
請求項1乃至11のいずれか一項に記載のラベル付与装置。 - 前記関連データは、前記コンテンツに対して予め付与されたテキストデータ、または、前記コンテンツに対して所定の処理を行うことで得られるテキストデータである
請求項1乃至12のいずれか一項に記載のラベル付与装置。 - コンテンツに関連付けられた関連データからラベル候補を生成するステップと、
第1コンテンツから抽出された特徴量と第2コンテンツから抽出された特徴量との組み合わせのうち、特徴量間の類似度が最も高い組み合わせである特徴量ペアを検出するステップと、
前記第1コンテンツに関連付けられた第1関連データと前記第2コンテンツに関連付けられた第2関連データとの双方から生成された共通のラベル候補を、前記特徴量ペアを構成する各特徴量のラベルとして決定するステップと、
を含むラベル付与方法。 - コンピュータに、
コンテンツに関連付けられた関連データからラベル候補を生成する機能と、
第1コンテンツから抽出された特徴量と第2コンテンツから抽出された特徴量との組み合わせのうち、特徴量間の類似度が最も高い組み合わせである特徴量ペアを検出する機能と、
前記第1コンテンツに関連付けられた第1関連データと前記第2コンテンツに関連付けられた第2関連データとの双方から生成された共通のラベル候補を、前記特徴量ペアを構成する各特徴量のラベルとして決定する機能と、
を実現させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018131457A JP6829226B2 (ja) | 2018-07-11 | 2018-07-11 | ラベル付与装置、ラベル付与方法およびプログラム |
PCT/JP2019/008197 WO2020012700A1 (ja) | 2018-07-11 | 2019-03-01 | ラベル付与装置、ラベル付与方法およびプログラム |
CN201980045709.4A CN112384911B (zh) | 2018-07-11 | 2019-03-01 | 标签赋予装置、标签赋予方法以及存储介质 |
US17/142,372 US11531839B2 (en) | 2018-07-11 | 2021-01-06 | Label assigning device, label assigning method, and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018131457A JP6829226B2 (ja) | 2018-07-11 | 2018-07-11 | ラベル付与装置、ラベル付与方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020009300A true JP2020009300A (ja) | 2020-01-16 |
JP6829226B2 JP6829226B2 (ja) | 2021-02-10 |
Family
ID=69142307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018131457A Active JP6829226B2 (ja) | 2018-07-11 | 2018-07-11 | ラベル付与装置、ラベル付与方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11531839B2 (ja) |
JP (1) | JP6829226B2 (ja) |
WO (1) | WO2020012700A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021132281A (ja) * | 2020-02-19 | 2021-09-09 | Jcc株式会社 | メタデータ生成システムおよびメタデータ生成方法 |
JP7523953B2 (ja) | 2020-06-01 | 2024-07-29 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11645505B2 (en) * | 2020-01-17 | 2023-05-09 | Servicenow Canada Inc. | Method and system for generating a vector representation of an image |
TWI744000B (zh) * | 2020-09-21 | 2021-10-21 | 財團法人資訊工業策進會 | 影像標記裝置、方法及其電腦程式產品 |
CN112328833B (zh) * | 2020-11-09 | 2024-03-26 | 腾讯科技(深圳)有限公司 | 标签处理方法、装置及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005275847A (ja) * | 2004-03-25 | 2005-10-06 | Fuji Photo Film Co Ltd | 画像保管方法および画像保管装置 |
WO2013001893A1 (ja) * | 2011-06-28 | 2013-01-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 主観的な階層クラスタリングにおける特徴量ごとの重みを求める情報処理装置、方法、およびプログラム |
JP2013105465A (ja) * | 2011-11-16 | 2013-05-30 | Panasonic Corp | 医用同義語辞書作成装置および医用同義語辞書作成方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3602765B2 (ja) | 1999-07-19 | 2004-12-15 | 株式会社リコー | 映像検索方法、その方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、映像検索処理装置、映像インデックス付与方法、その方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体、映像内容の説明文生成方法およびその方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US9177208B2 (en) * | 2011-11-04 | 2015-11-03 | Google Inc. | Determining feature vectors for video volumes |
JP6446987B2 (ja) | 2014-10-16 | 2019-01-09 | 日本電気株式会社 | 映像選択装置、映像選択方法、映像選択プログラム、特徴量生成装置、特徴量生成方法及び特徴量生成プログラム |
-
2018
- 2018-07-11 JP JP2018131457A patent/JP6829226B2/ja active Active
-
2019
- 2019-03-01 WO PCT/JP2019/008197 patent/WO2020012700A1/ja active Application Filing
-
2021
- 2021-01-06 US US17/142,372 patent/US11531839B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005275847A (ja) * | 2004-03-25 | 2005-10-06 | Fuji Photo Film Co Ltd | 画像保管方法および画像保管装置 |
WO2013001893A1 (ja) * | 2011-06-28 | 2013-01-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 主観的な階層クラスタリングにおける特徴量ごとの重みを求める情報処理装置、方法、およびプログラム |
JP2013105465A (ja) * | 2011-11-16 | 2013-05-30 | Panasonic Corp | 医用同義語辞書作成装置および医用同義語辞書作成方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021132281A (ja) * | 2020-02-19 | 2021-09-09 | Jcc株式会社 | メタデータ生成システムおよびメタデータ生成方法 |
JP7523953B2 (ja) | 2020-06-01 | 2024-07-29 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6829226B2 (ja) | 2021-02-10 |
US11531839B2 (en) | 2022-12-20 |
WO2020012700A1 (ja) | 2020-01-16 |
US20210124997A1 (en) | 2021-04-29 |
CN112384911A (zh) | 2021-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6829226B2 (ja) | ラベル付与装置、ラベル付与方法およびプログラム | |
US8107689B2 (en) | Apparatus, method and computer program for processing information | |
US8930288B2 (en) | Learning tags for video annotation using latent subtags | |
JP5353148B2 (ja) | 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム | |
CN111274442B (zh) | 确定视频标签的方法、服务器及存储介质 | |
US8755603B2 (en) | Information processing apparatus performing character recognition and correction and information processing method thereof | |
CN110287375B (zh) | 视频标签的确定方法、装置及服务器 | |
Bost et al. | Remembering winter was coming: Character-oriented video summaries of TV series | |
JP6829740B2 (ja) | データ検索方法及びそのデータ検索システム | |
CN112733654A (zh) | 一种视频拆条的方法和装置 | |
EP4273737A1 (en) | Language labeling method and apparatus, and computer device and storage medium | |
CN111191591B (zh) | 一种水印检测、视频处理方法和相关设备 | |
JP2018169697A (ja) | 映像データ処理装置、映像データ処理方法、及びコンピュータプログラム | |
WO2024188044A1 (zh) | 视频标签生成方法、装置、电子设备及存储介质 | |
KR101780412B1 (ko) | 비디오 콘텐츠의 장면 단위 키워드 추출장치 및 이를 위한 키워드 가중치 산출장치 | |
US20210342393A1 (en) | Artificial intelligence for content discovery | |
KR20200063316A (ko) | 각본 기반의 영상 검색 장치 및 방법 | |
CN112818984B (zh) | 标题生成方法、装置、电子设备和存储介质 | |
CN112384911B (zh) | 标签赋予装置、标签赋予方法以及存储介质 | |
US20180307669A1 (en) | Information processing apparatus | |
CN113378000B (zh) | 一种视频标题生成方法及装置 | |
JP4755122B2 (ja) | 画像辞書生成方法及び装置及びプログラム | |
KR102314990B1 (ko) | 머신러닝 기반으로 비디오를 분류하는 장치, 방법 및 컴퓨터 프로그램 | |
CN113609315A (zh) | 一种媒资相似度的判定方法、装置、电子设备和存储介质 | |
Tapu et al. | TV news retrieval based on story segmentation and concept association |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6829226 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |