JP2006506731A - 意味的関連性に基づくコンテンツ抽出 - Google Patents
意味的関連性に基づくコンテンツ抽出 Download PDFInfo
- Publication number
- JP2006506731A JP2006506731A JP2004552977A JP2004552977A JP2006506731A JP 2006506731 A JP2006506731 A JP 2006506731A JP 2004552977 A JP2004552977 A JP 2004552977A JP 2004552977 A JP2004552977 A JP 2004552977A JP 2006506731 A JP2006506731 A JP 2006506731A
- Authority
- JP
- Japan
- Prior art keywords
- query
- features
- extracting
- correlation
- modality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/433—Query formulation using audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
- G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
- G06F16/437—Administration of user profiles, e.g. generation, initialisation, adaptation, distribution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/64—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7834—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using audio features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
(外1)
部分空間との間にある。開示されている相関方向は、v1とv2の部分空間上の分布による影響を受けない。
Claims (21)
- 複数のメディアモダリティのクエリを生成可能なクエリモジュールと、
複数のメディアモダリティを表すデータを格納可能なデータベースと、
前記クエリから複数の第1オブジェクト特徴と前記データベースから複数の第2オブジェクト特徴を抽出可能なオブジェクト検出モジュールと、
前記オブジェクト検出モジュールに結合されるプロセッサと、
を有するマルチメディアシステムであって、
前記複数の第1及び第2オブジェクト特徴は、異なるモダリティを表すメディアから抽出され、
前記プロセッサは、前記複数の第1オブジェクト特徴と前記複数の第2オブジェクト特徴との間の相関を決定し、所定の最大相関度に少なくとも等しい相関を有するアイテムを前記データベースから抽出するよう構成される、
ことを特徴とするシステム。 - 請求項1記載のマルチメディアシステムであって、
該システムは、抽出前にサンプルデータを用いてモダリティ間メディアを相関させるようトレーニングされることを特徴とするシステム。 - 請求項1記載のマルチメディアシステムであって、
前記相関は、正準相関法を利用して計算されることを特徴とするシステム。 - 請求項1記載のマルチメディアシステムであって、
前記相関は、LSI(Latent Semantic Indexing)法を利用して計算されることを特徴とするシステム。 - 請求項5記載のマルチメディアシステムであって、
前記第1特徴集合を表すAXのクエリは、前記第2特徴集合を表すBYの前記クエリの結果のみが与えられると、BYはAXと最大の相関を有することから特定可能であることを特徴とするシステム。 - ユーザが関心を有する少なくとも1つのアイテムをマルチメディアアーカイブから抽出する方法であって、
クエリを生成するステップと、
第1モダリティを表す複数の第1オブジェクト特徴を前記クエリから抽出するステップと、
第2モダリティを表す複数の第2オブジェクト特徴を前記マルチメディアアーカイブのアイテムから抽出するステップと、
前記複数の第1オブジェクト特徴と前記複数の第2オブジェクト特徴との間の相関を決定するステップと、
前記クエリの所定の最大相関度に少なくとも等しいオブジェクト特徴と相関を有するオブジェクト特徴を有するアイテムを前記アーカイブから抽出するステップと、
を有することを特徴とする方法。 - 請求項7記載の方法であって、さらに、
モダリティ間メディアと相関させるのに用いられる相関行列を生成するため、サンプルデータを利用するステップを有することを特徴とする方法。 - 請求項7記載の方法であって、
前記相関方法は、正準相関であることを特徴とする方法。 - 請求項7記載の方法であって、
前記相関方法は、LSI(Latent Semantic Indexing)であることを特徴とする方法。 - 請求項11記載の方法であって、
前記第1特徴集合を表すAXのクエリは、前記第2特徴集合を表すBYの前記クエリの結果のみが与えられると、BYはAXと最大の相関を有することから特定可能であることを特徴とする方法。 - ユーザによるマルチメディアのデータベースからの関心のあるメディアの抽出を可能にするコンピュータ読み出し可能媒体に格納されているコンピュータ実行可能処理ステップであって、
前記ユーザから第1メディアモダリティのクエリを取得するクエリ生成ステップと、
前記クエリから複数の第1オブジェクト特徴を抽出する第1抽出ステップと、
マルチメディアアーカイブのアイテムから第2メディアモダリティを表す複数の第2オブジェクト特徴を抽出する第2抽出ステップと、
前記複数の第1オブジェクト特徴と前記複数の第2オブジェクト特徴との間の相関を決定する相関計算ステップと、
前記クエリの所定の最大相関度に少なくとも等しいオブジェクト特徴と相関を有するオブジェクト特徴を有するアイテムを前記アーカイブから抽出する抽出ステップと、
を有することを特徴とするステップ。 - マルチメディアアーカイブからユーザに関心のある少なくとも1つのアイテムを抽出する手段であって、
第1メディアモダリティのクエリを生成する手段と、
前記クエリから複数の第1オブジェクト特徴を抽出する手段と、
前記マルチメディアアーカイブのアイテムから複数の第2オブジェクト特徴を抽出する手段と、
前記複数の第1オブジェクト特徴と第2メディアモダリティから抽出される前記複数の第2オブジェクト特徴との間の相関を決定する手段と、
前記クエリの所定の最大相関度に少なくとも等しいオブジェクト特徴と相関を有するオブジェクト特徴を有するアイテムを前記アーカイブから抽出する手段と、
を有することを特徴とする手段。 - マルチメディアアーカイブからキャラクタの少なくとも1つの映像クリップを抽出する方法であって、
前記キャラクタの声の音声クリップを有するクエリを生成するステップと、
前記クエリから複数の音声特徴を抽出するステップと、
前記マルチメディアアーカイブの各映像クリップから複数の映像特徴を抽出するステップと、
前記複数の音声特徴と前記複数の映像特徴との間の相関を計算するステップと、
前記音声と前記映像との間の相関度を最大化することに基づき、前記キャラクタが発話する少なくとも1つの映像クリップを抽出するステップと、
を有することを特徴とする方法。 - マルチメディアアーカイブ内に格納されている人物の少なくとも1つの画像を抽出する方法であって、
前記人物の生体的特徴を有するクエリを生成するステップと、
前記クエリから複数の視覚的特徴を抽出するステップと、
前記マルチメディアアーカイブの各画像から複数の視覚的特徴を抽出するステップと、
前記アーカイブからの複数の視覚的特徴と前記クエリからの複数の視覚的特徴との間の相関を計算するステップと、
前記アーカイブからの複数の視覚的特徴と前記クエリからの複数の視覚的特徴との間の相関度を最大化することに基づき、前記人物の少なくとも1つの画像を抽出するステップと、
を有することを特徴とする方法。 - 請求項16記載の方法であって、
前記生体的特徴は、網膜像であることを特徴とする方法。 - マルチメディアアーカイブ内に格納されている未知の液体を特定する少なくとも1つの情報アイテムを抽出する方法であって、
香りを有するクエリを生成するステップと、
前記クエリからデジタル表示される複数の化学的特徴を抽出するステップと、
前記マルチメディアアーカイブの各テキストアイテムから複数のテキスト特徴を抽出するステップと、
前記クエリから抽出された複数の化学的特徴と前記マルチメディアアーカイブから抽出された複数のテキスト特徴との間の相関を計算するステップと、
前記クエリから抽出された複数の化学的特徴と前記マルチメディアアーカイブから抽出された複数のテキスト特徴との間の相関度を最大化することに基づき、前記未知の液体を特定する少なくとも1つの情報アイテムを抽出するステップと、
を有することを特徴とする方法。 - 請求項18記載の方法であって、
前記未知の液体は、飲料であることを特徴とする方法。 - マルチメディアアーカイブから標準的な感情リストから選ばれた感情に関連する音声を抽出する方法であって、
前記感情に対する単語を有するクエリを生成するステップと、
前記クエリから複数のテキスト特徴を抽出するステップと、
前記マルチメディアアーカイブの各音声に対する複数の音声特徴を抽出するステップと、
前記クエリから抽出された複数のテキスト特徴と前記マルチメディアアーカイブから抽出された複数の音声特徴との間の相関を計算するステップと、
前記クエリから抽出された複数のテキスト特徴と前記マルチメディアアーカイブから抽出された複数の音声特徴との間の相関度を最大化することに基づき、少なくとも1つの音声を抽出するステップと、
を有することを特徴とする方法。 - 第1メディアモダリティのクエリを、第2メディアモダリティの前記クエリの結果のみが初期的にわかっているときに抽出する方法であって、
前記第2モダリティの特徴を前記第1モダリティに相関する特徴空間に変換するため格納され、前記第1モダリティAのアイテムと前記第2モダリティのアイテムを相関させるためのトレーニング処理中に、A=Cxx −1/2UとB=Cyy −1/2Vとなり(ここで、det(A)=det(B)=1かつ
前記第2モダリティのアイテムからオブジェクト特徴を抽出するステップと、
前記第2モダリティに対するAYを計算するステップと、
マルチメディアデータベースに格納されている前記第1モダリティのアイテムからオブジェクト特徴を抽出するステップと、
前記各アイテムに対するAXを計算するステップと、
AXとAYを相関させるステップと、
AXとBYとの間の最大相関を有するXを抽出するステップと、
を有することを特徴とする方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/295,668 US7120626B2 (en) | 2002-11-15 | 2002-11-15 | Content retrieval based on semantic association |
PCT/IB2003/005012 WO2004046965A2 (en) | 2002-11-15 | 2003-11-07 | Content retrieval based on semantic association |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006506731A true JP2006506731A (ja) | 2006-02-23 |
Family
ID=32297271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004552977A Pending JP2006506731A (ja) | 2002-11-15 | 2003-11-07 | 意味的関連性に基づくコンテンツ抽出 |
Country Status (7)
Country | Link |
---|---|
US (1) | US7120626B2 (ja) |
EP (1) | EP1563410A2 (ja) |
JP (1) | JP2006506731A (ja) |
KR (1) | KR101160597B1 (ja) |
CN (1) | CN1723455B (ja) |
AU (1) | AU2003274613A1 (ja) |
WO (1) | WO2004046965A2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014522532A (ja) * | 2011-06-06 | 2014-09-04 | コーニンクレッカ フィリップス エヌ ヴェ | 表現型を示す組み合わせサインのクロスモーダル適用 |
Families Citing this family (65)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2409916A (en) * | 2003-07-04 | 2005-07-13 | Intellidos Ltd | Joining query templates to query collated data |
EP1531458B1 (en) * | 2003-11-12 | 2008-04-16 | Sony Deutschland GmbH | Apparatus and method for automatic extraction of important events in audio signals |
US20050177358A1 (en) * | 2004-02-10 | 2005-08-11 | Edward Melomed | Multilingual database interaction system and method |
US7415675B2 (en) * | 2004-09-01 | 2008-08-19 | Sap Ag | Software training method and apparatus |
CN101044549A (zh) * | 2004-10-18 | 2007-09-26 | 皇家飞利浦电子股份有限公司 | 向用户通知媒体内容项目的类别的数据处理设备和方法 |
JP4621909B2 (ja) * | 2004-11-26 | 2011-02-02 | 学校法人東京電機大学 | マルチメディア情報検索システム及びプログラム |
US7766231B2 (en) * | 2005-06-24 | 2010-08-03 | Schneider Electric USA, Inc. | Devices and methods for determining the amount of individual usage of a shared commodity |
EP1946227A1 (en) * | 2005-10-27 | 2008-07-23 | Koninklijke Philips Electronics N.V. | Method and system for entering and entrieving content from an electronic diary |
EP1958098A1 (en) * | 2005-12-01 | 2008-08-20 | Koninklijke Philips Electronics N.V. | System and method for presenting content to a user |
US20070156667A1 (en) * | 2006-01-04 | 2007-07-05 | Dongge Li | Method and apparatus for identifying related media across playback platforms |
EP1994478A2 (en) * | 2006-02-10 | 2008-11-26 | Metacarta, Inc. | Systems and methods for spatial thumbnails and companion maps for media objects |
US8682654B2 (en) * | 2006-04-25 | 2014-03-25 | Cyberlink Corp. | Systems and methods for classifying sports video |
ES2779994T3 (es) * | 2006-07-17 | 2020-08-21 | Signify Holding Bv | Determinación de un conjunto de parámetros ambientales |
JP4972358B2 (ja) * | 2006-07-19 | 2012-07-11 | 株式会社リコー | 文書検索装置、文書検索方法、文書検索プログラム及び記録媒体。 |
KR100868187B1 (ko) | 2006-11-02 | 2008-11-10 | 주식회사 케이티 | 사진 기반 통합 컨텐츠 생성 및 제공 시스템 그리고 그방법. |
CN102685441A (zh) * | 2007-01-23 | 2012-09-19 | 欧几里得发现有限责任公司 | 用于提供个人视频服务的系统和方法 |
CN101251841B (zh) * | 2007-05-17 | 2011-06-29 | 华东师范大学 | 基于语义的Web文档的特征矩阵的建立和检索方法 |
US8612643B2 (en) * | 2007-06-30 | 2013-12-17 | Microsoft Corporation | Interfaces for digital media processing |
US8423485B2 (en) * | 2007-09-14 | 2013-04-16 | The University Of Tokyo | Correspondence learning apparatus and method and correspondence learning program, annotation apparatus and method and annotation program, and retrieval apparatus and method and retrieval program |
KR20090035989A (ko) | 2007-10-08 | 2009-04-13 | 삼성전자주식회사 | 컨텐츠 획득 시스템 및 그 방법 |
US20090172106A1 (en) * | 2007-12-27 | 2009-07-02 | Motorola, Inc. | Method and Apparatus to Facilitate Provision and Use of a Media Source Bundle |
US20100169933A1 (en) * | 2008-12-31 | 2010-07-01 | Motorola, Inc. | Accessing an event-based media bundle |
US8321422B1 (en) * | 2009-04-23 | 2012-11-27 | Google Inc. | Fast covariance matrix generation |
US8396325B1 (en) * | 2009-04-27 | 2013-03-12 | Google Inc. | Image enhancement through discrete patch optimization |
US8611695B1 (en) * | 2009-04-27 | 2013-12-17 | Google Inc. | Large scale patch search |
US8391634B1 (en) | 2009-04-28 | 2013-03-05 | Google Inc. | Illumination estimation for images |
US8385662B1 (en) | 2009-04-30 | 2013-02-26 | Google Inc. | Principal component analysis based seed generation for clustering analysis |
KR100963885B1 (ko) * | 2010-03-30 | 2010-06-17 | 한국과학기술정보연구원 | Rdf 네트워크 기반 연관검색 서비스 시스템 및 방법 |
US10431336B1 (en) | 2010-10-01 | 2019-10-01 | Cerner Innovation, Inc. | Computerized systems and methods for facilitating clinical decision making |
US11398310B1 (en) | 2010-10-01 | 2022-07-26 | Cerner Innovation, Inc. | Clinical decision support for sepsis |
US10734115B1 (en) | 2012-08-09 | 2020-08-04 | Cerner Innovation, Inc | Clinical decision support for sepsis |
US11348667B2 (en) | 2010-10-08 | 2022-05-31 | Cerner Innovation, Inc. | Multi-site clinical decision support |
US8798393B2 (en) | 2010-12-01 | 2014-08-05 | Google Inc. | Removing illumination variation from images |
US8756169B2 (en) | 2010-12-03 | 2014-06-17 | Microsoft Corporation | Feature specification via semantic queries |
CN102231149A (zh) * | 2010-12-22 | 2011-11-02 | 辜进荣 | 基于局部特征的手机视觉信息搜索方法 |
US10628553B1 (en) | 2010-12-30 | 2020-04-21 | Cerner Innovation, Inc. | Health information transformation system |
CN102253982B (zh) * | 2011-06-24 | 2013-03-20 | 北京理工大学 | 一种基于查询语义和点击流数据的查询建议方法 |
CN102929887A (zh) * | 2011-08-11 | 2013-02-13 | 天津市亚安科技股份有限公司 | 一种基于声音特征识别的快速录像检索方法及系统 |
US8856156B1 (en) | 2011-10-07 | 2014-10-07 | Cerner Innovation, Inc. | Ontology mapper |
US8938119B1 (en) | 2012-05-01 | 2015-01-20 | Google Inc. | Facade illumination removal |
US10249385B1 (en) | 2012-05-01 | 2019-04-02 | Cerner Innovation, Inc. | System and method for record linkage |
US10769241B1 (en) | 2013-02-07 | 2020-09-08 | Cerner Innovation, Inc. | Discovering context-specific complexity and utilization sequences |
US11894117B1 (en) | 2013-02-07 | 2024-02-06 | Cerner Innovation, Inc. | Discovering context-specific complexity and utilization sequences |
US10946311B1 (en) | 2013-02-07 | 2021-03-16 | Cerner Innovation, Inc. | Discovering context-specific serial health trajectories |
US10483003B1 (en) | 2013-08-12 | 2019-11-19 | Cerner Innovation, Inc. | Dynamically determining risk of clinical condition |
US10854334B1 (en) | 2013-08-12 | 2020-12-01 | Cerner Innovation, Inc. | Enhanced natural language processing |
KR20150087034A (ko) | 2014-01-21 | 2015-07-29 | 한국전자통신연구원 | 객체-콘텐츠 부가정보 상관관계를 이용한 객체 인식장치 및 그 방법 |
US9852188B2 (en) * | 2014-06-23 | 2017-12-26 | Google Llc | Contextual search on multimedia content |
CN105898667A (zh) | 2014-12-22 | 2016-08-24 | 杜比实验室特许公司 | 从音频内容基于投影提取音频对象 |
US10277834B2 (en) | 2017-01-10 | 2019-04-30 | International Business Machines Corporation | Suggestion of visual effects based on detected sound patterns |
US10720182B2 (en) | 2017-03-02 | 2020-07-21 | Ricoh Company, Ltd. | Decomposition of a video stream into salient fragments |
US10943122B2 (en) | 2017-03-02 | 2021-03-09 | Ricoh Company, Ltd. | Focalized behavioral measurements in a video stream |
US10713391B2 (en) | 2017-03-02 | 2020-07-14 | Ricoh Co., Ltd. | Tamper protection and video source identification for video processing pipeline |
US10929685B2 (en) | 2017-03-02 | 2021-02-23 | Ricoh Company, Ltd. | Analysis of operator behavior focalized on machine events |
US10949705B2 (en) | 2017-03-02 | 2021-03-16 | Ricoh Company, Ltd. | Focalized behavioral measurements in a video stream |
US10956494B2 (en) | 2017-03-02 | 2021-03-23 | Ricoh Company, Ltd. | Behavioral measurements in a video stream focalized on keywords |
US10949463B2 (en) | 2017-03-02 | 2021-03-16 | Ricoh Company, Ltd. | Behavioral measurements in a video stream focalized on keywords |
US10719552B2 (en) | 2017-03-02 | 2020-07-21 | Ricoh Co., Ltd. | Focalized summarizations of a video stream |
US10956773B2 (en) | 2017-03-02 | 2021-03-23 | Ricoh Company, Ltd. | Computation of audience metrics focalized on displayed content |
US10956495B2 (en) | 2017-03-02 | 2021-03-23 | Ricoh Company, Ltd. | Analysis of operator behavior focalized on machine events |
US10929707B2 (en) | 2017-03-02 | 2021-02-23 | Ricoh Company, Ltd. | Computation of audience metrics focalized on displayed content |
US10708635B2 (en) | 2017-03-02 | 2020-07-07 | Ricoh Company, Ltd. | Subsumption architecture for processing fragments of a video stream |
EP3796189A4 (en) * | 2018-05-18 | 2022-03-02 | Cambricon Technologies Corporation Limited | VIDEO RECOVERY METHOD, AND METHOD AND APPARATUS FOR GENERATING A VIDEO RECOVERY MAPPING RELATION |
US11730420B2 (en) | 2019-12-17 | 2023-08-22 | Cerner Innovation, Inc. | Maternal-fetal sepsis indicator |
CN111651577B (zh) * | 2020-06-01 | 2023-04-21 | 全球能源互联网研究院有限公司 | 跨媒体数据关联分析模型训练、数据关联分析方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03291752A (ja) * | 1990-04-10 | 1991-12-20 | Matsushita Electric Ind Co Ltd | データ検索装置 |
JPH1139342A (ja) * | 1997-07-16 | 1999-02-12 | Nippon Telegr & Teleph Corp <Ntt> | データ処理方法およびその装置 |
JPH1166283A (ja) * | 1997-08-13 | 1999-03-09 | Matsushita Electric Ind Co Ltd | 画像特徴量の相関抽出方法及び画像検索装置 |
JP2001184357A (ja) * | 1999-12-24 | 2001-07-06 | Victor Co Of Japan Ltd | マルチメディア素材検索装置 |
JP2001184367A (ja) * | 1999-12-27 | 2001-07-06 | Matsushita Electric Ind Co Ltd | データ分類用統計情報抽出装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6188776B1 (en) | 1996-05-21 | 2001-02-13 | Interval Research Corporation | Principle component analysis of images for the automatic location of control points |
US6111567A (en) | 1997-04-03 | 2000-08-29 | Microsoft Corporation | Seamless multimedia branching |
US6154754A (en) | 1997-09-25 | 2000-11-28 | Siemens Corporate Research, Inc. | Automatic synthesis of semantic information from multimedia documents |
US6243713B1 (en) * | 1998-08-24 | 2001-06-05 | Excalibur Technologies Corp. | Multimedia document retrieval by application of multimedia queries to a unified index of multimedia data for a plurality of multimedia data types |
US6598054B2 (en) * | 1999-01-26 | 2003-07-22 | Xerox Corporation | System and method for clustering data objects in a collection |
EP1151398A4 (en) | 1999-02-01 | 2004-04-14 | Univ Columbia | MULTIMEDIA ARCHIVE DESCRIPTION SYSTEM |
US6411724B1 (en) * | 1999-07-02 | 2002-06-25 | Koninklijke Philips Electronics N.V. | Using meta-descriptors to represent multimedia information |
US6701294B1 (en) | 2000-01-19 | 2004-03-02 | Lucent Technologies, Inc. | User interface for translating natural language inquiries into database queries and data presentations |
AU2001288469A1 (en) * | 2000-08-28 | 2002-03-13 | Emotion, Inc. | Method and apparatus for digital media management, retrieval, and collaboration |
US7113943B2 (en) * | 2000-12-06 | 2006-09-26 | Content Analyst Company, Llc | Method for document comparison and selection |
-
2002
- 2002-11-15 US US10/295,668 patent/US7120626B2/en not_active Expired - Fee Related
-
2003
- 2003-11-07 CN CN2003801032809A patent/CN1723455B/zh not_active Expired - Fee Related
- 2003-11-07 AU AU2003274613A patent/AU2003274613A1/en not_active Abandoned
- 2003-11-07 EP EP03758587A patent/EP1563410A2/en not_active Withdrawn
- 2003-11-07 WO PCT/IB2003/005012 patent/WO2004046965A2/en active Application Filing
- 2003-11-07 JP JP2004552977A patent/JP2006506731A/ja active Pending
- 2003-11-07 KR KR1020057008380A patent/KR101160597B1/ko not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03291752A (ja) * | 1990-04-10 | 1991-12-20 | Matsushita Electric Ind Co Ltd | データ検索装置 |
JPH1139342A (ja) * | 1997-07-16 | 1999-02-12 | Nippon Telegr & Teleph Corp <Ntt> | データ処理方法およびその装置 |
JPH1166283A (ja) * | 1997-08-13 | 1999-03-09 | Matsushita Electric Ind Co Ltd | 画像特徴量の相関抽出方法及び画像検索装置 |
JP2001184357A (ja) * | 1999-12-24 | 2001-07-06 | Victor Co Of Japan Ltd | マルチメディア素材検索装置 |
JP2001184367A (ja) * | 1999-12-27 | 2001-07-06 | Matsushita Electric Ind Co Ltd | データ分類用統計情報抽出装置 |
Non-Patent Citations (3)
Title |
---|
FISHER III, J.W., ET AL.: "Learning Joint Statistical Models for Audio-Visual Fusion and Segregation", ADVANCES IN NEURAL INFROMATION PROCESSING SYSTEMS 13, JPN6010064606, 2000, US, pages 772 - 778, XP002282822, ISSN: 0001775109 * |
早川 和宏、鈴木 亮、向井 利春、大西 昇: "物理法則に基づく視聴覚情報の対応付け", 映像情報メディア学会技術報告, vol. 23, no. 8, JPN6009037764, 2 February 1999 (1999-02-02), JP, pages 13 - 18, ISSN: 0001380154 * |
柳井 晴夫, 多変量解析ハンドブック, vol. 第1版, JPN6009066696, 20 April 1986 (1986-04-20), JP, pages 98 - 117, ISSN: 0001498769 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014522532A (ja) * | 2011-06-06 | 2014-09-04 | コーニンクレッカ フィリップス エヌ ヴェ | 表現型を示す組み合わせサインのクロスモーダル適用 |
Also Published As
Publication number | Publication date |
---|---|
US7120626B2 (en) | 2006-10-10 |
US20040098376A1 (en) | 2004-05-20 |
KR20050074991A (ko) | 2005-07-19 |
WO2004046965A2 (en) | 2004-06-03 |
WO2004046965A3 (en) | 2004-08-19 |
CN1723455A (zh) | 2006-01-18 |
KR101160597B1 (ko) | 2012-06-28 |
AU2003274613A1 (en) | 2004-06-15 |
EP1563410A2 (en) | 2005-08-17 |
CN1723455B (zh) | 2010-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7120626B2 (en) | Content retrieval based on semantic association | |
Bragg et al. | Sign language recognition, generation, and translation: An interdisciplinary perspective | |
Li et al. | CHEAVD: a Chinese natural emotional audio–visual database | |
US7853582B2 (en) | Method and system for providing information services related to multimodal inputs | |
Yang et al. | Content based lecture video retrieval using speech and video text information | |
JP3848319B2 (ja) | 情報処理方法及び情報処理装置 | |
JP5257071B2 (ja) | 類似度計算装置及び情報検索装置 | |
JP6361351B2 (ja) | 発話ワードをランク付けする方法、プログラム及び計算処理システム | |
EP3405912A1 (en) | Analyzing textual data | |
CN1965319A (zh) | 信息检索装置、输入辅助装置、方法及程序 | |
CN101309327A (zh) | 语音聊天系统、信息处理装置、话语识别和关键字检测 | |
WO2007043679A1 (ja) | 情報処理装置およびプログラム | |
US8370323B2 (en) | Providing information services related to multimodal inputs | |
CN113380271B (zh) | 情绪识别方法、系统、设备及介质 | |
CN110263340B (zh) | 评论生成方法、装置、服务器及存储介质 | |
CN113392265A (zh) | 多媒体处理方法、装置及设备 | |
Xia et al. | Audiovisual speech recognition: A review and forecast | |
Knight et al. | HeadTalk, HandTalk and the corpus: Towards a framework for multi-modal, multi-media corpus development | |
Hernandez et al. | Multimodal corpus analysis of autoblog 2020: lecture videos in machine learning | |
Ghosh et al. | Multimodal indexing of multilingual news video | |
Furui | Overview of the 21st century COE program “Framework for Systematization and Application of Large-scale Knowledge Resources” | |
US20240106776A1 (en) | Sign Language Translation Method And System Thereof | |
Jayalakshmi et al. | Augmenting Kannada Educational Video with Indian Sign Language Captions Using Synthetic Animation | |
EP4379598A1 (en) | A sign language translation method and system thereof | |
Kothawade et al. | Retrieving instructional video content from speech and text information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100405 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100910 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20101018 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20101112 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120517 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120522 |