JP2020528705A5 - - Google Patents

Download PDF

Info

Publication number
JP2020528705A5
JP2020528705A5 JP2020503818A JP2020503818A JP2020528705A5 JP 2020528705 A5 JP2020528705 A5 JP 2020528705A5 JP 2020503818 A JP2020503818 A JP 2020503818A JP 2020503818 A JP2020503818 A JP 2020503818A JP 2020528705 A5 JP2020528705 A5 JP 2020528705A5
Authority
JP
Japan
Prior art keywords
scene
keywords
scenes
target
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020503818A
Other languages
English (en)
Other versions
JP2020528705A (ja
JP7123122B2 (ja
Filing date
Publication date
Priority claimed from US15/657,626 external-priority patent/US10970334B2/en
Application filed filed Critical
Publication of JP2020528705A publication Critical patent/JP2020528705A/ja
Publication of JP2020528705A5 publication Critical patent/JP2020528705A5/ja
Application granted granted Critical
Publication of JP7123122B2 publication Critical patent/JP7123122B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (13)

  1. データベースからシーンを取得するためのコンピュータ実装方法であって、前記方法が、
    ユーザから、データベースに格納されたシーンに関する検索要求を受信することであって、前記データベースが注釈付きのビデオ・コンテンツを含んでいる、前記受信することと、
    1つまたは複数のキーワードを前記検索要求から抽出することと、
    前記1つまたは複数のキーワードの各々に関して、1つまたは複数の拡張キーワードを生成することと、
    前記1つまたは複数の拡張キーワードおよび前記1つまたは複数のキーワードを、前記注釈付きのビデオ・コンテンツと比較して、1つまたは複数の対象のシーンを識別することであって、前記1つまたは複数の対象のシーンが、それぞれ対象のシーンの注釈を含んでいる、前記識別することと、
    前記1つまたは複数の対象のシーンの各々の前記対象のシーンの注釈と、前記1つまたは複数の拡張キーワードおよび1つまたは複数のキーワードとの間の相関関係に少なくとも部分的に基づいて、信頼性評価を前記1つまたは複数の対象のシーンの各々に割り当てることと、
    前記1つまたは複数の対象のシーンのうちの少なくとも1つを前記ユーザに表示することであって、前記1つまたは複数の対象のシーンのうちの前記少なくとも1つが、前記信頼性評価に基づいて決定される、前記表示することとを含んでいる、コンピュータ実装方法。
  2. 前記ユーザから、前記1つまたは複数の対象のシーンのうちの1つの対象のシーンの選択の指示を受信することと、
    前記選択に少なくとも部分的に基づいて前記対象のシーンの注釈を更新することとをさらに含んでいる、請求項1に記載のコンピュータ実装方法。
  3. 前記1つまたは複数の対象のシーンを前記ユーザに表示することと、
    前記ユーザから、前記1つまたは複数の対象のシーンのうちの1つの対象のシーンの拒否の指示を受信することと、
    前記拒否に少なくとも部分的に基づいて前記対象のシーンの注釈を更新することとをさらに含んでいる、請求項1に記載のコンピュータ実装方法。
  4. 前記ユーザを監視して、前記ユーザが前記対象のシーンを見ているときに、前記ユーザの感情的反応を決定することと、
    前記ユーザの前記感情的反応を前記対象のシーンの注釈と比較して、前記感情的反応と前記対象のシーンの注釈の間の相関関係を決定することと、
    前記感情的反応と前記対象のシーンの注釈の間の前記相関関係に少なくとも部分的に基づいて、前記対象のシーンの注釈を更新することとをさらに含んでいる、請求項2に記載のコンピュータ実装方法。
  5. 前記検索要求がユーザ音声入力であり、1つまたは複数のキーワードを前記抽出することが、
    前記検索要求に対して自然言語処理を実行して、前記ユーザ音声入力をテキストに変換することと、
    前記テキストを1つまたは複数の別々の語句に分割することと、
    前記1つまたは複数の別々の語句を解析して、キーワードを決定することとを含んでいる、請求項1に記載のコンピュータ実装方法。
  6. 前記1つまたは複数の対象のシーンを前記ユーザに表示することと、
    前記信頼性評価に従って前記1つまたは複数の対象のシーンの前記表示を順序付けることとをさらに含んでいる、請求項1に記載のコンピュータ実装方法。
  7. ビデオ・シーンに注釈を付けるためのコンピュータ実装方法であって、前記方法が、
    プロセッサによって1つまたは複数のビデオを受信することと、
    前記1つまたは複数のビデオの各々をシーンのセットに分割することと、
    前記シーンのセット内の第1のシーンを解析して、前記第1のシーンのラベルのセットを決定することと、
    前記第1のシーンに、前記ラベルのセットで注釈を付けることと、
    前記第1のシーンをデータベースに格納することとを含んでいる、コンピュータ実装方法。
  8. 前記第1のシーンの前記ラベルのセットに少なくとも部分的に基づいて拡張キーワードを決定することと、
    前記拡張キーワードに、前記第1のシーンで注釈を付けることとをさらに含んでいる、請求項に記載のコンピュータ実装方法。
  9. 前記第1のシーンの前記ラベルのセットを決定することが、
    前記第1のシーンに対して画像認識を実行して、前記第1のシーン内の1つまたは複数の物体のラベルを生成することを含んでいる、請求項に記載のコンピュータ実装方法。
  10. 前記第1のシーンの前記ラベルのセットを決定することが、
    前記第1のシーンに対して音声の解析を実行して、1つまたは複数のキーワードを抽出することと、
    前記1つまたは複数のキーワードに少なくとも部分的に基づいて、前記第1のシーンのラベルを生成することと、
    前記第1のシーンに、前記1つまたは複数のキーワードで注釈を付けることとをさらに含んでいる、請求項に記載のコンピュータ実装方法。
  11. 前記第1のシーンの前記1つまたは複数のキーワードに少なくとも部分的に基づいて拡張キーワードを決定することと、
    前記拡張キーワードに、前記第1のシーンで注釈を付けることとをさらに含んでいる、請求項10に記載のコンピュータ実装方法。
  12. データベースからシーンを取得するためのコンピュータ・システムであって、前記コンピュータ・システムが、メモリに通信によって接続されたプロセッサを含んでおり、前記プロセッサが、
    ユーザから、データベースに格納されたシーンに関する検索要求を受信することであって、前記データベースが注釈付きのビデオ・コンテンツを含んでいる、前記受信することと、
    1つまたは複数のキーワードを前記検索要求から抽出することと、
    前記1つまたは複数のキーワードの各々に関して、1つまたは複数の拡張キーワードを生成することと、
    前記1つまたは複数の拡張キーワードおよび前記1つまたは複数のキーワードを、前記注釈付きのビデオ・コンテンツと比較して、1つまたは複数の対象のシーンを識別することであって、前記1つまたは複数の対象のシーンが、それぞれ対象のシーンの注釈を含んでいる、前記識別することと、
    前記1つまたは複数の対象のシーンの各々の前記対象のシーンの注釈と、前記1つまたは複数の拡張キーワードおよび1つまたは複数のキーワードとの間の相関関係に少なくとも部分的に基づいて、信頼性評価を前記1つまたは複数の対象のシーンの各々に割り当てることとを実行するように構成されている、コンピュータ・システム。
  13. ビデオ・シーンに注釈を付けるためのコンピュータ・システムであって、前記コンピュータ・システムが、メモリに通信によって接続されたプロセッサを含んでおり、前記プロセッサが、
    1つまたは複数のビデオを受信することと、
    前記1つまたは複数のビデオの各々をシーンのセットに分割することと、
    前記シーンのセット内の第1のシーンを解析して、前記第1のシーンのラベルのセットを決定することと、
    前記第1のシーンに、前記ラベルのセットで注釈を付けることと、
    前記第1のシーンをデータベースに格納することとを実行するように構成されている、コンピュータ・システム。
JP2020503818A 2017-07-24 2018-07-05 認知的洞察を使用したビデオ・シーンの移動 Active JP7123122B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/657,626 2017-07-24
US15/657,626 US10970334B2 (en) 2017-07-24 2017-07-24 Navigating video scenes using cognitive insights
PCT/IB2018/054963 WO2019021088A1 (en) 2017-07-24 2018-07-05 NAVIGATION BETWEEN VIDEO SCENES OF COGNITIVE KNOWLEDGE ASSISTANCE

Publications (3)

Publication Number Publication Date
JP2020528705A JP2020528705A (ja) 2020-09-24
JP2020528705A5 true JP2020528705A5 (ja) 2021-01-07
JP7123122B2 JP7123122B2 (ja) 2022-08-22

Family

ID=65018639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020503818A Active JP7123122B2 (ja) 2017-07-24 2018-07-05 認知的洞察を使用したビデオ・シーンの移動

Country Status (4)

Country Link
US (1) US10970334B2 (ja)
JP (1) JP7123122B2 (ja)
CN (1) CN110914872A (ja)
WO (1) WO2019021088A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11640420B2 (en) 2017-12-31 2023-05-02 Zignal Labs, Inc. System and method for automatic summarization of content with event based analysis
US11755915B2 (en) * 2018-06-13 2023-09-12 Zignal Labs, Inc. System and method for quality assurance of media analysis
US11392791B2 (en) * 2018-08-31 2022-07-19 Writer, Inc. Generating training data for natural language processing
CN110147711B (zh) * 2019-02-27 2023-11-14 腾讯科技(深圳)有限公司 视频场景识别方法、装置、存储介质和电子装置
WO2021046574A1 (en) * 2019-09-03 2021-03-11 Google Llc Camera input as an automated filter mechanism for video search
US11150923B2 (en) 2019-09-16 2021-10-19 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing manual thereof
CN112732974A (zh) * 2019-10-10 2021-04-30 腾讯科技(深圳)有限公司 一种数据处理方法、电子设备及存储介质
CN111539206B (zh) * 2020-04-27 2023-07-25 中国银行股份有限公司 一种确定敏感信息的方法、装置、设备及存储介质
CN113781062A (zh) * 2020-08-03 2021-12-10 北京沃东天骏信息技术有限公司 一种用户标签的展示方法和装置
CN112035705A (zh) * 2020-08-31 2020-12-04 北京市商汤科技开发有限公司 标签生成方法及装置、电子设备和存储介质
CN112905838A (zh) * 2021-02-07 2021-06-04 北京有竹居网络技术有限公司 信息检索方法和装置、存储介质和电子设备
US11625922B2 (en) * 2021-03-08 2023-04-11 Motorola Solutions, Inc. Event summarization facilitated by emotions/reactions of people near an event location
CN113709529B (zh) * 2021-04-13 2023-07-14 腾讯科技(深圳)有限公司 视频合成方法、装置、电子设备及计算机可读介质
CN113377924A (zh) * 2021-06-28 2021-09-10 北京百度网讯科技有限公司 数据处理方法、装置、设备以及存储介质
CN113449506A (zh) * 2021-06-29 2021-09-28 未鲲(上海)科技服务有限公司 一种数据检测方法、装置、设备及可读存储介质
CN113596352B (zh) * 2021-07-29 2023-07-25 北京达佳互联信息技术有限公司 视频的处理方法、处理装置和电子设备
CN114155464B (zh) * 2021-11-29 2022-11-25 北京中交兴路信息科技有限公司 一种视频数据存证方法、装置、存储介质及终端
CN114756700B (zh) * 2022-06-17 2022-09-09 小米汽车科技有限公司 场景库建立方法、装置、车辆、存储介质及芯片

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6580437B1 (en) 2000-06-26 2003-06-17 Siemens Corporate Research, Inc. System for organizing videos based on closed-caption information
US6813618B1 (en) * 2000-08-18 2004-11-02 Alexander C. Loui System and method for acquisition of related graphical material in a digital graphics album
JP2002335473A (ja) 2001-05-10 2002-11-22 Webstream:Kk 動画コンテンツの検索情報抽出システム、検索情報抽出方法、検索情報保存システム、動画コンテンツのストリーミング配信方法
JP2003274320A (ja) 2002-03-15 2003-09-26 Konica Corp 画像撮像装置、画像情報処理装置及び画像情報処理方法
JP2004029906A (ja) 2002-06-21 2004-01-29 Fuji Xerox Co Ltd 文書検索装置および方法
JP2004297548A (ja) 2003-03-27 2004-10-21 Nippon Telegr & Teleph Corp <Ntt> 情報検索配信方法およびシステム
JP2005080000A (ja) 2003-09-01 2005-03-24 Toshiba Solutions Corp インデキシング装置、映像再生装置及び方法
US7512537B2 (en) 2005-03-22 2009-03-31 Microsoft Corporation NLP tool to dynamically create movies/animated scenes
JP2008022292A (ja) 2006-07-13 2008-01-31 Sony Corp 出演者情報検索システム、出演者情報取得装置、出演者情報検索装置、および、その方法ならびにプログラム
US20080046925A1 (en) * 2006-08-17 2008-02-21 Microsoft Corporation Temporal and spatial in-video marking, indexing, and searching
US7788099B2 (en) * 2007-04-09 2010-08-31 International Business Machines Corporation Method and apparatus for query expansion based on multimodal cross-vocabulary mapping
JP2009272816A (ja) 2008-05-02 2009-11-19 Visionere Corp サーバ、情報処理システム及び情報処理方法
JP2011029795A (ja) 2009-07-23 2011-02-10 Katsumi Inoue 映像コンテンツのアノテーション情報付与システム及びその方法
US20110047163A1 (en) * 2009-08-24 2011-02-24 Google Inc. Relevance-Based Image Selection
JP5499566B2 (ja) 2009-08-26 2014-05-21 日本電気株式会社 動画再生装置、動画再生方法及びプログラム
US20130166303A1 (en) * 2009-11-13 2013-06-27 Adobe Systems Incorporated Accessing media data using metadata repository
US9503786B2 (en) * 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US8423555B2 (en) 2010-07-09 2013-04-16 Comcast Cable Communications, Llc Automatic segmentation of video
CN102142089B (zh) 2011-01-07 2012-09-26 哈尔滨工程大学 一种基于语义二叉树的图像标注方法
US20130129142A1 (en) 2011-11-17 2013-05-23 Microsoft Corporation Automatic tag generation based on image content
EP2720172A1 (en) 2012-10-12 2014-04-16 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Video access system and method based on action type detection
KR101423549B1 (ko) * 2012-10-26 2014-08-01 고려대학교 산학협력단 감상 기반 질의 처리 시스템 및 방법
US9721010B2 (en) * 2012-12-13 2017-08-01 Microsoft Technology Licensing, Llc Content reaction annotations
US20150135077A1 (en) * 2013-03-14 2015-05-14 Aperture Investments, Llc Systems and methods for creating, searching, organizing, selecting and distributing video content based on mood
US20150318020A1 (en) * 2014-05-02 2015-11-05 FreshTake Media, Inc. Interactive real-time video editor and recorder
CN103268635B (zh) 2013-05-15 2016-08-10 北京交通大学 一种几何网格场景模型的分割及语义标注方法
US9396763B2 (en) * 2013-11-15 2016-07-19 Clipmine, Inc. Computer-assisted collaborative tagging of video content for indexing and table of contents generation
US9681166B2 (en) * 2014-02-25 2017-06-13 Facebook, Inc. Techniques for emotion detection and content delivery
US9253511B2 (en) * 2014-04-14 2016-02-02 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for performing multi-modal video datastream segmentation
US9583149B2 (en) 2014-04-23 2017-02-28 Daniel Stieglitz Automated video logging methods and systems
US11182431B2 (en) 2014-10-03 2021-11-23 Disney Enterprises, Inc. Voice searching metadata through media content
CN105117429B (zh) 2015-08-05 2018-11-23 广东工业大学 基于主动学习和多标签多示例学习的场景图像标注方法
CN105787102B (zh) * 2016-03-18 2019-04-26 北京搜狗科技发展有限公司 搜索方法、装置以及用于搜索的装置
US10362355B2 (en) * 2016-03-23 2019-07-23 Rovi Guides, Inc. Systems and methods for recording media assets
CN107241622A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 视频定位处理方法、终端设备及云端服务器
CN105933538B (zh) 2016-06-15 2019-06-07 维沃移动通信有限公司 一种移动终端的视频查找方法及移动终端
US10579401B2 (en) * 2017-06-21 2020-03-03 Rovi Guides, Inc. Systems and methods for providing a virtual assistant to accommodate different sentiments among a group of users by correlating or prioritizing causes of the different sentiments
US20180374029A1 (en) * 2017-06-27 2018-12-27 Asapp, Inc Selection of customer service requests

Similar Documents

Publication Publication Date Title
JP2020528705A5 (ja)
KR102394756B1 (ko) 비디오를 처리하기 위한 방법 및 장치
Eskevich et al. Search and hyperlinking task at mediaeval 2012
US11461386B2 (en) Visual recognition using user tap locations
CN109558513B (zh) 一种内容推荐方法、装置、终端及存储介质
WO2019169872A1 (zh) 搜索内容资源的方法、装置和服务器
US20110078176A1 (en) Image search apparatus and method
US20110191336A1 (en) Contextual image search
US10210181B2 (en) Searching and annotating within images
CN110740389B (zh) 视频定位方法、装置、计算机可读介质及电子设备
JP2016136341A5 (ja)
CN107229741B (zh) 信息搜索方法、装置、设备以及存储介质
US20140289632A1 (en) Picture drawing support apparatus and method
KR20160107187A (ko) 검색 결과에서의 논리적인 질문 응답 기법
KR20150116929A (ko) 텍스트에 기반한 동영상 생성장치 및 그 생성방법
JP2022075668A (ja) ビデオ処理方法、装置、デバイスおよび記憶媒体
JP2009087113A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
CN113065018A (zh) 一种音视频的索引库创建和检索方法、装置及电子设备
CN111797224A (zh) 一种专利数据检索结果展示方法、装置、设备和存储介质
KR20160012901A (ko) 이미지를 검색하는 방법 및 그 전자 장치
US20210342393A1 (en) Artificial intelligence for content discovery
Collyda et al. Videoanalysis4all: An on-line tool for the automatic fragmentation and concept-based annotation, and the interactive exploration of videos
JP2015036892A (ja) 情報処理装置、情報処理方法、及び、プログラム
US20180189602A1 (en) Method of and system for determining and selecting media representing event diversity
US20190361939A1 (en) Search processing apparatus and non-transitory computer readable medium storing program