JP2020528705A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2020528705A5 JP2020528705A5 JP2020503818A JP2020503818A JP2020528705A5 JP 2020528705 A5 JP2020528705 A5 JP 2020528705A5 JP 2020503818 A JP2020503818 A JP 2020503818A JP 2020503818 A JP2020503818 A JP 2020503818A JP 2020528705 A5 JP2020528705 A5 JP 2020528705A5
- Authority
- JP
- Japan
- Prior art keywords
- scene
- keywords
- scenes
- target
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002996 emotional Effects 0.000 claims 4
- 230000004044 response Effects 0.000 claims 4
- 230000001568 sexual Effects 0.000 claims 2
- 238000004458 analytical method Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 238000003058 natural language processing Methods 0.000 claims 1
Claims (13)
- データベースからシーンを取得するためのコンピュータ実装方法であって、前記方法が、
ユーザから、データベースに格納されたシーンに関する検索要求を受信することであって、前記データベースが注釈付きのビデオ・コンテンツを含んでいる、前記受信することと、
1つまたは複数のキーワードを前記検索要求から抽出することと、
前記1つまたは複数のキーワードの各々に関して、1つまたは複数の拡張キーワードを生成することと、
前記1つまたは複数の拡張キーワードおよび前記1つまたは複数のキーワードを、前記注釈付きのビデオ・コンテンツと比較して、1つまたは複数の対象のシーンを識別することであって、前記1つまたは複数の対象のシーンが、それぞれ対象のシーンの注釈を含んでいる、前記識別することと、
前記1つまたは複数の対象のシーンの各々の前記対象のシーンの注釈と、前記1つまたは複数の拡張キーワードおよび1つまたは複数のキーワードとの間の相関関係に少なくとも部分的に基づいて、信頼性評価を前記1つまたは複数の対象のシーンの各々に割り当てることと、
前記1つまたは複数の対象のシーンのうちの少なくとも1つを前記ユーザに表示することであって、前記1つまたは複数の対象のシーンのうちの前記少なくとも1つが、前記信頼性評価に基づいて決定される、前記表示することとを含んでいる、コンピュータ実装方法。 - 前記ユーザから、前記1つまたは複数の対象のシーンのうちの1つの対象のシーンの選択の指示を受信することと、
前記選択に少なくとも部分的に基づいて前記対象のシーンの注釈を更新することとをさらに含んでいる、請求項1に記載のコンピュータ実装方法。 - 前記1つまたは複数の対象のシーンを前記ユーザに表示することと、
前記ユーザから、前記1つまたは複数の対象のシーンのうちの1つの対象のシーンの拒否の指示を受信することと、
前記拒否に少なくとも部分的に基づいて前記対象のシーンの注釈を更新することとをさらに含んでいる、請求項1に記載のコンピュータ実装方法。 - 前記ユーザを監視して、前記ユーザが前記対象のシーンを見ているときに、前記ユーザの感情的反応を決定することと、
前記ユーザの前記感情的反応を前記対象のシーンの注釈と比較して、前記感情的反応と前記対象のシーンの注釈の間の相関関係を決定することと、
前記感情的反応と前記対象のシーンの注釈の間の前記相関関係に少なくとも部分的に基づいて、前記対象のシーンの注釈を更新することとをさらに含んでいる、請求項2に記載のコンピュータ実装方法。 - 前記検索要求がユーザ音声入力であり、1つまたは複数のキーワードを前記抽出することが、
前記検索要求に対して自然言語処理を実行して、前記ユーザ音声入力をテキストに変換することと、
前記テキストを1つまたは複数の別々の語句に分割することと、
前記1つまたは複数の別々の語句を解析して、キーワードを決定することとを含んでいる、請求項1に記載のコンピュータ実装方法。 - 前記1つまたは複数の対象のシーンを前記ユーザに表示することと、
前記信頼性評価に従って前記1つまたは複数の対象のシーンの前記表示を順序付けることとをさらに含んでいる、請求項1に記載のコンピュータ実装方法。 - ビデオ・シーンに注釈を付けるためのコンピュータ実装方法であって、前記方法が、
プロセッサによって1つまたは複数のビデオを受信することと、
前記1つまたは複数のビデオの各々をシーンのセットに分割することと、
前記シーンのセット内の第1のシーンを解析して、前記第1のシーンのラベルのセットを決定することと、
前記第1のシーンに、前記ラベルのセットで注釈を付けることと、
前記第1のシーンをデータベースに格納することとを含んでいる、コンピュータ実装方法。 - 前記第1のシーンの前記ラベルのセットに少なくとも部分的に基づいて拡張キーワードを決定することと、
前記拡張キーワードに、前記第1のシーンで注釈を付けることとをさらに含んでいる、請求項7に記載のコンピュータ実装方法。 - 前記第1のシーンの前記ラベルのセットを決定することが、
前記第1のシーンに対して画像認識を実行して、前記第1のシーン内の1つまたは複数の物体のラベルを生成することを含んでいる、請求項7に記載のコンピュータ実装方法。 - 前記第1のシーンの前記ラベルのセットを決定することが、
前記第1のシーンに対して音声の解析を実行して、1つまたは複数のキーワードを抽出することと、
前記1つまたは複数のキーワードに少なくとも部分的に基づいて、前記第1のシーンのラベルを生成することと、
前記第1のシーンに、前記1つまたは複数のキーワードで注釈を付けることとをさらに含んでいる、請求項7に記載のコンピュータ実装方法。 - 前記第1のシーンの前記1つまたは複数のキーワードに少なくとも部分的に基づいて拡張キーワードを決定することと、
前記拡張キーワードに、前記第1のシーンで注釈を付けることとをさらに含んでいる、請求項10に記載のコンピュータ実装方法。 - データベースからシーンを取得するためのコンピュータ・システムであって、前記コンピュータ・システムが、メモリに通信によって接続されたプロセッサを含んでおり、前記プロセッサが、
ユーザから、データベースに格納されたシーンに関する検索要求を受信することであって、前記データベースが注釈付きのビデオ・コンテンツを含んでいる、前記受信することと、
1つまたは複数のキーワードを前記検索要求から抽出することと、
前記1つまたは複数のキーワードの各々に関して、1つまたは複数の拡張キーワードを生成することと、
前記1つまたは複数の拡張キーワードおよび前記1つまたは複数のキーワードを、前記注釈付きのビデオ・コンテンツと比較して、1つまたは複数の対象のシーンを識別することであって、前記1つまたは複数の対象のシーンが、それぞれ対象のシーンの注釈を含んでいる、前記識別することと、
前記1つまたは複数の対象のシーンの各々の前記対象のシーンの注釈と、前記1つまたは複数の拡張キーワードおよび1つまたは複数のキーワードとの間の相関関係に少なくとも部分的に基づいて、信頼性評価を前記1つまたは複数の対象のシーンの各々に割り当てることとを実行するように構成されている、コンピュータ・システム。 - ビデオ・シーンに注釈を付けるためのコンピュータ・システムであって、前記コンピュータ・システムが、メモリに通信によって接続されたプロセッサを含んでおり、前記プロセッサが、
1つまたは複数のビデオを受信することと、
前記1つまたは複数のビデオの各々をシーンのセットに分割することと、
前記シーンのセット内の第1のシーンを解析して、前記第1のシーンのラベルのセットを決定することと、
前記第1のシーンに、前記ラベルのセットで注釈を付けることと、
前記第1のシーンをデータベースに格納することとを実行するように構成されている、コンピュータ・システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/657,626 | 2017-07-24 | ||
US15/657,626 US10970334B2 (en) | 2017-07-24 | 2017-07-24 | Navigating video scenes using cognitive insights |
PCT/IB2018/054963 WO2019021088A1 (en) | 2017-07-24 | 2018-07-05 | NAVIGATION BETWEEN VIDEO SCENES OF COGNITIVE KNOWLEDGE ASSISTANCE |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020528705A JP2020528705A (ja) | 2020-09-24 |
JP2020528705A5 true JP2020528705A5 (ja) | 2021-01-07 |
JP7123122B2 JP7123122B2 (ja) | 2022-08-22 |
Family
ID=65018639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020503818A Active JP7123122B2 (ja) | 2017-07-24 | 2018-07-05 | 認知的洞察を使用したビデオ・シーンの移動 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10970334B2 (ja) |
JP (1) | JP7123122B2 (ja) |
CN (1) | CN110914872A (ja) |
WO (1) | WO2019021088A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11640420B2 (en) | 2017-12-31 | 2023-05-02 | Zignal Labs, Inc. | System and method for automatic summarization of content with event based analysis |
US11755915B2 (en) * | 2018-06-13 | 2023-09-12 | Zignal Labs, Inc. | System and method for quality assurance of media analysis |
US11392791B2 (en) * | 2018-08-31 | 2022-07-19 | Writer, Inc. | Generating training data for natural language processing |
CN110147711B (zh) * | 2019-02-27 | 2023-11-14 | 腾讯科技(深圳)有限公司 | 视频场景识别方法、装置、存储介质和电子装置 |
WO2021046574A1 (en) * | 2019-09-03 | 2021-03-11 | Google Llc | Camera input as an automated filter mechanism for video search |
US11150923B2 (en) | 2019-09-16 | 2021-10-19 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for providing manual thereof |
CN112732974A (zh) * | 2019-10-10 | 2021-04-30 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、电子设备及存储介质 |
CN111539206B (zh) * | 2020-04-27 | 2023-07-25 | 中国银行股份有限公司 | 一种确定敏感信息的方法、装置、设备及存储介质 |
CN113781062A (zh) * | 2020-08-03 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种用户标签的展示方法和装置 |
CN112035705A (zh) * | 2020-08-31 | 2020-12-04 | 北京市商汤科技开发有限公司 | 标签生成方法及装置、电子设备和存储介质 |
CN112905838A (zh) * | 2021-02-07 | 2021-06-04 | 北京有竹居网络技术有限公司 | 信息检索方法和装置、存储介质和电子设备 |
US11625922B2 (en) * | 2021-03-08 | 2023-04-11 | Motorola Solutions, Inc. | Event summarization facilitated by emotions/reactions of people near an event location |
CN113709529B (zh) * | 2021-04-13 | 2023-07-14 | 腾讯科技(深圳)有限公司 | 视频合成方法、装置、电子设备及计算机可读介质 |
CN113377924A (zh) * | 2021-06-28 | 2021-09-10 | 北京百度网讯科技有限公司 | 数据处理方法、装置、设备以及存储介质 |
CN113449506A (zh) * | 2021-06-29 | 2021-09-28 | 未鲲(上海)科技服务有限公司 | 一种数据检测方法、装置、设备及可读存储介质 |
CN113596352B (zh) * | 2021-07-29 | 2023-07-25 | 北京达佳互联信息技术有限公司 | 视频的处理方法、处理装置和电子设备 |
CN114155464B (zh) * | 2021-11-29 | 2022-11-25 | 北京中交兴路信息科技有限公司 | 一种视频数据存证方法、装置、存储介质及终端 |
CN114756700B (zh) * | 2022-06-17 | 2022-09-09 | 小米汽车科技有限公司 | 场景库建立方法、装置、车辆、存储介质及芯片 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6580437B1 (en) | 2000-06-26 | 2003-06-17 | Siemens Corporate Research, Inc. | System for organizing videos based on closed-caption information |
US6813618B1 (en) * | 2000-08-18 | 2004-11-02 | Alexander C. Loui | System and method for acquisition of related graphical material in a digital graphics album |
JP2002335473A (ja) | 2001-05-10 | 2002-11-22 | Webstream:Kk | 動画コンテンツの検索情報抽出システム、検索情報抽出方法、検索情報保存システム、動画コンテンツのストリーミング配信方法 |
JP2003274320A (ja) | 2002-03-15 | 2003-09-26 | Konica Corp | 画像撮像装置、画像情報処理装置及び画像情報処理方法 |
JP2004029906A (ja) | 2002-06-21 | 2004-01-29 | Fuji Xerox Co Ltd | 文書検索装置および方法 |
JP2004297548A (ja) | 2003-03-27 | 2004-10-21 | Nippon Telegr & Teleph Corp <Ntt> | 情報検索配信方法およびシステム |
JP2005080000A (ja) | 2003-09-01 | 2005-03-24 | Toshiba Solutions Corp | インデキシング装置、映像再生装置及び方法 |
US7512537B2 (en) | 2005-03-22 | 2009-03-31 | Microsoft Corporation | NLP tool to dynamically create movies/animated scenes |
JP2008022292A (ja) | 2006-07-13 | 2008-01-31 | Sony Corp | 出演者情報検索システム、出演者情報取得装置、出演者情報検索装置、および、その方法ならびにプログラム |
US20080046925A1 (en) * | 2006-08-17 | 2008-02-21 | Microsoft Corporation | Temporal and spatial in-video marking, indexing, and searching |
US7788099B2 (en) * | 2007-04-09 | 2010-08-31 | International Business Machines Corporation | Method and apparatus for query expansion based on multimodal cross-vocabulary mapping |
JP2009272816A (ja) | 2008-05-02 | 2009-11-19 | Visionere Corp | サーバ、情報処理システム及び情報処理方法 |
JP2011029795A (ja) | 2009-07-23 | 2011-02-10 | Katsumi Inoue | 映像コンテンツのアノテーション情報付与システム及びその方法 |
US20110047163A1 (en) * | 2009-08-24 | 2011-02-24 | Google Inc. | Relevance-Based Image Selection |
JP5499566B2 (ja) | 2009-08-26 | 2014-05-21 | 日本電気株式会社 | 動画再生装置、動画再生方法及びプログラム |
US20130166303A1 (en) * | 2009-11-13 | 2013-06-27 | Adobe Systems Incorporated | Accessing media data using metadata repository |
US9503786B2 (en) * | 2010-06-07 | 2016-11-22 | Affectiva, Inc. | Video recommendation using affect |
US8423555B2 (en) | 2010-07-09 | 2013-04-16 | Comcast Cable Communications, Llc | Automatic segmentation of video |
CN102142089B (zh) | 2011-01-07 | 2012-09-26 | 哈尔滨工程大学 | 一种基于语义二叉树的图像标注方法 |
US20130129142A1 (en) | 2011-11-17 | 2013-05-23 | Microsoft Corporation | Automatic tag generation based on image content |
EP2720172A1 (en) | 2012-10-12 | 2014-04-16 | Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO | Video access system and method based on action type detection |
KR101423549B1 (ko) * | 2012-10-26 | 2014-08-01 | 고려대학교 산학협력단 | 감상 기반 질의 처리 시스템 및 방법 |
US9721010B2 (en) * | 2012-12-13 | 2017-08-01 | Microsoft Technology Licensing, Llc | Content reaction annotations |
US20150135077A1 (en) * | 2013-03-14 | 2015-05-14 | Aperture Investments, Llc | Systems and methods for creating, searching, organizing, selecting and distributing video content based on mood |
US20150318020A1 (en) * | 2014-05-02 | 2015-11-05 | FreshTake Media, Inc. | Interactive real-time video editor and recorder |
CN103268635B (zh) | 2013-05-15 | 2016-08-10 | 北京交通大学 | 一种几何网格场景模型的分割及语义标注方法 |
US9396763B2 (en) * | 2013-11-15 | 2016-07-19 | Clipmine, Inc. | Computer-assisted collaborative tagging of video content for indexing and table of contents generation |
US9681166B2 (en) * | 2014-02-25 | 2017-06-13 | Facebook, Inc. | Techniques for emotion detection and content delivery |
US9253511B2 (en) * | 2014-04-14 | 2016-02-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for performing multi-modal video datastream segmentation |
US9583149B2 (en) | 2014-04-23 | 2017-02-28 | Daniel Stieglitz | Automated video logging methods and systems |
US11182431B2 (en) | 2014-10-03 | 2021-11-23 | Disney Enterprises, Inc. | Voice searching metadata through media content |
CN105117429B (zh) | 2015-08-05 | 2018-11-23 | 广东工业大学 | 基于主动学习和多标签多示例学习的场景图像标注方法 |
CN105787102B (zh) * | 2016-03-18 | 2019-04-26 | 北京搜狗科技发展有限公司 | 搜索方法、装置以及用于搜索的装置 |
US10362355B2 (en) * | 2016-03-23 | 2019-07-23 | Rovi Guides, Inc. | Systems and methods for recording media assets |
CN107241622A (zh) * | 2016-03-29 | 2017-10-10 | 北京三星通信技术研究有限公司 | 视频定位处理方法、终端设备及云端服务器 |
CN105933538B (zh) | 2016-06-15 | 2019-06-07 | 维沃移动通信有限公司 | 一种移动终端的视频查找方法及移动终端 |
US10579401B2 (en) * | 2017-06-21 | 2020-03-03 | Rovi Guides, Inc. | Systems and methods for providing a virtual assistant to accommodate different sentiments among a group of users by correlating or prioritizing causes of the different sentiments |
US20180374029A1 (en) * | 2017-06-27 | 2018-12-27 | Asapp, Inc | Selection of customer service requests |
-
2017
- 2017-07-24 US US15/657,626 patent/US10970334B2/en active Active
-
2018
- 2018-07-05 JP JP2020503818A patent/JP7123122B2/ja active Active
- 2018-07-05 CN CN201880045644.9A patent/CN110914872A/zh active Pending
- 2018-07-05 WO PCT/IB2018/054963 patent/WO2019021088A1/en active Application Filing
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020528705A5 (ja) | ||
KR102394756B1 (ko) | 비디오를 처리하기 위한 방법 및 장치 | |
Eskevich et al. | Search and hyperlinking task at mediaeval 2012 | |
US11461386B2 (en) | Visual recognition using user tap locations | |
CN109558513B (zh) | 一种内容推荐方法、装置、终端及存储介质 | |
WO2019169872A1 (zh) | 搜索内容资源的方法、装置和服务器 | |
US20110078176A1 (en) | Image search apparatus and method | |
US20110191336A1 (en) | Contextual image search | |
US10210181B2 (en) | Searching and annotating within images | |
CN110740389B (zh) | 视频定位方法、装置、计算机可读介质及电子设备 | |
JP2016136341A5 (ja) | ||
CN107229741B (zh) | 信息搜索方法、装置、设备以及存储介质 | |
US20140289632A1 (en) | Picture drawing support apparatus and method | |
KR20160107187A (ko) | 검색 결과에서의 논리적인 질문 응답 기법 | |
KR20150116929A (ko) | 텍스트에 기반한 동영상 생성장치 및 그 생성방법 | |
JP2022075668A (ja) | ビデオ処理方法、装置、デバイスおよび記憶媒体 | |
JP2009087113A (ja) | 情報処理装置および方法、プログラム、並びに記録媒体 | |
CN113065018A (zh) | 一种音视频的索引库创建和检索方法、装置及电子设备 | |
CN111797224A (zh) | 一种专利数据检索结果展示方法、装置、设备和存储介质 | |
KR20160012901A (ko) | 이미지를 검색하는 방법 및 그 전자 장치 | |
US20210342393A1 (en) | Artificial intelligence for content discovery | |
Collyda et al. | Videoanalysis4all: An on-line tool for the automatic fragmentation and concept-based annotation, and the interactive exploration of videos | |
JP2015036892A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US20180189602A1 (en) | Method of and system for determining and selecting media representing event diversity | |
US20190361939A1 (en) | Search processing apparatus and non-transitory computer readable medium storing program |