JP2017519285A5 - - Google Patents

Download PDF

Info

Publication number
JP2017519285A5
JP2017519285A5 JP2016567987A JP2016567987A JP2017519285A5 JP 2017519285 A5 JP2017519285 A5 JP 2017519285A5 JP 2016567987 A JP2016567987 A JP 2016567987A JP 2016567987 A JP2016567987 A JP 2016567987A JP 2017519285 A5 JP2017519285 A5 JP 2017519285A5
Authority
JP
Japan
Prior art keywords
image
distance
tag
tags
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016567987A
Other languages
English (en)
Other versions
JP2017519285A (ja
JP6487944B2 (ja
Filing date
Publication date
Priority claimed from US14/279,346 external-priority patent/US11222044B2/en
Application filed filed Critical
Publication of JP2017519285A publication Critical patent/JP2017519285A/ja
Publication of JP2017519285A5 publication Critical patent/JP2017519285A5/ja
Application granted granted Critical
Publication of JP6487944B2 publication Critical patent/JP6487944B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (10)

  1. コンピューター実装方法であって、
    画像データーベース内の画像を検索するための自然言語クエリーを受け取るステップであって、前記画像データーベース内の画像は、複数の画像タグのうちの1または複数の画像タグとタグ付けされている、ステップと、
    前記自然言語クエリーと前記複数の画像タグとの間のオントロジーにおける第1距離を計算するステップであって、前記複数の画像タグのうちの各画像タグは、前記オントロジーの概念である、ステップと、
    前記自然言語クエリーと前記複数の画像タグとの間の単語の意味的空間における第2距離を計算するステップであって、前記単語の意味的空間は、単語のコーパスにおける単語の意味に基づく機械学習プログラムによって生成される、ステップと、
    前記第1距離と前記第2距離の両方に基づいて、前記複数の画像タグのうちの少なくとも1つの画像タグを選択するステップと、
    前記選択された少なくとも1つの画像タグを用いて前記画像データーベースを検索するステップと、
    前記検索に応答して、前記選択された少なくとも1つの画像タグとタグ付けされた1または複数の画像を前記画像データーベースから引き出すステップと、
    を含むコンピューター実装方法。
  2. 前記第1距離は、前記オントロジーにおけるノード間を横断することによって計算され、前記オントロジーは、概念を表すノードのグラフであり、前記ノードは、前記概念間の関係にしたがってエッジによってリンクされる、請求項1に記載のコンピューター実装方法。
  3. 前記機械学習プログラムはニューラル・ネットワークである、請求項1に記載のコンピューター実装方法。
  4. 前記複数の画像タグのうちの少なくとも1つの画像タグを選択する前記ステップは、
    各々計算された第1および第2距離を前記複数の画像タグのうちの特定の画像タグに対する投票として表すステップと、
    各画像タグに対する投票を組み合わせるステップと、
    前記投票に基づいて前記少なくとも1つの画像タグを選択するステップと、
    を更に含む、請求項1に記載のコンピューター実装方法。
  5. 前記1または複数の引き出された画像のうちの少なくとも一部を表示するステップと、
    前記引き出された画像のうちの1つが選択されたことを示す情報を受け取るステップと、
    前記選択された画像および前記選択された画像に関係する情報を表示するステップと、
    を更に含む、請求項1に記載のコンピューター実装方法。
  6. 前記選択された画像に関係する前記情報は、前記選択された画像に類似する1または複数の画像を含む、請求項5に記載のコンピューター実装方法。
  7. 前記選択された画像に関するカーソルの位置を示す情報を受け取るステップであって、前記カーソルはユーザーによって制御される、ステップと、
    前記カーソルが前記選択された画像内において識別された物体上に位置するか否かを判定するステップと、
    前記カーソルが前記選択された画像内において識別された物体上に位置すると判定したことに応答して、前記識別された物体の周囲に境界ボックスを表示するステップと、
    を更に含む、請求項5に記載のコンピューター実装方法。
  8. 前記境界ボックスが選択されたことの指示を受け取るステップと、
    前記境界ボックスに対応する前記識別された物体に関連付けられた画像タグを含むように、前記自然言語クエリーを更新するステップと、
    を更に含む、請求項7に記載のコンピューター実装方法。
  9. 前記自然言語クエリーは、複数のクエリー・タームと、前記複数のクエリー・タームのうちのタームが互いの第3距離以内に位置すべきか否かの指示とを含み、前記タームが互いの第3距離以内に位置すべきであると判定したことに応答して、前記選択された画像タグの各々とタグ付けされた1または複数の画像であって、前記選択された画像タグに関連付けられた物体が互いの前記第3距離以内に位置している1または複数の画像を、前記画像データーベースから引き出す、請求項1に記載のコンピューター実装方法。
  10. プロセッサーと、前記プロセッサーに接続されたディスプレイと、命令を格納するメモリーとを含む計算ベース・デバイスを備えるシステムであって、前記命令は、前記プロセッサーによって実行されると、前記プロセッサーに、
    画像データーベース内の画像を検索するための自然言語クエリーを受け取るステップであって、前記画像データーベース内の画像は、複数の画像タグのうちの1または複数の画像タグとタグ付けされている、ステップと、
    前記自然言語クエリーと前記複数の画像タグとの間のオントロジーにおける第1距離を計算するステップであって、前記複数の画像タグのうちの各画像タグは、前記オントロジーの概念である、ステップと、
    前記自然言語クエリーと前記複数の画像タグとの間の単語の意味的空間における第2距離を計算するステップであって、前記単語の意味的空間は、単語のコーパスにおける単語の意味に基づく機械学習プログラムによって生成される、ステップと、
    前記第1距離と前記第2距離の両方に基づいて、前記複数の画像タグのうちの少なくとも1つの画像タグを選択するステップと、
    前記選択された少なくとも1つの画像タグを用いて前記画像データーベースを検索するステップと、
    前記検索に応答して、前記選択された少なくとも1つの画像タグとタグ付けされた1または複数の画像を前記画像データーベースから引き出すステップと、
    を含む動作を行わせる、システム。
JP2016567987A 2014-05-16 2015-05-14 自然言語画像検索 Active JP6487944B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/279,346 US11222044B2 (en) 2014-05-16 2014-05-16 Natural language image search
US14/279,346 2014-05-16
PCT/US2015/030687 WO2015175736A1 (en) 2014-05-16 2015-05-14 Natural language image search

Publications (3)

Publication Number Publication Date
JP2017519285A JP2017519285A (ja) 2017-07-13
JP2017519285A5 true JP2017519285A5 (ja) 2018-08-23
JP6487944B2 JP6487944B2 (ja) 2019-03-20

Family

ID=53277069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016567987A Active JP6487944B2 (ja) 2014-05-16 2015-05-14 自然言語画像検索

Country Status (10)

Country Link
US (2) US11222044B2 (ja)
EP (1) EP3143521A1 (ja)
JP (1) JP6487944B2 (ja)
KR (1) KR102422977B1 (ja)
CN (1) CN106255968B (ja)
AU (1) AU2015259118B2 (ja)
CA (1) CA2947036A1 (ja)
MX (1) MX370916B (ja)
RU (1) RU2688271C2 (ja)
WO (1) WO2015175736A1 (ja)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710437B2 (en) * 2014-07-10 2017-07-18 International Business Machines Corporation Group tagging of documents
US9858328B2 (en) * 2014-07-17 2018-01-02 Verily Life Sciences, LLC Data tagging
US9842390B2 (en) * 2015-02-06 2017-12-12 International Business Machines Corporation Automatic ground truth generation for medical image collections
CN105518679B (zh) * 2015-03-26 2021-06-29 北京旷视科技有限公司 图片管理方法以及图片同步方法
US9984068B2 (en) * 2015-09-18 2018-05-29 Mcafee, Llc Systems and methods for multilingual document filtering
US9984100B2 (en) * 2015-09-29 2018-05-29 International Business Machines Corporation Modification of images and associated text
US9881236B2 (en) 2015-12-28 2018-01-30 Google Llc Organizing images associated with a user
US10732809B2 (en) * 2015-12-30 2020-08-04 Google Llc Systems and methods for selective retention and editing of images captured by mobile image capture device
CN108701118B (zh) 2016-02-11 2022-06-24 电子湾有限公司 语义类别分类
US10664719B2 (en) 2016-02-12 2020-05-26 Adobe Inc. Accurate tag relevance prediction for image search
US10235623B2 (en) * 2016-02-12 2019-03-19 Adobe Inc. Accurate tag relevance prediction for image search
US10713588B2 (en) * 2016-02-23 2020-07-14 Salesforce.Com, Inc. Data analytics systems and methods with personalized sentiment models
US20170300531A1 (en) * 2016-04-14 2017-10-19 Sap Se Tag based searching in data analytics
US10635727B2 (en) * 2016-08-16 2020-04-28 Ebay Inc. Semantic forward search indexing of publication corpus
CN106407976B (zh) * 2016-08-30 2019-11-05 百度在线网络技术(北京)有限公司 图像字符识别模型生成和竖列字符图像识别方法和装置
KR101911604B1 (ko) * 2016-10-21 2018-10-25 한국과학기술원 이벤트 검출을 위한 학습형 시스템 트레이닝장치 및 그 방법
US10579902B2 (en) 2016-12-21 2020-03-03 Samsung Electronics Co., Ltd. Method and electronic device for providing text-related image
KR102430567B1 (ko) * 2016-12-21 2022-08-09 삼성전자주식회사 텍스트와 연관된 이미지 제공 방법 및 이를 위한 전자 장치
US10515289B2 (en) * 2017-01-09 2019-12-24 Qualcomm Incorporated System and method of generating a semantic representation of a target image for an image processing operation
US10405003B2 (en) * 2017-01-20 2019-09-03 Google Llc Image compression based on semantic relevance
CN110249326B (zh) * 2017-02-08 2023-07-14 微软技术许可有限责任公司 自然语言内容生成器
US10586530B2 (en) 2017-02-23 2020-03-10 Semantic Machines, Inc. Expandable dialogue system
TWI753034B (zh) 2017-03-31 2022-01-21 香港商阿里巴巴集團服務有限公司 特徵向量的產生、搜索方法、裝置及電子設備
US10642875B2 (en) * 2017-04-28 2020-05-05 International Business Machines Corporation Accurate relationship extraction with word embeddings using minimal training data
US11074250B2 (en) * 2017-06-27 2021-07-27 OWOX Limted Technologies for implementing ontological models for natural language queries
EP3684463A4 (en) 2017-09-19 2021-06-23 Neuroenhancement Lab, LLC NEURO-ACTIVATION PROCESS AND APPARATUS
JP6857586B2 (ja) * 2017-10-02 2021-04-14 富士フイルム株式会社 画像抽出装置,画像抽出方法および画像抽出プログラムならびにそのプログラムを格納した記録媒体
JP6767342B2 (ja) * 2017-11-15 2020-10-14 ヤフー株式会社 検索装置、検索方法および検索プログラム
US10878473B1 (en) * 2017-11-16 2020-12-29 Amazon Technologies, Inc. Content modification
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US11478603B2 (en) 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
CN108681541B (zh) * 2018-01-17 2021-08-31 百度在线网络技术(北京)有限公司 图片搜索方法、装置及计算机设备
US11003856B2 (en) * 2018-02-22 2021-05-11 Google Llc Processing text using neural networks
KR101932264B1 (ko) * 2018-03-02 2018-12-26 주식회사 머니브레인 복수 개의 같은 유형의 엔티티 정보의 분석에 기초한 인텐트 결정을 제공하는 방법 및 대화형 ai 에이전트 시스템, 및 컴퓨터 판독가능 기록 매체
JP6947085B2 (ja) * 2018-03-09 2021-10-13 オムロン株式会社 電子機器及びその制御方法
US11474836B2 (en) * 2018-03-13 2022-10-18 Microsoft Technology Licensing, Llc Natural language to API conversion
US10977303B2 (en) * 2018-03-21 2021-04-13 International Business Machines Corporation Image retrieval using interactive natural language dialog
US10963491B2 (en) * 2018-03-29 2021-03-30 The Boeing Company Structures maintenance mapper
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US10699141B2 (en) * 2018-06-26 2020-06-30 Waymo Llc Phrase recognition model for autonomous vehicles
US20200019628A1 (en) * 2018-07-16 2020-01-16 Microsoft Technology Licensing, Llc Visual intent triggering for visual search
DE102018212961A1 (de) 2018-08-02 2020-02-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Analyse eines Bildes
WO2020056418A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
US11698921B2 (en) 2018-09-17 2023-07-11 Ebay Inc. Search system for providing search results using query understanding and semantic binary signatures
US11567991B2 (en) * 2018-10-08 2023-01-31 Google Llc Digital image classification and annotation
WO2020086051A1 (en) 2018-10-22 2020-04-30 Google Llc Finding locally prominent semantic features for navigation and geocoding
US20200159765A1 (en) * 2018-11-21 2020-05-21 Google Llc Performing image search using content labels
US11436825B2 (en) 2018-12-14 2022-09-06 Samsung Electronics Co., Ltd. Method and apparatus for determining target object in image based on interactive input
JP6585327B1 (ja) 2019-01-25 2019-10-02 株式会社東芝 エピソード管理装置、エピソード管理プログラム及びエピソード管理方法
CN109885161A (zh) * 2019-01-28 2019-06-14 温州大学 一种基于ar技术的远程旅游体验系统
US11494377B2 (en) * 2019-04-01 2022-11-08 Nec Corporation Multi-detector probabilistic reasoning for natural language queries
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
US11100145B2 (en) * 2019-09-11 2021-08-24 International Business Machines Corporation Dialog-based image retrieval with contextual information
RU2742602C1 (ru) * 2020-04-06 2021-02-09 Самсунг Электроникс Ко., Лтд. Распознавание событий на фотографиях с автоматическим выделением альбомов
CN111046203A (zh) * 2019-12-10 2020-04-21 Oppo广东移动通信有限公司 图像检索方法、装置、存储介质及电子设备
CN113282779A (zh) 2020-02-19 2021-08-20 阿里巴巴集团控股有限公司 图像搜索方法、装置、设备
RU2737600C1 (ru) * 2020-03-19 2020-12-01 Общество с ограниченной ответственностью «ИНСПЕКТОР КЛАУД» Способ сбора размеченного набора данных
KR102411301B1 (ko) * 2020-04-23 2022-06-22 한국과학기술원 시맨틱 온톨로지를 이용한 도메인특화 이미지캡션 자동 생성 장치 및 방법
EP4154174A4 (en) * 2020-05-30 2024-02-21 Huawei Technologies Co., Ltd. SYSTEMS AND METHODS FOR IMAGE CAPTURE USING NATURAL LANGUAGE DESCRIPTION
CN111741236B (zh) * 2020-08-24 2021-01-01 浙江大学 基于共识图表征推理的定位自然图像字幕生成方法和装置
WO2022072844A1 (en) * 2020-10-01 2022-04-07 Vishal Misra Systems, methods, and media for formulating database queries from natural language text
KR20220090103A (ko) * 2020-12-22 2022-06-29 주식회사 피제이팩토리 멀티 뎁스 이미지를 이용하여 이미지를 레이블링하고 어노테이션하는 방법 및 장치
KR102435849B1 (ko) * 2021-01-04 2022-08-25 호서대학교 산학협력단 문서에 포함된 텍스트 기반이 아닌 개체에 대한 검색결과를 제공하는 방법
US20220382980A1 (en) * 2021-06-01 2022-12-01 Sap Se Similarity scoring leveraging constrained greedy matching
JP2023028921A (ja) * 2021-08-20 2023-03-03 zro株式会社 意味定義が意味論的メタセットとして構成される方法およびコンピューティングデバイス
US11972525B2 (en) 2022-02-21 2024-04-30 International Business Machines Corporation Generating training data through image augmentation
KR102590632B1 (ko) * 2023-03-20 2023-10-19 노경수 스마트조의금 연계 영상 서비스 제공 시스템

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0594478A (ja) 1991-10-02 1993-04-16 Matsushita Electric Ind Co Ltd 画像データベースシステム
JP3067966B2 (ja) 1993-12-06 2000-07-24 松下電器産業株式会社 画像部品を検索する装置及びその方法
GB9904662D0 (en) 1999-03-01 1999-04-21 Canon Kk Natural language search method and apparatus
WO2004072925A2 (en) 2003-02-07 2004-08-26 The Johns Hopkins University Language learning/teaching methods, systems and software/applications programs embodying such language learning/teaching methods and systems
US7383260B2 (en) 2004-08-03 2008-06-03 International Business Machines Corporation Method and apparatus for ontology-based classification of media content
US20070269775A1 (en) 2004-09-14 2007-11-22 Dreams Of Babylon, Inc. Personalized system and method for teaching a foreign language
US20060224569A1 (en) 2005-03-31 2006-10-05 Desanto John A Natural language based search engine and methods of use therefor
US20110076653A1 (en) 2005-04-05 2011-03-31 Brent Culligan Systems and Methods for Semantic Knowledge Assessment, Instruction, and Acquisition
US8140559B2 (en) * 2005-06-27 2012-03-20 Make Sence, Inc. Knowledge correlation search engine
RU2345414C1 (ru) 2007-08-10 2009-01-27 Общество с ограниченной ответственностью "Рекогмишн" Способ построения системы индексирования для поиска объектов на цифровых изображениях
JP2009064213A (ja) 2007-09-06 2009-03-26 Nagoya Institute Of Technology 目的指向書籍推薦システム
US8463053B1 (en) * 2008-08-08 2013-06-11 The Research Foundation Of State University Of New York Enhanced max margin learning on multimodal data mining in a multimedia database
JP4636141B2 (ja) 2008-08-28 2011-02-23 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2010122931A (ja) 2008-11-20 2010-06-03 Nippon Telegr & Teleph Corp <Ntt> 類似領域検索方法、類似領域検索装置、類似領域検索プログラム
CN101499090A (zh) 2009-02-12 2009-08-05 清华大学 图像数据存储装置和图像数据存储方法
US8612206B2 (en) 2009-12-08 2013-12-17 Microsoft Corporation Transliterating semitic languages including diacritics
US8478699B1 (en) * 2010-04-30 2013-07-02 Google Inc. Multiple correlation measures for measuring query similarity
US9710760B2 (en) * 2010-06-29 2017-07-18 International Business Machines Corporation Multi-facet classification scheme for cataloging of information artifacts
EP2402867B1 (en) 2010-07-02 2018-08-22 Accenture Global Services Limited A computer-implemented method, a computer program product and a computer system for image processing
US20120035905A1 (en) 2010-08-09 2012-02-09 Xerox Corporation System and method for handling multiple languages in text
US9098488B2 (en) 2011-04-03 2015-08-04 Microsoft Technology Licensing, Llc Translation of multilingual embedded phrases
RU2510935C2 (ru) 2011-09-23 2014-04-10 Артем Константинович Игнатов Способ индексации и поиска цифровых изображений
US8311973B1 (en) 2011-09-24 2012-11-13 Zadeh Lotfi A Methods and systems for applications for Z-numbers
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US8873813B2 (en) 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
EP2608196B1 (en) 2011-12-21 2014-07-16 Institut Telecom - Telecom Paristech Combinatorial method for generating filler words
US9785639B2 (en) 2012-04-27 2017-10-10 Mobitv, Inc. Search-based navigation of media content
US9412366B2 (en) * 2012-09-18 2016-08-09 Adobe Systems Incorporated Natural language image spatial and tonal localization
US9547647B2 (en) * 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US9858292B1 (en) * 2013-11-11 2018-01-02 Tableau Software, Inc. Systems and methods for semantic icon encoding in data visualizations
CN103646032B (zh) 2013-11-11 2017-01-04 漆桂林 一种基于本体和受限自然语言处理的数据库查询方法

Similar Documents

Publication Publication Date Title
JP2017519285A5 (ja)
KR102422977B1 (ko) 자연어 이미지 검색 기법
US11294873B2 (en) Query-goal-mission structures
WO2017117027A4 (en) Generating labels for images associated with a user
CN107480158A (zh) 基于相似性得分评估内容项目与图像的匹配的方法和系统
JP2017157192A (ja) キーワードに基づいて画像とコンテンツアイテムをマッチングする方法
CA2549536A1 (en) Method and apparatus for construction and use of concept knowledge base
JP6363682B2 (ja) 画像とコンテンツのメタデータに基づいてコンテンツとマッチングする画像を選択する方法
US10546012B2 (en) Synonym expansion
WO2019072007A1 (zh) 一种数据处理方法及装置
US12008047B2 (en) Providing an object-based response to a natural language query
WO2015023734A1 (en) Searching and annotating within images
JP2015011460A5 (ja) 電子機器、プログラム、および、検索システム、検索方法
US10212240B2 (en) Method for tracking content and electronic device using the same
RU2015152415A (ru) Ответ мультимодального поиска
JP2009193171A5 (ja)
JP2020086658A (ja) 情報処理装置、情報処理システム、情報処理方法および類否判断方法
KR102604450B1 (ko) 키워드를 기초로 접속 기록을 저장하는 방법 및 장치
JP2021163477A (ja) 画像処理方法及び装置、電子機器、コンピュータ可読記憶媒体並びにコンピュータプログラム
US20200050657A1 (en) Ontology creation assistance device
KR101698280B1 (ko) 태그에 대한 웹 페이지 검색 장치 및 방법
JP2009187401A5 (ja)
JP6450628B2 (ja) 画像検索装置及びプログラム
US20240185551A1 (en) Dynamic image search based on user-selected objects
KR101376596B1 (ko) 이미지 검색 시스템 및 방법