JP2022516748A - 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム - Google Patents
画像検索方法、装置、コンピュータ機器及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2022516748A JP2022516748A JP2021539359A JP2021539359A JP2022516748A JP 2022516748 A JP2022516748 A JP 2022516748A JP 2021539359 A JP2021539359 A JP 2021539359A JP 2021539359 A JP2021539359 A JP 2021539359A JP 2022516748 A JP2022516748 A JP 2022516748A
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- user
- page
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000004590 computer program Methods 0.000 title claims description 7
- 238000012790 confirmation Methods 0.000 claims description 33
- 238000009877 rendering Methods 0.000 claims description 28
- 230000005540 biological transmission Effects 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 15
- 230000033001 locomotion Effects 0.000 claims description 11
- 230000001960 triggered effect Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims 1
- 238000004148 unit process Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 21
- 239000000284 extract Substances 0.000 description 6
- 238000007726 management method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
- G06F16/24578—Query processing with adaptation to user needs using ranking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
- H04L51/046—Interoperability with other network applications or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
インスタントメッセージングクライアントの画像選択ページを表示するステップ、
ユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップ、
2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップ、
前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップであって、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似する、ステップ、及び、
前記少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示するステップを含む。
端末から送信される画像検索要求に基づいて、検索用の入力画像を決定するステップ、
2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップ、
前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップであって、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似する、ステップ、
前記少なくとも1つの出力画像に応じて検索結果リストを生成するステップ、及び、
前記検索結果リストを前記端末に返信して、前記端末にインスタントメッセージングクライアントのインタフェースに表示させるステップを含む。
前記第1表示ユニットは、インスタントメッセージングクライアントの画像選択ページを表示することに用いられ、
前記決定ユニットは、ユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定することに用いられ、
前記設定ユニットは、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定することに用いられ、
前記検索ユニットは、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得することに用いられ、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似し、
前記生成ユニットは、前記少なくとも1つの出力画像に応じて検索結果リストを生成することに用いられ、
前記第2表示ユニットは、前記検索結果リストを表示することに用いられる。
前記決定ユニットは、端末から送信される画像検索要求に基づいて、入力画像を決定することに用いられ、
前記設定ユニットは、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定することに用いられ、
前記検索ユニットは、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得することに用いられ、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似し、
前記生成ユニットは、前記少なくとも1つの出力画像に応じて検索結果リストを生成することに用いられ、
前記送信ユニットは、前記検索結果リストを前記端末に返信して、前記端末にインスタントメッセージングクライアントのインタフェースに表示させることに用いられる。
画像の意味次元:たとえば、2つのチャット対話画像が表現する意味は同じである、又は類似する。
画像のロール次元:たとえば、2つのチャット対話画像中のロールは同じである、又は類似する。
画像中のロールの動き次元:たとえば、2つのチャット対話画像中のロールが行っている動きは同じである、又は類似する。
画像中の会話関係次元:文字内容の会話関係が類似すること、又は画像が表現する意味は会話関係が類似することを呈することを含み、たとえば、2つのチャット中の文字内容は会話関係を形成する。
スタンプの意味次元:たとえば、2つのスタンプが表現する意味は同じであり、又は類似し、たとえば、2つのスタンプはいずれも「こんにちは」を表現するスタンプであり、又は、一方は「こんにちは」を表現し、他方は「hello」を表現する。
スタンプのロール次元:たとえば、2つのスタンプ中のロールは同じであり、又は類似し、たとえば、2つのスタンプ中の仮想キャラクターはいずれも「XXベイビー」の漫画キャラクターである。
スタンプのロールの動き次元:たとえば、2つのスタンプ中のロールが行っている動きは同じであり、又は類似し、たとえば、2つのスタンプ中のロールの手はいずれも「勝利」のジェスチャーを行っており、又は、一方のスタンプ中のロールは「顔を手で覆う」の動きを行っており、他方のスタンプは「口元を押さえる」の動きを行っている。
スタンプの会話関係次元:文字内容の会話関係が類似することを含み、たとえば、2つのスタンプ中の文字内容が会話関係を形成し、たとえば、一方のスタンプの文字内容は「おまえ、病気あるのか」であり、他方のスタンプの文字内容は「おまえ、薬あるのか」であり、これら2つのスタンプは会話関係が類似する。
画像送信コントロールに対するユーザーの画像送信操作が検出された場合、候補オブジェクトリストを表示するステップであって、候補オブジェクトリストは少なくとも1つの候補チャット相手を含む、ステップ、
ユーザーが候補オブジェクトリストから選択したターゲットチャット相手を取得するステップ、及び
ターゲットチャット相手にターゲット出力画像を送信するステップを含む。
入力画像に対して画像分類を行い、画像分類結果を獲得し、且つ画像分類結果に応じて、入力画像の第2テキスト類特徴情報を構築し、
特徴抽出モデルに基づいて入力画像の固有ベクトルを抽出し、入力画像のベクトル類特徴を獲得する。
110 端末
111 画像検索装置
120 サーバ
500 画像検索装置
501 第1表示ユニット
502 決定ユニット
503 設定ユニット
504 検索ユニット
505 生成ユニット
506 第2表示ユニット
507 第3表示ユニット
508 第4表示ユニット
509 ユーザーインタフェースユニット
510 送信ユニット
600 画像検索装置
601 決定ユニット
602 設定ユニット
603 検索ユニット
604 生成ユニット
605 送信ユニット
701 プロセッサ
702 メモリ
703 電源
704 入力ユニット
Claims (29)
- 画像検索方法であって、端末により実行され、
インスタントメッセージングクライアントの画像選択ページを表示するステップ、
ユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップ、
2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップ、
前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップであって、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似する、ステップ、及び、
前記少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示するステップ、を含むことを特徴とする画像検索方法。 - 前記画像選択ページは候補画像リストを含み、前記候補画像リストは少なくとも1つの候補画像を含み、
前記したユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップは、
前記候補画像リスト中の候補画像に対するユーザーの画像選択操作が検出された場合、ユーザーが選択した候補画像を前記入力画像として決定するステップを含む請求項1に記載の画像検索方法。 - 前記画像選択ページは画像撮影コントロールを含み、
前記したユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップは、
前記画像撮影コントロールに対するユーザーのトリガー操作が検出された場合、画像撮影ページを表示するステップ、
前記画像撮影ページに対するユーザーの撮影操作に基づいて、撮影結果ページを表示するステップであって、前記撮影結果ページは撮影結果画像、及び画像確認コントロールを含む、ステップ、及び
前記画像確認コントロールに対するユーザーの確認操作が検出された場合、前記撮影結果画像を前記入力画像として決定するステップを含む請求項1に記載の画像検索方法。 - 前記画像選択ページは写真選択コントロールを含み、
前記したユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップは、
前記写真選択コントロールに対するユーザーのトリガー操作が検出された場合、写真選択ページを表示するステップであって、前記写真選択ページはローカルアルバム中の少なくとも1枚の写真を含む、ステップ、
前記写真選択ページに対するユーザーの写真選択操作に基づいて、前記写真選択ページでユーザーが選択した写真をマークし、且つ写真確認ページを表示するステップであって、前記写真確認ページは写真確認コントロールを含む、ステップ、及び
写真確認コントロールに対するユーザーの確認操作が検出された場合、ユーザーが選択した写真を前記入力画像として決定するステップを含む請求項1に記載の画像検索方法。 - 前記画像選択ページは音声選択コントロールを含み、
前記したユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップは、
前記音声選択コントロールに対するユーザーのトリガー操作が検出された場合、音声入力ページを表示するステップであって、前記音声入力ページは音声入力コントロールを含む、ステップ、
前記音声入力コントロールに対するユーザーの音声入力操作が検出された場合、ユーザーが入力した音声情報を収集するステップ、
前記音声入力コントロールに対するユーザーの音声入力終了操作が検出された場合、前記音声情報にマッチングする候補画像を表示するステップ、及び
候補画像に対するユーザーの選択操作が検出された場合、ユーザーが選択した候補画像を前記入力画像として決定するステップを含む請求項1に記載の画像検索方法。 - 前記画像選択ページは画像レンダリングコントロールを含み、
前記したユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップは、
前記画像レンダリングコントロールに対するユーザーのトリガー操作が検出された場合、画像レンダリングページを表示するステップであって、前記画像レンダリングページは画像レンダリング領域、及びレンダリング画像確認コントロールを含む、ステップ、
前記画像レンダリング領域内でのユーザーのレンダリング操作に基づいて、前記画像レンダリングページにユーザーがレンダリングした画像を表示するステップ、及び
前記レンダリング画像確認コントロールに対する確認操作が検出された場合、ユーザーがレンダリングした画像を前記入力画像として決定するステップを含む請求項1に記載の画像検索方法。 - 前記した2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップは、
前記インスタントメッセージングクライアントに使用される複数のチャット対話画像を予め取得するステップ、及び
前記複数のチャット対話画像に含まれる情報に対して階層化を行い、前記複数の画像類似次元を文字内容次元、意味次元、ロール次元、動き次元、及び会話関係次元のうちの任意のいくつかに設定するステップを含む請求項1に記載の画像検索方法。 - さらに、
前記インスタントメッセージングクライアントの検索待機ページに前記入力画像及び検索結果ロードアイコンを表示するステップを含み、
前記した前記少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示するステップは、
検索が成功した場合、前記インスタントメッセージングクライアントの検索結果ページに前記検索結果リストを表示するステップを含む請求項1に記載の画像検索方法。 - さらに、
前記インスタントメッセージングクライアントの内容検索ページを表示するステップであって、前記内容検索ページは画像検索コントロールを含む、ステップ、及び
前記画像検索コントロールに対するユーザーのトリガー操作が検出された場合、前記インスタントメッセージングクライアントの画像検索ページを表示するステップであって、前記画像検索ページは画像選択コントロールを含む、ステップを含み、
前記したインスタントメッセージングクライアントの画像選択ページを表示するステップは、
前記画像選択コントロールに対するユーザーのトリガー操作が検出された場合、前記画像選択ページを表示するステップを含む請求項1に記載の画像検索方法。 - さらに、
前記インスタントメッセージングクライアントのチャット会話リストページを表示し、前記チャット会話リストページは内容検索コントロールを含むステップ、及び
前記内容検索コントロールに対するユーザーのトリガー操作が検出された場合、前記内容検索ページを表示するステップを含む請求項9に記載の画像検索方法。 - さらに、
前記インスタントメッセージングクライアントの機能ページを表示するステップであって、前記機能ページは検索機能コントロールを含む、ステップ、及び
前記検索機能コントロールに対するユーザーのトリガー操作が検出された場合、前記内容検索ページを表示するステップを含む請求項9に記載の画像検索方法。 - 前記した前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップは、
各画像類似次元に対して、
前記入力画像の当該画像類似次元での第1特徴情報を抽出する処理、
画像データベース中の各候補画像の当該画像類似次元での第2特徴情報を取得する処理、
前記第1特徴情報と各第2特徴情報との間の類似度をそれぞれ計算する処理、及び
計算した各類似度に応じて、前記画像データベースにおける、当該画像類似次元で前記入力画像と類似する候補画像を前記出力画像として決定する処理を実行するステップを含む請求項1に記載の画像検索方法。 - 特徴情報はテキスト類特徴情報及び/又はベクトル類特徴情報を含む請求項12に記載の画像検索方法。
- 前記した前記少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示するステップは、
各出力画像の第3特徴情報を抽出するステップ、及び
前記第3特徴情報に応じて各出力画像をソートし、ソート結果に応じて前記検索結果リストを獲得するステップを含む請求項1に記載の画像検索方法。 - さらに、
前記検索結果リスト中のターゲット出力画像に対するユーザーの決定操作が検出された場合、前記ターゲット出力画像の画像操作ページを表示するステップであって、前記画像操作ページは画像追加コントロールを含む、ステップ、及び
前記画像追加コントロールに対するユーザーの追加操作が検出された場合、ターゲット出力画像を前記インスタントメッセージングクライアントのチャット画像ライブラリに追加するステップを含む請求項1~14のいずれか一項に記載の画像検索方法。 - さらに、
前記検索結果リスト中のターゲット出力画像に対するユーザーの決定操作が検出された場合、前記ターゲット出力画像の画像操作ページを表示するステップであって、前記画像操作ページは画像送信コントロールを含む、ステップ、
前記画像送信コントロールに対するユーザーの画像送信操作が検出された場合、候補オブジェクトリストを表示するステップであって、前記候補オブジェクトリストは少なくとも1つの候補チャット相手を含む、ステップ、
ユーザーが前記候補オブジェクトリストから選択したターゲットチャット相手を取得するステップ、及び
前記ターゲットチャット相手に前記ターゲット出力画像を送信するステップを含む請求項1~14のいずれか一項に記載の画像検索方法。 - 画像検索方法であって、サーバにより実行され、
端末から送信される画像検索要求に基づいて、検索用の入力画像を決定するステップ、
2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップ、
前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップであって、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似する、ステップ、
前記少なくとも1つの出力画像に応じて検索結果リストを生成するステップ、及び、
前記検索結果リストを前記端末に返信して、前記端末にインスタントメッセージングクライアントのインタフェースに表示させるステップを含むことを特徴とする画像検索方法。 - 前記した2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップは、
前記インスタントメッセージングクライアントに使用される複数のチャット対話画像を予め取得するステップ、及び
前記複数のチャット対話画像に含まれる情報に対して階層化を行い、前記複数の画像類似次元を文字内容次元、意味次元、ロール次元、動き次元、及び会話関係次元のうちの任意のいくつかに設定するステップを含む請求項17に記載の画像検索方法。 - 前記した前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップは、
各画像類似次元に対して、
前記入力画像の当該画像類似次元での第1特徴情報を抽出するステップ、
画像データベース中の各候補画像の当該画像類似次元での第2特徴情報を取得するステップ、
前記第1特徴情報と各第2特徴情報との間の類似度をそれぞれ計算するステップ、及び
計算した各類似度に応じて、前記画像データベースにおける、当該画像類似次元で前記入力画像と類似する候補画像を前記出力画像として決定するステップ、の処理を実行するステップを含む請求項17に記載の画像検索方法。 - 前記した各画像類似次元に対して、前記入力画像の当該画像類似次元での第1特徴情報を抽出するステップは、
前記入力画像に対して文字認識を行い、文字認識結果を獲得し、且つ前記文字認識結果に応じて、前記入力画像の第1テキスト類特徴情報を構築するステップ、
前記入力画像に対して画像分類を行い、画像分類結果を獲得し、且つ前記画像分類結果に応じて、前記入力画像の第2テキスト類特徴情報を構築するステップ、及び
特徴抽出モデルに基づいて前記入力画像の固有ベクトルを抽出し、前記入力画像のベクトル類特徴を獲得するステップを含む請求項19に記載の画像検索方法。 - 前記した前記少なくとも1つの出力画像に応じて検索結果リストを生成するステップは、
各出力画像の第3特徴情報を抽出するステップ、及び
前記第3特徴情報に応じて各出力画像をソートし、ソート結果に応じて前記検索結果リストを獲得するステップを含む請求項17に記載の画像検索方法。 - 画像検索装置であって、第1表示ユニット、決定ユニット、設定ユニット、検索ユニット、生成ユニット、及び第2表示ユニットを含み、
前記第1表示ユニットは、インスタントメッセージングクライアントの画像選択ページを表示することに用いられ、
前記決定ユニットは、ユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定することに用いられ、
前記設定ユニットは、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定することに用いられ、
前記検索ユニットは、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得することに用いられ、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似し、
前記生成ユニットは、前記少なくとも1つの出力画像に応じて検索結果リストを生成することに用いられ、
前記第2表示ユニットは、前記検索結果リストを表示することに用いられることを特徴とする画像検索装置。 - 前記設定ユニットは、前記インスタントメッセージングクライアントに使用される複数のチャット対話画像を予め取得し、前記複数のチャット対話画像に含まれる情報に対して階層化を行い、前記複数の画像類似次元を文字内容次元、意味次元、ロール次元、動き次元、及び会話関係次元のうちの任意のいくつかに設定することに用いられる請求項22に記載の画像検索装置。
- 前記検索ユニットは、各画像類似次元に対して、前記入力画像の当該画像類似次元での第1特徴情報を抽出する処理、画像データベース中の各候補画像の当該画像類似次元での第2特徴情報を取得する処理、前記第1特徴情報と各第2特徴情報との間の類似度をそれぞれ計算する処理、及び計算した各類似度に応じて、前記画像データベースにおける、当該画像類似次元で前記入力画像と類似する候補画像を前記出力画像として決定する処理を実行することに用いられる請求項22に記載の画像検索装置。
- さらに第3表示ユニット、第4表示ユニット、ユーザーインタフェースユニット、及び送信ユニットを含み、
前記第3表示ユニットは、前記検索結果リスト中のターゲット出力画像に対するユーザーの決定操作が検出された場合、前記ターゲット出力画像の画像操作ページを表示することに用いられ、前記画像操作ページは画像送信コントロールを含み、
前記第4表示ユニットは、前記画像送信コントロールに対するユーザーの画像送信操作が検出された場合、候補オブジェクトリストを表示することに用いられ、前記候補オブジェクトリストは少なくとも1つの候補チャット相手を含み、
前記ユーザーインタフェースユニットは、ユーザーが前記候補オブジェクトリストから選択したターゲットチャット相手を取得することに用いられ、
前記送信ユニットは、前記ターゲットチャット相手に前記ターゲット出力画像を送信することに用いられる請求項22~24のいずれか一項に記載の画像検索装置。 - 画像検索装置であって、決定ユニット、設定ユニット、検索ユニット、生成ユニット、及び送信ユニットを含み、
前記決定ユニットは、端末から送信される画像検索要求に基づいて、入力画像を決定することに用いられ、
前記設定ユニットは、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定することに用いられ、
前記検索ユニットは、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得することに用いられ、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似し、
前記生成ユニットは、前記少なくとも1つの出力画像に応じて検索結果リストを生成することに用いられ、
前記送信ユニットは、前記検索結果リストを前記端末に返信して、前記端末にインスタントメッセージングクライアントのインタフェースに表示させることに用いられることを特徴とする画像検索装置。 - 前記生成ユニットは、抽出サブユニット、及びソートサブユニットを含み、
前記抽出サブユニットは、各出力画像の第3特徴情報を抽出することに用いられ、
前記ソートサブユニットは、前記第3特徴情報に応じて各出力画像をソートし、ソート結果に応じて前記検索結果リストを獲得することに用いられる請求項26に記載の画像検索装置。 - それにコンピュータプログラムが記憶された記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されると、請求項1~21のいずれか一項に記載の方法のステップを実現することを特徴とする記憶媒体。
- コンピュータ機器であって、メモリ、プロセッサ、及びメモリに記憶され且つプロセッサにおいて演算可能なコンピュータプログラムを含み、前記プロセッサが前記プログラムを実行すると、請求項1~21のいずれか一項に記載の方法のステップを実現することを特徴とするコンピュータ機器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023101084A JP2023126241A (ja) | 2019-06-12 | 2023-06-20 | 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910507945.5A CN110263197B (zh) | 2019-06-12 | 2019-06-12 | 一种图像搜索方法、装置、计算机设备和存储介质 |
CN201910507945.5 | 2019-06-12 | ||
PCT/CN2020/095240 WO2020248985A1 (zh) | 2019-06-12 | 2020-06-10 | 图像搜索方法、装置、计算机设备和存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023101084A Division JP2023126241A (ja) | 2019-06-12 | 2023-06-20 | 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022516748A true JP2022516748A (ja) | 2022-03-02 |
JP7301977B2 JP7301977B2 (ja) | 2023-07-03 |
Family
ID=67917824
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021539359A Active JP7301977B2 (ja) | 2019-06-12 | 2020-06-10 | 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム |
JP2023101084A Pending JP2023126241A (ja) | 2019-06-12 | 2023-06-20 | 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023101084A Pending JP2023126241A (ja) | 2019-06-12 | 2023-06-20 | 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210397645A1 (ja) |
JP (2) | JP7301977B2 (ja) |
CN (1) | CN110263197B (ja) |
WO (1) | WO2020248985A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110263197B (zh) * | 2019-06-12 | 2023-11-28 | 腾讯科技(深圳)有限公司 | 一种图像搜索方法、装置、计算机设备和存储介质 |
CN111147356A (zh) * | 2019-12-30 | 2020-05-12 | 上海连尚网络科技有限公司 | 信息处理方法和装置 |
CN111209425A (zh) * | 2020-01-06 | 2020-05-29 | 闻泰通讯股份有限公司 | 图像搜索方法、装置、电子设备及计算机可读存储介质 |
CN111240558A (zh) * | 2020-01-20 | 2020-06-05 | 腾讯科技(深圳)有限公司 | 一种信息搜索方法、装置、终端及存储介质 |
CN112308016B (zh) * | 2020-11-19 | 2024-02-27 | 网易(杭州)网络有限公司 | 表情图像获取方法、装置、电子设备及存储介质 |
CN114647349A (zh) * | 2020-12-17 | 2022-06-21 | 中移(苏州)软件技术有限公司 | 表情信息选取方法及装置、电子设备及存储介质 |
CN114979452B (zh) * | 2021-02-20 | 2024-01-23 | 北京字跳网络技术有限公司 | 拍摄方法、装置、电子设备和存储介质 |
CN112818193A (zh) * | 2021-02-26 | 2021-05-18 | 拉扎斯网络科技(上海)有限公司 | 历史浏览数据的展示方法及装置 |
US20230334697A1 (en) * | 2022-04-13 | 2023-10-19 | Nvidia Corporation | 3d environment reconstruction for persistent object tracking |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102411582A (zh) * | 2010-09-21 | 2012-04-11 | 腾讯科技(深圳)有限公司 | 图片搜索方法、装置及客户端 |
JP2018032200A (ja) * | 2016-08-24 | 2018-03-01 | Line株式会社 | プログラム、情報処理方法、及び情報処理端末 |
WO2018089109A1 (en) * | 2016-11-12 | 2018-05-17 | Google Llc | Determining graphical elements for inclusion in an electronic communication |
JP2018109991A (ja) * | 2016-12-30 | 2018-07-12 | 株式会社カカオ | インタラクションを用いたメッセンジャー検索方法、ならびに、これを実現したサーバおよびアプリケーション |
US20180218080A1 (en) * | 2017-01-30 | 2018-08-02 | Adobe Systems Incorporated | Conversational agent for search |
CN108874258A (zh) * | 2017-05-11 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 分享录屏视频的方法及装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7707218B2 (en) * | 2004-04-16 | 2010-04-27 | Mobot, Inc. | Mobile query system and method based on visual cues |
CN101877012B (zh) * | 2010-07-28 | 2012-06-20 | 刘捷 | 在互联网上搜索图片及局部相似图片的方法 |
JP5699681B2 (ja) * | 2011-02-25 | 2015-04-15 | セイコーエプソン株式会社 | 表示制御方法、表示装置および電子機器 |
US20170039198A1 (en) * | 2014-05-15 | 2017-02-09 | Sentient Technologies (Barbados) Limited | Visual interactive search, scalable bandit-based visual interactive search and ranking for visual interactive search |
US10311341B1 (en) * | 2015-08-27 | 2019-06-04 | Hrl Laboratories, Llc | System and method for online deep learning in an ultra-low power consumption state |
CN105868299A (zh) * | 2016-03-23 | 2016-08-17 | 深圳码隆科技有限公司 | 一种数据搜索方法和装置 |
CN106469299B (zh) * | 2016-08-31 | 2019-07-19 | 北京邮电大学 | 一种车辆搜索方法及装置 |
CN106656735A (zh) * | 2016-09-08 | 2017-05-10 | 乐视控股(北京)有限公司 | 表情图像发送方法及装置 |
JP6872703B2 (ja) * | 2016-10-17 | 2021-05-19 | パナソニックIpマネジメント株式会社 | プログラム生成方法、プログラム生成装置および制御プログラム |
CN107229707B (zh) * | 2017-05-26 | 2021-12-28 | 北京小米移动软件有限公司 | 搜索图像的方法及装置 |
CN110263197B (zh) * | 2019-06-12 | 2023-11-28 | 腾讯科技(深圳)有限公司 | 一种图像搜索方法、装置、计算机设备和存储介质 |
CN110414404A (zh) * | 2019-07-22 | 2019-11-05 | 腾讯科技(深圳)有限公司 | 基于即时通讯的图像数据处理方法、装置以及存储介质 |
CN110795589A (zh) * | 2019-08-20 | 2020-02-14 | 腾讯科技(深圳)有限公司 | 一种图像搜索方法、装置、计算机设备和存储介质 |
-
2019
- 2019-06-12 CN CN201910507945.5A patent/CN110263197B/zh active Active
-
2020
- 2020-06-10 WO PCT/CN2020/095240 patent/WO2020248985A1/zh active Application Filing
- 2020-06-10 JP JP2021539359A patent/JP7301977B2/ja active Active
-
2021
- 2021-09-03 US US17/446,861 patent/US20210397645A1/en active Pending
-
2023
- 2023-06-20 JP JP2023101084A patent/JP2023126241A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102411582A (zh) * | 2010-09-21 | 2012-04-11 | 腾讯科技(深圳)有限公司 | 图片搜索方法、装置及客户端 |
JP2018032200A (ja) * | 2016-08-24 | 2018-03-01 | Line株式会社 | プログラム、情報処理方法、及び情報処理端末 |
WO2018089109A1 (en) * | 2016-11-12 | 2018-05-17 | Google Llc | Determining graphical elements for inclusion in an electronic communication |
JP2018109991A (ja) * | 2016-12-30 | 2018-07-12 | 株式会社カカオ | インタラクションを用いたメッセンジャー検索方法、ならびに、これを実現したサーバおよびアプリケーション |
US20180218080A1 (en) * | 2017-01-30 | 2018-08-02 | Adobe Systems Incorporated | Conversational agent for search |
CN108874258A (zh) * | 2017-05-11 | 2018-11-23 | 腾讯科技(深圳)有限公司 | 分享录屏视频的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US20210397645A1 (en) | 2021-12-23 |
CN110263197B (zh) | 2023-11-28 |
CN110263197A (zh) | 2019-09-20 |
WO2020248985A1 (zh) | 2020-12-17 |
JP7301977B2 (ja) | 2023-07-03 |
JP2023126241A (ja) | 2023-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022516748A (ja) | 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム | |
CN110381388B (zh) | 一种基于人工智能的字幕生成方法和装置 | |
CN111309886B (zh) | 一种信息交互方法、装置和计算机可读存储介质 | |
EP3095091B1 (en) | Method and apparatus of processing expression information in instant communication | |
CN110795589A (zh) | 一种图像搜索方法、装置、计算机设备和存储介质 | |
US20210365749A1 (en) | Image data processing method and apparatus, electronic device, and storage medium | |
CN107623621B (zh) | 聊天语料收集方法和装置 | |
CN113766296B (zh) | 直播画面的展示方法和装置 | |
CN110209810B (zh) | 相似文本识别方法以及装置 | |
JP7463519B2 (ja) | ビデオに基づくインタラクション実現方法、装置、機器および媒体 | |
CN110719525A (zh) | 弹幕表情包的生成方法、电子设备和可读存储介质 | |
CN112437338B (zh) | 虚拟资源转移方法、装置、电子设备以及存储介质 | |
CN113395202B (zh) | 一种会话管理方法、装置、计算机设备和存储介质 | |
CN113392178A (zh) | 一种消息提醒的方法、相关装置、设备以及存储介质 | |
CN111523053A (zh) | 信息流处理方法、装置、计算机设备和存储介质 | |
CN108401005B (zh) | 一种表情推荐方法和装置 | |
US11294962B2 (en) | Method for processing random interaction data, network server and intelligent dialog system | |
CN111125544A (zh) | 用户推荐方法及装置 | |
CN113158094B (zh) | 信息分享方法、装置及电子设备 | |
CN116955784A (zh) | 内容显示方法、装置、设备、介质和程序产品 | |
CN113542653B (zh) | 一种虚拟物品交互方法 | |
CN111461005A (zh) | 一种手势识别方法、装置、计算机设备以及存储介质 | |
CN107168978B (zh) | 消息展示的方法和装置 | |
CN116226542A (zh) | 网络内容的显示方法、装置、设备及存储介质 | |
CN112416215A (zh) | 一种内容聚合方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210705 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230522 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230621 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7301977 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |