JP2023126241A - 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム - Google Patents

画像検索方法、装置、コンピュータ機器及びコンピュータプログラム Download PDF

Info

Publication number
JP2023126241A
JP2023126241A JP2023101084A JP2023101084A JP2023126241A JP 2023126241 A JP2023126241 A JP 2023126241A JP 2023101084 A JP2023101084 A JP 2023101084A JP 2023101084 A JP2023101084 A JP 2023101084A JP 2023126241 A JP2023126241 A JP 2023126241A
Authority
JP
Japan
Prior art keywords
image
search
user
page
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023101084A
Other languages
English (en)
Inventor
祥▲敏▼ 王
Xiangmin Wang
▲澤▼▲鋒▼ 梁
Zefeng Liang
▲強▼ ▲顔▼
Qiang Yan
▲慶▼▲揚▼ ▲張▼
Qingyang Zhang
▲創▼沐 姚
Chuangmu Yao
戈 王
Ge Wang
佳▲藝▼ 丁
Jiayi Ding
震▲鴻▼ ▲陳▼
Zhenhong Chen
猛 ▲趙▼
Meng Zhao
乾 白
qian Bai
航 ▲趙▼
Hang Zhao
文▲鋒▼ 祝
Wenfeng Zhu
科▲亮▼ ▲孫▼
Keliang Sun
巧英 林
Qiaoying Lin
丹丹 ▲陳▼
Dandan Chen
秀▲敏▼ 林
Xiumin Lin
明 ▲鄒▼
Ming Zou
家▲敏▼ ▲陳▼
Jiamin Chen
▲華▼薇 ▲張▼
Huawei Zhang
志浩 ▲陳▼
Chih-Hao Chen
雨▲潤▼ 莫
Yurun Mo
伽文 ▲鐘▼
Jiawen Zhong
木 苑
Mu Yuan
夫 ▲鄒▼
Fu Zou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2023126241A publication Critical patent/JP2023126241A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24578Query processing with adaptation to user needs using ranking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046Interoperability with other network applications or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】画像検索方法、装置、コンピュータ機器及び記憶媒体を提供し、インスタントメッセージングクライアントにおいて画像による画像検索を実現すること。【解決手段】本願の実施例は画像検索方法、装置、コンピュータ機器及び記憶媒体を開示する。当該方法は、インスタントメッセージングクライアントの画像選択ページを表示するステップ、ユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップ、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップ、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップであって、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似する、ステップ、及び前記少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示するステップを含む。【選択図】図1b

Description

本願はインターネットの技術分野に関し、具体的には画像検索方法、装置、コンピュータ機器及び記憶媒体に関する。
本願は2019年6月12日に中国特許庁に提出した、出願番号が第201910507945.5号、出願の名称が「画像検索方法、装置、コンピュータ機器及び記憶媒体」の中国特許出願の優先権を主張する。
IM(インスタントメッセージング)アプリケーションはインスタントメッセージング技術によってオンラインチャット及び交流を実現するソフトウェアであり、ユーザーはチャットアプリケーションによって他のユーザーとメッセージ交換を行い、チャットを実現することができる。現在、チャットの楽しさを向上させるために、インスタントメッセージングアプリケーションはさらに画像、たとえば、スタンプ等を送信してチャット相手と対話することをサポートすることができる。しなしながら、従来技術には画像によって画像を検索するスキームがない。
本願の実施例は画像検索方法、装置、コンピュータ機器及び記憶媒体を提供し、インスタントメッセージングクライアントにおいて画像による画像検索を実現することができる。
本願の実施例は画像検索方法を提供し、
インスタントメッセージングクライアントの画像選択ページを表示するステップ、
ユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップ、
2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップ、
前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップであって、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似する、ステップ、及び、
前記少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示するステップを含む。
同様に、本願の実施例はさらに別の画像検索方法を提供し、
端末から送信される画像検索要求に基づいて、検索用の入力画像を決定するステップ、
2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップ、
前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップであって、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似する、ステップ、
前記少なくとも1つの出力画像に応じて検索結果リストを生成するステップ、及び、
前記検索結果リストを前記端末に返信して、前記端末にインスタントメッセージングクライアントのインタフェースに表示させるステップを含む。
同様に、本願の実施例はさらに画像検索装置を提供し、第1表示ユニット、決定ユニット、設定ユニット、検索ユニット、生成ユニット、及び第2表示ユニットを含み、
前記第1表示ユニットは、インスタントメッセージングクライアントの画像選択ページを表示することに用いられ、
前記決定ユニットは、ユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定することに用いられ、
前記設定ユニットは、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定することに用いられ、
前記検索ユニットは、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得することに用いられ、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似し、
前記生成ユニットは、前記少なくとも1つの出力画像に応じて検索結果リストを生成することに用いられ、
前記第2表示ユニットは、前記検索結果リストを表示することに用いられる。
同様に、本願の実施例はさらに別の画像検索装置を提供し、決定ユニット、設定ユニット、検索ユニット、生成ユニット、及び送信ユニットを含み、
前記決定ユニットは、端末から送信される画像検索要求に基づいて、入力画像を決定することに用いられ、
前記設定ユニットは、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定することに用いられ、
前記検索ユニットは、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得することに用いられ、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似し、
前記生成ユニットは、前記少なくとも1つの出力画像に応じて検索結果リストを生成することに用いられ、
前記送信ユニットは、前記検索結果リストを前記端末に返信して、前記端末にインスタントメッセージングクライアントのインタフェースに表示させることに用いられる。
本願の実施例はさらにコンピュータ機器を提供し、メモリ、プロセッサ、及びメモリに記憶され且つプロセッサにおいて演算可能なコンピュータプログラムを含み、前記プロセッサは前記プログラムを実行すると、本願の実施例が提供するいずれかの画像検索方法のステップを実現する。
また、本願の実施例はさらに記憶媒体を提供し、それにコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されると、本願の実施例が提供するいずれかの画像検索方法のステップを実現する。
本願の実施例の技術的解決手段をより明確に説明するために、以下、実施例の説明に使用される必要がある図面を簡単に説明する。明らかなように、以下の説明における図面は単に本願のいくつかの実施例であり、当業者にとっては、創造的な努力をしない前提で、またこれらの図面に基づいて他の図面を得ることができる。
本願の実施例が提供する画像検索方法のシーンの模式図である。 本願の一実施例が提供する画像検索方法のフローチャートである。 本願の実施例が提供するスタンプ検索のページ操作の模式図である。 本願の実施例が提供するスタンプ検索ページ表示の模式図である。 本願の実施例が提供するスタンプ検索ページのトリガー表示の模式図である。 本願の実施例が提供する出力スタンプ送信の模式図である。 本願の実施例が提供する出力スタンプ検索の別のページ操作の模式図である。 本願の実施例が提供する出力スタンプ検索の別のページ操作の模式図である。 本願の実施例が提供する出力スタンプ検索の別のページ操作の模式図である。 本願の実施例が提供する出力スタンプ検索の別のページ操作の模式図である。 本願の別の実施例が提供する画像検索方法のフローチャートである。 本願のさらに別の実施例が提供する画像検索方法のフローチャートである。 本願の実施例が提供する出力スタンプ検索のアーキテクチャの模式図である。 本願の実施例が提供する特徴抽出のプロセス模式図である。 本願の実施例が提供する出力スタンプリコールの模式図である。 本願の実施例が提供する出力スタンプソートの模式図である。 本願の実施例が提供する出力スタンプリストの模式図である。 本願の実施例が提供する別の出力スタンプリストの模式図である。 本願の実施例が提供する別の出力スタンプリストの模式図である。 本願の実施例が提供する画像検索装置の構造模式図である。 本願の実施例が提供する画像検索装置の別の構造模式図である。 本願の実施例が提供する画像検索装置の別の構造模式図である。 本願の実施例が提供するコンピュータ機器の構造模式図である。
以下、本願の実施例の図面を参照しながら本願の実施例における技術的解決手段を明確かつ完全に説明する。明らかなように、説明される実施例は単に本願の一部の実施例であり、すべての実施例ではない。本願の実施例に基づいて、当業者が創造的な努力をしない前提で取得するすべての他の実施例は、いずれも本願の保護範囲に属する。
本願の実施例は画像検索方法、装置、コンピュータ機器及び記憶媒体を提供する。具体的には、本願の実施例は第1コンピュータ機器に適用できる画像検索装置(区別のために、第1画像検索装置と呼ばれてもよい)、及び第2コンピュータ機器に適用できる画像検索装置(区別のために、第2画像検索装置と呼ばれてもよい)を提供する。そのうち、第1コンピュータ機器は端末等の機器であってもよく、当該端末は携帯電話、タブレットPC、ノートパソコン等の機器であってもよい。そのうち、第2コンピュータ機器はサーバ等のネットワーク側機器であってもよい。
たとえば、第1画像検索装置は端末に集積されてもよく、第2画像検索装置はサーバに集積されてもよく、当該サーバは1台のサーバであってもよく、複数のサーバからなるサーバクラスターであってもよい。
本願の実施例は、第1コンピュータ機器が端末、第2コンピュータ機器がサーバであることを例に、画像検索方法を説明する。
図1aに参照されるように、本願の実施例は画像検索システム100を提供し、端末110及びサーバ120等を含み、端末110とサーバ120との間はネットワークによって接続され、たとえば、有線又は無線ネットワークによる接続等である。そのうち、画像検索装置111は端末110内に集積され、たとえば、クライアントの形態で端末110内に集積される。そのうち、端末110は、インスタントメッセージングクライアントの画像選択ページを表示し、ユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定し、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定し、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得する。そのうち、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似し、前記少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示することに用いられてもよい。
そのうち、端末110は出力画像検索をトリガーする方式が複数種あり、たとえば、端末110はサーバ120が複数の画像類似次元で入力画像と類似する出力画像を検索することをトリガーしてもよい。具体的には、端末110はサーバ120に画像検索要求を送信してもよい。
サーバ120は具体的には、端末から送信される画像検索要求に基づいて、検索用の入力画像を決定し、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定し、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得する。そのうち、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似し、前記少なくとも1つの出力画像に応じて検索結果リストを生成し、及び、前記検索結果リストを前記端末に返信して、前記端末にインスタントメッセージングクライアントのインタフェースに表示させることに用いられてもよい。
本願の実施例は、第1画像検索装置の観点から説明し、当該第1画像検索装置は具体的には端末内に集積されてもよい。本願の実施例が提供する画像検索方法について、当該方法は図1aに示す端末110のプロセッサによって実行されてもよく、図1bに示すように、当該画像検索方法の具体的なプロセスは以下のステップを含む。
101:インスタントメッセージングクライアントの画像選択ページを表示する。
本願の実施例における画像は、インスタントメッセージングクライアントに適用される対話画像、又はユーザーがインスタントメッセージングクライアントで使用する対話画像等を含んでもよく、たとえば、チャット対話画像であってもよい。そのうち、チャット対話画像はチャットシーンでチャット相手と対話する画像であり、たとえば、チャット会話でチャット相手に情報を表現する画像、たとえば、感情、言葉を表現する画像を含んでもよい。たとえば、チャット対話画像はスタンプ等を含んでもよい。そのうち、チャット対話画像の画像タイプは複数種あってもよく、たとえば、静止画像、又は動的画像を含んでもよい。たとえば、チャット対話画像は静止スタンプ、動的スタンプ等を含んでもよい。
本願の実施例では、画像選択ページを表示する前、画像検索ページを表示してもよい。画像検索ページはユーザーが画像で画像を検索するための検索ページであってもよく、ユーザーは画像検索ページで操作して画像で出力画像を検索すること(画像による画像検索)をトリガーしてもよい。たとえば、画像検索ページはユーザーがチャット対話画像でチャット対話画像を検索するためのページであってもよく、ユーザーは当該ページで画像による画像検索操作を行ってもよく、たとえば、画像検索ページはスタンプ検索ページを含んでもよく、ユーザーはスタンプ検索ページで検索操作を行い、スタンプで所要の出力スタンプを検索する(すなわち、スタンプによるスタンプ検索)等のようにしてもよく、図1cに示される通りである。
そのうち、画像検索ページは画像選択コントロールを含んでもよく、当該画像選択コントロールはユーザーが画像選択ページの表示をトリガーして、入力画像を決定することに供することが可能である。そのうち、コントロールの表現形式は、アイコン、入力ボックス、ボタン等の形式であってもよい。
たとえば、図1cに参照されるように、画像がスタンプであることを例に、スタンプ検索ページ1c1は画像選択コントロール、すなわち、「+」プラス記号ボタンを含んでもよく、ユーザーは検索用の入力スタンプを選択する必要がある場合、ユーザーは当該プラス記号ボタンに対して操作を行う。たとえば、クリック、スライド等の操作を行い、スタンプ選択ページ1c2の表示をトリガーする。スタンプ選択ページ1c2に、候補スタンプリストを含むスタンプ選択パネルを表示し、当該候補スタンプリストはユーザーがお気に入りしたスタンプを含み、当該スタンプ選択パネルはユーザーが入力スタンプを選択又は決定することに供する。
本願の実施例では、ユーザーはインスタントメッセージングクライアントのユーザー操作ページに対して操作を行い、それによりインスタントメッセージングクライアントの画像検索ページ、たとえば、スタンプ検索ページ1c1の表示をトリガーするようにしてもよい。たとえば、一実施例では、ユーザーはインスタントメッセージングクライアントの内容検索ページに対して操作を行い、それにより画像検索ページの表示をトリガーするようにしてもよい。そのうち、内容検索ページはユーザーが内容を検索するためのページ、たとえば、ニュース、文章、アプリケーションプログラム、たとえば、ミニプログラム、ビジネスサービス、画像(たとえば、チャット対話画像)等であってもよく、ユーザーは内容検索ページで検索操作を行い、所要の内容を検索するようにしてもよい。
たとえば、内容検索ページでチャット対話画像検索コントロールを設定してもよく、このように、ユーザーは当該コントロールによって操作して画像検索ページの表示をトリガーでき、具体的には、インスタントメッセージングクライアントの内容検索ページを表示し、内容検索ページは画像検索コントロールを含み、画像検索コントロールに対するユーザーのトリガー操作が検出された場合、クライアントの画像検索ページを表示し、画像検索ページは画像選択コントロールを含み、画像選択コントロールに対するユーザーのトリガー操作が検出された場合、画像選択ページを表示することを含んでもよい。
たとえば、画像がチャットスタンプであることを例に、図1dに参照されるように、端末はインスタントメッセージングクライアントの内容検索ページを表示してもよく、当該内容検索ページは複数の内容検索コントロール、たとえば、文章検索コントロール、ミニプログラム検索コントロール、音楽検索コントロール、公式アカウント検索コントロール、及びスタンプ検索コントロール等を含んでもよい。また、内容検索ページはさらにインスタントメッセージングクライアント中のホットスポット内容等を含んでもよい。ユーザーはスタンプを検索する必要がある場合、ユーザーは内容検索ページ中のスタンプ検索コントロールに対して操作を行い、たとえば、クリック、スライド等の操作を行ってもよく、端末はスタンプ検索コントロールに対するユーザーの操作を検出した場合、図1cに示すスタンプ検索ページ1c1の表示をトリガーする。
本願の実施例では、内容検索ページの表示をトリガーする方式は複数種あってもよく、たとえば、ユーザーはチャット会話リストページで操作して内容検索ページの表示をトリガーしてもよく、たとえば、チャット会話リストページで内容検索コントロールを設定してもよく、ユーザーは当該コントロールに対する操作によって内容検索ページの表示をトリガーしてもよい。具体的には、インスタントメッセージングクライアントのチャット会話リストページを表示し、チャット会話リストページは内容検索コントロールを含み、内容検索コントロールに対するユーザーのトリガー操作が検出された場合、内容検索ページを表示することを含んでもよい。
そのうち、チャット会話リストページはチャット会話リストを表示するためのページであり、チャット会話リストは1つ又は複数のチャット会話(たとえば、シングルチャット、グループチャット等の会話)を含んでもよい。たとえば、図1eに参照されるように、端末はインスタントメッセージングクライアントのチャット会話リストページ、たとえば、サブ図1e1中の左側のページを表示し、当該ページにグローバル内容検索コントロールが設定されており、ユーザーが当該グローバル内容検索コントロールに対して操作を行い、たとえば、クリック、スライド等の操作を行う場合、端末はサブ図1e1中の右側の内容検索ページを表示する。
また、たとえば、ユーザーはさらにインスタントメッセージングクライアントの機能ページに対して操作を行い、内容検索ページの表示をトリガーするようにしてもよく、たとえば、機能ページに検索機能コントロールを設定してもよく、ユーザーは当該コントロールに対して操作を行い、内容検索ページの表示をトリガーしてもよい。具体的には、インスタントメッセージングクライアントの機能ページを表示し、機能ページは検索機能コントロールを含み、検索機能コントロールに対するユーザーのトリガー操作が検出された場合、内容検索ページを表示することを含んでもよい。
たとえば、図1eに参照されるように、端末はインスタントメッセージングクライアントのチャット会話リストページ、たとえば、サブ図1e2中の左側のページを表示し、当該ページにグローバル内容検索コントロールが設定されており、ユーザーが当該グローバル内容検索コントロールに対して操作を行う場合、端末はサブ図1e2中の右側の機能ページ、たとえば、「発見」ページを表示し、当該ページはQRコード(登録商標)のスキャン機能コントロール「スキャン」、内容投稿コントロール「モーメンツ」、ミニプログラム機能コントロール「ミニプログラム」、及び検索機能コントロール「検索」等の機能コントロールを含み、ユーザーが検索機能コントロール「検索」に対して操作を行い、たとえば、クリック、スライド等の操作を行う場合、端末は図1dに示す内容検索ページを表示する。
102、ユーザーが画像選択ページで行った操作に基づいて、検索用の入力画像を決定する。
そのうち、画像選択ページで行った入力画像決定操作は、単一の操作であってもよく、たとえば、ユーザーは選択ページでクリック操作を1回実行し、複数、たとえば、一連の操作からなる操作であってもよく、たとえば、ユーザーは選択ページで複数の異なる操作等を実行する。
103、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定する。
104、複数の画像類似次元で、入力画像と類似する少なくとも1つの出力画像を検索して獲得し、そのうち、各出力画像は少なくとも1つの画像類似次元で入力画像と類似する。
105、少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示する。
そのうち、検索結果リストの表示方式は入力画像の決定方式に関連してもよく、以下、入力画像の異なる決定方式での検索結果表示をいくつか説明する。
(1)ユーザーは画像選択ページの候補画像リストから入力画像を選択する。
そのうち、画像選択ページは候補画像リストを含んでもよく、候補画像リストは少なくとも1つの候補画像を含んでもよく、たとえば、画像がスタンプであることを例に、候補画像リストは候補スタンプリストであってもよく、当該候補スタンプリストは少なくとも1つの候補スタンプを含んでもよい。たとえば、候補画像リストはユーザーがクライアントでお気に入りしたスタンプ、クライアント固有のスタンプ、ユーザーがスタンプストアから追加したスタンプ等のスタンプのうちの少なくとも1種を含んでもよい。たとえば、候補画像リストは少なくとも1つのユーザーがお気に入りしたスタンプを含んでもよい。
このとき、候補画像リスト中の候補画像に対するユーザーの画像選択操作が検出された場合、ユーザーが選択した候補画像を入力画像として決定し、且つ検索結果リストを表示する。
たとえば、図1cに参照されるように、ユーザーが画像検索ページ1c1中の画像選択コントロール、すなわち、「+」プラス記号ボタンに対して操作を行うことによって、画像選択ページ1c2の下部のスタンプ選択パネルの表示をトリガーした後、ユーザーはクリック操作によって、スタンプ選択パネルから「スタンプ1」を入力スタンプとして選択してもよい。ユーザーが「スタンプ1」をクリック選択する場合、検索結果リストを表示し、当該検索結果リストは「スタンプ1」と類似する類似スタンプ、たとえば、スタンプ11、及びスタンプ12…等を含む。
(2)ユーザーは撮影によって入力画像を取得する。
そのうち、画像選択ページは画像撮影コントロールを含んでもよく、このとき、画像撮影コントロールに対するユーザーのトリガー操作が検出された場合、画像撮影ページを表示し、画像撮影ページに対するユーザーの撮影操作に基づいて、撮影結果ページを表示し、撮影結果ページは撮影結果画像、及び画像確認コントロールを含み、画像確認コントロールに対するユーザーの確認操作が検出された場合、撮影結果画像を入力画像として決定する。
そのうち、画像撮影は写真撮影、又はビデオ撮影等であってもよい。
たとえば、図2aに参照されるように、画像がスタンプであることを例に、スタンプ選択ページ2a1の下部のスタンプ選択パネルに、さらに画像撮影コントロール、たとえば、「撮影」ボタンが含まれてもよい。ユーザーが撮影によって入力スタンプを選択しようとする(すなわち、撮影画像を入力スタンプとする)場合、ユーザーは当該「撮影」ボタンに対して操作、たとえば、クリック、スライド等の操作を行ってもよい。このとき、端末はカメラを呼び出し、画像撮影ページ2a2を表示し、その後、ユーザーは画像撮影ページ2a2で操作して所要の画像を撮影してもよい。たとえば、ユーザーは画像撮影ページ2a2の撮影ボタンをクリックしてもよく、端末は撮影結果ページ2a3を表示し、当該ページは撮影して得られた画像、たとえば、画像A、及び画像確認コントロール「追加」ボタンを含み、ユーザーが撮影して得られた画像Aを入力スタンプとしようとする場合、「追加」ボタンに対して操作を行ってもよい。このとき、端末は撮影して得られた画像Aを入力スタンプとし、且つ検索結果リストを表示し、当該検索結果リストは画像Aと類似する類似スタンプ、たとえば、類似スタンプA1、類似スタンプA2等を含む。一実施例では、ユーザーが「追加」ボタンに対して操作を行う場合、端末はさらに画像Aをユーザーのスタンプライブラリに追加してもよく、たとえば、当該画像Aをお気に入りする。
(3)ユーザーはローカルアルバムから写真を入力画像として選択する。
そのうち、画像選択ページは写真選択コントロールを含んでもよい。このとき、写真選択コントロールに対するユーザーのトリガー操作が検出された場合、写真選択ページを表示し、写真選択ページはローカルアルバム中の少なくとも1枚の写真を含み、写真選択ページに対するユーザーの写真選択操作に基づいて、写真選択ページでユーザーが選択した写真をマークし、且つ写真確認ページを表示し、前記写真確認ページは写真確認コントロールを含み、写真確認コントロールに対するユーザーの確認操作が検出された場合、ユーザーが選択した写真を入力画像として決定する。
たとえば、図2bに参照されるように、スタンプ選択ページ2b1の下部のスタンプ選択面に、さらに写真選択コントロール、たとえば、「写真」ボタンが含まれてもよい。ユーザーがローカルアルバムから写真を入力スタンプとして選択しようとする場合、ユーザーは当該「写真」ボタンに対して操作、たとえば、クリック、スライド等の操作を行ってもよい。このとき、端末は写真選択ページ2b2を表示し、当該写真選択ページ2b2はローカルアルバム中の少なくとも1枚の写真を含む。ユーザーは写真選択ページ2b2で操作によって写真を選択してもよく、端末はユーザーが選択した写真をマークしてもよい。たとえば、ユーザーはクリック操作によって写真B1を選択する場合、写真B1にチェックマークを付け、ユーザーが選択した写真B1を入力スタンプとしようとする場合、写真確認ページ2b3中の写真確認コントロール、たとえば、「OK」ボタンをクリックしてもよい。このとき、端末はユーザーが選択した写真を入力スタンプとし、且つ検索結果リストを表示し、当該検索結果リストは写真B1と類似する類似スタンプ、たとえば、類似スタンプB11、及び類似スタンプB12等を含む。一実施例では、ユーザーが「OK」ボタンに対して操作を行う場合、端末はさらに写真B1をユーザーのスタンプライブラリに追加してもよく、たとえば、当該画像B1をお気に入りする。
(4)ユーザーは音声によって入力画像を決定する。
そのうち、画像選択ページは音声選択コントロールを含んでもよい。このとき、音声選択コントロールに対するユーザーのトリガー操作が検出された場合、音声入力ページを表示し、音声入力ページは音声入力コントロールを含み、音声入力コントロールに対するユーザーの音声入力操作が検出された場合、ユーザーが入力した音声情報を収集し、音声入力コントロールに対するユーザーの音声入力終了操作が検出された場合、音声情報にマッチングする候補画像を表示し、候補画像に対するユーザーの選択操作が検出された場合、ユーザーが選択した候補画像を入力画像として決定する。
そのうち、候補画像は端末のローカルデータベース中の音声情報にマッチングする候補画像、たとえば、ローカルスタンプライブラリ中の音声情報にマッチングする候補画像であってもよい。そのうち、画像が音声情報にマッチングすることは、画像中の文字内容が音声内容にマッチングすること、画像の意味又は属性内容が音声内容にマッチングすること等を含んでもよい。
たとえば、図2cに参照されるように、画像選択ページ2c1の下部のスタンプ選択パネルに、さらに音声選択コントロール、たとえば、「音声入力」ボタンが含まれてもよい。ユーザーが音声によって画像を入力スタンプとして選択しようとする場合、ユーザーは当該「音声入力」ボタンに対して操作、たとえば、クリック、スライド等の操作を行ってもよく、このとき、端末は音声入力ページ2c2を表示し、当該音声入力ページ2c2は音声入力コントロール、たとえば、マイクロホンアイコンを含む。ユーザーは音声入力ページ2c2中のマイクロホンアイコンに対して操作を行ってもよく、たとえば、ユーザーはマイクロホンアイコンを長押しすることによって、ユーザーが入力した音声情報を収集することをトリガーし、ユーザーが長押し操作を終了させる場合、端末は1つのスタンプ選択ページ2c3を表示し、当該スタンプ選択ページ2c3はローカルスタンプライブラリ中の音声情報にマッチングする候補スタンプ、たとえば、スタンプC1、スタンプC2、スタンプC3等を含み、ユーザーは当該スタンプ選択ページ2c3で1つの候補スタンプを入力スタンプとして選択してもよく、たとえば、ユーザーはクリックによって候補スタンプC1を選択してもよい。このとき、端末は検索結果リストを表示し、当該検索結果リストはスタンプC1と類似する類似スタンプ、たとえば、類似スタンプC11、及び類似スタンプC12等を含む。
(5)ユーザーは画像レンダリングによって入力画像を決定する。
そのうち、画像選択ページは画像レンダリングコントロールを含んでもよい。このとき、画像レンダリングコントロールに対するユーザーのトリガー操作が検出された場合、画像レンダリングページを表示し、画像レンダリングページは画像レンダリング領域、及びレンダリング画像確認コントロールを含み、画像レンダリング領域内でのユーザーのレンダリング操作に基づいて、画像レンダリングページにユーザーがレンダリングした画像を表示し、レンダリング画像確認コントロールに対する確認操作が検出された場合、ユーザーがレンダリングした画像を入力画像として決定する。
たとえば、図2dに参照されるように、画像選択ページ2d1の下部のスタンプ選択パネルに、さらにレンダリングコントロール、たとえば、「絵筆」形状のアイコンが含まれてもよい。ユーザーが画像レンダリングによって入力スタンプを決定しようとする場合、ユーザーは当該「レンダリング」アイコンに対して操作を行い、たとえば、クリック、スライド等の操作を行ってもよい。このとき、端末はスタンプレンダリングページ2d2を表示し、当該スタンプレンダリングページ2d2はスタンプレンダリング領域、及びレンダリング画像確認コントロール、たとえば、「追加」ボタンを含む。ユーザーはスタンプレンダリング領域でレンダリング操作を行ってもよく、たとえば、ユーザーはスタンプレンダリング領域で対応する色、スタイル及び線を採用して所要のスタンプをレンダリングしてもよい。ユーザーによるスタンプGのレンダリングが終了した後、ユーザーはレンダリング画像確認コントロール、たとえば、「追加」ボタンに対して操作を行ってもよい。このとき、端末はユーザーがレンダリングしたスタンプを入力スタンプとし、且つ検索結果リストを表示し、当該検索結果リストはスタンプGと類似する類似スタンプ、たとえば、類似スタンプG1、及び類似スタンプG2等を含む。一実施例では、ユーザーが「追加」ボタンに対して操作を行う場合、端末はさらにレンダリングした画像Gをユーザーのスタンプライブラリに追加してもよく、たとえば、当該画像Gをお気に入りする。
以上の入力画像選択方式を任意に組み合わせることができ、それにより、ユーザーは複数種の方法を採用して入力画像を選択して検索を行うことができる。たとえば、スタンプ選択パネルは候補スタンプ、画像撮影コントロール、写真選択コントロール、音声選択コントロール、及び画像レンダリングコントロールのうちの少なくとも1種を含んでもよい。
一実施例では、画像検索にはユーザーは一定時間待機する必要があることを考慮する。待機によってユーザーの焦りを引き起こし、ユーザーエクスペリエンスを低下させることを回避するために、さらに検索待機ページを表示する。従って、前記方法はさらに、インスタントメッセージングクライアントの検索待機ページに入力画像及び検索結果ロードアイコンを表示するステップを含み、ステップ105の「前記少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示する」は、具体的には、検索が成功した場合、検索結果ページに検索結果リストを表示するステップを含む。
たとえば、図1cに参照されるように、ユーザーが入力スタンプを選択した後、端末はスタンプの検索待機ページ1c3を表示し、当該検索待機ページ1c3はユーザーが選択又は決定した入力スタンプ、及び検索結果ロードアイコンを含み、当該検索結果ロードアイコンは実際のニーズに応じて設定でき、たとえば、環状ロードアイコン、長尺状ロードアイコン(たとえば、プログレスバー)等が挙げられる。
そのうち、本願の実施例では、検索結果リストは少なくとも1つ(たとえば1つ又は複数)の画像類似次元で入力画像と類似する出力画像を含んでもよい。たとえば、検索結果リストは少なくとも1つのスタンプ類似次元で入力スタンプと類似する出力スタンプ等を含んでもよい。
本願の一実施例において、ステップ103では、「前記した2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定する」は、具体的には、前記インスタントメッセージングクライアントに使用される複数のチャット対話画像を予め取得するステップ、及び前記複数のチャット対話画像に含まれる情報に対して階層化を行い、前記複数の画像類似次元を文字内容次元、意味次元、ロール次元、動き次元、及び会話関係次元のうちの任意のいくつかに設定するステップを含んでもよい。
そのうち、画像類似次元は2つのチャット対話画像間が類似する類似タイプ、又は類似態様又は類似レベル等であり、本願の実施例では、画像間の類似は、画像が同じであること、及び/又は類似することを含み、具体的には、実際のニーズに応じて選択できる。
そのうち、画像類似次元は実際のニーズに応じて複数種に分割でき、すなわち、2つのチャット対話画像間の類似レベルは複数種あってもよく、たとえば、画像類似、意味類似、会話関係類似等の類似タイプを含んでもよい。たとえば、2つのチャット対話画像間の類似は画像類似、意味類似、又は会話関係類似等であってもよい。
たとえば、画像類似次元は以下の次元を含んでもよいが、これらに限定されない。
画像の文字内容次元:たとえば、2つのチャット対話画像の文字が同じである、又は類似する。
画像の意味次元:たとえば、2つのチャット対話画像が表現する意味は同じである、又は類似する。
画像のロール次元:たとえば、2つのチャット対話画像中のロールは同じである、又は類似する。
画像中のロールの動き次元:たとえば、2つのチャット対話画像中のロールが行っている動きは同じである、又は類似する。
画像中の会話関係次元:文字内容の会話関係が類似すること、又は画像が表現する意味は会話関係が類似することを呈することを含み、たとえば、2つのチャット中の文字内容は会話関係を形成する。
たとえば、スタンプを例にすると、スタンプ類似次元は以下の次元を含んでもよいが、これらに限定されない。
スタンプの文字内容次元:たとえば、2つのスタンプの文字は同じである、又は類似する。
スタンプの意味次元:たとえば、2つのスタンプが表現する意味は同じであり、又は類似し、たとえば、2つのスタンプはいずれも「こんにちは」を表現するスタンプであり、又は、一方は「こんにちは」を表現し、他方は「hello」を表現する。
スタンプのロール次元:たとえば、2つのスタンプ中のロールは同じであり、又は類似し、たとえば、2つのスタンプ中の仮想キャラクターはいずれも「XXベイビー」の漫画キャラクターである。
スタンプのロールの動き次元:たとえば、2つのスタンプ中のロールが行っている動きは同じであり、又は類似し、たとえば、2つのスタンプ中のロールの手はいずれも「勝利」のジェスチャーを行っており、又は、一方のスタンプ中のロールは「顔を手で覆う」の動きを行っており、他方のスタンプは「口元を押さえる」の動きを行っている。
スタンプの会話関係次元:文字内容の会話関係が類似することを含み、たとえば、2つのスタンプ中の文字内容が会話関係を形成し、たとえば、一方のスタンプの文字内容は「おまえ、病気あるのか」であり、他方のスタンプの文字内容は「おまえ、薬あるのか」であり、これら2つのスタンプは会話関係が類似する。
たとえば、複数の画像類似次元で入力画像と類似する出力画像を検索することをトリガーして、出力画像セットを獲得するようにしてもよく、当該出力画像セットは各々又は各種の画像類似次元で入力画像と類似する出力画像を含んでもよい。一実施例では、検索出力画像をトリガーするタイミングは複数種あってもよく、たとえば、入力画像を取得した後、入力画像と類似する出力画像の検索をトリガーしてもよい。また、たとえば、さらに入力画像を取得すると同時に、入力画像と類似する出力画像の検索をトリガーしてもよい。
たとえば、一実施例では、ユーザーが候補画像リストに対して選択操作を行う場合、検索画像をトリガーしてもよく、具体的には、候補画像リスト中の候補画像に対するユーザーの選択操作が検出された場合、複数の画像類似次元で入力画像と類似する出力画像を検索することをトリガーすることを含んでもよい。
また、たとえば、画像確認コントロールに対するユーザーの確認操作が検出された場合、複数の画像類似次元で入力画像と類似する出力画像を検索することをトリガーする。
また、たとえば、写真確認コントロールに対するユーザーの確認操作が検出された場合、複数の画像類似次元で入力画像と類似する出力画像を検索することをトリガーする。
また、たとえば、候補画像に対するユーザーの選択操作が検出された場合、複数の画像類似次元で入力画像と類似する出力画像を検索することをトリガーする。
また、たとえば、レンダリング画像確認コントロールに対する確認操作が検出された場合、複数の画像類似次元で入力画像と類似する出力画像を検索することをトリガーする。
たとえば、図1cに参照されるように、スタンプ選択パネルを表示した後、ユーザーはクリック操作によってスタンプ選択パネルから「スタンプ1」を入力スタンプとして選択してもよい。ユーザーが「スタンプ1」をクリック選択する場合、端末が複数のスタンプ類似次元で「スタンプ1」と類似する出力スタンプを検索することをトリガーする。
本願の実施例では、出力画像の検索をトリガーする方式は複数種あり、たとえば、一実施例では、端末が自ら複数の画像類似次元で入力画像と類似する出力画像を検索することをトリガーしてもよい。
具体的には、ステップ104の「前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索する」は、各画像類似次元に対して以下の処理を実行することを含んでもよい。
前記入力画像の当該画像類似次元での第1特徴情報を抽出し、画像データベース中の各候補画像の当該画像類似次元での第2特徴情報を取得し、前記第1特徴情報と各第2特徴情報との間の類似度をそれぞれ計算し、計算した各類似度に応じて、画像データベースにおける、当該画像類似次元で前記入力画像と類似する候補画像を前記出力画像として決定する。
このように、端末はサーバから出力画像を取得し、検索結果リストを生成することに用いられる。
そのうち、各々又は各種の画像類似次元での特徴情報は、当該画像類似次元での属性等の情報を表し、当該画像類似次元での2枚の画像間の類似度情報を計算することに用いられる。
たとえば、画像類似次元での特徴情報は、画像の内容又は意味に対応するテキスト類特徴情報、及びベクトル類特徴情報等の特徴情報を含んでもよい。そのうち、テキスト類特徴情報は文字特徴情報、及び画像のタイプ情報(たとえば、分類タグtag情報)等を含んでもよい。そのうち、文字特徴情報は文字認識を採用して取得されてもよく、画像のタイプ情報は画像を分類することによって取得されてもよい。そのうち、ベクトル類特徴情報は特徴抽出モデルを採用して抽出する場合、モデルによって出力される固有ベクトル(たとえば、多次元固有ベクトル)であってもよい。当該特徴抽出モデルは深層学習モデル、たとえば、残差ネットワークモデル(ResNet)、顔認識ネットワークモデル(FaceNet)等のモデルであってもよい。
一実施例では、ステップ105の「前記少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示する」は、具体的には、各出力画像の第3特徴情報を抽出すること、及び、前記第3特徴情報に応じて各出力画像をソートし、前記検索結果リストを獲得することを含んでもよい。
そのうち、出力画像が画像データベース中の候補画像から決定される場合、上記第3特徴情報は上記第2特徴情報と同じである。
本願の実施例では、少なくとも1つの画像類似次元で出力画像を検索することは、同時に複数の画像類似次元で入力画像と類似する出力画像を検索することを含んでもよく、たとえば、同時に画像類似次元1、画像類似次元2、及び画像類似次元3で入力画像と類似する出力画像を検索する。さらに、それぞれ各画像類似次元で入力画像と類似する出力画像を検索することを含んでもよく、たとえば、画像類似次元1で入力画像と類似する出力画像を検索し、画像類似次元2で入力画像と類似する出力画像を検索し、…画像類似次元nで入力画像と類似する出力画像を検索し、ここで、nは2よりも大きい正の整数である。
スタンプを例に、少なくとも1つのスタンプ類似次元で入力スタンプと類似する出力スタンプを検索することは、同時に複数のスタンプ類似次元で入力スタンプと類似する出力スタンプを検索することを含んでもよく、たとえば、スタンプ11はスタンプ1と画像が類似し、意味が類似し、会話関係が類似し、このとき、スタンプ11は同時に3つの次元で入力スタンプ1と類似する。さらに、それぞれ各スタンプ類似次元で入力スタンプと類似する出力スタンプを検索することを含んでもよく、たとえば、スタンプ11はスタンプ1と意味が類似し、スタンプ12はスタンプ1とロールが類似し、スタンプ13はスタンプ1と会話関係が類似する等である。
一実施例では、検索結果リストは各々又は各種の画像類似次元で入力画像と類似する出力画像を含んでもよい。たとえば、画像類似、意味類似、会話関係類似等の各次元で入力スタンプと類似する出力スタンプである。
実際の応用では、ページによって検索結果を表示してもよく、具体的には、検索結果の取得が成功した場合、検索結果ページを表示し、検索結果ページは入力画像、及び検索結果リストを含む。たとえば、図1cに参照されるように、端末が検索結果の取得に成功した場合、スタンプ検索結果ページ1c4を表示し、当該ページは入力スタンプ1、及び各種のスタンプ類似次元で入力スタンプ1と類似する出力スタンプ、たとえば、スタンプ11、及びスタンプ12…等を含む。
一実施例では、ユーザーが検索した出力画像を簡単に使用できるために、ユーザーが検索結果リストで操作して、選択した出力画像をお気に入りすることを許可してもよい。具体的には、画像検索方法はさらに、検索結果リスト中のターゲット出力画像に対するユーザーの決定操作が検出された場合、ターゲット出力画像の画像操作ページを表示するステップであって、画像操作ページは画像追加コントロールを、ステップ、及び、画像追加コントロールに対するユーザーの追加操作が検出された場合、ターゲット出力画像を即使通信クライアントのチャット画像ライブラリに追加するステップを含む。
一実施例では、ユーザーが検索した出力画像を簡単に使用できるために、ユーザーが検索結果リストで操作して、選択した出力画像を直接使用することを許可してもよい。具体的には、画像検索方法はさらに、検索結果リスト中のターゲット出力画像に対するユーザーの決定操作が検出された場合、ターゲット出力画像の画像操作ページを表示するステップであって、画像操作ページは画像送信コントロールを含む、ステップ、
画像送信コントロールに対するユーザーの画像送信操作が検出された場合、候補オブジェクトリストを表示するステップであって、候補オブジェクトリストは少なくとも1つの候補チャット相手を含む、ステップ、
ユーザーが候補オブジェクトリストから選択したターゲットチャット相手を取得するステップ、及び
ターゲットチャット相手にターゲット出力画像を送信するステップを含む。
そのうち、候補チャット相手はシングルチャット相手、たとえば、あるユーザーを含んでもよく、グループチャット相手、たとえば、あるグループ等を含んでもよい。
たとえば、図1fに参照されるように、スタンプ検索結果リストを表示した後、ユーザーはリスト中の出力スタンプを操作することによってターゲット出力スタンプを選択してもよく、ユーザーがリスト中のある出力スタンプ、たとえば、出力スタンプ12に操作、たとえば、クリック、スライド等の操作を行う場合、端末は画像操作ページ1f1に当該出力スタンプのスタンプ詳細ページ、たとえば、スタンプ12のスタンプ詳細ページを表示してもよく、当該スタンプ詳細ページはスタンプ送信コントロール、たとえば、「友達に送信」ボタン、及びスタンプ追加コントロール、たとえば「スタンプに追加」ボタンを含む。
ユーザーは当該出力スタンプを追加してお気に入りしようとする場合、「スタンプに追加」ボタンをクリックしてもよく、このとき、端末はスタンプ12をクライアントのユーザースタンプライブラリに追加し、それによりユーザーが後に使用できる。
ユーザーが当該出力スタンプを直接送信して使用しようとする場合、「友達に送信」ボタンをクリックしてもよく、このとき、端末は候補チャット相手リストページ1f2を表示して「1つのチャットを選択する」ようにしてもよく、当該リストはシングルチャット相手、及びグループチャット相手等を含んでもよく、ユーザーはオブジェクトリストページ1f2で操作して1つのターゲットチャット相手を選択してもよい。たとえば、チャット相手がシングルチャット相手である場合、当該シングルチャット相手のチャット会話にスタンプ12を送信してもよく、ページ1f3に示す通りであり、チャット相手がグループチャット相手である場合、グループチャット相手に対応するグループチャット会話にスタンプ12を送信してもよい。
以上から明らかなように、本願の実施例は画像に基づいてその出力画像を検索し、すなわち、画像によって出力画像を検索し(たとえば、スタンプによってスタンプを検索し)、出力画像の検索を実現する。ユーザーは文字情報を入力して画像を検索する必要がなく、画像の検索過程を簡略化し、画像の検索効率を向上させ、且つ、画像によって出力画像を検索し、文字によって画像を検索する方式に比べて、画像に含まれる情報がさらに豊かであり、ユーザーの検索ニーズ、たとえば、画像の内容、形式等をさらに表現でき、従って、ユーザーが望む出力画像をさらに正確に検索できる。
また、当該スキームはさらに複数の画像類似次元で出力画像を検索でき、検索した画像がさらに広範囲になり、且つユーザーのニーズに一致する確率を向上させ、従って、画像の検索範囲及び精度を向上させることができる。
一実施例では、さらに他の機器、たとえば、サーバをトリガーして複数の画像類似次元で入力画像と類似する出力画像を検索し、次に、他の機器、たとえば、サーバから検索した出力画像を取得するようにしてもよい。図2fは本願の別の実施例が提供する画像検索方法のフローチャートであり、当該画像検索方法はサーバ、たとえば、図1a中のサーバ120により実行される。具体的には、以下のステップを含む。
401:端末から送信される画像検索要求に基づいて、検索用の入力画像を決定する。
402:2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定する。
403:複数の画像類似次元で、入力画像と類似する少なくとも1つの出力画像を検索して獲得し、そのうち、各出力画像は少なくとも1つの画像類似次元で入力画像と類似する。
404:少なくとも1つの出力画像に応じて検索結果リストを生成する。
405:検索結果リストを端末に返信して、端末にインスタントメッセージングクライアントのインタフェースに表示させる。
そのうち、ステップ402~404の具体的な実現方式は、上記ステップ103~105と同じであり、ここでは詳細説明をしない。
以上の実施例で説明された方法について、以下、例をあげてさらに詳細に説明する。
本実施例では、当該第1画像検索装置は具体的には端末に集積され、第2画像検索装置は具体的にはサーバに集積されることを例に説明する。図3aに示すように、チャット対話画像方法は、図1aに示す端末110及びサーバ120に適用でき、具体的なプロセスは以下の通りである。
301:端末はインスタントメッセージングクライアントの内容検索ページを表示し、当該内容検索ページは画像検索コントロールを含む。
302:画像検索コントロールに対するユーザーのトリガー操作が検出された場合、端末はインスタントメッセージングクライアントの画像検索ページを表示し、当該画像検索ページは画像選択コントロールを含む。
303:画像選択コントロールに対するユーザーのトリガー操作が検出された場合、端末は画像選択ページを表示する。
304:端末は画像選択ページに対するユーザーの入力画像決定操作に基づいて、入力画像を決定する。
上記各ステップの具体的な実現方式は、上記実施例についての説明を参照できる。
また、たとえば、図3bに参照されるように、本願の実施例が提供するスタンプ検索システムのアーキテクチャであり、ユーザーが入力スタンプを選択する場合、端末のインスタントメッセージングクライアントはアクセス層、たとえば、アクセス層サーバに画像検索要求を送信し、当該アクセス層は画像検索要求を類似スタンプ検索サービスに転送してもよく、たとえば、類似スタンプ検索サーバに転送する。そのうち、画像検索要求には、入力画像、たとえば、スタンプが運ばれてもよく、一実施例では、画像検索効率を向上させるために、画像の画像識別子を利用して画像を表して画像検索を行うようにしてもよい。たとえば、インスタントメッセージングクライアントはアクセス層にスタンプ識別子(id)が運ばれた画像検索要求を送信してもよい。
305:サーバは端末から送信される画像検索要求に基づいて、検索用の入力画像を決定する。
たとえば、サーバは画像検索要求を解析し、入力画像又は入力画像の画像識別子、たとえば、検索対象のスタンプidを獲得するようにしてもよい。
306:サーバは入力画像の複数の画像類似次元での第1特徴情報を抽出する。
たとえば、図3bに参照されるように、特徴サービスモジュールを採用して入力スタンプの複数のスタンプ類似次元での特徴情報を抽出してもよい。そのうち、特徴サービスモジュールは他のサーバによって特徴サーバモジュールの機能を実現してもよく、又は特徴サービスモジュールはサーバのローカルサービスモジュールである。具体的には、画像類似次元の説明について、上記実施例の説明を参照できる。
たとえば、スタンプの類似次元又はシーンは、画像類似、意味類似、及び会話関係等の複数種ある。複数種のシーンのニーズを満たすために、複数の次元の特徴を抽出する必要があり、文字認識により得られたテキスト類特徴、スタンプTag認識のテキスト類特徴、及びベクトル類特徴(たとえば、ResNet、FaceNet等のモデルにより出力される多次元固有ベクトル)等を含む。
一実施例では、特徴抽出効率及び画像検索効率を向上させるために、いくつかの画像の特徴情報(オフライン特徴情報と呼ばれてもよい)を予め抽出し、且つデータベース(当該データベースはオフライン特徴ライブラリと呼ばれてもよい)に保存し、画像の検索時、データベースに入力画像が存在する場合、データベースから直接抽出するようにしてもよい。
具体的には、所定の特徴セットに入力画像が存在する場合、所定の特徴セットから入力画像に対応する複数の画像類似次元での特徴情報を抽出し、そのうち、所定の特徴セットは、所定の画像、及び所定の画像に対応する複数の画像類似次元での特徴情報を含む。
所定の特徴セットに入力画像が存在しない場合、入力画像に対して多次元特徴抽出を行い、入力画像の複数の画像類似次元での特徴情報を獲得する。そのうち、所定の特徴セットの表現形式はデータベース、たとえば、オフライン特徴ライブラリであってもよい。
一実施例では、複数の画像類似次元での特徴情報は、テキスト類特徴情報、及びベクトル類特徴情報を含んでもよく、所定の特徴セットに入力画像が存在しない場合、以下の方式を採用して特徴を抽出してもよい。
入力画像に対して文字認識を行い、文字認識結果を獲得し、且つ文字認識結果に応じて、入力画像の第1テキスト類特徴情報を構築し、
入力画像に対して画像分類を行い、画像分類結果を獲得し、且つ画像分類結果に応じて、入力画像の第2テキスト類特徴情報を構築し、
特徴抽出モデルに基づいて入力画像の固有ベクトルを抽出し、入力画像のベクトル類特徴を獲得する。
たとえば、図3bに参照されるように、オフライン特徴ライブラリ中のデータは定期的にデータサービスモジュールに更新されてオンライン使用に供し、特徴サービスモジュールは上記説明された特徴抽出方式に基づいて特徴を抽出する。たとえば、図3cに参照されるように、まず、入力スタンプがオフライン特徴ライブラリにヒットするか否か、すなわち、オフライン特徴ライブラリに入力スタンプの特徴情報が存在するか否かを検出する。YESである場合、オフライン特徴ライブラリから入力スタンプの複数のスタンプ類似次元でのオフライン特徴を抽出することを実行し、オフライン特徴ライブラリにヒットしない場合、入力スタンプ画像を取得し、それぞれ入力スタンプ画像に対してテキスト類特徴抽出、及びベクトル類特徴抽出等の多次元特徴抽出を行い、入力スタンプの多次元のオンライン特徴を獲得するようにしてもよい。
307:サーバは複数の画像類似次元での第1特徴情報に基づいて、入力画像と類似する出力画像を検索する。
検索した出力画像を組み合わせて出力画像セットを形成してもよく、出力画像セットは少なくとも1つの画像類似次元で入力画像と類似する出力画像を含む。
たとえば、サーバは各画像類似次元での特徴情報に基づいて、画像データベースにおいて入力画像と類似する画像を検索してもよい。そのうち、画像データベース、たとえば、スタンプライブラリは、ユーザーに提供できる複数の画像、たとえば、スタンプを含んでもよい。
一実施例では、出力画像検索の精度及び豊かさを向上させるために、さらにオンライン出力画像を補充してもよく、たとえば、いくつかの画像の出力画像、たとえば、出力画像リストを予め設定し、且つ出力画像データベースに保存し、出力画像を検索する時、出力画像データベースにおいて出力画像を検索し、検索結果を補充するようにしてもよい。
具体的には、各画像類似次元での第1特徴情報に基づいて、入力画像と類似する出力画像を検索し、第1出力画像サブセットを獲得し、第1出力画像サブセットは少なくとも1つの画像類似次元で入力画像と類似する出力画像を含み、出力画像マッピング関係セットに基づいて、入力画像に対応する所定の出力画像を取得し、第2出力画像サブセットを獲得し、そのうち、出力画像マッピング関係セットは入力画像と所定の出力画像との間のマッピング関係を含み、第1出力画像サブセット及び第2出力画像サブセットをまとめて、出力画像セットを獲得する。
そのうち、出力画像マッピング関係セットはデータベースに保存されてもよく、当該データベースは出力画像ライブラリ、たとえば、出力スタンプライブラリと呼ばれてもよい。
たとえば、図3bに参照されるように、特徴サービスモジュールがスタンプの複数の次元特徴情報を抽出した後、リコールサービスモジュールは抽出した複数の次元特徴情報に応じて検索する時、出力スタンプをリコールしてもよい。具体的には、図3dに参照されるように、類似スタンプライブラリにおいて出力スタンプを検索してもよく、類似スタンプライブラリはオフラインで計算された類似スタンプリストであり、複数種の次元の類似情報をマイニングしており、オンラインリコール結果の補充であり、テキスト類特徴に応じてスタンプライブラリにおいて出力スタンプを検索し(すなわち、テキストリコール)、たとえば、テキスト検索エンジンによってテキストリコールを実現し、ベクトル類特徴に応じてスタンプライブラリにおいて出力スタンプを検索し(すなわち、ベクトルリコール)、たとえば、ベクトル検索エンジンによってベクトルリコールを実現してもよく、次に、複数のリコールした出力スタンプをまとめて、検索した出力スタンプセットを獲得する。
一実施例では、画像類似次元での特徴情報に基づいて画像データベースにおいて出力画像を検索する実現方式は複数種あり、たとえば、各画像類似次元に対して、前記入力画像の当該画像類似次元での第1特徴情報を抽出し、画像データベース中の各候補画像の当該画像類似次元での第2特徴情報を取得し、前記第1特徴情報と各第2特徴情報との間の類似度をそれぞれ計算し、計算した各類似度に応じて、前記画像データベースにおける、当該画像類似次元で前記入力画像と類似する候補画像を前記出力画像として決定することを含んでもよい。たとえば、画像データベースにおける、類似度が所定の類似閾値よりも大きい画像を入力画像の出力画像として選択する。
308:サーバは各出力画像の第3特徴情報を抽出する。
そのうち、出力画像の第3特徴情報は出力画像の1つ又は複数の画像類似次元での特徴情報を含んでもよい。
たとえば、サーバは所定の特徴セットから出力画像の特徴情報を抽出してもよい。たとえば、オフライン特徴ライブラリから類似次元での出力画像を抽出してもよい。
309:サーバは第3特徴情報に応じて、各出力画像をソートし、ソート結果に応じて検索結果リストを獲得する。
たとえば、図3b及び図3eに参照されるように、リコールサービスモジュールが複数のリコールした出力スタンプを得た後、ソートサービスモジュールは複数のリコールした出力スタンプをソートしてもよい。たとえば、オフライン特徴ライブラリから出力スタンプのオフライン特徴情報(複数の画像類似次元でのオフライン特徴情報)を抽出し、次に、スタンプの重複排除を行い、出力スタンプの複数の画像類似次元でのオフライン特徴情報に基づいて、リコールした出力スタンプをソートし、たとえば、各種のスタンプを統合してスコアリング及びソートを行うようにしてもよい。
本願の実施例は、検索した出力画像の多次元特徴情報に基づいて、検索した出力画像をソートでき、出力画像の多次元特徴情報をソートすることで、画像類似次元に対するユーザーのニーズを表現でき、すなわち、ユーザーが入力画像と次元で類似する出力画像を求めており、それにより、ユーザーのニーズを満たす出力画像が上位にソートされ、出力画像の検索精度を向上させる。
たとえば、1種の出力スタンプの使用シーンでは、グループチャットでみんながある事に対して祝賀、感謝、同意を示す場合、みんなと同じスタンプを送信することによる恥ずかしさを回避し、他人に、この事について自分が適当ではなく真剣に向き合っていると感じさせる。たとえば、グループの誰かが誕生日を祝う場合、みんなはいずれもお誕生日おめでとうのスタンプを送信しているが、お誕生日おめでとうのスタンプは一般的に使用されておらず、ユーザーがお気に入りしたスタンプは比較的少ない可能性があり、この前のチャットで送信したスタンプを送信すると、とても適当な感じがしてしまうので、ユーザーは異なるスタンプを探して相手に送信する必要がある。本願の実施例が提供する方法によって、ハッピーバースデースタンプ検索結果を獲得することができることは、図4aにおいて参照される。図4aにおいて、当該使用シーンでは、ユーザーはスタンプの文字内容を重要視し、「お誕生日おめでとう」の出力スタンプを検索することを望み、従って、本願の実施例の方法を採用して出力スタンプリストを検索した後、スタンプの多次元特徴、たとえば、文字類特徴を出力し、リスト中の出力スタンプをソートし、「お誕生日おめでとう」の文字を含むスタンプを他の類似スタンプよりもリストの上位にソートするようにしてもよい。
別の出力スタンプの使用シーンでは、ユーザーが1つのスタンプを見ると、スタンプ自体がとても好きであり、より多くの類似するスタンプを探そうとする場合、出力スタンプはそれに近い好きなスタンプを迅速に見つけることを助けることができる。たとえば、ユーザーが「XXベイビー」のスタンプを受信し、より多くの「XXベイビー」に関連するスタンプを取得しようとする場合、検索によって複数の類似する出力スタンプを迅速に獲得することができ、ユーザーが文字を入力して検索を行う必要はない。
たとえば、図4bでは、当該使用シーンでは、ユーザーはスタンプのキャラクターロールを重要視し、キャラクターロールが「XXベイビー」の出力スタンプを検索することを望む。従って、本願の実施例の方法を採用して出力スタンプリストを検索した後、スタンプの多次元特徴、たとえば、文字類特徴(スタンプtag特徴)を出力し、リスト中の出力スタンプをソートし、キャラクターロールが「XXベイビー」のスタンプを他の出力スタンプよりもリストの上位にソートするようにしてもよい。
別の出力スタンプの使用シーンでは、ユーザーは1つのスタンプを受信する場合、出力スタンプとして面白いスタンプフィードバック結果を提供し、チャット中のスタンプ送信の楽しさを増やすことを望む。たとえば、ユーザーは1つの「おまえ、病気あるのか」のスタンプを受信する場合、出力スタンプとして「おまえこそ、病気あるのか」、「おまえ、薬あるのか」等の争いの意味に富んだスタンプを提供して相手に送信し、チャットの楽しさを増やすようにしてもよい。
たとえば、図4cでは、当該使用シーンでは、ユーザーはスタンプの会話関係を重要視し、入力スタンプと会話関係を有する出力スタンプを検索することを望む。従って、本願の実施例の方法を採用して出力スタンプリストを検索した後、スタンプの多次元特徴、たとえば、文字類特徴、及びベクトル類特徴等を出力し、リスト中の出力スタンプをソートし、入力スタンプと会話関係を有する出力スタンプを他の出力スタンプのため、リストの上位にソートする。
310:サーバは端末にソート後の検索結果リストを送信する。
一実施例では、サーバは端末側で表示される必要がある画像数に応じて、ソート後の出力画像セットから対応する数の画像を選択して端末に送信してもよい。
311:端末は検索結果リストを表示する。
以上から明らかなように、本願の実施例は画像に基づいてその出力画像を検索できる。すなわち、画像によって出力画像を検索し(たとえば、スタンプによってスタンプを検索し)、類似チャット画像の検索を実現する。また、ユーザーは文字情報を入力して画像を検索する必要がなく、画像の検索過程を簡略化し、画像の検索効率を向上させ、且つ、画像によって出力画像を検索し、文字によって画像を検索する方式に比べて、画像に含まれる情報がさらに豊かであり、ユーザーの検索ニーズ、たとえば、画像内容、形式等をさらに表現でき、従って、ユーザーが望む出力画像をさらに正確に検索できる。
また、当該スキームはさらに複数の画像類似次元で出力画像を検索でき、検索した画像がさらに広範囲になり、且つユーザーのニーズに一致する確率を向上させ、従って、画像の検索範囲及び精度を向上させることができる。
以上の方法をよりよく実施するために、同様に、本願の実施例はさらに画像検索装置(すなわち、第1画像検索装置)を提供し、そのうち、当該第1画像検索装置は端末に集積されてもよい。たとえば、図5aに示すように、当該画像検索装置500は図1aに示す端末110に適用でき、第1表示ユニット501、決定ユニット502、設定ユニット503、検索ユニット504、生成ユニット505、及び第2表示ユニット506を含み、上記第1表示ユニット501は、クライアントの画像選択ページを表示することに用いられ、上記決定ユニット502は、ユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定することに用いられ、上記設定ユニット503は、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定することに用いられ、上記検索ユニット504は、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得することに用いられ、そのうち、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似し、上記生成ユニット505は、前記少なくとも1つの出力画像に応じて検索結果リストを生成することに用いられ、上記第2表示ユニット506は、前記検索結果リストを表示することに用いられる。
一実施例では、設定ユニット503は、前記インスタントメッセージングクライアントに使用される複数のチャット対話画像を予め取得し、前記複数のチャット対話画像に含まれる情報に対して階層化を行い、前記複数の画像類似次元を文字内容次元、意味次元、ロール次元、動き次元、及び会話関係次元のうちの任意のいくつかに設定することに用いられる。
一実施例では、第1表示ユニット501はさらに、前記インスタントメッセージングクライアントの検索待機ページに前記入力画像及び検索結果ロードアイコンを表示することに用いられ、第2表示ユニット506は、検索が成功した場合、前記インスタントメッセージングクライアントの検索結果ページに前記検索結果リストを表示することに用いられる。
一実施例では、第1表示ユニット501はさらに、前記インスタントメッセージングクライアントのチャット会話リストページを表示し、前記チャット会話リストページは内容検索コントロールを含み、前記内容検索コントロールに対するユーザーのトリガー操作が検出された場合、前記内容検索ページを表示することに用いられる。
一実施例では、第1表示ユニット501はさらに、前記インスタントメッセージングクライアントの機能ページを表示し、前記機能ページは検索機能コントロールを含み、前記検索機能コントロールに対するユーザーのトリガー操作が検出された場合、前記内容検索ページを表示することに用いられる。
一実施例では、検索ユニット504は、各画像類似次元に対して、以下の処理を実行することに用いられる。前記入力画像の当該画像類似次元での第1特徴情報を抽出し、画像データベース中の各候補画像の当該画像類似次元での第2特徴情報を取得し、前記第1特徴情報と各第2特徴情報との間の類似度をそれぞれ計算し、計算した各類似度に応じて、前記画像データベースにおける、当該画像類似次元で前記入力画像と類似する候補画像を前記出力画像として決定する。
一実施例では、特徴情報はテキスト類特徴情報及び/又はベクトル類特徴情報を含む。
一実施例では、生成ユニット505は、各出力画像の第3特徴情報を抽出し、前記第3特徴情報に応じて各出力画像をソートし、ソート結果に応じて前記検索結果リストを獲得することに用いられる。
一実施例では、第2表示ユニット506はさらに、前記検索結果リスト中のターゲット出力画像に対するユーザーの決定操作が検出された場合、前記ターゲット出力画像の画像操作ページを表示し、前記画像操作ページは画像追加コントロールを含み、前記画像追加コントロールに対するユーザーの追加操作が検出された場合、ターゲット出力画像を前記インスタントメッセージングクライアントのチャット画像ライブラリに追加することに用いられる。
図5bに示す実施例では、画像検索装置500はさらに、第3表示ユニット507、第4表示ユニット508、ユーザーインタフェースユニット509、及び送信ユニット510を含み、上記第3表示ユニット507は、前記検索結果リスト中のターゲット出力画像に対するユーザーの決定操作が検出された場合、前記ターゲット出力画像の画像操作ページを表示することに用いられ、前記画像操作ページは画像送信コントロールを含み、上記第4表示ユニット508は、前記画像送信コントロールに対するユーザーの画像送信操作が検出された場合、候補オブジェクトリストを表示することに用いられ、前記候補オブジェクトリストは少なくとも1つの候補チャット相手を含み、上記ユーザーインタフェースユニット509は、ユーザーが前記候補オブジェクトリストから選択したターゲットチャット相手を取得することに用いられ、上記送信ユニット510は、前記ターゲットチャット相手に前記ターゲット出力画像を送信することに用いられる。
以上の方法をよりよく実施するために、同様に、本願の実施例はさらに画像検索装置(すなわち、第2画像検索装置)を提供し、そのうち、当該第2画像検索装置はサーバに集積されてもよい。たとえば、図6aに示すように、当該画像検索装置600は図1a中のサーバ120に適用でき、決定ユニット601、設定ユニット602、検索ユニット603、生成ユニット604、及び送信ユニット605を含み、上記決定ユニット601は、端末から送信される画像検索要求に基づいて、入力画像を決定することに用いられ、上記設定ユニット602は、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定することに用いられ、上記検索ユニット603は、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得することに用いられ、そのうち、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似し、上記生成ユニット604は、前記少なくとも1つの出力画像に応じて検索結果リストを生成することに用いられ、上記送信ユニット605は、前記検索結果リストを前記端末に返信して、前記端末にインスタントメッセージングクライアントのインタフェースに表示させることに用いられる。
一実施例では、生成ユニット604は、抽出サブユニット6041、及びソートサブユニット6042を含み、上記抽出サブユニット6041は、各出力画像の第3特徴情報を抽出することに用いられ、上記ソートサブユニット6042は、前記第3特徴情報に応じて各出力画像をソートし、ソート結果に応じて前記検索結果リストを獲得することに用いられる。
また、本願の実施例はさらにコンピュータ機器を提供し、当該コンピュータ機器は端末又はサーバであってもよい。図7に示すように、それは本願の実施例に係るコンピュータ機器の構造模式図を示し、具体的には、当該コンピュータ機器は1つ又は1つ以上の処理コアのプロセッサ701、1つ又は1つ以上のコンピュータ可読記憶媒体のメモリ702、電源703及び入力ユニット704等の部材を含んでもよい。当業者であれば理解できるように、図7に示すコンピュータ機器の構造はコンピュータ機器を限定するものではなく、図示よりも多い又は少ない部材を含み、又はいくつかの部材を組み合わせたり、異なる部材配置としたりするようにしてもよい。そのうち、プロセッサ701は当該コンピュータ機器の制御センターであり、各種のインタフェース及び配線を利用してコンピュータ機器全体の各部分を接続し、メモリ702に記憶されるソフトウェアプログラム及び/又はモジュールを演算又は実行し、及びメモリ702に記憶されるデータを呼び出すことによって、コンピュータ機器の各種の機能及びデータ処理を実行し、それによりコンピュータ機器全体を監視する。選択可能に、プロセッサ701は1つ又は複数の処理コアを含んでもよく、好適には、プロセッサ701はアプリケーションプロセッサと変調復調プロセッサを集積してもよく、そのうち、アプリケーションプロセッサは主にオペレーティングシステム、ユーザーインタフェース及びアプリケーションプログラム等を処理し、変調復調プロセッサは主に無線通信を処理する。理解できるように、上記変調復調プロセッサはプロセッサ701に集積しなくてもよい。
メモリ702はソフトウェアプログラム及びモジュールを記憶することに用いられてもよく、プロセッサ701はメモリ702に記憶されるソフトウェアプログラム及びモジュールを演算し、それにより各種の機能アプリケーション及びデータ処理を実行する。メモリ702は主にプログラム記憶領域及びデータ記憶領域を含んでもよく、そのうち、プログラム記憶領域はオペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラム(たとえば、声音再生機能、及び画像再生機能等)等を記憶してもよく、データ記憶領域はコンピュータ機器の使用に応じて作成されたデータ等を記憶してもよい。また、メモリ702は高速ランダムアクセスメモリを含んでもよく、さらに不揮発性メモリ、たとえば、少なくとも1つの磁気ディスクストレージ装置、フラッシュデバイス、又は他の揮発性ソリッドステートストレージ装置を含んでもよい。同様に、メモリ702はさらにメモリコントローラを含んでもよく、それによりメモリ702に対するプロセッサ701のアクセスを提供する。
コンピュータ機器はさらに各部材に給電する電源703を含み、好適には、電源703は電源管理システムによってプロセッサ701に論理的に接続されてもよく、それにより電源管理システムによって充電、放電管理、及び電力管理等の機能を実現する。電源703はさらに1つ又は1つ以上の直流又は交流電源、再充電システム、電源故障検出回路、電源変換器又はインバーター、及び電源状態インジケーター等の任意のユニットを含んでもよい。
当該コンピュータ機器はさらに入力ユニット704を含んでもよく、当該入力ユニット704は入力された数字又は文字情報を受信し、及びユーザー設定及び機能制御に関連するキーボード、マウス、ジョイスティック、光学又はトラックボールの信号入力を生成することに用いられてもよい。
図示していないが、コンピュータ機器はさらに表示ユニット等を含んでもよく、ここでは詳細説明をしない。具体的には、本実施例では、コンピュータ機器中のプロセッサ701は以下の命令に従って、1つ又は1つ以上のアプリケーションプログラムのプロセスに対応する実行ファイルをメモリ702にロードし、且つプロセッサ701によってメモリ702に記憶されるアプリケーションプログラムを演算し、それにより各種の機能を実現する。
以上の各操作の具体的な実施は上記実施例を参照でき、ここでは詳細説明をしない。
当業者であれば理解できるように、上記実施例の各種の方法のすべて又は一部のステップは命令によって完了され、又は命令によって関連ハードウェアを制御して完了されるようにしてもよく、当該命令はコンピュータ可読記憶媒体に記憶されてもよく、且つプロセッサによってロード及び実行される。
このために、本願の実施例はさらに記憶媒体を提供し、それに複数の命令が記憶され、当該命令がプロセッサによってロード可能であり、それにより本願の実施例が提供するいずれかの画像検索方法のステップを実行する。
そのうち、当該記憶媒体は、読み出し専用メモリ(ROM、Read Only Memory)、ランダムアクセスメモリバンク(RAM、Random Access Memory)、磁気ディスク又は光ディスク等を含んでもよい。
当該記憶媒体に記憶される命令は本願の実施例が提供するいずれかの画像検索方法のステップを実行できる。従って、本願の実施例が提供するいずれかの画像検索方法によって実現される有益な効果を実現でき、詳細は上記実施例を参照できるため、ここでは詳細説明をしない。
以上、本願の実施例が提供する画像検索方法、装置、コンピュータ機器及び記憶媒体を詳細に説明し、本願では具体例を応用して本願の原理及び実施形態を説明したが、以上の実施例の説明は単に本願の方法及びそのコア思想を理解することを助けるためのものである。また、当業者は本願の思想に基づいて、特定の実施形態及び適用範囲に対して変更を行うことができ、以上のように、本明細書の内容は本願を限定するものではないと理解すべきである。
100 画像検索システム
110 端末
111 画像検索装置
120 サーバ
500 画像検索装置
501 第1表示ユニット
502 決定ユニット
503 設定ユニット
504 検索ユニット
505 生成ユニット
506 第2表示ユニット
507 第3表示ユニット
508 第4表示ユニット
509 ユーザーインタフェースユニット
510 送信ユニット
600 画像検索装置
601 決定ユニット
602 設定ユニット
603 検索ユニット
604 生成ユニット
605 送信ユニット
701 プロセッサ
702 メモリ
703 電源
704 入力ユニット

Claims (29)

  1. 画像検索方法であって、端末により実行され、
    インスタントメッセージングクライアントの画像選択ページを表示するステップ、
    ユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップ、
    2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップ、
    前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップであって、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似する、ステップ、及び、
    前記少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示するステップ、を含むことを特徴とする画像検索方法。
  2. 前記画像選択ページは候補画像リストを含み、前記候補画像リストは少なくとも1つの候補画像を含み、
    前記したユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップは、
    前記候補画像リスト中の候補画像に対するユーザーの画像選択操作が検出された場合、ユーザーが選択した候補画像を前記入力画像として決定するステップを含む請求項1に記載の画像検索方法。
  3. 前記画像選択ページは画像撮影コントロールを含み、
    前記したユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップは、
    前記画像撮影コントロールに対するユーザーのトリガー操作が検出された場合、画像撮影ページを表示するステップ、
    前記画像撮影ページに対するユーザーの撮影操作に基づいて、撮影結果ページを表示するステップであって、前記撮影結果ページは撮影結果画像、及び画像確認コントロールを含む、ステップ、及び
    前記画像確認コントロールに対するユーザーの確認操作が検出された場合、前記撮影結果画像を前記入力画像として決定するステップを含む請求項1に記載の画像検索方法。
  4. 前記画像選択ページは写真選択コントロールを含み、
    前記したユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップは、
    前記写真選択コントロールに対するユーザーのトリガー操作が検出された場合、写真選択ページを表示するステップであって、前記写真選択ページはローカルアルバム中の少なくとも1枚の写真を含む、ステップ、
    前記写真選択ページに対するユーザーの写真選択操作に基づいて、前記写真選択ページでユーザーが選択した写真をマークし、且つ写真確認ページを表示するステップであって、前記写真確認ページは写真確認コントロールを含む、ステップ、及び
    写真確認コントロールに対するユーザーの確認操作が検出された場合、ユーザーが選択した写真を前記入力画像として決定するステップを含む請求項1に記載の画像検索方法。
  5. 前記画像選択ページは音声選択コントロールを含み、
    前記したユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップは、
    前記音声選択コントロールに対するユーザーのトリガー操作が検出された場合、音声入力ページを表示するステップであって、前記音声入力ページは音声入力コントロールを含む、ステップ、
    前記音声入力コントロールに対するユーザーの音声入力操作が検出された場合、ユーザーが入力した音声情報を収集するステップ、
    前記音声入力コントロールに対するユーザーの音声入力終了操作が検出された場合、前記音声情報にマッチングする候補画像を表示するステップ、及び
    候補画像に対するユーザーの選択操作が検出された場合、ユーザーが選択した候補画像を前記入力画像として決定するステップを含む請求項1に記載の画像検索方法。
  6. 前記画像選択ページは画像レンダリングコントロールを含み、
    前記したユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定するステップは、
    前記画像レンダリングコントロールに対するユーザーのトリガー操作が検出された場合、画像レンダリングページを表示するステップであって、前記画像レンダリングページは画像レンダリング領域、及びレンダリング画像確認コントロールを含む、ステップ、
    前記画像レンダリング領域内でのユーザーのレンダリング操作に基づいて、前記画像レンダリングページにユーザーがレンダリングした画像を表示するステップ、及び
    前記レンダリング画像確認コントロールに対する確認操作が検出された場合、ユーザーがレンダリングした画像を前記入力画像として決定するステップを含む請求項1に記載の画像検索方法。
  7. 前記した2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップは、
    前記インスタントメッセージングクライアントに使用される複数のチャット対話画像を予め取得するステップ、及び
    前記複数のチャット対話画像に含まれる情報に対して階層化を行い、前記複数の画像類似次元を文字内容次元、意味次元、ロール次元、動き次元、及び会話関係次元のうちの任意のいくつかに設定するステップを含む請求項1に記載の画像検索方法。
  8. さらに、
    前記インスタントメッセージングクライアントの検索待機ページに前記入力画像及び検索結果ロードアイコンを表示するステップを含み、
    前記した前記少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示するステップは、
    検索が成功した場合、前記インスタントメッセージングクライアントの検索結果ページに前記検索結果リストを表示するステップを含む請求項1に記載の画像検索方法。
  9. さらに、
    前記インスタントメッセージングクライアントの内容検索ページを表示するステップであって、前記内容検索ページは画像検索コントロールを含む、ステップ、及び
    前記画像検索コントロールに対するユーザーのトリガー操作が検出された場合、前記インスタントメッセージングクライアントの画像検索ページを表示するステップであって、前記画像検索ページは画像選択コントロールを含む、ステップを含み、
    前記したインスタントメッセージングクライアントの画像選択ページを表示するステップは、
    前記画像選択コントロールに対するユーザーのトリガー操作が検出された場合、前記画像選択ページを表示するステップを含む請求項1に記載の画像検索方法。
  10. さらに、
    前記インスタントメッセージングクライアントのチャット会話リストページを表示し、前記チャット会話リストページは内容検索コントロールを含むステップ、及び
    前記内容検索コントロールに対するユーザーのトリガー操作が検出された場合、前記内容検索ページを表示するステップを含む請求項9に記載の画像検索方法。
  11. さらに、
    前記インスタントメッセージングクライアントの機能ページを表示するステップであって、前記機能ページは検索機能コントロールを含む、ステップ、及び
    前記検索機能コントロールに対するユーザーのトリガー操作が検出された場合、前記内容検索ページを表示するステップを含む請求項9に記載の画像検索方法。
  12. 前記した前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップは、
    各画像類似次元に対して、
    前記入力画像の当該画像類似次元での第1特徴情報を抽出する処理、
    画像データベース中の各候補画像の当該画像類似次元での第2特徴情報を取得する処理、
    前記第1特徴情報と各第2特徴情報との間の類似度をそれぞれ計算する処理、及び
    計算した各類似度に応じて、前記画像データベースにおける、当該画像類似次元で前記入力画像と類似する候補画像を前記出力画像として決定する処理を実行するステップを含む請求項1に記載の画像検索方法。
  13. 特徴情報はテキスト類特徴情報及び/又はベクトル類特徴情報を含む請求項12に記載の画像検索方法。
  14. 前記した前記少なくとも1つの出力画像に応じて検索結果リストを生成し且つ表示するステップは、
    各出力画像の第3特徴情報を抽出するステップ、及び
    前記第3特徴情報に応じて各出力画像をソートし、ソート結果に応じて前記検索結果リストを獲得するステップを含む請求項1に記載の画像検索方法。
  15. さらに、
    前記検索結果リスト中のターゲット出力画像に対するユーザーの決定操作が検出された場合、前記ターゲット出力画像の画像操作ページを表示するステップであって、前記画像操作ページは画像追加コントロールを含む、ステップ、及び
    前記画像追加コントロールに対するユーザーの追加操作が検出された場合、ターゲット出力画像を前記インスタントメッセージングクライアントのチャット画像ライブラリに追加するステップを含む請求項1~14のいずれか一項に記載の画像検索方法。
  16. さらに、
    前記検索結果リスト中のターゲット出力画像に対するユーザーの決定操作が検出された場合、前記ターゲット出力画像の画像操作ページを表示するステップであって、前記画像操作ページは画像送信コントロールを含む、ステップ、
    前記画像送信コントロールに対するユーザーの画像送信操作が検出された場合、候補オブジェクトリストを表示するステップであって、前記候補オブジェクトリストは少なくとも1つの候補チャット相手を含む、ステップ、
    ユーザーが前記候補オブジェクトリストから選択したターゲットチャット相手を取得するステップ、及び
    前記ターゲットチャット相手に前記ターゲット出力画像を送信するステップを含む請求項1~14のいずれか一項に記載の画像検索方法。
  17. 画像検索方法であって、サーバにより実行され、
    端末から送信される画像検索要求に基づいて、検索用の入力画像を決定するステップ、
    2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップ、
    前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップであって、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似する、ステップ、
    前記少なくとも1つの出力画像に応じて検索結果リストを生成するステップ、及び、
    前記検索結果リストを前記端末に返信して、前記端末にインスタントメッセージングクライアントのインタフェースに表示させるステップを含むことを特徴とする画像検索方法。
  18. 前記した2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定するステップは、
    前記インスタントメッセージングクライアントに使用される複数のチャット対話画像を予め取得するステップ、及び
    前記複数のチャット対話画像に含まれる情報に対して階層化を行い、前記複数の画像類似次元を文字内容次元、意味次元、ロール次元、動き次元、及び会話関係次元のうちの任意のいくつかに設定するステップを含む請求項17に記載の画像検索方法。
  19. 前記した前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得するステップは、
    各画像類似次元に対して、
    前記入力画像の当該画像類似次元での第1特徴情報を抽出するステップ、
    画像データベース中の各候補画像の当該画像類似次元での第2特徴情報を取得するステップ、
    前記第1特徴情報と各第2特徴情報との間の類似度をそれぞれ計算するステップ、及び
    計算した各類似度に応じて、前記画像データベースにおける、当該画像類似次元で前記入力画像と類似する候補画像を前記出力画像として決定するステップ、の処理を実行するステップを含む請求項17に記載の画像検索方法。
  20. 前記した各画像類似次元に対して、前記入力画像の当該画像類似次元での第1特徴情報を抽出するステップは、
    前記入力画像に対して文字認識を行い、文字認識結果を獲得し、且つ前記文字認識結果に応じて、前記入力画像の第1テキスト類特徴情報を構築するステップ、
    前記入力画像に対して画像分類を行い、画像分類結果を獲得し、且つ前記画像分類結果に応じて、前記入力画像の第2テキスト類特徴情報を構築するステップ、及び
    特徴抽出モデルに基づいて前記入力画像の固有ベクトルを抽出し、前記入力画像のベクトル類特徴を獲得するステップを含む請求項19に記載の画像検索方法。
  21. 前記した前記少なくとも1つの出力画像に応じて検索結果リストを生成するステップは、
    各出力画像の第3特徴情報を抽出するステップ、及び
    前記第3特徴情報に応じて各出力画像をソートし、ソート結果に応じて前記検索結果リストを獲得するステップを含む請求項17に記載の画像検索方法。
  22. 画像検索装置であって、第1表示ユニット、決定ユニット、設定ユニット、検索ユニット、生成ユニット、及び第2表示ユニットを含み、
    前記第1表示ユニットは、インスタントメッセージングクライアントの画像選択ページを表示することに用いられ、
    前記決定ユニットは、ユーザーが前記画像選択ページで行った操作に基づいて、検索用の入力画像を決定することに用いられ、
    前記設定ユニットは、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定することに用いられ、
    前記検索ユニットは、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得することに用いられ、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似し、
    前記生成ユニットは、前記少なくとも1つの出力画像に応じて検索結果リストを生成することに用いられ、
    前記第2表示ユニットは、前記検索結果リストを表示することに用いられることを特徴とする画像検索装置。
  23. 前記設定ユニットは、前記インスタントメッセージングクライアントに使用される複数のチャット対話画像を予め取得し、前記複数のチャット対話画像に含まれる情報に対して階層化を行い、前記複数の画像類似次元を文字内容次元、意味次元、ロール次元、動き次元、及び会話関係次元のうちの任意のいくつかに設定することに用いられる請求項22に記載の画像検索装置。
  24. 前記検索ユニットは、各画像類似次元に対して、前記入力画像の当該画像類似次元での第1特徴情報を抽出する処理、画像データベース中の各候補画像の当該画像類似次元での第2特徴情報を取得する処理、前記第1特徴情報と各第2特徴情報との間の類似度をそれぞれ計算する処理、及び計算した各類似度に応じて、前記画像データベースにおける、当該画像類似次元で前記入力画像と類似する候補画像を前記出力画像として決定する処理を実行することに用いられる請求項22に記載の画像検索装置。
  25. さらに第3表示ユニット、第4表示ユニット、ユーザーインタフェースユニット、及び送信ユニットを含み、
    前記第3表示ユニットは、前記検索結果リスト中のターゲット出力画像に対するユーザーの決定操作が検出された場合、前記ターゲット出力画像の画像操作ページを表示することに用いられ、前記画像操作ページは画像送信コントロールを含み、
    前記第4表示ユニットは、前記画像送信コントロールに対するユーザーの画像送信操作が検出された場合、候補オブジェクトリストを表示することに用いられ、前記候補オブジェクトリストは少なくとも1つの候補チャット相手を含み、
    前記ユーザーインタフェースユニットは、ユーザーが前記候補オブジェクトリストから選択したターゲットチャット相手を取得することに用いられ、
    前記送信ユニットは、前記ターゲットチャット相手に前記ターゲット出力画像を送信することに用いられる請求項22~24のいずれか一項に記載の画像検索装置。
  26. 画像検索装置であって、決定ユニット、設定ユニット、検索ユニット、生成ユニット、及び送信ユニットを含み、
    前記決定ユニットは、端末から送信される画像検索要求に基づいて、入力画像を決定することに用いられ、
    前記設定ユニットは、2つのチャット対話画像間の類似するレベルに応じて、複数の画像類似次元を予め設定することに用いられ、
    前記検索ユニットは、前記複数の画像類似次元で、前記入力画像と類似する少なくとも1つの出力画像を検索して獲得することに用いられ、各出力画像は少なくとも1つの画像類似次元で前記入力画像と類似し、
    前記生成ユニットは、前記少なくとも1つの出力画像に応じて検索結果リストを生成することに用いられ、
    前記送信ユニットは、前記検索結果リストを前記端末に返信して、前記端末にインスタントメッセージングクライアントのインタフェースに表示させることに用いられることを特徴とする画像検索装置。
  27. 前記生成ユニットは、抽出サブユニット、及びソートサブユニットを含み、
    前記抽出サブユニットは、各出力画像の第3特徴情報を抽出することに用いられ、
    前記ソートサブユニットは、前記第3特徴情報に応じて各出力画像をソートし、ソート結果に応じて前記検索結果リストを獲得することに用いられる請求項26に記載の画像検索装置。
  28. それにコンピュータプログラムが記憶された記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行されると、請求項1~21のいずれか一項に記載の方法のステップを実現することを特徴とする記憶媒体。
  29. コンピュータ機器であって、メモリ、プロセッサ、及びメモリに記憶され且つプロセッサにおいて演算可能なコンピュータプログラムを含み、前記プロセッサが前記プログラムを実行すると、請求項1~21のいずれか一項に記載の方法のステップを実現することを特徴とするコンピュータ機器。
JP2023101084A 2019-06-12 2023-06-20 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム Pending JP2023126241A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201910507945.5A CN110263197B (zh) 2019-06-12 2019-06-12 一种图像搜索方法、装置、计算机设备和存储介质
CN201910507945.5 2019-06-12
PCT/CN2020/095240 WO2020248985A1 (zh) 2019-06-12 2020-06-10 图像搜索方法、装置、计算机设备和存储介质
JP2021539359A JP7301977B2 (ja) 2019-06-12 2020-06-10 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021539359A Division JP7301977B2 (ja) 2019-06-12 2020-06-10 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2023126241A true JP2023126241A (ja) 2023-09-07

Family

ID=67917824

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021539359A Active JP7301977B2 (ja) 2019-06-12 2020-06-10 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム
JP2023101084A Pending JP2023126241A (ja) 2019-06-12 2023-06-20 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021539359A Active JP7301977B2 (ja) 2019-06-12 2020-06-10 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム

Country Status (4)

Country Link
US (1) US20210397645A1 (ja)
JP (2) JP7301977B2 (ja)
CN (1) CN110263197B (ja)
WO (1) WO2020248985A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263197B (zh) * 2019-06-12 2023-11-28 腾讯科技(深圳)有限公司 一种图像搜索方法、装置、计算机设备和存储介质
CN111147356A (zh) * 2019-12-30 2020-05-12 上海连尚网络科技有限公司 信息处理方法和装置
CN111209425A (zh) * 2020-01-06 2020-05-29 闻泰通讯股份有限公司 图像搜索方法、装置、电子设备及计算机可读存储介质
CN111240558A (zh) * 2020-01-20 2020-06-05 腾讯科技(深圳)有限公司 一种信息搜索方法、装置、终端及存储介质
CN112308016B (zh) * 2020-11-19 2024-02-27 网易(杭州)网络有限公司 表情图像获取方法、装置、电子设备及存储介质
CN114647349A (zh) * 2020-12-17 2022-06-21 中移(苏州)软件技术有限公司 表情信息选取方法及装置、电子设备及存储介质
CN114979452B (zh) * 2021-02-20 2024-01-23 北京字跳网络技术有限公司 拍摄方法、装置、电子设备和存储介质
CN112818193A (zh) * 2021-02-26 2021-05-18 拉扎斯网络科技(上海)有限公司 历史浏览数据的展示方法及装置
US20230334697A1 (en) * 2022-04-13 2023-10-19 Nvidia Corporation 3d environment reconstruction for persistent object tracking

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7707218B2 (en) * 2004-04-16 2010-04-27 Mobot, Inc. Mobile query system and method based on visual cues
CN101877012B (zh) * 2010-07-28 2012-06-20 刘捷 在互联网上搜索图片及局部相似图片的方法
CN102411582B (zh) 2010-09-21 2016-04-27 腾讯科技(深圳)有限公司 图片搜索方法、装置及客户端
JP5699681B2 (ja) * 2011-02-25 2015-04-15 セイコーエプソン株式会社 表示制御方法、表示装置および電子機器
US20170039198A1 (en) * 2014-05-15 2017-02-09 Sentient Technologies (Barbados) Limited Visual interactive search, scalable bandit-based visual interactive search and ranking for visual interactive search
US10311341B1 (en) * 2015-08-27 2019-06-04 Hrl Laboratories, Llc System and method for online deep learning in an ultra-low power consumption state
CN105868299A (zh) * 2016-03-23 2016-08-17 深圳码隆科技有限公司 一种数据搜索方法和装置
JP6760797B2 (ja) 2016-08-24 2020-09-23 Line株式会社 プログラム、情報処理方法、及び端末
CN106469299B (zh) * 2016-08-31 2019-07-19 北京邮电大学 一种车辆搜索方法及装置
CN106656735A (zh) * 2016-09-08 2017-05-10 乐视控股(北京)有限公司 表情图像发送方法及装置
JP6872703B2 (ja) * 2016-10-17 2021-05-19 パナソニックIpマネジメント株式会社 プログラム生成方法、プログラム生成装置および制御プログラム
US10416846B2 (en) 2016-11-12 2019-09-17 Google Llc Determining graphical element(s) for inclusion in an electronic communication
KR102079221B1 (ko) 2016-12-30 2020-02-19 주식회사 카카오 인터랙션을 이용한 메신저 검색 방법, 그리고 이를 구현한 서버 및 어플리케이션
US10713317B2 (en) 2017-01-30 2020-07-14 Adobe Inc. Conversational agent for search
CN108874258A (zh) 2017-05-11 2018-11-23 腾讯科技(深圳)有限公司 分享录屏视频的方法及装置
CN107229707B (zh) * 2017-05-26 2021-12-28 北京小米移动软件有限公司 搜索图像的方法及装置
CN110263197B (zh) * 2019-06-12 2023-11-28 腾讯科技(深圳)有限公司 一种图像搜索方法、装置、计算机设备和存储介质
CN110414404A (zh) * 2019-07-22 2019-11-05 腾讯科技(深圳)有限公司 基于即时通讯的图像数据处理方法、装置以及存储介质
CN110795589A (zh) * 2019-08-20 2020-02-14 腾讯科技(深圳)有限公司 一种图像搜索方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
JP7301977B2 (ja) 2023-07-03
US20210397645A1 (en) 2021-12-23
WO2020248985A1 (zh) 2020-12-17
CN110263197B (zh) 2023-11-28
JP2022516748A (ja) 2022-03-02
CN110263197A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
JP7301977B2 (ja) 画像検索方法、装置、コンピュータ機器及びコンピュータプログラム
KR102457665B1 (ko) 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측
CN110795589A (zh) 一种图像搜索方法、装置、计算机设备和存储介质
US20210365749A1 (en) Image data processing method and apparatus, electronic device, and storage medium
CN109086439A (zh) 信息推荐方法及装置
CN108664651B (zh) 一种图案推荐方法、装置及存储介质
US11968427B2 (en) Video message generation method and apparatus, electronic device, and storage medium
EP2718856A1 (en) A method and system for automatic tagging in television using crowd sourcing technique
CN105009113A (zh) 基于情境的无查询搜索
CN113766296B (zh) 直播画面的展示方法和装置
CN103440247A (zh) 发送照片的方法及其设备
CN111158924A (zh) 内容分享方法、装置、电子设备及可读存储介质
CN110968204A (zh) 一种输入法及其系统
CN111523053A (zh) 信息流处理方法、装置、计算机设备和存储介质
WO2019085625A1 (zh) 表情图片推荐方法及设备
JP7307607B2 (ja) メディアベースのコンテンツシェアを容易にする方法、コンピュータプログラム及びコンピューティングデバイス
CN113158094B (zh) 信息分享方法、装置及电子设备
CN113542653B (zh) 一种虚拟物品交互方法
CN110837307A (zh) 一种输入法及其系统
CN110855554B (zh) 一种内容聚合方法、装置、计算机设备和存储介质
CN104375815B (zh) 一种信息处理方法以及一种电子设备
CN112040329B (zh) 动态处理并播放多媒体内容的方法及多媒体播放装置
CN116226542A (zh) 网络内容的显示方法、装置、设备及存储介质
CN117014671A (zh) 弹幕展示方法、装置、电子设备和存储介质
CN117991950A (zh) 内容交互方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230720

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230822