JP2017530451A - 情報検索方法及び装置 - Google Patents

情報検索方法及び装置 Download PDF

Info

Publication number
JP2017530451A
JP2017530451A JP2017510347A JP2017510347A JP2017530451A JP 2017530451 A JP2017530451 A JP 2017530451A JP 2017510347 A JP2017510347 A JP 2017510347A JP 2017510347 A JP2017510347 A JP 2017510347A JP 2017530451 A JP2017530451 A JP 2017530451A
Authority
JP
Japan
Prior art keywords
image
keyword
information
material information
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017510347A
Other languages
English (en)
Other versions
JP6498750B2 (ja
Inventor
ショウケ チン,
ショウケ チン,
ゼェミン ヂャン,
ゼェミン ヂャン,
ヨウ ハン,
ヨウ ハン,
ヂーヤン チェン,
ヂーヤン チェン,
シャォファ チョン,
シャォファ チョン,
ペイジー シュ,
ペイジー シュ,
シャオリン マー,
シャオリン マー,
シーレイ ウェン,
シーレイ ウェン,
シージャ チェン,
シージャ チェン,
シュビン リー,
シュビン リー,
ヤン ジィアン,
ヤン ジィアン,
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Publication of JP2017530451A publication Critical patent/JP2017530451A/ja
Application granted granted Critical
Publication of JP6498750B2 publication Critical patent/JP6498750B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54Browsing; Visualisation therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本発明は、情報検索方法及び装置を開示し、その中で、情報検索方法は、現在のキーワードを取得するステップ(S101)と、現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得するステップ(S102)と、材料情報を画像に合成し、合成された画像を検索結果ページに表示させるステップ(S103)とを含む。上記の情報検索方法及び装置は、現在のキーワードに関連する材料情報を取得することにより、取得した材料情報と現在のキーワードとの関連性を高くし、取得した材料情報を合成することにより、画像の質及び情報量を向上することができ、従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜することができる。【選択図】 図1

Description

本出願は、バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッドにより2014年12月30日付けで提出された発明の名称が「情報検索方法及び装置」であり、中国特許出願番号が「201410843273.2」である特許出願の優先権を主張するものである。
本発明は、情報技術に関し、特に情報検索方法及び装置に関する。
検索エンジン(Search Engine)は、一定な策略に基づき、特定のコンピュータプログラムを運用してインターネットから情報を集め、情報に対する組織及び処理を行った後、ユーザに検索サービスを提供し、且つ検索された相関情報をユーザに表示するシステムを指す。
検索エンジン分野において、ユーザがクエリー(query)情報を検索する場合、検索エンジンは少なくとも1つの検索結果を表示し、その中には、広告情報及び自然結果が含まれる。現在、画像に含まれる情報量がより豊富であり、画像から情報を取得する速度が文字に比べてより速いため、ユーザは、検索結果にもっと多い画像を表示されることを欲している。
但し、現在の画像の多数は、検索エンジンにより取得された後直接クライアントに返還されたり、ただ簡単な絞り込みを行い、拡大した後クライアントに返還して表示をしたりすることであるため、画像の質及び数両方ともに欠如が存在する。また、ユーザの画像に対する需要が大きくなるとともに、画像の質及び情報量の豊富さがより重要になり、画像に含まれる情報が豊富であればあるほど、ユーザが画像から情報を取得する速度が文字に比べて速やかであるため、画像の質及び情報量を更に向上させるべきである。
本発明は、相関技術における技術問題中の1つを少なくともある程度解決しようとする。
本発明の1つ目の目的は、情報検索方法を提出することであり、ユーザ検索需要に符合する画像をユーザに表示することを実現することができ、ユーザの検索体験及び満足度を向上させる。
本発明の2つ目の目的は、情報検索装置を提出することである。
本発明の3つ目の目的は、記憶媒体を提出することである。
本発明の4つ目の目的は、検索エンジンを提出することである。
上記の目的を達成するために、本発明の第1の実施形態に係る情報検索方法を提供する。当該方法は、現在のキーワードを取得するステップと、前記現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得するステップと、前記材料情報を画像に合成し、合成された前記画像を検索結果ページに表示させるステップとを含む。
本実施形態に係る情報検索方法は、現在のキーワードを取得し、且つ現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得し、材料情報を画像に合成し、合成された画像を検索結果ページに表示させることである。本実施形態において、現在のキーワードに関連する材料情報を取得することにより、取得した材料情報と現在のキーワードとの関連性を高くし、取得した材料情報を合成することにより、画像の質及び情報量を向上することができる。従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜することができる。
上記の目的を達成するために、本発明の第2の実施形態として、情報検索装置を提供する。当該装置は、現在のキーワードを取得する第1取得モジュールと、前記現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する第2取得モジュールと、前記材料情報を画像に合成し、合成された前記画像を検索結果ページに表示させる合成モジュールとを有する。
本実施形態に係る情報検索装置は、第1取得モジュールによって現在のキーワードを取得し、第2取得モジュールによって現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得し、そして合成モジュールによって材料情報を画像に合成して検索結果ページに画像を表示させる。本実施形態において、現在のキーワードに関連する材料情報を取得することにより、取得した材料情報と現在のキーワードとの関連性を高くし、取得した材料情報を合成することにより、画像の質及び情報量を向上することができる。従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜を供することができる。
上記の目的を実現するために、本発明の第3の実施形態に係る記憶媒体は、アプリケーションプログラムを記憶し、該アプリケーションプログラムが、本発明の第1の実施形態に記載の情報検索方法を実行する。
上記の目的を実現するために、本発明の第4の実施形態に係る検索エンジンは、少なくとも1つのプロセッサと、メモリと、少なくとも1つのモジュールとを有し、前記少なくとも1つのモジュールは、前記メモリに記憶され、前記少なくとも1つのプロセッサにより実行される場合、現在のキーワードを取得することと、該現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得し、前記材料情報を前記画像に合成し、合成された前記画像を検索結果ページに表示させることとを行う。
本発明の付加点と利点は、下記の説明にて部分的に示され、一部は下記の説明にて明らかになる、又は本発明の実践により理解される。
本発明の一実施形態に係る情報検索方法のフローチャートである。 本発明の他の実施形態に係る情報検索方法のフローチャートである。 本発明の一実施形態に係る画像合成例1である。 本発明の一実施形態に係る画像合成例2である。 本発明の一実施形態に係る画像合成例3である。 本発明の一実施形態に係る画像合成例4である。 本発明の一実施形態に係る画像合成例5である。 本発明の一実施形態におけるキーワードと関連画像集合との対応関係を構築及び記憶するフローチャートである。 本発明の一実施形態に係る情報検索装置の構造模式図である。 本発明の他の実施形態に係る情報検索装置の構造模式図である。
以下に、本発明の一実施形態について詳細に説明する。本実施形態の例示が図面において示されるが、一貫して同一または類似する符号は、同一又は類似の部品、又は、同一又は類似の機能を有する部品を表す。以下に、図面を参照しながら説明される本実施形態は一例であり、本発明を解釈するためだけに用いられるものであって、本発明を限定するように理解されてはならない。
以下に、附図を参照しながら本発明の一実施形態に係る情報検索方法及び装置を説明する。
図1は、本発明の一実施形態に係る情報検索方法のフローチャートであり、当該方法について検索エンジン側から説明を行う。
図1に示すように、当該情報検索方法は、ステップS101からステップS103を含む。
ステップS101:現在のキーワードを取得する。
本実施形態において、ユーザは検索ボックスにクエリー情報を入力することができる。クライアントは当該クエリー情報を取得し、且つ当該クエリー情報から現在のキーワードを取得してから、検索エンジンに現在のキーワードを送信することにより、検索エンジンは現在のキーワードを取得することができる。
勿論、クライアントは、他の方式で現在のキーワードを取得することができる。例えば、ユーザがウェブページを閲覧する場合には、クライアントは、ユーザが閲覧するウェブページ内容に基づいて現在のキーワードを抽出し、且つ検索エンジンに現在のキーワード等を送信することができる。本実施形態においては、現在のキーワードの取得方式に対して限定しない。
ステップS102:現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する。
本実施形態において、図2に示すように、ステップS102の前に、ステップS100aを更に含むことができる。
ステップS100a:キーワードと関連画像集合との対応関係を構築及び記憶する。
また、図2に示すように、ステップS102の前に、下記のステップS100b及びステップS100cを更に含むことができる。
ステップS100b:画像及びそれに対応する文字情報を取得及び記憶する。
ステップS100c:画像及びそれに対応する文字情報を対応する材料情報に処理し、且つ画像及びそれに対応する材料情報を材料情報バンクに記憶する。
具体的には、インターネットにおける各ユニフォームリソースロケータ(URL)の画像、文字等の情報を取得及び記憶し、且つ取得された画像、文字等の情報を図像処理技術、文字処理技術によって単独的な画像セグメント、文字セグメント、画像エンティティ等に処理して、材料情報バンクを構築することができる。
説明すべきことは、ステップS100aとステップS100b及びステップS100cとの間には絶対的な実行順番はなく、且つ、ステップS100aとステップS100b及びステップS100cは、ステップS101とステップS102との間に位置されてもよい。
具体的には、現在のキーワードに関連する材料情報を取得することは、現在のキーワード及び予め記憶されたキーワードと関連画像集合との対応関係に基づいて現在のキーワードに関連する画像を取得し、且つ画像に基づいて予め構築された材料情報バンクから現在のキーワードに関連する材料情報を取得することであってもよい。
ステップS103:材料情報を画像に合成し、合成された画像を検索結果ページに表示させる。
本実施形態において、画像合成技術によって取得した材料情報を画像に合成することができる。例えば、取得した画像とテキスト、画像と画像、テキストとテキストとを画像に合成することができ、合成例としては、具体的には図3から図7を参照することができる。
合成後の画像にはより多い情報が含まれるため、合成後の画像の質及び情報量が大幅に向上され、従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜することができる。
上記の情報検索方法は、現在のキーワードを取得し、且つ現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する。そして、材料情報を画像に合成し、合成された画像を検索結果ページに表示させることから、本実施形態において、現在のキーワードに関連する材料情報を取得することにより、取得した材料情報と現在のキーワードとの関連性を高くし、取得した材料情報を合成することにより、画像の質及び情報量を向上させることができる。従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜することができる。
図8は、本発明の一実施形態におけるキーワードと関連画像集合との対応関係を構築及び記憶するフローチャートである。本実施形態は、取得した多量なサンプルに基づいてキーワードと関連画像集合との対応関係の構築を完成したものである。
図8に示すように、当該過程は、下記のステップS801からステップS804を含む。
ステップS801:画像を取得し、且つ画像に対応するテキスト特徴及び視覚特徴を取得する。
具体的には、異なるユニフォームリソースロケータ(URL)における画像を取得し、且つ対応画像のタイトル、画像説明、サブリンク及びコンテキスト情報のうちの少なくとも1つを取得すると共に、取得した情報を対応するテキスト特徴の一部にすることができる。
また、光学文字認識(OCR)技術を適用して対応画像における文字情報及びエンティティ情報等を認識し、且つ認識した情報を対応するテキスト特徴の一部にすることができる。
上記のことから、画像のテキスト特徴は、対応画像のタイトル、画像説明、サブリンク、コンテキスト情報及び対応画像に含まれる文字及びエンティティ情報のうちの少なくとも1つを含むことができる。
具体的には、捕らえた各画像に対して、それを第1ベクトルに変換し、即ち第1ベクトルで対応する画像を示すことができる。また、第1ベクトルの次元は、N次元でもよい。上記の第1ベクトルは、対応画像の視覚特徴の一部とされてもよい。
ステップS802:キーワード及びキーワードの関連画像を取得し、且つ関連画像のテキスト特徴及び視覚特徴を抽出する。
本実施形態において、キーワードを取得し、且つ当該キーワードを取得した関連画像を検索してから、関連画像のテキスト特徴及び視覚特徴を抽出することができる。
また、テキスト特徴の抽出方式はステップS801と同じであり、具体的な内容も対応画像のタイトル、画像説明、サブリンク、コンテキスト情報及び対応画像に含まれる文字及びエンティティ情報のうちの少なくとも1つである。
一方、視覚特徴に対する抽出過程は、当該キーワードの関連画像を対応する第2ベクトルに変換し、即ち第2ベクトルで当該キーワードの関連画像を示してもよい。その中で、第1ベクトルと第2ベクトルとが同じ次元を有しており、例えば、いずれもN次元である。
ステップS803:画像の視覚特徴と関連画像の視覚特徴との関連性を計算することによりキーワードと画像との関連性を取得する。
本実施形態において、画像の視覚特徴と相関画像の視覚特徴との関連性を計算することによりキーワードと画像との関連性を取得し、即ち第1ベクトルと第2ベクトルとの関連性を計算することによりキーワードと画像との関連性を取得する。
ステップS804:キーワードと画像との関連性及びキーワードの関連画像と画像テキスト特徴との関連性に基づいてキーワードの関連画像集合を取得し、且つキーワードと関連画像集合との対応関係を記憶する。
説明すべきことは、キーワードと画像との関連性は、ただキーワードと関連画像集合との対応関係を構築する1つの指標であり、即ちキーワードと画像との関連性に基づくほかに、異なる画像のテキスト特徴間の関連性に基づいて関連画像集合を取得することもできる。このように、記憶したキーワードに関連する画像がより多く、且つ全面的であり、且つ関連性が高いため、検索エンジンが後続的にユーザによりよい検索結果を提供することに有利である。
上記のことから、上記のステップS801からステップS804を介してキーワードと関連画像集合との対応関係を構築及び記憶する過程を完成することができることが分かる。
上記の実施形態を実現するために、本発明は、情報検索装置を更に提供する。
図9は、本発明の一実施形態に係る情報検索装置の構造模式図である。
図9に示すように、当該情報検索装置は、第1取得モジュール91と、第2取得モジュール92と、合成モジュール93とを有する。
第1取得モジュール91は、現在のキーワードを取得する。第2取得モジュール92は、現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する。合成モジュール93は、材料情報を画像に合成し、合成された画像を検索結果ページに表示させる。
本実施形態において、ユーザは、検索ボックスにクエリー情報を入力することができ、クライアントは、当該クエリー情報を取得し、且つ当該クエリー情報から現在のキーワードを取得してから、第1取得モジュール91に現在のキーワードを送信する。このように、第1取得モジュール91は、現在のキーワードを取得することができる。
勿論、クライアントは、他の方式で現在のキーワードを取得することができ、例えば、ユーザがウェブページを閲覧する時、クライアントは、ユーザが閲覧するウェブページ内容に基づいて現在のキーワードを抽出し、且つ第1取得モジュール91に現在のキーワード等を送信等することができる。本実施形態においては、現在のキーワードの取得方式に対して限定しない。
また、図10に示すように、当該装置は、構築記憶モジュール94を更に有していてもよい。当該構築記憶モジュール94は、第2取得モジュール92が現在のキーワード及び予め記憶されたキーワードと関連画像集合との対応関係に基づいて現在のキーワードに関連する画像を取得する前に、キーワードと関連画像集合との対応関係を構築及び記憶する。
具体的には、構築記憶モジュール94は、第1取得ユニット941と、第2取得ユニット942と、計算ユニット943と、記憶ユニット944とを有する。
第1取得ユニット941は、画像を取得し、且つ画像に対応するテキスト特徴及び視覚特徴を取得する。第2取得ユニット942は、キーワード及びキーワードの関連画像を取得し、且つ関連画像のテキスト特徴及び視覚特徴を取得する。計算ユニット943は、画像の視覚特徴と関連画像の視覚特徴との関連性を計算することによりキーワードと画像との関連性を取得する。記憶ユニット944は、計算ユニット943が計算したキーワードと画像との関連性及びキーワードの関連画像と画像テキスト特徴との関連性に基づいてキーワードの関連画像集合を取得し、且つキーワードと関連画像集合との対応関係を記憶する。
具体的には、第1取得ユニット941は、異なるユニフォームリソースロケータ(URL)における画像を取得し、且つ対応画像のタイトル、画像説明、サブリンク及びコンテキスト情報のうち少なくとも1つを取得すると同時に、取得した情報を対応するテキスト特徴の一部とすることができる。
また、第1取得ユニット941は、光学文字認識(OCR)技術を適用して対応画像における文字情報及びエンティティ情報等を認識し、且つ認識した情報を対応するテキスト特徴の一部にすることができる。
上記のことから、画像のテキスト特徴は、対応画像のタイトル、画像説明、サブリンク、コンテキスト情報及び対応画像に含まれる文字及びエンティティ情報のうちの少なくとも1つを含むことができることが分かる。
具体的には、第1取得ユニット941は、取得した各画像に対して、それを第1ベクトルに変換し、即ち第1ベクトルで対応する画像を表示することができる。また、第1ベクトルの次元は、N次元でもよい。第1ベクトルは、対応画像の視覚特徴の一部とされてもよい。
同じように、第2取得ユニット942は、第1取得ユニット94と同じ抽出方式を適用してキーワード関連画像のテキスト特徴を取得することができる。具体的な内容も対応画像のタイトル、画像説明、サブリンク、コンテキスト情報及び対応画像に含まれる文字及びエンティティ情報のうちの少なくとも1つである。
また、第2取得ユニット942は、関連画像を対応する第2ベクトルに変換することができる。また、第1ベクトルと第2ベクトルとは同じ次元を有し、例えば、いずれもN次元である。
具体的には、計算ユニット943は、画像の視覚特徴と関連画像の視覚特徴との関連性を計算することによりキーワードと画像との関連性を取得する。即ち第1ベクトルと第2ベクトルとの関連性を計算することによりキーワードと画像との関連性を取得する。
説明すべきことは、キーワードと画像との関連性は、ただキーワードと関連画像集合との対応関係を構築する1つの指標であり、即ちキーワードと画像との関連性に基づくほかに、異なる画像のテキスト特徴間の関連性に基づいて関連画像集合を取得することもできる。このように、記憶したキーワードに関連する画像がより多く、全面的であり、且つ関連性が高いため、検索エンジンが後続的にユーザによりよい検索結果を提供することに有利である。
更に、図10に示すように、当該装置は、取得記憶モジュール95を更に有していてもよい。当該取得記憶モジュール95は、第2取得モジュール92が画像に基づいて予め構築された材料情報バンクから現在のキーワードに関連する材料情報を取得する前に、画像及びそれに対応する文字情報を取得及び記憶し、画像及びそれに対応する文字情報を対応する材料情報に処理し、且つ画像及びそれに対応する材料情報を材料情報バンクに記憶する。
具体的には、取得記憶モジュール95は、インターネットにおける各ユニフォームリソースロケータ(URL)の画像、文字等の情報を取得及び記憶し、且つ取得した画像、文字等の情報を図像処理技術、文字処理技術によって単独的な画像セグメント、文字セグメント、画像エンティティ等に処理して、材料情報バンクを構築することができる。
図9又は図10に示すように、情報検索装置に基づいて、第2取得モジュール92は、現在のキーワード及び構築記憶モジュール94が構築したキーワードと関連画像集合との対応関係に基づいて現在のキーワードに関連する画像を取得し、且つ画像に基づいて取得記憶モジュール95が記憶した材料情報バンクから現在のキーワードに関連する材料情報を取得することができる。
第2取得モジュール92が現在のキーワードに関連する材料情報を取得した後、合成モジュール93は、画像合成技術によって取得した材料情報を画像に合成することができる。例えば、取得した画像とテキスト、画像と画像、テキストとテキストとを画像に合成することができ、合成例としては、具体的には図3から図7を参照することができる。
合成後の画像にはより多い情報が含まれるため、合成後の画像の質及び情報量が大幅に向上され、従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜することができる。
上記の情報検索装置は、第1取得モジュールによって現在のキーワードを取得し、第2取得モジュールによって現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する。
そして、合成モジュールによって材料情報を画像に合成し、合成された画像を検索結果ページに表示させることから、本実施形態において、現在のキーワードに関連する材料情報を取得することにより、取得した材料情報と現在のキーワードとの関連性を高くし、取得した材料情報を合成することにより、画像の質及び情報量を向上させることができる。従ってユーザが情報を閲覧する速度を大きく向上させて、ユーザができるだけ早く多数の情報から自分に必要な情報を取得するように便宜することができる。
上記の実施形態を実現するために、本発明は、記憶媒体を更に提供する。当該記憶媒体はアプリケーションプログラムを記憶し、当該アプリケーションプログラムは本発明の実施形態のいずれかに記載の情報検索方法を実行する。
上記の実施形態を実現するために、本発明は、検索エンジンを更に提供する。当該検索エンジンは、少なくとも1つのプロセッサと、メモリと、少なくとも1つのモジュールとを有し、少なくとも1つのモジュールはメモリに記憶され、少なくとも1つのプロセッサにより実行されるとき、下記のことを行う。
S101’:現在のキーワードを取得する。
S102’:現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する。
S103’:材料情報を画像に合成し、合成された画像を検索結果ページに表示させる。
本明細書の説明において、参照用語である「一実施形態」、「他の実施形態」、「一例」、「具体例」、又は「他の一例」等の説明は、実施形態や一例を結合して説明する具体的な特徴、構造、材料、又は特点が本発明の少なくとも1つの実施形態や一例に含まれることを意味する。
本明細書において、上記の用語に対する黙示的な記述が必ずしも同じ実施形態や一例に対することではない。また、説明された具体的な特徴、構造、材料、又は特点は、任意の少なくとも1つの実施形態又は一例にて適当な方式で結合されることができる。
また、相互に矛盾しない状況で、当業者は本明細書にて説明される異なる実施形態や一例及び異なる実施形態や一例の特徴に対する結合及び組み合わせを行うことができる。
また、用語である「第1」、「第2」は説明のためだけに用いられるものであり、比較的な重要性を指示又は暗示するとか、又は指示された技術特徴の数を含蓄的に指し示すと理解してはいけない。従って、「第1」、「第2」と限定された特徴は、少なくとも1つの当該特徴を明白に又は含蓄的に含むことができる。本発明の説明において、別途の説明がない限り、「複数」の意味は少なくとも2つであり、例えば、2つ、3つ等である。
フローチャートまたは他の方式で説明したいかなる過程や方法は、少なくとも1つの、特定ロジック性能または過程のステップを実現するに用いられる実行できるコマンドのコードのモジュール、要素あるいは部分を含むと理解されることができ、且つ本発明の望ましい実施形態の範囲は、他の実現を含み、その中で、表示または討論の順序に従わなくてもよく、述べられた機能に基づいて基本的に同様な方式または逆の順序でその機能を実行することを含む。これは、本発明の実施形態における当業者に理解される。
フローチャート中で表され、又はその他の方式で記述された論理及び/又はステップは、例えば、ロジック機能を実現するための命令実行可能な順序リストであると考えられて良い。具体的には、いかなるコンピュータ読取可能媒体にて実現されて、指令実行システム、装置、若しくは設備(例えばコンピュータに基づくシステム、プロセッサを有するシステム又は他の指令実行システム、装置又は設備から指令を取得して指令を実行することができるシステム等)に使用、又はこれらの指令実行システム、装置、若しくは設備を結合して使用されることができる。
本明細書において、「コンピュータ読取可能媒体」は、プログラムを含み、保存し、通信し、伝播し又は伝送して、指令実行システム、装置若しくは設備又はこれらの指令実行システム、装置若しくは設備に使用されるいかなる装置、又はこれらの指令実行システム、装置若しくは設備を結合して使用される装置であってもよい。
コンピュータ読取可能媒体の更なる具体例(非網羅的リスト)には、少なくとも1つの配線を有する電気接続部(電子装置)、ポータブル型コンピュータディスク(磁気装置)、ランダムアクセスメモリ(RAM)、読出専用メモリ(ROM)、消去可能なプログラマブル読出専用メモリ(EPRCOM又はフラッシュメモリ)、光ファイバ、及びポータブル型コンパクト光ディスク読出専用メモリ(CDROM)が含まれる。
また、コンピュータ読取可能媒体は、ひいては、その上に前記プログラムを印刷した紙又はその他の適当な媒体であってもよい。なぜなら、例えば、紙又はその他の媒体に対して光学スキャニングを行い、続いて編集、解釈又は必要の際、その他の適当な方式で処理を行って、電子方式によってプログラムを取得し、その後それをコンピュータメモリ中に保存することができるからである。
理解すべきことは、本発明の各部分は、ハードウェア、ソフトウェア、ファームウエアまたはそれらの組み合わせで実現できる。上記の実施形態において、複数のステップまたは方法がメモリに記憶され、且つ適当なコマンド実行システムのソフトウェアまたはファームウエアで実現できる。
例えば、ハードウェアで実現する場合、他の実施形態と同じように、本領域周知の下記の任意の1つまたはそれらの組み合わせで実現できる。すなわち、デジタル信号に対してロジック機能を実現するロジックゲート回路を有する離散ロジック回路、ロジックゲート回路を組み合わせた適当な専用IC、プログラマブルゲートアレイ(PGA)、フィールドプログラマブルゲートアレイ(FPGA)などである。
実施形態に係る方法における少なくとも一部のステップがプログラムにより関連のハードウェアを実行することで完成されることは、本技術領域の普通の技術者に理解される。プログラムは1つのコンピュータ読取可能媒体に記憶されることができる。当該プログラムを実行するとき、実施形態に係る方法のステップの1つまたはそれらの組み合わせを含む。
この他、本発明の各実施形態における各機能ユニットは、1つの処理モジュールに集積され、または、各ユニットの単独的な物理存在であり、あるいは、少なくとも2つのユニットが1つのモジュールに集積されることができる。集積されたモジュールは、ハードウェアの形式、または、ソフトウェア機能モジュールの形式で実現できる。集積されたモジュールが、ソフトウェア機能モジュールの形式で実現され、且つ独立の製品として販売又は使用される場合、コンピュータ読取可能媒体に記憶されることができる。
上記の記憶メディアは、読出専用メモリ、ディスク、またはCDなどであって可能である。本発明の実施形態を示して説明したが、当業者にとって理解できるのは、上記の実施形態は一例であり、本発明に対する限定と理解されるものではない。当業者は、本発明の範囲で上記の実施形態に対して変化、補正、置換及び変形を行うことができる。

Claims (18)

  1. 現在のキーワードを取得するステップと、
    前記現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得するステップと、
    前記材料情報を画像に合成し、合成された前記画像を検索結果ページに表示させるステップとを含む情報検索方法。
  2. 前記現在のキーワードに関連する前記材料情報を取得するステップが、前記現在のキーワード及び予め記憶されたキーワードと関連画像集合との対応関係に基づいて前記現在のキーワードに関連する画像を取得し、且つ該画像に基づいて予め構築された材料情報バンクから前記現在のキーワードに関連する前記材料情報を取得するステップを含む請求項1に記載の方法。
  3. 前記現在のキーワード及び予め記憶された前記キーワードと前記関連画像集合との対応関係に基づいて前記現在のキーワードに関連する前記画像を取得する前に、
    前記キーワードと前記関連画像集合との対応関係を構築及び記憶するステップを更に含む請求項2に記載の方法。
  4. 前記キーワードと前記関連画像集合との対応関係を構築及び記憶するステップが、
    前記画像を取得し、且つ該画像に対応するテキスト特徴及び視覚特徴を取得するステップと、
    前記キーワード及び前記キーワードの関連画像を取得し、且つ該関連画像のテキスト特徴及び視覚特徴を取得するステップと、
    前記画像の視覚特徴と前記関連画像の視覚特徴との関連性を計算することにより、前記キーワードと前記画像との関連性を取得するステップと、
    前記キーワードと前記画像との関連性及び前記キーワードの前記関連画像と前記画像とのテキスト特徴の関連性に基づいて、前記キーワードの前記関連画像集合を取得し、且つ前記キーワードと前記関連画像集合との対応関係を記憶するステップとを含む請求項3に記載の方法。
  5. 前記画像に対応する視覚特徴を取得するステップが、前記画像を対応する第1ベクトルに変換するステップを含み、
    前記関連画像の視覚特徴を抽出するステップが、前記関連画像の視覚特徴を対応する第2ベクトルに変換するステップを含み、
    前記第1ベクトルと前記第2ベクトルとが同じ次元を有する請求項4に記載の方法。
  6. 前記画像の視覚特徴と前記関連画像の視覚特徴との関連性を計算することにより前記キーワードと前記画像との関連性を取得するステップが、前記第1ベクトルと前記第2ベクトルとの関連性を計算することにより前記キーワードと前記画像との関連性を取得することを含む請求項5に記載の方法。
  7. 前記テキスト特徴が、対応画像のタイトル、画像説明、サブリンク、コンテキスト情報、及び対応画像に含まれる文字及びエンティティ情報のうち少なくとも1つを含む請求項4から請求項6のいずれかに記載の方法。
  8. 前記画像に基づいて予め構築された前記材料情報バンクから前記現在のキーワードに関連する前記材料情報を取得する前に、
    前記画像及び該画像に対応する文字情報を取得及び記憶するステップと、
    前記画像及び該画像に対応する前記文字情報を対応する前記材料情報に処理し、且つ前記画像及び該画像に対応する前記材料情報を前記材料情報バンクに記憶するステップとを更に含む請求項2に記載の方法。
  9. 現在のキーワードを取得する第1取得モジュールと、
    前記現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得する第2取得モジュールと、
    前記材料情報を画像に合成し、合成された前記画像を検索結果ページに表示させる合成モジュールとを有する情報検索装置。
  10. 前記第2取得モジュールは、具体的には、前記現在のキーワード及び予め記憶されたキーワードと関連画像集合との対応関係に基づいて前記現在のキーワードに関連する画像を取得し、且つ該画像に基づいて予め構築された材料情報バンクから前記現在のキーワードに関連する前記材料情報を取得する請求項9に記載の装置。
  11. 前記第2取得モジュールが前記現在のキーワード及び予め記憶された前記キーワードと前記関連画像集合との対応関係に基づいて前記現在のキーワードに関連する前記画像を取得する前に、前記キーワードと前記関連画像集合との対応関係を構築及び記憶する構築記憶モジュールを更に有する請求項10に記載の装置。
  12. 前記構築記憶モジュールは、
    前記画像を取得し、且つ該画像に対応するテキスト特徴及び視覚特徴を取得する第1取得ユニットと、
    前記キーワード及び前記キーワードの関連画像を取得し、且つ該関連画像のテキスト特徴及び視覚特徴を取得する第2取得ユニットと、
    前記画像の視覚特徴と前記関連画像の視覚特徴との関連性を計算することにより前記キーワードと前記画像との関連性を取得する計算ユニットと、
    前記キーワードと前記画像との関連性及び前記キーワードの前記関連画像と前記画像とのテキスト特徴の関連性に基づいて前記キーワードの前記関連画像集合を取得し、且つ前記キーワードと前記関連画像集合との対応関係を記憶する記憶ユニットとを有する請求項11に記載の装置。
  13. 前記第1取得ユニットが、具体的には、前記画像を対応する第1ベクトルに変換し、
    前記第2取得ユニットが、具体的には、前記関連画像を対応する第2ベクトルに変換し、
    前記第1ベクトルと前記第2ベクトルとが同じ次元を有する請求項12に記載の装置。
  14. 前記計算ユニットは、具体的には、前記第1ベクトルと前記第2ベクトルとの関連性を計算することにより前記キーワードと前記画像との関連性を取得する請求項13に記載の装置。
  15. 前記テキスト特徴が、対応画像のタイトル、画像説明、サブリンク、コンテキスト情報、及び対応画像に含まれる文字及びエンティティ情報のうち少なくとも1つを含む請求項12から請求項14のいずれかに記載の装置。
  16. 前記第2取得モジュールが前記画像に基づいて予め構築された前記材料情報バンクから前記現在のキーワードに関連する前記材料情報を取得する前に、前記画像及び該画像に対応する文字情報を取得及び記憶し、前記画像及び該画像に対応する前記文字情報を対応する材料情報に処理し、且つ前記画像及び該画像に対応する前記材料情報を前記材料情報バンクに記憶する取得記憶モジュールを更に有する請求項10に記載の装置。
  17. アプリケーションプログラムを記憶し、
    該アプリケーションプログラムが、請求項1から請求項8のいずれかに記載の情報検索方法を実行するものである記憶媒体。
  18. 少なくとも1つのプロセッサと、
    メモリと、
    少なくとも1つのモジュールとを有し、
    前記少なくとも1つのモジュールは、前記メモリに記憶され、前記少なくとも1つのプロセッサにより実行される場合、現在のキーワードを取得することと、該現在のキーワードに関連する、画像セグメント、文字セグメント及び/又は画像エンティティを含む材料情報を取得することと、前記材料情報を画像に合成し、合成された前記画像を検索結果ページに表示させることとを行う検索エンジン。
JP2017510347A 2014-12-30 2015-07-06 情報検索方法及び装置 Active JP6498750B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410843273.2A CN104504108B (zh) 2014-12-30 2014-12-30 信息搜索方法及装置
CN201410843273.2 2014-12-30
PCT/CN2015/083394 WO2016107125A1 (zh) 2014-12-30 2015-07-06 信息搜索方法及装置

Publications (2)

Publication Number Publication Date
JP2017530451A true JP2017530451A (ja) 2017-10-12
JP6498750B2 JP6498750B2 (ja) 2019-04-10

Family

ID=52945505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017510347A Active JP6498750B2 (ja) 2014-12-30 2015-07-06 情報検索方法及び装置

Country Status (5)

Country Link
US (1) US20180018348A1 (ja)
EP (1) EP3242221A4 (ja)
JP (1) JP6498750B2 (ja)
CN (1) CN104504108B (ja)
WO (1) WO2016107125A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504108B (zh) * 2014-12-30 2018-07-13 百度在线网络技术(北京)有限公司 信息搜索方法及装置
CN106294803A (zh) * 2016-08-15 2017-01-04 马岩 搜图在大数据搜索中的应用方法及系统
US10496698B2 (en) * 2016-08-24 2019-12-03 Baidu Usa Llc Method and system for determining image-based content styles
CN108804448A (zh) * 2017-04-28 2018-11-13 百度在线网络技术(北京)有限公司 生成待推送信息的方法和装置
CN109543060A (zh) * 2018-10-25 2019-03-29 深圳壹账通智能科技有限公司 车型图片的展示方法、装置及存储介质、服务器
CN110287349A (zh) * 2019-06-10 2019-09-27 天翼电子商务有限公司 图形生成方法、装置、介质及终端
US11933986B2 (en) * 2022-03-11 2024-03-19 Bank Of America Corporation Apparatus and methods to extract data with smart glasses

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287670A (ja) * 2003-03-20 2004-10-14 Dainippon Printing Co Ltd 画像データベース作成装置、画像データベース作成方法、プログラム、及び記録媒体
JP2007304771A (ja) * 2006-05-10 2007-11-22 Nikon Corp 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法
JP2011070412A (ja) * 2009-09-25 2011-04-07 Seiko Epson Corp 画像検索装置および画像検索方法
JP2011070408A (ja) * 2009-09-25 2011-04-07 Kddi Corp サンプル画像取得方法、サンプル画像取得装置及び画像分類装置
JP2012003357A (ja) * 2010-06-15 2012-01-05 Yahoo Japan Corp 特徴情報作成装置、方法及びプログラム
JP2012068982A (ja) * 2010-09-24 2012-04-05 Fujitsu Ltd 検索結果出力装置、検索結果出力方法及び検索結果出力プログラム
CN103902679A (zh) * 2014-03-21 2014-07-02 百度在线网络技术(北京)有限公司 搜索推荐方法和装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8626752B2 (en) * 2002-09-23 2014-01-07 Peach Wiz, Inc. Broadcast network platform system
GB2444535A (en) * 2006-12-06 2008-06-11 Sony Uk Ltd Generating textual metadata for an information item in a database from metadata associated with similar information items
JP2008217428A (ja) * 2007-03-05 2008-09-18 Fujitsu Ltd 画像検索プログラム、方法及び装置
US8391611B2 (en) * 2009-10-21 2013-03-05 Sony Ericsson Mobile Communications Ab Methods, systems and computer program products for identifying descriptors for an image
CN102096881A (zh) * 2011-01-27 2011-06-15 朱丹 远程可控自动商品导购系统
CN102110304B (zh) * 2011-03-29 2012-08-22 华南理工大学 一种基于素材引擎的漫画自动生成方法
US9286390B2 (en) * 2011-12-30 2016-03-15 Microsoft Technology Licensing, Llc Presentation of rich search results in delineated areas
US8838432B2 (en) * 2012-02-06 2014-09-16 Microsoft Corporation Image annotations on web pages
CN103559220B (zh) * 2013-10-18 2017-08-25 北京奇虎科技有限公司 图片搜索设备、方法及系统
CN104504104B (zh) * 2014-12-30 2018-09-07 百度在线网络技术(北京)有限公司 用于搜索引擎的图片物料处理方法、装置和搜索引擎
CN104504108B (zh) * 2014-12-30 2018-07-13 百度在线网络技术(北京)有限公司 信息搜索方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287670A (ja) * 2003-03-20 2004-10-14 Dainippon Printing Co Ltd 画像データベース作成装置、画像データベース作成方法、プログラム、及び記録媒体
JP2007304771A (ja) * 2006-05-10 2007-11-22 Nikon Corp 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法
JP2011070412A (ja) * 2009-09-25 2011-04-07 Seiko Epson Corp 画像検索装置および画像検索方法
JP2011070408A (ja) * 2009-09-25 2011-04-07 Kddi Corp サンプル画像取得方法、サンプル画像取得装置及び画像分類装置
JP2012003357A (ja) * 2010-06-15 2012-01-05 Yahoo Japan Corp 特徴情報作成装置、方法及びプログラム
JP2012068982A (ja) * 2010-09-24 2012-04-05 Fujitsu Ltd 検索結果出力装置、検索結果出力方法及び検索結果出力プログラム
CN103902679A (zh) * 2014-03-21 2014-07-02 百度在线网络技术(北京)有限公司 搜索推荐方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柳井 啓司: ""Web画像収集における単語ベクトルの導入と画像特徴の改良"", 電子情報通信学会技術研究報告 VOL.102 NO.555 IEICE TECHNICAL REPORT, vol. 第102巻,第555号, JPN6012043673, 10 January 2003 (2003-01-10), JP, pages 55 - 60, ISSN: 0003974125 *

Also Published As

Publication number Publication date
US20180018348A1 (en) 2018-01-18
WO2016107125A1 (zh) 2016-07-07
CN104504108B (zh) 2018-07-13
EP3242221A4 (en) 2018-05-30
EP3242221A1 (en) 2017-11-08
JP6498750B2 (ja) 2019-04-10
CN104504108A (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
JP6498750B2 (ja) 情報検索方法及び装置
JP6487201B2 (ja) 推奨ページを生成するための方法及び装置
US11669579B2 (en) Method and apparatus for providing search results
JP6047550B2 (ja) 検索方法、クライアント及びサーバ
JP6554685B2 (ja) 検索結果を提供するための方法及び装置
US20200193081A1 (en) Automated augmentation of text, web and physical environments using multimedia content
CN109190049B (zh) 关键词推荐方法、系统、电子设备和计算机可读介质
CN102063475B (zh) 三维模型的网页用户终端呈现方式
US20150199436A1 (en) Coherent question answering in search results
CN106471497B (zh) 使用上下文的辅助浏览
CN108763244B (zh) 在图像内搜索和注释
JP2013541793A (ja) マルチモード検索クエリー入力手法
CN105224554A (zh) 推荐搜索词进行搜索的方法、系统、服务器和智能终端
JP2017535860A (ja) マルチメディア内容の提供方法および装置
JP2018533136A5 (ja)
US10937079B2 (en) Searchable texture index
JP2018533136A (ja) 情報検索方法及び装置
CN104899306A (zh) 信息处理方法、信息显示方法及装置
JP6449961B2 (ja) ウェブページを生成するための方法及び装置
JP2007034464A5 (ja)
JP2018072873A (ja) 情報処理装置、情報処理方法、およびプログラム
US10496698B2 (en) Method and system for determining image-based content styles
CN104537072B (zh) 搜索方法和装置
KR20230111105A (ko) 이미지와 키워드를 이용한 검색 시스템 및 그 동작방법
TW201828111A (zh) 資訊搜索方法和裝置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180316

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181214

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190313

R150 Certificate of patent or registration of utility model

Ref document number: 6498750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250