JP2022173084A - 埋め込み類似度に基づく商品検索方法、コンピュータ装置、およびコンピュータプログラム - Google Patents

Abstract

【課題】 埋め込み類似度に基づく商品検索方法、コンピュータ装置、およびコンピュータプログラムを提供する。【解決手段】 商品検索方法は、商品検索サービス上に出現するテキストを利用して、クエリと商品との埋め込みマッチングに基づいて商品を検索する埋め込み基盤の検索モデルを生成する段階、および入力クエリに対して埋め込み基盤の検索モデルを利用して、入力クエリの埋め込みとマッチングする商品検索結果を提供する段階を含む。【選択図】図４

Description

以下の説明は、商品を検索する技術に関する。

一般的な商品検索は、クエリと商品のターム（ｔｅｒｍ）を分析し、クエリのタームとマッチングする商品を検索結果として提供する。

商品検索技術の一例として、特許文献１（公開日２００７年１０月５日）には、クエリマッチングによる商品検索結果を提供する技術が開示されている。

タームマッチング基盤の商品検索の場合は、クエリのタームと同じ意味であるが他の形態のタームで表現された商品は、検索結果として提供することができない。

検索頻度が低いクエリや自然語に近いクエリに対しては、関連する商品が存在したとしてもクエリとのタームマッチングが難しく、商品検索結果を提供することができない場合がある。

韓国公開特許第１０－２００７－００９７７２０号公報

ターム単位ではなく、埋め込み単位でクエリと商品を分析してマッチングおよびランキングに適用することができる方法および装置を提供する。

クエリと商品の埋め込み類似度に基づいて商品を検索することができる方法および装置を提供する。

コンピュータ装置で実行される商品検索方法であって、コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、商品検索方法は、少なくとも１つのプロセッサにより、商品検索サービス上に出現するテキストを利用して、クエリと商品との埋め込みマッチングに基づいて商品を検索する埋め込み基盤の検索モデルを生成する段階、および少なくとも１つのプロセッサにより、入力クエリに対して埋め込み基盤の検索モデルを利用して、入力クエリの埋め込みとマッチングする商品検索結果を提供する段階を含む、商品検索方法を提供する。

一側面によると、商品検索結果を提供する段階は、埋め込み基盤の検索モデルとともにクエリと商品のタームマッチングに基づいて商品を検索するタームマッチング検索モデルを連動して、埋め込みマッチング商品とタームマッチング商品を商品検索結果として提供してよい。

他の側面によると、埋め込み基盤の検索モデルを生成する段階は、商品情報を維持する商品データベースとユーザが登録した商品レビューやクエリのテキストで構成されたショッピングコーパス（ｓｈｏｐｐｉｎｇ ｃｏｒｐｕｓ）およびショッピングドメインで出力するテキストで構成されたショッピング語彙辞書（ｓｈｏｐｐｉｎｇ ｖｏｃａｂｕｌａｒｙ）のうちの少なくとも１つからテキストを抽出して埋め込み基盤の検索モデルを生成するための学習データとして利用するが、数値型フィールドの場合にはテキストに変換して学習データとして利用する段階を含んでよい。

また他の側面によると、埋め込み基盤の検索モデルを生成する段階は、クエリと商品間のクリックログに基づいて関連度によるクエリ－商品ペアデータをファインチューニングデータとして生成する段階、およびファインチューニングデータを利用して埋め込み基盤の検索モデルを追加学習する段階を含んでよい。

また他の側面によると、ファインチューニングデータとして生成する段階は、クエリと商品の関連度に対応するラベルをクエリ－商品ペアデータに付与する段階を含んでよい。

また他の側面によると、ファインチューニングデータとして生成する段階は、クエリと商品の関連度を示す指標に基づいてクエリ－商品ペアデータの重要度を差等適用する段階を含んでよい。

また他の側面によると、ファインチューニングデータとして生成する段階は、クエリに対するクリック商品と類似の商品のうちでクエリのタームとマッチングしない商品をネガティブサンプリング（ｎｅｇａｔｉｖｅ ｓａｍｐｌｉｎｇ）して、クエリと商品に対して関連度が低いクエリ－商品ペアデータとして生成する段階を含んでよい。

また他の側面によると、商品検索結果を提供する段階は、商品埋め込み集合によって学習されたクラスタセントロイド（ｃｌｕｓｔｅｒ ｃｅｎｔｒｏｉｄ）から商品の埋め込みに対応するセントロイドとして商品を索引する段階、および索引された商品のうち、入力クエリの埋め込みに対応するセントロイドと同じセントロイドの商品を検索する段階を含んでよい。

また他の側面によると、商品検索結果を提供する段階は、商品埋め込み集合によって学習された製品量子化（ＰＱ：ｐｒｏｄｕｃｔ ｑｕａｎｔｉｚａｔｉｏｎ）コードブックを利用して、入力クエリの埋め込みに対応するＰＱコードと同じＰＱコードの商品を検索する段階をさらに含んでよい。

また他の側面によると、商品を検索する段階は、入力クエリの埋め込みに対応するセントロイドの品質によって、商品検索結果から埋め込み基盤の検索モデルによる埋め込みマッチング商品を除外させる段階を含んでよい。

また他の側面によると、商品検索結果を提供する段階は、埋め込み基盤の検索モデルによる埋め込みマッチング商品の加重値とタームマッチング検索モデルによるタームマッチング商品の加重値を前記入力クエリによって適応的に設定する段階を含んでよい。

さらに他の側面によると、商品検索結果を提供する段階は、埋め込み基盤の検索モデルによる入力クエリとの埋め込み類似度とタームマッチング検索モデルによる入力クエリとのターム類似度を利用して商品検索結果のランキングを提供する段階を含み、商品検索結果のランキングを提供する段階は、埋め込み類似度の加重値とターム類似度の加重値を入力クエリによって適応的に設定する段階を含んでよい。

商品検索方法をコンピュータ装置に実行させるためのコンピュータプログラムを提供する。

コンピュータ装置であって、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、少なくとも１つのプロセッサは、商品検索サービス上に出現するテキストを利用して、クエリと商品との埋め込みマッチングに基づいて商品を検索する埋め込み基盤の検索モデルを生成し、入力クエリに対して埋め込み基盤の検索モデルを利用して、入力クエリの埋め込みとマッチングする商品検索結果を提供することを特徴とする、コンピュータ装置を提供する。

本発明の実施形態によると、クエリの埋め込みと類似する埋め込みを有する商品を検索結果として提供することにより、クエリに対してより正確な商品検索結果を提供することができる。

本発明の実施形態によると、クエリと商品の埋め込み類似度を検索結果のランキングを決定するためのフィーチャ（ｆｅａｔｕｒｅ）として活用することにより、検索ランキングの品質を改善することができる。

本発明の一実施形態における、ネットワーク環境の例を示した図である。 本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。 本発明の一実施形態における、コンピュータ装置のプロセッサが含むことのできる構成要素の例を示した図である。 本発明の一実施形態における、コンピュータ装置が実行することのできる方法の例を示したフローチャートである。 本発明の一実施形態における、商品検索のための基本モデルを事前学習する過程を説明するための例示図である。 本発明の一実施形態における、基本モデルをファインチューニングして埋め込み検索モデルを生成する過程を説明するための例示図である。 本発明の一実施形態における、埋め込み類似度に基づいて商品を検索する過程を説明するための例示図である。 本発明の一実施形態における、埋め込み類似度に基づいて商品を検索する過程を説明するための例示図である。 本発明の一実施形態における、埋め込み類似度に基づいて商品を検索する過程を説明するための例示図である。 本発明の一実施形態における、他の検索モデルとのアンサンブルによって検索結果を提供する過程を説明するための例示図である。

以下、本発明の実施形態について、添付の図面を参照しながら詳しく説明する。

本発明の実施形態は、クエリと関連する商品をマッチングおよびランキングする商品検索技術に関する。

本明細書で具体的に開示される事項を含む実施形態は、クエリと商品の埋め込みに基づいて検索結果を提供するためのマッチングおよびランキング作業を実行することができ、これにより、検索の効率性、正確性、品質などの側面において相当な長所を達成することができる。

本発明の実施形態に係る商品検索装置は、少なくとも１つのコンピュータ装置によって実現されてよく、本発明の実施形態に係る商品検索方法は、商品検索装置に含まれる少なくとも１つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されたコンピュータプログラムの制御にしたがって本発明の実施形態に係る商品検索方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合して商品検索方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。また、図１のネットワーク環境は、本実施形態に適用可能な環境のうちの一例を説明したものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されることはない。

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーション、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型ＰＣ、デジタル放送用端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＭＰ（Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を利用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓ ａｒｅａ ｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａ ｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄ ｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター－バスネットワーク、ツリーまたは階層的ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。

サーバ１５０、１６０は、それぞれ、複数の電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、商品検索サービスなど）を提供するシステムであってよい。

図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０のそれぞれやサーバ１５０、１６０のそれぞれは、図２に示したコンピュータ装置２００によって実現されてよい。

このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ＲＯＭやディスクドライブのような永続的大容量記録装置は、メモリ２１０とは区分される別の永続的記録装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードとが記録されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ－ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。

プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信インタフェース２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。

通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に記録されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を経てコンピュータ装置２００の通信インタフェース２３０を通じてコンピュータ装置２００に受信されてよい。通信インタフェース２３０を通じて受信された信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる記録媒体（上述した永続的記録装置）に記録されてよい。

入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を含んでよく、出力装置は、ディスプレイ、スピーカのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。

また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、データベースなどのような他の構成要素をさらに含んでもよい。

以下では、埋め込み類似度に基づいて商品を検索する方法および装置の具体的な実施形態について説明する。

本実施形態では、商品検索結果のカバレージを確張するために、ターム単位ではなく埋め込み単位でクエリと商品を分析することで、商品マッチングと商品ランキングとを実行することができる。言い換えれば、本実施形態は、クエリの埋め込みと類似する埋め込みを有する商品とを検索結果として提供することができる。

図３は、本発明の一実施形態における、コンピュータ装置のプロセッサが含むことのできる構成要素の例を示したブロック図であり、図４は、本発明の一実施形態における、コンピュータ装置が実行することのできる方法の例を示したフローチャートである。

本実施形態に係るコンピュータ装置２００は、クライアントを対象に、クライアント上にインストールされた専用アプリケーションやコンピュータ装置２００と関連するウェブ／モバイルサイトへの接続によって商品検索サービスを提供してよい。コンピュータ装置２００には、コンピュータで実現された商品検索装置が構成されてよい。

コンピュータ装置２００のプロセッサ２２０は、図４に係る商品検索方法を実行するための構成要素として、図３に示すように、モデル学習部３１０、モデルチューニング部３２０、および商品検索部３３０を含んでよい。実施形態によって、プロセッサ２２０の構成要素は、選択的にプロセッサ２２０に含まれても除外されてもよい。また、実施形態によって、プロセッサ２２０の構成要素は、プロセッサ２２０の機能の表現のために分離されても併合されてもよい。

このようなプロセッサ２２０およびプロセッサ２２０の構成要素は、図３の商品検索方法に含まれる段階４１０～４４０を実行するようにコンピュータ装置２００を制御してよい。例えば、プロセッサ２２０およびプロセッサ２２０の構成要素は、メモリ２１０が含むオペレーティングシステムのコードと、少なくとも１つのプログラムのコードとによる命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行するように実現されてよい。

ここで、プロセッサ２２０の構成要素は、コンピュータ装置２００に記録されたプログラムコードが提供する命令にしたがってプロセッサ２２０によって実行される、互いに異なる機能（ｄｉｆｆｅｒｅｎｔ ｆｕｎｃｔｉｏｎｓ）の表現であってよい。例えば、コンピュータ装置２００がショッピングモデルを学習するように上述した命令にしたがってコンピュータ装置２００を制御するプロセッサ２２０の機能的表現として、モデル学習部３１０が利用されてよい。

プロセッサ２２０は、コンピュータ装置２００の制御と関連する命令がロードされたメモリ２１０から必要な命令を読み取ってよい。この場合、前記読み取られた命令は、プロセッサ２２０が以下で説明する段階４１０～４４０を実行するように制御するための命令を含んでよい。

以下で説明する段階４１０～４４０は、図４に示したものとは異なる順序で実行されてもよいし、段階４１０～４４０のうちの一部が省略されたり追加の過程がさらに含まれたりしてもよい。

図４を参照すると、段階４１０で、モデル学習部３１０は、商品検索サービスを提供するショッピングドメインのテキストを利用して、商品検索のための基本モデルを事前学習（ｐｒｅｔｒａｉｎｉｎｇ）してよい。例えば、モデル学習部３１０は、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒ）モデルに基づいて、ショッピングドメインのテキストを適切に理解するモデルを生成してよい。このとき、モデル学習部３１０は、商品情報を維持する商品データベースと商品購入者が登録した商品レビューやクエリなどからテキストを抽出してショッピングコーパス（ｓｈｏｐｐｉｎｇ ｃｏｒｐｕｓ）を生成してよい。また、モデル学習部３１０は、ショッピングドメインで頻繁に出現する単語や句などのテキストを抽出してショッピング語彙辞書（ｓｈｏｐｐｉｎｇ ｖｏｃａｂｕｌａｒｙ）を生成してよい。モデル学習部３１０は、ショッピングコーパスとショッピング語彙辞書のうちの少なくとも１つを利用してＢＥＲＴモデルを事前学習する方式によって基本モデルを生成してよい。ＢＥＲＴモデルだけでなく埋め込みを抽出してよく、テキストの意味を学習することのできる任意の事前学習言語モデル（ＰＬＭ：ｐｒｅｔｒａｉｎｅｄ ｌａｎｇｕａｇｅ ｍｏｄｅｌ）を活用して基本モデルを生成してよい。

段階４２０で、モデルチューニング部３２０は、クエリと商品の埋め込みとに基づいて基本モデルをファインチューニング（ｆｉｎｅｔｕｎｉｎｇ）することにより、実際の商品検索に活用することのできる埋め込みマッチング基盤の商品検索モデル（以下、「埋め込み検索モデル」とする）を生成してよい。一例として、モデルチューニング部３２０は、クエリと商品間のクリックログ（クエリに対する検索結果として提供された商品のうちでクリックされた商品）と商品データベースとを分析し、クエリに対して関連度が高い商品と関連度が低い商品を区分してファインチューニングデータを生成してよい。モデルチューニング部３２０は、ファインチューニングデータとして生成されたクエリと商品とを基本モデルに入力して、クエリの埋め込みベクトルと商品の埋め込みベクトルとを生成してよい。このとき、クエリに対して関連度の高い商品は、埋め込みベクトルとの類似度（例えば、コサイン類似度）が増加するように基本モデルを学習し、これとは反対に、関連度の低い商品は、埋め込みベクトルとの類似度（例えば、コサイン類似度）が減少するように基本モデルを学習してよい。モデルチューニング部３２０は、基本モデルにファインチューニングデータを利用した学習過程を経ることによって埋め込み検索モデルを生成してよい。

段階４３０で、商品検索部３３０は、リアルタイム検索過程でクエリが与えられる場合、与えられたクエリの埋め込みと類似する埋め込みを有する商品を検索してよい。商品検索のために、先ず、商品検索部３３０は、埋め込み検索モデルを活用して全体商品に対する埋め込みを抽出してよく、商品の埋め込みにＫ平均法（Ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇ）のアルゴリズムを適用することで、適切な個数のクラスタセントロイド（ｃｌｕｓｔｅｒ ｃｅｎｔｒｏｉｄ）を学習してよい。商品検索部３３０は、オフライン索引段階で商品それぞれに対して該当の商品と最も近いセントロイドＩＤを活用した商品セントロイドタームを抽出して索引してよい。この後、商品検索部３３０は、リアルタイム検索段階で入力されたクエリの埋め込みに該当するクエリセントロイドタームと同じ商品セントロイドタームを有する商品をマッチングして検索してよい。さらに、商品検索部３３０は、商品の埋め込み集合から学習された製品量子化（ＰＱ：ｐｒｏｄｕｃｔ ｑｕａｎｔｉｚａｔｉｏｎ）コードブックを活用して、クエリの埋め込みのＰＱコードと同じＰＱコードを有する商品をマッチングして検索してよい。

段階４４０で、商品検索部３３０は、クエリと商品の埋め込み類似度を基準に埋め込み検索モデルを利用した検索結果をランキング（順位化）してよい。言い換えれば、商品検索部３３０は、クエリと商品の埋め込み類似度を、検索結果のランキングを決定するためのフィーチャとして活用してよい。

さらに、商品検索部３３０は、商品マッチング段階４３０および商品ランキング段階４４０において、クエリによって、埋め込み検索モデルと少なくとも１つの他の検索モデルとを適応的にアンサンブル（ｅｎｓｅｍｂｌｅ）してよい。一例として、商品検索部３３０は、与えられたクエリに対し、埋め込み検索モデルとともにクエリのタームと同じタームを有する商品を検索するタームマッチング検索モデルを連動して検索結果を提供してよい。このとき、商品検索部３３０は、商品マッチングの観点において、タームマッチングによって検索された商品の加重値と埋め込みマッチングによって検索された商品の加重値とをクエリによって適応的に設定してよい。場合によっては、検索結果の正確度を高い水準で維持するために、クエリの埋め込みと最も近いセントロイドの品質によって、埋め込み検索モデルを利用した検索を省略するロジックを適用してよい。また、商品検索部３３０は、クエリと商品のターム類似度と埋め込み類似度とをランキングフィーチャとして活用するにあたり、ターム類似度の加重値と埋め込み類似度の加重値をクエリによって適応的に設定してよい。

図５は、本発明の一実施形態における、商品検索のための基本モデルを事前学習する過程を説明するための例示図である。

実際のサービスでは、クエリと商品の埋め込みを抽出する作業が迅速に作動するようにするために、モデル構造の軽量化が必要となる。埋め込み抽出過程において求められる目標リアルタイム処理速度と処理量指標を設定した後、設定された指標を達成するための水準のモデル構造を設計する。

一例として、図５を参照すると、ＢＥＲＴモデル５０から目標指標を満たす軽量化モデルのパラメータを蒸留（ｄｉｓｔｉｌｌａｔｉｏｎ）するか、あるいはパラメータが初期化された軽量化モデルで構成されたＢＥＲＴモデル５０に学習文書であるショッピング語彙辞書５０１とショッピングコーパス５０２とを直接に事前学習させる方式が適用されてよい。

複数のバージョンのモデル構造として軽量化されたＢＥＲＴモデル５０にショッピングドメインのテキストからなるショッピング語彙辞書５０１とショッピングコーパス５０２を転移学習（ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ）する過程によってダウンストリーム作業（ｄｏｗｎｓｔｒｅａｍ ｔａｓｋ）の性能を比べ、最も優れた性能のモデルを基本モデル５１０として選択してよい。

モデル学習部３１０は、ショッピング語彙辞書５０１とショッピングコーパス５０２を利用して軽量化された構造のＢＥＲＴモデル５０を事前学習する方式によって基本モデル５１０を生成してよい。

モデル学習部３１０は、ショッピングコーパス５０２を生成する過程において、一般的なウェブ文書ではなく、ショッピングドメインの特性を活用してよい。モデル学習部３１０は、商品データベースと商品レビューなどからクエリとのタームマッチングに活用可能なすべてのフィールドのテキストを抽出した後、形態素分析器を用いて、抽出されたテキストを前処理および正規化してよい。モデル学習部３１０は、例えば、商品の価格、サイズ、カテゴリＩＤ、カラーコード、製造社の一連番号などのように、タームマッチングには活用し難い数値型フィールドを、テキストとして抽出して学習に活用してよい。例えば、商品価格が１１，０００ウォンである場合は、「１万ウォン台」などのように価格帯を示すテキストに変換して学習に活用してよい。

ショッピングコーパス５０２を生成する過程において、商品データベースだけを活用するのではなく、ユーザが入力したレビューやクエリなどから得たデータをともに活用してよい。例えば、ユーザクエリに含まれる価格帯情報の分布を分析して、価格帯テキストを抽出する区間と間隔を学習してよい。

本実施形態では、ショッピングドメインの特徴を考慮しながら、基本モデル５１０を生成するための事前学習データを構成してよい。

図６は、本発明の一実施形態における、基本モデルをファインチューニングして埋め込み検索モデルを生成する過程を説明するための例示図である。

図６を参照すると、モデルチューニング部３２０は、基本モデル５１０にファインチューニング過程を適用して、クエリと商品の埋め込みの抽出に活用するための埋め込み検索モデル６２０を生成してよい。

本実施形態に係るファインチューニング過程では、主に、検索結果内でクリックされた商品データを活用してよい。クエリの検索結果でクリックされた商品クリックログと商品データベースをジョインおよび分析してクエリに対して関連度が高い商品と関連度が低い商品を区分し、関連度が高いクエリ－商品ペアデータと関連度が低いクエリ－商品ペアデータをファインチューニングデータとして生成してよい。

モデルチューニング部３２０は、基本モデル５１０にファインチューニングデータを入力してクエリと商品の埋め込みベクトルの品質を高める方向で学習を進める。図６を参照すると、クエリに対して適した商品の場合には、クエリと商品の埋め込みから計算されたコサイン類似度を高める方向で基本モデル５１０を学習し、クエリに対して不適な商品の場合には、クエリと商品の埋め込みから計算されたコサイン類似度を低める方向で基本モデル５１０を学習してよい。

同様に、ファインチューニング過程で商品の埋め込みを抽出するとき、ショッピングドメインの特性を活用してよい。文章を羅列形態でモデリングする一般的な文書埋め込みとは異なり、ショッピング商品は多様なテキストフィールドと数値型フィールドなどで構成される。一般的なタームマッチングで活用される主要のテキストフィールド（例えば、商品名、カテゴリ名、ブランド、ショップ名、商品レビューなど）を活用するのはもちろん、価格やサイズ、各種コードなどのようにタームマッチングとして活用し難い数値型フィールドもテキスト形態に変換して商品埋め込みに活用してよい。

埋め込み検索モデル６２０の品質を高めるための技術の一例として、クエリ－商品ペアデータに差等的なラベルを付与してファインチューニングデータとして使用してよい。二分法的な関連性の有無によるラベルで学習データを構成するのではなく、クエリと商品（ショッピングドメイン）とに対して、商品とクエリとにどの程度の関連度があるかを差等的なラベルで付与して、学習データを構成してよい。商品のテキストフィールドとクエリがどのくらい関連するかを数値化し、これに基づいてラベルを生成してよい。例えば、クエリ「ｘｘノートＰＣ」に対し、ｘｘブランドのノートＰＣ商品には「非常に関連」に該当するラベル、ｘｘブランドとは異なるブランドのノートＰＣ商品には「関連」に該当するラベル、冷蔵庫や衣類などのように全く異なる商品には「関連なし」に該当するラベルが付与されてよい。

他の例として、クエリに対して検索結果として提供された商品のクリック回数とＣＴＲ（表示回数に対するクリック数の割合）などのようにクエリとの関連度を示す指標を活用してクエリ－商品ペアデータの重要度を差等適用してよい。例えば、クエリに対して多くクリックされてＣＴＲが高い商品であるほど、該当のクエリと商品の類似度がより高くなる方向でモデルパラメータをアップデートしてよい。

また他の例として、ネガティブサンプリング技法によって関連度が低いクエリ－商品ペアデータを構成してよい。単にクエリに対してクリックのない商品をランダムにサンプリングする場合は、高い品質のクエリ埋め込み検索モデル６２０を確保することが難しい。クエリと関係のない商品ではなく、クエリと適切な関連性はあるがテキストマッチング側面において関連度が低い商品をネガティブサンプリングして関連度が低いクエリ－商品ペアデータとして活用してよい。例えば、クエリに対して多くクリックされた商品と同じブランドや同じ販売先の商品、あるいは同じような価格帯やカテゴリの商品のうちでクエリタームを構成する重要なタームとマッチングされていない商品をネガティブサンプリングしてよい。ネガティブサンプリングによって構成されたクエリ－商品ペアデータに対してクエリと商品との間にマッチングがなされていないタームの重要度に応じてラベルを設定した後、設定されたラベルによってコサイン類似度を減少する程度を調節する方式によって学習してよい。

したがって、モデルチューニング部３２０は、ショッピングドメインの特性を考慮しながら、関連度が高いクエリ－商品ペアデータと関連度が低いクエリ－商品ペアデータをファインチューニングデータとして生成した後、ファインチューニングデータのラベルとコサイン類似度予測値の相関係数が集約された埋め込み検索モデル６２０とを生成することができる。

図７～９は、本発明の一実施形態における、埋め込み類似度に基づいて商品を検索する過程を説明するための例示図である。

図７を参照すると、商品検索部３３０は、オフライン処理方式で埋め込み検索モデル６２０を利用して、商品データベースに存在するすべての商品に対する埋め込みを抽出してよい。商品のタームを逆インデックスで構成して迅速に検索するのと同じ方式を適用してよい。

商品検索部３３０は、Ｋ平均法によって適切な個数のクラスタセントロイドを学習した後に、商品の埋め込みを索引するために使用してよい。セントロイドを反復学習する過程において、品質指標を利用して最善のモデルパラメータをチューニングしてよい。このとき、品質指標としては、クラスタリング品質指標であるシルエット係数と、商品の主要フィールドに対するエントロピ（ｅｎｔｒｏｐｙ）および不純度（ｉｍｐｕｒｉｔｙ）を活用してよい。クラスタに群集された商品の主要となる各フィールドのエントロピと不純度は、ショッピングドメインの特性を考慮しながら、商品クラスタリングの側面において追加で確認することが可能な品質指標であると言える。

商品検索部３３０は、オフライン索引段階において、各商品と最も近いセントロイドＩＤを活用した商品セントロイドタームを抽出して索引してよい。例えば、図８に示すように、特定の商品の埋め込みが６１４番目のセントロイドと最も近いと仮定すれば、「ｃｅｎｔ６１４」という一種のタームを逆インデックスに追加してよい。商品検索部３３０は、リアルタイム検索段階で入力されたクエリの埋め込みに該当するクエリセントロイドタームと同じ商品セントロイドタームを有する商品をマッチングして検索してよい。ユーザクエリからリアルタイムで抽出した埋め込みに対しても同じように、クエリの埋め込みと最も近いセントロイドとして索引された商品を迅速に部分探索してよい。

図９を参照すると、商品検索部３３０は、クラスタセントロイドと同じような方式により、クエリ埋め込みのＰＱコードと同じＰＱコードの商品を迅速に部分探索する方式をともに適用してよい。内部的には、クエリ埋め込みと商品埋め込みのコサイン類似度近似値を迅速に計算するときにも、別途のＰＱコードブックを学習して活用してよい。

検索結果に対する正確度を高い水準で維持するために、クエリの埋め込みと最も近いセントロイドの品質が一定のレベル以下の場合には、埋め込み検索モデルを利用した検索を活用しなくてもよい。セントロイドに割り当てられた商品のカテゴリに基づいてセントロイドの品質が決定されてよい。例えば、同一のセントロイドに互いに関連性が低いカテゴリの商品が割り当てられるほど、該当のセントロイドの品質は低いと判断してよい。

商品検索部３３０は、クエリ埋め込みに対するリアルタイム抽出作業の効率性を高めるために、事前にダンプした埋め込みマトリックスを照会する方法を活用してよい。一種のキャッシング形態であって、頻繁に流入するクエリに対して事前に埋め込みを抽出しておき、抽出された埋め込みと該当の埋め込みのインデックスをダンプするのである。商品検索部３３０は、事前にダンプされたクエリが流入する場合、トライ（ｔｒｉｅ）のような資料構造を活用して流入したクエリの埋め込みインデックスを照会した後、該当のインデックスを利用して埋め込みマトリックスを照会することにより、クエリ埋め込みをリアルタイムで抽出してよい。

図１０は、本発明の一実施形態における、他の検索モデルとのアンサンブルによって検索結果を提供する過程を説明するための例示図である。

商品検索部３３０は、入力されたクエリに対し、埋め込み検索モデルとタームマッチング検索モデルを連動して検索結果を提供してよい。埋め込み検索モデルを商品マッチングに適用する場合、タームマッチングだけでは検索することができなかった商品を追加で検索することができる。

図１０を参照すると、商品検索部３３０は、与えられたクエリによって、タームマッチング検索モデルによるタームマッチング商品１０１０と埋め込み検索モデルによる埋め込みマッチング商品１０２０間の加重値を適応的に設定してよい。埋め込みマッチング商品１０２０の加重値は、セントロイドの品質指標に基づいて決定されてよい。例えば、クエリの埋め込みと最も近いセントロイドが該当のクエリのカテゴリと一致する程度が高い場合、埋め込みマッチング商品１０２０の加重値をタームマッチング商品１０１０よりも相対的に高く設定してよい。この反面、クエリの埋め込みと最も近いセントロイドに割り当てられた商品が極めて多様であって該当のクエリのカテゴリと一致する程度が低い場合、埋め込みマッチング商品１０２０の加重値をタームマッチング商品１０１０よりも相対的に低く設定してよい。実施形態によっては、クエリの埋め込みと最も近いセントロイドの品質（シルエット係数、エントロピ、不純度など）によって、検索結果から埋め込みマッチング商品１０２０を除外させてよい。

また、商品検索部３３０は、クエリと商品のターム類似度と埋め込み類似度をランキングフィーチャとして活用してよい。埋め込み検索モデルでは、タームマッチング検索モデルで活用することができなかった埋め込み類似度をランキングフィーチャとして提供してよい。一例として、商品検索部３３０は、クエリとの埋め込み類似度をターム類似度と加える方式を適用することで商品ランキングを決定してよい。埋め込み類似度とターム類似度を加える方式によって商品ランキングを提供する場合、埋め込みマッチングとタームマッチングが同時に適用される商品に過度に多くの類似度が付与されることがある。このような問題を解決するための他の例として、商品検索部３３０は、ターム類似度の加重値と埋め込み類似度の加重値をクエリによって異なるように設定してよい。商品検索部３３０は、クエリと商品間のクリックログを利用したクエリレベルＬＴＲ（ｌｅａｒｎｉｎｇ ｔｏ ｒａｎｋ）技法によって商品ランキングに反映する埋め込み類似度の加重値を学習することにより、与えられたクエリによって埋め込み類似度の加重値を決定してよい。

このように、本発明の実施形態によると、クエリの埋め込みと類似する埋め込みを有する商品を検索結果として提供することにより、クエリに対してより正確な商品検索結果を提供することができ、クエリと商品の埋め込み類似度を検索結果のランキングを決定するためのフィーチャとして活用することにより、検索ランキングの品質を改善することができる。

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、コンピュータ記録媒体または装置に具現化されてもよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。ここで、媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。

２２０：プロセッサ
３１０：モデル学習部
３２０：モデルチューニング部
３３０：商品検索部

Claims (15)

1. コンピュータ装置で実行される商品検索方法であって、
   前記コンピュータ装置は、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
   当該商品検索方法は、
   前記少なくとも１つのプロセッサにより、商品検索サービス上に出現するテキストを利用して、クエリと商品との埋め込みマッチングに基づいて商品を検索する埋め込み基盤の検索モデルを生成する段階、および
   前記少なくとも１つのプロセッサにより、入力クエリに対して前記埋め込み基盤の検索モデルを利用して、前記入力クエリの埋め込みとマッチングする商品検索結果を提供する段階を含む、
   商品検索方法。
2. 前記商品検索結果を提供する段階は、
   前記埋め込み基盤の検索モデルとともにクエリと商品のタームマッチングに基づいて商品を検索するタームマッチング検索モデルを連動して、埋め込みマッチング商品とタームマッチング商品を前記商品検索結果として提供することを特徴とする、
   請求項１に記載の商品検索方法。
3. 前記埋め込み基盤の検索モデルを生成する段階は、
   商品情報を維持する商品データベースとユーザが登録した商品レビューやクエリのテキストで構成されたショッピングコーパスおよびショッピングドメインで出力するテキストで構成されたショッピング語彙辞書うちの少なくとも１つからテキストを抽出して前記埋め込み基盤の検索モデルを生成するための学習データとして利用するが、数値型フィールドの場合にはテキストに変換して前記学習データとして利用する段階を含む、
   請求項１または２に記載の商品検索方法。
4. 前記埋め込み基盤の検索モデルを生成する段階は、
   クエリと商品との間のクリックログに基づいて関連度によるクエリ－商品ペアデータをファインチューニングデータとして生成する段階、および
   前記ファインチューニングデータを利用して前記埋め込み基盤の検索モデルを追加学習する段階を含む、
   請求項３に記載の商品検索方法。
5. 前記ファインチューニングデータとして生成する段階は、
   クエリと商品との関連度に対応するラベルを前記クエリ－商品ペアデータに付与する段階を含む、
   請求項４に記載の商品検索方法。
6. 前記ファインチューニングデータとして生成する段階は、
   クエリと商品との関連度を示す指標に基づいて前記クエリ－商品ペアデータの重要度を差等適用する段階を含む、
   請求項４に記載の商品検索方法。
7. 前記ファインチューニングデータとして生成する段階は、
   クエリに対するクリック商品と類似の商品のうちでクエリのタームとマッチングしない商品をネガティブサンプリングして、クエリと商品とに対して関連度が低いクエリ－商品ペアデータとして生成する段階を含む、
   請求項４に記載の商品検索方法。
8. 前記商品検索結果を提供する段階は、
   商品埋め込み集合によって学習されたクラスタセントロイドから商品の埋め込みに対応するセントロイドとして商品を索引する段階、および
   索引された商品のうち、前記入力クエリの埋め込みに対応するセントロイドと同じセントロイドの商品を検索する段階を含む、
   請求項１に記載の商品検索方法。
9. 前記商品検索結果を提供する段階は、
   商品埋め込み集合によって学習された製品量子化（ＰＱ）コードブックを利用して、前記入力クエリの埋め込みに対応するＰＱコードと同じＰＱコードの商品を検索する段階をさらに含む、
   請求項８に記載の商品検索方法。
10. 前記商品を検索する段階は、
    前記入力クエリの埋め込みに対応するセントロイドの品質によって、前記商品検索結果から前記埋め込み基盤の検索モデルによる埋め込みマッチング商品を除外させる段階を含む、
    請求項８に記載の商品検索方法。
11. 前記商品検索結果を提供する段階は、
    前記埋め込み基盤の検索モデルによる埋め込みマッチング商品の加重値と前記タームマッチング検索モデルによるタームマッチング商品の加重値とを前記入力クエリによって適応的に設定する段階を含む、
    請求項２に記載の商品検索方法。
12. 前記商品検索結果を提供する段階は、
    前記埋め込み基盤の検索モデルによる前記入力クエリとの埋め込み類似度と前記タームマッチング検索モデルによる前記入力クエリとのターム類似度とを利用して、前記商品検索結果に対するランキングを提供する段階を含み、
    前記商品検索結果に対するランキングを提供する段階は、
    前記埋め込み類似度の加重値と前記ターム類似度の加重値とを前記入力クエリによって適応的に設定する段階を含む、
    請求項２に記載の商品検索方法。
13. 請求項１～１２のうちのいずれか一項に記載の商品検索方法をコンピュータ装置に実行させるためのコンピュータプログラム。
14. コンピュータ装置であって、
    メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも１つのプロセッサを含み、
    前記少なくとも１つのプロセッサは、
    商品検索サービス上に出現するテキストを利用して、クエリと商品との埋め込みマッチングに基づいて商品を検索する埋め込み基盤の検索モデルを生成し、
    入力クエリに対して前記埋め込み基盤の検索モデルを利用して、前記入力クエリの埋め込みとマッチングする商品検索結果を提供することを特徴とする、
    コンピュータ装置。
15. 前記少なくとも１つのプロセッサは、
    前記埋め込み基盤の検索モデルとともにクエリと商品のタームマッチングに基づいて商品を検索するタームマッチング検索モデルを連動して、埋め込みマッチング商品とタームマッチング商品とを前記商品検索結果として提供することを特徴とする、
    請求項１４に記載のコンピュータ装置。

Images