JP2019532403A - 映像検索情報提供方法、装置およびコンピュータプログラム - Google Patents

Abstract

本発明は、映像検索情報提供方法、装置およびコンピュータプログラムに関する。本発明は、電子装置が映像検索情報を提供する方法において、映像再生中に、既設定されたクエリ生成イベントが発生すると、上記映像を用いてクエリを生成する段階、上記クエリをサーバへ転送する段階、上記サーバから上記クエリに対応する検索結果を受信して画面に表示する段階を含み、上記検索結果は、上記映像に含まれた1つ以上のオブジェクトに対する検索結果であることを一特徴とする。本発明によると、別途の検索語の入力がなくても映像に露出される商品と類似した商品を検索することができる映像検索情報提供方法、装置およびプログラムを提供することを一目的とする。

Description

本発明は、映像再生装置で映像検索情報を提供する方法、装置およびコンピュータプログラムに関し、より具体的には、別途の検索語入力なしに、映像でオブジェクトを認識してこれに類似した商品情報を提供する方法、装置およびコンピュータプログラムに関する。

最近、増加された有無線インターネット環境を背景にオンラインを用いた広報、売買などの商取引が活性化されている。これに関連して、購買者らはインターネットと接続されたデスクトップやモバイル端末で雑誌、ブログまたはYouTube（登録商標）の動画などを検索しながらお気に入りの商品を見つけると、商品名などを検索して購入につながるようになる。有名女優が空港で持っていたバッグの名前、芸能プログラムに出た育児用品の名前がポータルサイトのリアルタイム検索ランク上位に上がる場合がその例だと言える。しかし、この際、ユーザーは検索のためのウェブページを別途に開いて商品名と販売店などを検索すべきであり、名前を知らないと簡単に検索することができない不便も発生する。

一方、販売者らは、やはり製品広報のために、ドラマ、映画のような動画コンテンツに製品を協賛する場合が多いが、広報コスト支出にもかかわらず、間接広告イシューにより、商品名を直接に露出することができない場合が殆どである。

従って、最近の販売者らは、ユーザーが映像を再生する時、映像に出てくる商品情報を確認することができるように映像フレームに広報用の商品情報をタグした動画コンテンツを製作したりするなど様々な広報方法を模索している。しかし、これらの方式によると、ユーザーは販売者が提供する限られた情報(販売者がコンテンツにタグした商品情報)だけを確認することができるので、映像に出てくる商品中にお気に入りの商品が協賛商品でなければ、依然としてその商品に対する情報を検索するに困難を経る。また、映像に露出される商品が購買可能な価格帯でない場合、消費者らはより一層低廉な価格の類似商品を検索しようとすることができるが、映像で商品を確認した場合には、商品名を特定することが容易でなくて類似商品検索に困難がある。

本発明は、上述した問題を解決するためのものであって、別途の検索語の入力がなくても映像に露出される商品と類似した商品を検索することができる映像検索情報提供方法、装置およびプログラムを提供することを一目的とする。

また、本発明は、商品情報がタグされた別途のコンテンツを製作しなくても、オリジナル映像の再生時、商品情報が露出されることができるようにすることで、商品広報にかかるコストを節減し、より効果的に商品を広報することができる映像検索情報提供方法および装置を提供することを他の目的とする。

このような目的を達成するための本発明は、電子装置が映像検索情報を提供する方法において、映像再生中に、既設定されたクエリ生成イベントが発生すると、上記映像を用いてクエリを生成する段階、上記クエリをサーバへ転送する段階、上記サーバから上記クエリに対応する検索結果を受信して画面に表示する段階を含み、上記検索結果は、上記映像に含まれた1つ以上のオブジェクトに対する検索結果であることを一特徴とする。

また、本発明は、映像検索情報を提供する電子装置において、映像再生中に、既設定したクエリ生成イベントが発生すると、上記映像を用いてクエリを生成する制御部、上記クエリをサーバへ転送し、上記サーバから上記クエリに対応する検索結果を受信する通信部、上記受信した検索結果を画面に表示する表示部を含み、上記検索結果は、上記映像に含まれた任意のオブジェクトに対する検索結果であることを一特徴とする。

また、本発明は、サーバがクライアントに映像検索情報を提供する方法において、任意の商品に対して上記商品の画像特徴情報、上記商品画像の特徴情報に対応するラベルを含む商品データベースを生成する段階、上記クライアントから映像を用いて生成されたクエリを受信する段階、上記クエリを分析する段階、上記クエリ分析の結果、上記クエリにラベルが付着された検索対象オブジェクトが含まれていれば、上記検索対象オブジェクトに付着されたラベルまたは上記検索対象オブジェクトの画像特徴情報に対応する商品情報を上記商品データベースで検索する段階、上記検索結果を上記クライアントに転送する段階を含むことを他の特徴とする。

また、本発明は、クライアントに映像検索情報を提供するサーバにおいて、任意の商品に対して上記商品の画像特徴情報、上記商品画像の特徴情報に対応するラベルを含む商品データベースを生成および保存するデータベース部、上記クライアントから映像を用いて生成されたクエリを受信し、上記クエリに対する検索結果を上記クライアントに転送する通信部、上記受信したクエリを分析し、上記クエリに含まれたオブジェクトのラベルまたは上記オブジェクトの画像特徴情報に対応する商品情報を上記データベース部で検索して上記検索結果として提供する制御部を含むことを特徴とする。

上述したような本発明によると、別途の検索語の入力がなくても、映像に露出される商品と類似した商品を検索することができる。

また、本発明よると、商品情報がタグされた別途のコンテンツを製作しなくても、映像の再生時、商品情報が露出されることができるようにすることで、商品広報にかかるコストを節減し、より効果的に商品を広報することができる。

図１は、本発明による映像検索情報を提供する電子装置の一実施例を説明するための概念図である。 図２は、本発明によるクライアントに映像検索情報を提供するサーバの一実施例を説明するための概念図である。 図３は、本発明による電子装置の映像検索情報提供方法の一実施例を説明するためのフローチャートである。 図４は、本発明によるクエリ生成方法の一実施例を説明するためのフローチャートである。 図５は、本発明によるオブジェクト抽出方法の一実施例を説明するためのフローチャートである。 図６は、本発明によるオブジェクト抽出方法の一実施例を説明するためのフローチャートである。 図７は、本発明によるサーバの映像検索情報提供方法の一実施例を説明するためのフローチャートである。 図８は、本発明による電子装置の映像検索情報提供の一実施例を説明するための図面である。

上述した目的、特徴および利点は、添付された図面を参照して詳細に後述され、これに応じて本発明が属する技術分野で通常の知識を有する者が本発明の技術的な思想を容易に実施することができると考えられる。本発明を説明することにおいて、本発明と関連した公知技術に対する具体的な説明が本発明の要旨を不必要にぼやかす可能性があると判断される場合には、詳細な説明を省略する。以下、添付された図面を参照して本発明による望ましい実施例を詳細に説明することにする。図面で同一の参照符号は、同一または類似した構成要素を指すものとして使用され、明細書および特許請求の範囲に記載されたすべての組み合わせは、任意の方式で組み合わせられることができる。そして、他の方式で規定していない限り、単数に対する言及は1つ以上を含むことができ、単数表現に対する言及は、また複数表現を含むことができることを理解すべきである。

本明細書で「オブジェクト」は、商品として認識できる物、または物の画像を意味すると理解されることができ、オブジェクト抽出条件に応じてノイズを含む不特定の物事の画像である可能性もあり、事前に定義されたラベルに対応する特定の物事の画像である可能性もある。「オブジェクト」は、抽出条件、学習されたラベル分類の深さに応じて包括的なカテゴリの商品に対応することもできるが、商品の色、パターン、商品名のような細部的な商品の特徴に対応できる概念として理解されるべきである。

本明細書に記載された「ラベル」は、上述したように商品(またはオブジェクト)の特徴を定義する情報で、例えば女性服、男性服、家具、生活用品、キッチン用品のような大分類情報、ボトムス、トップス、ワンピースのような中分類情報、色、柄、ブランド、価格のような小分類情報を含むことができる。これは一例示に過ぎず、ラベルはユーザー設定に応じて多様に分類または定義されることができる。本発明の一実施例によるラベルは、機械学習(machine learning)を通じて学習されたものである可能性があり、サーバまたはクライアント(電子装置)には、画像特徴情報に対応するラベルが事前に保存されることができる。

本明細書で「電子装置」は、デスクトップ、スマートフォン、タブレットPCなど映像を再生することができ、検索情報を表示することができるすべての形態の電子装置を含み、クライアント、映像検索情報提供装置と同一の意味を持つと理解されることができる。また、電子装置は、セットトップボックスのように映像コンテンツを送受信して外部ディスプレイ装置に転送し、ディスプレイ装置を通じて映像を再生したり、検索情報を表示することができる制御装置も含まれる。

図１は、本発明による映像検索情報を提供する電子装置の一実施例を説明するための概念図である。図1を参照すると、本発明による電子装置(100)は、制御部(130)、通信部(150)、表示部(170)を含むことができ、入力部(190、図示せず)を更に表示することができる。また、本発明による電子装置(100)は、制御部(130)、通信部(150)、入力部(190)だけを含むことができ、表示部(170)は電子装置(100)に備えなく、映像情報を外部ディスプレイ装置に転送することができる。

制御部(130)は、映像再生中に、既設定したクエリ生成イベントが発生すると、映像を用いてクエリを生成する。

制御部(130)は、映像再生中に、一時停止イベントが発生した後に、既設定された時間が経過したり、検索イベントが発生すると、クエリ生成イベントが発生したと判断できる。例えば、ユーザーが再生される映像を一時停止し一定時間(2秒)が経過した後にもずっと一時停止状態であれば、電子装置(100)は、クエリ生成イベントが発生したと判断して一時停止された映像フレームを基礎にクエリを生成することができる。

電子装置(100)が音声コマンドで制御可能な場合であれば、制御部(130)は、映像再生中に、音声制御モード活性化コマンドが受信された後に、既設定された時間が経過したり検索イベントが発生すると、クエリ生成イベントが発生したと判断できる。例えば、制御部(130)がセットトップボックスの場合、制御部(130)は、「こんにちは***」、「ハロー***」のように既設定された音声認識アプリケーションの活性化コマンドがマイクを通じて入力されると、電子装置(100)は、音声制御モードを活性化して以降に受信される音声コマンドに応じて電子装置(100)とその構成要素を制御することができる。この場合、本発明の一実施例による制御部(130)は、音声制御モードへの転換と共に制御部(130)は、画面の映像をキャプチャーすることができる。そして、音声制御モードでマイクを通じて「検索してくれ」、「探してくれ」のように検索要請キーワードを含むユーザーコマンドが入力されると(検索イベント発生)、クエリ生成イベントが発生したと判断してキャプチャーされた画面または映像フレーム、キャプチャーされた画面に含まれた一領域の画像、キャプチャーされた画面を基準に既設定された条件を満足する複数の映像フレーム、または映像の一フレームから抽出したオブジェクト情報中の少なくとも1つを含むクエリを生成して転送することができる。この例示で音声制御モードとは、電子装置が音声ディクテーションを活性化して受信される音声を分析し、分析された音声コマンドを実行するモードを意味すると理解されることができる。

検索イベントは、電子装置(100)が商品を検索すると認識できるイベントを意味するが、例えば、ユーザーが一時停止後に表示される検索ボタンをクリックしたりタッチする動作、映像フレームの一領域を指定する動作、映像フレームからオブジェクトとして認識される一領域またはボタンをクリックまたはタッチする動作を含むことができる。

また、制御部(130)は、映像再生中に、一時停止イベントが発生すると、上記画面に上記クエリの生成までの残り時間を表示し、残り時間が0に到達するまでにユーザー入力がなければ、クエリ生成イベントが発生したと判断できる。

クエリ生成イベント発生時に、制御部(130)が生成するクエリは、一時停止された映像フレーム、映像フレームに含まれた一領域の画像、一時停止された画面を基準に既設定された条件を満足する複数の映像フレーム、または映像に含まれた一映像フレームから抽出したオブジェクト情報中の少なくとも1つを含むことができる。そして、オブジェクト情報は、映像から抽出した画像特徴情報、任意のオブジェクト領域から抽出された画像特徴情報、特定のオブジェクトに対応すると学習された画像特徴情報またはラベル情報中の少なくとも1つを含むことができる。

入力部(190)がマイクのように音声コマンドを受信することができるモジュールを含む場合、検索イベントは上記実施例で説明したように検索要請キーワードを含むユーザーコマンドおよびその入力である可能性がある。

それだけでなく、通信部(150)がブルートゥース（登録商標）受信装置、赤外線受信装置のように外部の入力装置を通じて入力されるユーザーコマンドを受信することができる通信モジュールを含む場合には、リモートコントロール、端末アプリケーションを通じて受信されるユーザー検索コマンドが検索イベントである可能性がある。上記入力装置を通じて検索コマンドが受信されると、電子装置(100)は、商品を検索すると認識できるからである。

ここで、画像特徴情報は、映像、映像フレームまたは映像に含まれた一領域の画像から地域的(ローカル)または全域的(グローバル)に抽出した情報を意味する。画像特徴情報らは、ラベル生成のための機械学習に使用されることができる。また、事前に学習されたラベルが存在する場合、任意の画像特徴情報は特定のラベルまたは特定のオブジェクトに対応することができる。画像特徴情報は、画像全体またはオブジェクト領域または画像内の特徴点の周辺に位置する、既設定された範囲の画像(画像片またはパッチ)のベクトル情報(ディスクリプタ)を含むことができ、ベクトル情報は、明るさ変化、色、パターン(周波数、縦エッジ、横エッジの分布)、画像片の傾き、既設定された臨界値以上の明るさ変化などに対する情報を含むことができる。また、画像特徴情報はオブジェクト別に固有な範囲の値を有するだけでなく、学習モデルによってラベル別に固有な範囲の値を有することができる。

映像フレームに含まれた一領域の画像は、図8に示したような多角形に指定されたもの(B)である可能性がある。制御部(130)は、一時停止イベントが発生すると、ユーザー便宜のためにオブジェクトと認識されるAを含む一領域をガイドとして提供することができるが、この際、ユーザーはガイドとして提供される多角形のサイズまたは形態を調節することで、最終的にクエリに含まれる領域を選択することができる。

また、制御部(130)は、一時停止された映像フレームがぼやけるか(blurred frame)、オブジェクト検索が難しい場合、またはサーバからのオブジェクト抽出正確度を高めるための場合に、一時停止された映像フレームを基準に既設定された条件を満足する1つ以上の映像フレームをクエリに含めることができる。

クエリに含まれる1つ以上の映像フレームを選ぶために、事前に設定される条件は時間、フレーム数、字幕の有無および/または鮮明度を用いて設定されたものである可能性がある。例えば、制御部(130)は、既設定された条件に応じて一時停止された映像フレームを基準に前/後1秒以内の映像フレームらを1つのクエリに生成することができる。また、制御部(130)は、一時停止された映像フレームを基準に前/後映像フレームを1つずつ追加して3つの映像フレームを1つのクエリに生成することができる。他の実施例として、一時停止された映像フレームの鮮明度が落ちる場合、制御部(130)は、前/後映像フレーム中で鮮明度の高い映像フレームを検索してクエリに含めることができる。また、他の例で、一時停止された映像に字幕が含まれた場合、制御部(130)は、字幕が削除された映像フレームだけをクエリに含めることができる。

また、制御部(130)は、映像フレームからオブジェクトを抽出するオブジェクト抽出部(135)、オブジェクトを含むクエリを生成するクエリ生成部(137)を含むことができる。

オブジェクト抽出部(135)は、既保存された学習モデルを用いて特定のオブジェクトに対応すると学習された画像特徴情報を含む一領域をオブジェクトに抽出し、当該オブジェクトに上記画像特徴情報に対応するラベルを付着することができる。本実施例でのオブジェクトは、特定の物事に定義できるオブジェクトを意味し、そのラベルまたはカテゴリに応じて多様に定義されることができる。

既保存された学習モデルを用いて特定のオブジェクトに対応すると学習された画像特徴情報は、その設定によってグローバルディスクリプタまたはローカルディスクリプタである可能性がある。つまり、オブジェクト抽出部(135)は、映像フレームで自動車に対応すると学習された画像特徴情報を含むオブジェクトを抽出することもでき、衣類に対応すると学習された画像特徴情報を含むオブジェクトを抽出することもでき、当該オブジェクトがどのような物事であるかだけでなく、物事の特徴(商品種類、商品ブランド、色、材質、形状、パターン、一部のデザインの違いおよび人によって定義可能な感じ-キュート、シック、ヴィンテージなど-)までも分類することができる。それで、目的に合わせてグローバルおよびローカルディスクリプタを用いると、より具体的な商品名、商品の特徴をラベリングすることが可能である。

他の実施例で、オブジェクト抽出部(135)は、映像フレームから画像特徴情報を抽出し、抽出された特徴情報を用いて既設定された条件に応じて映像フレーム内の一領域を区画し、区画された一領域を検索対象オブジェクトに設定することができる。ここで、本発明による電子装置が抽出するオブジェクトは、そのオブジェクトの種類とは関係なく、任意の「客体」として判断されるものである可能性があり、それで、ノイズが含まれる可能性があるが、速いスピードで抽出可能である。領域の区画は、明るさの変化地点、全体的な色分布、エッジ情報、鮮明度情報などの映像フレーム内の画像特徴情報を用いて行うことができ、オブジェクトの設定は映像フレーム上の座標情報を用いて行うことができる。映像フレーム内には複数のオブジェクトが含まれることができ、この場合、複数のオブジェクトが抽出されると考えられる。

制御部(130)は、表示部(170)が検索結果を表示するとき、ユーザーの検索ログを用いてユーザーが既検索したオブジェクトと同一または類似したラベルを含むオブジェクトに対する検索結果を優先的に画面に表示するように制御できる。これは、ユーザーの関心分野に属する検索結果を優先的に画面に露出させることで、映像検索が商品購入につながる確率を高め、ユーザーの満足度を高めるためである。また、制御部(130)は、表示部(170)がクエリに含まれたオブジェクトの画像特徴情報と類似度が高い順序に応じて検索結果を画面に表示するように制御することで、検索の正確度を高めることができる。

通信部(150)は、クエリをサーバ(200)に転送し、サーバ(200)からクエリに対応する検索結果を受信する。通信部(150)は、サーバ(200)との通信のための有無線通信モジュール、例えば、GSM（登録商標）、CDMA、WCDMA（登録商標）、HSDPA、LTE方式をサポートする移動通信モジュールを含むことができる。また、通信部(150)は、WLAN、WiFi Direct、DLNA（登録商標）、Wibro、Wimaxのような無線通信モジュールを含むことができ、近距離通信(Short range communication)のための通信モジュール、例えばブルートゥース（登録商標）、RFID、赤外線通信、UWB、ZigBee、NFC、Wi-Fi、Wi-Fi Directなどをサポートする通信モジュールを含むことができる。参考までに本発明の通信部(150)は、サーバ(200)とのデータ送受信をサポートする通信モジュールであれば、その方式によって制限されない。

表示部(170)は、受信した検索結果を画面に表示するが、ここで検索結果は、映像に含まれた任意のオブジェクトに対する検索結果を意味する。検索結果は、クエリを用いて検索された商品情報または広告情報を含むことができる。表示部は、電子装置(100)で処理される情報を表示(出力)し、電子装置(100)で駆動される応用プログラムの実行画面情報、またはこれらの実行画面情報によるUI(User Interface)、GUI(Graphic User Interface)情報を表示することができる。

表示部(170)は、ディスプレイモジュールを含むことができ、ディスプレイモジュールは、タッチセンサーと相互レイヤー構造をなしたり、一体型に形成されるタッチスクリーンを含むことができる。これらのタッチスクリーンは、電子装置(100)とユーザーとの間の入力インターフェイスを提供する入力部(190、図示せず)として機能すると共に、電子装置(100)とユーザーの間に情報を表示するインターフェイスを提供することができる。また、ディスプレイモジュールは、立体映像を表示する立体ディスプレイモジュールである可能性がある。これらの立体ディスプレイとしては、ステレオスコピック方式(眼鏡方式)、オートステレオスコピック方式(無眼鏡方式)、プロジェクション方式(ホログラフィック方式)などの3次元ディスプレイ方式が適用されることができる。本発明の表示部(170)は、ディスプレイモジュールの種類によって制限されず、映像を再生することができるすべての種類の映像再生プログラムによる動画の表示が可能でクエリに対する検索結果を表示することができるディスプレイモジュールをすべて含む。

更に、表示部(170)は、電子装置(100)にハードウェア的に結合されたものだけを意味せず、有無線で制御部(130)と接続されて映像および制御信号を送受信する別途のディスプレイモジュールである可能性がある。

図２は、本発明によるクライアントに映像検索情報を提供するサーバの一実施例を説明するための概念図である。

図２を参照すると、本発明の一実施例によるサーバ(200)は、制御部(230)、通信部(250)、データベース部(270)を含むことができる。

制御部(230)は、クライアント(100)から受信したクエリを分析し、クエリに含まれたオブジェクトのラベルまたは上記オブジェクトの画像特徴情報に対応する商品情報をデータベース部(270)で検索して検索結果として提供する。

制御部(230)は、クエリにノイズとして分類された画像特徴情報またはノイズとして学習されたラベル情報が含まれていれば、当該クエリまたはオブジェクトを検索対象から除外することができる。

また、制御部(230)は、クエリ分析の結果、映像フレーム、映像フレームに含まれた一領域の画像またはラベルが付着されていない第1のオブジェクトが含まれていれば、映像フレーム、画像または第1のオブジェクトから画像特徴情報を抽出することができる。ここで、第1のオブジェクトはラベルが付着されていないオブジェクトで、商品の種類と関係なく、電子装置が品物として認識したオブジェクトである可能性があり、画像は電子装置でキャプチャーまたはクロップされた一領域の画像である可能性がある。

制御部(230)は、画像特徴情報の探索結果、映像フレーム、画像または第1のオブジェクトに特定のオブジェクトとして既学習された画像特徴情報が存在すれば、映像フレーム、画像または上記第1のオブジェクトで上記画像特徴情報を含む一領域を検索対象オブジェクトに設定し、画像特徴情報に対応するラベルを検索対象オブジェクトに付着することができる。

制御部(230)は、検索対象オブジェクトのラベルまたは画像特徴情報を用いてデータベース部(270)で同一/類似ラベルまたは同一/類似画像特徴情報を有する商品を検索する。

制御部(230)のクエリ分析の結果、クエリにラベルが付着された検索対象オブジェクトが含まれていれば、制御部(230)は、検索対象オブジェクトに付着されたラベルまたは検索対象オブジェクトの画像特徴情報に対応する商品情報をデータベース部(270)で検索する。そして、通信部(250)が検索結果をクライアントに転送するように制御する。

通信部(250)がクライアントからユーザーの識別情報および上記ユーザーの検索ログを受信した場合、制御部(230)は、クライアントから受信した識別情報および検索ログを用いて検索ログに含まれたラベルに対応する商品情報を通信部(250)を通じてユーザーに提供することができる。より具体的には、制御部(230)は、上記検索ログに含まれたラベルに対応する商品情報がクライアントで、より優先的に露出されるように、より高い重要度を付与することができる。

通信部(250)は、クライアントから映像を用いて生成されたクエリを受信し、上記クエリに対する検索結果をクライアント(100)に転送する。また、通信部(250)は、クライアントからユーザーの識別情報およびユーザーの検索ログを一緒に受信することができる。通信部(250)が含む通信モジュールの例示は、上述した通信部(150)に含まれる通信モジュールと同一なので、省略する。

データベース部(170)は、任意の商品に対して商品の画像特徴情報、上記商品画像の特徴情報に対応するラベルを含む商品データベースを生成および保存する。

以下では、図３〜図６を参照して、本発明による映像検索情報提供方法の一実施例を説明する。

先ず、図３を参照すると、本発明による映像検索情報提供方法によると、電子装置は、映像再生中に、既設定されたクエリ生成イベントが発生すると(S100)、映像を用いてクエリを生成し(S200)、クエリをサーバへ転送する(S300)。段階S200で生成されるクエリは、画面に表示された映像フレーム(再生中の映像フレームまたは一時停止された映像フレーム、映像フレームに含まれた一領域画像、再生中または一時停止された画面を基準に既設定された条件を満足する複数の映像フレーム、または映像に含まれた一映像フレームから抽出したオブジェクト情報中の少なくとも1つを含むことができる。そして、オブジェクト情報は映像から抽出した画像特徴情報、任意のオブジェクト領域から抽出された画像特徴情報、特定のオブジェクトに対応すると学習された画像特徴情報またはラベル情報中の少なくとも1つを含むことができる。

本発明の電子装置は、映像再生中に、一時停止イベントが発生した後に、既に設定された時間が経過したり検索イベントが発生すると、クエリ生成イベントが発生(S100)したと判断することができる。

また、本発明の電子装置は、映像再生中に、一時停止イベントが発生すると、上記画面に上記クエリの生成までの残り時間を表示し、残り時間が0に到達するまでにユーザー入力がなければ、クエリ生成イベントが発生(S100)したと判断することができる。

クエリ生成イベントは設定によって異なることができるが、電子装置がマイクのような入力モジュールを含んでいる場合、映像再生中に、音声コマンドを通じて電子装置が活性化されたり電子装置の音声制御モードが活性化されると、電子装置は、自動的に画面に表示された映像フレームをキャプチャーすることができ、活性化された状態で既設定された時間が経過したり検索コマンドが受信されるなどの検索イベントが発生すると、電子装置は、クエリ生成イベントが発生(S100)したと判断することができる。この例示で音声制御モードとは、電子装置が音声ディクテーションを活性化して受信される音声を分析し、分析された音声コマンドを実行するモードを意味すると理解されることができる。

次に、電子装置は、クエリに対応する検索結果をサーバから受信し(S400)、受信した検索結果を画面に表示(S500)することで、映像検索情報を提供する。受信した検索結果を画面に表示する段階(S500)で電子装置は、ユーザーの検索ログを用いてユーザーが既検索したオブジェクトと同一または類似ラベルを含むオブジェクトに対する検索結果を優先的に画面に表示することができる。これは電子装置がユーザーの関心分野に属する検索結果を優先的に画面に露出させることで、映像検索が商品購入につながる確率を高め、ユーザーの満足度を高めるためである。また、電子装置は、段階S500でクエリに含むオブジェクトの画像特徴情報と類似度が高い順序に応じて検索結果を画面に表示して、検索の正確度を高めることができる。

上述した映像を用いたクエリ生成段階(S200)は、図4に示したように映像フレームからオブジェクトを抽出し(S230)、オブジェクトを含むクエリを生成(S250)するプロセスを通じて実行することができる。

図５を参照すると、オブジェクト抽出段階(S230)で電子装置は、映像フレームから画像特徴情報を抽出し(S232)、抽出された画像特徴情報を用いて既に設定された条件に応じて映像フレーム内の一領域を区画し(S234)、区画された一領域を検索対象オブジェクトに設定(S236)することができる。

段階S234での領域の区画は、明るさの変化地点、全体的な色分布、エッジ情報、鮮明度情報などの映像フレーム内の特徴情報を用いて行われることができ、段階S236での検索対象オブジェクトの設定は、映像フレーム上の座標情報を用いて行われることができる。映像フレーム内には複数のオブジェクトが含まれる可能性があり、この場合、複数のオブジェクトが抽出されると考えられる。

オブジェクト抽出(S230)の他の実施例として、オブジェクト抽出(S230)は、図6に示したように既保存された学習モデルを用いて特定のオブジェクトに対応すると学習された画像特徴情報を含む一領域を検索対象オブジェクトとして抽出し(S233)、検索対象オブジェクトに上記画像特徴情報に対応するラベルを付着(S237)して実行されることができる。

図７は、本発明によるサーバの映像検索情報提供方法の一実施例を説明するためのフローチャートである。図7を参照すると、本発明のサーバは、任意の商品に対して商品の画像特徴情報、上記商品画像の特徴情報に対応するラベルを含む商品データベースを生成する。

サーバは、クライアントから映像を用いて生成されたクエリを受信すると(S1000)、クエリを分析し(S2000)、クエリにノイズとして学習された画像特徴情報が含まれているかを判断して(S2500)、含まれていれば当該クエリを検索対象除から除外することができる。

クエリ分析(S2000)の結果、クエリに映像フレーム(Case1)、映像フレームに含まれた一領域の画像(図示せず)またはラベルが付着されてない第1のオブジェクト(Case2)が含まれていれば、サーバは映像フレーム、画像、または第1のオブジェクトから特定のオブジェクトとして既学習された画像特徴情報を探索する(S3000)。段階S3000の探索結果、映像フレーム、画像または第1のオブジェクトから上記画像特徴情報を含む一領域を検索対象オブジェクトとして抽出する(S3500)。次に、サーバは画像特徴情報に対応するラベルを検索対象オブジェクトに付着する(S3700)。そして、検索対象オブジェクトのラベルまたは画像特徴情報を用いて商品データベースで同一/類似ラベルまたは同一/類似画像特徴情報を有する商品を検索する(S4000)。

クエリ分析(S2000)の結果、クエリにラベルが付着された検索対象オブジェクトが含まれていれば(Case3)、サーバは検索対象オブジェクトに付着されたラベルまたは検索対象オブジェクトの画像特徴情報に対応する商品情報を商品データベースで検索する(S4000)。そして、検索結果をクライアントに転送する(S5000)。

図面に示していないが、サーバはクライアントからユーザーの識別情報および上記ユーザーの検索ログを受信することができる。この場合、検索結果転送段階(S5000)でサーバはクライアントから受信した識別情報および検索ログを用いて検索ログに含まれたラベルに対応する商品情報をユーザーに提供することができる。サーバは、上記商品情報がクライアントで、より優先的に露出されるように、より高い重要度を付与してクライアントに転送することができる。

図８は、本発明による電子装置の映像検索情報提供方法の一実施例を説明するための図面である。図8において、ユーザーは電子装置(100)を用いて映像を再生している。映像で女性はTシャツ(A)を着ているが、もしユーザーがこのTシャツ(A)に対する商品情報を検索しようとして映像を一時停止した場合の実施例である。一時停止イベントが発生し、2秒の間、ユーザーの入力がない場合、事前に設定されたアルゴリズムによってクエリ生成イベントが発生する。

電子装置(100)は、クエリ生成イベントの発生によって、一時停止された映像フレームを用いてクエリを生成する。電子装置(100)は、映像フレーム自体をサーバに転送することもでき、映像フレームに含まれた一領域の画像をサーバに転送することもできる。また、映像に含まれた一映像フレームからオブジェクトを抽出して、抽出したオブジェクト情報をサーバに転送することもできる。

一時停止イベントが発生すると、ユーザーは領域を指定することができるように四角形のガイド(B)が表示されるように設定された場合を仮定する。ユーザーは、ガイド(B)の大きさと形態を調整してTシャツ(A)を選択することもでき、ガイド(B)の位置を移動させて電子装置(100)がオブジェクトとして認識することはできなかったが、ユーザーが関心のあるテーブル(C)をオブジェクトに指定することもできる。

電子装置(100)がユーザーのガイド領域(B)クリックまたはタッチ動作をクエリ生成イベントとして認識する実施例で、サーバ(200、図示せず)は、ガイド領域の画像(B)を用いて検索を実施する。サーバ(200)は、電子装置(100)から別途のラベルが付着されていない画像を含むクエリを受信したところ、画像に特定のオブジェクトとして既学習された画像特徴情報が含まれるかどうかを探索する。もし画像にノイズとして学習された画像特徴情報があると、サーバ(200)は、当該画像に対する検索を中止すると考えられるが、画像にはTシャツ(A)が含まれているので、Tシャツとして学習された画像特徴情報も含む。

サーバ(200)は、Tシャツに学習された画像特徴情報(Tシャツに対応するディスクリプタ)を発見すると、当該画像特徴情報を含む一領域を検索対象オブジェクトに設定する。このように設定された検索対象オブジェクトは、Tシャツ(A)と最も近い形状を有し、最初に受信した画像(B)で商品と関係のない領域(背景)が除外された一領域である可能性がある。

次に、サーバ(200)は、検索対象オブジェクトに女性服(大分類)、トップス(中分類)、青、Tシャツ(小分類)のようなラベルを付着することができる。そして、商品データベースで女性トップス中の青いTシャツに相当する商品を検索することができ、抽出した画像特徴情報を用いて商品データベースで類似した画像特徴情報を含む商品を検索(画像検索)することもできる。このように検索した結果、同一および/または類似商品(20A、10A、10B、10C、10D)が検索されると、サーバ(200)は、検索された同一および/または類似した商品情報を電子装置(100)へ転送する。

電子装置(100)は、サーバ(200)から検索結果を受信してこれを画面に表示するが、これを画面に表示するとき、画面の一領域(10)に商品情報を表示することもでき、映像フレームでユーザーが指定した領域(B)またはオブジェクト(A)の近く(20)に商品情報を表示することもできる。商品情報は、一領域(10)に類似度またはユーザーの検索ログによる関心度、価格、人気度などにより、降順または昇順で表示されることができる。例えば、最も類似した順に類似度が最も高い10Aを最上に表示し、次に類似度が高い10B、10Cの順に表示することができる。

また、電子装置は、検索結果として商品名(20B)、商品のメーカー、価格(20C)、人気度、カテゴリ(ラベル)、販売店情報(ウェブサイト、連絡先、位置情報)、関連レビューなどを商品画像(20A)と共に表示することができ、当該情報をクリックまたはタッチすると、他の応用プログラムを実行するように設定することもできる。

上述した本発明は、本発明が属する技術分野で通常の知識を有する者にとって本発明の技術的な思想をずれない範囲内で複数の置換、変形および変更が可能であるため、上述した実施例および添付された図面によって限られるものではない。

Claims (19)

1. 電子装置が映像検索情報を提供する方法において、
   映像再生中に、既設定されたクエリ生成イベントが発生すると、上記映像を用いてクエリを生成する段階;
   上記クエリをサーバへ転送する段階;
   上記サーバから上記クエリに対応する検索結果を受信して画面に表示する段階、を含み、
   上記検索結果は、上記映像に含まれた1つ以上のオブジェクトに対する商品情報または広告情報を含む検索結果である、映像検索情報提供方法。
2. 上記クエリは、画面に表示された映像フレーム、上記映像フレームに含まれた一領域の画像、上記画面を基準に既設定された条件を満足する複数の映像フレーム、または上記映像の一フレームから抽出したオブジェクトの情報中の少なくとも1つを含む、請求項1に記載の映像検索情報提供方法。
3. 上記オブジェクト情報は、上記映像から抽出した画像特徴情報または特定のオブジェクトに対応すると学習されたラベル情報中の少なくとも1つを含む、請求項2に記載の映像検索情報提供方法。
4. 上記クエリ生成段階は、
   上記映像再生中に、一時停止イベントが発生し既設定された時間が経過したり、検索イベントが発生すると、上記クエリ生成イベントが発生したと判断する段階を含む、請求項1に記載の映像検索情報提供方法。
5. 上記クエリ生成段階は、
   上記映像再生中に、検索イベントが発生すると、上記クエリ生成イベントが発生したと判断する段階を含む、請求項1に記載の映像検索情報提供方法。
6. 上記クエリ生成段階は、
   上記映像再生中に、音声制御モード活性化コマンドが受信されると、上記映像をキャプチャーする段階;
   上記音声制御モードで検索イベントが発生すると、上記キャプチャーされた映像を用いてクエリを生成する段階を含む、請求項1に記載の映像検索情報提供方法。
7. 上記クエリ生成段階は、
   上記映像再生中に、一時停止イベントが発生すると、上記画面に上記クエリの生成までの残り時間を表示する段階;
   上記残り時間が0に到達するまでにユーザーの入力がなければ、上記クエリ生成イベントが発生したと判断する段階を含む、請求項1に記載の映像検索情報提供方法。
8. 上記クエリ生成段階は、
   一時停止された画面に表示された映像フレームから上記1つ以上のオブジェクトを抽出する段階;
   上記1つ以上のオブジェクトを含むクエリを生成する段階を含む、請求項1に記載の映像検索情報提供方法。
9. 上記オブジェクト抽出段階は、
   既保存された学習モデルを用いて特定のオブジェクトに対応すると学習された画像特徴情報を含む一領域を検索対象オブジェクトとして抽出する段階を含み、
   上記検索対象オブジェクトに上記画像特徴情報に対応するラベルを付着する段階を含む、請求項8に記載の映像検索情報提供方法。
10. 上記オブジェクト抽出段階は、
    上記映像フレームから画像特徴情報を抽出する段階;
    上記抽出された画像特徴情報を用いて既設定された基準に応じて上記映像フレーム内の一領域を区画する段階;
    上記区画された一領域を検索対象オブジェクトに設定する段階を含む、請求項8に記載の映像検索情報提供方法。
11. 上記検索結果を画面に表示する段階は、
    ユーザーの検索ログを用いてユーザーが既検索したオブジェクトと同一または類似したラベルを含むオブジェクトに対する検索結果を優先的に画面に表示する段階を更に含む、請求項1に記載の映像検索情報の提供方法。
12. 映像検索情報を提供する電子装置において、
    映像再生中に、既設定したクエリ生成イベントが発生すると、上記映像を用いてクエリを生成する制御部;
    上記クエリをサーバへ転送し、上記サーバから上記クエリに対応する検索結果を受信する通信部;
    上記受信した検索結果を画面に表示する表示部を含み、
    上記検索結果は、上記映像に含まれた任意のオブジェクトに対する検索結果である、映像検索情報提供装置。
13. 上記制御部は、
    上記映像再生中に、音声制御モード活性化コマンドが受信されると、上記映像をキャプチャーし、上記音声制御モードで検索イベントが発生すると、上記キャプチャーされた映像を用いてクエリを生成する、請求項12に記載の映像検索情報提供装置。
14. サーバがクライアントに映像検索情報を提供する方法において、
    任意の商品に対して上記商品の画像特徴情報、上記商品画像の特徴情報に対応するラベルを含む商品データベースを生成する段階;
    上記クライアントから映像を用いて生成されたクエリを受信する段階;
    上記クエリを分析する段階;
    上記クエリ分析の結果、上記クエリにラベルが付着された検索対象オブジェクトが含まれていれば、
    上記検索対象オブジェクトに付着されたラベルまたは上記検索対象オブジェクトの画像特徴情報に対応する商品情報を上記商品データベースで検索する段階;
    上記検索結果を上記クライアントに転送する段階を含む、映像検索情報提供方法。
15. 上記クエリ分析の結果、上記クエリに映像フレーム、映像フレームに含まれた一領域の画像、またはラベルが付着されていない第1のオブジェクトのいずれか1つが含まれていれば、
    上記映像フレーム、上記画像または上記第1のオブジェクトのいずれか1つから特定のオブジェクトとして既学習された画像特徴情報を含む一領域を検索対象オブジェクトとして抽出し、上記画像特徴情報に対応するラベルを上記検索対象オブジェクトに付着する段階を更に含む、請求項14に記載の映像検索情報提供方法。
16. 上記クライアントからユーザーの識別情報および上記ユーザーの検索ログを受信する段階;
    上記検索結果の転送段階は、
    上記識別情報および上記検索ログを用いて上記検索ログに含まれたラベルに対応する商品情報を上記ユーザーに提供する段階を含む、請求項14に記載の映像検索情報提供方法。
17. 上記クエリ分析の結果、上記クエリにノイズとして学習された画像特徴情報が含まれていれば、上記クエリを検索対象から除外する段階を更に含む、請求項14に記載の映像検索情報提供方法。
18. クライアントに映像検索情報を提供するサーバにおいて、
    任意の商品に対して上記商品の画像特徴情報、上記商品画像の特徴情報に対応するラベルを含む商品データベースを生成および保存するデータベース部;
    上記クライアントから映像を用いて生成されたクエリを受信し、上記クエリに対する検索結果を上記クライアントに転送する通信部;
    上記受信したクエリを分析し、上記クエリに含まれたオブジェクトのラベルまたは上記オブジェクトの画像特徴情報に対応する商品情報を上記データベース部で検索して上記検索結果として提供する制御部を含む、映像検索情報提供サーバ。
19. コンピュータ読み取り可能な媒体に保存された、請求項1ないし請求項11のいずれか1方法を実行させるための映像検索情報提供プログラム。

Images