JP2019139775A - サーバー及びその動作方法(server and operating method thereof) - Google Patents

サーバー及びその動作方法(server and operating method thereof) Download PDF

Info

Publication number
JP2019139775A
JP2019139775A JP2019023297A JP2019023297A JP2019139775A JP 2019139775 A JP2019139775 A JP 2019139775A JP 2019023297 A JP2019023297 A JP 2019023297A JP 2019023297 A JP2019023297 A JP 2019023297A JP 2019139775 A JP2019139775 A JP 2019139775A
Authority
JP
Japan
Prior art keywords
image
information
type
image filter
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019023297A
Other languages
English (en)
Other versions
JP6732977B2 (ja
Inventor
アン サンギル
Sangil Ahn
アン サンギル
シン ボムジュン
Beomjun Shin
シン ボムジュン
オウ ミンシク
Minsik Oh
オウ ミンシク
チョイ ウンヘ
Eunhee Choi
チョイ ウンヘ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyperconnect LLC
Original Assignee
Hyperconnect LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyperconnect LLC filed Critical Hyperconnect LLC
Publication of JP2019139775A publication Critical patent/JP2019139775A/ja
Application granted granted Critical
Publication of JP6732977B2 publication Critical patent/JP6732977B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90324Query formulation using system suggestions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/60
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Abstract

【課題】使用者によって撮影されたイメージに含まれたコンテンツに適したイメージフィルターを推薦する。【解決手段】サーバーは、複数の端末機のうちの対象端末機からイメージを受信する通信部、及び受信されたイメージに含まれたコンテンツの種類を識別し、イメージに適用されるイメージフィルターに対する推薦アルゴリズムを用いて、互いに異なる2つ以上のイメージフィルターを選択する制御部を含む。制御部は、推薦アルゴリズムを用いて、対象端末機の使用者が選択する確率が最も高いと予測された第1イメージフィルター及び対象端末機の使用者が選択する確率が2番目に高いと予測された第2イメージフィルターを選択する。通信部は、第1イメージフィルターに対する情報及び第2イメージフィルターに対する情報を対象端末機に伝送する。【選択図】図4

Description

記載された実施例は、使用者が撮影しようとするイメージに含まれたコンテンツに応じて、使用者が選択すると予測される2つ以上のイメージフィルターを推薦することができるサーバー及びこれの動作方法に関するものである。
通信技術が発展し、電子装置が小型化するに伴い、個人用端末機が一般消費者に広く普及している。特に最近では、スマートフォンまたはスマートタブレットのような携帯用個人端末機が広く普及している。ほとんどの端末機は、イメージ撮影技術を含んでいる。使用者は、端末機を用いて様々なコンテンツを含むイメージを撮影することができる。
また、使用者は、端末機にダウンロード可能な様々なアプリケーションを用いて撮影されたイメージを補正することができる。例えば、使用者はアプリケーションで提供される様々なイメージフィルターを用いて撮影されたイメージを補正することができる。アプリケーションを介して提供されるイメージフィルターが様々であるため、使用者は撮影されたイメージにすべてのイメージフィルターを適用してみることが困難である。また、使用者は、撮影されたイメージに含まれたコンテンツに最適なイメージフィルターが何なのか分からないこともある。
記載された実施例によれば、使用者によって撮影されるイメージに含まれたコンテンツに適した2つ以上のイメージフィルターを推薦することができるサーバー及びこれの動作方法が提供されることができる。
また、実施例によれば、2つ以上のイメージフィルターを自動的に推薦することによって、使用者の便利性を向上させることができるサーバー及びこれの動作方法が提供されることができる。
本発明の実施例に係るサーバーの動作方法は、複数の端末機のうちの対象端末機からイメージを受信する段階と、受信されたイメージに含まれたコンテンツの種類を識別する段階と、イメージに適用可能なイメージフィルターに対する推薦アルゴリズムを準備する段階と、推薦アルゴリズムを用いてコンテンツの種類に対応する互いに異なる2つ以上のイメージフィルターを選択する段階、及び選択された2つ以上のイメージフィルターに対する情報を対象端末機に伝送する段階を含むことができる。
実施例において、サーバーの動作方法は、イメージに含まれたコンテンツの種類を識別する前に、多数の写真に対するイメージデータ及び多数の写真に含まれたコンテンツの種類の間の相関関係について学習された、イメージに含まれたコンテンツの種類を識別するための学習モデルを準備する段階をさらに含むことができる。
実施例において、サーバーの動作方法は、対象端末機から対象端末機の使用者の趣味情報、性別情報、年齢情報、または選好するイメージフィルターの種類に対する情報のうちの少なくとも1つを含む使用者情報を受信する段階をさらに含むことができる。
実施例において、イメージに適用されるイメージフィルターに対する推薦アルゴリズムを準備する段階は、複数の端末機のうちの対象端末機を除いた少なくとも1つ以上の端末機のそれぞれから使用者情報及びイメージを受信する段階、少なくとも1つ以上の端末機のそれぞれから受信されたイメージに含まれたコンテンツの種類を識別する段階、少なくとも1つ以上の端末機のそれぞれからイメージに適用するために選択されたイメージフィルターの種類に対する情報を受信する段階、及び使用者情報、識別されたコンテンツの種類に対する情報、及び受信されたイメージフィルターの種類に対する情報を用いて、学習モデルを準備する段階を含むことができる。
実施例において、使用者情報、識別されたコンテンツの種類に対する情報、及び受信されたイメージフィルターの種類に対する情報を用いて、学習モデルを準備する段階は、使用者情報、及び識別されたコンテンツの種類に対する情報と受信されたイメージフィルターの種類に対する情報との間の相関関係について学習された互いに異なる2つ以上のイメージフィルターを選択するための学習モデルを準備する段階を含むことができる。
実施例において、推薦アルゴリズムを用いて、コンテンツの種類に対応する互いに異なる2つ以上のイメージフィルターを選択する段階は、対象端末機から受信された使用者情報、対象端末機から受信されたイメージで識別されたコンテンツの種類に対する情報及び学習モデルを用いて、対象端末機の使用者が選択する確率が高いと予測される2つ以上のイメージフィルターを選択する段階を含むことができる。
実施例において、受信されたイメージに含まれたコンテンツの種類を識別する段階は、対象端末機から受信されたイメージに含まれたコンテンツが、第1コンテンツであると判断する段階を含み、イメージに適用されるイメージフィルターに対する推薦アルゴリズムを準備する段階は、対象端末機からイメージが受信される前に受信された、第1コンテンツを含むイメージに適用されるために選択されたイメージフィルターの種類に対するイメージフィルター履歴情報及び複数の端末機のうちの対象端末機を除いた少なくとも1つ以上の端末機からそれぞれ受信された、第1コンテンツを含むイメージに適用されるために選択されたイメージフィルターの種類に対するイメージフィルター履歴情報を準備する段階を含むことができる。
実施例において、推薦アルゴリズムを用いて、コンテンツの種類に対応する互いに異なる2つ以上のイメージフィルターを選択する段階は、少なくとも1つ以上の端末機からそれぞれ受信された、イメージフィルター履歴情報の中から対象端末機から受信されたイメージフィルター履歴情報に含まれたイメージフィルターと重複したイメージフィルターを最も多く含むイメージフィルター履歴情報を選択する段階、及び選択されたイメージフィルター履歴情報の中から対象端末機から受信されたイメージフィルター履歴情報と重複していないイメージフィルターに基づいて、互いに異なる2つ以上のイメージフィルターを選択する段階を含むことができる。
実施例において、受信されたイメージに含まれたコンテンツの種類を識別する段階は、コンテンツは、人、特定のオブジェクト(object)、特定の動物、特定の風景、特定のパターンまたは特定の色のうちの少なくとも1つを含んでいるか否かを検出する段階を含むことができる。
実施例において、推薦アルゴリズムを用いて、コンテンツの種類に対応する互いに異なる2つ以上のイメージフィルターを選択する段階は、推薦アルゴリズムを用いて、対象端末機の使用者が選択する確率が最も高いと予測された第1イメージフィルター、及び対象端末機の使用者が選択する確率が2番目に高いと予測された第2イメージフィルターを選択する段階を含むことができる。
本発明の実施例に係るサーバーは、複数の端末機のうちで対象端末機からイメージを受信する通信部、及び受信されたイメージに含まれたコンテンツの種類を識別し、イメージに適用されるイメージフィルターに対する推薦アルゴリズムを用いて、互いに異なる2つ以上のイメージフィルターを選択する制御部を含み、制御部は、推薦アルゴリズムを用いて、対象端末機の使用者が選択する確率が最も高いと予測された第1イメージフィルター、及び対象端末機の使用者が選択する確率が2番目に高いと予測された第2イメージフィルターを選択し、通信部は、第1イメージフィルターに対する情報及び第2イメージフィルターに対する情報を対象端末機に伝送することができる。
実施例において、制御部は、対象端末機から受信されたイメージに含まれたコンテンツが第1コンテンツであると判断し、通信部は、対象端末機からイメージが受信される前に受信された、第1コンテンツを含むイメージに適用されるために選択されたイメージフィルターの種類に対するイメージフィルター履歴情報及び複数の端末機のうちで対象端末機を除いた少なくとも1つ以上の端末機からそれぞれ受信された、第1コンテンツを含むイメージに適用されるために選択されたイメージフィルターの種類に対するイメージフィルター履歴情報を受信することができる。
実施例において、制御部は、少なくとも1つ以上の端末機からそれぞれ受信された、イメージフィルター履歴情報の中から対象端末機から受信されたイメージフィルター履歴情報に含まれたイメージフィルターと重複したイメージフィルターを最も多く含むイメージフィルター履歴情報を選択し、選択されたイメージフィルター履歴情報の中から対象端末機から受信されたイメージフィルター履歴情報と重複していないイメージフィルターに基づいて、互いに異なる2つ以上のイメージフィルターを選択することができる。
実施例において、通信部は、対象端末機から対象端末機の使用者の趣味情報、性別情報、年齢情報、または選好するイメージフィルターの種類に対する情報のうちの少なくとも1つを含む使用者情報を受信することができる。
実施例において、通信部は、複数の端末機のうちで対象端末機を除いた少なくとも1つ以上の端末機のそれぞれから使用者情報、イメージフィルターが適用されたイメージ及びイメージフィルターが適用されたイメージのイメージフィルターの種類に対する情報を受信し、制御部は、少なくとも1つ以上の端末機のそれぞれから受信されたイメージフィルターが適用されたイメージに含まれたコンテンツの種類を識別し、使用者情報、識別されたコンテンツの種類、及び受信されたイメージフィルターの種類の間の相関関係について学習された、互いに異なる2つ以上のイメージフィルターを選択するための推薦アルゴリズムを準備することができる。
記載された実施例によれば、使用者によって撮影されるイメージに含まれたコンテンツに適した互いに異なる2つ以上のイメージフィルターが自動的に推薦されることができる。また、実施例によれば、互いに異なる2つ以上のイメージフィルターを自動的に推薦することによって、使用者の便利性が向上することができる。
本発明の実施例に係る電子装置が動作する環境を示すネットワーク構成図である。 本発明の実施例に係る端末機の構成を示すブロック図である。 本発明の実施例に係るサーバーの構成を示すブロック図である。 本発明の実施例に係るサーバーの動作方法を示すブロック図である。 本発明の実施例に係るサーバーが推薦アルゴリズムを準備する方法を示すフローチャートである。 本発明の実施例に係る端末機から使用者入力情報が生成される方法を示す図である。 本発明の実施例に係る端末機から使用者入力情報が生成される方法を示す図である。 本発明の実施例に係る端末機から使用者入力情報が生成される方法を示す図である。 本発明の他の実施例に係るサーバーの動作方法を示すフローチャートである。 本発明の他の実施例に係るサーバーが推薦アルゴリズムを準備する方法を示すフローチャートである。 本発明のまた他の実施例に係るサーバーの動作方法を示すフローチャートである。 本発明の実施例に係るサーバーに準備されたコンテンツの種類別に選択されたイメージフィルターの種類に対する情報を示す図である。 本発明の実施例に係る端末機及びサーバーの通信方法を示す図である。 本発明の他の実施例に係るサーバーの動作方法を示すフローチャートである。
本発明の利点及び特徴、そしてそれらを達成する方法は、添付した図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に限定されるものではなく、互いに異なる様々な形態で具現されるものであり、単に本実施例は、本発明の開示が完全になるようにして、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。明細書全体にわたって同一の参照符号は、同一の構成要素を指す。
「第1」または「第2」などが、様々な構成要素を記述するために使用されるが、このような構成要素は、前記のような用語によって制限されるものではない。前記のような用語は、単に1つの構成要素を他の構成要素と区別するために使用されることができる。したがって、以下に言及される第1構成要素は、本発明の技術的思想内で第2構成要素であることもできる。
本明細書で使用される用語は、実施例を説明するためのものであって、本発明を制限しようとするものではない。本明細書において、単数形は、文句で特に言及しない限り、複数形も含む。明細書で使用される「含む(comprises)」または「含んでいる(comprising)」は、言及された構成要素または段階が1つ以上の他の構成要素または段階の存在または追加を排除しないという意味を内包する。
他の定義がなければ、本明細書で使用されるすべての用語は、本発明が属する技術分野における通常の知識を有する者に共通的に理解され得る意味として解釈されることができる。また、一般的に使用される辞書に定義されている用語は、明白に定義されていない限り理想的にまたは過度に解釈されない。
図1は、本発明の実施例に係る電子装置が動作する環境を示すネットワーク構成図である。図1を参照すると、複数の電子装置100〜300が動作する環境は、サーバー400及び複数の電子装置100〜300を含むことができる。例えば、複数の電子装置100〜300が動作する環境は、サーバー400を含まないことがある。
複数の電子装置100〜300のそれぞれは、サーバー400を媒介に連結されることができる。本発明の説明の便宜のために、図1で3つの電子装置が示されている。しかし、電子装置の数は、3つに限定されない。複数の電子装置100〜300のそれぞれは、デスクトップコンピュータ、ラップトップ コンピュータ、スマートフォン、スマートタブレット、スマートウォッチ、移動端末、デジタルカメラ、ウェアラブルデバイス(wearable device)、または携帯用電子機器のうちの1つとして具現されることができる。複数の電子装置100〜300のそれぞれは、プログラムまたはアプリケーションを実行することができる。
複数の電子装置100〜300のそれぞれは、通信網に連結されることができる。複数の電子装置100〜300のそれぞれは、通信網を介して互いに連結されたり、サーバー400と連結されることができる。複数の電子装置100〜300のそれぞれは、互いに連結された他の装置にデータを出力したり、他の装置からデータを受信することができる。
複数の電子装置100〜300のそれぞれに連結された通信網は、有線通信網、無線通信網、または複合通信網を含むことができる。通信網は、3G、LTE、またはLTE−Aなどのような移動通信網を含むことができる。通信網は、ワイファイ(Wi−Fi)、UMTS/GPRS、またはイーサネット(Ethernet(登録商標))などのような有線または無線通信網を含むことができる。通信網は、マグネチック保安出力(MST、Magnetic Secure Transmission)、RFID(Radio Frequency IDentIFication)、NFC(Near Field Communication)、ジグビー(ZigBee)、Z−Wave、ブルートゥース(Bluetooth(登録商標))、低電力ブルートゥース(BLE、Bluetooth Low Energy)、または赤外線通信(IR、InfraRed communication)などのような近距離通信網を含むことができる。通信網は、近距離ネットワーク(LAN、Local Area Network)、メトロポリタン・エリア・ネットワーク(MAN、Metropolitan Area Network)、またはワイド・エリア・ネットワーク(WAN、Wide Area Network)などを含むことができる。
サーバー400は、複数の電子装置100〜300のそれぞれの使用者が複数の電子装置100〜300を用いて撮影されたイメージを補正することができるように、各種のプログラムまたはアプリケーション及びデータを保存することができる。
以下では、発明の説明の便宜のために、電子装置及び端末機は、同じ意味で使用することができる。
図2は、本発明の実施例に係る端末機の構成を示すブロック図である。図2を参照すると、第1端末機100は、入力部110、保存部120、制御部130、出力部140及び通信部150を含むことができる。図1に示された第2端末機200及び第3端末機300のそれぞれは、第1端末機100と類似または同一に具現されることができる。
入力部110は、外部から信号を受信することができる。入力部110は、端末機100の使用者から信号を受信することができる。また、入力部110は、外部装置から信号を受信することができる。入力部110は、例えば、マイク、カメラ、キーボード、マウス、トラックボール、タッチスクリーン、ボタン、スイッチ、センサー、ネットワークインターフェース、または、その他の入力装置などを含むことができる。入力部110は、入力部110に含まれたマイクを介して外部から音声を受信することができる。
また、入力部110は、入力部110に含まれたカメラから撮影されたイメージまたは使用者からジェスチャーを受信することができる。または、入力部110は、端末機100の周辺から反射した光から変換されたプレビューイメージ(preview image)の入力を受けることができる。入力部110に含まれたタッチスクリーンは、端末機100の使用者からタッチ入力を受信することができる。入力部110は、端末機100の使用者から受信された使用者情報または使用者入力を受信することができる。例えば、使用者情報は、端末機100の使用者の趣味情報、性別情報、年齢情報、または選好するイメージフィルター情報のうちの少なくとも1つを含むことができる。そして、使用者入力は、端末機100の使用者から受信されるタッチ入力であることができる。
保存部120は、データを保存することができる。保存部120は、入力部110から受信された音声またはイメージデータを保存することができる。そして、保存部120は、制御部130によって行われた演算結果を保存することができる。例えば、保存部120は、制御部130によって、エンコーディングされた音声を保存することができる。保存部120は、通信部150を介して外部に出力するデータを保存したり、通信部150を介して外部から受信されたデータを保存することができる。
保存部120は、入力部110を介して受信された使用者情報または使用者入力情報を保存することができる。保存部120は、入力部110を介して受信されたイメージを保存することができる。そして、受信されたイメージにイメージフィルターが適用された場合、保存部120は、受信されたイメージフィルターに適用されたイメージフィルターの種類に対する情報を共に保存することができる。
保存部120は、ソフトウェアまたはプログラムを保存することができる。例えば、保存部120は、アプリケーション、アプリケーション・プログラミング・インターフェース(API)などのようなプログラム及び様々な種類のデータを保存することができる。保存部120は、制御部130により実行可能なコマンドを保存することができる。
保存部120は、揮発性メモリーまたは非揮発性メモリーのうちの少なくとも1つを含むことができる。保存部120は、例えば、フラッシュ(flash)メモリー、ROM(Read Only Memory)、RAM(Random Access Memory)、EEROM(Electrically Erasable ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、ハードディスクドライブ(HDD、Hard Disk Drive)、またはレジスター(register)のうちの少なくとも1つを含むことができる。保存部120は、例えば、ファイルシステム、データベース、またはエンベデッドデータベースなどを含むことができる。
制御部130または制御部130に含まれた構成要素のそれぞれは、ソフトウェア(software)またはハードウェア(hardware)形態で具現されることができる。例示的には、ソフトウェアは、機械コード、ファームウェアコード(firmware code)、エンベデッドコード(embedded code)、及びアプリケーション(application)などのようなプログラム実行コマンドとして具現されることができる。ハードウェアは、電気電子回路、プロセッサー、コンピュータ、圧力センサー、慣性センサー、MEMS(microelectromechanical system)、受動素子、またはそれの組み合わせであることができる。
制御部130は、端末機100の動作を制御することができる。制御部130は、端末機100に含まれたそれぞれの構成要素と互いに連結されることができる。制御部130は、端末機100に含まれたそれぞれの構成要素の動作を制御することができる。制御部130は、入力部110によって受信された信号に対する応答で、端末機100の動作を制御することができる。
制御部130は、入力部110を介して入力されるプレビューイメージを検査することができる。プレビューイメージは、端末機100の使用者が入力部110を介して入力されるイメージを保存する前に、入力部110を介して入力されるイメージを意味することができる。例えば、制御部130は、入力されたプレビューイメージに含まれたコンテンツ(contents)の種類を識別することができる。
例えば、プレビューイメージに含まれたコンテンツは、人、特定のオブジェクト(object)、特定の動物、特定の風景、特定のパターンまたは特定の色のうちのいずれか1つを含むことができる。より具体的には、プレビューイメージに含まれたコンテンツが特定のオブジェクトである場合、制御部130は、オブジェクトの種類、色、またはパターンなどを識別することができる。プレビューイメージに含まれたコンテンツが人である場合、制御部130は、人の性別、皮膚の色、または毛髪の色などを識別することができる。制御部130は、準備された学習モデルを用いて、プレビューイメージに含まれたコンテンツの種類に適した2つ以上のイメージフィルターを選択することができる。
出力部140は、表示部141を含むことができる。表示部141は、画面を表示することができる。制御部130は、表示部141に画面が表示されるように制御することができる。表示部141は、ユーザーインターフェースを表示することができる。表示部141は、使用者からの入力に対する応答として、他の画面を表示することができる。
表示部141は、データを表示することができる。表示部141は、制御部130によって行われた演算結果を表示することができる。例えば、表示部141は、制御部130によって選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力することができる。表示部141は、保存部120に保存されたデータを表示することができる。表示部141は、通信部150によって受信されたデータを表示することができる。例えば、表示部141は、入力部110から受信される映像を表示することができる。
表示部141は、例えば、LCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diode)、またはPDP(Plasma Display Panel)などの平板表示装置を含むことができる。表示部141は、曲面ディスプレイまたはフレキシブルディスプレイ(flexible display)を含むことができる。表示部141は、タッチスクリーンを含むことができる。表示部141が、タッチスクリーンを含む場合、表示部141は、出力動作を行うと共に入力部110として動作することができる。
出力部140は、音声を出力することができる。出力部140は、入力部110を介して受信された音声、または外部装置を介して受信された音声を出力することができる。例えば、出力部140は、スピーカー(speaker)を含むことができる。
通信部150は、端末機100の外部にデータを出力したり、外部からデータを受信することができる。通信部150は、サーバー400または外部装置にデータを出力することができる。通信部150は、サーバー400及び外部装置からデータを受信することができる。通信部150は、制御部130によって行われた演算結果を外部に出力することができる。
通信部150は、プレビューイメージをサーバー400に出力したり、プレビューイメージで識別されたコンテンツの種類に対する情報をサーバー400に出力することができる。通信部150は、保存部120に保存されたイメージまたは保存されたイメージに適用されたイメージフィルターの種類に対する情報をサーバー400に出力することができる。または、通信部150は、保存部120に保存された使用者情報または使用者入力情報をサーバー400に出力することができる。そして、通信部150は、サーバー400から選択された2つ以上のイメージフィルターの種類に対する情報を受信することができる。
通信部150は、例えば、3Gモジュール、LTEモジュール、LTE−Aモジュール、Wi−Fiモジュール、ワイギグ(WiGig)モジュール、UWB(Ultra Wide Band)モジュール、またはLANカードなどのような遠距離用のネットワークインターフェースを含むことができる。また、通信部150は、マグネチック保安出力(MST)モジュール、ブルートゥースモジュール、NFCモジュール、RFIDモジュール、ジグビー(ZigBee)モジュール、Z−Waveモジュール、または赤外線モジュールなどのような近距離用のネットワークインターフェースを含むことができる。また、通信部150は、その他ネットワークインターフェースを含むことができる。
図3は、本発明の実施例に係るサーバーの構成を示すブロック図である。図1及び図3を参照すると、サーバー400は、通信部410、保存部420及び制御部430を含むことができる。
通信部410は、サーバー400の外部にデータを出力したり、外部からデータを受信することができる。通信部410は、複数の端末機100〜300にデータを出力することができる。通信部410は、複数の端末機100〜300からデータを受信することができる。通信部410は、制御部430によって行われた演算結果を外部に出力することができる。また、通信部410は、保存部420に保存されたデータを外部に出力することができる。
通信部410は、複数の端末機100〜300のうちの少なくとも1つからイメージを受信することができる。イメージは、複数の端末機100〜300のうちの少なくとも1つの周辺から反射された光から変換されたプレビューイメージであることができる。または、イメージは、複数の端末機100〜300のうちの少なくとも1つに保存されたイメージであることができる。受信されたイメージにイメージフィルターが適用された場合、通信部410は、受信されたイメージに適用されたイメージフィルターの種類に対する情報を共に受信することができる。または、通信部410は、複数の端末機100〜300のうちの少なくとも1つからイメージ及びイメージに含まれたコンテンツの種類に対する情報を受信することができる。通信部410は、複数の端末機100〜300のうちの少なくとも1つから使用者入力情報または使用者情報を受信することができる。
通信部410によって出力されるデータまたは通信部410によって受信されたデータは、保存部420に保存されることができる。そして、通信部410は、制御部430で学習された機械学習モデルに対する情報を複数の端末機100〜300のうちのいずれか1つに伝送することができる。
通信部410は、例えば、3Gモジュール、LTEモジュール、LTE−Aモジュール、Wi−Fiモジュール、ワイギグモジュール、UWBモジュール、またはLANカードなどのような遠距離用のネットワークインターフェースを含むことができる。また、通信部201は、マグネチック保安出力(MST)モジュール、ブルートゥースモジュール、NFCモジュール、RFIDモジュール、ジグビーモジュール、Z−Waveモジュール、または赤外線モジュールなどのような近距離用のネットワークインターフェースを含むことができる。また、通信部410は、その他のネットワークインターフェースを含むことができる。
保存部420は、アプリケーション、アプリケーション・プログラミング・ インターフェース(API)などのようなプログラム及び様々な種類のデータを保存することができる。保存部420は、制御部430によって実行可能なコマンドを保存することができる。例えば、アプリケーションは、イメージにイメージフィルターを適用可能なイメージフィルターを推薦するサービスを提供するアプリケーションであることができる。保存部420は、通信部410を介して受信されたイメージ、イメージに適用されたイメージフィルターの種類に対する情報、またはイメージに含まれたコンテンツの種類に対する情報のうちの少なくとも1つを保存することができる。または、保存部420は、通信部410を介して受信された複数の端末機100〜300のうちの少なくとも1つの使用者入力情報または使用者情報を保存することができる。
保存部420は、揮発性メモリーまたは非揮発性メモリーのうちの少なくとも1つを含むことができる。保存部420は、例えば、フラッシュメモリー、ROM、EEROM、EPROM、EEPROM、ハードディスクドライブ、またはレジスターのうちの少なくとも1つを含むことができる。保存部420は、例えば、ファイルシステム、データベース、またはエンベデッドデータベースなどを含むことができる。
制御部430または制御部430に含まれた構成要素のそれぞれは、ソフトウェアまたはハードウェア形態で具現されることができる。例示的には、ソフトウェアは、機械コード、ファームウェアコード、エンベデッドコード、及びアプリケーションなどのようなプログラム実行コマンドで具現されることができる。ハードウェアは、電気電子回路、プロセッサー、コンピュータ、圧力センサー、慣性センサー、MEMS、受動素子、またはそれの組み合わせであることができる。
制御部430は、保存部420に保存されたコマンド及びアプリケーションを実行することができる。例えば、制御部430は、アプリケーションを実行することによって、複数の端末機100〜300のうちの少なくとも1つから受信されたイメージに含まれたコンテンツの種類を識別することができる。または、制御部430は、保存部420に保存されたアプリケーションを実行することによって、複数の端末機100〜300のうち、特定端末機の使用者が選択する確率が高いと予測される少なくとも2つ以上のイメージフィルターを選択することができる。例えば、制御部430は、複数の端末機100〜300のうちの少なくとも1つから受信されたイメージに含まれたコンテンツの種類に対する情報及び選択されたフィルターの種類に対する情報に基づいて、特定端末機の使用者が選択する確率が高いと予測される少なくとも2つ以上のイメージフィルターを選択することができる。
別の例において、制御部430は、保存部420に保存されたアプリケーションを実行することによって、複数の端末機100〜300のうちの少なくとも1つから受信された使用者情報、イメージに含まれたコンテンツの種類に対する情報、及び選択されたフィルターの種類に対する情報に基づいて、特定端末機の使用者が選択する確率が高いと予測される少なくとも2つ以上のイメージフィルターを選択することができる。
別の例において、制御部430は、保存部420に保存されたアプリケーションを実行することによって、複数の端末機100〜300のうちの少なくとも1つから受信された使用者入力情報、イメージに含まれたコンテンツの種類に対する情報、及び選択されたフィルターの種類に対する情報に基づいて、特定端末機の使用者が選択する確率が高いと予測される少なくとも2つ以上のイメージフィルターを選択することができる。
制御部430の動作は、図4〜図14を参照して説明されることができる。
図4は、本発明の実施例に係るサーバーの動作方法を示すブロック図である。S110段階において、サーバー400の通信部410は、対象端末機100からイメージを受信することができる。本発明の説明のために、対象端末機100は、第1端末機100であるものと仮定する。例えば、サーバー400は、通信部410を介して入力されるイメージに適用されるイメージフィルターを選択できるサービスを提供するアプリケーションを実行することができる。
S120段階において、サーバー400の制御部430は、イメージに含まれたコンテンツの種類を識別することができる。例えば、サーバー400の制御部430は、準備された学習モデルを用いて、イメージに含まれたコンテンツの種類を識別することができる。
準備された学習モデルは、アプリケーションを介して受信されたイメージに含まれたコンテンツの種類を識別するために用いられるデータ認識モデルであることができる。データ認識モデルは、人工神経網(Neural Network)を基盤とするモデルであることができる。例えば、学習モデルは、DNN(Deep Neural Network)、RNN(Recurrent Neural Network)、及びBRDNN(Bidirectional Recurrent Deep Neural Network)のようなモデルがデータ認識モデルとして使用されることができるが、これに限定されない。
準備された学習モデルは、イメージに含まれたコンテンツの種類を識別するための学習モデルであることができる。コンテンツの種類を識別するための学習モデルは、多数の写真に対するイメージデータ及び多数の写真に含まれたコンテンツの種類の間の相関関係について学習された結果であることができる。例えば、サーバー400は、多数の写真に対するイメージデータ及び多数の写真に含まれたコンテンツの種類の間の相関関係を学習することができる。サーバー400は、学習結果に基づいて人工神経網を訓練し、イメージに含まれたコンテンツの種類を識別するための学習モデルを生成することができる。
S130段階において、サーバー400の制御部430は、イメージに適用可能なイメージフィルターに対する推薦アルゴリズムを準備することができる。例えば、準備された推薦アルゴリズムは、プレビューイメージに適用可能なイメージフィルターを選択するために用いられるデータ認識モデルであることができる。データ認識モデルは、人工神経網を基盤とするモデルであることができる。例えば、学習モデルは、DNN、RNN、及びBRDNNのようなモデルがデータ認識モデルとして使用されることができるが、これに限定されない。
準備された推薦アルゴリズムは、イメージに適用可能なイメージフィルターを推薦するための学習モデルであることができる。イメージフィルターを推薦するための学習モデルは、多数のイメージに含まれたコンテンツの種類及び多数のイメージを補正するために、使用者によって選択されたイメージフィルターの種類の間の相関関係について学習された結果であることができる。例えば、サーバー400は、多数のイメージに含まれたコンテンツの種類及び多数のイメージを補正するために選択されたイメージフィルターの種類の間の相関関係を学習することができる。サーバー400は、学習結果に基づいて人工神経網を訓練し、イメージに適用可能なイメージフィルターの種類を選択するための学習モデルを生成することができる。
または、準備された推薦アルゴリズムは、複数の端末機100〜300のうち、対象端末機100を除いた残りの端末機200、300から受信された情報に基づいて学習されることができる。これについての実施例は、図5を参照して説明することができる。
S140段階において、サーバー400の制御部430は、イメージフィルターを選択するための推薦アルゴリズムを用いて、2つ以上のイメージフィルターを選択することができる。例えば、サーバー400の制御部430は、対象端末機100から受信されたイメージに含まれたコンテンツを補正するための2つ以上のイメージフィルターを選択することができる。
例えば、サーバー400の制御部430は、イメージに含まれたコンテンツの種類に応じて、対象端末機100の使用者が選択する確率が高いと予測される2つ以上のイメージフィルターを選択することができる。例えば、サーバー400の制御部430は、イメージに含まれたコンテンツの種類に応じて、端末機100の使用者が選択する確率が最も高いと予測されたイメージフィルター及び選択する確率が2番目に高いと予測されたイメージフィルターを選択することができる。
S150段階において、サーバー400の通信部410は、選択された2つ以上のイメージフィルターに対する情報を対象端末機100に伝送することができる。例えば、対象端末機100の出力部140は、2つ以上のイメージフィルターに対する情報を基盤にイメージを2つ以上のイメージ領域に区分し、2つ以上のイメージ領域にそれぞれ選択された2つ以上のイメージフィルターを適用することができる。
図5は、本発明の実施例に係るサーバーが推薦アルゴリズムを準備する方法を示すフローチャートである。図4及び図5を参照すると、S131段階において、サーバー400の通信部410は、少なくとも1つ以上の端末機から使用者入力情報及びイメージを受信することができる。例えば、少なくとも1つ以上の端末機は、複数の端末機100〜300のうち、対象端末機100を除いた残りの端末機200、300であることができる。使用者入力情報は、対象端末機100の表示部141に入力されるタッチドラッグ(touch drag)入力から生成される情報であることができる。使用者入力情報が生成される方法は、図6〜図8を参照して説明されることができる。
図6〜図8は、本発明の実施例に係る端末機から使用者入力情報が生成される方法を示す図である。
図6に示された端末機は、第2端末機200であるものと仮定する。本発明は、これに限定されず、図6に示された端末機は、第2端末機200または第3端末機300のうちの少なくとも1つで具現されることができる。
第2端末機200の出力部141を介してプレビューイメージが表示されることができる。プレビューイメージは、第2端末機200の入力部110を介して入力された第2端末機200の周辺から反射された光から生成されることができる。例えば、表示部141の第1表示領域142は、プレビューイメージの第1イメージ領域に対応し、第2表示領域143は、プレビューイメージの第2イメージ領域に対応することができる。
第1表示領域142を介して表示される第1イメージ領域及び第2表示領域143を介して表示される第2イメージ領域のそれぞれに互いに異なるイメージフィルターが適用されることができる。例えば、第1表示領域142には、第1イメージフィルター(例えば、「mellow」イメージフィルター)が適用された第1イメージ領域が表示されることができ、第2表示領域143には、第2イメージフィルター(例えば、「hipster」イメージフィルター)が適用された第2イメージ領域が表示されることができる。すなわち、第1イメージ領域は、プレビューイメージで第1イメージフィルターが適用された範囲であることができ、第2イメージ領域は、プレビューイメージで第2イメージフィルターが適用された範囲であることができる。
例えば、第1イメージ領域は、プレビューイメージの左側一部領域に対応することができる。第2イメージ領域は、プレビューイメージの右側一部領域に対応することができる。そして、第2イメージ領域は、プレビューイメージで第1イメージ領域を除いた残りの領域に対応することができる。本発明はこれに限定されず、第1イメージ領域は、プレビューイメージの上側一部領域に対応することができる。第2イメージ領域は、プレビューイメージの下側一部領域に対応することができる。そして、第2イメージ領域は、プレビューイメージで第1イメージ領域を除いた残りの領域に対応することができる。
例えば、第1イメージ領域に適用された第1イメージフィルターは、サーバー400でプレビューイメージに含まれるオブジェクトの種類に応じて、端末機100の使用者が選択する確率が最も高いと予測されたイメージフィルターであることができる。第2イメージ領域に適用された第2イメージフィルターは、サーバー400でプレビューイメージに含まれるオブジェクトの種類に応じて、端末機100の使用者が選択する確率が2番目に高いと予測されたイメージフィルターであることができる。
例えば、第2端末機200の表示部141は、第1表示領域142及び第2表示領域143の境界の任意の地点から始まるタッチドラッグ入力を受信することができる。図6を参照すると、第2端末機200は、第1表示領域142及び第2表示領域143の境界の任意の地点をタッチし、第1方向(D1)にドラッグする使用者入力または第1方向(D1)と反対になる第2方向(D2)にドラッグする使用者入力のうちの1つを受信することができる。例えば、第1方向(D1)は、第2表示領域143から第1表示領域142に向かう方向であり、第2方向(D2)は、第1表示領域142から第2表示領域143に向かう方向であることができる。第2端末機200は、使用者入力に基づいてプレビューイメージの第1イメージ領域または第2イメージ領域の比率を調整することができる。
図7を参照すると、第1表示領域142及び第2表示領域143の境界の任意の地点から始まる第1方向(D1)へのタッチドラッグ入力が受信される場合、端末機100は、タッチドラッグ入力の始点と終点との間の距離に比例するようにプレビューイメージで第2イメージ領域の比率を増加させることができる。そして、第2イメージ領域の比率が増加した分だけ第1イメージ領域の比率が減少するのである。第2イメージ領域の大きさが増加すると、第2イメージ領域に対応する第2表示領域143の大きさも共に増加することができる。
第1表示領域142及び第2表示領域143の境界の任意の地点から始まる第1方向(D1)へのタッチドラッグ入力が受信される場合、第2端末機200は、タッチドラッグ入力の始点と終点との間の距離に比例するようにプレビューイメージで第2イメージ領域の比率を増加させることができる。そして、第2イメージ領域の比率が増加した分だけ第1イメージ領域の比率が減少するのである。第2イメージ領域の大きさが増加すると、第2イメージ領域に対応する第2表示領域143の大きさも共に増加することができる。
図8を参照すると、第1表示領域142及び第2表示領域143の境界の任意の地点から始まる第2方向(D2)へのタッチドラッグ入力が受信される場合、第2端末機200は、タッチドラッグ入力の始点と終点との間の距離に比例するようにプレビューイメージで第1イメージ領域の比率を増加させることができる。そして、第1イメージ領域の比率が増加した分だけ第2イメージ領域の比率は減少するのである。第1イメージ領域の大きさが増加すると、第1イメージ領域に対応する第1表示領域142の大きさも共に増加することができる。
第1イメージ領域の比率が第2イメージ領域よりも増加すると、第1表示領域142で表示される第1イメージ領域の横幅(W1)は、第2表示領域143で表示される第2イメージ領域の横幅(W2)より広くなることができ、プレビューイメージで第2イメージフィルターが適用された第2イメージ領域よりも第1イメージフィルターが適用された第1イメージ領域の大きさがより大きくなることができる。
例えば、第2端末機200は、第1イメージ領域の比率が第2イメージ領域の比率よりも高くなった回数、または第2イメージ領域の比率が第1イメージ領域の比率よりも高くなった回数に関する情報を使用者入力情報として生成することができる。第2端末機200は、生成された使用者入力情報をサーバー400に伝送することができる。
別の例において、第2端末機200は、第1イメージ領域の比率が第2イメージ領域の比率よりも高くなった時間、または第2イメージ領域の比率が第1イメージ領域の比率よりも高くなった時間に関する情報を使用者入力情報として生成することができる。第2端末機200は、生成された使用者入力情報をサーバー400に伝送することができる。
第3端末機300は、図6〜図8を参照して説明された方法と類似または同一の方法で使用者入力情報を生成することができる。第3端末機300は、生成された使用者情報をサーバー400に伝送することができる。
再び図5を参照すると、S132段階において、サーバー400の制御部430は、イメージに含まれたコンテンツの種類を識別することができる。例えば、サーバー400の制御部430は、準備された学習モデルを用いてイメージに含まれたコンテンツの種類を識別することができる。
S133段階において、サーバー400の通信部410は、少なくとも1つ以上の端末機200、300からイメージに適用されるために選択されたイメージフィルターの種類に対する情報を受信することができる。例えば、イメージに適用されるために選択されたイメージフィルターは、少なくとも1つ以上の端末機200、300のそれぞれの使用者が自分の端末機に保存されたイメージに適用したイメージフィルターであることができる。
S134段階において、サーバー400の制御部430は、少なくとも1つ以上の端末機200、300から受信された使用者入力情報、イメージから識別されたコンテンツの種類及び適用されたフィルターの種類を用いて学習モデルを学習することができる。学習モデルは、少なくとも1つ以上の端末機200、300から受信された使用者入力情報、及び少なくとも1つ以上の端末機200、300から受信されたイメージから識別されたコンテンツの種類とイメージに適用されるために選択されたイメージフィルターの種類との間の相関関係について学習された結果であることができる。
サーバー400の制御部430は、学習結果に基づいて人工神経網を訓練し、互いに異なる2つ以上のイメージフィルターを選択するための学習モデルを生成することができる。サーバー400の制御部430は、対象端末機100から受信されたイメージ及び学習モデルを用いて対象端末機100の使用者が選択する確率が高いと予測される少なくとも2つ以上のイメージフィルターを選択することができる。
図9は、本発明の他の実施例に係るサーバーの動作方法を示すフローチャートである。S210段階において、サーバー400の通信部410は、対象端末機100から使用者情報及びイメージを受信することができる。使用者情報は、対象端末機100の使用者が自分の端末機に入力したプロフィール情報であることができる。プロフィール情報は、端末機の使用者の趣味情報、性別情報、年齢情報、または選好するイメージフィルターの種類に対する情報のうちの少なくとも1つを含むことができる。例えば、サーバー400は、対象端末機100から受信されたイメージに適用可能なイメージフィルターを推薦することができるサービスを提供するアプリケーションを実行することができる。
S220段階において、サーバー400の制御部430は、イメージに含まれたコンテンツの種類を識別することができる。例えば、サーバー400の制御部430は、準備された学習モデルを用いてイメージに含まれたコンテンツの種類を識別することができる。
S230段階において、サーバー400の制御部430は、イメージに適用可能なイメージフィルターに対する推薦アルゴリズムを準備することができる。例えば、準備された推薦アルゴリズムは、アプリケーションを介してイメージに適用可能なイメージフィルターを選択するために用いられるデータ認識モデルであることができる。サーバー400の制御部が推薦アルゴリズムを準備する方法は、図10を参照して説明されることができる。
S240段階において、サーバー400の制御部430は、イメージフィルターを選択するための推薦アルゴリズムを用いて、2つ以上のイメージフィルターを選択することができる。例えば、サーバー400の制御部430は、対象端末機100から受信されたイメージに含まれたコンテンツを補正するための2つ以上のイメージフィルターを選択することができる。サーバー400の制御部430は、対象端末機から受信された使用者情報、イメージ、及び推薦アルゴリズムを用いて、互いに異なる2つ以上のイメージフィルターを選択することができる。
例えば、サーバー400の制御部430は、対象端末機100の使用者の使用者情報及びイメージに含まれたコンテンツの種類に応じて、対象端末機100の使用者が選択する確率が高いと予測される2つ以上のイメージフィルターを選択することができる。例えば、サーバー400の制御部430は、対象端末機100の使用者の使用者情報及びイメージに含まれたコンテンツの種類に応じて、端末機100の使用者が選択する確率が最も高いと予測されたイメージフィルター及び選択する確率が2番目に高いと予測されたイメージフィルターを選択することができる。
S250段階において、サーバー400の通信部410は、選択された2つ以上のイメージフィルターに対する情報を対象端末機100に伝送することができる。例えば、対象端末機100の出力部140は、イメージを2つ以上のイメージ領域に区分し、2つ以上のイメージ領域にそれぞれ選択された2つ以上のイメージフィルターを適用することができる。
図10は、本発明の他の実施例に係るサーバーが推薦アルゴリズムを準備する方法を示すフローチャートである。図3、図9、及び図10を参照すると、S231段階において、サーバー400の通信部410は、少なくとも1つ以上の端末機から使用者情報及びイメージを受信することができる。例えば、少なくとも1つ以上の端末機200、300は、複数の端末機100〜300のうち、対象端末機100を除いた残りの端末機であることができる。使用者情報は、少なくとも1つ以上の端末機200、300のそれぞれの使用者が自分の端末機に入力したプロフィール情報であることができる。プロフィール情報は、端末機の使用者の趣味情報、性別情報、年齢情報、または選好するイメージフィルター情報のうちの少なくとも1つを含むことができる。
S232段階において、サーバー400の制御部430は、イメージに含まれたコンテンツの種類を識別することができる。例えば、サーバー400の制御部430は、準備された学習モデルを用いて、イメージに含まれたコンテンツの種類を識別することができる。
S233段階において、サーバー400の通信部410は、少なくとも1つ以上の端末機200、300からイメージに適用されるために選択されたイメージフィルターの種類に対する情報を受信することができる。例えば、選択されたイメージフィルターは、少なくとも1つ以上の端末機200、300のそれぞれの使用者が自分の端末機に入力されたイメージに適用するために選択したイメージフィルターであることができる。
S234段階において、サーバー400の制御部430は、少なくとも1つ以上の端末機200、300から受信された使用者情報、イメージで識別されたコンテンツの種類及び選択されたフィルターの種類を用いて学習モデルを学習することができる。学習モデルは、少なくとも1つ以上の端末機200、300から受信された使用者情報、及びイメージで識別されたコンテンツの種類と適用されたフィルターの種類との間の相関関係について学習された結果であることができる。
サーバー400の制御部430は、学習結果に基づいて人工神経網を訓練し、互いに異なる2つ以上のイメージフィルターを選択するための学習モデルを生成することができる。制御部430は、学習モデル、対象端末機100の使用者の使用者情報及びイメージに含まれたコンテンツの種類を用いて、対象端末機100の使用者が選択する確率が高いと予測される2つ以上のイメージフィルターを選択することができる。
図11は、本発明のまた他の実施例に係るサーバーの動作方法を示すフローチャートである。図3及び図11を参照すると、S310段階において、サーバー400の通信部410は、対象端末機100からイメージを受信することができる。
S320段階において、サーバー400の制御部430は、イメージに含まれたコンテンツの種類を識別することができる。例えば、サーバー400の制御部430は、準備された学習モデルを用いてイメージに含まれたコンテンツの種類を識別することができる。
S330段階において、サーバー400は、コンテンツの種類別に選択されたイメージフィルターの種類に対する情報を準備することができる。S340段階において、サーバー400は、コンテンツの種類別に選択されたイメージフィルターの種類に対する情報を基盤に対象端末機100の使用者が選択するものと予測される2つ以上のイメージフィルターを選択することができる。S330段階及びS340段階は、図12及び図13を参照して詳細に説明されることができる。
図12は、本発明の実施例に係るサーバーに準備されたコンテンツの種類別に選択されたイメージフィルターの種類に対する情報を示す図である。図3、図11及び図12を参照すると、目録に含まれた情報は、複数の端末機100〜300から受信されることができる。目録は、サーバー400の保存部420に保存されることができる。
例えば、第1イメージフィルター履歴情報421は、第1端末機100から受信された、第1コンテンツ(CN1)が含まれたイメージに適用されたイメージフィルターの種類に対する情報を含むことができる。第1端末機100の使用者は、第1コンテンツ(CN1)が含まれたイメージに適用するためのイメージフィルターとして、第2イメージフィルター(IF2)、第3イメージフィルター(IF3)、第6イメージフィルター(IF6)、第7イメージフィルター(IF7)及び第8イメージフィルター(IF8)を選択することができる。
選択されたフィルター(例えば、第2イメージフィルター(IF2)、第3イメージフィルター(IF3)、第6イメージフィルター(IF6)、第7イメージフィルター(IF7)または第8イメージフィルター(IF8))に対する情報は、第1端末機100の使用者によって、第1コンテンツ(CN1)を含むイメージに適用するために、それぞれのイメージフィルターが選択されるたびに、サーバー400に伝送されることができる。
第2イメージフィルター履歴情報422は、第2端末機200から受信された、第1コンテンツ(CN1)が含まれたイメージに適用されたイメージフィルターの種類に対する情報を含むことができる。第2端末機200の使用者は、第1コンテンツ(CN1)が含まれたイメージに適用するためのイメージフィルターとして、第3イメージフィルター(IF3)、第4イメージフィルター(IF4)、第5イメージフィルター(IF5)、第8イメージフィルター(IF8)、第9イメージフィルター(IF9)、及び第10イメージフィルター(IF10)を選択することができる。
選択されたフィルター(例えば、第3イメージフィルター(IF3)、第4イメージフィルター(IF4)、第5イメージフィルター(IF5)、第8イメージフィルター(IF8)、第9イメージフィルター(IF9)、または第10イメージフィルター(IF10))に対する情報は、第2端末機200の使用者によって、第1コンテンツ(CN1)を含むイメージに適用するために、それぞれのイメージフィルターが選択されるたびに、サーバー400に伝送されることができる。
第3イメージフィルター履歴情報423は、第3端末機300から受信された、第1コンテンツ(CN1)が含まれたイメージに適用するために選択されたイメージフィルターの種類に対する情報を含むことができる。第3端末機300の使用者は、第1コンテンツ(CN1)が含まれたイメージに適用するためのイメージフィルターとして、第1イメージフィルター(IF1)、第3イメージフィルター(IF3)、第6イメージフィルター(IF6)、第7イメージフィルター(IF7)、第8イメージフィルター(IF8)、及び第9イメージフィルター(IF9)を選択することができる。
選択されたフィルター(例えば、第1イメージフィルター(IF1)、第3イメージフィルター(IF3)、第6イメージフィルター(IF6)、第7イメージフィルター(IF7)、第8イメージフィルター(IF8)、または第9イメージフィルター(IF9))に対する情報は、第3端末機300の使用者によって、第1コンテンツ(CN1)を含むイメージに適用するために、それぞれのイメージフィルターが選択されるたびに、サーバー400に伝送されることができる。
対象端末機100から受信されたイメージから識別されたコンテンツの種類は、第1コンテンツ(CN1)であることができる。サーバー400は、対象端末機100に提供される2つ以上のイメージフィルターの種類に対する情報を生成するために、複数の端末機100〜300のそれぞれから受信された第1〜第3イメージフィルター履歴情報421〜423を用いることができる。複数の端末機100〜300のそれぞれから受信された第1〜第3イメージフィルター履歴情報421〜423は、対象端末機100からイメージを受信する前に受信され、サーバー400の保存部420に保存されることができる。
サーバー400の制御部430は推薦アルゴリズムであって、協業フィルタリングアルゴリズム(collaborative filtering algorithm)を用いることができる。サーバー400の制御部430は、協業フィルタリングアルゴリズムを用いて、対象端末機100に提供される2つ以上のイメージフィルターの種類に対する情報を生成することができる。より具体的には、サーバー400の制御部430は、協業フィルタリングアルゴリズムを用いて、対象端末機100の使用者が選択する確率が高いと予測されるイメージフィルターを選択することができる。
サーバー400の制御部430は、第2イメージフィルター履歴情報422及び第3イメージフィルター履歴情報423のうち、第1イメージフィルター履歴情報421に含まれたイメージフィルターと重複したイメージフィルターを最も多く含む情報を選択することができる。第2イメージフィルター履歴情報422は、第1イメージフィルター履歴情報421と2つの重複したイメージフィルターを含むことができる。例えば、第2イメージフィルター履歴情報422及び第1イメージフィルター履歴情報421の間に重複したイメージフィルターは、第3イメージフィルター(IF3)、及び第8イメージフィルター(IF8)であることができる。そして、第3イメージフィルター履歴情報423は、第1イメージフィルター履歴情報421と4つの重複したイメージフィルターを含むことができる。例えば、第3イメージフィルター履歴情報423及び第1イメージフィルター履歴情報421の間の重複したイメージフィルターは、第3イメージフィルター(IF3)、第6イメージフィルター(IF6)、第7イメージフィルター(IF7)及び第8イメージフィルター(IF8)であることができる。
第1イメージフィルター履歴情報421と重複したイメージフィルターを最も多く含む情報は、第3イメージフィルター履歴情報423である。したがって、サーバー400の制御部430は、第3端末機300の使用者が選択したイメージフィルターを対象端末機100の使用者が選好するものと予測することができる。
サーバー400の制御部430は、第3イメージフィルター履歴情報423を基盤に対象端末機100に提供されるイメージフィルターの種類を選択することができる。例えば、サーバー400の制御部430は、第3イメージフィルター履歴情報423に含まれたイメージフィルターの種類の中から、第1イメージフィルター履歴情報421に含まれたイメージフィルターの種類と重複していない残りの2つのイメージフィルターを対象端末機100の使用者が選好するイメージフィルターとして選択することができる。残り2つのイメージフィルターは、第1イメージフィルター(IF1)及び第9イメージフィルター(IF9)であることができる。
再び図11を参照すると、S350段階において、サーバー400の通信部410は、選択された2つ以上のイメージフィルターの種類に対する情報を対象端末機に伝送することができる。サーバー400は、協業フィルタリングアルゴリズムを用いて、対象端末機100の使用者が選好するものと予測されたイメージフィルターを選択し、選択されたイメージフィルターの種類に対する情報を対象端末機100に伝送することができる。サーバー400がイメージフィルターの種類に対する情報を対象端末機100に伝送する方法は、図9を参照して説明されることができる。
図13は、本発明の実施例に係る端末機及びサーバーの通信方法を示す図である。図11〜図13を参照すると、サーバー400は、イメージフィルターの種類に対する情報として、第1イメージフィルター情報(IF1_INFp)、及び第9イメージフィルター情報(INF9_INF)を対象端末機100に伝送することができる。
図14は、本発明の他の実施例に係るサーバーの動作方法を示すフローチャートである。図4及び図14を参照すると、S410段階において、サーバー400の通信部410は、対象端末機100からコンテンツの種類に対する情報を受信することができる。例えば、対象端末機100は、イメージに適用されるイメージフィルターを選択できるサービスを提供するアプリケーションを実行することができる。対象端末機100は、準備された学習モデルを用いて、イメージに含まれたコンテンツの種類を識別することができる。
準備された学習モデルは、イメージに含まれたコンテンツの種類を識別するための学習モデルであることができる。コンテンツの種類を識別するための学習モデルは、多数の写真に対するイメージデータ及び多数の写真に含まれたコンテンツの種類の間の相関関係について学習された結果であることができる。対象端末機100は、コンテンツの種類を識別するための学習モデル及びイメージを用いて、イメージに含まれたコンテンツの種類を予測することができる。予測されたコンテンツの種類に対する情報は、対象端末機100からサーバー400に伝送されることができる。
S420段階において、サーバー400の制御部430は、イメージに適用可能なイメージフィルターに対する推薦アルゴリズムを準備することができる。S430段階において、サーバー400の制御部430は、イメージフィルターを選択するための推薦アルゴリズムを用いて、2つ以上のイメージフィルターを選択することができる。そして、S440段階において、サーバー400の通信部410は、選択された2つ以上のイメージフィルターに対する情報を対象端末機100に伝送することができる。S420段階〜S440段階は、それぞれ図4を参照して説明されたS130段階〜S150段階と類似または同一であることができる。したがって、S420段階〜S440段階に対する詳細な説明は省略する。
図1〜図14を参照して説明されたように、本発明の実施例に係るサーバー400は、使用者によって撮影されるイメージに含まれたコンテンツの種類に適した互いに異なる2つ以上のイメージフィルターを自動的に推薦することができる。サーバー400が互いに異なる2つ以上のイメージフィルターを自動的に推薦することによって、使用者の便利性が向上することができる。
以上で説明した実施例は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能なコマンドを含む記録媒体の形態でも具現されることができる。コンピュータ判読可能な媒体は、コンピュータによってアクセスすることができる任意の使用可能な媒体であることができ、揮発性及び非揮発性媒体、分離型及び非分離型媒体をすべて含むことができる。
また、コンピュータ判読可能な媒体は、コンピュータ保存媒体または通信媒体を含むことができる。コンピュータ保存媒体は、コンピュータ判読可能なコマンド、データ構造、プログラムモジュールまたはその他のデータのような情報の保存のための任意の方法または技術で具現された揮発性及び非揮発性、分離型及び非分離型媒体をすべて含むことができる。通信媒体は、典型的にコンピュータ判読可能なコマンド、データ構造、プログラムモジュール、または搬送波のような変調したデータ信号のその他のデータ、またはその他の出力メカニズムを含み、任意の情報伝達媒体を含むことができる。
以上、添付された図面を参照して、本発明の実施例を説明したが、本発明が属する技術分野における通常の知識を有する者は、本発明がその技術的思想や必須的な特徴を変更せず、他の具体的な形で実施できることを理解することができるはずである。したがって、以上で記述した実施例は、あらゆる面で例示的なものであり、限定的ではないことを理解しなければならない。

Claims (16)

  1. サーバーの動作方法において、
    複数の端末機のうちの対象端末機からイメージを受信する段階と、
    前記受信されたイメージに含まれたコンテンツの種類を識別する段階と、
    前記イメージに適用可能なイメージフィルターに対する推薦アルゴリズムを準備する段階と、
    前記推薦アルゴリズムを用いて前記コンテンツの種類に対応する互いに異なる2つ以上のイメージフィルターを選択する段階、及び
    前記選択された2つ以上のイメージフィルターに対する情報を前記対象端末機に伝送する段階を含む動作方法。
  2. 前記イメージに含まれた前記コンテンツの種類を識別する前に、多数の写真に対するイメージデータ及び前記多数の写真に含まれたコンテンツの種類の間の相関関係について学習された、前記イメージに含まれた前記コンテンツの種類を識別するための学習モデルを準備する段階をさらに含む請求項1に記載の動作方法。
  3. 前記対象端末機から前記対象端末機の使用者の趣味情報、性別情報、年齢情報、または選好するイメージフィルターの種類に対する情報のうちの少なくとも1つを含む使用者情報を受信する段階をさらに含む請求項1に記載の動作方法。
  4. 前記イメージに適用される前記イメージフィルターに対する前記推薦アルゴリズムを準備する段階は、
    前記複数の端末機のうちの前記対象端末機を除いた少なくとも1つ以上の端末機のそれぞれから前記使用者情報及びイメージを受信する段階と、
    前記少なくとも1つ以上の端末機のそれぞれから受信された前記イメージに含まれたコンテンツの種類を識別する段階と、
    前記少なくとも1つ以上の端末機のそれぞれから前記イメージに適用するために選択されたイメージフィルターの種類に対する情報を受信する段階、及び
    前記使用者情報、前記識別されたコンテンツの種類に対する情報、及び前記受信されたイメージフィルターの種類に対する情報を用いて、学習モデルを準備する段階を含む請求項3に記載の動作方法。
  5. 前記使用者情報、前記識別されたコンテンツの種類に対する情報、及び前記受信されたイメージフィルターの種類に対する情報を用いて、前記学習モデルを準備する段階は、
    前記使用者情報、及び前記識別されたコンテンツの種類に対する情報と前記受信されたイメージフィルターの種類に対する情報との間の相関関係について学習された前記互いに異なる2つ以上のイメージフィルターを選択するための学習モデルを準備する段階を含む請求項4に記載の動作方法。
  6. 前記推薦アルゴリズムを用いて、前記コンテンツの種類に対応する前記互いに異なる2つ以上のイメージフィルターを選択する段階は、
    前記対象端末機から受信された前記使用者情報、前記対象端末機から受信されたイメージで識別された前記コンテンツの種類に対する情報及び前記学習モデルを用いて、前記対象端末機の使用者が選択する確率が高いと予測される前記2つ以上のイメージフィルターを選択する段階を含む請求項4に記載の動作方法。
  7. 前記受信されたイメージに含まれたコンテンツの種類を識別する段階は、
    前記対象端末機から前記受信されたイメージに含まれた前記コンテンツが、第1コンテンツであると判断する段階を含み、
    前記イメージに適用されるイメージフィルターに対する前記推薦アルゴリズムを準備する段階は、
    前記対象端末機から前記イメージが受信される前に受信された、前記第1コンテンツを含むイメージに適用されるために選択されたイメージフィルターの種類に対するイメージフィルター履歴情報及び前記複数の端末機のうちの前記対象端末機を除いた少なくとも1つ以上の端末機からそれぞれ受信された、前記第1コンテンツを含むイメージに適用されるために選択されたイメージフィルターの種類に対するイメージフィルター履歴情報を準備する段階を含む請求項1に記載の動作方法。
  8. 前記推薦アルゴリズムを用いて、前記コンテンツの種類に対応する前記互いに異なる2つ以上のイメージフィルターを選択する段階は、
    前記少なくとも1つ以上の端末機からそれぞれ受信された、前記イメージフィルター履歴情報の中から前記対象端末機から受信されたイメージフィルター履歴情報に含まれたイメージフィルターと重複したイメージフィルターを最も多く含むイメージフィルター履歴情報を選択する段階、及び
    前記選択されたイメージフィルター履歴情報の中から前記対象端末機から受信された前記イメージフィルター履歴情報と重複していないイメージフィルターに基づいて、前記互いに異なる2つ以上のイメージフィルターを選択する段階を含む請求項7に記載の動作方法。
  9. 前記受信されたイメージに含まれた前記コンテンツの種類を識別する段階は、
    前記コンテンツは、人、特定のオブジェクト(object)、特定の動物、特定の風景、特定のパターンまたは特定の色のうちの少なくとも1つを含んでいるか否かを検出する段階を含む請求項1に記載の動作方法。
  10. 前記推薦アルゴリズムを用いて、前記コンテンツの種類に対応する前記互いに異なる2つ以上のイメージフィルターを選択する段階は、
    前記推薦アルゴリズムを用いて、前記対象端末機の使用者が選択する確率が最も高いと予測された第1イメージフィルター、及び前記対象端末機の前記使用者が選択する確率が2番目に高いと予測された第2イメージフィルターを選択する段階を含む請求項1に記載の動作方法。
  11. 請求項1に記載の動作方法をコンピュータで実行させるプログラムが記録されたコンピュータ判読可能な記録媒体。
  12. 複数の端末機のうちで対象端末機からイメージを受信する通信部、及び
    前記受信されたイメージに含まれたコンテンツの種類を識別し、前記イメージに適用されるイメージフィルターに対する推薦アルゴリズムを用いて、互いに異なる2つ以上のイメージフィルターを選択する制御部を含み、
    前記制御部は、前記推薦アルゴリズムを用いて、前記対象端末機の使用者が選択する確率が最も高いと予測された第1イメージフィルター、及び前記対象端末機の使用者が選択する確率が2番目に高いと予測された第2イメージフィルターを選択し、
    前記通信部は、前記第1イメージフィルターに対する情報及び前記第2イメージフィルターに対する情報を前記対象端末機に伝送するサーバー。
  13. 前記制御部は、前記対象端末機から前記受信されたイメージに含まれた前記コンテンツが第1コンテンツであると判断し、
    前記通信部は、前記対象端末機から前記イメージが受信される前に受信された、前記第1コンテンツを含むイメージに適用されるために選択されたイメージフィルターの種類に対するイメージフィルター履歴情報及び前記複数の端末機のうちで前記対象端末機を除いた少なくとも1つ以上の端末機からそれぞれ受信された、前記第1コンテンツを含むイメージに適用されるために選択されたイメージフィルターの種類に対するイメージフィルター履歴情報を受信する請求項12に記載のサーバー。
  14. 前記制御部は、前記少なくとも1つ以上の端末機からそれぞれ受信された、前記イメージフィルター履歴情報の中から前記対象端末機から受信されたイメージフィルター履歴情報に含まれたイメージフィルターと重複したイメージフィルターを最も多く含むイメージフィルター履歴情報を選択し、前記選択されたイメージフィルター履歴情報の中から前記対象端末機から受信された前記イメージフィルター履歴情報と重複していないイメージフィルターに基づいて、前記互いに異なる2つ以上のイメージフィルターを選択する請求項13に記載のサーバー。
  15. 前記通信部は、前記対象端末機から前記対象端末機の使用者の趣味情報、性別情報、年齢情報、または選好するイメージフィルターの種類に対する情報のうちの少なくとも1つを含む使用者情報を受信する請求項12に記載のサーバー。
  16. 前記通信部は、前記複数の端末機のうちで前記対象端末機を除いた少なくとも1つ以上の端末機のそれぞれから前記使用者情報、イメージフィルターが適用されたイメージ及び前記イメージフィルターが適用されたイメージのイメージフィルターの種類に対する情報を受信し、
    前記制御部は、前記少なくとも1つ以上の端末機のそれぞれから受信された前記イメージフィルターが適用されたイメージに含まれたコンテンツの種類を識別し、前記使用者情報、前記識別されたコンテンツの種類、及び前記受信されたイメージフィルターの種類の間の相関関係について学習された、前記互いに異なる2つ以上のイメージフィルターを選択するための前記推薦アルゴリズムを準備する請求項15に記載のサーバー。
JP2019023297A 2018-02-14 2019-02-13 サーバー及びその動作方法(server and operating method thereof) Active JP6732977B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180018563A KR20190098518A (ko) 2018-02-14 2018-02-14 서버 및 그것의 동작 방법
KR10-2018-0018563 2018-02-14

Publications (2)

Publication Number Publication Date
JP2019139775A true JP2019139775A (ja) 2019-08-22
JP6732977B2 JP6732977B2 (ja) 2020-07-29

Family

ID=65628514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019023297A Active JP6732977B2 (ja) 2018-02-14 2019-02-13 サーバー及びその動作方法(server and operating method thereof)

Country Status (4)

Country Link
US (1) US11080325B2 (ja)
EP (1) EP3528203A1 (ja)
JP (1) JP6732977B2 (ja)
KR (1) KR20190098518A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
US10078909B1 (en) * 2017-05-16 2018-09-18 Facebook, Inc. Video stream customization using graphics
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
US11935154B2 (en) * 2022-03-02 2024-03-19 Microsoft Technology Licensing, Llc Image transformation infrastructure

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018571A (ja) * 2010-07-08 2012-01-26 Ntt Docomo Inc コンテンツ推薦装置及び方法
JP2015179223A (ja) * 2014-03-20 2015-10-08 フリュー株式会社 サーバ、写真撮影編集装置、情報処理端末、制御プログラム、および記録媒体
JP2016508248A (ja) * 2012-12-21 2016-03-17 グーグル インコーポレイテッド 写真の変換提案
US20160127653A1 (en) * 2014-11-03 2016-05-05 Samsung Electronics Co., Ltd. Electronic Device and Method for Providing Filter in Electronic Device
JP2017520855A (ja) * 2014-07-07 2017-07-27 スナップ インコーポレイテッド コンテンツ認識フォトフィルタを供給するための装置および方法
JP2017228224A (ja) * 2016-06-24 2017-12-28 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254674B2 (en) * 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US8526728B2 (en) 2010-12-21 2013-09-03 Microsoft Corporation Establishing clusters of user preferences for image enhancement
WO2014148829A1 (en) 2013-03-20 2014-09-25 Samsung Electronics Co., Ltd. Method and apparatus for processing an image based on detected information
US9230328B1 (en) 2013-06-28 2016-01-05 Google Inc. Providing image parameters
CN103413270A (zh) 2013-08-15 2013-11-27 北京小米科技有限责任公司 一种图像的处理方法、装置和终端设备
EP3134873A1 (en) 2014-04-25 2017-03-01 Sony Corporation Processing digital photographs in response to external applications
US20150370474A1 (en) 2014-06-19 2015-12-24 BrightSky Labs, Inc. Multiple view interface for video editing system
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018571A (ja) * 2010-07-08 2012-01-26 Ntt Docomo Inc コンテンツ推薦装置及び方法
JP2016508248A (ja) * 2012-12-21 2016-03-17 グーグル インコーポレイテッド 写真の変換提案
JP2015179223A (ja) * 2014-03-20 2015-10-08 フリュー株式会社 サーバ、写真撮影編集装置、情報処理端末、制御プログラム、および記録媒体
JP2017520855A (ja) * 2014-07-07 2017-07-27 スナップ インコーポレイテッド コンテンツ認識フォトフィルタを供給するための装置および方法
US20160127653A1 (en) * 2014-11-03 2016-05-05 Samsung Electronics Co., Ltd. Electronic Device and Method for Providing Filter in Electronic Device
JP2017228224A (ja) * 2016-06-24 2017-12-28 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP6732977B2 (ja) 2020-07-29
KR20190098518A (ko) 2019-08-22
US11080325B2 (en) 2021-08-03
EP3528203A1 (en) 2019-08-21
US20190251118A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
JP6732977B2 (ja) サーバー及びその動作方法(server and operating method thereof)
US10855933B2 (en) Terminal and image processing method thereof
US11470385B2 (en) Method and apparatus for filtering video
US11222413B2 (en) Method for correcting image by device and device therefor
EP2980758B1 (en) Method and device for providing image
US20200118010A1 (en) System and method for providing content based on knowledge graph
US10382907B2 (en) Device and method for providing notification message about call request
US11868739B2 (en) Device and method for providing application translation information
US11580354B2 (en) Computing apparatus using convolutional neural network and method of operating the same
KR102420567B1 (ko) 음성 인식 장치 및 방법
US11606397B2 (en) Server and operating method thereof
US20190294652A1 (en) Electronic device and operation method thereof
EP3654291A1 (en) Image processing system, method and computer readable recording medium thereof
CN113366520A (zh) 用于更新人工智能模型的电子设备、服务器及其操作方法
KR102399594B1 (ko) 디스플레이 장치 및 그 동작 방법
KR102399809B1 (ko) 전자 장치 및 그 제어 방법
KR102423754B1 (ko) 디바이스 사용 문의에 대한 응답을 제공하는 디바이스 및 방법
US20210004702A1 (en) System and method for generating information for interaction with a user
KR20200051540A (ko) 서버 및 그것의 동작 방법
KR20180106731A (ko) 인공지능 에이전트를 구비하는 이동 단말기
KR102289194B1 (ko) 서버 및 그것의 동작 방법
US20190251355A1 (en) Method and electronic device for generating text comment about content
US20200327451A1 (en) Electronic apparatus and server for refining artificial intelligence model, and method of refining artificial intelligence model
US11531912B2 (en) Electronic apparatus and server for refining artificial intelligence model, and method of refining artificial intelligence model
KR20220088169A (ko) 인공지능 모델을 변환하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200708

R150 Certificate of patent or registration of utility model

Ref document number: 6732977

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250