JP2019135645A - 端末機及びこれのイメージ処理方法(terminal and image processing method thereof) - Google Patents

端末機及びこれのイメージ処理方法(terminal and image processing method thereof) Download PDF

Info

Publication number
JP2019135645A
JP2019135645A JP2019013990A JP2019013990A JP2019135645A JP 2019135645 A JP2019135645 A JP 2019135645A JP 2019013990 A JP2019013990 A JP 2019013990A JP 2019013990 A JP2019013990 A JP 2019013990A JP 2019135645 A JP2019135645 A JP 2019135645A
Authority
JP
Japan
Prior art keywords
image
area
ratio
filter
preview
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019013990A
Other languages
English (en)
Other versions
JP6887612B2 (ja
Inventor
アン サンギル
Sangil Ahn
アン サンギル
シン ボムジュン
Beomjun Shin
シン ボムジュン
オウ ミンシク
Minsik Oh
オウ ミンシク
チョイ ウンヘ
Eunhee Choi
チョイ ウンヘ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyperconnect LLC
Original Assignee
Hyperconnect LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyperconnect LLC filed Critical Hyperconnect LLC
Publication of JP2019135645A publication Critical patent/JP2019135645A/ja
Application granted granted Critical
Publication of JP6887612B2 publication Critical patent/JP6887612B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20008Globally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】使用者によって撮影されるイメージに含まれるオブジェクトの種類に適した2つ以上のイメージフィルターを推薦可能な端末機及びイメージ処理方法を提供する。【解決手段】端末機は、周辺から反射された光から変換されたプレビューイメージの入力を受ける入力部と、プレビューイメージに含まれるオブジェクトの種類を識別し、プレビューイメージに適用されるイメージフィルターに対する推薦アルゴリズムを用いて2つ以上のイメージフィルターを選択する制御部、及び選択された2つ以上のイメージフィルターが適用されたプレビューイメージをディスプレーする表示部を含み、制御部は、2つ以上のフィルターのうちの第1イメージフィルターをプレビューイメージの第1イメージ領域に適用し、第1イメージフィルターと異なる第2イメージフィルターをプレビューイメージの第1イメージ領域を除いた領域である第2イメージ領域に適用することができる。【選択図】図3

Description

記載された実施例は、使用者が撮影しようとするイメージに含まれるオブジェクトの種類に応じて、使用者が選択すると予測される2つ以上のイメージフィルターを推薦することができる端末機及びこれのイメージ処理方法に関するものである。
通信技術が発展し、電子装置が小型化するに伴い、個人用端末機が一般消費者に広く普及している。特に最近では、スマートフォンまたはスマートタブレットのような携帯用個人端末機が広く普及している。ほとんどの端末機は、イメージ撮影技術を含んでいる。使用者は、端末機を用いて様々なオブジェクトを含むイメージを撮影することができる。
また、使用者は、端末機にダウンロード可能な様々なアプリケーションを用いて撮影されたイメージを補正することができる。例えば、使用者はアプリケーションで提供される様々なイメージフィルターを用いて撮影されたイメージを補正することができる。アプリケーションを介して提供されるイメージフィルターが様々であるため、使用者は撮影されたイメージにすべてのイメージフィルターを適用してみることが困難である。また、使用者は、撮影されたイメージに含まれるオブジェクトに最適なイメージフィルターが何なのか分からないこともある。
記載された実施例によれば、使用者によって撮影されるイメージに含まれるオブジェクトの種類に適した2つ以上のイメージフィルターを推薦することができる端末機及びこれのイメージ処理方法が提供されることができる。
また、実施例によれば、2つ以上のイメージフィルターを自動的に推薦することによって使用者の便利性を向上させることができる端末機及びこれのイメージ処理方法が提供されることができる。
本発明の実施例に係る端末機で行われるイメージ処理方法は、端末機の周辺から反射された光から変換されたプレビューイメージの入力を受ける段階と、プレビューイメージに含まれるオブジェクトの種類を識別する段階と、プレビューイメージに適用されるイメージフィルターに対する推薦アルゴリズムを準備する段階と、推薦アルゴリズムを用いてオブジェクトの種類に対応する互いに異なる2つ以上のイメージフィルターを選択する段階、及び選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力する段階を含むことができる。
実施例において、端末機で行われるイメージ処理方法は、プレビューイメージに含まれるオブジェクトの種類を識別する前に、多数の写真に対するイメージデータ及び多数の写真に含まれるオブジェクトの種類との間の相関関係について学習された、プレビューイメージに含まれるオブジェクトの種類を識別するための学習モデルを準備する段階をさらに含むことができる。
実施例において、プレビューイメージに適用されるイメージフィルターに対する推薦アルゴリズムを準備する段階は、多数のイメージに含まれるオブジェクトの種類及び多数のイメージを補正するために選択されたイメージフィルターの種類との間の相関関係について学習された、イメージフィルターを推薦するための学習モデルを準備する段階を含むことができる。
実施例において、推薦アルゴリズムを用いてオブジェクトの種類に対応する互いに異なる2つ以上のイメージフィルターを選択する段階は、イメージフィルターを推薦するための学習モデル及びプレビューイメージを用いて、プレビューイメージに含まれるオブジェクトの種類に応じて端末機の使用者が選択する確率が高いと予測される2つ以上のイメージフィルターを選択する段階を含むことができる。
実施例において、推薦アルゴリズムを用いてオブジェクトの種類に対応する互いに異なる2つ以上のイメージフィルターを選択する段階は、プレビューイメージに含まれるオブジェクトの種類に応じて端末機の使用者が選択する確率が最も高いと予測された第1イメージフィルター、及びプレビューイメージに含まれるオブジェクトの種類に応じて端末機の使用者が選択する確率が2番目に高いと予測された第2イメージフィルターを選択する段階をさらに含むことができる。
実施例において、選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力する段階は、第1イメージフィルターをプレビューイメージの第1イメージ領域に適用する段階、及び第2イメージフィルターをプレビューイメージの第1イメージ領域を除いた領域である第2イメージ領域に適用する段階を含むことができる。
実施例において、選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力する段階は、第1イメージ領域に対応する端末機の第1表示領域または第2イメージ領域に対応する端末機の第2表示領域に入力されたタッチドラッグ入力を受信する段階、及びタッチドラッグ入力が受信された表示領域に対応するイメージ領域に適用されたイメージフィルターを第1イメージフィルター及び第2イメージフィルターとは異なる第3イメージフィルターに変更する段階をさらに含むことができる。
実施例において、第3イメージフィルターは、イメージフィルターを推薦するための学習モデル及びプレビューイメージを用いてプレビューイメージに含まれるオブジェクトの種類に応じて端末機の使用者が選択する確率が3番目に高いと予測されることができる。
実施例において、第1イメージ領域に対応する端末機の第1表示領域または第2イメージ領域に対応する端末機の第2表示領域に入力されたタッチドラッグ入力を受信する段階は、第1表示領域または第2表示領域に入力された、第1表示領域から第2表示領域に向かう方向と垂直な第1方向または第1方向と反対である第2方向へのタッチドラッグ入力を受信する段階を含むことができる。
実施例において、選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力する段階は、第1表示領域及び第2表示領域の境界の任意の地点から始まるタッチドラッグ入力を受信する段階と、タッチドラッグ入力に基づいて第1イメージ領域の比率及び第2イメージ領域の比率を調整する段階と、第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断する段階、及び判断結果に応じて、基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターをプレビューイメージの全領域に適用する段階をさらに含むことができる。
実施例において、第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断する段階は、第1イメージ領域の大きさまたは第2イメージ領域の大きさのうちのいずれか1つが基準大きさ以上広くなっていることを判断する段階を含むことができる。
実施例において、第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断する段階は、第1イメージ領域の横幅または第2イメージ領域の横幅のうちのいずれか1つが基準幅以上広くなっていることを判断する段階を含むことができる。
実施例において、端末機で行われるイメージ処理方法は、基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターをプレビューイメージの全領域に適用する段階後に、撮影アイコンを出力する段階、及び撮影アイコンにタッチ入力が受信されると、基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターが適用されたプレビューイメージを保存する段階をさらに含むことができる。
実施例において、タッチドラッグ入力に基づいて、第1イメージ領域の比率及び第2イメージ領域の比率を調整する段階は、第1表示領域及び第2表示領域の境界の任意の地点から第2表示領域から第1表示領域に向かう方向へのタッチドラッグ入力が受信される場合、タッチドラッグ入力の始点と終点との間の距離に比例するようにプレビューイメージで第2イメージ領域の比率を増加させることができる。
実施例において、タッチドラッグ入力に基づいて第1イメージ領域の比率及び第2イメージ領域の比率を調整する段階は、第1表示領域及び第2表示領域の境界の任意の地点から第1表示領域から第2表示領域に向かう方向へのタッチドラッグ入力が受信される場合、タッチドラッグ入力の始点と終点との間の距離に比例するようにプレビューイメージで第1イメージ領域の比率を増加させることができる。
本発明の実施例に係る端末機は、周辺から反射された光から変換されたプレビューイメージの入力を受ける入力部と、プレビューイメージに含まれるオブジェクト(object)の種類を識別し、プレビューイメージに適用されるイメージフィルターに対する推薦アルゴリズムを用いて2つ以上のイメージフィルターを選択する制御部、及び選択された2つ以上のイメージフィルターが適用されたプレビューイメージを表示する表示部を含み、制御部は、選択された2つ以上のフィルターのうちの第1イメージフィルターをプレビューイメージの第1イメージ領域に適用し、第1イメージフィルターと異なる第2イメージフィルターをプレビューイメージの第1イメージ領域を除いた領域である第2イメージ領域に適用することができる。
実施例において、表示部は、第1イメージ領域に対応する表示部の第1表示領域または第2イメージ領域に対応する表示部の第2表示領域に入力されたタッチドラッグ(touch drag)入力を受信し、制御部は、タッチドラッグ入力が受信された表示領域に対応するイメージ領域に適用されたイメージフィルターを第1イメージフィルター及び第2イメージフィルターとは異なる第3イメージフィルターに変更することができる。
実施例において、表示部は、第1表示領域または第2表示領域に入力された、第1表示領域から第2表示領域に向かう方向と垂直な第1方向または第1方向と反対である第2方向へのタッチドラッグ入力を受信することができる。
実施例において、表示部は、第1イメージ領域に対応する表示部の第1表示領域及び第2イメージ領域に対応する表示部の第2表示領域の境界の任意の地点から始まるタッチドラッグ入力を受信し、タッチドラッグ入力に基づいて、第1イメージ領域の比率及び第2イメージ領域の比率を調整し、制御部は、第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断し、判断結果に応じて、基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターをプレビューイメージの全領域に適用することができる。
記載された実施例によれば、使用者によって撮影されるイメージに含まれるオブジェクトの種類に適した互いに異なる2つ以上のイメージフィルターが自動的に推薦されることができる。
また、実施例によれば、互いに異なる2つ以上のイメージフィルターを自動的に推薦することによって、使用者の便利性が向上することができる。
本発明の実施例に係る電子装置が動作する環境を示すネットワーク構成図である。 本発明の実施例に係る端末機の構成を示すブロック図である。 本発明の実施例に係る端末機の動作方法を示すブロック図である。 本発明の実施例に係る2つ以上のイメージフィルターを用いて補正されたプレビューイメージが出力される端末機を示す図である。 本発明の実施例に係る端末機のイメージフィルター適用方法を示すフローチャートである。 他の実施例に係る2つ以上のイメージフィルターを用いて補正されたプレビューイメージが出力される端末機を示す図である。 本発明の他の実施例に係る端末機の動作方法を示すフローチャートである。 本発明の実施例に係るプレビューイメージの2つ以上のイメージ領域の比率を調節する方法を示す図である。 本発明の実施例に係るプレビューイメージの2つ以上のイメージ領域の比率を調節する方法を示す図である。 本発明の実施例に係るプレビューイメージの2つ以上のイメージ領域の比率を調節する方法を示す図である。 本発明の実施例に係る選択されたイメージフィルターを用いて補正されたプレビューイメージが出力される端末機を示す図である。
本発明の利点及び特徴、そしてそれを達成する方法は、添付した図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に限定されるものではなく、互いに異なる様々な形態で具現されるものであり、単に本実施例は、本発明の開示が完全になるようにして、本発明が属する技術分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇によって定義されるだけである。明細書全体にわたって同一の参照符号は、同一の構成要素を指す。
「第1」または「第2」などが様々な構成要素を記述するために使用されるが、このような構成要素は、前記のような用語によって制限されるものではない。前記のような用語は、単に1つの構成要素を他の構成要素と区別するために使用することができる。したがって、以下に言及される第1構成要素は、本発明の技術的思想内で第2構成要素であることもできる。
本明細書で使用される用語は、実施例を説明するためのものであって、本発明を制限しようとするものではない。本明細書において、単数形は、文句で特に言及しない限り、複数形も含む。明細書で使用される「含む(comprises)」または「含んでいる(comprising)」は、言及された構成要素または段階が1つ以上の他の構成要素または段階の存在または追加を排除しないという意味を内包する。
他の定義がなければ、本明細書で使用されるすべての用語は、本発明が属する技術分野における通常の知識を有する者に共通的に理解され得る意味として解釈されることができる。また、一般的に使用される辞書に定義されている用語は、明白に定義されていない限り理想的にまたは過度に解釈されない。
図1は、本発明の実施例に係る電子装置が動作する環境を示すネットワーク構成図である。図1を参照すると、電子装置100が動作する環境は、サーバー200及び電子装置100を含むことができる。例えば、電子装置100が動作する環境は、サーバー200を含めないことが有り得る。
電子装置100は、サーバー200を媒介として連結されることができる。本発明の説明の便宜のために、図1に1つの電子装置が示されている。しかし、電子装置の数は、1つに限定されない。電子装置100は、デスクトップコンピュータ、ラップトップコンピュータ、スマートフォン、スマートタブレット、スマートウォッチ、移動端末、デジタルカメラ、ウェアラブルデバイス(wearable device)、または携帯用電子機器のうちのいずれが1つで具現されることができる。電子装置100は、プログラムまたはアプリケーションを実行することができる。
電子装置100は、通信網に連結されることができる。電子装置100は、通信網を介して外部の他の装置と互いに連結されることができる。電子装置100は、互いに連結された他の装置にデータを出力したり、他の装置からデータを受信することができる。
電子装置100と連結された通信網は、有線通信網、無線通信網、または複合通信網を含むことができる。通信網は、3G、LTE、またはLTE−Aなどのような移動通信網を含むことができる。通信網は、ワイファイ(Wi−Fi)、UMTS/GPRS、またはイーサネット(登録商標)(Ethernet)などのような有線または無線通信網を含むことができる。通信網は、マグネチック保安出力(MST、Magnetic Secure Transmission)、RFID(Radio Frequency IDentification)、NFC(Near Field Communication)、ジグビー(ZigBee)、Z−Wave、ブルートゥース(Bluetooth(登録商標))、低電力ブルートゥース(BLE、Bluetooth Low Energy)、または赤外線通信(IR、InfraRed communication)などのような近距離通信網を含むことができる。通信網は、近距離ネットワーク(LAN、Local Area Network)、メトロポリタン・エリア・ネットワーク(MAN、Metropolitan Area Network)、またはワイド・エリア・ネットワーク(WAN、Wide Area Network)などを含むことができる。
サーバー200は、電子装置100の使用者が電子装置100を用いて撮影したイメージを補正することができるように、各種プログラムまたはアプリケーション及びデータを保存することができる。
以下では、発明の説明の便宜のために、電子装置及び端末機は、同じ意味で使用することができる。そして、電子装置100及びサーバー200の通信方法は、図2〜図11を参照して説明される。
図2は、本発明の実施例に係る端末機の構成を示すブロック図である。図2を参照すると、端末機100は、入力部110、保存部120、制御部130、出力部140及び通信部150を含むことができる。
入力部110は、外部からの信号を受信することができる。入力部110は、端末機100の使用者からの信号を受信することができる。また、入力部110は、外部装置からの信号を受信することができる。入力部110は、例えば、マイク、カメラ、キーボード、マウス、トラックボール、タッチスクリーン、ボタン、スイッチ、センサー、ネットワークインターフェース、またはその他の入力装置などを含むことができる。入力部110は、入力部110に含まれるマイクを介して外部からの音声を受信することができる。また、入力部110は、入力部110に含まれるカメラから撮影されたイメージまたは使用者からのジェスチャーを受信することができる。または、入力部100は、端末機100の周辺から反射された光から変換されたプレビューイメージ(preview image)の入力を受けることができる。入力部110に含まれるタッチスクリーンは、端末機100の使用者からのタッチ入力を受信することができる。
保存部120は、データを保存することができる。保存部120は、入力部110から受信された音声またはイメージデータを保存することができる。そして、保存部120は、制御部130によって行われた演算結果を保存することができる。例えば、保存部120は、制御部130によってエンコーディングされた音声を保存することができる。保存部120は、通信部150を介して外部に出力するデータを保存したり、通信部150を介して外部から受信されたデータを保存することができる。
保存部120は、ソフトウェアまたはプログラムを保存することができる。例えば、保存部120は、アプリケーション、アプリケーション・プログラミング・インターフェース(API)などのようなプログラム及び様々な種類のデータを保存することができる。保存部120は、制御部130により実行可能なコマンドを保存することができる。
保存部120は、揮発性メモリーまたは非揮発性メモリーのうちの少なくとも1つを含むことができる。保存部120は、例えば、フラッシュ(flash)メモリー、ROM(Read Only Memory)、RAM(Random Access Memory)、EEROM(Electrically Erasable ROM)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)、ハードディスクドライブ(HDD、Hard Disk Drive)、またはレジスター(register)のうちの少なくとも1つを含むことができる。保存部120は、例えば、ファイルシステム、データベース、またはエンベデッドデータベースなどを含むことができる。
制御部130または制御部130に含まれる構成要素のそれぞれは、ソフトウェア(software)またはハードウェア(hardware)形態で具現されることができる。例示的には、ソフトウェアは、機械コード、ファームウェアコード(firmware code)、エンベデッドコード(embedded code)、及びアプリケーション(application)などのようなプログラム実行コマンドによって具現されることができる。ハードウェアは、電気電子回路、プロセッサー、コンピュータ、圧力センサー、慣性センサー、MEMS(microelectromechanical system)、受動素子、またはこれの組み合わせであることができる。
制御部130は、端末機100の動作を制御することができる。制御部130は、端末機100に含まれるそれぞれの構成要素と互いに連結されることができる。制御部130は、端末機100に含まれるそれぞれの構成要素の動作を制御することができる。制御部130は、入力部110によって受信された信号に対する応答で、端末機100の動作を制御することができる。
制御部130は、入力部110を介して入力されるプレビューイメージを検査することができる。プレビューイメージは、端末機100の使用者が入力部100を介して入力されるイメージを保存する前に、入力部110を介して入力されるイメージを意味することができる。例えば、制御部130は、入力されたプレビューイメージに含まれるオブジェクト(object)の種類を識別することができる。
制御部130は、プレビューイメージに含まれるオブジェクトの種類が事物であるかまたは人であるかを識別することができる。より具体的には、プレビューイメージに含まれるオブジェクトが事物の場合には、制御部130は、事物の種類、色、またはパターンなどを識別することができる。または、制御部130は、プレビューイメージに含まれるオブジェクトの種類が特定の動物、特定の食品、特定の風景または特定の部品であることを識別することができる。
制御部130は、準備された学習モデルを用いて、プレビューイメージに含まれるオブジェクトの種類に適した2つ以上のイメージフィルターを選択することができる。制御部130が2つ以上のイメージフィルターを選択する方法は、図2〜図8を参照して、詳細に説明されることができる。
出力部140は、表示部141を含むことができる。表示部141は、画面を表示することができる。制御部130は、表示部141に画面が表示されるように制御することができる。表示部141は、ユーザーインターフェースを表示することができる。表示部141は、使用者からの入力に対する応答として、他の画面を表示することができる。
表示部141は、データを表示することができる。表示部141は、制御部130によって行われた演算結果を表示することができる。例えば、表示部141は、制御部130によって選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力することができる。表示部141は、保存部120に保存されたデータを表示することができる。表示部141は、通信部150によって受信されたデータを表示することができる。例えば、表示部141は、入力部110から受信されるイメージを表示することができる。
表示部141は、例えば、LCD(Liquid Crystal Display)、OLED(Organic Light Emitting Diode)、またはPDP(Plasma Display Panel)などの平板表示装置を含むことができる。表示部141は、曲面ディスプレイまたはフレキシブルディスプレイ(flexible display)を含むことができる。表示部141は、タッチスクリーンを含むことができる。表示部141がタッチスクリーンを含む場合、表示部141は、出力動作を行うとともに、入力部110として動作することができる。
出力部140は、音声を出力することができる。出力部140は、入力部110を介して受信された音声、または外部装置を介して受信された音声を出力することができる。例えば、出力部140は、スピーカー(speaker)を含むことができる。
通信部150は、外部にデータを出力したり、外部からのデータを受信することができる。通信部150は、サーバー200または外部装置にデータを出力することができる。通信部150は、サーバー200及び外部装置からデータを受信することができる。通信部150は、制御部130によって行われた演算結果を外部に出力することができる。また、通信部150は、保存部120に保存されたデータを外部に出力することができる。
通信部150によって出力されるデータまたは通信部150によって受信されたデータは、保存部120に保存されることができる。例えば、通信部150は、制御部130で生成されたメッセージをサーバー200に出力することができる。
通信部150は、例えば、3Gモジュール、LTEモジュール、LTE−Aモジュール、Wi−Fiモジュール、ワイギグ(WiGig)モジュール、UWB(Ultra Wide Band)モジュール、またはLANカードなどのような遠距離用のネットワークインターフェースを含むことができる。また、通信部150は、マグネチック保安出力(MST)モジュール、ブルートゥースモジュール、NFCモジュール、RFIDモジュール、ジグビー(ZigBee)モジュール、Z−Waveモジュール、または赤外線モジュールなどのような近距離用ネットワークインターフェースを含むことができる。また、通信部150は、その他のネットワークインターフェースを含むことができる。
図3は、本発明の実施例に係る端末機の動作方法を示すブロック図である。S110段階において、端末機100の入力部110は、プレビューイメージの入力を受けることができる。例えば、端末機100は、入力部110を介して入力されるイメージを補正することができるサービスを提供するアプリケーションを実行することができる。そして、プレビューイメージは、端末機100の周辺から反射された光から変換されたイメージであることができる。
S120段階において、端末機100の制御部130は、プレビューイメージに含まれるオブジェクトの種類を識別することができる。例えば、端末機100の制御部130は、準備された学習モデルを用いて、プレビューイメージに含まれるオブジェクトの種類を識別することができる。
準備された学習モデルは、アプリケーションを介して補正されるプレビューイメージに含まれるオブジェクトの種類を識別するために用いられるデータ認識モデルであることができる。データ認識モデルは、人工神経網(Neural Network)を基盤とするモデルであることができる。例えば、学習モデルは、DNN(Deep Neural Network)、RNN(Recurrent Neural Network)、及びBRDNN(Bidirectional Recurrent Deep Neural Network)のようなモデルがデータ認識モデルとして使用されることができるが、これに限定されない。
準備された学習モデルは、プレビューイメージに含まれるオブジェクトの種類を識別するための学習モデルであることができる。オブジェクトの種類を識別するための学習モデルは、多数の写真イメージデータ及び多数の写真に含まれるオブジェクトの種類の間の相関関係について学習された結果であることができる。例えば、端末機100は、多数の写真イメージデータ及び多数の写真に含まれるオブジェクトの種類の間の相関関係を学習することができる。端末機100は、学習結果に基づいて、人工神経網を訓練し、プレビューイメージに含まれるオブジェクトの種類を識別するための学習モデルを生成することができる。
別の例において、端末機100は、サーバー200からオブジェクトの種類を識別するための学習モデルを受信することができる。この場合、サーバー200がプレビューイメージに含まれるオブジェクトの種類を識別するための学習モデルを生成することができる。
S130段階において、端末機100の制御部130は、プレビューイメージに適用されるイメージフィルターに対する推薦アルゴリズムを準備することができる。例えば、準備された推薦アルゴリズムは、プレビューイメージをアプリケーションを介して補正するために用いられるデータ認識モデルであることができる。データ認識モデルは、人工神経網を基盤とするモデルであることができる。例えば、学習モデルはDNN、RNN、及びBRDNNのようなモデルがデータ認識モデルとして使用されることができるが、これに限定されない。
準備された推薦アルゴリズムは、プレビューイメージを補正するのに使用されるイメージフィルターを推薦するための学習モデルであることができる。イメージフィルターを推薦するための学習モデルは、多数のイメージに含まれるオブジェクトの種類及び多数のイメージを補正するために、使用者によって選択されたイメージフィルターの種類の間の相関関係について学習された結果であることができる。例えば、端末機100は、多数のイメージに含まれるオブジェクトの種類及び多数のイメージを補正するために選択されたイメージフィルターの種類の間の相関関係を学習することができる。例えば、イメージフィルターの種類は、多数のイメージのうちの特定イメージを補正するために端末機100の使用者によって選択された補正効果であることができる。端末機100は、学習結果に基づいて人工神経網を訓練し、プレビューイメージの補正に使用されるイメージフィルターの種類を選択するための学習モデルを生成することができる。
別の例において、端末機100は、サーバー200からイメージフィルターを推薦するための推薦アルゴリズムを受信することができる。この場合、サーバー200はイメージフィルターを推薦するための推薦アルゴリズムを生成することができる。
S140段階において、端末機100の制御部130は、イメージフィルターを選択するための推薦アルゴリズムを用いて、2つ以上のイメージフィルターを選択することができる。例えば、端末機100の制御部130は、プレビューイメージに含まれるオブジェクトを補正するために、2つ以上のイメージフィルターを選択することができる。
端末機100の制御部130は、イメージフィルターを推薦するための学習モデルにプレビューイメージを適用し、プレビューイメージに含まれるオブジェクトの種類に応じて、端末機100の使用者が選択する確率が高いと予測される2つ以上のイメージフィルターを選択することができる。例えば、端末機100の制御部130は、プレビューイメージに含まれるオブジェクトの種類に応じて、端末機100の使用者が選択する確率が最も高いと予測されるイメージフィルター及び選択する確率が2番目に高いと予測されるイメージフィルターを選択することができる。
S150段階において、端末機100の出力部140は、選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力することができる。例えば、端末機100の出力部140は、プレビューイメージを2つ以上のイメージ領域に区分し、2つ以上のイメージ領域にそれぞれ選択された2つ以上のイメージフィルターを適用することができる。2つ以上のイメージフィルターを用いて補正されたプレビューイメージを出力する方法は、図4を参照して説明されることができる。
図4は、本発明の実施例に係る2つ以上のイメージフィルターを用いて補正されたプレビューイメージが出力される端末機を示す図である。図3及び図4を参照すると、端末機100の出力部141を介してプレビューイメージが表示されることができる。例えば、表示部141の第1表示領域142は、プレビューイメージの第1イメージ領域に対応し、第2表示領域143は、プレビューイメージの第2イメージ領域に対応することができる。
第1表示領域142を介して表示される第1イメージ領域及び第2表示領域143を介して表示される第2イメージ領域のそれぞれに互いに異なるイメージフィルターが適用されることができる。例えば、第1表示領域142には、第1イメージフィルター(例えば、「mellow」イメージフィルター)が適用された第1イメージ領域が表示されることができ、第2表示領域143には、第2イメージフィルター(例えば、「hipster」イメージフィルター)が適用された第2イメージ領域が表示されることができる。すなわち、第1イメージ領域は、プレビューイメージで第1イメージフィルターが適用された範囲であることができ、第2イメージ領域は、プレビューイメージで第2イメージフィルターが適用された範囲であることができる。
例えば、第1イメージ領域は、プレビューイメージの左側一部領域に対応することができる。第2イメージ領域は、プレビューイメージの右側一部領域に対応することができる。そして、第2イメージ領域は、プレビューイメージで第1イメージ領域を除いた残りの領域に対応することができる。本発明は、これに限定されず、第1イメージ領域は、プレビューイメージの上側一部領域に対応することができる。第2イメージ領域は、プレビューイメージの下側一部領域に対応することができる。そして、第2イメージ領域は、プレビューイメージで第1イメージ領域を除いた残りの領域に対応することができる。
例えば、第1イメージ領域に適用された第1イメージフィルターは、端末機100の制御部130でプレビューイメージに含まれるオブジェクトの種類に応じて、端末機100の使用者が選択する確率が最も高いと予測されたイメージフィルターであることができる。第2イメージ領域に適用された第2イメージフィルターは、端末機100の制御部130でプレビューイメージに含まれるオブジェクトの種類に応じて、端末機100の使用者が選択する確率が2番目に高いと予測されたイメージフィルターであることができる。第1イメージ領域または第2イメージ領域に適用されたイメージフィルターは、端末機100の画面に受信される使用者の入力によって変更されることができる。第1イメージ領域または第2イメージ領域に適用されたイメージフィルターを変更する方法は、図5を参照して説明される。
図5は、本発明の実施例に係る端末機のイメージフィルター適用方法を示すフローチャートである。図4及び図5を参照すると、S210段階において、端末機100の制御部130は、第1イメージフィルターをプレビューイメージの第1イメージ領域に適用することができる。S220段階において、端末機100の制御部130は、第2イメージフィルターをプレビューイメージの第2イメージ領域に適用することができる。
図4に示すように、プレビューイメージの第1イメージ領域及び第2イメージ領域のそれぞれには、互いに異なるイメージフィルターが適用されることができる。そして、端末機100の表示部141は、それぞれ互いに異なるイメージフィルターが適用された第1イメージ領域及び第2イメージ領域を表示することができる。具体的には、表示部141の第1表示領域142には、第1イメージフィルターが適用された第1イメージ領域が表示されることができ、表示部141の第2表示領域143には、第2イメージフィルターが適用された第2イメージ領域が表示されることができる。
S230段階において、端末機100は、第1表示領域142または第2表示領域143のうちのいずれか1つに入力された使用者入力を受信することができる。例えば、表示部141は、タッチスクリーンで具現され、入力部110として駆動することができる。端末機100は、第1表示領域142または第2表示領域143に入力されたタッチドラッグ(touch drage)入力を受信することができる。端末機100は、第1表示領域142または第2表示領域143のうちのいずれか1つに入力された第3方向(D3)へのタッチドラッグ入力または第3方向(D3)とは反対になる第4方向(D4)へのタッチドラッグ入力のうちの1つを受信することができる。
例えば、第2表示領域143から第1表示領域142に向かう方向は、第1方向(D1)であることができ、第1表示領域142から第2表示領域143に向かう方向は、第2方向(D2)であることができる。そして、第3方向(D3)及び第4方向(D4)のそれぞれは、表示部141の表面を含む平面上で第1表示領域142から第2表示領域143に向かう方向と垂直であることができる。より具体的には、第3方向(D3)は、第1方向(D1)との外積の方向が表示部141が光を発する方向と同一であることができ、第4方向(D4)は、第3方向(D3)とは反対になる方向であることができる。
S240段階において、端末機100の制御部130は、使用者入力が受信された表示領域に対応するイメージ領域に適用されたイメージフィルターを第3イメージフィルターに変更することができる。イメージフィルターを変更する方法は、図6を参照して説明されることができる。
図6は、他の実施例に係る2つ以上のイメージフィルターを用いて補正されたプレビューイメージが出力される端末機を示す図である。図4及び図6を共に参照すると、表示部141の第2表示領域143にタッチドラッグ入力が受信されることができる。第2表示領域143にタッチドラッグ入力が受信される場合、第2イメージ領域に適用されたフィルターは、第2イメージフィルターから第3イメージフィルター(例えば、「vintage」イメージフィルター)に変更されることができる。例えば、第3イメージフィルターは、端末機100の制御部130でプレビューイメージに含まれるオブジェクトの種類に応じて、端末機100の使用者が選択する確率が3番目に高いと予測されたイメージフィルターであることができる。
例えば、第2表示領域143に第3方向(D3)へのタッチドラッグ入力が受信される場合、第2イメージ領域に適用されたイメージフィルターは、第2イメージフィルターから第3イメージフィルターに変更されることができる。その後に、第2表示領域143に第4方向(D4)へのタッチドラッグ入力が受信される場合、第2イメージ領域に適用されたイメージフィルターは、再び第3イメージフィルターから第2イメージフィルターに変更されることができる。
逆に、第2表示領域143に第4方向(D4)へのタッチドラッグ入力が受信される場合、第2イメージ領域に適用されたイメージフィルターは、第2イメージフィルターから第3イメージフィルターに変更されることができる。その後に、第2表示領域143に第3方向(D3)へのタッチドラッグ入力が受信される場合、第2イメージ領域に適用されたイメージフィルターは、再び第3イメージフィルターから第2イメージフィルターに変更されることができる。
別の例において、第2イメージ領域に適用されたイメージフィルターが第2イメージフィルターから第3イメージフィルターに変更された後、第1表示領域142に第3方向(D3)または第4方向(D4)へのタッチドラッグ入力が受信されることができる。このとき、第1イメージ領域に適用されたイメージフィルターは、第1イメージフィルターから第2イメージフィルターまたは第4イメージフィルターに変更されることができる。例えば、第4イメージフィルターは、端末機100の制御部130でプレビューイメージに含まれるオブジェクトの種類に応じ、端末機100の使用者が選択する確率が4番目に高いと予測されたイメージフィルターであることができる。
もし、第2表示領域143に第3方向(D3)または第4方向(D4)へのタッチドラッグ入力が受信されず、第1表示領域142に第3方向(D3)または第4方向(D4)へのタッチドラッグ入力が受信される場合、第1イメージ領域に適用されたイメージフィルターは、第1イメージフィルターから第3イメージフィルターに変更されることができる。第1イメージ領域に適用されたイメージフィルターが第1イメージフィルターから第3イメージフィルターに変更された後、第2表示領域143に第3方向(D3)または第4方向(D4)へのタッチドラッグ入力が受信されることができる。このとき、第2イメージ領域に適用されたイメージフィルターは、第2イメージフィルターから第1イメージフィルターまたは第4イメージフィルターに変更されることができる。
図4〜図6を参照して説明されたように、端末機100は、外部から入力されるプレビューイメージに含まれるオブジェクトの種類を識別し、識別されたオブジェクトに適用される2つ以上のイメージフィルターを選択することができる。より具体的には、端末機100は、準備された学習モデルを用いてオブジェクトの種類に適した2つ以上のイメージフィルターを選択することができる。このような方法によって、端末機100に入力されるプレビューイメージに適用される2つ以上のイメージフィルターが自動的に推薦されることができる。また、2つ以上のイメージフィルターが自動的に推薦されることによって、使用者の便利性が向上することができる。端末機100の使用者は、簡単なタッチドラッグ入力によってプレビューイメージに適用されるイメージフィルターの種類を変更し、どんなイメージフィルターがプレビューイメージにより適するかを比較することができる。このような操作方法によって、使用者の便利性が向上することができる。
図7は、本発明の他の実施例に係る端末機の動作方法を示すフローチャートである。端末機の動作方法は、図8〜図11を参照して説明されることができる。図8〜図10は、本発明の実施例に係るプレビューイメージの2つ以上のイメージ領域の比率を調節する方法を示す図である。
図7及び図8を参照すると、S310段階において、端末機100の表示部141は、第1表示領域142及び第2表示領域143の境界の任意の地点から始まる使用者の入力を受信することができる。
例えば、端末機100の表示部141は、第1表示領域142及び第2表示領域143の境界の任意の地点から始まるタッチドラッグ入力を受信することができる。図8を参照すると、端末機100は、第1表示領域142及び第2表示領域143の境界の任意の地点をタッチし、第1方向(D1)にドラッグする使用者入力または第1方向(D1)と反対となる第2方向(D2)にドラッグする使用者入力のうちのいずれか1つを受信することができる。例えば、第1方向(D1)は、第2表示領域143から第1表示領域142に向かう方向であり、第2方向(D2)は、第1表示領域142から第2表示領域143に向かう方向であることができる。
S320段階において、端末機100は、使用者入力に基づいてプレビューイメージの第1イメージ領域または第2イメージ領域の比率を調整することができる。例えば、図9を参照すると、第1表示領域142及び第2表示領域143の境界の任意の地点から始まる第1方向(D1)へのタッチドラッグ入力が受信される場合、端末機100は、タッチドラッグ入力の始点と終点との間の距離に比例するようにプレビューイメージで第2イメージ領域の比率を増加させることができる。そして、第2イメージ領域の比率が増加した分だけ第1イメージ領域の比率が減少するのである。第2イメージ領域の大きさが増加すると、第2イメージ領域に対応する第2表示領域143の大きさも共に増加することができる。
第2イメージ領域の比率が第1イメージ領域よりも増加すると、第2表示領域143で表示される第2イメージ領域の横幅(W2)は、第1表示領域142で表示される第1イメージ領域の横幅(W1)より広くなることができ、プレビューイメージで第1イメージフィルターが適用された第1イメージ領域よりも第2イメージフィルターが適用された第2イメージ領域の大きさがより大きくなることができる。
図10を参照すると、第1表示領域142及び第2表示領域143の境界の任意の地点から始まる第2方向(D2)へのタッチドラッグ入力が受信される場合、端末機100は、タッチドラッグ入力の始点と終点との間の距離に比例するようにプレビューイメージで第1イメージ領域の比率を増加させることができる。そして、第1イメージ領域の比率が増加した分だけ第2イメージ領域の比率は減少するのである。第1イメージ領域の大きさが増加すると、第1イメージ領域に対応する第1表示領域142の大きさも共に増加することができる。
第1イメージ領域の比率が第2イメージ領域よりも増加すると、第1表示領域142で表示される第1イメージ領域の横幅(W1)は、第2表示領域143で表示される第2イメージ領域の横幅(W2)より広くなることができ、プレビューイメージで第2イメージフィルターが適用された第2イメージ領域より第1イメージフィルターが適用された第1イメージ領域の大きさがより大きくなることができる。
再び図7を参照すると、S330段階において、端末機100の制御部130は、第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つが基準比率以上に高くなっていることを判断することができる。端末機100の制御部130は、様々な方法で第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つと基準比率を比較することができる。
例えば、端末機100の制御部130は、第1イメージ領域の比率または第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断することができる。別の例において、端末機100の制御部130は、第1イメージ領域の大きさまたは第2イメージ領域の大きさのうちのいずれか1つが基準大きさ以上増加していることを判断することができる。別の例において、端末機100の制御部130は、第1イメージ領域の横幅(W1)または第2イメージ領域の横幅(W2)のうちのいずれか1つが基準幅以上広くなっていることを判断することができる。
S340段階において、端末機100の制御部130は判断結果に応じて、基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターをプレビューイメージの全領域に適用することができる。
例えば、端末機100の制御部130は、第2イメージ領域の比率が基準比率以上高くなったものと判断することができる。第2イメージ領域の大きさが基準大きさ以上に増加したか、第2イメージ領域の横幅(W2)が基準幅以上広くなった場合、端末機100の制御部130は、第2イメージ領域の比率が基準比率以上高くなったものと判断することができる。選択されたイメージフィルターをプレビューイメージの全領域に適用する方法は、図11を参照して説明されることができる。
図11は、本発明の実施例に係る選択されたイメージフィルターを用いて補正されたプレビューイメージが出力される端末機を示す図である。図11に示すように、第2イメージ領域に適用された第2イメージフィルター(例えば、「hipster」イメージフィルター)をプレビューイメージの全領域に適用することができる。第2イメージ領域に適用された第2イメージフィルターをプレビューイメージの全領域に適用した後、S350段階において、端末機100は、イメージ撮影が行われることができるように撮影アイコン13を表示することができる。
第2イメージ領域の比率が基準比率以上高くなったものと判断される場合、端末機100は、第2イメージ領域に適用された第2イメージフィルターが選択されたものと判断することができる。そして、端末機100の表示部141は、第2イメージフィルターが適用されたプレビューイメージを出力することができる。
端末機100は、第2イメージフィルターをプレビューイメージの全領域に適用し、撮影を行うことができるように、撮影アイコン144を表示することができる。例えば、端末機100の使用者から撮影アイコン144のタッチ入力が受信される場合、端末機100は、第2イメージフィルターが適用されたイメージを撮影することができる。第2イメージフィルターが適用されたイメージが撮影される場合、第2イメージフィルターが適用されたイメージは、端末機100の保存部120に保存されることができる。
端末機100がイメージを撮影する方法は、多様に具現されることができる。端末機100は、第2イメージフィルターをプレビューイメージの全領域に適用した後、音声入力を誘導するメッセージを出力することができる。例えば、端末機100は、「撮影と言って下さい」というメッセージを出力することができ、端末機100の使用者から、「撮影」という音声が入力される場合、第2イメージフィルターが適用されたイメージを保存することができる。または、端末機100は、第2イメージフィルターをプレビューイメージの全領域に適用した後、端末機100の使用者から特定のモーションが入力される場合、第2イメージフィルターが適用されたイメージを保存することができる。
以上で説明した実施例は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能なコマンドを含む記録媒体の形態でも具現されることができる。コンピュータ判読可能な媒体は、コンピュータによってアクセスされることができる任意の利用可能な媒体であることができ、揮発性及び非揮発性媒体、分離型及び非分離型媒体をすべて含むことができる。
また、コンピュータ判読可能な媒体は、コンピュータ保存媒体または通信媒体を含むことができる。コンピュータ保存媒体は、コンピュータ判読可能なコマンド、データ構造、プログラムモジュールまたはその他のデータのような情報の保存のための任意の方法または技術で具現された揮発性及び非揮発性、分離型及び非分離型媒体をすべて含むことができる。通信媒体は、典型的にコンピュータ判読可能なコマンド、データ構造、プログラムモジュール、または搬送波のような変調されたデータ信号のその他のデータ、またはその他の出力メカニズムを含み、任意の情報伝達媒体を含むことができる。
以上、添付された図面を参照して、本発明の実施例を説明したが、本発明が属する技術分野における通常の知識を有する者は、本発明がその技術的思想や必須的な特徴を変更せず、他の具体的な形態で実施できることを理解することができるはずである。したがって、以上で記述した実施例は、あらゆる面で例示的なものであり、限定的ではないことを理解しなければならない。

Claims (20)

  1. 端末機で行われるイメージ処理方法において、
    前記端末機の周辺から反射された光から変換されたプレビューイメージの入力を受ける段階と、
    前記プレビューイメージに含まれるオブジェクト(object)の種類を識別する段階と、
    前記プレビューイメージに適用されるイメージフィルターに対する推薦アルゴリズムを準備する段階と、
    前記推薦アルゴリズムを用いて前記オブジェクトの種類に対応する互いに異なる2つ以上のイメージフィルターを選択する段階、及び
    前記選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力する段階を含むイメージ処理方法。
  2. 前記プレビューイメージに含まれる前記オブジェクトの種類を識別する前に、多数の写真に対するイメージデータ及び前記多数の写真に含まれるオブジェクトの種類との間の相関関係について学習された、前記プレビューイメージに含まれる前記オブジェクトの種類を識別するための学習モデルを準備する段階をさらに含む請求項1に記載のイメージ処理方法。
  3. 前記プレビューイメージに適用される前記イメージフィルターに対する前記推薦アルゴリズムを準備する段階は、
    多数のイメージに含まれるオブジェクトの種類及び前記多数のイメージを補正するために選択されたイメージフィルターの種類との間の相関関係について学習された、前記イメージフィルターを推薦するための学習モデルを準備する段階を含む請求項1に記載のイメージ処理方法。
  4. 前記推薦アルゴリズムを用いて前記オブジェクトの種類に対応する前記互いに異なる2つ以上のイメージフィルターを選択する段階は、
    前記イメージフィルターを推薦するための学習モデル及び前記プレビューイメージを用いて、前記プレビューイメージに含まれる前記オブジェクトの種類に応じて前記端末機の使用者が選択する確率が高いと予測される前記2つ以上のイメージフィルターを選択する段階を含む請求項3に記載のイメージ処理方法。
  5. 前記推薦アルゴリズムを用いて前記オブジェクトの種類に対応する前記互いに異なる2つ以上のイメージフィルターを選択する段階は、
    前記プレビューイメージに含まれる前記オブジェクトの種類に応じて前記端末機の使用者が選択する確率が最も高いと予測された第1イメージフィルター、及び前記プレビューイメージに含まれる前記オブジェクトの種類に応じて前記端末機の使用者が選択する確率が2番目に高いと予測された第2イメージフィルターを選択する段階をさらに含む請求項4に記載のイメージ処理方法。
  6. 前記選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力する段階は、
    前記第1イメージフィルターを前記プレビューイメージの第1イメージ領域に適用する段階、及び
    前記第2イメージフィルターを前記プレビューイメージの前記第1イメージ領域を除いた領域である第2イメージ領域に適用する段階を含む請求項5に記載のイメージ処理方法。
  7. 前記選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力する段階は、
    前記第1イメージ領域に対応する前記端末機の第1表示領域または前記第2イメージ領域に対応する前記端末機の第2表示領域に入力されたタッチドラッグ(touchi drag)入力を受信する段階、及び
    前記タッチドラッグ入力が受信された表示領域に対応するイメージ領域に適用されたイメージフィルターを前記第1イメージフィルター及び前記第2イメージフィルターとは異なる第3イメージフィルターに変更する段階をさらに含む請求項6に記載のイメージ処理方法。
  8. 前記第3イメージフィルターは、前記イメージフィルターを推薦するための学習モデル及び前記プレビューイメージを用いて前記プレビューイメージに含まれる前記オブジェクトの種類に応じて前記端末機の使用者が選択する確率が3番目に高いと予測される請求項7に記載のイメージ処理方法。
  9. 前記第1イメージ領域に対応する前記端末機の前記第1表示領域または前記第2イメージ領域に対応する前記端末機の前記第2表示領域に入力された前記タッチドラッグ入力を受信する段階は、
    前記第1表示領域または前記第2表示領域に入力された、前記第1表示領域から前記第2表示領域に向かう方向と垂直な第1方向または前記第1方向と反対である第2方向への前記タッチドラッグ入力を受信する段階を含む請求項7に記載のイメージ処理方法。
  10. 前記選択された2つ以上のイメージフィルターが適用されたプレビューイメージを出力する段階は、
    前記第1表示領域及び前記第2表示領域の境界の任意の地点から始まるタッチドラッグ入力を受信する段階と、
    前記タッチドラッグ入力に基づいて前記第1イメージ領域の比率及び前記第2イメージ領域の比率を調整する段階と、
    前記第1イメージ領域の比率または前記第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断する段階、及び
    前記判断結果に応じて、前記基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターを前記プレビューイメージの全領域に適用する段階をさらに含む請求項7に記載のイメージ処理方法。
  11. 前記第1イメージ領域の比率または前記第2イメージ領域の比率のうちのいずれか1つが前記基準比率以上高くなっていることを判断する段階は、
    前記第1イメージ領域の大きさまたは前記第2イメージ領域の大きさのうちのいずれか1つが基準大きさ以上広くなっていることを判断する段階を含む請求項10に記載のイメージ処理方法。
  12. 前記第1イメージ領域の比率または前記第2イメージ領域の比率のうちのいずれか1つが前記基準比率以上高くなっていることを判断する段階は、
    前記第1イメージ領域の横幅または前記第2イメージ領域の横幅のうちのいずれか1つが基準幅以上広くなっていることを判断する段階を含む請求項10に記載のイメージ処理方法。
  13. 前記基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターを前記プレビューイメージの前記全領域に適用する段階後に、
    撮影アイコンを出力する段階、及び
    前記撮影アイコンにタッチ入力が受信されると、前記基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターが適用された前記プレビューイメージを保存する段階をさらに含む請求項10に記載のイメージ処理方法。
  14. 前記タッチドラッグ入力に基づいて、前記第1イメージ領域の比率及び前記第2イメージ領域の比率を調整する段階は、
    前記第1表示領域及び前記第2表示領域の前記境界の前記任意の地点から前記第2表示領域から前記第1表示領域に向かう方向への前記タッチドラッグ入力が受信される場合、前記タッチドラッグ入力の始点と終点との間の距離に比例するように前記プレビューイメージで前記第2イメージ領域の比率を増加させる請求項10に記載のイメージ処理方法。
  15. 前記タッチドラッグ入力に基づいて前記第1イメージ領域の比率及び前記第2イメージ領域の比率を調整する段階は、
    前記第1表示領域及び前記第2表示領域の前記境界の前記任意の地点から前記第1表示領域から前記第2表示領域に向かう方向への前記タッチドラッグ入力が受信される場合、前記タッチドラッグ入力の始点と終点との間の距離に比例するように前記プレビューイメージで前記第1イメージ領域の比率を増加させる請求項10に記載のイメージ処理方法。
  16. 請求項1に記載のイメージ処理方法をコンピュータで実行させるプログラムが記録されたコンピュータ判読可能な記録媒体。
  17. 周辺から反射された光から変換されたプレビューイメージの入力を受ける入力部と、
    前記プレビューイメージに含まれるオブジェクト(object)の種類を識別し、前記プレビューイメージに適用されるイメージフィルターに対する推薦アルゴリズムを用いて2つ以上のイメージフィルターを選択する制御部、及び
    前記選択された2つ以上のイメージフィルターが適用されたプレビューイメージを表示する表示部を含み、
    前記制御部は、前記選択された2つ以上のフィルターのうちの第1イメージフィルターを前記プレビューイメージの第1イメージ領域に適用し、前記第1イメージフィルターと異なる第2イメージフィルターを前記プレビューイメージの前記第1イメージ領域を除いた領域である第2イメージ領域に適用する端末機。
  18. 前記表示部は、前記第1イメージ領域に対応する前記表示部の第1表示領域または前記第2イメージ領域に対応する前記表示部の第2表示領域に入力されたタッチドラッグ(touch drag)入力を受信し、
    前記制御部は、前記タッチドラッグ入力が受信された表示領域に対応するイメージ領域に適用されたイメージフィルターを前記第1イメージフィルター及び前記第2イメージフィルターとは異なる第3イメージフィルターに変更する請求項17に記載の端末機。
  19. 前記表示部は、前記第1表示領域または前記第2表示領域に入力された、前記第1表示領域から前記第2表示領域に向かう方向と垂直な第1方向または前記第1方向と反対である第2方向への前記タッチドラッグ入力を受信する請求項18に記載の端末機。
  20. 前記表示部は、前記第1イメージ領域に対応する前記表示部の第1表示領域及び前記第2イメージ領域に対応する前記表示部の第2表示領域の境界の任意の地点から始まるタッチドラッグ入力を受信し、前記タッチドラッグ入力に基づいて、前記第1イメージ領域の比率及び前記第2イメージ領域の比率を調整し、
    前記制御部は、前記第1イメージ領域の比率または前記第2イメージ領域の比率のうちのいずれか1つが基準比率以上高くなっていることを判断し、前記判断結果に応じて、前記基準比率以上高くなった比率を有するイメージ領域に適用されたイメージフィルターを前記プレビューイメージの全領域に適用する請求項17に記載の端末機。
JP2019013990A 2018-01-31 2019-01-30 端末機及びこれのイメージ処理方法(terminal and image processing method thereof) Active JP6887612B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180012389A KR102079091B1 (ko) 2018-01-31 2018-01-31 단말기 및 그것의 이미지 처리 방법
KR10-2018-0012389 2018-01-31

Publications (2)

Publication Number Publication Date
JP2019135645A true JP2019135645A (ja) 2019-08-15
JP6887612B2 JP6887612B2 (ja) 2021-06-16

Family

ID=65443638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019013990A Active JP6887612B2 (ja) 2018-01-31 2019-01-30 端末機及びこれのイメージ処理方法(terminal and image processing method thereof)

Country Status (4)

Country Link
US (1) US10855933B2 (ja)
EP (1) EP3522110A1 (ja)
JP (1) JP6887612B2 (ja)
KR (1) KR102079091B1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
KR102558166B1 (ko) * 2018-08-08 2023-07-24 삼성전자주식회사 복수의 객체들을 포함하는 이미지를 보정하는 전자 장치 및 그 제어 방법
US11100325B2 (en) * 2018-12-07 2021-08-24 International Business Machines Corporation Photographic results by composition analysis using deep learning neural networks
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102658688B1 (ko) * 2019-11-04 2024-04-17 엘지전자 주식회사 이미지 조도 향상을 위한 방법 및 장치
WO2021100932A1 (ko) * 2019-11-22 2021-05-27 엘지전자 주식회사 디스플레이의 크기를 제어하는 전자 장치 및 그 제어 방법
CN114981836A (zh) * 2020-01-23 2022-08-30 三星电子株式会社 电子设备和电子设备的控制方法
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR20210101571A (ko) * 2020-02-10 2021-08-19 삼성전자주식회사 이미지의 생성 방법 및 그 전자 장치
CN113497898B (zh) * 2020-04-02 2023-04-07 抖音视界有限公司 视频特效配置文件生成方法、视频渲染方法及装置
CN111488476B (zh) * 2020-04-03 2023-06-27 北京爱芯科技有限公司 图像推送方法、模型训练方法及对应装置
KR20210141179A (ko) * 2020-05-15 2021-11-23 삼성전자주식회사 영상을 제공하는 방법 및 장치
WO2022092620A1 (en) * 2020-10-30 2022-05-05 Samsung Electronics Co., Ltd. Method and system operating an imaging system in an image capturing device based on artificial intelligence techniques
KR20220102016A (ko) * 2021-01-12 2022-07-19 삼성전자주식회사 전자 장치 및 그의 이미지 처리 방법
JP1760882S (ja) * 2021-03-22 2024-01-10 ビデオ通話機能を有する電子計算機
KR20240007255A (ko) 2021-05-19 2024-01-16 스냅 인코포레이티드 메시징 시스템 내에서 기능들을 숏컷들로 조합
WO2022245747A1 (en) * 2021-05-19 2022-11-24 Snap Inc. Shortcuts from scan operation within messaging system
US11935154B2 (en) * 2022-03-02 2024-03-19 Microsoft Technology Licensing, Llc Image transformation infrastructure

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013175784A1 (ja) * 2012-05-22 2013-11-28 株式会社ニコン 電子カメラ、画像表示装置および画像表示プログラム
JP2015519625A (ja) * 2012-03-01 2015-07-09 ブラックベリー リミテッド 画像エディタにおいて画像フィルタを適用するためのドラッグハンドル
JP2016508248A (ja) * 2012-12-21 2016-03-17 グーグル インコーポレイテッド 写真の変換提案

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
WO2015171934A1 (en) * 2014-05-09 2015-11-12 Google Inc. Providing pre-edits for photos
US9225897B1 (en) * 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
KR20160051390A (ko) * 2014-11-03 2016-05-11 삼성전자주식회사 전자장치 및 전자장치의 필터 제공 방법
US9569697B1 (en) * 2015-02-19 2017-02-14 Google Inc. Object oriented image editing
KR20180000255A (ko) * 2016-06-22 2018-01-02 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015519625A (ja) * 2012-03-01 2015-07-09 ブラックベリー リミテッド 画像エディタにおいて画像フィルタを適用するためのドラッグハンドル
WO2013175784A1 (ja) * 2012-05-22 2013-11-28 株式会社ニコン 電子カメラ、画像表示装置および画像表示プログラム
JP2016508248A (ja) * 2012-12-21 2016-03-17 グーグル インコーポレイテッド 写真の変換提案

Also Published As

Publication number Publication date
KR20190092995A (ko) 2019-08-08
JP6887612B2 (ja) 2021-06-16
EP3522110A1 (en) 2019-08-07
KR102079091B1 (ko) 2020-02-19
US10855933B2 (en) 2020-12-01
US20190238759A1 (en) 2019-08-01

Similar Documents

Publication Publication Date Title
JP6887612B2 (ja) 端末機及びこれのイメージ処理方法(terminal and image processing method thereof)
US11140336B2 (en) Fast video capture and sensor adjustment
US11470385B2 (en) Method and apparatus for filtering video
JP6732977B2 (ja) サーバー及びその動作方法(server and operating method thereof)
US11481975B2 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
TW202113757A (zh) 目標對象匹配方法及目標對象匹配裝置、電子設備和電腦可讀儲存媒介
US11580354B2 (en) Computing apparatus using convolutional neural network and method of operating the same
US20180174344A1 (en) System and method for displaying virtual image through hmd device
KR102242407B1 (ko) 디스플레이 장치 및 그 제어 방법
EP3545685B1 (en) Method and apparatus for filtering video
US10636167B2 (en) Method and device for determining distance
CN104063842A (zh) 处理图像的方法、装置及终端
CN109447258B (zh) 神经网络模型的优化方法及装置、电子设备和存储介质
CN106228077B (zh) 处理图像及显示图像的方法、装置及终端
KR102297025B1 (ko) 모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법
US10678836B2 (en) Slide show-providing system and method
US10460425B2 (en) Method, device, and recording medium for processing image
US10929007B2 (en) Method of displaying object on device, device for performing the same, and recording medium for performing the method
KR20200051540A (ko) 서버 및 그것의 동작 방법
EP3196746A1 (en) Method for displaying object on device and device therefor
US9880570B2 (en) Method and device for generating vibration based on an adjective
KR102289194B1 (ko) 서버 및 그것의 동작 방법
CN116485728A (zh) 抽油杆表面缺陷检测方法及装置、电子设备和存储介质
JP2012156703A (ja) 画像表示装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201001

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210426

R150 Certificate of patent or registration of utility model

Ref document number: 6887612

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250