JP2017512335A - デバイスのための画像編集技法 - Google Patents

デバイスのための画像編集技法 Download PDF

Info

Publication number
JP2017512335A
JP2017512335A JP2016551791A JP2016551791A JP2017512335A JP 2017512335 A JP2017512335 A JP 2017512335A JP 2016551791 A JP2016551791 A JP 2016551791A JP 2016551791 A JP2016551791 A JP 2016551791A JP 2017512335 A JP2017512335 A JP 2017512335A
Authority
JP
Japan
Prior art keywords
image
user input
layer
image layer
mobile device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016551791A
Other languages
English (en)
Other versions
JP6355746B2 (ja
Inventor
レイ・ジャン
ニン・ビ
ファン・リン
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2017512335A publication Critical patent/JP2017512335A/ja
Application granted granted Critical
Publication of JP6355746B2 publication Critical patent/JP6355746B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

デバイスによって画像を処理する方法が開示される。この方法は、前記画像に対応する画像データを第1の画像レイヤおよび第2の画像レイヤへとセグメント化することを含む。この方法は、ユーザ入力に基づいて第2の画像レイヤの第2の属性とは独立に第1の画像レイヤの第1の属性を調整することをさらに含む。

Description

本開示は概して、デバイスのための画像編集に関する。
技術の進歩は、より小型でより強力な電子デバイスをもたらしてきた。たとえば、現在、ワイヤレス電話、携帯情報端末(PDA)、およびページングデバイスなどの様々なモバイルデバイスが存在する。ワイヤレスデバイスは、小型で軽量であり、ユーザが持ち運びやすい場合がある。セルラー電話およびインターネットプロトコル(IP)電話などのワイヤレス電話は、ワイヤレスネットワークを介して音声およびデータパケットを通信することができる。また、ワイヤレス電話は、インターネットにアクセスするために使用することができる、ウェブブラウザアプリケーションなどのソフトウェアアプリケーションを含む、実行可能な命令を処理することができる。さらに、多くのワイヤレス電話には、その内部に組み込まれた他のタイプのデバイスが含まれる。たとえば、ワイヤレス電話は、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレーヤも含むことが可能である。したがって、ワイヤレス電話および他のモバイルデバイスは、かなりのコンピューティング機能を含むことができる。
モバイルデバイスは、カメラと、カメラによって取り込まれた画像を修正する(または「編集」する)のに使用可能な画像編集アプリケーションとを含んでもよい。モバイルデバイスのユーザは、カメラを使用して画像を取り込み、画像を友人または家族と共有する前などに画像編集アプリケーションを使用して画像を修正する場合がある。いくつかの画像編集アプリケーションは、ユーザが、画像の一部を除去する(すなわち「クロッピング」する)ことなど、計算が単純な動作を実行することを可能にする場合がある。より高度な画像編集アプリケーションは、ユーザが、計算をより多用する動作をモバイルデバイス上で実行するのを可能にする場合があるが、これらの動作では、ユーザが特定の画像編集効果を実現するのに十分な制御を画像編集動作に対して実行できない場合があり、モバイルデバイスのユーザが不満を抱くことがある。高度な画像編集アプリケーションは、ユーザにとって使用するのが難しいかあるいは面倒であり得る複雑なユーザ入力技法を利用する場合もある。
プロセッサが、画像に対応する画像データを受け取ってもよい。一例として、モバイルデバイスは、プロセッサとカメラとを含んでもよく、カメラは画像を取り込んでもよい。プロセッサは、画像データを(たとえばセグメント化技法を用いて)第1の画像レイヤおよび第2の画像レイヤへとセグメント化してもよい。例示的な例として、第1の画像レイヤは、画像の前景に対応してもよく、第2の画像レイヤは、画像の背景に対応してもよい。代替的に、第1の画像レイヤおよび第2の画像レイヤの各々が画像の前景部分(または画像の背景部分)に対応してもよい。
第1の画像レイヤおよび第2の画像レイヤは、1つまたは複数の視覚的効果を生じさせるようにユーザによって独立に編集されてもよい。一例として、ユーザは、第1の画像レイヤに対して画像編集動作を実行する場合があるが第2の画像レイヤに対して画像編集動作を実行しない場合がある(または、第2の画像レイヤに対して画像編集動作を実行する場合があるが第1の画像レイヤに対して画像編集動作を実行しない場合がある)。ユーザは、画像編集アプリケーションを利用して、プロセッサによって実行される場合がある画像編集動作を実行することがある。画像編集動作は、第1の画像レイヤの色属性を変更するが第2の画像レイヤの色属性を変更しない(たとえば、あるオブジェクトの色を別のオブジェクトの色とは独立に変更する)ことを含んでもよい。別の例として、画像編集動作は、前景に焦点を合わせ、前景が背景よりも鮮鋭である画像を大きい開口を使用して取り込むカメラの「スーパーフォーカス」カメラ効果を近似するために、背景を「ぼかす」が前景をぼかさないことなどによって、第1の画像レイヤをぼかすが第2の画像レイヤをぼかさないことを含んでもよい。したがって、ユーザは、特定の画像編集動作に基づいて画像全体(たとえば画像のすべての画像レイヤ)が編集される従来のシステムと比較して、画像の視覚的効果がより顕著に制御されることを経験する場合がある。
特定の実施形態では、画像を選択するユーザ入力に応答してクラスタの特定が自動的に開始される。たとえば、ユーザがユーザインターフェース(UI)を介して画像を選択したこと(たとえば、画像を画像ギャラリーから選択したこと)に応答してクラスタの特定が自動的に開始されてもよい。クラスタを自動的に特定すると、クラスタの特定に伴う時間ずれが「隠れる」場合がある。たとえば、UIを介して画像が選択されたことに応答してクラスタを自動的に特定することによって、画像をロードする間クラスタの特定に伴う時間ずれが「隠れる」場合がある。すなわち、ユーザは、時間ずれが画像をロードした後に開始される特定の画像編集動作の開始ではなく画像のロードに伴って生じたととらえる場合がある。この例では、ユーザが画像編集動作を開始するときに、クラスタの特定がすでに完了している場合があり、それによって、ユーザには画像編集動作がより高速に見えることがある。
プロセッサは、第1の画像レイヤに関するユーザ入力に応答して、1つまたは複数の画像処理動作を自動的に開始してもよい。一例として、複数の画像レイヤ(たとえば、複数の前景オブジェクトおよび/または複数の背景オブジェクト)を含む画像の場合、各個々の画像レイヤの処理に時間ずれが伴う場合がある。プロセッサは、画像セグメント化に伴う時間ずれを短縮するために、複数の画像レイヤの各々に関するユーザ入力を受け取る前に1つまたは複数の特定されたクラスタを使用して第1の画像レイヤに関連する1つまたは複数の画像処理動作(たとえば、画像セグメント化動作および/または画像ラベリング動作)を開始する場合がある。この例では、画像の前景部分の画像処理が、画像の背景に関するユーザ入力を受け取る前に開始されてもよい。したがって、各画像レイヤに関してユーザ入力が受け取られるまで画像処理動作を開始するのを待つデバイスと比較して、プロセッサの画像編集性能が向上する場合がある。
代替的にまたは追加として、モバイルデバイスは、ユーザ入力に応答してモバイルデバイスにおいて実行される場合がある画像編集動作を判定するユーザ構成パラメータを記憶してもよい。一例として、モバイルデバイスはディスプレイ(たとえば、タッチスクリーン)を含んでもよい。ディスプレイは、モバイルデバイスによって実行される画像編集アプリケーションに関連するような画像を示してもよい。画像編集アプリケーションはユーザ入力に応答して画像に対して画像編集動作を実行してもよい。たとえば、ユーザ構成パラメータは、モバイルデバイスが、タッチスクリーンを垂直(または実質的に垂直)方向に横切る「スワイプ」などの動きの特定の方向を示す第1のユーザ入力を受け取ったことに応答して特定の画像編集動作(たとえば、色変更動作)を実行することを示す場合がある。ユーザ構成パラメータは、モバイルデバイスが、第1のユーザ入力の後に受け取られた特定の方向を示す第2のユーザ入力(たとえば、後続の垂直スワイプ操作)に応答して第2の画像編集動作を実行することをさらに示す場合がある。たとえば、ユーザ構成パラメータは、第2のユーザ入力に応答して画像ぼかし動作が実行されることを示す場合がある。
ユーザ構成パラメータは、ユーザによって構成可能であってもよい。たとえば、ユーザ構成パラメータは、(たとえば、第1のユーザ入力に応答して)第1の画像編集動作よりも前に第2の画像編集動作が実行されることを示すようにユーザによって修正されてもよい。特定の実施形態では、第1のユーザ入力よりも後でかつ第2のユーザ入力よりも後に受け取られる第3のユーザ入力は、第1の画像編集動作および第2の画像編集動作を「取り消す」場合がある。したがって、画像編集がモバイルデバイスのユーザに対して簡略化される。さらに、画像編集動作は、ユーザ構成パラメータを使用して構成可能であってもよい。
特定の一実施形態では、デバイスによって画像を処理する方法が開示される。この方法は、画像に対応する画像データを第1の画像レイヤおよび第2の画像レイヤへとセグメント化することを含む。この方法は、ユーザ入力に基づいて第2の画像レイヤの第2の属性とは独立に第1の画像レイヤの第1の属性を調整することをさらに含む。
別の特定の実施形態では、装置は、メモリと、メモリに結合されたプロセッサとを含む。プロセッサは、画像に対応する画像データを第1の画像レイヤおよび第2の画像レイヤへとセグメント化するように構成される。プロセッサは、ユーザ入力に基づいて第2の画像レイヤの第2の属性とは独立に第1の画像レイヤの第1の属性を調整するようにさらに構成される。
別の特定の実施形態では、非一時的コンピュータ可読媒体は命令を記憶する。命令は、プロセッサに画像に関連する画像データを第1の画像レイヤおよび第2の画像レイヤへとセグメント化させるようにプロセッサによって実行可能である。命令は、ユーザ入力に基づいて第2の画像レイヤの第2の属性とは独立に第1の画像レイヤの第1の属性を調整するようにプロセッサによってさらに実行可能である。
別の特定の実施形態では、装置は、画像に関連する画像データを第1の画像レイヤおよび第2の画像レイヤへとセグメント化するための手段を含む。この装置は、ユーザ入力に基づいて第2の画像レイヤの第2の属性とは独立に第1の画像レイヤの第1の属性を調整するための手段をさらに含む。
別の特定の実施形態では、方法は、モバイルデバイスにおいて第1の画像を表示することを含む。この方法は、モバイルデバイスにおいて第1のユーザ入力を受け取ることをさらに含む。第1のユーザ入力は、モバイルデバイスに対する方向を示す。第1のユーザ入力に基づいて、第2の画像を生成するために第1の画像に対して第1の画像編集動作が実行される。この方法は、モバイルデバイスにおいて第2の画像を表示することとモバイルデバイスにおいて第2のユーザ入力を受け取ることとをさらに含む。第2のユーザ入力は方向を示す。この方法は、第2のユーザ入力に基づいて、第3の画像を生成するために第2の画像に対して第2の画像編集動作を実行することをさらに含む。
別の特定の実施形態では、装置は、メモリと、メモリに結合されたプロセッサとを含む。プロセッサは、モバイルデバイスに、モバイルデバイスにおいて第1の画像を表示させ第1のユーザ入力を受け取らせるように構成される。第1のユーザ入力は、モバイルデバイスに対する方向を示す。プロセッサは、第1のユーザ入力に基づいて、第2の画像を生成するために第1の画像に対して第1の画像編集動作を実行し、モバイルデバイスに第2の画像を表示させ、第2のユーザ入力を受け取るようにさらに構成される。第2のユーザ入力は方向を示す。プロセッサは、第2のユーザ入力に基づいて、第3の画像を生成するために第2の画像に対して第2の画像編集動作を実行するようにさらに構成される。
別の特定の実施形態では、コンピュータ可読媒体は、モバイルデバイスに、モバイルデバイスにおいて第1の画像を表示させ、モバイルデバイスにおいて第1のユーザ入力を受け取らせるようにプロセッサによって実行可能な命令を記憶する。第1のユーザ入力は、モバイルデバイスに対する方向を示す。命令は、第1のユーザ入力に基づいて、第2の画像を生成するために第1の画像に対して第1の画像編集動作を実行し、モバイルデバイスにおいて第2の画像を表示し、モバイルデバイスにおいて第2のユーザ入力を受け取るようにプロセッサによってさらに実行可能である。第2のユーザ入力は方向を示す。命令は、第2のユーザ入力に基づいて、第3の画像を生成するために第2の画像に対して第2の画像編集動作を実行するようにプロセッサによってさらに実行可能である。
別の特定の実施形態では、装置は、モバイルデバイスにおいて第1の画像を表示するための手段と、モバイルデバイスにおいて第1のユーザ入力を受け取るための手段とを含む。第1のユーザ入力は、モバイルデバイスに対する方向を示す。この装置は、第1のユーザ入力に基づいて、第2の画像を生成するために第1の画像に対して第1の画像編集動作を実行するための手段と、モバイルデバイスに第2の画像を表示させるための手段と、第2のユーザ入力を受け取るための手段とをさらに含む。第2のユーザ入力は方向を示す。この装置は、第2のユーザ入力に基づいて、第3の画像を生成するために第2の画像に対して第2の画像編集動作を実行するための手段をさらに含む。
別の特定の実施形態では、方法は、ユーザインターフェースから第1のユーザ入力を受け取ることを含む。第1のユーザ入力は、表示動作用の画像を選択する。この方法は、第1のユーザ入力に基づいて表示動作を実行することと、第1のユーザ入力に基づく画像に対応する画像データを使用してクラスタ化動作を自動的に開始することとをさらに含む。
別の特定の実施形態では、装置は、メモリと、メモリに結合されたプロセッサとを含む。プロセッサは、ユーザインターフェースから第1のユーザ入力を受け取るように構成される。第1のユーザ入力は、表示動作用の画像を選択する。プロセッサは、第1のユーザ入力に基づいて表示動作を実行し、第1のユーザ入力に基づく画像に対応する画像データを使用してクラスタ化動作を自動的に開始するようにさらに構成される。
別の特定の実施形態では、コンピュータ可読媒体は、プロセッサに、ユーザインターフェースから第1のユーザ入力を受け取らせるようにプロセッサによって実行可能な命令を記憶する。第1のユーザ入力は、表示動作用の画像を選択する。命令は、第1のユーザ入力に基づいて表示動作を実行し、第1のユーザ入力に基づく画像に対応する画像データを使用してクラスタ化動作を自動的に開始するようにプロセッサによってさらに実行可能である。
別の特定の実施形態では、装置は、ユーザインターフェースから第1のユーザ入力を受け取るための手段を含む。第1のユーザ入力は、表示動作用の画像を選択する。この装置は、第1のユーザ入力に基づいて表示動作を実行するための手段と、第1のユーザ入力に基づく画像に対応する画像データを使用してクラスタ化動作を自動的に開始するための手段とをさらに含む。
開示される実施形態のうちの少なくとも1つによってもたらされる1つの特定の利点は、画像の第1の画像レイヤと第2の画像レイヤの独立した画像編集が行われることである。したがって、ユーザは、特定の画像編集動作に基づいて画像全体(たとえば、画像のすべての画像レイヤ)が編集される従来のシステムと比較して、画像編集動作を「微調整する」ことができるようになる場合がある。開示される実施形態のうちの少なくとも1つによってもたらされる別の特定の利点は、モバイルデバイスのユーザによるユーザインターフェース(UI)の制御が簡略化されることである。たとえば、UIは、ユーザが、特定のユーザ入力(たとえば、特定の方向におけるスワイプ)に特定の画像編集動作を割り当てるユーザ構成パラメータを設定するのを可能にしてもよく、それによって、モバイルデバイスによって実行される画像編集アプリケーションのユーザ制御が簡略化される。開示される実施形態のうちの少なくとも1つによってもたらされる別の特定の利点は、デバイスのユーザによって画像編集がより高速に行われているように感じられることである。本開示の他の態様、利点、および特徴は、以下の節、すなわち、図面の簡単な説明、発明を実施するための形態、および特許請求の範囲を含む、本願全体を検討した後に明らかになろう。
プロセッサの特定の例示的な実施形態のブロック図である。 図1のプロセッサによって実行される場合がある特定の例示的な画像処理動作の態様を示す図である。 図1のプロセッサによって実行される場合がある例示的な画像処理動作の追加の態様を示す図である。 図1のプロセッサによって実行される場合がある例示的な画像処理動作の追加の態様を示す図である。 図1のプロセッサによって実行される場合がある例示的な画像処理動作の追加の態様を示す図である。 図1のプロセッサによって実行される場合がある方法を示す流れ図である。 図1のプロセッサによって実行される場合がある別の方法を示す流れ図である。 図1のプロセッサを含んでもよいモバイルデバイスの特定の例示的な実施形態のブロック図である。 モバイルデバイスの例示的な動作状態のブロック図である。 図9のモバイルデバイスによって実行される場合がある方法を示す流れ図である。 図9のモバイルデバイスの特定の例示的な実施形態のブロック図である。 図1のプロセッサを含むモバイルデバイスなどのデバイスによって実行される場合がある方法を示す流れ図である。
図1を参照すると、プロセッサの特定の例示的な実施形態が示され、全体的に100と示されている。プロセッサ100は、クラスタアイデンティファイア124と、画像セグメントジェネレータ128と、画像コンポーネントラベラー132と、画像モディファイア136とを含む。
動作時には、プロセッサ100は画像データ102に応答してもよい。たとえば、画像データ102は、カメラから受け取られても、またはカメラに関連するカメラコントローラから受け取られてもよい。画像データ102は、画像レイヤ104aおよび画像レイヤ106aなどの1つまたは複数の画像レイヤを含んでもよい。画像レイヤ104a、106aはそれぞれ、画像の前景部分および画像の背景部分に対応してもよい。代替的に、画像レイヤ104a、106aの各々が前景部分に対応してもよく、あるいは各々が背景部分に対応してもよい。
画像データ102は、ピクセルの1つまたは複数のクラスタ(たとえば、画像に示されるオブジェクトに対応するピクセルクラスタ)をさらに含んでもよい。たとえば、図1は、画像レイヤ104aがクラスタ108aとクラスタ110aとを含んでもよいことを示す。別の例として、図1は、画像レイヤ106aがクラスタ112aとクラスタ114aとを含んでもよいことをさらに示す。クラスタ108a、110a、112a、および114aは、属性116、属性118a、属性120a、および/または属性122aなどの1つまたは複数の属性を含んでもよい。属性116、属性118a、属性120a、および/または属性122aは、例示的な例として、画像の色、鮮鋭度、コントラスト、コンテキスト(たとえば、背景環境などの環境)、ぼかし効果、および/または別の態様などの画像の視覚的態様に対応してもよい。
クラスタアイデンティファイア124は、画像データ102に応答して、1つまたは複数のクラスタ特定技法を使用して画像の1つまたは複数のクラスタを特定してもよい。たとえば、クラスタアイデンティファイア124は、クラスタ108a、110a、112a、または114aのうちの1つまたは複数などの画像データ102の1つまたは複数のクラスタを特定してもよい。クラスタアイデンティファイア124は、画像データ102を分析してクラスタ特定情報126を生成してもよい。クラスタ特定情報126は、クラスタ108a、110a、112a、または114aのうちの1つまたは複数を特定してもよい。クラスタは、画像データ102の同様のピクセルのグループに対応してもよい。一例として、ピクセルは、ピクセル同士が空間的に類似している(たとえば、共通のしきい値領域内にある)場合および/またはピクセル同士の数値が類似している(ピクセル値しきい値範囲内にある)場合に類似している可能性がある。クラスタアイデンティファイア124は、1つまたは複数の動作を実行して画像データ102のピクセルを比較し、類似したピクセルの1つまたは複数のグループを特定してクラスタ特定情報126を生成してもよい。
クラスタアイデンティファイア124は、画像データ102の1つまたは複数のスーパーピクセルを特定する「スーパーピクセル」技法を使用してクラスタ特定情報126を生成するように構成されてもよい。1つまたは複数のスーパーピクセルはクラスタ108a、110a、112a、および114aに対応してもよい。特定の例では、クラスタアイデンティファイア124は、シンプルリニアイテレイティブクラスタリング(SLIC)技法に従って動作するように構成される。SLIC技法は、画像データを「グリッド」に分割する場合があり、グリッドの各コンポーネント内の画像データ102のピクセルを比較して画像データ102のクラスタを特定する場合がある。SLIC技法は、国際照明委員会のL*、a*、およびb*(CIELAB)色空間モデルなどの多次元モデルに色をマップする色空間モデルに関連して実行されてもよい。
SLIC技法は、k=1, 2, ... KについてK個のスーパーピクセル中心C_kを特定する場合があり、この場合、各々がグリッド間隔サイズSを有するグリッド間隔でC_k =[l_k, a_k, b_k, x_k, y_k]Tであり、Kは正の整数であり、Tは転置演算を示し、l、a、b、x、およびyは、CIELAB色空間モデルに関連するパラメータを示す場合がある。特定の実施形態では、任意のスーパーピクセルの空間範囲は約2Sである。したがって、特定のスーパーピクセルに含まれるピクセルは、(x-y平面について)スーパーピクセルの中心の周りの2S×2S内に位置してもよい。2S×2S領域は、各スーパーピクセル中心に類似したピクセルの「探索領域」に対応してもよい。
CIELAB色空間モデルでは、ディスプレイにおいて実現されたときに、特定のユークリッド距離(たとえば、多次元モデル内の色を示す点間の距離)がユーザによって知覚可能である場合があり、場合によっては、見え方が不十分になるかあるいは別の作用が生じる。空間ピクセル距離がそのような知覚的色距離しきい値を超えた場合、空間ピクセル距離がピクセルカラーの類似性を上回る場合があり、画像歪みが生じる(たとえば、領域境界を重視せず、画像平面内の近接度のみを重視したスーパーピクセルが得られる)。したがって、5次元(5D)空間における単純なユークリッドノルムを使用する代わりに、D_s = d_lab + (m/S)d_xyであるように距離測度D_sが定義されてもよく、この場合、d_lab = sqrt[(l_k - l_i)^2 + (a_k - a_i)^2 + (b_k - b_i)^2]であり、d_xy = sqrt[(x_k - x_y)^2 + (x_k - x_y)^2]であり、mは、スーパーピクセルのコンパクトさの制御を可能にする変数を示し、Sは、グリッド間隔サイズSを示す。この例では、D_sは、実験室距離(d_lab)とグリッド間隔サイズSによって正規化され、変数mによって決定される「コンパクトさ」を有するx-y平面距離(d_xy)との和に対応する。さらなる例として、Table 1(表1)は、クラスタアイデンティファイア124の例示的な動作に対応する例示的な擬似コードを示す。
画像セグメントジェネレータ128は、クラスタアイデンティファイア124に応答して、1つまたは複数のセグメント化技法を使用して画像をセグメント化してもよい。たとえば、画像セグメントジェネレータ128は、クラスタ特定情報126に基づいてセグメント化マスク130を生成してもよい。特定の例では、セグメント化マスク130は、クラスタ特定情報126に基づいて画像レイヤ106aから画像レイヤ104aを分離することなどによって、画像データ102の1つまたは複数の前景レイヤまたは背景レイヤを特定する。画像セグメントジェネレータ128は、クラスタアイデンティファイア124によって特定された1つまたは複数のクラスタを画像データ102の残りの部分から分離することによってセグメント化マスク130を生成してもよい。たとえば、画像セグメントジェネレータ128は、クラスタ特定情報126によって示されたピクセルの1つまたは複数のグループを画像データ102からセグメント化して(たとえば、削除、パーティション化などを行って)セグメント化マスク130を生成してもよい。
特定の実施形態では、画像セグメントジェネレータ128は、クラスタアイデンティファイア124によって生成されたスーパーピクセルz_nのセットに応答する。スーパーピクセルは、CIELAB色空間モデルを使用して表されてもよい。画像セグメントジェネレータ128は、スーパーピクセルのセットに「グラブカット」技法を適用してもよい。画像セグメントジェネレータ128は、グラブカット技法を利用して混合ガウスモデル(GMM)を生成してもよい。特定の実施形態では、画像セグメントジェネレータ128は、画像の前景のスーパーピクセルに対応するガウス分布の第1のセットを有する第1のGMMを生成するように構成され、画像の背景のスーパーピクセルに対応するガウス分布の第2のセットを有する第2のGMMを生成するようにさらに構成される。各GMMは、正の整数個であるK個のコンポーネント(たとえば、K=5)のうちのコンポーネントとの全共分散ガウス混合に対応してもよい。画像処理動作の扱いやすさを向上させるために、GMMに関連してベクトルk = {k_1, ... k_n, ... k_N }が使用されてもよく、この場合、k_n∈{1, ... K}が成立する。対応するGMMコンポーネント(たとえば、α_n)が各ピクセルに割り当てられてもよい。GMMコンポーネントは、(たとえば、α_n=0またはα_n=1に従って)背景GMMまたは前景GMMのいずれから選択されてもよい。
画像セグメントジェネレータ128の動作にはE(α, k, θ, z) = U(α, k, θ, z) + V(α, z)に対応するGibbsエネルギーなどのエネルギー消費量が関連付けられてもよく、この場合、kはGMM変数を示す場合があり、Uはデータ項目を示す場合があり、U(α, k, θ, z) = ΣnDn(an, kn, θn, zn) , Dn(an, kn, θ, zn) = -logp(zn|an, kn, θ) -logπ(an, kn)であり、Dnは、ガウス確率分布を示す場合があり、p(・)は、混合加重係数を示す場合があり、それによって、(定数まで)次式が成立する。
したがって、モデルのパラメータはθ = {π(α,k), μ(α,k), Σ(α,k), α = 0, 1, k = 1 ... K}に対応してもよい(すなわち、背景および前景分布に関する2Kガウスコンポーネントの加重π、平均μ、および共分散Σ)。特定の例では、滑らかさ項Vは、下式に従って色空間におけるユークリッド距離を使用してコントラスト項が算出されることを除いて単色例に対して変更されない。V(α,z) = γΣ(m, n) ∈C [αm ≠αn] exp(-β||zm - zn||2)。さらなる例として、Table 2(表2)は、プロセッサ100の例示的な動作に対応する例示的な擬似コードを示す。
画像コンポーネントラベラー132は、画像セグメントジェネレータ128に応答してもよい。たとえば、画像コンポーネントラベラー132は、セグメント化マスク130を画像アーチファクト134などの1つまたは複数の画像アーチファクトについて分析してもよい。画像アーチファクト134は、画像の別の部分から「意図的ではなしに」分離された画像の部分に対応してもよい。たとえば、画像の一部が画像の前景または背景にあるように「誤認される」場合があり、画像アーチファクト134は「誤認された」部分に対応してもよい。特定の実施形態では、画像コンポーネントラベラー132は、ユーザ入力に応答して画像アーチファクト134を特定してもよい。
特定の実施形態では、画像コンポーネントラベラー132は、画像セグメントジェネレータ128の動作を補償するように構成される。一例として、セグメント化マスク130は、画像セグメントジェネレータ128の色ベースの動作に起因する1つまたは複数の「穴」(たとえば、画像アーチファクト134などの画像アーチファクト)を有する場合がある。さらに、1つまたは複数のオブジェクトまたはレイヤが色類似性に起因して「誤って分類」される場合がある。たとえば、共通のオブジェクトの異なる色が前景および背景として誤って分類されることがあり、ならびに/あるいは異なるオブジェクトの類似した色が前景または背景として誤って分類されることがある。画像コンポーネントラベラー132は、前景領域にオブジェクトとして作用するように構成されてもよく、オブジェクトは、「単純接続性ドメイン」などのドメインとして作用を受ける場合がある。さらなる例として、Table 3(表3)は、画像コンポーネントラベラー132の例示的な動作に対応する例示的な擬似コードを示す。
画像モディファイア136は、画像コンポーネントラベラー132に応答してもよい。画像モディファイア136は、プロセッサ100を含むデバイスのユーザインターフェース(UI)などを介してユーザ入力にさらに応答して、画像データ102の第2のレイヤの第2の属性とは独立に画像データ102の第1のレイヤの第1の属性を調整してもよい。一例として、図1の例は、画像モディファイア136は画像データ102に対応する修正された画像データ138を生成してもよいことを示す。修正された画像データ138は、画像レイヤ106aに対する画像レイヤ104aの独立した修正を示す場合がある。
修正された画像データ138は、画像レイヤ104aに対応する画像レイヤ104bを含んでもよく、画像レイヤ106aに対応する画像レイヤ106bをさらに含んでもよい。画像レイヤ104bは、クラスタ108a、110aに対応するクラスタ108b、110bを含んでもよく、画像レイヤ106bは、クラスタ112a、114aに対応するクラスタ112b、114bを含んでもよい。図1の例は、クラスタ108bが属性116に対して(たとえば、ユーザ入力に基づいて)修正された属性140を有することを示す。一例として、ユーザ入力は、プロセッサ100に修正された画像データ138を生成させるように画像データ102の色属性、鮮鋭度属性、ぼかし属性、および/またはコンテキスト属性の修正を示す場合がある。さらに、図1の例は、(特定のユーザ入力に応じて、属性118a、120a、および122aに対して変更されない場合もあるいは調整される場合もある)属性116が、属性118b、120b、および122bなどの1つまたは複数の他の属性とは独立に属性140を生成するように修正されたことを示す。
図1の技法は、1つまたは複数の視覚的効果を実現するための画像の複数のレイヤの独立した調整を示す。したがって、図1の例は、プロセッサ100を含むデバイスの画像編集動作についてのユーザ制御を増強するのを可能にする。特定の例示的な例として、デバイスのユーザは、背景を「ぼかす」が前景を「ぼかさない」(または前景を「ぼかす」が背景を「ぼかさない」)ことなどによって、画像の背景の属性に対して画像の前景の属性を独立に修正してもよい。特定の例として、背景が「スーパーフォーカス」カメラ効果を近似するようにぼかされてもよい。
さらに、図1は、画像レイヤを抽出するための「スーパーピクセルベースのグラブカット」技法の一例について説明する図である。特定の従来の画像処理技法は、画像を「グローバル」に(または「ピクセル単位」ベースで)セグメント化することを試みる。図1の例では、画像データ102のクラスタを特定し、クラスタに基づいて画像をセグメント化し、それによって、グローバル技法と比べて画像処理動作の性能を向上させる場合がある。さらに、スーパーピクセルベースのグラブカット技法を使用して、画像データをピクセル単位ベースで分析するグローバル技法と比較して、画像改良動作(たとえば、画像レイヤまたはオブジェクトの1つまたは複数の境界を「補正する」ための1回または複数回のアルゴリズム反復)を加速してもよい。さらに、クラスタ化技法(たとえば、SLIC)の2つの特徴はエッジリコールとコンパクトさであることがわかっている。エッジリコールは、境界検出の向上に関連する場合があり、コンパクトさは、画像セグメント化動作(たとえば、グラブカット)に関連して有用である場合がある。したがって、スーパーピクセルベースのグラブカット技法を利用するデバイスは、性能が改善する場合がある。
図2を参照すると、画像の一例が示され、全体的に200と示されている。画像200は、背景202と前景204とを含む。特定の例では、背景202は画像レイヤ104aに対応し、前景204は画像レイヤ106aに対応する。画像200は画像データ102に対応してもよい(たとえば、画像データ102が画像200を表す場合がある)。
図2は、クラスタ化された画像210をさらに示す。クラスタ化された画像210は、クラスタアイデンティファイア124によって生成されてもよい。クラスタ化された画像210は、代表的なクラスタ212などの画像200のピクセルの複数のクラスタを含む。クラスタ212は、クラスタ特定情報126によって特定されてもよい。
図2は、結果的な画像220をさらに示す。結果的な画像220は、クラスタ化された画像210に基づく画像200の第2のレイヤの第2の属性から独立した画像200の第1のレイヤの第1の属性の調整を示す。たとえば、図2に示すように、画像200の背景部分202は結果的な画像220を生成するように削除されている。一例として、背景202は、クラスタ化された画像210に基づき、たとえば、クラスタ化された画像210のクラスタの類似性に基づいて削除されてもよい。特定の実施形態では、所定のコンテンツを背景202の代替にすることができる。特定の例示的な例として、背景202に対応する森の風景を海辺の風景(または別の風景)に交換してもよい。
図2の例は、画像のレイヤの独立した修正を示す。したがって、デバイスのユーザは、画像編集効果を画像全体に適用するデバイスと比較して画像編集動作に対するより顕著な制御を経験する場合がある。
図3は、画像300の例と、画像300に対応するセグメント化マスク310の例示的な図と、修正された画像320とを示す。図3では、セグメント化マスク310を使用して画像300を修正することによって、修正された画像320が生成される。たとえば、図3に示すように、セグメント化マスク310は複数の前景オブジェクトを特定する。図1の画像セグメントジェネレータ128は、複数の前景オブジェクトを画像300の背景に対してセグメント化することによって画像300をセグメント化してもよい。このようにして、画像レイヤ属性の独立した修正が可能になる。
画像300の複数のレイヤをセグメント化することによって、画像300の複数のレイヤを独立に調整することができる。図3の例では、修正された画像320はぼかした背景を含む。さらに、修正された画像320は、1つまたは複数の前景オブジェクトの色属性を変更することなどによって、画像300に対して修正された1つまたは複数の前景オブジェクトを含んでもよい。一例として、セグメント化マスク310は、ある前景オブジェクトのシャツの色を別の前景オブジェクトのシャツの色とは独立に修正することなどによって、各々を互いに対して(かつ背景に対して)独立に修正することができる複数の前景オブジェクトを特定する。
図3の例は、セグメント化マスク(セグメント化マスク310など)を使用して画像のレイヤの属性の独立した調整を可能にしてもよいことを示す。たとえば、セグメント化マスク310は、画像300の前景部分の独立した色調整を可能にしてもよい。
図4を参照すると、画像が示され、全体的に400と示されている。画像400はユーザインターフェース(UI)において表示されてもよい。UIは、ユーザが画像400の第2のレイヤの第2の属性に対して画像400の第1のレイヤの第1の属性を独立に調整するのを可能にする。一例として、図4の例はユーザ入力402を示す。ユーザ入力402は、画像400を表示するモバイルデバイスのディスプレイデバイスなどのディスプレイデバイスにおける、ユーザによるスワイプアクションに対応してもよい。図4の例では、ユーザ入力402は、画像背景などの画像400の画像レイヤを示してもよい。ユーザ入力402は、画像400の画像レイヤを選択するためにUIの少なくともしきい値数のピクセルを示してもよい。一例として、ユーザが誤ってUIにタッチしてユーザ入力402を生成した場合、ユーザ入力402はしきい値数よりも少ない数のピクセルを示してもよく、ユーザ入力402はレイヤを選択させなくてもよい。代替的に、ユーザ入力402が少なくともしきい値数のピクセルを示す場合、ユーザ入力402はレイヤを選択させてもよい。
図4は、画像410をさらに示す。画像410では、ユーザ入力402に応答することなどによって背景部分が削除されている。たとえば、ユーザ入力402が画像400の背景部分を指定する場合、画像400の背景部分は、図1〜図3を参照して説明した1つまたは複数の技法などのクラスタ特定および/またはセグメント化技法を使用して削除されてもよい。
図4は、画像410の改良に対応する画像420をさらに示す。たとえば、追加のユーザ入力に基づいて、画像410の追加の背景部分を削除して画像420を生成してもよい。
図4では、ユーザ入力を受け取って画像420を更新し、1つまたは複数の追加の背景部分を削除してもよい。たとえば、追加のユーザ入力を受け取ってセグメント化マスク430を生成してもよい。セグメント化マスク430は画像アーチファクト432を含む。画像アーチファクト432は、図1の画像アーチファクト134に対応してもよい。一例として、画像セグメントジェネレータ128の動作によって、セグメント化マスク430に対応するセグメント化マスク130を生成してもよい。しかし、セグメント化マスク130は、画像アーチファクト432などの1つまたは複数の画像アーチファクトを含む場合がある。特定の実施形態では、画像コンポーネントラベラー132は、画像アーチファクト432を削除して画像440を生成するように動作可能である。画像400は、修正された画像データ138に対応してもよい。
図4は、ユーザによる画像編集動作の制御を強化するのを可能にするための技法を示す。図4は、画像編集動作の質をさらに向上させるために画像アーチファクト432などの画像アーチファクトを削除することをさらに示す。図4の技法は、図5を参照してさらに説明するようにユーザインターフェース(UI)とともに利用されてもよい。
図5は、ユーザインターフェース(UI)500の一例を示す。UI500は、モバイルデバイスのディスプレイなどのディスプレイにおいて提示されてもよい。ディスプレイは、ユーザ入力を受け取るように構成されたタッチスクリーンディスプレイに対応してもよい。図5の例では、UI500は、画像編集アプリケーション(たとえば、画像をグラフィカルに表示し、画像に対する画像編集動作を容易にするモバイルデバイスアプリケーション)に関連してユーザに提示される複数の画像を示す。
図5は、画像502の選択時のUI500に対応するUI510をさらに示す。画像編集アプリケーションは、画像502を示すユーザ入力504に応答して、(たとえば、画像をサムネイルビューからフルビューに拡大することによって)画像502を拡大してUI520を生成してもよい。ユーザ入力504は、例示的な例として、UI510におけるスワイプアクションまたはタップアクションに対応してもよい。
特定の例示的な例として、ユーザインターフェース(UI)530は、ボタン532、534、536、538などの複数のボタンとともに画像502を示す。ボタン532、534、536、および538は、画像502の画像属性の調整などの1つまたは複数の動作が割り当てられてもよい。
一例として、ユーザはボタン534を選択してもよい。ボタン534は、UI530によって示される画像の背景部分または前景部分の表示を容易にするためにユーザによって選択されてもよい。一例として、図5は画像502の背景および/または前景を指定するためにユーザ入力が受け取られるUI540を示す。ユーザ入力は、図4のユーザ入力402に対応してもよい。特定の例として、ユーザは(たとえば、背景指定動作モードを入力するために)ボタン534を選択し、次いでユーザ入力(たとえば、ユーザ入力402)を入力してUI540において表示される画像の背景部分を指定してもよい。ユーザ入力は、画像の背景部分を指定するスワイプアクションに対応してもよい。ボタン532、536、および538のうちの1つまたは複数は、画像の前景部分を指定するのに使用可能な前景指定ボタンとして働いてもよい。ボタン532、536、および538のうちの1つまたは複数は、(たとえば、特定の画像編集アプリケーションに関連する)デフォルト動作および/またはユーザ定義動作(たとえば、ユーザ選好入力に基づくユーザ定義動作)に対応してもよい。
さらなる例として、画像レイヤ内の複数のオブジェクトが特定された場合、ボタン532、536、および538は、ユーザが複数のオブジェクトのうちの1つを選択するのを可能にしてもよい。特定の例として、(たとえば、図3の画像300に関連して)複数の前景オブジェクトが特定された場合、ボタン536を使用して第1の前景オブジェクトを指定してもよく、ボタン538を使用して第2の前景オブジェクトを指定してもよい。この例では、ボタン536を押した後、第1の前景オブジェクトを示すユーザスワイプアクションによって、第1の前景オブジェクトを目標とする画像編集動作を開始してもよい。同様に、ボタン538を押した後、第2の前景オブジェクトを示すユーザスワイプアクションによって、第2の前景オブジェクトを目標とする画像編集動作を開始してもよい。
図5は、ユーザが画像編集動作を単純にかつ効果的に制御するのを可能にするための高度ユーザインターフェース(UI)技法を示す。たとえば、ユーザは、図5の例において説明したようにボタン534を使用して画像の背景部分(または前景部分)を指定してもよい。
図6を参照すると、方法の特定の例示的な実施形態が示され、全体的に600と示されている。方法600は、プロセッサを含むモバイルデバイスなどのデバイスにおいて実行されてもよい。特定の例示的な実施形態では、方法600は、図1のプロセッサ100によって実行される。
方法600は、604において、画像に対応する画像データを受け取ることを含む。画像データは、画像データ102に対応してもよい。画像データは、カメラによって取り込まれた画像に対応してもよく、画像データは、画像の編集を可能にするために画像編集アプリケーションに関連してロードされてもよい。方法600は、608において、画像データに関連するクラスタを特定することをさらに含んでもよい。特定の例では、クラスタアイデンティファイア124は、クラスタ108aなどの、画像データ102のクラスタを特定してもよい。
方法600は、612において、クラスタに基づいて画像の第1の画像レイヤを特定することによって画像データをセグメント化することをさらに含んでもよい。一例として、クラスタアイデンティファイア124は、クラスタ特定情報126を画像セグメントジェネレータ128に供給してもよい。画像セグメントジェネレータ128は、クラスタ特定情報126に基づいて、画像の前景部分を特定することによって画像データをセグメント化してもよい。画像セグメントジェネレータ128は、セグメント化マスク130を生成して画像の画像レイヤの独立した修正を可能にしてもよい。
方法600は、616において、第1の画像レイヤを使用して1つまたは複数のコンポーネントラベリング動作を開始することをさらに含んでもよい。方法600は、620において、画像の第2の画像レイヤ(たとえば、背景)を特定することをさらに含んでもよい。方法600は、624において、プロンプトを出してデバイスのユーザに、第2の画像レイヤの第2の属性とは独立に第1の画像レイヤの第1の属性を調整するように促すことをさらに含んでもよい。特定の例として、デバイスのユーザは、促されることによって属性118a、120a、122aのうちの1つまたは複数とは独立に属性116を調整してもよい(たとえば、属性140を生成してもよい)。
方法600は、628において、ユーザ入力を受け取ることをさらに含んでもよい。特定の実施形態では、ユーザ入力は、タッチスクリーンなどのデバイスのディスプレイにおいて受け取られる。方法600は、640において、ユーザ入力に基づいて修正された画像を生成することをさらに含んでもよい。修正された画像は、図1の修正された画像データ138に対応してもよい。
図6の方法600は、ユーザによって画像編集動作を単純にかつ効率的に制御するのを可能にする。たとえば、方法600は、ポータブルデバイス(たとえば、タッチスクリーンユーザインターフェースを有するモバイルデバイス)とともに利用され、しかも画像編集動作に対する高レベルのユーザ制御(たとえば、画像のレイヤの独立した調整)を可能にする場合がある。
図7を参照すると、方法の特定の例示的な実施形態が示され、全体的に700と示されている。方法700は、プロセッサを含むモバイルデバイスなどのデバイスにおいて実行されてもよい。特定の例示的な実施形態では、方法700は、図1のプロセッサ100によって実行される。
方法700は、708において、画像に対応する画像データを第1の画像レイヤおよび第2の画像レイヤへとセグメント化することを含む。第1の画像レイヤおよび第2の画像レイヤは、例示的な例として、それぞれ画像レイヤ104a、106aに対応してもよい。
方法700は、712において、ユーザ入力に基づいて第2の画像レイヤの第2の属性とは独立に第1の画像レイヤの第1の属性を調整することをさらに含んでもよい。特定の例では、第1の属性は属性116に対応し、第2の属性は属性120a、122aのうちの1つまたは複数に対応する。
方法700は高度な画像編集動作を容易にする。たとえば、画像編集動作は、画像レイヤ(たとえば、背景および前景)を個別に目標としてある画像レイヤに対して別の画像レイヤとは異なる画像編集効果を実現してもよい。
図8を参照すると、モバイルデバイスの特定の例示的な実施形態のブロック図が示され、全体が800と示される。モバイルデバイス800は、1つまたは複数の処理リソース810を含んでもよい。1つまたは複数の処理リソース810はプロセッサ100を含む。1つまたは複数の処理リソース810は、メモリ832(たとえば、非一時的コンピュータ可読媒体)などのコンピュータ可読媒体に結合されてもよい。メモリ832は、1つまたは複数の処理リソース810によって実行可能な命令858、および1つまたは複数の処理リソース810によって使用可能なデータ852を記憶してもよい。メモリ832は、クラスタ特定命令892、画像セグメント化命令894、および/または画像ラベリング命令896をさらに記憶してもよい。
モバイルデバイス800は、電荷結合素子(CCD)画像センサおよび/または相補型金属酸化物半導体(CMOS)画像センサなどの画像センサを有するカメラを含んでもよい。たとえば、図8は、カメラ856がカメラコントローラ890に結合されてもよいことを示している。カメラコントローラ890は、1つまたは複数の処理リソース810に結合されてもよい。命令858は、カメラ856によって取り込まれた1つまたは複数の画像を編集するように処理リソース810によって実行可能な画像編集アプリケーションを含んでもよく、データ852は、画像データ102などの1つまたは複数の画像に対応する画像データを含んでもよい。
図8は、1つまたは複数の処理リソース810およびディスプレイ828に結合されたディスプレイコントローラ826も示す。ディスプレイは、ユーザインターフェース(UI)872を表示するように構成されてもよい。特定の実施形態では、ディスプレイ828はタッチスクリーンを含み、UI872は、タッチスクリーンにおけるユーザ操作(たとえば、スワイプ操作)に応答する。
コーダ/デコーダ(コーデック)834も、1つまたは複数の処理リソース810に結合することが可能である。スピーカ836およびマイクロフォン838をコーデック834に結合することができる。図8は、ワイヤレスコントローラ840を1つまたは複数の処理リソース810に結合できることも示している。ワイヤレスコントローラ840は、無線周波数(RF)インターフェース880を介してアンテナ842にさらに結合されてもよい。
特定の実施形態では、1つまたは複数の処理リソース810、メモリ832、ディスプレイコントローラ826、カメラコントローラ890、コーデック834、およびワイヤレスコントローラ840は、システムインパッケージデバイスまたはシステムオンチップデバイス822に含まれる。入力デバイス830および電源844は、システムオンチップデバイス822に結合されてもよい。
さらに、特定の実施形態では、図8に示すように、ディスプレイ828、入力デバイス830、カメラ856、スピーカ836、マイクロフォン838、アンテナ842、RFインターフェース880、および電源844は、システムオンチップデバイス822の外部にある。しかしながら、ディスプレイ828、入力デバイス830、カメラ856、スピーカ836、マイクロフォン838、アンテナ842、RFインターフェース880、および電源844の各々は、インターフェースまたはコントローラなどの、システムオンチップデバイス822の構成要素に結合することが可能である。
前述の実施形態では、非一時的コンピュータ可読媒体は命令を記憶する。非一時的コンピュータ可読媒体はメモリ832に対応してもよく、命令は、クラスタ特定命令892、画像セグメント化命令894、画像ラベリング命令896、および/または命令858のうちのいずれを含んでもよい。命令は、プロセッサ(たとえば、プロセッサ100)に、画像に関連する画像データを第1の画像レイヤおよび第2の画像レイヤへとセグメント化させるようにプロセッサによって実行可能である。画像データは、画像データ102に対応してもよく、第1の画像レイヤおよび第2の画像レイヤは、画像レイヤ104a、106aに対応してもよい。命令は、ユーザ入力に基づいて第2の画像レイヤの第2の属性とは独立に第1の画像レイヤの第1の属性を調整するようにプロセッサによってさらに実行可能である。第1の属性および第2の属性は、例示的な例として属性116、120aに対応してもよい。
別の特定の実施形態では、装置(たとえば、プロセッサ100)は、画像に関連する画像データを第1の画像レイヤおよび第2の画像レイヤへとセグメント化するための手段を含む。第1の画像レイヤおよび第2の画像レイヤは、画像レイヤ104a、106aに対応してもよい。画像データをセグメント化するための手段は画像セグメントジェネレータ128に対応してもよく、画像データは画像データ102に対応してもよい。この装置は、ユーザ入力に基づいて第2の画像レイヤの第2の属性とは独立に第1の画像レイヤの第1の属性を調整するための手段をさらに含む。第1の属性を調整するための手段は、画像モディファイア136に対応してもよい。第1の属性および第2の属性は、例示的な例として属性116、120aに対応してもよい。
図9を参照すると、モバイルデバイス902の第1の動作状態が示され、全体的に900と示されている。モバイルデバイス902は、(図9には示されていない)プロセッサ100を含んでもよい。代替的にまたは追加として、モバイルデバイスは別のプロセッサを含んでもよい。
モバイルデバイス902は、ディスプレイデバイス904とメモリ906とを含む。ディスプレイデバイス904は、属性910(たとえば、色属性)を有し、属性912(たとえば、ぼかし属性)をさらに有する画像908を表示してもよい。属性910、912は、画像908の共通のレイヤに対応しても個別のレイヤに対応してもよい。特定の例では、属性910は、画像レイヤ104aの属性116に対応し、属性912は画像レイヤ106aの属性120aに対応する。
メモリ906は、画像908に対応する画像データ914を記憶してもよく、1つまたは複数のユーザ構成パラメータ916をさらに記憶してもよい。ユーザ構成パラメータ916は、モバイルデバイス902において受け取られたユーザ入力が属性910、912のうちの1つまたは複数にどのように影響を与えるかを判定してもよい。一例として、モバイルデバイス902においてユーザ入力918が受け取られてもよい。ユーザ入力918は、モバイルデバイス902に対する垂直方向または水平方向などの第1の方向を実質的に示してもよい。
本明細書では、ユーザ入力は、特定のデバイス構成および/またはアプリケーションに応じて、方向を示すものとしてデバイスによって認識される場合に「実質的に」方向を有してもよい。一例として、スワイプ入力は、厳密に垂直ではなくてもよいが、デバイスがスワイプ入力を垂直方向を示すものとして認識する場合には実質的に垂直であってもよい。特定の非制限的な例として、デバイスは、スワイプ操作が方向内の特定のベクトル成分を有する場合、スワイプ操作がその方向を示すものとして認識されるように構成されてもよい。たとえば、デバイスにおけるユーザ入力は、デバイスによって複数の方向成分(たとえば、ベクトル)に分解されてもよい。デバイスは、複数の方向成分を比較して複数の方向成分の比を求めてもよい。比がしきい値を超えている場合、デバイスは、ユーザ入力が方向を示すと判定してもよい。さらなる例として、ユーザ入力が直線ではない(あるいはほぼ直線とは言えない)場合、デバイスは、ある技法に従ってユーザ入力に関連する点を線に「当てはめる」(たとえば、補間する)ことによってユーザ入力を近似してもよい。この技法には、例示的な例として「最小平均2乗誤差」(MMSE)技法を含めてもよい。
ユーザ構成パラメータ916は、第1の方向を示すユーザ入力が画像908に対して実行すべき第1の画像編集動作を示すことを示してもよい。たとえば、ユーザ構成パラメータ916は、第1の方向を示すユーザ入力が色属性変更動作を示すことを示してもよい。特定の実施形態では、ユーザ入力918はスワイプ操作(たとえば、垂直スワイプまたは水平スワイプ)を含む。1つまたは複数の代替例では、ユーザ入力918が特定の実装形態に応じて、ホバー操作、タップ操作、スタイラス入力操作、赤外線(IR)ベースの操作、(たとえば、ポインティングジェスチャーを検出するように構成されたマルチカメラ構成に関連する)ポインティングジェスチャー、または別の操作などの別の操作を含んでもよいことを認識されたい。
図9は、モバイルデバイス902の第2の動作状態920をさらに示す。第2の動作状態920では、属性910がユーザ入力918に基づいて修正され、属性922が生成されている。モバイルデバイス902は、ユーザ入力918に応答して修正された画像データ926を生成してもよい。
モバイルデバイス902においてユーザ入力928が受け取られてもよい。ユーザ入力928は、実質的に第1の方向を示してもよい。ユーザ構成パラメータ916は、第1の方向を特定するユーザ入力が、画像908に対して別の画像編集動作を生じさせることを示してもよい。たとえば、モバイルデバイス902の第3の動作状態930は、属性912が属性932を生成するようにユーザ入力928に基づいて修正されていることを示す。属性932は、画像908の画像レイヤのぼかしに対応してもよい。モバイルデバイス902は、属性932を示す修正された画像データ936を生成してもよい。修正された画像データ936は、(たとえば、修正された画像データ926にガウスぼかし技法を適用した後の)「ぼかし」効果を有する修正された画像データ926に対応してもよい。
特定の実施形態では、第1の方向を示すユーザ入力は第1の画像編集動作を示す。一例として、水平スワイプアクションは、画像の特定のレイヤ(たとえば、前景)を目標とする色変更動作を示してもよい。1つまたは複数の続く水平スワイプアクションは、様々な色変更動作(たとえば、赤から青へ、青から緑へ、など)を「循環し」てもよい。第2の方向を示すユーザ入力は、画像の異なるレイヤへの画像編集動作などの第2の画像編集動作を示してもよい。たとえば、垂直スワイプアクションは、画像の背景などに対する画像ぼかし動作を選択するかまたは生じさせてもよい。1つまたは複数の続く垂直スワイプアクションは、背景を所定のコンテンツ(たとえば、海辺のシーン)および/またはその他のコンテンツと交換することなどによる、背景に対する1つまたは複数の追加の画像編集動作を選択するかまたは生じさせてもよい。したがって、一実施形態では、第1の方向における(たとえば、垂直方向における)スワイプは、様々な利用可能な画像編集動作(たとえば、視覚的効果)を循環してもよく、第2の方向における(たとえば、垂直方向における)スワイプは、選択された画像編集動作に関する様々なオプション(たとえば、色、ぼかし強度など)を循環してもよい。代替実施形態では、様々な方向におけるスワイプまたは様々な軸に沿ったスワイプは、異なる画像編集動作(たとえば、色変更のための上下のスワイプ、ぼかしのための左右のスワイプ、背景風景の交換のための対角方向のスワイプなど)に対応してもよい。ユーザ入力操作に関連する特定の方向はユーザによって構成されてもよい。たとえば、ユーザ構成パラメータ916は、対角方向のスワイプアクションが(たとえば、水平方向の代わりに)色変更動作を示すかまたは(たとえば、垂直方向の代わりに)画像ぼかし動作を示すことを示すようにユーザ構成可能であってもよい。ユーザ構成パラメータ916のユーザ構成について、図11を参照しながらさらに説明する。
図9の例は、画像編集動作の簡略化された制御を示す。たとえば、ユーザ入力918、928はそれぞれの画像編集動作に対応するので、モバイルデバイス902のユーザは好都合で高速の入力方法(たとえば、スワイプアクション)を使用して複数の画像編集動作を実行し、画像編集動作の複雑さを低減させてもよい。
図10を参照すると、方法の特定の例示的な実施形態が示され、全体的に1000と示されている。方法1000は、1004において、モバイルデバイスにおいて第1の画像を表示することを含む。モバイルデバイスはモバイルデバイス902に対応してもよく、第1の画像は画像908に対応してもよい。
方法1000は、1008において、モバイルデバイスにおいて第1のユーザ入力を受け取ることをさらに含む。第1のユーザ入力は、モバイルデバイスに対する方向を示す。たとえば、第1のユーザ入力は、垂直方向または水平方向を示してもよい。第1のユーザ入力は、ユーザ入力918に対応してもよい。
方法1000は、1012において、第2の画像を生成するために第1のユーザ入力に基づいて第1の画像に対して第1の画像編集動作を実行することをさらに含んでもよい。第1の画像編集動作は、属性910を属性922を生成するように修正することなどによって画像924を生成してもよい。特定の例として、第1の画像編集動作は、画像908の色属性を画像924を生成するように修正することを含んでもよい。
方法1000は、1016において、モバイルデバイスにおいて第2の画像を表示することをさらに含んでもよい。たとえば、画像924は、モバイルデバイス902のディスプレイデバイス904において表示されてもよい。
方法1000は、1020において、モバイルデバイスにおいて第2のユーザ入力を受け取ることをさらに含んでもよい。第2のユーザ入力は方向を示す。1つまたは複数の構成では、第2のユーザ入力は、実質的にモバイルデバイスに対する別の方向(たとえば、第1のユーザ入力によって示される垂直方向ではなく水平方向など)を示してもよい。第2のユーザ入力は、ユーザ入力928に対応してもよい。
方法1000は、1024において、第3の画像を生成するために第2の画像に対して第2の画像編集動作を実行することをさらに含んでもよい。たとえば、第2の画像編集動作は、画像924のレイヤをぼかすことなどによって、属性912を属性932を生成するように修正してもよい。第3の画像は、画像934に対応してもよい。
方法1000は、場合によっては、モバイルデバイスに対する方向を示す第3のユーザ入力を受け取ることを含んでもよい。第3のユーザ入力は、第1の画像編集動作および第2の画像編集動作を取り消すためのコマンドに対応する。一例として、モバイルデバイスのユーザが第1の画像編集動作および第2の画像編集動作に不満である場合、ユーザはユーザ入力(たとえば、実質的に特定の方向におけるスワイプ操作)を「繰り返し」て第1の画像編集動作および第2の画像編集動作を「取り消し」てもよい。
方法1000は、画像編集動作の簡略化された制御を示す。たとえば、モバイルデバイスのユーザは、特定の入力方法(たとえば、スワイプアクション)を使用して複数の画像編集動作を実行し、画像編集動作の複雑さを低減させてもよい。さらに、図11を参照して説明するように、ユーザは、たとえば画像編集動作の順序を調整するようにユーザ構成パラメータを再構成してもよい。
図11は、モバイルデバイス902の特定の例示的な実施形態を示す。モバイルデバイス902は、1つまたは複数の処理リソース1110(たとえば、プロセッサ100などのプロセッサ、別のプロセッサ、またはそれらの組合せなど)を含んでもよい。1つまたは複数の処理リソース1110は、メモリ906(たとえば、非一時的コンピュータ可読媒体)などのコンピュータ可読媒体に結合されてもよい。メモリ906は、1つまたは複数の処理リソース1110によって実行可能な命令1158、および1つまたは複数の処理リソース1110によって使用可能なデータ1152を記憶してもよい。メモリ906は、画像データ914およびユーザ構成パラメータ916を記憶してもよい。
モバイルデバイス902は、電荷結合素子(CCD)画像センサおよび/または相補型金属酸化物半導体(CMOS)画像センサなどの画像センサを有するカメラを含んでもよい。たとえば、図11は、カメラ1156がカメラコントローラ1190に結合されてもよいことを示す。カメラコントローラ1190は、1つまたは複数の処理リソース1110に結合されてもよい。画像データ914は、カメラ1156によって取り込まれた画像に対応してもよい。
図11は、1つまたは複数の処理リソース1110およびディスプレイデバイス904に結合されたディスプレイコントローラ1126も示す。ディスプレイデバイス904は、ユーザインターフェース(UI)1172を表示するように構成されてもよい。特定の実施形態では、ディスプレイデバイス904はタッチスクリーンを含み、UI1172は、タッチスクリーンにおけるユーザ操作(たとえば、スワイプ操作)に応答する。
コーダ/デコーダ(コーデック)1134も、1つまたは複数の処理リソース1110に結合することが可能である。スピーカ1136およびマイクロフォン1138をコーデック1134に結合することができる。図11は、ワイヤレスコントローラ1140を1つまたは複数の処理リソース1110に結合できることも示す。ワイヤレスコントローラ1140は、無線周波数(RF)インターフェース1180を介してアンテナ1142にさらに結合されてもよい。
特定の実施形態では、1つまたは複数の処理リソース1110、メモリ906、ディスプレイコントローラ1126、カメラコントローラ1190、コーデック1134、およびワイヤレスコントローラ1140は、システムインパッケージデバイスまたはシステムオンチップデバイス1122に含まれる。入力デバイス1130および電源1144は、システムオンチップデバイス1122に結合されてもよい。
さらに、特定の実施形態では、図11に示すように、ディスプレイデバイス904、入力デバイス1130、カメラ1156、スピーカ1136、マイクロフォン1138、アンテナ1142、RFインターフェース1180、および電源1144は、システムオンチップデバイス1122の外部にある。しかしながら、ディスプレイデバイス904、入力デバイス1130、カメラ1156、スピーカ1136、マイクロフォン1138、アンテナ1142、RFインターフェース1180、および電源1144の各々は、インターフェースまたはコントローラなどの、システムオンチップデバイス1122の構成要素に結合することが可能である。
動作時には、モバイルデバイス902においてユーザ選好入力1192が受け取られてもよい。ユーザ選好入力1192はユーザ構成パラメータを調整してもよい。ユーザ選好入力1192は、ディスプレイデバイス904において(たとえば、ディスプレイデバイス904のタッチスクリーンにおいて)受け取られても、入力デバイス1130において(たとえば、入力デバイス1130のキーボードにおいて)受け取られても、またはそれらの組合せにおいて受け取られてもよい。図11の例では、ユーザ選好入力1192は、モバイルデバイス902において実行される画像編集動作の順序を再構成してもよい。例示的な例として、ユーザ選好入力1192は、色変更動作が画像ぼかし動作よりも前に行われることを示すようにユーザ構成パラメータ916を再構成してもよい。
さらなる例として、ユーザ選好入力1192は、ユーザ構成パラメータ916を第1の状態から第2の状態に再構成してもよい。第1の状態は、最初のユーザ入力(たとえば、図9のユーザ入力918)が色変更動作を開始し、後続のユーザ入力(たとえば、図9のユーザ入力928)が画像ぼかし動作を開始することを示してもよい。ユーザ選好入力1192を第1の状態から第2の状態に再構成することによって、最初のユーザ入力(たとえば、図9のユーザ入力918)が画像ぼかし動作を開始してもよく、その後続のユーザ入力(たとえば、図9のユーザ入力928)が色変更動作を開始してもよい。
図11の技法は、モバイルデバイスのユーザによってユーザインターフェース(UI)の簡略化された制御を行うことを可能にする。たとえば、UIは、ユーザが、特定のユーザ入力(たとえば、特定の方向におけるスワイプ)に特定の画像編集動作を割り当てるユーザ構成パラメータを設定するのを可能にしてもよく、それによって、モバイルデバイスによって実行される画像編集動作のユーザ制御を簡略化してもよい。
命令1158は、本明細書で説明する1つまたは複数の動作を実行するために、1つまたは複数の処理リソース1110によって実行可能であってもよい。さらなる例として、前述の実施形態に関連して、コンピュータ可読媒体(たとえば、メモリ906)は、モバイルデバイス(たとえば、モバイルデバイス902)に、モバイルデバイスにおいて第1の画像(たとえば、画像908)を表示させ、かつモバイルデバイスにおいて第1のユーザ入力(たとえば、ユーザ入力918)を受け取らせるようにプロセッサ(たとえば、1つまたは複数の処理リソース1110)によって実行可能な命令(たとえば、命令1158)を記憶する。第1のユーザ入力は、モバイルデバイスに対する方向を示す。命令は、第2の画像(たとえば、画像924)を生成するために、第1のユーザ入力に基づいて、第1の画像に対して第1の画像編集動作を実行し、モバイルデバイスにおいて第2の画像を表示し、モバイルデバイスにおいて第2のユーザ入力(たとえば、ユーザ入力928)を受け取るようにプロセッサによってさらに実行可能である。第2のユーザ入力は、モバイルデバイスに対する方向を示す。命令は、第3の画像(たとえば、画像934)を生成するために、第2のユーザ入力に基づいて、第2の画像に対して第2の画像編集動作を実行するようにプロセッサによってさらに実行可能である。
前述の実施形態に関連して、装置は、モバイルデバイス(たとえば、モバイルデバイス902)において第1の画像(たとえば、画像908)を表示するための手段(たとえば、ディスプレイデバイス904)と、モバイルデバイスにおいて第1のユーザ入力(たとえば、ユーザ入力918)を受け取るための手段(たとえば、ディスプレイデバイス904および/または入力デバイス1130)とを含む。第1のユーザ入力は、モバイルデバイスに対する方向を示す。装置は、第1のユーザ入力に基づいて第2の画像(たとえば、画像924)を生成するために第1の画像に対して第1の画像編集動作を実行するための手段(たとえば、1つまたは複数の処理リソース1110)と、モバイルデバイスに第2の画像を表示させるための手段(たとえば、ディスプレイデバイス904および/または入力デバイス1130)と、第2のユーザ入力(たとえば、ユーザ入力928)を受け取るための手段(たとえば、ディスプレイデバイス904および/または入力デバイス1130)とをさらに含む。第2のユーザ入力は、モバイルデバイスに対する方向を示す。この装置は、第2のユーザ入力に基づいて、第3の画像(たとえば、画像934)を生成するために第2の画像に対して第2の画像編集動作を実行するための手段(たとえば、1つまたは複数の処理リソース1110)をさらに含む。
図12を参照すると、方法の特定の実施形態が示され、全体的に1200と示されている。方法1200は、プロセッサ100などのプロセッサおよび/または処理リソース810、1110のうちのいずれかによって実行されてもよい。方法1200は、モバイルデバイス(たとえば、モバイルデバイス800、902のうちの1つまたは複数)などのデバイスにおいて実行されてもよい。
方法1200は、1204において、ユーザインターフェースから第1のユーザ入力を受け取ることを含む。第1のユーザ入力はユーザ入力504に対応してもよく、ユーザインターフェースはUI500、UI872、およびUI1172のいずれかに対応してもよい。第1のユーザ入力は、表示動作用の画像を示す。一例として、画像は画像502に対応してもよい。さらなる例として、第1のユーザ入力は、ユーザインターフェースにおいて提示される画像ギャラリーから画像を選択するタッチスクリーン動作に対応してもよい。第1のユーザ入力は、ユーザインターフェースにおける画像を「サムネイル」ビューから「フル」ビューに拡大するための要求に対応してもよい。
方法1200は、1208において、第1のユーザ入力に基づいて表示動作を実行し、第1のユーザ入力に基づく画像に対応する画像データを使用してクラスタ化動作を自動的に開始することをさらに含む。一例として、クラスタ化動作は、モバイルデバイスにおいて画像が「ロード」されるのと同時に実行されてもよい。画像をロードすることは、例示的な例として、画像を(たとえば、サムネイルビューからフルビューに)拡大することまたは画像編集アプリケーションを起動することを含んでもよい。クラスタ化動作はSLIC動作を含んでもよい。クラスタ化動作は、画像をサムネイルビューからフルビューに拡大するために表示動作が実行されている間に、画像データ内のクラスタを特定するために開始されてもよい。
方法1200は、1216において、ユーザインターフェースから第2のユーザ入力を受け取ることをさらに含んでもよい。第2のユーザ入力は、ユーザ入力918に対応してもよい。第2のユーザ入力は、画像の第1の画像レイヤを特定する。第1の画像レイヤは、画像レイヤ104aに対応してもよい。第2のユーザ入力は、タッチスクリーンデバイスにおけるスワイプアクションを使用して画像の前景を特定してもよい。第2のユーザ入力は、前景を目標とする画像編集動作(たとえば、色変更動作、画像ぼかし動作など)を示してもよい。
方法1200は、1220において、第1の画像レイヤに関連付けられた画像セグメント化動作を自動的に開始することをさらに含んでもよい。たとえば、画像セグメント化動作は、第2のユーザ入力が完了したときに(たとえば、スワイプアクションが完了したときに)自動的に開始されてもよい。1つまたは複数の他の例では、画像セグメント化動作は、画像の背景を特定するユーザ入力を受け取ったときに自動的に開始されてもよい。
方法1200は、1222において、画像コンポーネントラベリング動作を実行することをさらに含んでもよい。画像コンポーネントラベリング動作は、画像セグメント化動作が完了した後に開始されてもよい。
方法1200は、1224において、ユーザインターフェースから第3のユーザ入力を受け取ることをさらに含んでもよい。第3のユーザ入力は、画像の第2の画像レイヤを特定する。たとえば、第3のユーザ入力は、タッチスクリーンデバイスにおけるスワイプアクションを使用して画像の背景を特定してもよい。背景は第2の画像レイヤに対応してもよい。第3のユーザ入力は、ユーザ入力928に対応してもよい。第3のユーザ入力は、背景を目標とする画像編集動作(たとえば、色変更動作、画像ぼかし動作など)を示してもよい。
方法1200は、1228において、修正された画像を生成するように第3のユーザ入力に基づいて画像を修正することをさらに含んでもよい。特定の例示的な例として、修正された画像は、それぞれ第2のユーザ入力および第3のユーザ入力に基づいて修正された前景および背景を含んでもよい。
方法1200は、ユーザが高度な画像編集を行うのを容易にする。たとえば、画像のロード時に画像クラスタ化動作に関連するずれを「隠す」ことによって、ユーザには画像編集動作がより高速に行われているように見えるようにしてもよい(画像の画像レイヤに対して実行すべき画像編集動作を示すユーザ入力によって、ユーザが画像編集動作を直接開始するよりも前に画像のクラスタ化が完了してもよいためである)。さらに、画像セグメント化動作は、画像のすべての画像レイヤの画像処理動作に関するユーザ入力を受け取る前に開始されてもよい。たとえば、画像セグメント化動作は、第1の画像レイヤ(たとえば、前景)に関するユーザ入力が受け取られた直後に、第2の画像レイヤ(たとえば、背景)に関するユーザ入力を受け取ることなく(または受け取る前に)開始されてもよい。特定の例では、画像セグメント化動作および画像コンポーネントラベリング動作は、ユーザが第2の画像レイヤに関連する画像編集動作を示すためのスワイプアクションを実行する間に第1の画像レイヤに対して実行され、画像編集動作の応答性および速度が向上し、ユーザエクスペリエンスが改善される。
前述の実施形態に関連して、コンピュータ可読媒体は、プロセッサに、ユーザインターフェースから第1のユーザ入力を受け取らせるようにプロセッサによって実行可能な命令を記憶してもよい。コンピュータ可読媒体は、メモリ832、906のうちの1つまたは複数に対応してもよく、プロセッサは、プロセッサ100および/または処理リソース810、1110のうちのいずれかに対応してもよい。ユーザインターフェースは、UI500、872、および1172のいずれかに対応してもよい。第1のユーザ入力は、表示動作用の画像を選択する。画像は画像502に対応してもよく、第1のユーザ入力はユーザ入力504に対応してもよい。命令は、第1のユーザ入力に基づいて表示動作を実行し、第1のユーザ入力に基づく画像に対応する画像データを使用してクラスタ化動作を自動的に開始するようにプロセッサによってさらに実行可能である。画像データは、画像データ102に対応してもよい。
前述の実施形態に関連して、装置(たとえば、モバイルデバイス800、902のいずれか)は、ユーザインターフェースから第1のユーザ入力を受け取るための手段を含む。第1のユーザ入力を受け取るための手段は、ディスプレイ828および/またはディスプレイデバイス904に対応してもよい。ユーザインターフェースは、UI500、872、および1172のいずれかに対応してもよい。第1のユーザ入力は、表示動作用の画像を選択する。画像は、例示的な例として、画像502に対応してもよい。装置は、第1のユーザ入力に基づいて表示動作を実行するための手段(たとえば、ディスプレイ828および/またはディスプレイデバイス904)と、第1のユーザ入力に基づく画像に対応する画像データ(たとえば、画像データ102)を使用してクラスタ化動作を自動的に開始するための手段(たとえば、プロセッサ100および/または処理リソース810、1110のうちのいずれか)とをさらに含む。
当業者には、上記の開示したデバイスおよび機能は、コンピュータ可読媒体上に記憶されたコンピュータファイル(たとえばRTL、GDSII、GERBERなど)の中に設計および構成されてもよいことが諒解されよう。そのようなファイルの一部またはすべてが、そのようなファイルに基づいてデバイスを製作する製作担当者に提供されてもよい。得られる製品としては、半導体ダイに分離されて半導体チップへパッケージングされる半導体ウェハが含まれる。半導体チップは次いで、モバイルデバイス800および/またはモバイルデバイス902内などのデバイス内で使用される。
当業者には、本明細書で開示する実施形態に関して説明する様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップが電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装されてもよいことがさらに諒解されよう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップについて、それらの機能に関して概略的に上記で説明した。そのような機能が、ハードウェアとして実装されるかソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課された設計制約次第である。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱をもたらすものと解釈されるべきではない。
本明細書で開示する実施形態に関して説明する方法またはアルゴリズムのステップは、直接ハードウェアにおいて具現化されても、プロセッサによって実行されるソフトウェアモジュールにおいて具現化されても、またはこの2つの組合せにおいて具現化されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ(RAM)、フラッシュメモリ、読取り専用メモリ(ROM)、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気消去可能プログラマブル読取り専用メモリ(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスク読取り専用メモリ(CD-ROM)、または当技術分野で知られている任意の他の形態の記憶媒体中に存在してもよい。例示的な非一時的媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替形態では、記憶媒体はプロセッサと一体であってもよい。プロセッサおよび記憶媒体は、特定用途向け集積回路(ASIC)および/またはフィールドプログラマブルゲートアレイ(FPGA)チップ中に存在してもよい。ASICおよび/またはFPGAチップは、コンピューティングデバイスまたはユーザ端末中に存在してもよい。代替として、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末中にディスクリート構成要素として存在してもよい。
開示した実施形態の前述の説明は、開示した実施形態を当業者が作成または使用することを可能にするために提供される。これらの実施形態に対する種々の変更は、当業者には容易に明らかになり、本明細書において規定された原理は、本開示の範囲から逸脱することなく、他の実施形態に適用されてもよい。したがって、本開示は、本明細書に示される実施形態に限定されることを意図するものではなく、以下の特許請求の範囲によって規定される原理および新規な特徴と一致する、取り得る最も広い範囲を与えられるべきである。
100 プロセッサ
102 画像データ
104a 画像レイヤ
106a 画像レイヤ
108a クラスタ
110a クラスタ
112a クラスタ
114a クラスタ
116 属性
118a 属性
120a 属性
122a 属性
124 クラスタアイデンティファイア
126 クラスタ特定情報
128 画像セグメントジェネレータ
130 セグメント化マスク
132 画像コンポーネントラベラー
134 画像アーチファクト
136 画像モディファイア
138 修正された画像データ
140 属性
200 画像
202 背景
204 前景
210 クラスタ化された画像
212 クラスタ
220 結果的な画像
300 画像
310 セグメント化マスク
320 修正された画像
400 画像
402 ユーザ入力
410 画像
420 画像
430 セグメント化マスク
432 画像アーチファクト
440 画像
500、510、520、530、540 ユーザインターフェース
502 画像
504 ユーザ入力
532 ボタン
536 ボタン
538 ボタン
800 モバイルデバイス
810 処理リソース
822 システムオンチップデバイス
826 ディスプレイコントローラ
828 ディスプレイ
830 入力デバイス
832 メモリ
834 コーデック
836 スピーカ
838 マイクロフォン
840 ワイヤレスコントローラ
842 アンテナ
844 電源
852 データ
856 カメラ
858 命令
880 RFインターフェース
890 カメラコントローラ
892 クラスタ特定命令
894 画像セグメント化命令
896 画像ラベリング命令
902 モバイルデバイス
904 ディスプレイデバイス
906 メモリ
908 画像
910 属性
912 属性
914 画像データ
916 ユーザ構成パラメータ
918 ユーザ入力
920 第2の動作状態
922 属性
924 画像
926 修正された画像データ
928 ユーザ入力
930 第3の動作状態
932 属性
934 画像
936 修正された画像データ
1110 処理リソース
1126 ディスプレイコントローラ
1130 入力デバイス
1134 コーデック
1136 スピーカ
1138 マイクロフォン
1140 ワイヤレスコントローラ
1142 アンテナ
1144 電源
1156 カメラ
1158 命令
1180 RFインターフェース
1190 カメラコントローラ
1192 ユーザ選好入力
D_s 距離測度
S グリッド間隔サイズ
V 滑らかさ項

Claims (108)

  1. デバイスによって画像を処理するための方法であって、
    前記画像に対応する画像データを第1の画像レイヤおよび第2の画像レイヤへとセグメント化するステップと、
    ユーザ入力に基づいて前記第2の画像レイヤの第2の属性とは独立に前記第1の画像レイヤの第1の属性を調整するステップとを含む方法。
  2. 前記デバイスにおいて前記ユーザ入力を受け取るステップと、
    前記画像データを、修正された画像を表す修正された画像データを生成するように前記ユーザ入力に基づいて修正するステップであって、前記修正された画像は、前記第2の画像レイヤに対する前記第1の画像レイヤの独立した修正を示す、ステップとをさらに含む、請求項1に記載の方法。
  3. 前記第1の画像レイヤおよび前記第2の画像レイヤの一方は、前記画像の前景に対応し、前記第1の画像レイヤおよび前記第2の画像レイヤの他方は、前記画像の背景に対応する、請求項1に記載の方法。
  4. 前記第1の画像レイヤおよび前記第2の画像レイヤの一方は、前記画像の前景の第1の部分に対応し、前記第1の画像レイヤおよび前記第2の画像レイヤの他方は、前記画像の前記前景の第2の部分に対応する、請求項1に記載の方法。
  5. 前記第1の画像レイヤおよび前記第2の画像レイヤの一方は、前記画像の背景の第1の部分に対応し、前記第1の画像レイヤおよび前記第2の画像レイヤの他方は、前記画像の前記背景の第2の部分に対応する、請求項1に記載の方法。
  6. 前記第1の属性または前記第2の属性のうちの1つまたは複数は、色属性、鮮鋭度属性、ぼかし属性、またはコンテキスト属性に対応する、請求項1に記載の方法。
  7. 前記画像の編集を可能にするために前記デバイスのメモリに画像編集アプリケーションをロードするステップをさらに含む、請求項1に記載の方法。
  8. 前記画像データに関連するクラスタを特定するステップであって、前記画像データは前記クラスタに基づいてセグメント化される、ステップをさらに含む、請求項1に記載の方法。
  9. 前記第1のレイヤは前記画像の背景に対応し、前記第2のレイヤは前記画像の前景に対応し、前記第1のレイヤは、スーパーフォーカスカメラ効果を近似するように前記第2のレイヤに対してぼかされる、請求項1に記載の方法。
  10. 前記第1の画像レイヤを使用して1つまたは複数のコンポーネントラベリング動作を実行するステップをさらに含む、請求項1に記載の方法。
  11. 前記ユーザ入力は、前記デバイスのユーザインターフェース(UI)を介して受け取られる、請求項10に記載の方法。
  12. メモリと、
    前記メモリに結合されたプロセッサと
    を備え、前記プロセッサは、
    画像に対応する画像データを第1の画像レイヤおよび第2の画像レイヤへとセグメント化することと、ユーザ入力に基づいて前記第2の画像レイヤの第2の属性とは独立に前記第1の画像レイヤの第1の属性を調整することとを行うように構成される、装置。
  13. 前記プロセッサは、前記ユーザ入力を受け取り、前記画像データを、修正された画像を表す修正された画像データを生成するように前記ユーザ入力に基づいて修正するようにさらに構成され、前記修正された画像は、前記第2の画像レイヤに対する前記第1の画像レイヤの独立した修正を示す、請求項12に記載の装置。
  14. 前記第1の画像レイヤおよび前記第2の画像レイヤの一方は、前記画像の前景に対応し、前記第1の画像レイヤおよび前記第2の画像レイヤの他方は、前記画像の背景に対応する、請求項12に記載の装置。
  15. 前記第1の画像レイヤおよび前記第2の画像レイヤの一方は、前記画像の前景の第1の部分に対応し、前記第1の画像レイヤおよび前記第2の画像レイヤの他方は、前記画像の前記前景の第2の部分に対応する、請求項12に記載の装置。
  16. 前記第1の画像レイヤおよび前記第2の画像レイヤの一方は、前記画像の背景の第1の部分に対応し、前記第1の画像レイヤおよび前記第2の画像レイヤの他方は、前記画像の前記背景の第2の部分に対応する、請求項12に記載の装置。
  17. 前記第1の属性または前記第2の属性のうちの1つまたは複数は、色属性、鮮鋭度属性、ぼかし属性、またはコンテキスト属性に対応する、請求項12に記載の装置。
  18. 前記プロセッサは、前記画像の編集を可能にするために画像編集アプリケーションをロードするようにさらに構成される、請求項12に記載の装置。
  19. 前記プロセッサは、前記画像データに関連するクラスタを特定し、前記クラスタに基づいて前記画像データをセグメント化するようにさらに構成される、請求項12に記載の装置。
  20. モバイルデバイス内に組み込まれる、請求項12に記載の装置。
  21. 前記プロセッサは、前記第1の画像レイヤを使用して1つまたは複数のコンポーネントラベリング動作を実行するようにさらに構成される、請求項12に記載の装置。
  22. ディスプレイデバイスをさらに備え、前記プロセッサは、前記ディスプレイデバイスにおいてユーザインターフェース(UI)を表示させるようにさらに構成され、前記ユーザ入力は前記ディスプレイデバイスを介して受け取られる、請求項21に記載の装置。
  23. 命令を記憶する非一時的コンピュータ可読媒体であって、前記命令は、プロセッサに、
    画像に関連する画像データを第1の画像レイヤおよび第2の画像レイヤへとセグメント化することと、
    ユーザ入力に基づいて前記第2の画像レイヤの第2の属性とは独立に前記第1の画像レイヤの第1の属性を調整することとを行わせるように前記プロセッサによって実行可能である非一時的コンピュータ可読媒体。
  24. 前記命令は、前記ユーザ入力を受け取り、前記画像データを、修正された画像を表す修正された画像データを生成するように前記ユーザ入力に基づいて修正するように前記プロセッサによってさらに実行可能であり、前記修正された画像は、前記第2の画像レイヤに対する前記第1の画像レイヤの独立した修正を示す、請求項23に記載の非一時的コンピュータ可読媒体。
  25. 前記第1の画像レイヤおよび前記第2の画像レイヤの一方は、前記画像の前景に対応し、前記第1の画像レイヤおよび前記第2の画像レイヤの他方は、前記画像の背景に対応する、請求項23に記載の非一時的コンピュータ可読媒体。
  26. 前記第1の画像レイヤおよび前記第2の画像レイヤの一方は、前記画像の前景の第1の部分に対応し、前記第1の画像レイヤおよび前記第2の画像レイヤの他方は、前記画像の前記前景の第2の部分に対応する、請求項23に記載の非一時的コンピュータ可読媒体。
  27. 前記第1の画像レイヤおよび前記第2の画像レイヤの一方は、前記画像の背景の第1の部分に対応し、前記第1の画像レイヤおよび前記第2の画像レイヤの他方は、前記画像の前記背景の第2の部分に対応する、請求項23に記載の非一時的コンピュータ可読媒体。
  28. 前記第1の属性または前記第2の属性のうちの1つまたは複数は、色属性、鮮鋭度属性、ぼかし属性、またはコンテキスト属性に対応する、請求項23に記載の非一時的コンピュータ可読媒体。
  29. 前記命令は、前記画像の編集を可能にするために画像編集アプリケーションをロードするように前記プロセッサによってさらに実行可能である、請求項23に記載の非一時的コンピュータ可読媒体。
  30. 前記プロセッサおよび前記メモリはモバイルデバイスに組み込まれる、請求項23に記載の非一時的コンピュータ可読媒体。
  31. 前記命令は、前記画像データに関連するクラスタを特定し、前記クラスタに基づいて前記画像データをセグメント化するように前記プロセッサによってさらに実行可能である、請求項23に記載の非一時的コンピュータ可読媒体。
  32. 前記命令は、前記第1の画像レイヤを使用して1つまたは複数のコンポーネントラベリング動作を実行するように前記プロセッサによってさらに実行可能である、請求項23に記載の非一時的コンピュータ可読媒体。
  33. 前記命令は、ユーザインターフェース(UI)を介して前記ユーザ入力を受け取るように前記プロセッサによってさらに実行可能である、請求項32に記載の非一時的コンピュータ可読媒体。
  34. 画像に関連する画像データを第1の画像レイヤおよび第2の画像レイヤへとセグメント化するための手段と、
    ユーザ入力に基づいて前記第2の画像レイヤの第2の属性とは独立に前記第1の画像レイヤの第1の属性を調整するための手段とを備える装置。
  35. 前記ユーザ入力を受け取るための手段と、
    前記画像データを、修正された画像を表す修正された画像データを生成するように前記ユーザ入力に基づいて修正するための手段とをさらに備え、
    前記修正された画像は、前記第2の画像レイヤに対する前記第1の画像レイヤの独立した修正を示す、請求項34に記載の装置。
  36. 前記第1の画像レイヤおよび前記第2の画像レイヤの一方は、前記画像の前景に対応し、前記第1の画像レイヤおよび前記第2の画像レイヤの他方は、前記画像の背景に対応する、請求項35に記載の装置。
  37. 前記第1の画像レイヤおよび前記第2の画像レイヤの一方は、前記画像の前景の第1の部分に対応し、前記第1の画像レイヤおよび前記第2の画像レイヤの他方は、前記画像の前記前景の第2の部分に対応する、請求項35に記載の装置。
  38. 前記第1の画像レイヤおよび前記第2の画像レイヤの一方は、前記画像の背景の第1の部分に対応し、前記第1の画像レイヤおよび前記第2の画像レイヤの他方は、前記画像の前記背景の第2の部分に対応する、請求項35に記載の装置。
  39. 前記第1の属性または前記第2の属性のうちの1つまたは複数は、色属性、鮮鋭度属性、ぼかし属性、またはコンテキスト属性に対応する、請求項35に記載の装置。
  40. 前記画像の編集を可能にするために画像編集アプリケーションをロードするための手段をさらに備える、請求項35に記載の装置。
  41. 前記画像データに関連するクラスタを特定するための手段であって、前記画像データは前記クラスタに基づいてセグメント化される、手段をさらに備える、請求項35に記載の装置。
  42. モバイルデバイス内に組み込まれる、請求項35に記載の装置。
  43. 前記第1の画像レイヤを使用して1つまたは複数のコンポーネントラベリング動作を実行するための手段をさらに備える、請求項35に記載の装置。
  44. ユーザに対してユーザインターフェース(UI)を表示するための手段をさらに備える、請求項43に記載の装置。
  45. モバイルデバイスにおいて第1の画像を表示するステップと、
    前記モバイルデバイスにおいて第1のユーザ入力を受け取るステップであって、前記第1のユーザ入力は前記モバイルデバイスに対する方向を示す、ステップと、
    前記第1のユーザ入力に基づいて、第2の画像を生成するために前記第1の画像に対して第1の画像編集動作を実行するステップと、
    前記ユーザデバイスにおいて前記第2の画像を表示するステップと、
    前記モバイルデバイスにおいて第2のユーザ入力を受け取るステップであって、前記第2のユーザ入力は前記方向を示す、ステップと、
    前記第2のユーザ入力に基づいて、第3の画像を生成するために前記第2の画像に対して第2の画像編集動作を実行するステップとを含む方法。
  46. 前記第1のユーザ入力および前記第2のユーザ入力は、前記モバイルデバイスのディスプレイデバイスにおけるスワイプ操作に対応する、請求項45に記載の方法。
  47. 前記第1の画像編集動作は画像ぼかし動作を含み、前記第2の画像編集動作は色変更動作を含む、請求項45に記載の方法。
  48. 前記第1の画像編集動作および前記第2の画像編集動作の順序は、前記モバイルデバイスにおいて記憶されたユーザ構成パラメータに基づく、請求項45に記載の方法。
  49. ユーザ選好入力を受け取るステップをさらに含み、前記ユーザ選好入力は、色変更動作が画像ぼかし動作よりも前に行われることを示すように前記ユーザ構成パラメータを再構成する、請求項48に記載の方法。
  50. 前記モバイルデバイスにおいて第3のユーザ入力を受け取るステップであって、前記第3のユーザ入力は前記方向を示す、ステップと、
    前記第3のユーザ入力に基づいて、前記モバイルデバイスにおいて前記第1の画像を表示するステップとをさらに含む、請求項45に記載の方法。
  51. 前記第3のユーザ入力は、前記第1の画像編集動作および前記第2の画像編集動作を取り消すためのコマンドに対応する、請求項50に記載の方法。
  52. メモリと、
    前記メモリに結合されたプロセッサであって、前記プロセッサは、モバイルデバイスに第1の画像を表示させることと、前記モバイルデバイスにおいて第1のユーザ入力を受け取ることであって、前記第1のユーザ入力は前記モバイルデバイスに対する方向を示すことと、前記第1のユーザ入力に基づいて、第2の画像を生成するために前記第1の画像に対して第1の画像編集動作を実行することと、前記モバイルデバイスに前記第2の画像を表示させることと、第2のユーザ入力を受け取ることであって、前記第2のユーザ入力は前記方向を示すことと、前記第2のユーザ入力に基づいて、第3の画像を生成するために前記第2の画像に対して第2の画像編集動作を実行することとを行うように構成されるプロセッサとを備える装置。
  53. 前記第1のユーザ入力および前記第2のユーザ入力は、前記モバイルデバイスのディスプレイデバイスにおけるスワイプ操作に対応する、請求項52に記載の装置。
  54. 前記第1の画像編集動作は画像ぼかし動作を含み、前記第2の画像編集動作は色変更動作を含む、請求項52に記載の装置。
  55. 前記第1の画像編集動作および前記第2の画像編集動作の順序は、前記モバイルデバイスにおいて記憶されたユーザ構成パラメータに基づく、請求項52に記載の装置。
  56. ユーザ選好入力を受け取ることをさらに含み、前記ユーザ選好入力は、色変更動作が画像ぼかし動作よりも前に行われることを示すように前記ユーザ構成パラメータを再構成する、請求項55に記載の装置。
  57. 前記モバイルデバイスにおいて第3のユーザ入力を受け取ることであって、前記第3のユーザ入力は前記方向を示すことと、
    前記第3のユーザ入力に基づいて、前記モバイルデバイスにおいて前記第1の画像を表示することとをさらに含む、請求項52に記載の装置。
  58. 前記第3のユーザ入力は、前記第1の画像編集動作および前記第2の画像編集動作を取り消すためのコマンドに対応する、請求項57に記載の装置。
  59. 命令を記憶するコンピュータ可読媒体であって、前記命令は、モバイルデバイスに、
    前記モバイルデバイスにおいて第1の画像を表示することと、
    前記モバイルデバイスにおいて第1のユーザ入力を受け取ることであって、前記第1のユーザ入力は前記モバイルデバイスに対する方向を示すことと、
    前記第1のユーザ入力に基づいて、第2の画像を生成するために前記第1の画像に対して第1の画像編集動作を実行することと、
    前記モバイルデバイスにおいて前記第2の画像を表示することと、
    前記モバイルデバイスにおいて第2のユーザ入力を受け取ることであって、前記第2のユーザ入力は前記方向を示すことと、
    前記第2のユーザ入力に基づいて、第3の画像を生成するために前記第2の画像に対して第2の画像編集動作を実行することとを行わせるようにプロセッサによって実行可能である、コンピュータ可読媒体。
  60. 前記第1のユーザ入力および前記第2のユーザ入力は、前記モバイルデバイスのディスプレイデバイスにおけるスワイプ操作に対応する、請求項59に記載のコンピュータ可読媒体。
  61. 前記第1の画像編集動作は画像ぼかし動作を含み、前記第2の画像編集動作は色変更動作を含む、請求項59に記載のコンピュータ可読媒体。
  62. 前記第1の画像編集動作および前記第2の画像編集動作の順序は、前記モバイルデバイスにおいて記憶されたユーザ構成パラメータに基づく、請求項59に記載のコンピュータ可読媒体。
  63. 前記命令は、前記モバイルデバイスに、ユーザ選好入力を受け取らせるように前記プロセッサによってさらに実行可能であり、前記ユーザ選好入力は、色変更動作が画像ぼかし動作よりも前に行われることを示すように前記ユーザ構成パラメータを再構成する、請求項62に記載のコンピュータ可読媒体。
  64. 前記命令は、前記モバイルデバイスに、前記モバイルデバイスにおいて第3のユーザ入力を受け取らせることであって、前記第3のユーザ入力は、前記方向を示すことと、前記第3のユーザ入力に基づいて、前記モバイルデバイスにおいて前記第1の画像を表示させることとを行うように前記プロセッサによってさらに実行可能である、請求項59に記載のコンピュータ可読媒体。
  65. 前記第3のユーザ入力は、前記第1の画像編集動作および前記第2の画像編集動作を取り消すためのコマンドに対応する、請求項64に記載のコンピュータ可読媒体。
  66. モバイルデバイスにおいて第1の画像を表示するための手段と、
    前記モバイルデバイスにおいて第1のユーザ入力を受け取るための手段であって、前記第1のユーザ入力は前記モバイルデバイスに対する方向を示す、手段と、
    前記第1のユーザ入力に基づいて、第2の画像を生成するために前記第1の画像に対して第1の画像編集動作を実行するための手段と、
    前記モバイルデバイスに、前記第2の画像を表示させるための手段と、
    第2のユーザ入力を受け取るための手段であって、前記第2のユーザ入力は前記方向を示す、手段と、
    前記第2のユーザ入力に基づいて、第3の画像を生成するために前記第2の画像に対して第2の画像編集動作を実行するための手段とを備える装置。
  67. 前記第1のユーザ入力および前記第2のユーザ入力は、前記モバイルデバイスのディスプレイデバイスにおけるスワイプ操作に対応する、請求項66に記載の装置。
  68. 前記第1の画像編集動作は画像ぼかし動作を含み、前記第2の画像編集動作は色変更動作を含む、請求項66に記載の装置。
  69. 前記第1の画像編集動作および前記第2の画像編集動作の順序は、前記モバイルデバイスにおいて記憶されたユーザ構成パラメータに基づく、請求項66に記載の装置。
  70. ユーザ選好入力を受け取るための手段をさらに備え、前記ユーザ選好入力は、色変更動作が画像ぼかし動作よりも前に行われることを示すように前記ユーザ構成パラメータを再構成する、請求項69に記載の装置。
  71. 前記モバイルデバイスにおいて第3のユーザ入力を受け取るための手段であって、前記第3のユーザ入力は前記方向を示す、手段と、
    前記第3のユーザ入力に基づいて、前記モバイルデバイスにおいて前記第1の画像を表示するための手段とをさらに備える、請求項66に記載の装置。
  72. 前記第3のユーザ入力は、前記第1の画像編集動作および前記第2の画像編集動作を取り消すためのコマンドに対応する、請求項71に記載の装置。
  73. ユーザインターフェースから第1のユーザ入力を受け取るステップであって、前記第1のユーザ入力は、表示動作用の画像を選択する、ステップと、
    前記第1のユーザ入力に基づいて、
    前記表示動作を実行するステップと、
    前記画像に対応する画像データを使用してクラスタ化動作を自動的に開始するステップとを含む方法。
  74. 前記第1のユーザ入力は、前記ユーザインターフェースにおいて提示される画像ギャラリーから前記画像を選択するタッチスクリーン動作に対応する、請求項73に記載の方法。
  75. 前記クラスタ化動作は、前記画像をサムネイルビューからフルビューに拡大するために前記表示動作が実行されている間に、前記画像データ内のクラスタを特定するために開始される、請求項73に記載の方法。
  76. 前記クラスタ化動作は、シンプルリニアイテレイティブクラスタリング(SLIC)技法を使用して前記クラスタを特定する、請求項75に記載の方法。
  77. 前記ユーザインターフェースから第2のユーザ入力を受け取るステップであって、前記第2のユーザ入力は前記画像の第1の画像レイヤを特定するステップと、
    前記第1の画像レイヤに関連する画像セグメント化動作を自動的に開始するステップとをさらに含む、請求項73に記載の方法。
  78. 前記第1の画像レイヤは前記画像の前景に対応し、前記第2のユーザ入力は、前記前景を選択するスワイプアクションに対応する、請求項77に記載の方法。
  79. 前記ユーザインターフェースから第3のユーザ入力を受け取るステップであって、前記第3のユーザ入力は前記画像の第2の画像レイヤを特定するステップをさらに含む、請求項77に記載の方法。
  80. 前記第2の画像レイヤは前記画像の背景に対応し、前記第3のユーザ入力は、前記背景を選択するスワイプアクションに対応する、請求項79に記載の方法。
  81. 前記画像セグメント化動作は、前記第3のユーザ入力が受け取られている間に、グラブカット技法を使用して、前記第1の画像レイヤを処理する、請求項79に記載の方法。
  82. メモリと、
    前記メモリに結合されたプロセッサであって、ユーザインターフェースから第1のユーザ入力を受け取ることであって、前記第1のユーザ入力は表示動作用の画像を選択することと、前記第1のユーザ入力に基づいて前記表示動作を実行することと、前記第1のユーザ入力に基づく前記画像に対応する画像データを使用してクラスタ化動作を自動的に開始することとを行うように構成されるプロセッサとを備える装置。
  83. 前記第1のユーザ入力は、前記ユーザインターフェースにおいて提示される画像ギャラリーから前記画像を選択するタッチスクリーン動作に対応する、請求項82に記載の装置。
  84. 前記クラスタ化動作は、前記画像をサムネイルビューからフルビューに拡大するために前記表示動作が実行されている間に、前記画像データ内のクラスタを特定するために開始される、請求項82に記載の装置。
  85. 前記クラスタ化動作は、シンプルリニアイテレイティブクラスタリング(SLIC)技法を使用して前記クラスタを特定する、請求項84に記載の装置。
  86. 前記プロセッサは、前記ユーザインターフェースから第2のユーザ入力を受け取ることであって、前記第2のユーザ入力は前記画像の第1の画像レイヤを特定することと、前記第1の画像レイヤに関連する画像セグメント化動作を自動的に開始することとを行うようにさらに構成される、請求項82に記載の装置。
  87. 前記第1の画像レイヤは前記画像の前景に対応し、前記第2のユーザ入力は、前記前景を選択するスワイプアクションに対応する、請求項86に記載の装置。
  88. 前記プロセッサは、前記ユーザインターフェースから第3のユーザ入力を受け取ることであって、前記第3のユーザ入力は前記画像の第2の画像レイヤを特定することを行うようにさらに構成される、請求項86に記載の装置。
  89. 前記第2の画像レイヤは前記画像の背景に対応し、前記第3のユーザ入力は、前記背景を選択するスワイプアクションに対応する、請求項88に記載の装置。
  90. 前記画像セグメント化動作は、前記第3のユーザ入力が受け取られている間に、グラブカット技法を使用して、前記第1の画像レイヤを処理する、請求項88に記載の装置。
  91. 命令を記憶するコンピュータ可読媒体であって、前記命令は、プロセッサに、
    ユーザインターフェースから第1のユーザ入力を受け取ることであって、前記第1のユーザ入力は、表示動作用の画像を選択することと、
    前記第1のユーザ入力に基づいて、
    前記表示動作を実行することと、
    前記画像に対応する画像データを使用してクラスタ化動作を自動的に開始することとを行わせるように前記プロセッサによって実行可能である、コンピュータ可読媒体。
  92. 前記第1のユーザ入力は、前記ユーザインターフェースにおいて提示される画像ギャラリーから前記画像を選択するタッチスクリーン動作に対応する、請求項91に記載のコンピュータ可読媒体。
  93. 前記クラスタ化動作は、前記画像をサムネイルビューからフルビューに拡大するために前記表示動作が実行されている間に、前記画像データ内のクラスタを特定するために開始される、請求項91に記載のコンピュータ可読媒体。
  94. 前記クラスタ化動作は、シンプルリニアイテレイティブクラスタリング(SLIC)技法を使用して前記クラスタを特定する、請求項93に記載のコンピュータ可読媒体。
  95. 前記命令は、前記ユーザインターフェースから第2のユーザ入力を受け取ることであって、前記第2のユーザ入力は前記画像の第1の画像レイヤを特定することと、前記第1の画像レイヤに関連する画像セグメント化動作を自動的に開始することとを行うように前記プロセッサによってさらに実行可能である、請求項91に記載のコンピュータ可読媒体。
  96. 前記第1の画像レイヤは前記画像の前景に対応し、前記第2のユーザ入力は、前記前景を選択するスワイプアクションに対応する、請求項95に記載のコンピュータ可読媒体。
  97. 前記命令は、前記ユーザインターフェースから第3のユーザ入力を受け取ることであって、前記第3のユーザ入力は前記画像の第2の画像レイヤを特定することを行うように前記プロセッサによってさらに実行可能である、請求項95に記載のコンピュータ可読媒体。
  98. 前記第2の画像レイヤは前記画像の背景に対応し、前記第3のユーザ入力は、前記背景を選択するスワイプアクションに対応する、請求項97に記載のコンピュータ可読媒体。
  99. 前記画像セグメント化動作は、前記第3のユーザ入力が受け取られている間に、グラブカット技法を使用して、前記第1の画像レイヤを処理する、請求項97に記載のコンピュータ可読媒体。
  100. ユーザインターフェースから第1のユーザ入力を受け取るための手段であって、前記第1のユーザ入力は、表示動作用の画像を選択する、手段と、
    前記第1のユーザ入力に基づいて前記表示動作を実行するための手段と、
    前記第1のユーザ入力に基づく前記画像に対応する画像データを使用してクラスタ化動作を自動的に開始するための手段とを備える装置。
  101. 前記第1のユーザ入力は、前記ユーザインターフェースにおいて提示される画像ギャラリーから前記画像を選択するタッチスクリーン動作に対応する、請求項100に記載の装置。
  102. 前記クラスタ化動作は、前記画像をサムネイルビューからフルビューに拡大するために前記表示動作が実行されている間に、前記画像データ内のクラスタを特定するために開始される、請求項100に記載の装置。
  103. 前記クラスタ化動作は、シンプルリニアイテレイティブクラスタリング(SLIC)技法を使用して前記クラスタを特定する、請求項102に記載の装置。
  104. 前記ユーザインターフェースから第2のユーザ入力を受け取るための手段であって、前記第2のユーザ入力は前記画像の第1の画像レイヤを特定する、手段と、
    前記第1の画像レイヤに関連する画像セグメント化動作を自動的に開始するための手段とをさらに備える、請求項100に記載の装置。
  105. 前記第1の画像レイヤは前記画像の前景に対応し、前記第2のユーザ入力は、前記前景を選択するスワイプアクションに対応する、請求項104に記載の装置。
  106. 前記ユーザインターフェースから第3のユーザ入力を受け取るための手段であって、前記第3のユーザ入力は前記画像の第2の画像レイヤを特定する、手段をさらに備える、請求項104に記載の装置。
  107. 前記第2の画像レイヤは前記画像の背景に対応し、前記第3のユーザ入力は、前記背景を選択するスワイプアクションに対応する、請求項106に記載の装置。
  108. 前記画像セグメント化動作は、前記第3のユーザ入力が受け取られている間に、グラブカット技法を使用して、前記第1の画像レイヤを処理する、請求項106に記載の装置。
JP2016551791A 2014-02-19 2014-02-24 デバイスのための画像編集技法 Active JP6355746B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461941996P 2014-02-19 2014-02-19
US61/941,996 2014-02-19
PCT/CN2014/000172 WO2015123792A1 (en) 2014-02-19 2014-02-24 Image editing techniques for a device

Publications (2)

Publication Number Publication Date
JP2017512335A true JP2017512335A (ja) 2017-05-18
JP6355746B2 JP6355746B2 (ja) 2018-07-11

Family

ID=53877493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016551791A Active JP6355746B2 (ja) 2014-02-19 2014-02-24 デバイスのための画像編集技法

Country Status (6)

Country Link
US (1) US10026206B2 (ja)
EP (1) EP3108379B1 (ja)
JP (1) JP6355746B2 (ja)
KR (1) KR101952569B1 (ja)
CN (1) CN105940392B (ja)
WO (1) WO2015123792A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860163A (zh) * 2021-01-21 2021-05-28 维沃移动通信（深圳）有限公司 图像编辑方法和装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10268698B2 (en) * 2014-11-21 2019-04-23 Adobe Inc. Synchronizing different representations of content
KR20170029978A (ko) * 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법
US10270965B2 (en) * 2015-12-04 2019-04-23 Ebay Inc. Automatic guided capturing and presentation of images
KR101823035B1 (ko) * 2015-12-16 2018-02-01 남기원 소셜 기반의 이미지 설정값 공유 시스템 및 그 방법
WO2017203705A1 (ja) * 2016-05-27 2017-11-30 楽天株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2018056792A (ja) * 2016-09-29 2018-04-05 アイシン精機株式会社 画像表示制御装置
US10325372B2 (en) * 2016-12-20 2019-06-18 Amazon Technologies, Inc. Intelligent auto-cropping of images
JP6434568B2 (ja) * 2017-05-18 2018-12-05 楽天株式会社 画像処理装置、画像処理方法、及びプログラム
KR101961015B1 (ko) * 2017-05-30 2019-03-21 배재대학교 산학협력단 가상 스튜디오 연동 스마트 증강현실 서비스 시스템 및 방법
EP3567548B1 (en) * 2018-05-09 2020-06-24 Siemens Healthcare GmbH Medical image segmentation
US11138699B2 (en) * 2019-06-13 2021-10-05 Adobe Inc. Utilizing context-aware sensors and multi-dimensional gesture inputs to efficiently generate enhanced digital images
WO2021080158A1 (en) 2019-10-25 2021-04-29 Samsung Electronics Co., Ltd. Image processing method, apparatus, electronic device and computer readable storage medium
CN114902286A (zh) * 2019-12-31 2022-08-12 高通股份有限公司 用于促进运动帧的感兴趣区域跟踪的方法和装置
US11217020B2 (en) * 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11069044B1 (en) * 2020-03-18 2021-07-20 Adobe Inc. Eliminating image artifacts using image-layer snapshots
US11995757B2 (en) 2021-10-29 2024-05-28 Snap Inc. Customized animation from video
US20230252687A1 (en) * 2022-02-10 2023-08-10 Qualcomm Incorporated Systems and methods for facial attribute manipulation

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246460A (ja) * 2003-02-12 2004-09-02 Daihatsu Motor Co Ltd コンピュータ・グラフィックス装置及び意匠設計プログラム
JP2009037282A (ja) * 2007-07-31 2009-02-19 Sharp Corp 画像閲覧装置
US20090256947A1 (en) * 2008-04-15 2009-10-15 Sony Corporation Method and apparatus for performing touch-based adjustments within imaging devices
JP2010533918A (ja) * 2007-07-18 2010-10-28 ナンヤン テクノロジカル ユニヴァーシティー グラフィックデータ提供方法及びグラフィックデータ表示方法
WO2013145589A1 (ja) * 2012-03-26 2013-10-03 パナソニック株式会社 画像処理装置、撮像装置および画像処理方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6973212B2 (en) 2000-09-01 2005-12-06 Siemens Corporate Research, Inc. Graph cuts for binary segmentation of n-dimensional images from object and background seeds
US20040008886A1 (en) 2002-07-02 2004-01-15 Yuri Boykov Using graph cuts for editing photographs
KR100698845B1 (ko) * 2005-12-28 2007-03-22 삼성전자주식회사 인물 외형 추출 알고리즘을 이용한 영상 편집 방법 및 그장치
EP1826723B1 (en) 2006-02-28 2015-03-25 Microsoft Corporation Object-level image editing
US7593020B2 (en) 2006-05-30 2009-09-22 Microsoft Corporation Image editing using image-wide matting
US8644600B2 (en) 2007-06-05 2014-02-04 Microsoft Corporation Learning object cutout from a single example
US7995841B2 (en) 2007-09-24 2011-08-09 Microsoft Corporation Hybrid graph model for unsupervised object segmentation
US20090252429A1 (en) 2008-04-03 2009-10-08 Dan Prochazka System and method for displaying results of an image processing system that has multiple results to allow selection for subsequent image processing
US8731319B2 (en) * 2008-06-25 2014-05-20 Adobe Systems Incorporated Image layer stack interface
WO2011085248A1 (en) * 2010-01-07 2011-07-14 Swakker, Llc Methods and apparatus for modifying a multimedia object within an instant messaging session at a mobile communication device
CN101976194A (zh) 2010-10-29 2011-02-16 中兴通讯股份有限公司 一种设置用户界面的方法及装置
JP5170226B2 (ja) * 2010-12-10 2013-03-27 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
US20120210229A1 (en) * 2011-02-16 2012-08-16 Andrew Bryant Color workflow
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
KR101792641B1 (ko) 2011-10-07 2017-11-02 엘지전자 주식회사 이동 단말기 및 그의 아웃 포커싱 이미지 생성방법
CN102592268B (zh) * 2012-01-06 2015-04-01 清华大学深圳研究生院 一种分割前景图像的方法
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
TWI543582B (zh) 2012-04-17 2016-07-21 晨星半導體股份有限公司 影像編輯方法以及相關之模糊參數建立方法
US9285971B2 (en) 2012-06-20 2016-03-15 Google Inc. Compartmentalized image editing system
CN103885623A (zh) * 2012-12-24 2014-06-25 腾讯科技（深圳）有限公司 一种将滑动事件处理成编辑手势的方法、系统及移动终端
CN103152521B (zh) * 2013-01-30 2016-08-17 广东欧珀移动通信有限公司 一种移动终端中实现景深效果的方法及移动终端
CN103294362A (zh) * 2013-06-28 2013-09-11 贝壳网际（北京）安全技术有限公司 用于移动设备的屏幕显示控制方法、装置和移动设备
US9697820B2 (en) * 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US9965865B1 (en) * 2017-03-29 2018-05-08 Amazon Technologies, Inc. Image data segmentation using depth data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004246460A (ja) * 2003-02-12 2004-09-02 Daihatsu Motor Co Ltd コンピュータ・グラフィックス装置及び意匠設計プログラム
JP2010533918A (ja) * 2007-07-18 2010-10-28 ナンヤン テクノロジカル ユニヴァーシティー グラフィックデータ提供方法及びグラフィックデータ表示方法
JP2009037282A (ja) * 2007-07-31 2009-02-19 Sharp Corp 画像閲覧装置
US20090256947A1 (en) * 2008-04-15 2009-10-15 Sony Corporation Method and apparatus for performing touch-based adjustments within imaging devices
JP2009278623A (ja) * 2008-04-15 2009-11-26 Sony Corp 撮像デバイス内でタッチ式調節を実行する方法及び装置
WO2013145589A1 (ja) * 2012-03-26 2013-10-03 パナソニック株式会社 画像処理装置、撮像装置および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
谷 岳人: "ファジィ分離統合法を用いたカラー画像の大まかな領域分割アルゴリズムの改良", 映像情報メディア学会技術報告 ＶＯＬ．３８ ＮＯ．７, vol. ITS2013-41, IE2013-106 (2014-02), JPN6018004594, 10 February 2014 (2014-02-10), JP, pages 67 - 72, ISSN: 0003736172 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860163A (zh) * 2021-01-21 2021-05-28 维沃移动通信（深圳）有限公司 图像编辑方法和装置

Also Published As

Publication number Publication date
EP3108379A4 (en) 2018-01-17
US20160335789A1 (en) 2016-11-17
JP6355746B2 (ja) 2018-07-11
CN105940392A (zh) 2016-09-14
WO2015123792A1 (en) 2015-08-27
KR20160124129A (ko) 2016-10-26
EP3108379A1 (en) 2016-12-28
KR101952569B1 (ko) 2019-02-27
US10026206B2 (en) 2018-07-17
EP3108379B1 (en) 2023-06-21
CN105940392B (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
JP6355746B2 (ja) デバイスのための画像編集技法
JP7226851B2 (ja) 画像処理の方法および装置並びにデバイス
US10284789B2 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
CN108924420B (zh) 图像拍摄方法、装置、介质、电子设备及模型训练方法
WO2018120238A1 (zh) 用于处理文档的设备、方法和图形用户界面
CN107771391B (zh) 用于确定图像帧的曝光时间的方法和装置
JP7568378B2 (ja) 画像表示方法、装置、機器及び媒体
WO2015196038A1 (en) Image editing using selective editing tools
US11558561B2 (en) Personalized videos featuring multiple persons
CN112950525B (zh) 图像检测方法、装置及电子设备
CN105376496A (zh) 拍照方法及装置
CN104410785A (zh) 一种信息处理方法及电子设备
US20170168709A1 (en) Object selection based on region of interest fusion
KR101620933B1 (ko) 제스쳐 인식 메커니즘을 제공하는 방법 및 장치
US20190371050A1 (en) Image processing method and apparatus, electronic device and computer readable medium
CN105701762B (zh) 一种图片处理方法和电子设备
CN108111763B (zh) 图像处理方法、装置、存储介质及电子设备
CN110266926B (zh) 图像处理方法、装置、移动终端以及存储介质
CN108305262A (zh) 文件扫描方法、装置及设备
CN114612283A (zh) 图像处理方法、装置、电子设备及存储介质
CN113794831A (zh) 视频拍摄方法、装置、电子设备及介质
US10990802B2 (en) Imaging apparatus providing out focusing and method for controlling the same
CN112367465A (zh) 图像输出方法、装置及电子设备
JP6155349B2 (ja) デコンボリューション画像において色収差を減じる方法、装置及びコンピュータプログラム製品
CN112995539A (zh) 一种移动终端及图像处理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180612

R150 Certificate of patent or registration of utility model

Ref document number: 6355746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250