JP2008512745A - デジタルデータに対して局所的作業を行う方法およびシステム - Google Patents

デジタルデータに対して局所的作業を行う方法およびシステム Download PDF

Info

Publication number
JP2008512745A
JP2008512745A JP2007529800A JP2007529800A JP2008512745A JP 2008512745 A JP2008512745 A JP 2008512745A JP 2007529800 A JP2007529800 A JP 2007529800A JP 2007529800 A JP2007529800 A JP 2007529800A JP 2008512745 A JP2008512745 A JP 2008512745A
Authority
JP
Japan
Prior art keywords
parameter
work
selection
data
controlled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007529800A
Other languages
English (en)
Inventor
ウィレンスキー,グレッグ,ディー.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Adobe Inc
Original Assignee
Adobe Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Adobe Systems Inc filed Critical Adobe Systems Inc
Publication of JP2008512745A publication Critical patent/JP2008512745A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

デジタルデータに対して局所的作業を行うシステムは、インタフェイスコンポーネントと作業コンポーネントを含む。インタフェイスコンポーネントは、ソースデジタルデータに関するマーカ位置を受け取るようになっている。作業コンポーネントは、作業パラメタに基づいて、パラメタ制御された作業をソースデジタルデータに対して自動的に行うようになっている。作業コンポーネントはさらに、マーカ位置と部分選択パラメタとに基づいてソースデジタルデータの選択部分のパラメタ制御された選択を自動的に実行し、パラメタ制御された作業の効果を、ソースデジタルデータの選択部分に局所化するようになっている。
【選択図】図6

Description

本発明は、一般的にはデータ処理の技術分野に関わり、典型的な一実施形態においてはデジタルデータに対して局所的作業を行う方法およびシステムに関わる。
デジタルデータについての作業(例えば、調整、修正、編集など)の実行は、多くの既存の編集ツールのおかげで容易となっている。例えば、ユーザが画像編集アプリケーションを利用してデジタル画像を修正する処理を考えてみる。ユーザは、典型的には大域的な画像調整を行い(例えば、大域的画像の全体的な明暗およびカラーバランスを修正し)、その後、デジタル画像の局所的領域を修正するかもしれない。大域的な調整がなされた後で、画像のうちの一つのオブジェクト(または特徴)が暗すぎて、明るくする必要があるかもしれない。デジタル画像に現れる人物の顔は彩度が高すぎるかもしれないし、あるいはユーザは花の色相を例えば赤から桃色または紫色に変更したいかもしれない。そのような局所的な調整を行うには典型的には2段階の処理が必要である。まずユーザは、選択ツールを少なくとも利用して、関連するオブジェクトを選択し、そして、デジタル画像の選択した領域に画像調整を適用する。結果の画像が、ユーザが望むものではない場合、ユーザはその効果を取り消し、選択をやり直す必要がある。これが、やや時間がかかり退屈な処理であろうということは分かるであろう。さらに、領域選択処理(例えば、選択された領域を塗ること)は、時間がかかって不正確なことがある。
画像編集アプリケーションの一例は、カリフォルニア州サンノゼのアドビシステム社により開発されたアドビ(登録商標)フォトショップ(登録商標)(ADOBE(R) PHOTOSHOP(R))画像編集アプリケーションである。アドビ(登録商標)フォトショップ(登録商標)アプリケーションは、色の置き換えブラシ(カラー・リプレイスメント・ブラシ)と呼ばれる特徴を備えており、それによりユーザは、大きさ、形状、傾き、間隔、散布、ジッターなどを含む正確な設定とともに、不変の「ブラシ」を作成および保存することができる。しかし、一旦ある画像領域にブラシがかけられると、画像の修正が固定されてしまい、その修正を作成したのに関わったパラメタは、ブラシストロークを取り消してやり直さない限り変更することができない。アドビ(登録商標)フォトショップ(登録商標)アプリケーションはさらに色の置き換え調整(リプレイス・カラー・アジャストメント)という特徴を備える。しかし、この特徴は大域的な色域選択に限られている。
アドビ(登録商標)フォトショップ(登録商標)アプリケーションはさらに、いわゆる「調整レイヤ(Adjustment Layers)」を備えており、これにより画像の局所的な調整を可能としている。しかし、調整レイヤは、ユーザが手作業で選択マスクを作成する必要があり、このマスクの更新は数段階の処理である。
他の画像編集アプリケーションには、オレゴン州ポートランドのエクステンシス社により開発されたマスクプロ3(MASK PRO 3)アプリケーションがある。このアプリケーションは、選択マスクを作るために、前景と背景の蛍光ペンとともに「ドロップ・アンド・キープ(drop and keep)」色の一式を備えている。
一つの態様によれば、デジタルデータに対して局所的作業を行うシステムが提供される。インタフェイスコンポーネントが、ソースデジタルデータに関するマーカ位置を受け取る。作業コンポーネントが、作業パラメタに基づいて、パラメタ制御された作業を前記ソースデジタルデータに対して自動的に実行する。前記作業コンポーネントは、前記マーカ位置と部分選択パラメタとに基づいて前記ソースデジタルデータの選択部分のパラメタ制御された選択を実行するものであるとともに、パラメタ制御された前記作業の効果を、前記ソースデジタルデータの前記選択部分に局所化するものである。
前記作業コンポーネントは、前記インタフェイスコンポーネントによる前記マーカ位置の前記受け取りに反応して、パラメタ制御された前記選択とパラメタ制御された前記作業を自動的に実行してもよい。
一実施形態において、インタフェイスコンポーネントは、パラメタ制御された前記作業の前記実行の後で、前記マーカ位置が保持されている間に、前記作業パラメタと前記部分選択パラメタのうち少なくとも一つをユーザが修正して、パラメタ制御された前記作業の局所化された前記効果を修正することを可能にするものである。前記マーカ位置の前記保持は、パラメタ制御された前記作業の前記実行の後に、前記マーカ位置におけるグラフィカルなマーカアイコンの表示を保持することを含んでもよい。
前記ソースデジタルデータはソース画像データでもよく、パラメタ制御された前記作業は、前記ソース画像データの視覚表現を調整するためのパラメタ制御された調整作業を含んでもよい。さらに、パラメタ制御された前記作業は、前記ソース画像データ内の画像特徴特性を特定する感知作業を含んでもよく、前記作業コンポーネントは、特定された前記画像特徴特性に基づいて、パラメタ制御された前記調整作業を開始するものである。
一実施形態において、ソース画像データはソース動画データであり、パラメタ制御された前記作業は、前記ソース動画データ内の画像特徴を追跡する、パラメタ制御された追跡作業を含む。前記ソース動画データは少なくとも第一と第二のフレームを含んでもよく、パラメタ制御された前記作業は、前記ソース動画データ内の前記第一と前記第二のフレーム間における前記画像特徴に関する変化を感知する感知作業と、感知された前記変化に基づく応答動作を実行する応答作業とを含んでもよい。前記応答作業は、前記画像特徴に関するパラメタ制御された調整作業であってもよく、感知された前記変化についての通知を生成することを含んでもよい。前記応答作業は、さらなる画像特徴に関するさらなるマーカ位置を作成することをさらに含んでもよい。
他の実施形態では、前記ソースデジタルデータはソース音声データであり、パラメタ制御された前記作業は、前記ソース音声データの音声表現を調整するものである。前記部分選択パラメタは、時間範囲パラメタ、周波数範囲パラメタ、振幅パターンパラメタ、および周波数パターンパラメタを含むパラメタ群のうち少なくとも一つのパラメタであってもよい。
さらに別の実施形態では、前記ソースデジタルデータはソース文書データであり、パラメタ制御された前記作業は、前記ソース文書データの視覚表現を調整するものである。
前記作業コンポーネントは、前記ソースデジタルデータを利用して、パラメタ制御された前記調整を実行して調整済みデジタルデータを生成してもよく、パラメタ制御された前記調整作業の効果を、前記調整済みデジタルデータに関して局所化して、目的デジタルデータを生成してもよい。
前記作業コンポーネントは、典型的一実施形態において、パラメタ制御された前記作業を前記ソースデジタルデータに対して実行し、その後、パラメタ制御された前記作業の前記効果を前記ソースデジタルデータの前記選択部分に局所化するものである。さらに別の典型的実施形態では、前記作業コンポーネントは、前記選択部分のパラメタ制御された前記選択を実行し、その後、パラメタ制御された前記作業の前記効果を前記ソースデジタルデータの前記選択部分に対して局所化するものである。
前記インタフェイスコンポーネントは、前記ソースデジタルデータに関する前記マーカ位置に、マーカの視覚表現を提供してもよく、前記マーカの前記視覚表現を前記ソースデジタルデータに関してユーザ制御により配置することを可能としてもよい。一実施形態において前記インタフェイスコンポーネントは、前記マーカの前記視覚表現を前記ソースデジタルデータに関してユーザ制御により再配置することを可能とすることにより、さらなる選択部分のパラメタ制御されたさらなる選択の基礎となる前記ソースデジタルデータに対して、さらなるマーカ位置を特定するものである。
さらに別の典型的実施形態では、前記インタフェイスコンポーネントは、前記作業パラメタが保持されている間、前記部分選択パラメタの修正を可能として、前記ソースデジタルデータのさらなる選択部分のパラメタ制御された選択を容易にするものである。
前記インタフェイスコンポーネントはまた、前記ソースデジタルデータの前記選択部分の前記選択が保持されている間、前記作業パラメタの修正を可能とすることにより、前記ソースデジタルデータに対する、パラメタ制御されたさらなる作業を容易とするものであってもよい。
前記インタフェイスコンポーネントは、一実施形態において、複数のマーカ位置を受け取るものである。さらに、前記作業コンポーネントは、前記複数のマーカ位置に基づいて、前記ソースデジタルデータに対して、パラメタ制御された複数の選択および作業を実行してもよい。例えば、前記作業コンポーネントは、前記複数のマーカ位置に基づいて、前記ソースデジタルデータに対して、パラメタ制御された単一の選択および作業を実行してもよい。前記作業コンポーネントは、前記複数のマーカ位置およびそれぞれに関連づけられた部分選択パラメタの各々に基づいて、前記ソースデジタルデータに対する選択マスクを定義してもよい。一実施形態においては、前記複数のマーカ位置のうちの第一のマーカ位置が、該第一のマーカ位置に関連づけられた極性パラメタを有し、前記極性パラメタは、前記第一のマーカ位置に基づいて定義された前記選択マスクの少なくとも一部に対して、パラメタ制御された前記作業の局所化された前記効果が負、中立、および正のうち少なくとも一つの極性で適用されるものであるか否かを決定するために前記作業コンポーネントによって使われるものである。
典型的一実施形態において、作業コンポーネントは、前記作業パラメタに基づき前記デジタルソースデータに対して非破壊的な作業を実行するものである。前記作業コンポーネントはさらに、前記デジタルソースデータの表現を修正する、前記デジタルソースデータとは異なる作業レイヤの作成を可能としてもよく、前記調整レイヤに対してパラメタ制御された前記選択および前記作業を実行することにより前記非破壊的な作業を実行してもよい。一実施形態において、前記作業コンポーネントは、複数の作業レイヤの作成を可能とするものであり、前記複数の作業レイヤの各々に対して、パラメタ制御されたそれぞれの選択および作業を実行するものである。前記作業コンポーネントは、さらに、前記複数の作業レイヤそれぞれの選択的活性化および非活性化を可能とすることによって前記デジタルソースデータの表現を修正してもよい。
前記部分選択メカニズムは、前記システムで利用可能な複数の部分選択メカニズムのうちの一つであってもよく、前記インタフェイスコンポーネントは、前記部分選択メカニズムの選択をさらに受け付けるものであってもよい。典型的一実施形態において、前記複数の部分選択メカニズムのそれぞれは、幾何学的選択メカニズム、色に基づく選択メカニズム、および輪郭に基づく選択メカニズムのうち少なくとも一つを含む群の中から選択された、デジタル画像領域選択メカニズムである。
前記作業コンポーネントは、前記作業パラメタを受け取る作業メカニズムを含み、前記作業パラメタを用いて前記作業を実行するものである。前記作業メカニズムは複数の作業メカニズムのうちの一つでもよく、前記インタフェイスコンポーネントは、前記複数の作業メカニズムの中からの前記作業メカニズムの選択をさらに受け付けるものであってもよい。
一実施形態において、前記複数の作業メカニズムのそれぞれは、色、明るさ、影、ハイライト、およびフィルタの各調整メカニズムのうち少なくとも一つを含む群から選択された、デジタル画像調整メカニズムである。
前記インタフェイスコンポーネントはさらに、ユーザ選択用の所定の作業メカニズムと前記デジタルソースデータに対する適用を提示してもよく、前記所定の作業メカニズムは前記作業パラメタ用のデフォルト作業値を使ってもよい。前記所定の作業メカニズムは、所定の部分選択メカニズムと関連づけられていてもよく、前記所定の部分選択メカニズムは、前記部分選択パラメタ用のデフォルト値を使ってもよい。
一実施形態において、前記インタフェイスコンポーネントは、少なくとも一つのマーカ位置と、該少なくとも一つのマーカ位置の近傍内の位置を特定する付加的入力とを受け取るものである。前記作業コンポーネントは、前記少なくとも一つのマーカ位置と前記付加的入力とに基づいて、パラメタ制御された単一の選択および作業を前記ソースデジタルデータに対して実行してもよい。前記作業コンポーネントはまた、前記少なくとも一つのマーカ位置と前記付加的入力とに基づいて、前記ソースデジタルデータに対して選択マスクを定義してもよい。
本発明のさらに別の態様によれば、デジタルデータに対して局所的作業を行う今日の方法が提供され、該方法は、
ソースデジタルデータに関するマーカ位置を受け取り、
作業パラメタに基づいて、パラメタ制御された作業を前記ソースデジタルデータに対して自動的に実行し、
前記マーカ位置と部分選択パラメタとに基づいて前記ソースデジタルデータの選択部分のパラメタ制御された選択を自動的に実行し、
パラメタ制御された前記作業の効果を、前記ソースデジタルデータの前記選択部分に、自動的に局所化する、
ことを含む。
本発明のさらに別の態様によれば、
デジタルデータに関する位置を特定するマーカ位置データと、
パラメタ制御された方法で前記デジタルデータに対して実行されるべき作業を特定し、少なくとも一つの、前記作業を制御する作業パラメタを含む、作業コントロールデータと、
前記デジタルデータの選択部分に対して前記作業を局所化するためにパラメタ制御された方法で前記デジタルデータに対して実行されるべき選択方法を特定し、少なくとも一つの、前記選択方法を制御する選択パラメタを含む、選択コントロールデータと、
を含むデータ構造が提供される。
本発明のさらに別の態様はデータ構造を定義する方法を含み、該方法は、
ユーザから、デジタルデータに関する位置を特定するマーカ位置データを受け取り、
パラメタ制御された方法で前記デジタルデータに対して実行されるべき作業を特定し、少なくとも一つの、前記作業を制御する作業パラメタを含む、作業コントロールデータを作成し、
前記デジタルデータの選択部分に対して前記作業を局所化するためにパラメタ制御された方法で前記デジタルデータに対して実行されるべき選択方法を特定し、少なくとも一つの、前記選択方法を制御する選択パラメタを含む、選択コントロールデータを作成する、
ことを含む。
本発明の別の態様は、デジタル画像に対する調整を実行するシステムを提供し、該システムは、
前記デジタル画像に関する位置を特定するマーカ位置データと、パラメタ制御された画像調整作業を特定するとともに、少なくとも一つの、パラメタ制御された前記画像調整作業を制御する作業パラメタを含む、作業コントロールデータと、選択方法を特定するとともに、少なくとも一つの、前記選択方法を制御する選択パラメタを含む、選択コントロールデータと、を含むデータ構造と、
ソースデジタル画像に対してユーザがマーカアイコンを配置するのを可能とするとともに、前記マーカアイコンの前記ユーザによる前記配置に反応して前記ソースデジタル画像に対する前記マーカ位置データを受け取るインタフェイスコンポーネントと、
前記少なくとも一つの作業パラメタに基づいて、前記ソースデジタル画像に対するパラメタ制御された前記画像調整作業を自動的に実行する画像調整コンポーネントと、
を含み、
前記画像調整コンポーネントは、前記マーカ位置および前記少なくとも一つの部分選択パラメタに基づいて、前記選択方法を使って、前記ソースデジタル画像の選択部分のパラメタ制御された選択を実行するものであるとともに、パラメタ制御された前記作業の効果を前記ソースデジタル画像の前記選択部分に局所化するものである、ことを特徴とする。
本発明の他の態様は、マシンにより実行されると、デジタルデータに対して局所的作業を行う方法を前記マシンに実行させる命令一式を格納したマシン可読媒体に関する。
本発明の他の特徴は、添付図面および下記の詳細な説明から明らかであろう。
本発明は、限定ではなく例として、添付図面の図に示されており、添付図面では同様の参照番号により類似の要素を示す。
デジタルデータに対する局所的作業を行う方法およびシステムについて説明する。以下の説明では、説明の目的で、本発明を十分に理解してもらうために多くの具体的詳細が述べられる。しかし、それらの具体的詳細なしで本発明を実施してもよいことは、当業者には明らかであろう。
典型的な実施形態は、ソースデジタルデータ(例えば、ベクトルベースまたは非ベクトルベースのグラフィックまたはアート)に関する多数の作業(例えば、画像の調整)をユーザが行えるようにするシステムおよび方法を提供しようとするものであり、そのシステムおよび方法においてユーザは、作業とその作業が適用されるソースデジタルデータの部分との双方をパラメトリックに制御する(パラメタ制御する)。さらに、典型的な一実施形態は、パラメタ制御された作業の結果に関して、リアルタイムに近いフィードバック(例えば、視覚的フィードバック)を行おうとする。換言すれば、作業の効果は、リアルタイムに近い仕方で、ユーザに伝えられてもよく、ユーザが観察可能なようになってもよい。さらに、一実施形態は、作業および/または選択に関連づけられたパラメタをユーザがインタラクティブに修正することを可能とし、作業または選択のパラメタに対するそのような修正の効果を示して、リアルタイムに近い時間でユーザへの出力を与えるようにする。
そのために、一実施形態においては、ソースデジタルデータに対してユーザがアイコン(例えば、作業ピン)を配置することが可能なグラフィカルユーザインタフェイスを使って、ユーザが当該ソースデジタルデータに関して位置データを指定することが可能である。作業ピンは、当該作業ピンに関連づけられた少なくとも2組のコントロールを有してもよい。1組目のコントロールは、選択された作業タイプ(例えば、画像調整タイプ)と、その選択された作業タイプ用の関連する作業パラメタ一式を提供する。2組目のコントロールは、ソースデジタルデータの一部分の、パラメタ制御された選択を提供し、その選択と関連づけられた一つ以上の部分選択パラメタを有する。
上記の通り、本発明の一実施形態は、ソースデジタルデータに対する多数の局所的作業の実行を可能にしようとする。したがって、位置データ(例えば、一つ以上の作業マーカまたはピンに関連づけられている)によって、様々な作業(例えば、選択的な調整)が適用されることになるソースデジタルデータに関する多数の位置をユーザが指定することができるようにしてもよい。さらに、作業マーカは、作業タイプを指定するとともに、選択された作業の結果生じる効果の程度(または範囲)をパラメタ制御してもよい。例えば、デジタル画像データに関しては、座標空間と色空間の双方において作業の程度(または範囲)が局所性について制御されてもよい。
さらに、一実施形態では、リアルタイムに近いフィードバック(例えば、視覚的またはその他のフィードバック)をユーザに与えるために、特定の作業マーカ(例えば、作業ピン)に関連づけられたコントロールと、ソースデジタルデータのパラメタ制御された部分とをユーザが修正することを可能にしている。
一実施形態において、マーカはさらに、当該マーカに関連づけられた「極性」を有していてもよく、正から負へ、またはその逆に、ユーザが極性を切り替えることができるようにしてもよい。一実施形態において、選択マスクの定義に対して正に寄与する部分を「正」のマーカが特定してもよく、一方、「負」のマーカは選択マスクに対して負に寄与(つまり選択マスクから減算)してもよい。つまり、一実施形態において、正と負のマーカの組み合わせは、精密な合成選択マスクを作成するのに使われてもよく、作業が適用されるデジタルデータの部分を絞り込んで精密にするのに使われてもよい。
作業マーカは、関連する一群の選択コントロールを使って、部分(例えば、領域)の選択を行うメカニズムを提供し、そのメカニズムは一実施形態では作業マーカの位置データに対する近さに基づいている。ユーザは、ソースデジタルデータに対して複数の作業マーカを配置することによって、そのソースデジタルデータに対して行うべき作業の集積を指定することができ、そのとき、作業マーカのそれぞれに関連づけられた適切な選択コントロールにしたがってこれらの作業のそれぞれはパラメトリックに局所化されている。
さらに、典型的な一実施形態では、作業レイヤが提供され(例えば、デジタルデータ作業アプリケーションの一部として)、その作業レイヤはソースデジタルデータと異なり、ソースデジタルデータの表現を修正するのに有効に働く。作業レイヤはソースデジタルデータとは異なるので、作業レイヤによって、デジタルデータ作業アプリケーションは、非破壊的な仕方でソースデジタルデータの表現を修正することができる。さらに、一実施形態では、ソースデジタルデータのパラメトリックに選択された部分の集積、および/またはソースデジタルデータに関するパラメタ制御された作業の集積を作るように「重ねる」ことができる多数の作業レイヤを、デジタルデータ作業アプリケーションによってユーザが作れるようにしてもよい。
ある種の作業マーカは、典型的な一実施形態において、当該作業マーカに関連づけられた位置(例えば、ユーザがそのマーカを置いたデジタル画像データ上の位置)におけるソースデジタルデータのある種の特性を、当該作業マーカが特定することができるように、感知論理を備えていてもよい。感知論理は、所定の特性の検出に応答して、作業マーカに関連づけられた、ソースデジタルデータのパラメタ制御された部分に関する、ある所定の作業を自動的に呼び出してもよい。例えば、ソースデジタルデータがデジタル画像データであるという典型的な実施形態において、作業マーカは自動的に、そのデジタル画像データ内のマーカに関連づけられた位置が、影になっているのかハイライトになっているのかを決定してもよい。この決定に基づいて、デジタル画像データの選択部分に対するパラメタ制御された調整が行われてもよい。
さらに、一実施形態では、デジタルデータ作業アプリケーションに即して、所定の(またはデフォルトの)作業マーカ一式がさらに提供されてもよく、その所定の作業マーカが、ある作業を行うように予め設定された、選択コントロールと作業コントロール、および関連するパラメタを含んでもよい。再度、ソースデジタルデータがデジタル画像データである例を考えると、空を表現するデジタル画像データの部分に置かれると空の青色を自動的に強調するように、「より青い空」マーカを定義してもよい。同様に、デジタル画像調整アプリケーションによって、「より緑色の木」マーカが提供されてもよい。デジタル画像調整アプリケーションは、選択コントロールと作業コントロールに関連づけられたパラメタをユーザが修正することができるようにしてもよい。
図1は、ソースデジタルデータ14に対する一つ以上の局所的作業の実行のための、各典型的実施形態による、自動プロセス10および12を説明するブロック図である。第一の実施形態では、ソースデジタルデータ14とマーカ16が自動作業プロセス10への入力を与える。マーカ16は、ソースデータ14内の位置を特定する位置データ18と、作業タイプおよび関連する作業パラメタを指定する作業コントロール20と、選択タイプおよび関連する選択パラメタを指定する選択コントロール22とを含む。作業プロセス10は、作業コントロール20にしたがって、ソースデータ14に対する作業プロセス24(例えば、画像調整)を行って調整済みデータ26を生成するように図示されている。その後、選択マスクを定義するための選択プロセス28が実行される。そして、目的データ30を生成するための選択マスクを使って、作業プロセス24の効果が局所化される。具体的には、作業プロセス24の効果は、選択マスクによって、目的データ30の選択部分32に局所化される。そして、ユーザあるいは自動作業プロセス10のさらなる繰り返しを呼び出す自動プロセスにより、マーカ16は随意に修正されてもよい(例えば、位置データ18、作業コントロール20、または選択コントロール22のいずれが修正されてもよい)。
第二の典型的な自動作業プロセス12は、選択プロセス28が作業プロセス24よりも先であるという点で、作業プロセス10と異なる。したがって、選択プロセス28は、選択部分36を特定する選択マスクを生成するように図示されている。そして、選択部分36に対して作業プロセス24が適用され、それによって目的データ30が生成されるが、作業プロセス24の効果は、目的データ30において、選択部分32に局所化されている。この場合も、自動作業プロセス12のさらなる繰り返しを呼び出すように、マーカ16が修正されてもよい。
図2は、デジタルデータに対する局所的作業を実行する典型的なシステムを、デジタルデータ作業アプリケーション40の形で説明するブロック図である。作業アプリケーション40は、(1)インタフェイスコンポーネント42と、(2)データ作業コンポーネント44とを含む。インタフェイスコンポーネント42は、作業アプリケーション40のユーザおよび/または他のシステムやアプリケーションから入力を受け取り、それらに出力を与えるように動作する。そのため、インタフェイスコンポーネント42は、ソースデジタルデータ14を装置またはシステム(例えば、音声入力装置、デジタルカメラ、ビデオカメラ、ディスクドライブなど)から受け取るための一つ以上の入力モジュール46を含む。入力モジュール46は、ユーザインタフェイスを介してユーザから作業アプリケーション40が入力を受け取ることも可能にする。例えば、入力モジュール46により、ユーザが位置データ18を入力し、ソースデジタルデータ14に関する位置を指定することが可能となる。
インタフェイスコンポーネント42は、一つ以上の外部装置またはシステム(例えば、表示装置、音声再生装置、あるいはディスクドライブ)に出力を与えるための一つ以上の出力モジュール48も含む。
データ作業コンポーネント44は、データ部分選択メカニズム50という典型的な形で選択論理を含むとともに、複数の作業論理のインスタンスを含むように図示されている。典型的な実施形態では、作業論理は、データ調整メカニズム52、データ追跡メカニズム54、データ感知メカニズム56、データ応答メカニズム58、およびデータ相互作用メカニズム60を含んでいてもよく、これらのメカニズム52〜60の各々はソースデジタルデータ14に関する特定の作業を実行するよう動作する。これらの作業の効果はデータ部分選択メカニズム50を使って局所化されるが、データ部分選択メカニズム50は選択マスクを作成し、その選択マスクに関して作業の効果が局所化されてもよい。データ調整メカニズム52は高水準で、一つ以上の調整(または修正)をソースデジタルデータ14の選択部分に対して実行してもよい。様々な典型的なメカニズム52〜60についてより詳細に論ずる前に、作業アプリケーション40への入力を構成し、作業アプリケーション40による出力として生成されるアプリケーションデータ62について考えるのは有用である。具体的には、アプリケーションデータ62は、ソースデジタルデータ14、調整済みデータ26(作業アプリケーション40の中間出力を構成する)、および目的データ30(作業アプリケーション40の出力を構成する)を含むように図示されている。一群のマーカ16がソースデジタルデータ14の各インスタンスに関連づけられており、それぞれのマーカ16は、位置データ18とコントロールデータ64を含む。位置データ18は、ソースデジタルデータ14に関する位置(例えば、2次元または3次元の画像座標)を特定する。コントロールデータ64は一つ以上のデータ部分選択メカニズム50を特定するとともに、作業論理(例えば、メカニズム52〜60)から選択された一つ以上のメカニズムを特定する。一実施形態において、各マーカ16とソースデジタルデータ14との間の関連性は、インタフェイスコンポーネント42を介してユーザから受け取った入力の結果として、ユーザにより作成されたものである。しかし、ある種のマーカ16は、データ感知メカニズム56および/またはデータ応答メカニズム58が実行した作業の結果として、自動的にインスタンス化されてソースデータ14と関連づけられてもよい。
後述するように、マーカ16の部分集合はさらに作業レイヤ66と関連づけられていてもよい。
作業論理に戻ると、データ調整メカニズム52は、マーカのコントロールデータ64によって特定可能で、ソースデジタルデータ14に対する調整操作を実行する、一群のメカニズムを含んでもよい。作業アプリケーション40が作業を実行するようになっている対象のデジタルデータのタイプに、調整のタイプが依存してもよい。例えば、作業アプリケーション40が画像編集アプリケーションである場合、データ調整メカニズム52は多くの画像調整操作を指定してもよい。作業アプリケーション40が音声または動画の編集アプリケーションである場合、調整メカニズム52は同様にこれらのデータイプを調整するのに合わせられているだろう。
データ追跡メカニズム54は、これもまたコントロールデータ64を介してマーカ16と関連づけられていてもよいのだが、特定のマーカ16に関連づけられた特性および様々な選択や調整の特性を、有効に追跡してもよい。例えば、ソースデジタルデータ14がデジタル動画データを含む実施形態では、自動的に動画データに応じて(例えば、動画データ内で画像の内容が動くのにしたがって)追跡メカニズム54によりマーカ16を再配置することを可能とすることができる。一実施形態では、データ追跡メカニズム54は、マーカ16の位置データ18を有効に修正してもよい。したがって、マーカ16が特定の画像特徴またはオブジェクト上に配置されると、一連の動画フレームを通してその特徴またはオブジェクトが動いてもその画像特徴またはオブジェクトと関連づけられたままでいる機能を、データ追跡メカニズム54はマーカ16に与える。
追跡能力を実現するために、追跡メカニズム54は初期状態情報(例えば、固定位置を示す位置データ18)を使ってもよい。データ追跡メカニズム54と関連づけられたコントロールデータ64は、当該マーカ16がソースデジタルデータ14に関する特定の位置に固定されるべきか(例えば、画像座標(x,y)の場所に固定されるべきか)否かを示してもよい。その状態は、最初の動画フレームに対しては「固定」と設定されるが、後続の動画フレームに対しては「非固定」と設定される。「非固定」とは、最初の固定フレームあるいは以前の画像フレームから、内在する画像、オブジェクト、あるいは特徴を追跡するために、マーカ16が再配置可能であることを示す。
データ追跡メカニズム54は、既刊文献に記載された多くの追跡アルゴリズムのいずれを利用してもよい。例えば、一実施形態において、探索ウィンドウ領域が、位置データ18により特定される場所の周りに定義されてもよい。より大きな探索ウィンドウ領域内部に配置された、より小さな追跡ウィンドウの多数の位置のそれぞれに対し、「類似度」が計算される。類似度は、当該追跡ウィンドウが、最初のフレームまたは以前のフレームのいずれかにおいて位置データ18により特定される位置にある同サイズの追跡ウィンドウとどれほど類似しているかを定量化する。そのような「類似度」の一つは、すべての色成分にわたり平均された、画素値の差の二乗平均の符号を反転させた値である。多数の探索点に対して、最も類似している点(例えば、最大の「類似度」の点)が当該動画フレームに対する新たな「追跡位置」として選ばれる。それに応じて次に、位置データ18を、その新たな追跡位置に等しくなるよう修正してもよい。それに応じて、マーカ16は新たな「追跡位置」に動かされる。
追跡の他の方法ではヒストグラムの比較を使い、その例は次の文献にさらに十分に説明されている。
IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 25, NO. 5, MAY 2003 Kernel-Based Object Tracking. Dorin Comaniciu, Senior Member, IEEE, Visvanathan Ramesh, Member, IEEE, and Peter Meer, Senior Member, IEEE
もし、ソース動画データの各フレーム内の画像がまず勾配強度(gradient magnitude)画像に変換されれば、上記の追跡メカニズムは画像中の輪郭に対してより感度がよくなるだろう。勾配強度は、横のソーベルフォトと縦のソーベルフィルタを適用した結果の二乗平均平方根でもよい。典型的なソーベルフィルタは、次の文献にさらに十分に説明されている。
R. Gonzalez and R. Woods, Digital Image Processing, Addison Wesley, 1992
マーカ16のコントロールデータ64は、さらに一つ以上のデータ感知メカニズム56を参照してもよい。一実施形態においては、データ感知メカニズム56によりマーカ16が局所的環境を「感知」することができるようにしてもよい。例えば、ソースデジタルデータが動画または画像データを含む場合、関連づけられたマーカ16が目のところに置かれると、データ感知メカニズム56により、マーカ16が、目の特徴の存在を検出してそれに応答することができるようにしてもよい。その応答は、マーカ16が目のところに配置されていて、(例えば、赤目を補正する、角膜を白くする、虹彩の彩度を上げる、などの)目の補正調整がおそらく適用されるべきである、という作業アプリケーション40のユーザに対する警告でもよい。あるいは、そのような調整が自動的になされてもよい。そのために、データ感知メカニズム56は、データ調整メカニズム52と通信するように組み合わされて、図示されている。例えば目が検出された場合には、データ感知メカニズム56が、画像調整をするために自動的方法により、適切な画像調整メカニズム52を呼び出してもよい。
さらなるデータ感知メカニズム56によって、内在する画像、特徴、あるいはオブジェクトがいつ変化するかをマーカ16が感知することができるようにしてもよい。例えば、データ感知メカニズム56は、位置データ18により特定される位置の周りのウィンドウから記憶した画像データを、保持していてもよい。すると、データ感知メカニズム56は、例えば、選択された動画フレームに対するこのウィンドウを、マーカ16が配置された現在の動画フレームからの対応するウィンドウ画像データと比較してもよい。感知は、次の式による差の二乗平均を計測することからなっていてもよい。
sensation=〈[I1(r)−I2(r)]〉 (0)
ここで、I1(r)は、一つの動画フレームの、位置rにおける画像強度または色データであり、I2(r)は他のフレームの同じ相対位置におけるデータであり、〈…〉はウィンドウ内に位置するすべての画素にわたってとられた平均値を示す。二乗した画像強度(例えば色を含む)の値における差の平均をとるのに加えて、平均が、二乗した勾配値における差を組み込んでいてもよい。これは、強度差を置換してもよく、関連する重みを強度差に補足してもよい。
マーカ16のコントロールデータ64はまた、一つ以上のデータ応答メカニズム58を特定のマーカ16に関連づけてもよい。データ応答メカニズム58は、図2に示すごとく、データ感知メカニズム56と通信するように組み合わされ、データ感知メカニズム56からの入力を受け取ってもよい。上記のとおり、ソース動画データに対しては、データ感知メカニズム56が画像変化(例えば所定の閾値より大きい)を検出した場合、データ感知メカニズム56は、マーカ16による応答を呼び出してもよい。そのような応答は一実施形態において、一つ以上のデータ応答メカニズム58によりもたらされる。例えば、データ応答メカニズム58が発する応答はユーザへの警告でもよい。あるいは、その応答は、画像修正同士を協調させるために作業アプリケーション40に送られる信号でもよい。あるいは、メッセージ(例えば、電子メール、携帯電話メール、電話メッセージ、あるいは他の種類の電子的メッセージ)として、他のコンピュータプログラムまたは装置へと応答信号が送られてもよい。データ応答メカニズム58は、対象ソースデジタルデータ14と関連づけられた他のマーカ16のコンポーネント、あるいは異なるソースデジタルデータ14(例えば、異なるタイプのソースデジタルデータ)と関連づけられたマーカ16に、さらにメッセージを送ってもよい。
マーカ16のコントロールデータ64はさらに、一つ以上のデータ相互作用メカニズム60を、関連するマーカ16と関連づけてもよい。一実施形態において、データ相互作用メカニズム60により、共通のソースデジタルデータ14または異なるソースデジタルデータ14に関連づけられた複数のマーカ16の相互作用を可能としてもよい。例えば、指定された空間的配置を維持するためにマーカ16同士が相互作用してもよい。ソースデータ14が動画データであり、家を監視する動画クリップを含む例を考えられたい。そして、マーカ16はその動画クリップに関して配置されている。適切なデータ感知メカニズム56を利用して、データ応答メカニズム58により命令された所定の仕方で応答するために、マーカ16は、指定された位置の近傍の画像データ(または他の文書データ)を解析する。感知動作は、マーカ16が人間の顔に位置しているか否かを決定するものであってもよく、マーカ16が人間の顔に位置している場合は、適切な肌の階調補正をするようにマーカ16がデータ調整メカニズム52を設定(または選択)してもよい。同様に、もしマーカ16が空に位置していたら、マーカ16が適切な「青空」調整メカニズム52を選択してもよい。
監視の例において、マーカ16のデータ感知メカニズム56が局所的なシーンの内容の変化を感知した(例えば、ドアが開けられたと気がついた)場合、その画像に関連づけられた他のマーカ16あるいは異なる動画クリップに関連づけられたマーカ16にメッセージを送るために、関連するデータ応答メカニズム58が呼び出されてもよい。例えば、ドアが開けられたと特定のマーカ16が一旦検出すると、金庫室または宝石箱の近くに配置されたマーカ16がインスタンス化されて、および/または活性化されて、感知動作を開始し、データ感知メカニズム56を利用して近傍の顔(例えば、黒い目出し帽)を検出または解析し、適切な通知(例えば、家の所有者への電子メールメッセージ)を生成するか、警報を作動させる。
上記では主に動画データに関連してメカニズム52〜60を説明したが、これらのメカニズムを他のタイプのデジタルデータにも同様に適用してよいことは、すぐに理解されるであろう。例えば、ソースデジタルデータ14は音声データでもよい。この場合、一つ以上のデータ追跡メカニズム54が、音声データ内の特定の音声的特徴またはオブジェクト(例えば、特定の声、楽器、周波数、音色など)を追跡してもよい。同様に、追跡を可能とするために、内在する音声データの特定の特性を感知するように、データ感知メカニズム56が動作してもよい。そして、音声トラックに内在する、感知した(そしておそらくは追跡した)音声的特徴またはオブジェクトを調整するために、データ感知メカニズム56は一つ以上の調整メカニズム52を呼び出してもよい。同様に、検出した条件に応じて、データ応答メカニズム58は警告を与えてもよく、あるいは他の何らかの動作を実行してもよい。例えば、音声データが監視情報を含む例では、感知メカニズム56が特定の個人の声を検出するよう構成されていてもよい。そのような声の検出に応じて、データ感知メカニズム56は、(例えば、感知した声を強調することによって)音声データを調整するためにデータ調整メカニズム52を呼び出してもよく、また、関連性のある声が検出されたと示す警告をユーザに与えるためにデータ応答メカニズム58を呼び出してもよい。
静止画像データに関して本発明の典型的実施形態をどのように利用することができるかについて、図5〜11を参照して、以下で、より詳細に論ずる。
図3は、本発明の典型的な実施形態によって、マーカ16の構造に関するさらなる詳細を示すブロック図である。図2を参照して上述したごとく、ユーザまたは自動プロセスのいずれかによって(例えば、データ感知メカニズム56によって)マーカ16が関連づけられているソースデジタルデータ14内の位置を特定する位置データ18を、マーカ16が含んでもよい。マーカ16はコントロールデータ64も含むように図示されており、コントロールデータ64は一つ以上のコントロールを含む。図16における典型的なマーカは、(1)選択メカニズム選択肢72(例えば、作業アプリケーション40によりサポートされる多数のデータ部分選択メカニズム50のうちの一つのID)を含む、部分(またはマスク)選択コントロール70、および(2)選択メカニズム選択肢72と関連づけられた一つ以上のパラメタ74を含む。一つ以上の作業の効果が局所化されるべき、ソースデジタルデータ14の一部分を、パラメタ制御により選択するために、選択メカニズム選択肢72により特定されたデータ部分選択メカニズム50は、選択パラメタ74を利用する。コントロールデータ64は、多数の作業コントロール76〜84を含むように図示されており、これらの作業コントロールのそれぞれは適切なメカニズム選択肢および関連するパラメタを含む。典型的な実施形態において、コントロール76〜84が、図2を参照して上記で述べた様々な作業メカニズム52〜60に対応するということは、注目されよう。それに対応して、メカニズム選択肢のそれぞれは、作業アプリケーション40によりサポートされているメカニズム52〜60の中から一つ以上のメカニズムを特定する。関連づけられたパラメタは、選択されたメカニズムが、それぞれの作業を実行するために利用する。
図4は、典型的な実施形態による、デジタルデータに関する局所的作業を実行する方法90を説明するフローチャートである。一実施形態において、方法90は、上記で図2を参照して論じたように、上記で論じたアプリケーションデータ62を利用して作業アプリケーション40により実行されてもよい。方法90はブロック92と94で始まる。具体的には、ブロック92において、作業アプリケーション40は、インタフェイスコンポーネント42の入力モジュール46を介して、一つ以上のマーカ16のユーザ定義を受け取ってもよい。そのため、ユーザはマーカ16に関連づけられるようにコントロールデータ64を定義してもよい。対象ソースデータ14上の特定の位置にマーカ16が関連づけられると、位置データ18が後で与えられる。コントロールデータ64は、一つ以上の作業メカニズム52〜60のIDおよび関連するコントロールパラメタだけではなく、特定のデータ部分選択メカニズム50および関連するパラメタ74のユーザ選択を含んでもよい。画像データに関するそのようなデータ部分選択メカニズム、作業メカニズム、および関連するコントロールパラメタの例は、図6を参照して後述する。
ブロック94において、作業アプリケーション40は所定の(つまり事前に設定された)一群のマーカ16もロードしてよい。ここで、所定のマーカ16の各々は、所定のデータ部分選択メカニズム50、一つ以上の所定のメカニズム52〜60、および関連するコントロールパラメタを有する。例えば、そのような所定のマーカ16は、図2を参照しながら論じた典型的な「青空」マーカ16でもよい。
ブロック96において、ソースデータ14がデジタルデータ作業アプリケーション40に受け入れられる。例えば、アプリケーション40は、そのアプリケーション40が実行されているコンピュータシステムに関連するディスクドライブから、ソースデータ14を受け取ってもよい。あるいは、アプリケーション40は、外部装置(例えば、デジタルカメラ、ビデオカメラ、マイクなど)からデータを受け取ってもよい。
ブロック98において、アプリケーション40はユーザにマーカ(例えば、ユーザ定義されたマーカ16と所定のマーカ16)の選択を提示する。具体的には、一群のマーカ16と関連するマーカアイコンを表示するメニューをインタフェイスコンポーネント42が提示して、ユーザがこれらのマーカ16のうち一つ以上を選択することができるようにしてもよい。一実施形態では、提示されるマーカアイコンは、選択に応じて、および/または、基礎をなすマーカ16と関連する作業メカニズムに応じて、互いに異なっていてもよい。
ブロック100において、アプリケーション40は、インタフェイスコンポーネント42を介して、具体的なマーカ16のユーザ選択を受け付けるとともに、ソースデータ14に関する位置を示す位置データ18も受け取る。マーカ16を表現するマーカアイコンをユーザが配置することができる対象の、ソースデータ14の表現を表示するユーザインタフェイスを生成することによって、位置データ18を受け取ってもよい。例えば、ユーザインタフェイスを介して、ユーザがマーカアイコンを表示されたデジタル画像上のある位置まで「ドラッグアンドドロップ」することができるようにしてもよい。一実施形態では、ユーザがマーカアイコンをドロップした位置の近くの、表示されたデジタル画像データの特徴を特定し、続いて、特定された特徴へとマーカアイコンを動かす、「スナップ(snap to)」特徴をインタフェイスコンポーネント42が提供してもよい。他の音声的実施形態において、ユーザは、音声または動画データのトラック表現上に適切なマーカアイコンをドラッグアンドドロップすることができてもよい。さらに別の実施形態において、作業アプリケーション40がワープロアプリケーションである場合に、文書内に表示された特定のテキストまたは他のオブジェクト上にユーザがマーカアイコンをドラッグアンドドロップすることができるようにしてもよい。ユーザがマーカアイコンを置いた位置を感知することによって、作業アプリケーション40は位置データ18を決定して受け取ることができる。
ブロック102において、アプリケーション40は、例えばマーカ16の中に位置データ18を格納することによって、位置データ18を適切なマーカ16に関連づける。
ブロック100と102については、ソースデータ14の表現に対して複数のマーカ16をユーザが選択して配置することができてもよい。ここで、マーカ16の各々は、異なる型であって異なる特性を有する可能性がある。
ブロック104において、選択されたマーカ16の各々の、部分選択メカニズム50および関連する選択パラメタ74を使って、ソースデータ14に対する選択マスクをアプリケーション40が定義する。複数のマーカ16がユーザにより選択された場合には、多くの組み合わせ技法のいずれかにより、ブロック104において、合成マスク選択が定義される。そのような典型的な方法に関する議論は、図9を参照して後述する。
ブロック106において、マーカ16の各々について、選択メカニズム選択肢および関連するコントロールパラメタにしたがって、アプリケーション40は、パラメタ制御された作業(例えば、調整、追跡動作、感知動作、応答動作、または統合動作)をソースデータ14に対して行い、それにより、調整済みデータ26を生成する。具体的には、一実施形態において、パラメタ制御された作業は、調整済みデータ26を生成するために、ソースデータ14に対して大域的に実行されてもよい。
ブロック106で実行された、パラメタ制御された一つ以上の作業の効果を局所化するために、ブロック108においてアプリケーション40は、ブロック104で定義された選択マスクを調整済みデータ26に適用する。この動作の出力は目的データ30であり、目的データ30の中では、パラメタ制御された作業の効果が、選択部分32に局所化されている。
ブロック110において、アプリケーション40は、ユーザが選択したマーカ16および関連する位置データを保持しつつ、インタフェイスコンポーネント42の出力モジュール48を介して、目的データ30をユーザ(あるいは、さらに外部のコンピュータシステム)に対して出力する(例えば、表示する、音声表現を作り出す、など)。ブロック106で実行されたパラメタ制御された作業、ブロック108での選択マスクの適用、およびブロック110での目的データ30の出力の後、ユーザが選択したマーカ16および関連する位置データは存続する(つまり保持されている)。
判断ブロック112では、インタフェイスコンポーネント42を介してマーカ16のいずれか一つ以上をユーザが修正したか否かが、アプリケーション40により判断される。別の実施形態では、自動プロセス(例えば、さらなるマーカ16あるいは外部アプリケーション)もまた、マーカ16を修正してもよい。一つ以上のマーカ16に対する修正は、ソースデータ14に対するマーカアイコンの再配置を含んでもよい。例えば、ユーザは適切なインタフェイスを用いて、ソースデータ14の表現に関するさらに別の位置へと、マーカアイコンを初期の位置から動かしてもよい。あるいは、コントロールデータ64が修正されたのでもよい。例えば、選択メカニズム選択肢72は部分選択コントロール70と関連づけられているが、これが修正されたのでもよい。あるいは、選択コントロール70の一つ以上の選択パラメタ74が修正されたのでもよい。さらに、作業コントロールが修正されたのでもよい。例えば、作業メカニズム選択肢、または一つ以上の関連するパラメタが修正されたのでもよい。
インタフェイスコンポーネント42により生成されるユーザインタフェイスによって、ユーザは適切なマーカアイコンを(例えば「ダブルクリック」のマウス操作によって)選択することができ、それに応じて、修正メニューが表示される。修正メニューのおかげでユーザは、異なる選択メカニズム選択肢72を指定する、および/または、異なる選択パラメタ74を入力することによって、便利に他の選択を入力することができる。ダイアログボックスも、適切なマーカアイコンのユーザ選択に応じて生成されて表示されるが、ダイアログボックスによって、多くの作業コントロールのうちいずれかに関して別のメカニズム選択肢をユーザが作ることができるようにしてもよく、適切なメカニズムに関連するコントロールパラメタをユーザが修正あるいは置換することができるようにしてもよい。
一つ以上のマーカ16が修正されたと判断ブロック112で判断されたら、方法90は、マーカ16に関してなされた修正に応じて、ブロック102、104、または106のいずれかに戻る。例えば、位置データ18が修正された場合、この方法はブロック102に戻る。選択メカニズム選択肢72および/または選択パラメタ74が修正された場合、この方法はブロック104に戻る。作業メカニズム選択肢および/または関連するコントロールパラメタが修正された場合、方法90はブロック106に戻ってもよい。
ソースデータ14(例えば、デジタル画像)に対して実行された作業の修正(例えば、修正について更新すること)に関して、方法90は、「ライブの」つまりリアルタイムに近い機能をユーザに対して使用可能としている。ブロック104〜110で実行された動作の後、位置データ18とコントロールデータ64が保持されるとともに、このデータの部分集合(あるいは全部でもよい)をユーザが選択的に修正することができるので、ユーザは、メカニズム選択肢またはコントロールパラメタの修正の効果を、他のメカニズムやコントロールパラメタが維持されたままの状態で、便利に認識することができる。したがって、局所的な調整は、「ライブ」であるように見えるだろうし、目的データ30の表現に関する(視覚的あるいはその他の)素早いフィードバックとともに、いかなる順序においてでも実行されうる。
さらに、ソースデータ14に関して大域的規模の、一つ以上のパラメタ制御された作業をブロック106において実行し、続いてそのような作業の効果を局所化する選択マスクを適用するものとして、上記では方法90を説明した。しかし、別の実施形態では、パラメタ制御された作業の実行に先立ってソースデータ14に選択マスクが適用され、その後で、パラメタ制御された作業の効果が、選択マスクによって定義されたソースデータ14の部分へと局所化されてもよい。
図5は作業アプリケーション40の典型的実施形態を、デジタル画像調整アプリケーション120の形で説明するブロック図である。調整アプリケーション120により、ユーザは、デジタル画像についての様々な編集と修正の操作を実行することができる。そのようなアプリケーションの一例は、アドビ(登録商標)フォトショップ(登録商標)アプリケーションである。
調整アプリケーション120は、インタフェイスコンポーネント122と画像調整コンポーネント124を含むように図示されている。そして画像調整コンポーネント124は、多くのメカニズム、すなわち、画像領域選択メカニズム126の一群と、画像調整メカニズム134の一群と、画像フィルタツール144の一群と、画像レイヤツール152の一群とを内蔵している。画像領域選択メカニズム126は、画像調整メカニズム136または画像フィルタツール144のうちのいずれか一つ以上を適用すべきデジタル画像の領域をユーザが選択することを補助する。典型的な領域選択メカニズム126は、幾何学的選択ツール128,色に基づく選択ツール130、および輪郭に基づく選択ツール132を含む。一実施形態において、選択メカニズム128〜132のうちのいずれか一つ以上が、マーカ16と関連づけられていてもよい。例えば、位置データ18によって特定されるマーカ位置について、そのマーカ位置に関する、空間的広がりの範囲やさらに別の量、色域、ぼやけ(fuzziness)、および輪郭検出感度の尺度を用いて、デジタル画像の領域のパラメタ制御された選択をマーカ163が行うことを、選択メカニズム128〜132によって可能としてもよい。
典型的な画像調整メカニズム134は、色、明るさ、影/ハイライト、および曲線のメカニズム136、138、140、142を含むように図示されている。ここでも、メカニズム136〜142の各々は、ソースデータ14に対して適用されるであろう作業メカニズムの例を示している。
典型的な画像フィルタツール144は、シャープ化、ぼかし、およびテクスチャのツール146、148、150を含む。これらも、ソースデータ14に対して適用されるであろう作業メカニズムの例を示している。
画像レイヤツール152は「新規レイヤ」機能154と、レイヤプロパティ機能156を含む。上記のとおり、基礎となるソースデータ14の表現に対して非破壊的な方法で適用されるべき作業を可能とするために、ソースデータ14に対して適用されるだろう作業レイヤの例を、画像レイヤは示している。一実施形態において画像レイヤツール152は、基礎となる画像データに適用されるべき一つ以上のマーカ163を提供するように特に構成されたレイヤ(例えばマーカレイヤ)の作成を、可能としてもよい。マーカ163一式およびそれらに関連するパラメタを用いて、選択マスクをマーカレイヤと関連づけて構築してもよい。ユーザはさらに、多くのマーカレイヤを作成することもでき、各マーカレイヤは、ある種の共通の特性を有するマーカ163を提供する。したがって、多くの異なる画像レイヤの各々に対して、それに特有のマーカ163一式が関連づけられてもよい。この特徴によりユーザは、特定のレイヤと関連するそのようなマーカ163群を、当該画像調整レイヤの活性化や非活性化により、都合よく活性化したり非活性化したりすることができる。
画像調整アプリケーション120はまた、例えば上記の図2を参照して述べた方法によりソース画像データ162内の画像特徴またはオブジェクトの所定の特性を感知するよう構成された感知論理を、一つ以上の感知ツール158という典型的な形で含んでもよい。
アプリケーションデータ160は、とりわけ、ソース画像データ162を含み、ソース画像データ162には一つ以上のマーカ163が関連づけられるように図示されている。アプリケーションデータ160はレイヤデータ164も含み、レイヤデータ164はマーカ163の部分集合と画像調整レイヤとの関連づけを記憶していてもよい。
図6は、典型的な実施形態による、ソース画像データ162への複数の画像調整レイヤ165の適用の概念的な表現を示すブロック図である。図示したように、画像調整レイヤ165はいくつでも、ソース画像データ162の表現を修正するためにその表現の上に重ねてよい。図6は、一番上の画像調整レイヤ165をマーカレイヤとして図示しており、一つ以上のマーカがそこに「含まれて」いるか、当該マーカレイヤとの関連において存在している。マーカ163は、位置データ170(例えば、ソース画像データ162に関する2次元または3次元の座標)および関連するコントロールデータ172を含むように図示されている。そして、各々が調整メカニズム選択肢176(例えば、明るさ、影/光、レベル、フィルタなど)を示している一つ以上の画像調整型コントロール174と、各々の調整メカニズム選択肢に関連する一つ以上の調整パラメタ178とを、コントロールデータ172が含む。例えば、調整メカニズム選択肢176が明るさを示す場合、関連する調整パラメタ178は、この調整ツールが負あるいは正のいずれに適用されるべきであるかを示すとともに、このツールが正あるいは負に適用されるべき範囲を示す、数値であってもよい。
コントロールデータ172は領域(またはマスク)選択コントロール180も含み、領域(またはマスク)選択コントロール180は、一つ以上の選択型選択肢182と、そのような選択型選択肢182の各々に関連する一つ以上の選択パラメタ184とを含む。例えば、ある特定の選択型選択肢182は、空間的広がりの範囲、ぼかし(feather)、色域ぼやけ、あるいは輪郭検出感度の選択型などを示してもよい。選択型選択肢182の各々は、パラメタ制御された選択型選択肢182の適用を可能とするようにその選択型選択肢182に関連づけられた、関連する選択パラメタ184を有する。
一実施形態において、適切な作業メカニズムおよび/または選択メカニズムをユーザが選択的に活性化したり非活性化したりすることを可能とするために、各マーカ163は、そのマーカ163に関連づけられた一つ以上の「トグル」つまりスイッチパラメタをさらに有していてもよい。この場合、基礎となるマーカ163に関連する作業および/または選択メカニズムをユーザが活性化または非活性化することを可能とする一つ以上の「トグル」スイッチの視覚表現を、ある特定のマーカ163用のマーカアイコンが備えてもよい。さらに別の実施形態では、作業または選択メカニズムが正に適用されること、負に適用されること、あるいは中立的に適用されることを、マーカ163に関連づけられたスイッチパラメタによって可能としてもよい。
図7は、典型的実施形態による画像エディタユーザインタフェイス190を説明するユーザインタフェイス図であり、画像エディタユーザインタフェイス190はデジタル画像調整アプリケーション120のインタフェイスコンポーネント122によって生成されてもよい。画像の調整(または修正)操作をデジタル画像データ162に対してユーザが行うことができるようにする様々なメニュー(不図示)を、画像エディタユーザインタフェイス190は提示してもよく、デジタル画像データ162の表現192はインタフェイス190内に表示されている。画像エディタユーザインタフェイス190はユーザに対してさらに画像調整マーカアイコン200の一揃えを提示し、マーカアイコン200は、例示したインタフェイスにおいて、ピンの集まりのメニュー194内で便宜的に「ピン」と呼ばれている。マーカアイコン200の一揃えは、ユーザ定義されたマーカ198とともに内蔵の予め定義されているマーカ196も表す。
メニュー194は、適切な記述子情報202とともにマーカアイコン200を提示する。マーカアイコン200は図7では一様な見かけで示されているが、他の実施形態では、基礎となるマーカ163に関連する、パラメタ制御された選択作業および/またはパラメタ制御された画像調整作業に応じて、マーカアイコン200が異なってもよい。さらに、上記のごとくマーカアイコン200の各々は、基礎となるマーカに関連する作業および/または選択メカニズムを、正、負、または中立に適用することを可能とする、グラフィカルな「スイッチ」を含んでもよい。
画像エディタインタフェイス190は、便利なように、メニュー194内から画像表現192内の位置へユーザがマーカアイコン200を「ドラッグアンドドロップする」のを可能とするとともに、このやり方で、基礎となるマーカ163のインスタンス化に関連づけられるべき位置データ170をユーザが画像調整アプリケーション120に入力するのを可能とする。具体的には、典型的実施形態において、ユーザが特定のマーカを配置した、表現内での位置の(x,y)座標が、アプリケーション120によって位置データ170として認識され、格納されるだろう。
表現192内の適切なマーカアイコン200の位置に対して、図4のブロック102〜110に関して上記で説明した動作が自動的に順次行われる。換言すれば、位置データ170のユーザ入力が、基礎となるマーカ163に関連する画像調整と領域選択(例えばマスキング)の作業を呼び出す。例えば、画像特徴またはオブジェクトの例として、太陽の画像特徴204が表現192内において明るすぎる、とユーザが見なすかもしれない。それに応じて、ユーザは、「どんよりした太陽」マーカアイコン200をドラッグアンドドロップして、太陽の画像特徴204内のどこかの位置を特定してもよい。この「ドラッグアンドドロップ」イベントに反応して、画像調整アプリケーション120は、太陽の画像特徴204内の位置の(x,y)座標を入力として受け取るだろう。基礎となる「どんよりした太陽」マーカ163との関連づけの結果として、画像調整メカニズム(例えば明るさメカニズム138)が、自動的に呼び出されて、関連する選択パラメタ184を参照してデジタル画像データ162全体にわたって大域的にハイライトを削減するだろう。
画像調整アプリケーション120は、次に、選択メカニズム(例えば、色に基づく選択ツール130)にしたがって選択マスクを定義するだろう。次に、明るさメカニズム138のハイライト削減効果を太陽の画像特徴204に局所化するために、定義された選択マスク(例えば、太陽の画像特徴204の輪郭を特定する)が適用されるだろう。
類似の方法で、ユーザは雲の画像特徴206内のどこかの位置に「白い雲」マーカアイコン200を配置して、効果がパラメトリックに雲の画像特徴206に局所化される、パラメタ制御された調整を同様に実行してもよい。
上記の方法により何らかの最初の画像調整動作が実行された後、ユーザは、太陽の画像特徴204に関する局所化された効果が適当ではないと思うかもしれない。例えば、太陽の画像特徴204が、ユーザの好みからするとまだ明るすぎるかもしれない。よって、ここでユーザには、太陽の画像特徴204上に配置されたマーカ163に関連づけられたコントロールパラメタを修正する機会が与えられる。画像エディタユーザインタフェイス190によりユーザは、既に表現192内に配置されているマーカアイコン200を、例えば当該マーカアイコン200をダブルクリックすることによって、選択することができる。それに反応して、画像エディタユーザインタフェイス190はパラメタ修正ダイアログボックス210を呼び出す。そのようなダイアログボックス210の例を図8に示した。このダイアログボックス210は、画像エディタユーザインタフェイス190によって提供される他のメニュー(不図示)からも呼び出されてもよい。図示したように、パラメタ修正ダイアログボックス210は領域選択インタフェイス212を含み、ユーザは、領域選択インタフェイス212を使って、選択メカニズム選択肢182を修正してもよく、選択メカニズム選択肢182に関連づけられた多数の選択パラメタ184のうちのいずれかを修正してもよい。領域選択インタフェイス212は、便利なように、一群の選択パラメタ184を変更するためにユーザが使えるスライダを備える。領域選択インタフェイス212はさらに、表現192に関して選択メカニズム選択肢182が適用されるだろう極性を、ユーザが極性ラジオボタン214を使って指定することを可能としている。
ダイアログボックス210はさらに調整選択インタフェイス216を含み、ユーザは、調整選択インタフェイス216を使って、調整メカニズム選択肢176を指定してもよく、その選択肢に関連づけられた調整パラメタ178を入力してもよい。ここでも、便利なように選択インタフェイス216内にスライダが設けられて、調整パラメタ178の入力を容易にしている。
ビュー選択インタフェイス218は、ユーザがビューを定義することを可能とする。ビューの選択肢は、ソースデータがユーザに提示される形式を決定する。画像データについては、ビュー選択肢は次のものを含んでもよい。
(1)調整済み画像データ
(2)(例えば黒と白で)画像として表示される選択マスクのみ
(3)調整済み画像データが、選択マスクの強度にしたがって、一定のルビー色(またはユーザが選択した他の色)と混合されているルビーリス(ruby lith)
(4)調整済み画像が、選択マスクの強度にしたがって透明矩形(transparency square)と混合されている透明モード
(5)(4)と似ているが、選択マスクの相補物(255−マスク)を使う不透明モード
ダイアログボックス210を使ったコントロールデータ172の修正に反応して、動的に、かつリアルタイムに近い時間で、ダイアログボックス210を介して与えられたユーザ入力の効果を反映するように表現192が更新されるだろうということは、注目されるべきである。例えば、選択型選択肢182または関連する選択パラメタ184が修正された場合、それによって定義された選択マスクが動的に修正され、その修正の結果は動的かつ自動的に画像エディタユーザインタフェイス190内に描画されるだろう。同様に、調整メカニズム選択肢176または関連するパラメタ178が変更された場合、これらの修正の効果は、画像エディタユーザインタフェイス190により表示されるので、動的に、デジタル画像データ162の表現192に反映されるだろう。よって、ユーザは、特定の調整の局所化された効果に満足するまで、ダイアログボックス210を使ってコントロールデータ172を修正することができる。
コントロールデータ172を修正するのに加えて、例えばダイアログボックス210を使って、ユーザは位置データ170を修正することができる。例えば、ユーザはマーカアイコン200を表現192に即して再配置してもよい。この再配置に反応して、パラメトリックに局所化され、パラメタ制御された調整の効果が、再配置されたマーカアイコン200によって特定される新しい位置に対して、自動的に適用される。ここでも、これらの効果は再配置イベントに反応してリアルタイムに近い時間で起こるだろう。
図4のブロック104と108を参照して上記で説明したような、選択マスク定義と選択マスク適用動作の具体的で典型的な実施のさらなる詳細について、これから述べる。これらの典型的な実施は、パラメタ制御された作業に関して、画像調整作業の形で説明される。それでもなお、他の種類のソースデジタルデータ14に関して実行される、パラメタ制御された他の作業に対して、これらの典型的実施を適用してもよいことが理解されるであろう。
上記のとおり、ソースデジタルデータ14の選択部分についてのパラメタ制御された選択は、ソースデジタルデータ14に関するマーカ位置を使って実行される。一実施形態において、その選択はさらに、選択メカニズム選択肢72により特定される選択メカニズムに関連づけられた連続的または離散的な選択パラメタ74の組によって決定される。画像データに関して提供されている選択メカニズムの例は、アドビ(登録商標)フォトショップ(登録商標)アプリケーションに設けられている、「マジックワンド」ツール、色域ツール(関連するぼやけパラメタをともなう)、およびマーキー選択ツール(関連するぼかしパラメタをともなう)を含んでもよい。ぼかし選択強度、ぼかし量、拡大・収縮量などの選択パラメタ74は、一般的に多くの選択メカニズムに適用することができるが、他の選択パラメタは関連する選択メカニズムに特有であってもよい。
図9は、典型的実施形態による、特定のマーカ(a)用の選択マスク(S0)を作り出すための方法220を説明している。方法220はブロック222で、マーカ特有の選択マスク(S0)の次の定義とともに始まる。
S0(r;ra,pa) (1)
ここで、
S0はマーカ特有の選択マスク、
rは空間的位置、
raは「ピン」(つまりマーカ)の位置、
paは選択コントロールパラメタ
である。S0は、raとは独立でもよく、その場合には大域的選択マスクと呼ばれる。そのような例の一つは色域選択マスクであり、その場合にS0(r;p)は、位置rにおける色が、指定された色c0に類似しているとき大きく(1に近く)、より異なった色に対してはより小さい。一例は、
S0(r;p)=exp(−k[c(r)−c0]^2)
であり、ここでkは色ぼやけを制御するパラメタである。
浮動小数点マスクに対しては、上記の式は、完全に選択された領域に対して1なる値となり、非選択領域に対して0なる値となる。値が0と1の間となる空間的位置rは、部分的に選択される(例えば、8ビットのマスクなら範囲は0から255であり、16ビットのマスクなら範囲は0から65535である)。選択を制御するパラメタは、上記のように、paにより指定される。さらに、選択マスク(S0)は「ピン」の位置raに依存してもよい。r=(x,y)は2次元の画像座標であることに注意されたい。3次元画像が調整される実施形態においては、画像座標は3次元的であってもよい(例えば、x,y,z)。
図9に戻ると、ブロック224において、空間的に制限された選択マスクS(r;ra;ps)が定義される。この選択マスクは、ソースデジタルデータ14の選択部分の選択を、マーカ(例えばピン)位置の近傍の領域に局所化しようとする。これは、何通りかの方法で行うことができる。一つのやり方は、マーカ位置において単位元(unity)に等しく、マーカ位置から離れるにしたがって低下する関数による、大域的な選択を調節することである。たとえば、g(r,ra)はそのような関数の一つである、この関数は、空間的位置rがマーカ位置raに等しいとき単位元の値となる。換言すれば、
g(ra,ra)=1 (2)
である。マーカ位置からの距離|r−ra|が増加するにつれ、この関数は減少する。
そのような典型的な関数は、
g1(r,ra)=exp(−k(r−ra)^2) (3)
であり、ここで、
k=1.0/(2sigmaR^2)、
sigmaRはマーカの選択の空間的広がりの尺度である。
マーカの影響の範囲を制御するように、sigmaRがユーザにより調整されてもよい。一つの実施では、0から1の値をとるスライダをユーザが制御してもよく、その値が0ならsigmaRが0に設定され、その値が1ならsigmaRは画像データの幅または高さに(あるいはその二つの大きい方に)設定される。この例について、スライダの値vrが0から1の範囲をとるとする。画像の高さと幅のうち大きい方はaである。すると、
sigmaR=a vr
である。
他の関連する関数
g2(r,ra)=exp(−k(r−ra)^2) :
a<1/2のとき (4)
=2a−1+(2−2a)exp(−k(r−ra)^2) :
a≧1/2のとき (5)
は、aが1に近づくにつれて単位元という定数値に近づく。これにより、aが1のときの完全に大域的選択と、より小さな値のaに対するより局所化された選択とが規定される。
さらに別の例は、
g3(r,ra)=sigmoid((R−|r−ra|)/sigmaR)
(6)
であり、ここで、
sigmoid(x)=1/(1+exp(−x))
である。この関数は、影響の範囲Rと、減衰の険しさsigmaR(ぼかし量)との独立な制御を可能とする。
上記の関数g1、g2、およびg3の各々は、マーカ位置に対して円柱状に対称だという性質がある。しかし、この性質は必須ではない。例えば、線形の勾配により空間的プロファイルを調節することも有益であろう。
g4(r,ra)=g3(r,ra)(1+s.(r−ra)) (7)
ここで、
sは勾配の方向を指す2次元ベクトルであり、
s.(r−ra)=sx(x−xa)+sy(y−ya) (8)
である。大域的選択マスクS0と空間制限関数gが与えられると、空間的に制限された選択マスクを、
S(r;ra,ps)=g(r,ra)S0(r;ra,pa) (9)
と定義することができる。
再び図9の方法220に戻ると、ブロック226において次に、複数のマーカに関連づけられた、マーカ特有の空間的に制限された選択マスクが合成されて、合成選択マスクS(r)が生成される。ここで、複数のマーカ163の効果を累積することが考えられる。
各マーカ163が選択マスク
S(r;ra,pa) (10)
を作り出すと考える。ここで、
aはピンの番号a=1,2,……Nであり、
Nはピンの総数である。
ここで、raはa番目のマーカ16の位置であり、paは当該マーカ16用の選択パラメタ184一式である。マーカ163の各々に関連づけられた、個々の選択マスクの各々の貢献を合成することにより、次のようにして合成選択マスクS(r)が形成されてもよい。
S(r)=Combine(a=1…N)[S(r;ra,pa)] (11)
一実施形態において、結果のマスク値が単位元を超えないことを保証する、端点における最後の閾値を用いながら、すべての貢献を単に加算することにより、この合成が実現されてもよい。
Sum=Sum(a=1…N)[S(r;ra,pa)] (12)
=S(r;r1,p1)+S(r;r2,p2)+…+S(r;rN,pN)
(13)
S(r)は、sum<1のときsumであり、その他の場合は1である。
関数limit(x)を、0≦x≦1のときxであり、x<0のとき0であり、x>1のとき1であると定義する。すると、
S(r)=limit(Sum(a=1…N)[S(r;ra,pa)])
(14)
である。
あるいは、合成は一度に一つのマーカ163の効果を含んで、合成が対で(pairwise)実現されてもよい。そのような対の合成を実行する典型的コードを以下に述べる。
// マジックピン選択を加算
すべての場所においてS(r)を0に初期化する;
For (a=1;a<=N;++a)
S(r)=limit(S(r)+S(r;ra,pa))
結果として得られる選択マスクS(r)が常に非負のとき、上記の二つの合成の仕方は等価である。もう一つの典型的合成技法ではファジー排他的論理和操作を使ってもよく、この合成オプションを実現する典型的コードを以下に示す。
// ファジー排他的論理和を使ってマジックピン選択を合成する
すべての場所においてS(r)を0に初期化する;
For (a=1;a<=N;++a)
S(r)=S(r)+S(r;ra,pa)−S(r)S(r;ra,pa)
本発明の実施形態は、極性パラメタをマーカ163に関連づけることも提示する。極性パラメタeaを各マーカ163に割り当ててもよい。この極性の値は、典型的実施形態において、二つの値、すなわち+1と−1のうちの一つをとることができる。正の値がマーカの貢献の加算を引き起こすのに対し、負の値はマーカの貢献の減算を可能とする。負と正のマーカ163の双方が、選択マスクを形づくるのに使われてもよい。
一実施形態において、「極性のある」マーカ163を合成するために、マーカ163の極性が負(例えばea=−1)のときの減算を含むように、上記の合成手続きを一般化することができる。
// 極性のあるマジックピン選択を合成する。
S(r)=limit(Sum(a=1…N)[ea S(r;ra,pa)])
または
すべての場所においてS(r)を0に初期化する;
For (a=1;a<=N;++a)
S(r)=limit(S(r)+ea S(r;ra,pa))
後者の手続きは、最初のものと等価ではなく、マーカ163の組の順序に依存する。
図10は、図4のブロック106と108を参照して上述したように、ソースデジタルデータ14に対するパラメタ制御された作業(例えば画像調整)を実行し、調整済みデータに選択マスクを適用して目的データを生成する典型的実施形態による方法230を説明するフローチャートである。方法230を論ずるために、ソース画像データをI0(r)と表す。カラー画像については、I0は標準的にはいくつかの色成分あるいはチャネルからなり、例えば、RGBまたはLAB色空間の場合は三つ、CMYK色空間の場合は四つ、となるだろう。典型的実施形態において、マーカ163の効果は新しい画像、すなわち目的画像I2(r)を作り出すものである。したがって、方法230はブロック232において始まり、そこではインタフェイスコンポーネント122を介してデジタル画像調整アプリケーション120がソース画像データI0(r)を受け取るが、ソース画像データは、アプリケーション122に関連づけられたアプリケーションデータ160として受け取られる。
ブロック234において、調整パラメタのパラメタ化された集合qが、ソース画像データI0に対して作用し、調整済み画像データI1を作り出す。特に、典型的実施形態において、選択マスクS(r)により調節されて、画像調整の適用により目的画像が作り出されることを考えられたい。画像調整Aは、調整パラメタの集合qによりパラメタ化されており、以下のようにソース画像データI0に作用して調整済み画像データI1を作りだす。
I1(r,q)=A(q)I0(r) (15)
画像調整は、様々な実施形態において、線形または非線形の動作であってもよい。線形の調整の例は、それぞれの色チャネルがソース色チャネルの線形結合として導出されるチャネルミキサである。非線形動作の例はガンマまたはコントラストの調整であり、その調整では各色チャネルが指数法則の適用により非線形に修正される。例えば、8ビットRGB色空間で、I1がシンボル(red1,green1,blue1)と等価な例では、
red1=255×power(red0/255.0,gamma)
green1=255×power(green0/255.0,gamma)
blue1=255×power(blue0/255.0,gamma)
q=gamma
である。
方法230に戻ると、ブロック236において、調整済み画像I1(r;q)を与えられると、選択マスクS(r)との混合を用いて、目的画像データI2が次の式によって得られる。
I2(r;q)=I1(r;q)S(r)+I0(r)(1−S(r)) (16)
Sが0に等しい位置では、目的画像データはソース画像データと同じである。Sが1に等しい位置では、目的画像データは調整済み画像データI1である。中間の選択強度に対しては、目的画像データは、ソース画像データと調整済み画像データとの混合物である。なお、式の表現の簡単化のため、値が0から1の範囲に選択マスクが正規化されているものと仮定してきた。
結果として得られる画像I2は、関連づけられたa番マーカ163(aは1…Nに等しい)のすべてに対して、調整パラメタqと選択パラメタqa、および、選択位置raの双方に関してパラメタ化されている。
上記の定式化では、すべてのマーカ163が共通の調整タイプとパラメタ設定を有することを仮定している。したがって、このことによって、単一の合成された選択マスクS(r)を使うことが正当化される。しかし上記のとおり、一群のマーカ163が、特定の調整レイヤ165に関連づけられてもよい。それぞれの調整レイヤ165が異なる調整を適用する可能性をもちつつ、複数の調整レイヤ165が互いの上に「積まれて」いてもよい。この場合、デジタル画像調整アプリケーション120に含まれる調整レイヤ技術が、調整レイヤ165の各々の効果を一緒に混合するのに使われてもよい。
図7に関して、画像の上に(つまり上に重ねて)マーカアイコン200が置かれたものとして、ユーザインタフェイス190を説明してきた。多くのマーカ163のそれぞれは、調整の性質および当該マーカ163が存在する調整レイヤ165に応じて、関連づけられたマーカアイコン200が異なっていてもよい。例えば、空間的な曲線の形のマーカアイコン200によって「曲線」調整を実現するマーカ163を表現する一方、異なるマーカアイコン200で明るさ調整を表現してもよい。さらに、ある特定の(例えば第一の)調整レイヤ165にあるマーカ163のそれぞれを共通色(例えば赤)に色づける一方で、他のレイヤにあるマーカ163はすべて別の共通色に色づけてもよい。インタフェイス190を使ってユーザが特定の調整レイヤ165を選択するとき、選択されていない調整レイヤ165のマーカ163に関連づけられたマーカアイコン200を隠す一方で、選択された調整レイヤ165に関連づけられたマーカ163を表すマーカアイコン200を可視的としても(あるいは、例えばハイライト強調によって視覚的に区別しても)よい。さらに、ユーザが画像表現192上の特定のマーカアイコン200を選択するとき、関連する調整レイヤ165が自動的にハイライトで強調されて選択されてもよい。
図11は、別の典型的実施形態による、ソース画像データを調整する方法240を説明している。上述の方法230は調整レイヤモデルに即して実行されるが、方法240では、いわゆる「複数の調整」モデルを仮定している。具体的には、別の実施形態において、マーカ163の各々は、関連づけられた任意の調整タイプとパラメタ値を有していてもよい。これは、概念的には、調整レイヤ165ごとに一つのマーカ163だけが許されるが、調整レイヤ165のそれぞれの合成が明示的に説明される、という方法と等価である。図7を参照して上述したごとく、典型的な画像インタフェイス190は、画像表現192に対して複数のマーカ163が配置されることを可能としている。また、図7を参照して上述したように、特定のマーカアイコン200が選択されたとき、例えばパラメタ修正ディスプレイを使って、関連する選択パラメタと調整パラメタを表示してもよい。一実施形態では、これらの選択パラメタと調整パラメタは、単に、選択されたマーカアイコン200に隣接する「ポップアップ」ボックスに表示されるのでもよい。あるいは、関連づけられた選択パラメタと調整パラメタは、選択パラメタと調整パラメタの修正を可能とする上述のパラメタ修正ダイアログボックス210に即して表示されてもよい。「複数の調整」モデルでは、すべての選択パラメタと調整パラメタがマーカ163ごとに異なっていてもよく、そのようなパラメタの一様性に関する要件はない。方法240のブロック242に戻ると、「複数の調整」モデル内のピンを混合する一つの方法は、調整済み画像データと、「正の極性」のマーカ163によってのみ定義される選択マスクとの混合を行うことであり、それによって第二の、つまり中間の、調整済み画像データを生成することである。具体的に、マーカ163を混合する方法を以下に述べる。
// それぞれのマジックピン用の画像調整を、その極性が正であれば混合する
すべての場所においてI(r)をソース画像I0(r)に初期化する
For (a=1;a<=N;++a)
If (ea=+1)

I(r)=A(qa)I(r)S(r;ra,pa)+
I(r)(1−S(r;ra,pa))

// 最後に、結果として得られた画像を合成された選択マスクと混合する
I2(r)=I(r)S(r)+I0(r)(1−S(r))
ブロック244において、次に、混合された第二の調整済み画像データが、「負の極性」のマーカの効果を内蔵する合成選択マスクと混合され、それによってある種の画像調整を遮断する。
別の実施形態では、すべての「正の極性」のマーカ163の効果がまず調整済み画像データと混合され、その後、結果として生じた第二の、つまり「中間の」調整済み画像データが、「負の極性」のマーカ163により定義されたマスクを使って、ソース画像データと混合されるような方法を採用してもよい。
// 負のピンを最後に適用して、それぞれのマジックピンに対する画像調整を混合
すべての場所においてI(r)をソース画像I0(r)に初期化する
For (a=1;a<=N;++a)
If (ea=+1)

I(r)=A(qa)I(r)S(r;ra,pa)+
I(r)(1−S(r;ra,pa))

For (a=1;a<=N;++a)
If (ea=−1)

I(r)=I0(r)S(r;ra,pa)+
I(r)(1−S(r;ra,pa))

I2(r)=I(r)
上記でも述べたように、それぞれのマーカ163により引き起こされる選択は、関連づけられた選択パラメタにも依存し、位置データ18により特定されるマーカ位置の画像データにも依存する。マーカ位置の画像データは、画像の色と画素位置を含んでもよい。さらに、マーカ位置の画像データは、局所的近隣画素からの画像データなど、その画素位置の近傍からの画像データ、あるいは勾配情報を組み込んであってもよい。マーカ163に関連づけられた選択は、典型的一実施形態において、特定のマーカ163に関連づけられて位置データ18に含まれるべき複数のマーカ位置をユーザが特定することを可能とすることにより、さらに精密化されてもよい。これは、一実施形態において、例えば図7で述べたようなマーカアイコン200をユーザが選択することを可能とするとともに、最初のマーカ位置の近傍における付加的な情報を供給するために、例えばマウスを使ってマーカアイコン200またはカーソルを前景画素の領域の上でユーザが「ごしごしこする」(例えば、ユーザが目標とした領域内を動かす)ことを可能とすることによって、達成してもよい。任意的に、例えば修飾子キーを押下することにより、あるいはユーザインタフェイス内の適当なチェックボックスをチェックすることにより、ユーザが背景領域を指定することができるようにしてもよい。その後、ユーザが背景領域の上でマーカアイコン200を「ごしごしこする」ことを可能としてもよい。
最終結果は、デジタル画像調整アプリケーション120が前景の点の集合rfと背景の点の集合rbを積算することを、ユーザが可能としたことである。これらの「マーカ位置」は次に、マーカ163と関連づけられて、ユーザの意図をよりよく反映するより正確な選択マスクを与えるために、適当な選択メカニズムによって使われてもよい。一実施形態において、一つのマーカ位置が登録されるが、ユーザはそのマーカ位置の近傍をごしごしこすることによって付加的情報を与える。他の実施形態では、マーカ位置の集合を特定するために、ごしごしこすることを利用してもよい。一実施形態において、画素位置に加えて、これらの複数のマーカ位置における色が使われてもよい。さらに、これらのマーカ位置の各々の近傍から、色の近隣が収集されてもよい。
ユーザ前景・背景のマーカ位置(あるいは「点」)の例を続けると、アプリケーション120は、一実施形態において、それぞれの色軸を独立に調べて、LAB色空間における2点間の「色距離」を考慮してもよい。選択により非ゼロにマスクされるための、許される値の差の下限と上限が、それぞれの軸に沿って存在する。前景の点を使って最小値と最大値が、それぞれの色軸成分に対して計算され、次にこれらの値が(例えば、色に基づく選択ツール130の色選択メカニズムの)色選択アルゴリズムで使われてもよい。さらに背景の点からの値の範囲が任意で使われて、この範囲から差し引かれてもよい。たとえば、輝度チャネルに対して前景の点がLFminからLFmaxまでの範囲をとり、背景の点がLBminからLBmaxまでの範囲をとるならば、
If (LFmin<LBmin<LFmax) (17)
{Lmin=LFmin;Lmax=LBmin;}
Else
If (LFmin<LBmax<LFmax)
{Lmin=LBmax;Lmax=LFmax;}
Else
{Lmin=LFmin;Lmax=LFmax;}
とすることが可能である。
この方法で、前景の点は選択基準の基礎範囲を決定し、背景の点は、この選択範囲において劣化する。
他の実施形態では、前景の点は色空間におけるガウス分布によってモデル化され、背景の点は他のガウス分布によりモデル化される。前景の点は、前景色相関行列Mfを計算するのに使うことができる。Mfの成分は、
Mfij=〈(c−〈c〉)i(c−〈c〉)j〉f (18)
であり、ここで〈…〉fは、前景の点すべてにわたる平均を示す。
同様に、背景の点に対しては、
Mbij=〈(c−〈c〉)i(c−〈c〉)j〉b (19)
であり、ここで〈…〉bは背景の点すべてにわたる平均を示す。
すると、選択マスクを、
S(r)=1/(1+k ratio) (20)
と定義することができ、ここで
ratio=exp[(c(r)−〈c〉f)Nf(c(r)−〈c〉f)−
(c(r)−〈c〉b)Nb(c(r)−〈c〉b)]
かつ
Nf=1/2 Mf inverse
Nb=1/2 Mb inverse
kは0から1000の間を変化することができる定数
である。もし背景の点が利用可能でなければ、Nb=0としてもよい。
図5〜11を参照して述べたように、デジタルデータ作業アプリケーション40の典型的実施形態の議論は、デジタル画像データに対して調整作業を行う典型的なデジタル画像調整アプリケーション120に焦点を当ててきたが、本発明の実施形態は、他のタイプのデジタルデータに対して作業(例えば、追跡、感知、応答、および相互作用の作業)を行うアプリケーションを見出してもよい。図12は、典型的な音声・動画エディタユーザインタフェイス250を説明するユーザインタフェイス図であり、これは音声・動画エディタアプリケーションという典型的な形式の作業アプリケーションによって生成されてもよい。例えば、インタフェイス250は音声トラックインタフェイス252と動画トラックインタフェイス253を含む。まず音声トラックインタフェイス252から扱うと、視覚表現254〜258が三つの音声トラックのそれぞれに対して設けられている。マーカアイコン260が音声トラックのそれぞれに対して配置されるように図示されており、上記のとおり、表現された音声トラックのそれぞれに対してパラメトリックに局所化されてパラメタ制御された作業を可能とするように、マーカアイコン260は動作してもよい。例えば、基礎となるマーカ16は、特定のマーカアイコン260と関連づけられて、時間または周波数範囲に基づく局所化された方法で、特定の音声トラックの音量や音色などを調整してもよい。
動画トラックインタフェイス253に移ると、三つの動画トラックそれぞれの表現262〜266が動画トラックインタフェイス253内に表示されており、マーカアイコンが、基礎となるマーカ16と関連づけられて、表現262〜266に対して同様に配置されている。ここでも、マーカ16は、表現された動画トラックのそれぞれに対してパラメトリックに局所化されてパラメタ制御された作業を行ってもよい。関連するマーカ16によって動画トラックのそれぞれに対して実行されうる典型的な作業の議論は、図3を参照して既に述べた。
例えば、マーカアイコン268により表現され、動画トラック内のシーン変化を自動的に検出するマーカが、第一のビデオトラック表現262に対して配置されるように図示されている。マーカアイコン270により表現され、フレームの連続を通しての、画像オブジェクトまたは特徴の動きを追跡し、追跡した画像特徴に対して画像調整を適用するマーカが、第二の動画トラック表現264に適用されるように図示されている。第三の動画トラック表現266に関しては、マーカアイコン272に関連づけられたマーカ16がドア特徴に対して感知操作を実行する。そして、ドアが開けられたことを感知メカニズムが検出したとき、このマーカ16が応答メカニズムを呼び出してもよい。すると、マーカ16は、自動的に、かつユーザの介在なしに、その開いたドアから建物に入ってきた人物を表現する画像特徴を監視する、関連する感知メカニズムと追跡メカニズムを有し、マーカアイコン274により表現される第二のマーカ16を、インスタンス化する。
ここで、音声トラックインタフェイス252に関連する音声データをソースデータ14が含む典型的実施形態についてより詳細に扱うと、音声トラックの一部分を選択するため、そして同時にその一部分に対して修正を行うために、当該音声トラックの表現の上にマーカアイコン260を配置することができることが注目されるだろう。特に、マーカアイコン260は、トラック上の特定の時点に配置されてもよく、当該トラックのみに影響する作業を行ってもよい。別の実施形態において、複数のトラックが単一のトラックを作り出すように結合されている場合などでは、マーカアイコン260が、単一のトラック上に配置されてもよく、さらに別の音声トラックを自動的に選択および修正する、関連づけられたメカニズムを呼び出してもよい。音声データの例では、マーカ16は選択属性として、例えば、時間局所化、周波数範囲、および、振幅もしくは周波数のパターンを含んでもよい。
時間局所化は、マーカアイコン260が置かれた時刻t0に中心がある、時間の関数によって組み込まれてもよく、その関数は、この値から時刻が離れるにつれて単調減少する。そのような典型的な関数は、
s(t)=exp(−(t−t0)) (21)
である。
周波数範囲の選択は、一実施形態において、時間ステップを中心として小さなウィンドウを時間上に取り、フーリエ変換(例えば、離散高速フーリエ変換)を行うことによって、達成してもよい。この方法で、各時点に対して、基礎となる音声データを、周波数ビンの組における強度に分解してもよい。そして、選択された周波数成分f0に中心があり、異なる成分に対しては減少する強度で、周波数fを選択プロセスが選択してもよい。そのような関数の例は、
s(f)=exp(−(f−f0)) (22)
である。
上記のように、さらに別の実施形態では、選択は、周波数または音声振幅のパターンに焦点を当ててもよい。特定のプロトタイプ音部分の周波数分布をpfと表すと、これは周波数ビンf内にある音サンプルの一部(例えば、dfを周波数ビンの幅として、周波数fと周波数f+dfの間にある周波数)を指定し、選択関数は次のように定義されてもよい。
S(f)=Sum{pf exp(−(f−f)} (23)
個々の周波数選択のこの重み付け和は、プロトタイプパターンに類似する音声信号の選択を実現する。
典型的実施形態において、音声データ内の位置とのマーカ16の関連づけに応じてなされるであろう調整は、多くのタイプのうちの一つであってもよい。例えば、一般的な調整は、振幅信号またはフーリエ変換された周波数信号のいずれかで行われるフィルタリング動作である。そのようなフィルタリング動作の一例は、次の刊行物に記載されている。
IEEE TRANSACTIONS ON SIGNAL PROCESSING, VOL. 45, NO. 6, PP. 1415{1427, JUNE 1997. On Fast FIR Filters Implemented as Tail-Canceling IIR Filters, Avery Wang, Julius O. Smith III
フィルタリングは、様々な周波数成分を増幅および/または抑制してもよい。あるいは、フィルタリングは、時間上の音声信号を伸長し、あるいは同期させてもよい。フィルタリングはまた、他の実施形態では、音の「有声音化(voicing)」または音色を変えてもよい。あるいは、作業は、マーカ16が音の一部分を他の部分に代入する代入作業であってもよい。
本発明のさらに別の典型的実施形態では、デジタル画像調整アプリケーション120は、文書編集アプリケーション(例えば、ワシントン州レドモンドのマイクロソフト社により開発されたMS WORD)でもよい。そのために、図13は、二つのテキスト部分282と284を含むテキスト文書280の形で、典型的なソースデータ14を図示している。マーカアイコン286と288は、それぞれの基礎となるマーカ16におのおの関連づけられており、テキスト部分282と284に対して配置されたように図示されている。マーカアイコン286に関連づけられたマーカ16は、典型的実施形態において、段落選択をするようにマーカを構成する、選択メカニズムと適切な選択パラメタとを含む。
ユーザは、テキスト要素の選択のために、その特定のテキスト要素(例えば、単語、文、または段落)に直接マーカアイコン286を配置する必要はない。実際、マーカアイコン286の基礎となるマーカに関連づけられた選択メカニズムは、マーカ位置の近傍にあるテキスト要素を検出するよう動作してもよい。すると、実行されたテキスト要素選択を示すために、選択されたテキスト要素が自動的に、ハイライト強調され、あるいは視覚的に差別化される。この視覚的差別化が、選択されたテキスト要素に関するユーザへのフィードバックを与える。選択メカニズムは、多くのテキスト要素タイプ(例えば、単語、文、または段落)のうちのいずれかを選択するよう構成されていてもよい。それにともない、作業が実行されるだろう対象のテキスト要素の選択のための、素早く効率的なメカニズムを、マーカが備えている。
さらに、作業メカニズムおよび関連するコントロールパラメタは、テキスト編集アプリケーションに、選択された段落のフォントサイズを所定のサイズへと拡大させる。
同様に、マーカアイコン288の基礎となるマーカ16は、適切な選択メカニズムとコントロールパラメタによって、マーカアイコン288のところかその近くにある一つの単語を選択して、その単語に対して形式変換を実行する(例えば、所定の(または動的に決定された)リソース位置を特定するハイパーテキストリンクに、その単語を変換する)ようになされている。この例では「hold」という単語が、ハイパーテキストリンクとして書式が再設定され、例えばインターネット上にある辞書アプリケーションを指すURLと関連づけられるように、図示されている。
他の文書タイプについて考慮すると、表示されたウェブページは日ごとに内容を変化させるかもしれない。ニューヨークタイムズのウェブサイトを例に取り、ウェブサイト上でいつ新しい旅行記事が公表されるかを判定することにユーザが興味を持っていると仮定する。この場合、例えばブラウザアプリケーションが、基礎となる追跡マーカ16を表現するマーカアイコンをユーザに提示してもよい。そのマーカアイコンは、ニューヨークタイムズのウェブサイトから出されたウェブサイト上の特定の位置に現れる特定の単語(例えば「旅行」)上にユーザが配置することができる。その典型的なマーカ16は、適切な感知メカニズムと追跡メカニズムを使って、この単語を追跡するよう(例えば、配置の変化を考慮に入れるために、マーカ位置の近傍でこの単語を探索するよう)、指示される。マーカ16はまた、適切な応答メカニズムおよび関連するコントロールパラメタによって、当該単語の支配下にあるテキストが変化したとき応答するよう、指示される。したがって、表示されたテキストに依存する知的エージェントとしてマーカ16を見なすこともできる。例えば、この例では、マーカ16は、表示されたウェブページの他の部分に現れるかもしれない「旅行」なる単語を無視するだろう。
図14は、コンピュータシステム300の典型的な形でマシンの図式表現を示している。コンピュータシステム300内では、本明細書で論じた方法論のうちいずれか一つ以上をマシンに行わせるための命令一式が、実行されてもよい。様々な実施形態において、マシンはスタンドアロン装置として動作してもよく、他のマシンに接続されて(例えば、ネットワーク接続されて)もよい。ネットワーク接続された配置で、マシンは、サーバ・クライアント・ネットワーク環境におけるサーバまたはクライアントマシンとして動作してもよく、あるいはピアツーピア(または分散)ネットワーク環境におけるピアマシンとして動作してもよい。マシンは、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、Personal Digital Assistant(PDA)、携帯電話、ウェブアプライアンス、ネットワークルータ、スイッチもしくはブリッジ、埋め込みシステムでもよく、または、当該マシンにより取られるべき動作を指定する(逐次的かそれ以外の)命令一式を実行することができるマシンなら何でもよい。さらに、一つのマシンのみが図示されているが、本明細書で論じた一つ以上の方法論のいずれかを実行するために、個々に、あるいは連帯して、命令一式(またはその複数組)を実行する一群のマシンなら何でも、「マシン」という語に含まれる、とも受け取られるべきである。
典型的なコンピュータシステム300は、プロセッサ302(例えば、中央処理装置(CPU)、グラフィック処理装置(GPU)、あるいはその双方)、主記憶装置304とスタティックメモリ306を含み、これらはバス308を介して互いに通信する。コンピュータシステム300はさらにビデオディスプレイ部310(例えば、液晶ディスプレイ(LCD)または陰極線管(CRT))を含んでもよい。コンピュータシステム300はまた、文字・数字入力装置312(例えばキーボード)、カーソル制御装置314(例えばマウス)、ディスク駆動部316、信号発生装置318(例えばスピーカ)、およびネットワークインタフェイス装置320を含む。
本明細書で説明した方法論または機能のいずれか一つ以上を実現する、一組以上の命令一式(例えばソフトウェア324)を記憶したマシン可読媒体322を、ディスク駆動部316が含む。主記憶装置304とプロセッサ302もマシン可読媒体を構成しているので、コンピュータシステム300によるソフトウェア324の実行中は、ソフトウェア324が、完全に、または少なくとも部分的に、主記憶装置304内および/またはプロセッサ302内に存在してもよい。
ソフトウェア324は、さらに、ネットワークインタフェイス装置320により、ネットワーク326を介して送受信されてもよい。
典型的実施形態ではマシン可読媒体322が単一の媒体であるように図示されているが、「マシン可読媒体」なる語は、一組以上の命令一式を格納する、単一の媒体も複数の媒体も含む(例えば、集中型あるいは分散型のデータベース、および/または関連づけられたキャッシュとサーバ)と受け取られるべきである。「マシン可読媒体」なる語はまた、マシンによる実行のための命令一式を格納し、符号化し、あるいは伝送することができて、本発明の方法論のいずれか一つ以上をマシンに実行させる、どのような媒体でも含む、と受け取られるべきである。したがって、「マシン可読媒体」なる語は、固体記憶装置、光学的媒体または磁気的媒体、および搬送波信号を含み、しかしこれらに限定はされない、と受け取られるべきである。
以上、デジタルデータに対して局所的作業を行う方法およびシステムについて説明した。特定の典型的実施形態を参照しながら本発明を説明したが、これらの実施形態に対して、本発明の広い精神と範囲から逸脱することなく、様々な改良と変更を行ってもよいことは明らかであろう。よって、明細書と図面は、制限的な意味ではなく例示的なものであると見なされるべきである。
図1はフロー図であり、二つの典型的な実施形態により、目的データを生成するために、局所化された方法でソースデータに対して、調整という典型的な形で作業を実行することを示している。 図2は、本発明の典型的実施形態による、デジタルデータ作業アプリケーションのアーキテクチャと、関連するアプリケーションデータとを示すブロック図である。 図3は、本発明の典型的実施形態による、位置データとそれに関連づけられたコントロールデータとを有するマーカの構造を示すブロック図であり、コントロールデータは、選択コントロールと様々な作業コントロールとを有する。 図4は、本発明の典型的実施形態による、デジタルデータに対する局所的作業を実行する方法を示すフローチャートである。 図5は、本発明の一実施形態により、デジタル画像調整アプリケーションという具体的で典型的な形で、デジタルデータ作業アプリケーションのアーキテクチャを示すブロック図である。 図6は、本発明の典型的実施形態における、一つ以上の画像調整レイヤと関連づけられるような画像調整マーカの構造を示すブロック図である。 図7は、本発明の典型的実施形態における、デジタルデータ作業アプリケーションのインタフェイスコンポーネントによって生成されるだろう、典型的なユーザインタフェイスを示すユーザインタフェイス図であり、ユーザインタフェイスに照らして、「ピン」という典型的な形でマーカの配置および表示を示している。 図8は、本発明の典型的実施形態において、マーカに関連づけられたパラメタ(例えば選択パラメタおよび作業パラメタ)をユーザが修正することができるように、デジタルデータ作業アプリケーションのインタフェイスコンポーネントによって与えられるだろう修正ダイアログボックスを示すユーザインタフェイス図である。 図9は、本発明の典型的一実施形態において、空間的に制限された多くの選択マスクの組み合わせによって選択マスクを生成し、合成選択マスクを生成する方法を示すフローチャートである。 図10は、本発明の典型的実施形態において、パラメタ制御された調整をソース画像データに対して行い、選択マスクを適用して目的画像データを生成する方法を示すフローチャートである。 図11は、本発明の典型的実施形態において、多くの選択マスクを用いて画像調整作業を行う方法を示すフローチャートであり、選択マスクの中には、当該選択マスクに関連づけられた負の極性を有するものもある。 図12は、音声と動画の編集ユーザインタフェイスを示すユーザインタフェイス図であり、どのように本発明の典型的実施形態を利用し、音声/動画データのパラメトリックに選択された部分に対して局所化された方法で作業を行うことができるかを示している。 図13は、テキスト文書の図式的表現であり、どのように本発明の典型的実施形態を利用し、テキスト文書のパラメトリックに選択された部分に対して局所化された方法で書式設定をする作業を行うことができるかを示している。 図14は、本明細書に記載の典型的方法論のいずれか一つをマシンに実行させるための命令一式を実行するマシンを、コンピュータシステムの典型的な形で示すブロック図である。

Claims (94)

  1. デジタルデータに対して局所的作業を行うシステムであって、
    ソースデジタルデータに関するマーカ位置を受け取るインタフェイスコンポーネントと、
    作業パラメタに基づいて、パラメタ制御された作業を前記ソースデジタルデータに対して自動的に実行する作業コンポーネントとを備え、
    前記作業コンポーネントは、前記マーカ位置と部分選択パラメタとに基づいて前記ソースデジタルデータの選択部分のパラメタ制御された選択を実行するものであるとともに、パラメタ制御された前記作業の効果を、前記ソースデジタルデータの前記選択部分に局所化するものである、
    ことを特徴とするシステム。
  2. 作業コンポーネントは、前記インタフェイスコンポーネントによる前記マーカ位置の前記受け取りに反応して、パラメタ制御された前記選択とパラメタ制御された前記作業を自動的に実行するものであることを特徴とする請求項1に記載のシステム。
  3. 前記インタフェイスコンポーネントは、パラメタ制御された前記作業の前記実行の後で、前記マーカ位置が保持されている間に、前記作業パラメタと前記部分選択パラメタのうち少なくとも一つをユーザが修正して、パラメタ制御された前記作業の局所化された前記効果を修正することを可能にするものであることを特徴とする請求項1に記載のシステム。
  4. 前記マーカ位置の前記保持は、パラメタ制御された前記作業の前記実行の後に、前記マーカ位置におけるグラフィカルなマーカアイコンの表示を保持することを含むことを特徴とする請求項3に記載のシステム。
  5. 前記ソースデジタルデータはソース画像データであり、
    パラメタ制御された前記作業は、前記ソース画像データの視覚表現を調整するためのパラメタ制御された調整作業を含む、
    ことを特徴とする請求項1に記載のシステム。
  6. パラメタ制御された前記作業は、前記ソース画像データ内の画像特徴特性を特定する感知作業を含み、
    前記作業コンポーネントは、特定された前記画像特徴特性に基づいて、パラメタ制御された前記調整作業を開始するものである、
    ことを特徴とする請求項5に記載のシステム。
  7. 前記ソース画像データはソース動画データであり、
    パラメタ制御された前記作業は、前記ソース動画データ内の画像特徴を追跡する、パラメタ制御された追跡作業を含む、
    ことを特徴とする請求項1に記載のシステム。
  8. 前記ソース動画データは少なくとも第一と第二のフレームを含み、
    パラメタ制御された前記作業は、前記ソース動画データ内の前記第一と前記第二のフレーム間における前記画像特徴に関する変化を感知する感知作業と、感知された前記変化に基づく応答動作を実行する応答作業とを含む、
    ことを特徴とする請求項7に記載のシステム。
  9. 前記応答作業は、前記画像特徴に関するパラメタ制御された調整作業であることを特徴とする請求項8に記載のシステム。
  10. 前記応答作業は、感知された前記変化についての通知を生成することを含むことを特徴とする請求項8に記載のシステム。
  11. 前記応答作業は、さらなる画像特徴に関するさらなるマーカ位置を作成することを含むことを特徴とする請求項8に記載のシステム。
  12. 前記ソースデジタルデータはソース音声データであり、
    パラメタ制御された前記作業は、前記ソース音声データの音声表現を調整するものである、
    ことを特徴とする請求項1に記載のシステム。
  13. 前記部分選択パラメタは、時間範囲パラメタ、周波数範囲パラメタ、振幅パターンパラメタ、および周波数パターンパラメタを含むパラメタ群のうち少なくとも一つのパラメタであることを特徴とする請求項11に記載のシステム。
  14. 前記ソースデジタルデータはソース文書データであり、
    パラメタ制御された前記作業は、前記ソース文書データの視覚表現を調整するものである、
    ことを特徴とする請求項1に記載のシステム。
  15. 前記作業コンポーネントが、前記ソースデジタルデータを利用して、パラメタ制御された前記調整を実行して調整済みデジタルデータを生成するものであるとともに、パラメタ制御された前記調整作業の効果を、前記調整済みデジタルデータに関して局所化して、目的デジタルデータを生成するものであることを特徴とする請求項1に記載のシステム。
  16. 前記作業コンポーネントが、パラメタ制御された前記作業を前記ソースデジタルデータに対して実行し、その後、パラメタ制御された前記作業の前記効果を前記ソースデジタルデータの前記選択部分に局所化するものであることを特徴とする請求項1に記載のシステム。
  17. 前記作業コンポーネントが、前記選択部分のパラメタ制御された前記選択を実行し、その後、パラメタ制御された前記作業の前記効果を前記ソースデジタルデータの前記選択部分に対して局所化するものであることを特徴とする請求項1に記載のシステム。
  18. 前記インタフェイスコンポーネントが、前記ソースデジタルデータに関する前記マーカ位置に、マーカの視覚表現を提供するものであることを特徴とする請求項1に記載のシステム。
  19. 前記インタフェイスコンポーネントが、前記マーカの前記視覚表現を前記ソースデジタルデータに関してユーザ制御により配置することを可能とするものであることを特徴とする請求項18に記載のシステム。
  20. 前記インタフェイスコンポーネントが、前記マーカの前記視覚表現を前記ソースデジタルデータに関してユーザ制御により再配置することを可能とすることにより、さらなる選択部分のパラメタ制御されたさらなる選択の基礎となる前記ソースデジタルデータに対して、さらなるマーカ位置を特定するものであることを特徴とする請求項18に記載のシステム。
  21. 前記インタフェイスコンポーネントが、前記作業パラメタが保持されている間、前記部分選択パラメタの修正を可能として、前記ソースデジタルデータのさらなる選択部分のパラメタ制御された選択を容易にするものであることを特徴とする請求項1に記載のシステム。
  22. 前記インタフェイスコンポーネントが、前記ソースデジタルデータの前記選択部分の前記選択が保持されている間、前記作業パラメタの修正を可能とすることにより、前記ソースデジタルデータに対する、パラメタ制御されたさらなる作業を容易とするものであることを特徴とする請求項1に記載のシステム。
  23. 前記インタフェイスコンポーネントが複数のマーカ位置を受け取るものであることを特徴とする請求項1に記載のシステム。
  24. 前記作業コンポーネントが、前記複数のマーカ位置に基づいて、前記ソースデジタルデータに対して、パラメタ制御された複数の選択および作業を実行するものであることを特徴とする請求項23に記載のシステム。
  25. 前記作業コンポーネントが、前記複数のマーカ位置に基づいて、前記ソースデジタルデータに対して、パラメタ制御された単一の選択および作業を実行するものであることを特徴とする請求項23に記載のシステム。
  26. 前記作業コンポーネントが、前記複数のマーカ位置およびそれぞれに関連づけられた部分選択パラメタの各々に基づいて、前記ソースデジタルデータに対する選択マスクを定義するものであることを特徴とする請求項23に記載のシステム。
  27. 前記複数のマーカ位置のうちの第一のマーカ位置が、該第一のマーカ位置に関連づけられた極性パラメタを有し、
    前記極性パラメタは、前記第一のマーカ位置に基づいて定義された前記選択マスクの少なくとも一部に対して、パラメタ制御された前記作業の局所化された前記効果が負、中立、および正のうち少なくとも一つの極性で適用されるものであるか否かを決定するために前記作業コンポーネントによって使われるものである、
    ことを特徴とする請求項23に記載のシステム。
  28. 前記作業コンポーネントが、前記作業パラメタに基づき前記デジタルソースデータに対して非破壊的な作業を実行するものであることを特徴とする請求項1に記載のシステム。
  29. 前記作業コンポーネントが、前記デジタルソースデータの表現を修正する、前記デジタルソースデータとは異なる作業レイヤの作成を可能とするものであるとともに、前記調整レイヤに対してパラメタ制御された前記選択および前記作業を実行することにより前記非破壊的な作業を実行するものであることを特徴とする請求項28に記載のシステム。
  30. 前記作業コンポーネントが、
    複数の作業レイヤの作成を可能とするものであり、
    前記複数の作業レイヤの各々に対して、パラメタ制御されたそれぞれの選択および作業を実行するものである、
    ことを特徴とする請求項29に記載のシステム。
  31. 前記作業コンポーネントが、前記複数の作業レイヤそれぞれの選択的活性化および非活性化を可能とすることによって前記デジタルソースデータの表現を修正するものであることを特徴とする請求項29に記載のシステム。
  32. 前記部分選択メカニズムが、前記システムで利用可能な複数の部分選択メカニズムのうちの一つであり、
    前記インタフェイスコンポーネントが、前記部分選択メカニズムの選択をさらに受け付けるものである、
    ことを特徴とする請求項1に記載のシステム。
  33. 前記複数の部分選択メカニズムのそれぞれが、幾何学的選択メカニズム、色に基づく選択メカニズム、および輪郭に基づく選択メカニズムのうち少なくとも一つを含む群の中から選択された、デジタル画像領域選択メカニズムであることを特徴とする請求項32に記載のシステム。
  34. 前記作業コンポーネントが、
    前記作業パラメタを受け取る作業メカニズムを含み、
    前記作業パラメタを使って前記作業を実行するものである、
    ことを特徴とする請求項1に記載のシステム。
  35. 前記作業メカニズムが複数の作業メカニズムのうちの一つであり、
    前記インタフェイスコンポーネントが、前記複数の作業メカニズムの中からの前記作業メカニズムの選択をさらに受け付けるものである、
    ことを特徴とする請求項34に記載のシステム。
  36. 前記複数の作業メカニズムのそれぞれが、色、明るさ、影、ハイライト、およびフィルタの各調整メカニズムのうち少なくとも一つを含む群から選択された、デジタル画像調整メカニズムであることを特徴とする請求項35に記載のシステム。
  37. 前記インタフェイスコンポーネントが、ユーザ選択用の所定の作業メカニズムと前記デジタルソースデータに対する適用を提示するものであり、
    前記所定の作業メカニズムは前記作業パラメタ用のデフォルト作業値を使う、
    ことを特徴とする請求項34に記載のシステム。
  38. 前記所定の作業メカニズムは、所定の部分選択メカニズムと関連づけられており、
    前記所定の部分選択メカニズムは、前記部分選択パラメタ用のデフォルト値を使う、
    ことを特徴とする請求項37に記載のシステム。
  39. 前記インタフェイスコンポーネントは、少なくとも一つのマーカ位置と、該少なくとも一つのマーカ位置の近傍内の位置を特定する付加的入力とを受け取るものであることを特徴とする請求項1に記載のシステム。
  40. 前記作業コンポーネントが、前記少なくとも一つのマーカ位置と前記付加的入力とに基づいて、パラメタ制御された単一の選択および作業を前記ソースデジタルデータに対して実行するものであることを特徴とする請求項39に記載のシステム。
  41. 前記作業コンポーネントが、前記少なくとも一つのマーカ位置と前記付加的入力とに基づいて、前記ソースデジタルデータに対して選択マスクを定義するものであることを特徴とする請求項39に記載のシステム。
  42. デジタルデータに対して局所的作業を行う方法であって、
    ソースデジタルデータに関するマーカ位置を受け取り、
    作業パラメタに基づいて、パラメタ制御された作業を前記ソースデジタルデータに対して自動的に実行し、
    前記マーカ位置と部分選択パラメタとに基づいて前記ソースデジタルデータの選択部分のパラメタ制御された選択を自動的に実行し、
    パラメタ制御された前記作業の効果を、前記ソースデジタルデータの前記選択部分に、自動的に局所化する、
    ことを含む方法。
  43. 前記マーカ位置の前記受け取りに反応して、パラメタ制御された前記選択とパラメタ制御された前記作業とを自動的に実行することを含むことを特徴とする請求項42に記載の方法。
  44. パラメタ制御された前記作業の前記実行の後で、前記マーカ位置が保持されている間に、前記作業パラメタと前記部分選択パラメタのうち少なくとも一つのユーザ修正を可能とし、
    該ユーザ修正に基づいて、パラメタ制御された前記作業の局所化された前記効果を自動的に修正する、
    ことを含むことを特徴とする請求項42に記載の方法。
  45. 前記マーカ位置の前記保持は、パラメタ制御された前記作業の前記実行の後に、前記マーカ位置におけるグラフィカルなマーカアイコンの表示を保持することを含むことを特徴とする請求項44に記載の方法。
  46. 前記ソースデジタルデータはソース画像データであり、
    パラメタ制御された前記作業は、前記ソース画像データの視覚表現を調整するためのパラメタ制御された調整作業を含む、
    ことを特徴とする請求項42に記載の方法。
  47. パラメタ制御された前記作業は、前記ソース画像データ内の画像特徴を特定する感知作業を含み、
    前記方法は、特定された前記画像特徴に基づいて、パラメタ制御された前記調整作業を開始することを含む、
    ことを特徴とする請求項46に記載の方法。
  48. 前記ソース画像データはソース動画データであり、
    パラメタ制御された前記作業は、前記ソース動画データ内の画像特徴を追跡する、パラメタ制御された追跡作業を含む、
    ことを特徴とする請求項42に記載の方法。
  49. 前記ソース動画データは少なくとも第一と第二のフレームを含み、
    パラメタ制御された前記作業は、前記ソース動画データ内の前記第一と前記第二のフレーム間における前記画像特徴に関する変化を感知する感知作業と、感知された前記変化に基づく応答動作を実行する応答作業とを含む、
    ことを特徴とする請求項48に記載の方法。
  50. 前記応答作業は、前記画像特徴に関するパラメタ制御された調整作業であることを特徴とする請求項49に記載の方法。
  51. 前記応答作業は、感知された前記変化についての通知を生成することを含むことを特徴とする請求項49に記載の方法。
  52. 前記応答作業は、さらなる画像特徴に関するさらなるマーカ位置を自動的にインスタンス化することを含むことを特徴とする請求項49に記載の方法。
  53. 前記ソースデジタルデータはソース音声データであり、
    パラメタ制御された前記作業は、前記ソース音声データの音声表現を調整するものである、
    ことを特徴とする請求項42に記載の方法。
  54. 前記部分選択パラメタは、時間範囲パラメタ、周波数範囲パラメタ、振幅パターンパラメタ、および周波数パターンパラメタを含む群のうちの少なくとも一つであることを特徴とする請求項44に記載の方法。
  55. 前記ソースデジタルデータはソース文書データであり、
    パラメタ制御された前記作業は、前記ソース文書データの視覚表現を調整するものである、
    ことを特徴とする請求項42に記載の方法。
  56. 前記ソースデジタルデータを利用して、パラメタ制御された前記調整を実行して調整済みデジタルデータを生成し、
    パラメタ制御された前記調整作業の効果を、前記調整済みデジタルデータに関して局所化して、目的デジタルデータを生成する、
    ことを含むことを特徴とする請求項42に記載の方法。
  57. パラメタ制御された前記作業を前記ソースデジタルデータに対して実行し、
    その後で、パラメタ制御された前記作業の前記効果を前記ソースデジタルデータの前記選択部分に局所化する、
    ことを含むことを特徴とする請求項42に記載の方法。
  58. 前記選択部分のパラメタ制御された前記選択を実行し、
    その後で、パラメタ制御された前記作業の前記効果を前記ソースデジタルデータの前記選択部分に対して局所化する、
    ことを含むことを特徴とする請求項42に記載の方法。
  59. 前記ソースデジタルデータに関する前記マーカ位置に、マーカの視覚表現を提供することを含むことを特徴とする請求項42に記載の方法。
  60. 前記マーカ位置の受け取りが、前記ソースデジタルデータに関する前記マーカの前記視覚表現の、ユーザ制御された配置を検出することを含むことを特徴とする請求項59に記載の方法。
  61. 前記ソースデジタルデータに関する、前記マーカの前記視覚表現のユーザ制御された再配置を検出することにより、さらなる選択部分のパラメタ制御されたさらなる選択の基礎となる前記ソースデジタルデータに対して、さらなるマーカ位置を特定することを含むことを特徴とする請求項60に記載の方法。
  62. 前記作業パラメタが保持されている間、前記部分選択パラメタの修正を検出し、
    前記部分選択パラメタの前記修正の前記検出に反応して、前記ソースデジタルデータのさらなる選択部分のパラメタ制御された選択を実行する、
    ことを含むことを特徴とする請求項42に記載の方法。
  63. 前記ソースデジタルデータの前記選択部分の前記選択が保持されている間、前記作業パラメタの修正を検出し、
    前記作業パラメタの前記修正の前記検出に反応して、前記ソースデジタルデータに対して、パラメタ制御されたさらなる作業を実行する、
    ことを含むことを特徴とする請求項42に記載の方法。
  64. 複数のマーカ位置を受け取ることを含むことを特徴とする請求項42に記載の方法。
  65. 前記複数のマーカ位置に基づいて、前記ソースデジタルデータに対して、パラメタ制御された複数の選択および作業を実行することを含むことを特徴とする請求項64に記載の方法。
  66. 前記複数のマーカ位置に基づいて、前記ソースデジタルデータに対して、パラメタ制御された単一の選択および作業を実行することを含むことを特徴とする請求項64に記載の方法。
  67. 前記複数のマーカ位置およびそれぞれに関連づけられた部分選択パラメタの各々に基づいて、前記ソースデジタルデータに対する選択マスクを定義することを含むことを特徴とする請求項64に記載の方法。
  68. 前記複数のマーカ位置のうちの第一のマーカ位置が、該第一のマーカ位置に関連づけられた極性パラメタを有し、
    前記第一のマーカ位置に基づいて定義された前記選択マスクの少なくとも一部に対して、パラメタ制御された前記作業の局所化された前記効果が、負または正のいずれに適用されるものであるかを決定するために前記極性パラメタを使うことを、前記方法が含む、
    ことを特徴とする請求項64に記載の方法。
  69. 前記作業パラメタに基づき前記デジタルソースデータに対して非破壊的な作業を実行することを含むことを特徴とする請求項42に記載の方法。
  70. 前記デジタルソースデータの表現を修正する、前記デジタルソースデータとは異なる作業レイヤの作成を検出し、
    前記調整レイヤに対してパラメタ制御された前記選択および前記作業を自動的に実行することにより前記非破壊的な作業を実行する、
    ことを含むことを特徴とする請求項69に記載の方法。
  71. 複数の作業レイヤの作成を検出し、
    前記複数の作業レイヤの各々に対して、パラメタ制御されたそれぞれの選択および作業を自動的に実行する、
    ことを含むことを特徴とする請求項70に記載の方法。
  72. 前記複数の作業レイヤそれぞれの活性化および非活性化を検出することによって前記デジタルソースデータの表現を修正することを含むことを特徴とする請求項67に記載の方法。
  73. 前記部分選択メカニズムが、複数の部分選択メカニズムのうちの一つであり、
    前記複数の部分選択メカニズムの中からの前記部分選択メカニズムの選択を受け付けることを前記方法が含む、
    ことを特徴とする請求項42に記載の方法。
  74. 前記複数の部分選択メカニズムのそれぞれが、幾何学的選択メカニズム、色に基づく選択メカニズム、および輪郭に基づく選択メカニズムのうち少なくとも一つを含む群の中から選択された、デジタル画像領域選択メカニズムであることを特徴とする請求項73に記載の方法。
  75. 前記作業パラメタを受け取り、
    該作業パラメタを作業メカニズムに関連づけ、
    前記作業パラメタとともに該作業メカニズムを使って、自動的に前記作業を実行する、
    ことを含むことを特徴とする請求項42に記載の方法。
  76. 前記作業メカニズムが、複数の作業メカニズムのうちの一つであり、
    前記複数の作業メカニズムの中からの前記作業メカニズムの選択を受け付けることを前記方法が含む、
    ことを特徴とする請求項75に記載の方法。
  77. 前記複数の作業メカニズムのそれぞれが、色、明るさ、影、ハイライト、およびフィルタの各調整メカニズムのうち少なくとも一つを含む群から選択された、デジタル画像調整メカニズムであることを特徴とする請求項76に記載の方法。
  78. ユーザ選択用の所定の作業メカニズムと前記デジタルソースデータに対する適用を提示することを含み、
    前記所定の作業メカニズムは前記作業パラメタ用のデフォルト作業値を使う、
    ことを特徴とする請求項75に記載の方法。
  79. 前記所定の作業メカニズムは、所定の部分選択メカニズムと関連づけられており、
    前記所定の部分選択メカニズムは、前記部分選択パラメタ用のデフォルト値を使う、
    ことを特徴とする請求項78に記載の方法。
  80. 少なくとも一つのマーカ位置と、該少なくとも一つのマーカ位置の近傍内の位置を特定する付加的入力とを受け取ることを含むことを特徴とする請求項42に記載の方法。
  81. 前記少なくとも一つのマーカ位置と前記付加的入力とに基づいて、パラメタ制御された単一の選択および作業を前記ソースデジタルデータに対して実行することを含むことを特徴とする請求項80に記載の方法。
  82. 前記少なくとも一つのマーカ位置と前記付加的入力とに基づいて、前記ソースデジタルデータに対して選択マスクを定義することを含むことを特徴とする請求項80に記載の方法。
  83. デジタルデータに関する位置を特定するマーカ位置データと、
    パラメタ制御された方法で前記デジタルデータに対して実行されるべき作業を特定し、少なくとも一つの、前記作業を制御する作業パラメタを含む、作業コントロールデータと、
    前記デジタルデータの選択部分に対して前記作業を局所化するためにパラメタ制御された方法で前記デジタルデータに対して実行されるべき選択方法を特定し、少なくとも一つの、前記選択方法を制御する選択パラメタを含む、選択コントロールデータと、
    を含むデータ構造。
  84. 前記選択コントロールデータは選択マスクを定義するために使われるものであって、
    該選択マスクにしたがって前記デジタルデータの前記選択部分に対して前記作業が局所化される、
    ことを特徴とする請求項83に記載のデータ構造。
  85. 前記作業コントロールデータは、一群の前記作業のうちの少なくとも一つを特定するものであり、
    該一群の作業は、データ調整作業、データ追跡作業、データ感知作業、データ応答作業、およびデータ相互作用作業を含む、
    ことを特徴とする請求項83に記載のデータ構造。
  86. 前記選択コントロール作業は、一群の選択方法のうちの少なくとも一つを特定するものであり、
    該一群の選択方法は、幾何学的選択方法、色に基づく選択方法、および輪郭に基づく選択方法を含む、
    ことを特徴とする請求項83に記載のデータ構造。
  87. 前記マーカ位置データは、前記デジタルデータに関する複数の位置を特定し、
    前記作業コントロールデータは、該複数の位置を使ってそれぞれ適用されるべき複数の作業を特定し、
    前記選択コントロールデータは、前記複数の位置を使ってそれぞれ適用されるべき複数の選択方法を特定する、
    ことを特徴とする請求項83に記載のデータ構造。
  88. データ構造を定義する方法であって、
    ユーザから、デジタルデータに関する位置を特定するマーカ位置データを受け取り、
    パラメタ制御された方法で前記デジタルデータに対して実行されるべき作業を特定し、少なくとも一つの、前記作業を制御する作業パラメタを含む、作業コントロールデータを作成し、
    前記デジタルデータの選択部分に対して前記作業を局所化するためにパラメタ制御された方法で前記デジタルデータに対して実行されるべき選択方法を特定し、少なくとも一つの、前記選択方法を制御する選択パラメタを含む、選択コントロールデータを作成する、
    ことを含む方法。
  89. 前記選択コントロールデータは選択マスクを定義するために使われるものであって、
    該選択マスクにしたがって前記デジタルデータの前記選択部分に対して前記作業が局所化される、
    ことを特徴とする請求項88に記載の方法。
  90. 前記作業コントロールデータは、一群の前記作業のうちの少なくとも一つを特定するものであり、
    該一群の作業は、データ調整作業、データ追跡作業、データ感知作業、データ応答作業、およびデータ相互作用作業を含む、
    ことを特徴とする請求項88に記載の方法。
  91. 前記選択コントロール作業は、一群の選択方法のうちの少なくとも一つを特定するものであり、
    該一群の選択方法は、幾何学的選択方法、色に基づく選択方法、および輪郭に基づく選択方法を含む、
    ことを特徴とする請求項88に記載の方法。
  92. 前記マーカ位置データは、前記デジタルデータに関する複数の位置を特定し、
    前記作業コントロールデータは、該複数の位置を使ってそれぞれ適用されるべき複数の作業を特定し、
    前記選択コントロールデータは、前記複数の位置を使ってそれぞれ適用されるべき複数の選択方法を特定する、
    ことを特徴とする請求項88に記載の方法。
  93. デジタル画像に対する調整を実行するシステムであって、
    前記デジタル画像に関する位置を特定するマーカ位置データと、
    パラメタ制御された画像調整作業を特定するとともに、少なくとも一つの、パラメタ制御された前記画像調整作業を制御する作業パラメタを含む、作業コントロールデータと、
    選択方法を特定するとともに、少なくとも一つの、前記選択方法を制御する選択パラメタを含む、選択コントロールデータと、
    を含むデータ構造と、
    ソースデジタル画像に対してユーザがマーカアイコンを配置するのを可能とするとともに、前記マーカアイコンの前記ユーザによる前記配置に反応して前記ソースデジタル画像に対する前記マーカ位置データを受け取るインタフェイスコンポーネントと、
    前記少なくとも一つの作業パラメタに基づいて、前記ソースデジタル画像に対するパラメタ制御された前記画像調整作業を自動的に実行する画像調整コンポーネントと、
    を含み、
    前記画像調整コンポーネントは、前記マーカ位置および前記少なくとも一つの部分選択パラメタに基づいて、前記選択方法を使って、前記ソースデジタル画像の選択部分のパラメタ制御された選択を実行するものであるとともに、パラメタ制御された前記作業の効果を前記ソースデジタル画像の前記選択部分に局所化するものである、
    ことを特徴とするシステム。
  94. マシンにより実行されると、デジタルデータに対して局所的作業を行う方法を前記マシンに実行させる命令一式を格納したマシン可読媒体であって、前記方法が、
    ソースデジタルデータに関するマーカ位置を受け取り、
    作業パラメタに基づいて、パラメタ制御された作業を前記ソースデジタルデータに対して自動的に実行し、
    前記マーカ位置と部分選択パラメタとに基づいて前記ソースデジタルデータの選択部分のパラメタ制御された選択を自動的に実行し、
    パラメタ制御された前記作業の効果を、前記ソースデジタルデータの前記選択部分に、自動的に局所化する、
    ことを含むことを特徴とするマシン可読媒体。
JP2007529800A 2004-09-07 2004-09-07 デジタルデータに対して局所的作業を行う方法およびシステム Pending JP2008512745A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2004/029149 WO2006028460A2 (en) 2004-09-07 2004-09-07 A method and system to perform localized activity with respect to digital data

Publications (1)

Publication Number Publication Date
JP2008512745A true JP2008512745A (ja) 2008-04-24

Family

ID=36036753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007529800A Pending JP2008512745A (ja) 2004-09-07 2004-09-07 デジタルデータに対して局所的作業を行う方法およびシステム

Country Status (3)

Country Link
EP (1) EP1792299A4 (ja)
JP (1) JP2008512745A (ja)
WO (1) WO2006028460A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097433A (ja) * 2008-10-16 2010-04-30 Olympus Corp 領域選択装置および領域選択方法
WO2012011215A1 (ja) * 2010-07-23 2012-01-26 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像表示装置、画像処理方法、および画像ファイルのデータ構造
JP2018512684A (ja) * 2015-04-16 2018-05-17 ホアウェイ・テクノロジーズ・カンパニー・リミテッド アプリケーション記憶空間を表示するための方法および端末

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7412105B2 (en) 2003-10-03 2008-08-12 Adobe Systems Incorporated Tone selective adjustment of images
US7466868B2 (en) 2003-10-03 2008-12-16 Adobe Systems Incorporated Determining parameters for adjusting images
US8004536B2 (en) 2006-12-01 2011-08-23 Adobe Systems Incorporated Coherent image selection and modification
US8175409B1 (en) 2006-12-01 2012-05-08 Adobe Systems Incorporated Coherent image selection and modification
US7889245B2 (en) 2007-01-12 2011-02-15 Seiko Epson Corporation Automatic white balancing of a digital image
US9355469B2 (en) 2009-01-09 2016-05-31 Adobe Systems Incorporated Mode-based graphical editing
US11223744B2 (en) * 2017-10-17 2022-01-11 Adobe Inc. Local color range selection

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998047146A1 (fr) * 1997-04-12 1998-10-22 Sony Corporation Dispositif d'edition et procede d'edition

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6400831B2 (en) * 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking
IES20020519A2 (en) * 2001-10-09 2004-11-17 Thurdis Developments Ltd Multimedia apparatus
JP2005527880A (ja) * 2001-10-24 2005-09-15 ニック マルチメディア インク ユーザ定義可能な画像参照ポイント

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998047146A1 (fr) * 1997-04-12 1998-10-22 Sony Corporation Dispositif d'edition et procede d'edition

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097433A (ja) * 2008-10-16 2010-04-30 Olympus Corp 領域選択装置および領域選択方法
WO2012011215A1 (ja) * 2010-07-23 2012-01-26 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像表示装置、画像処理方法、および画像ファイルのデータ構造
JP2012027705A (ja) * 2010-07-23 2012-02-09 Sony Computer Entertainment Inc 画像処理装置、画像表示装置、画像処理方法、および画像ファイルのデータ構造
US8928694B2 (en) 2010-07-23 2015-01-06 Sony Corporation Image Processing apparatus receiving editing operation, image display device, and image processing method thereof
JP2018512684A (ja) * 2015-04-16 2018-05-17 ホアウェイ・テクノロジーズ・カンパニー・リミテッド アプリケーション記憶空間を表示するための方法および端末
US11327631B2 (en) 2015-04-16 2022-05-10 Huawei Technologies Co., Ltd. Method for displaying application storage space and terminal

Also Published As

Publication number Publication date
WO2006028460A3 (en) 2006-05-11
WO2006028460A2 (en) 2006-03-16
EP1792299A4 (en) 2012-10-24
EP1792299A2 (en) 2007-06-06

Similar Documents

Publication Publication Date Title
US8004536B2 (en) Coherent image selection and modification
US20060053374A1 (en) Localization of activity with respect to digital data
US8605940B1 (en) Coherent image modification
US8280198B2 (en) Multi-behavior image correction tool
RU2524863C2 (ru) Окрашивание пользовательских элементов управления
US7693341B2 (en) Workflows for color correcting images
US11468614B2 (en) Presenting multiple image segmentations
KR101764646B1 (ko) 컨트롤의 외관을 조정하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
US8823726B2 (en) Color balance
US8854370B2 (en) Color waveform
US9917987B2 (en) Media editing with overlaid color adjustment tools
US8572501B2 (en) Rendering graphical objects based on context
US20110167336A1 (en) Gesture-based web site design
US20060170707A1 (en) Overlayed Graphic User Interface and Method for Image Processing
US20070247647A1 (en) 3D lut techniques for color correcting images
US20070028189A1 (en) Hierarchy highlighting
CN104221358A (zh) 用于修改多个图像属性的统一滑块控制器
CN104247390A (zh) 用于修剪和拉直图像的用户界面工具
CN104221359A (zh) 用于色彩片段的色彩调节器
JP2007507803A (ja) 画像を調整するためのパラメータを決定する方法および装置
JP2008512745A (ja) デジタルデータに対して局所的作業を行う方法およびシステム
Huang et al. Translucent image recoloring through homography estimation
US7432939B1 (en) Method and apparatus for displaying pixel images for a graphical user interface
US11830128B1 (en) Systems and methods for presenting and editing selections of three-dimensional image data
US20220157037A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091019

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091019

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20091027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100302

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100803