JP2009526335A - デジタル画像の自己適応ブラシ - Google Patents
デジタル画像の自己適応ブラシ Download PDFInfo
- Publication number
- JP2009526335A JP2009526335A JP2008554535A JP2008554535A JP2009526335A JP 2009526335 A JP2009526335 A JP 2009526335A JP 2008554535 A JP2008554535 A JP 2008554535A JP 2008554535 A JP2008554535 A JP 2008554535A JP 2009526335 A JP2009526335 A JP 2009526335A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- pointing device
- image
- user
- opacity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 54
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 10
- 230000010365 information processing Effects 0.000 claims description 8
- 238000005282 brightening Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- IYLGZMTXKJYONK-ACLXAEORSA-N (12s,15r)-15-hydroxy-11,16-dioxo-15,20-dihydrosenecionan-12-yl acetate Chemical compound O1C(=O)[C@](CC)(O)C[C@@H](C)[C@](C)(OC(C)=O)C(=O)OCC2=CCN3[C@H]2[C@H]1CC3 IYLGZMTXKJYONK-ACLXAEORSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- IYLGZMTXKJYONK-UHFFFAOYSA-N ruwenine Natural products O1C(=O)C(CC)(O)CC(C)C(C)(OC(C)=O)C(=O)OCC2=CCN3C2C1CC3 IYLGZMTXKJYONK-UHFFFAOYSA-N 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
ユーザのポインティングデバイス入力に基づいて選択的に画像を強調する方法が提供され、この方法では、ユーザの選択に従って、初期状態からのピクセル相違度の関数として画像ピクセル群を変化させる。ポインティングデバイスクリックの初期座標で測定されるピクセル特性、画像ピクセルとポインティングデバイスの座標との差、画像ピクセルと測定される一連の特性との差、初期クリックに続くポインティングデバイスの移動、及びこの選択ツールに関連する強調の種類が関数に取り込まれる。
Description
関連出願の相互参照
本出願は、2006年2月10日出願の「Self-Adaptive Brush for Digital Images」と題する米国仮特許出願第60/772053号の優先権を主張するものであり、この特許文献の内容全体をここで参照することにより本明細書に包含する。
本出願は、2006年2月10日出願の「Self-Adaptive Brush for Digital Images」と題する米国仮特許出願第60/772053号の優先権を主張するものであり、この特許文献の内容全体をここで参照することにより本明細書に包含する。
発明の背景
本開示はデジタル画像の補正に関する。本開示は具体的には、ユーザがデジタル画像にブラシストロークを使用することにより、デジタル画像を暗くする、明るくする、鮮明化する、又は色付けするときに、デジタル画像を修正する自己適応ブラシに関する。
本開示はデジタル画像の補正に関する。本開示は具体的には、ユーザがデジタル画像にブラシストロークを使用することにより、デジタル画像を暗くする、明るくする、鮮明化する、又は色付けするときに、デジタル画像を修正する自己適応ブラシに関する。
背景
現在、デジタル画像を操作したいと考えるユーザは、長時間を掛けて複雑なソフトウェア操作を使用しなければならない。通常、ブラシストロークを使った編集機能を適用して、例えばオブジェクトの色を暗くする、明るくする、又は変化させる場合、或いはフィルタを適用して、例えばオブジェクトを鮮明化する場合、細心の注意を払って編集対象のオブジェクトにブラシストロークを一致させる必要がある。この操作は、「ライン内色付け」のデジタル版である。芸術的プロセスに何らかの間違い又は変更が生じると、デジタル画像の多くの領域に対して非常に長い時間を要するやり直し作業が必要になる。
現在使用されている一つのアプローチでは、ユーザが同じ色に適用するブラシストロークの領域を取り囲むピクセル群を自動的に変化させる。このアプローチの不利な点は、ユーザが制御可能又は制御不能な、自動的に選択された閾値を利用することである。更に別の不利な点は、単一の特徴、即ちピクセルの色のみを使用して、ブラシストロークを取り囲むピクセル群と、ユーザが適用するブラシストロークと比較することである。別のアプローチでは、ユーザは、修正される領域の周りの境界を描画し、次いで境界の内側の領域にフィルタ又はマスクを適用する。不利な点は、複雑なデジタル画像を編集する場合、このアプローチを使用するために、複数の領域を描画し、正しいフィルタ又はマスクを各領域に適用する必要があることである。更に別の不利な点は、ユーザの作業が極めて粗雑である場合、又は作業に時間をかけなかった場合には、審美的に満足のゆく編集済みデジタル画像を得ることができないことである。デジタル画像を修正する現在のプロセスでは、ユーザとの相互作用を過剰に必要とするので、作業の進行が遅くなり、選択ステップが多くなり、領域の追跡に注意を払う必要があり、フィルタリング処理が複雑になり、マスク操作が複雑になる。従って、これらの制約を軽減するために、デジタル画像を修正するための自己適応ブラシストロークを行うことのできるソフトウェアツールが必要である。
現在、デジタル画像を操作したいと考えるユーザは、長時間を掛けて複雑なソフトウェア操作を使用しなければならない。通常、ブラシストロークを使った編集機能を適用して、例えばオブジェクトの色を暗くする、明るくする、又は変化させる場合、或いはフィルタを適用して、例えばオブジェクトを鮮明化する場合、細心の注意を払って編集対象のオブジェクトにブラシストロークを一致させる必要がある。この操作は、「ライン内色付け」のデジタル版である。芸術的プロセスに何らかの間違い又は変更が生じると、デジタル画像の多くの領域に対して非常に長い時間を要するやり直し作業が必要になる。
現在使用されている一つのアプローチでは、ユーザが同じ色に適用するブラシストロークの領域を取り囲むピクセル群を自動的に変化させる。このアプローチの不利な点は、ユーザが制御可能又は制御不能な、自動的に選択された閾値を利用することである。更に別の不利な点は、単一の特徴、即ちピクセルの色のみを使用して、ブラシストロークを取り囲むピクセル群と、ユーザが適用するブラシストロークと比較することである。別のアプローチでは、ユーザは、修正される領域の周りの境界を描画し、次いで境界の内側の領域にフィルタ又はマスクを適用する。不利な点は、複雑なデジタル画像を編集する場合、このアプローチを使用するために、複数の領域を描画し、正しいフィルタ又はマスクを各領域に適用する必要があることである。更に別の不利な点は、ユーザの作業が極めて粗雑である場合、又は作業に時間をかけなかった場合には、審美的に満足のゆく編集済みデジタル画像を得ることができないことである。デジタル画像を修正する現在のプロセスでは、ユーザとの相互作用を過剰に必要とするので、作業の進行が遅くなり、選択ステップが多くなり、領域の追跡に注意を払う必要があり、フィルタリング処理が複雑になり、マスク操作が複雑になる。従って、これらの制約を軽減するために、デジタル画像を修正するための自己適応ブラシストロークを行うことのできるソフトウェアツールが必要である。
概要
本発明は、ユーザのポインティングデバイス入力信号に基づいて画像を選択的に強調する方法を提供することにより、上記の要求を満たすことができ、本方法は、ユーザに対してプレビューを表示するステップ、ユーザがポインティングデバイスをプレビューに使用して、ポインティングデバイスにより画像上の移動を行なうことを可能にするステップ、画像内の初期座標に位置するポインティングデバイスから第1入力信号を受信するステップ、初期座標を記録するステップ、初期座標における初期ピクセル特性を測定するステップ、画像内の第2座標に位置するポインティングデバイスから第2入力信号を受信するステップ、第2座標における第2ピクセル特性を測定するステップ、初期ピクセル特性及び第2ピクセル特性に基づいてピクセルの相違度値を求めるステップ、並びに求めたピクセル相違度値の関数として第2ピクセル特性を変更するステップを含む。この関数は連続関数とすることができる。
第2ピクセル特性を変更する処理は、初期不透明度設定値、デフォルトの不透明度設定値、第1入力信号に続くポインティングデバイスの動き、又は強調の種類の内の一つ以上の関数とすることもできる。
本発明は、ユーザのポインティングデバイス入力信号に基づいて画像を選択的に強調する方法を提供することにより、上記の要求を満たすことができ、本方法は、ユーザに対してプレビューを表示するステップ、ユーザがポインティングデバイスをプレビューに使用して、ポインティングデバイスにより画像上の移動を行なうことを可能にするステップ、画像内の初期座標に位置するポインティングデバイスから第1入力信号を受信するステップ、初期座標を記録するステップ、初期座標における初期ピクセル特性を測定するステップ、画像内の第2座標に位置するポインティングデバイスから第2入力信号を受信するステップ、第2座標における第2ピクセル特性を測定するステップ、初期ピクセル特性及び第2ピクセル特性に基づいてピクセルの相違度値を求めるステップ、並びに求めたピクセル相違度値の関数として第2ピクセル特性を変更するステップを含む。この関数は連続関数とすることができる。
第2ピクセル特性を変更する処理は、初期不透明度設定値、デフォルトの不透明度設定値、第1入力信号に続くポインティングデバイスの動き、又は強調の種類の内の一つ以上の関数とすることもできる。
別の実施形態では、本方法は、ユーザに対してプレビューを表示するステップ、ユーザがポインティングデバイスをプレビューに使用して、ポインティングデバイスにより画像上の移動を行なうことを可能にするステップ、ポインティングデバイスから画像内のブラシストロークを決定する一連の入力信号を受信するステップ、ブラシストロークのピクセル特性を測定するステップ、ブラシストローク内の各ピクセルの個々のピクセル特性を測定するステップ、測定されたピクセル特性及び個々のピクセル特性に基づいて、ブラシストローク内の各ピクセルのピクセル相違度値を求めるステップ、並びに求めたピクセル相違度値の関数として個々のピクセル特性を変更するステップを含む。
個々のピクセル特性を変化させる処理は、初期不透明度設定値、デフォルトの不透明度設定値、又は強調の種類の内の一つ以上の関数とすることもできる。
個々のピクセル特性を変化させる処理は、初期不透明度設定値、デフォルトの不透明度設定値、又は強調の種類の内の一つ以上の関数とすることもできる。
コンピュータを用いた情報処理システムに本方法のステップを実行させるコンテンツを記録した、コンピュータで読み取り可能な媒体が提供される。
ポインティングデバイスと、コンピュータを用いた情報処理システムに本方法のステップを実行させるコンテンツを記録した、コンピュータで読み取り可能な媒体とを備えるキットが開示される。
強調の種類は、特に、暗くする処理、明るくする処理、色を変化させる処理、又は鮮明化する処理を含むことができる。
ポインティングデバイスと、コンピュータを用いた情報処理システムに本方法のステップを実行させるコンテンツを記録した、コンピュータで読み取り可能な媒体とを備えるキットが開示される。
強調の種類は、特に、暗くする処理、明るくする処理、色を変化させる処理、又は鮮明化する処理を含むことができる。
別の実施形態では、ポインティングデバイス入力に基づいて選択的に画像を強調する方法が開示され、本方法は、ユーザから第1の選択を受信するステップ、ユーザの元の選択入力、選択の中心における一又は複数のピクセルの特性、元の未編集画像のピクセル群の特性、及び選択の中心までの空間距離に基づいて選択不透明度を微調整するステップ、第1の修正済みの選択不透明度をマスクに保存するステップ、ユーザから第2の選択を受信するステップ、元の選択、第2の選択の中心における一又は複数のピクセルの特性、元の未編集画像のピクセル群の特性、及び第2の選択の中心までの空間距離に基づいて第2の選択による不透明度を微調整するステップ、並びに第2の修正済みの選択不透明度をマスクに重ね合わせるステップを含む。
マスク、元の画像、及び所望の強調を組み合わせ、ユーザに対してプレビューとして表示することができる。第2の修正済みの選択不透明度とマスクを重ね合わせるステップは、乗算演算を使用して行なうことができる。
マスク、元の画像、及び所望の強調を組み合わせ、ユーザに対してプレビューとして表示することができる。第2の修正済みの選択不透明度とマスクを重ね合わせるステップは、乗算演算を使用して行なうことができる。
本発明の上記の及び他の特徴、態様、及び利点は、以下の説明、請求の範囲、及び添付図面を参照することにより一層深く理解される。
図1に、本発明の一実施形態による自己適応ブラシを使用してデジタル画像を修正する方法のステップを示すフローチャートを示す。まず、デジタル画像をデータブロックに格納する(ステップ102)。次に、空のマスクデータブロックを生成する(ステップ104)。次に、ユーザからブラシストロークを受信する(ステップ106)。次に、例えば色、彩度、又は明度のようなピクセル特性をブラシストロークの領域内で測定する(ステップ108)。この測定値はユーザが選択しようとしていた物を表わすと推定される。例えば、図2に示す唇に関して、測定値から、現在の唇に支配的な色を反映する平均値が得られる。測定値からのピクセル群の相違度(例えば、「距離」)を求める。次に、これらの一つ以上の測定されたピクセルの特性及びピクセルの相違度の関数として、ブラシストローク内のピクセル群の不透明度をマスクブロック上で変更する(ステップ110)。次に、変更済みのブラシストロークをマスクブロックに重ね合わせる(ステップ112)。図1に示す実施形態では、マスクブロックをデータブロックに適用して(ステップ114)表示ブロックを生成し(ステップ116)、この表示ブロックをユーザに対して表示する(ステップ118)。別の実施形態では、データブロックとマスクブロックを融合させて画像ブロックとする。
一実施形態では、ステップ106のブラシストロークを、処理が更に行なわれる前に完了させる。これは、計算能力が小さいハードウェアを用いる場合に有用である。図6に示すような他の実施形態では、ブラシストロークが行なわれ続けるような継続的な適応化が可能である。実際、ハードウェア速度が十分に大きい場合、ブラシストロークを描画しながら自己適応ブラシの結果をプレビューすることが可能である。
別の実施形態では、不透明度の変更は元のブラシストロークの透明度の関数でもある(これは、例えば図6のステップ605のようなステップにおいて行なうことができる)。別の実施形態では、不透明度の変更は基準ポイントからのピクセルの相違度の関数でもある(例えば、ブラシストロークの始点が基準ポイントである図6のステップ608.1を参照)。
別の実施形態では、「乗算」重ね合わせモード(本開示を参照する当業者が理解するような)をステップ112で使用する。
別の実施形態では、不透明度の変更は元のブラシストロークの透明度の関数でもある(これは、例えば図6のステップ605のようなステップにおいて行なうことができる)。別の実施形態では、不透明度の変更は基準ポイントからのピクセルの相違度の関数でもある(例えば、ブラシストロークの始点が基準ポイントである図6のステップ608.1を参照)。
別の実施形態では、「乗算」重ね合わせモード(本開示を参照する当業者が理解するような)をステップ112で使用する。
次に、図2には、デジタル画像処理アプリケーションにおいてデジタル画像に適用される自己適応ブラシストロークを示す。修正のために、変更前のデジタル画像202をユーザに提示する。自己適応ブラシストロークを修正対象領域204に加える。本発明の方法を使用して、修正対象領域204のピクセル群の不透明度の変化を計算し、画像上において自己適応ブラシストロークの適用を制限する領域の境界を生成する。自己適応ブラシによって修正された画像206が表示される。任意であるが好ましくは、この操作は元のデジタル画像202を変化させることなく行なわれる。
次に、図3には、複数の画像ブロックに分割されたデジタル画像300が示される。ユーザは、デジタル画像のデータブロック302内の一領域に自己適応ブラシストロークを適用する。自己適応ブラシストロークはマスクブロック304に保存される。領域境界を計算し、変更対象のピクセル群の不透明度をマスクブロック304に保存する。マスクブロック304及びデータブロック302は、「乗算」重ね合わせモードを使用して合成され、表示ブロック306に保存される。表示ブロック306は、自己適応ブラシストロークの適用により変更された状態でユーザに提示される。異なる実施形態では、自己適応ブラシによって元のデジタル画像を直接変更することができる。
ピクセルの相違度の決定は、種々の方法で行なうことができる。次に、図4には、図1〜6に示す方法に従ってデジタル画像を暗くする、明るくする、鮮明化する、又は色付けするために使用できる、デジタル画像の多変量ピクセル特性402の散布図400が示される。ポイント群402をランダム変数Xのインスタンスとして処理すると、当該ランダム変数Xの期待値E[X]によって、対応する色及び明度の期待値が生成される。期待値からのいずれかの所定ピクセルにおけるランダム変数Xの値の分散は、当該ピクセルの相違度の距離指標として使用することができる。
他の実施形態では、他の多変量統計法を用いて、本開示内容を参照する当業者であれば理解するように、ピクセル特性の差を計算する。例えば、マハラノビス距離を使用することができる。例えば、彩度、透明度、及び不透明度のような他のピクセル特性によって、本開示内容を参照する当業者であれば理解するように、適切な多変量ランダム変数を定義することができる。ピクセル間の距離を計算する他の方法は米国特許第6728421号及び米国特許第6865300号に開示されており、ここで参照することによりこれらの特許文献の内容を本明細書に包含する。
他の実施形態では、他の多変量統計法を用いて、本開示内容を参照する当業者であれば理解するように、ピクセル特性の差を計算する。例えば、マハラノビス距離を使用することができる。例えば、彩度、透明度、及び不透明度のような他のピクセル特性によって、本開示内容を参照する当業者であれば理解するように、適切な多変量ランダム変数を定義することができる。ピクセル間の距離を計算する他の方法は米国特許第6728421号及び米国特許第6865300号に開示されており、ここで参照することによりこれらの特許文献の内容を本明細書に包含する。
ブラシストロークの境界線の決定は、種々の方法により行なうことができる。最も簡易な実施形態では、閾値を使用して、ステップ110(図1)又はステップ610(図6)において決定される不透明度に従って領域をセグメント化することができる。好適には、閾値は使用されず、自己適応ブラシストロークの出力不透明度は図8A及び8Bの不透明度マップに示すような連続関数である。ブラシストロークの元の不透明度、及び自己適応ブラシストロークの影響を受ける周囲のピクセル群の特性からの注目ピクセルの特性の分散も考慮して、このような連続関数を形成することができる。
デフォルトの不透明度設定値は、ブラシの初期不透明度設定値に使用することができ、これらの初期不透明度設定値はステップ110及び610への更なる入力となる。次に、図5に示すように、一実施形態では、自己適応ブラシストローク500は、「A」完全不透明領域502、及び不透明度が低い「B」周縁領域504により構成される。この構成は、図2の唇のような自然な境界を持つ特徴の輪郭を描くために使用されるブラシストロークに有用である。完全不透明領域502からは、ステップ110及び610において他の方法で決定される完全不透明度の変化がマスクブロックに渡され、一方周縁領域では、不透明度を更に変更させる。当業者には明らかであろうが、広範囲に亘ってデフォルトのブラシ不透明度を設定することが可能である。
図6は、本発明の別の実施形態600のフローチャートを示している。画像データをデータブロックAに保存し(ステップ602)、ユーザにプレビューを表示する。次に、マスクブロックBを保存する(ステップ604)。ユーザから不透明度設定値を受信するか、又は上述のようなデフォルト設定値から受信し(ステップ605)、初期不透明度設定値を決定する。ユーザは、マウス又はペンツールのようなポインティングデバイスを使用してプレビューをポイント及びクリックすることができる。次に、ブラシストロークの始点の初期座標を受信し(ステップ606.1)、ユーザが画像内の一ロケーションでポインティングデバイスによりクリックするときに記録する。初期のピクセル特性を当該ロケーションで測定する(ステップ608.1)。ポインティングデバイスの初期位置が図8Aにマークされている。
ユーザは、ポインティングデバイスのクリックボタンを離す前に、画像上でポインティングデバイスを使用した動作を行うことができる。ポインティングデバイスを移動させると、ブラシの次の位置が受信され(ステップ606.2)、ポインティングデバイスの新規座標が記録される。ピクセル特性を当該新規位置で測定する(ステップ608.2)。次に、これらの新規座標におけるピクセル相違度を求める(ステップ608.3)。
ユーザは、ポインティングデバイスのクリックボタンを離す前に、画像上でポインティングデバイスを使用した動作を行うことができる。ポインティングデバイスを移動させると、ブラシの次の位置が受信され(ステップ606.2)、ポインティングデバイスの新規座標が記録される。ピクセル特性を当該新規位置で測定する(ステップ608.2)。次に、これらの新規座標におけるピクセル相違度を求める(ステップ608.3)。
次に、ピクセル相違度値、初期ピクセル特性、現座標におけるピクセル特性、初期不透明度設定値、又はデフォルトの不透明度設定値の内の一つ以上の関数としてブラシの不透明度を変化させる(ステップ610)。ポインティングデバイスクリックの初期座標で測定されるピクセル特性、ポインティングデバイスの初期座標と現座標との差、及び現ピクセル特性と初期ピクセル特性との差の全てを考慮することができる。別の実施形態では、初期クリックに続くポインティングデバイスの移動、及びこの選択ツールに関連する強調の種類を関数に取り込む。平均値からの差も取り込むことができる。
図6に示す実施形態では、ストロークが完了しない場合、次の各位置を受信し(ステップ606.2)、不透明度を変化させる操作を繰り返す。不透明度を連続的にマッピングすると図8Bに示すようになり、この図には、分かり易くするためにマウス軌跡が示されている。例えばボタンを離すことにより、又は更にクリックすることにより信号が送信されてストロークが終了すると、ステップ614、616、及び618を処理することにより、ブロックがユーザに表示される。
図6に示す実施形態では、ストロークが完了しない場合、次の各位置を受信し(ステップ606.2)、不透明度を変化させる操作を繰り返す。不透明度を連続的にマッピングすると図8Bに示すようになり、この図には、分かり易くするためにマウス軌跡が示されている。例えばボタンを離すことにより、又は更にクリックすることにより信号が送信されてストロークが終了すると、ステップ614、616、及び618を処理することにより、ブロックがユーザに表示される。
方法600によって、ストロークの実行中に適応が可能になるが、この方法では、結果をユーザに対して表示する前に、ブラシストロークが完了するのを待つ。ステップ614、616、及び618をストローク中に処理することにより、ブラシストロークを加えている間にブラシストロークの結果を連続的に閲覧可能にする更に別の実施形態が可能である。
図6の実施形態に連続関数を使用するプロセスを図7A〜7Dに示す。図7Aは、被験者の唇の上にシミが付いている状態の元の画像を示し、この画像はデータブロックに保存されている(ステップ602)。図7Bは、ステップ608.3で決定したピクセル相違度値を使用した特徴の変化を示すマスクを示している。明領域は、測定される一連の特徴(上の記述を参照)に対するピクセルの強い類似性を示唆し、暗領域は大きな相違度を示唆する。具体的には、図7Bのピクセルが明るい程、測定された特徴(例えば、唇の赤の陰影)に対する類似性が高い。図7Bでは、唇だけでなく、シミ及び皮膚の他の一部分も何らかの非ゼロ値を示すが、これらは、明らかにユーザがターゲットとしたくないピクセル群であることに留意されたい。図7Cは、ステップ605の元の不透明ブラシマスクを示しており、ブラシストローク500を利用して初期不透明度設定値が決定される。白ピクセル群は、ブラシ密度の値が大きいことを示唆している。図7Dは、前記連続関数の結果を示しており、即ち図7Dの各ピクセルは、図7Bの該当するピクセル、及び図7Cの該当するピクセルに連続関数を適用した結果、例えば乗算の結果である。一実施形態では、バリエーションマスクを0...1の範囲に正規化し、ブラシマスクも0...1の範囲に正規化する。密度の値が大きい場合、ブラシマスクを0...1.5又は0...2.0に正規化することが望ましい。図7Dに示すように、図7Bの不所望領域の大部分がこの段階で消滅している(シミ、鼻、顎が見えない)。
別の実施形態では、ブラシ処理されたピクセルの自己適応ブラシの不透明度は、初期自己適応ブラシの不透明度、及び基本となるピクセル特性と自己適応ブラシマスクの不透明度の連続関数である。
別の実施形態では、中間保存マスクを用いて、連続する自己適応ブラシストロークに自己適応ブラシストローク間の相互作用によるアーチファクトが発生する現象を回避する。これにより、デジタル画像の種々の領域に多数の自己適応ブラシストロークを迅速に塗り重ねることができる。自己適応ブラシストロークの各ピクセルによる相互作用は、一つの基準色と比較されるだけでなく、ブラシストローク内の複数のピクセルとも比較される。
別の実施形態では、自己適応ブラシストロークの各ピクセルを、ストロークの所定の長さに亘って分散している複数のピクセルと比較する。
別の実施形態では、中間保存マスクを用いて、連続する自己適応ブラシストロークに自己適応ブラシストローク間の相互作用によるアーチファクトが発生する現象を回避する。これにより、デジタル画像の種々の領域に多数の自己適応ブラシストロークを迅速に塗り重ねることができる。自己適応ブラシストロークの各ピクセルによる相互作用は、一つの基準色と比較されるだけでなく、ブラシストローク内の複数のピクセルとも比較される。
別の実施形態では、自己適応ブラシストロークの各ピクセルを、ストロークの所定の長さに亘って分散している複数のピクセルと比較する。
コンピュータを用いた情報処理システムに本明細書に記載される種々のステップを実行させるコンテンツを記録した、コンピュータで読み取り可能な媒体が提供される。
有利な点として、本発明は、コンピュータを用いた情報処理システムに本明細書に記載される種々のステップを実行させるコンテンツを記録したコンピュータで読み取り可能な媒体の上で具体化することができ、マウス又はペンツールのようなポインティングデバイスと一緒にパッケージ化し、キットとして販売することができる。
有利な点として、本発明は、コンピュータを用いた情報処理システムに本明細書に記載される種々のステップを実行させるコンテンツを記録したコンピュータで読み取り可能な媒体の上で具体化することができ、マウス又はペンツールのようなポインティングデバイスと一緒にパッケージ化し、キットとして販売することができる。
本発明は、本明細書に記載される特定のハードウェアに制限されず、開示される方法を使用したデジタル画像の処理を可能にする既存の又は将来開発される予定のあらゆるハードウェアを使用することができる。
メモリブロック又はデータブロックという用語は、当業者には公知の利用可能な全てのコンピュータ関連画像記録構造を指し、RAM、プロセッサキャッシュ、ハードドライブ、又はダイナミックメモリ装置を含むこれらの要素の組み合わせを含むがこれらに限定されない。好適には、開示される方法は、高位の記述言語を用いて記述することにより、又は画像処理プログラムに隣接するものとして編集された、利用可能なプラグインアプリケーションを作成することにより、コンピュータプログラム(図示しない)の中で具体化される。本明細書に記載される自己適応ブラシは、プラグイン補助プログラムとして、あらゆる市販の画像処理プログラム、又は画像を修正して表示する機能を有する、カラーコピー機、又はセルフサービス方式の写真プリントキオスクのようないずれかの画像処理装置に組み込むことができる個別モジュールとして、ダイナミックライブラリファイル又は画像測定及び修正が有用である得る他のソフトウェアプログラムに組み込むことができる同様のモジュールとして、或いはスタンドアローンのソフトウェアプログラムとして、使用することができる。
メモリブロック又はデータブロックという用語は、当業者には公知の利用可能な全てのコンピュータ関連画像記録構造を指し、RAM、プロセッサキャッシュ、ハードドライブ、又はダイナミックメモリ装置を含むこれらの要素の組み合わせを含むがこれらに限定されない。好適には、開示される方法は、高位の記述言語を用いて記述することにより、又は画像処理プログラムに隣接するものとして編集された、利用可能なプラグインアプリケーションを作成することにより、コンピュータプログラム(図示しない)の中で具体化される。本明細書に記載される自己適応ブラシは、プラグイン補助プログラムとして、あらゆる市販の画像処理プログラム、又は画像を修正して表示する機能を有する、カラーコピー機、又はセルフサービス方式の写真プリントキオスクのようないずれかの画像処理装置に組み込むことができる個別モジュールとして、ダイナミックライブラリファイル又は画像測定及び修正が有用である得る他のソフトウェアプログラムに組み込むことができる同様のモジュールとして、或いはスタンドアローンのソフトウェアプログラムとして、使用することができる。
データの保存に適する既存の又は将来開発される予定のコンピュータで読み取り可能な媒体を使用して、前述のインターフェース、方法、及びアルゴリズムを実現するプログラムを格納することができ、このような媒体として、これらには制限されないが、ハードドライブ、フロッピーディスク、デジタルテープ、フラッシュカード、コンパクトディスク、及びDVDを挙げることができる。コンピュータで読み取り可能な媒体は、2つの連結されたハードドライブのような複数の装置を含むことができる。本発明は、本明細書において使用される特定のハードウェアに制限されず、画像処理を可能にする既存の又は将来開発される予定のあらゆるハードウェアを使用することができる。
図面及び関連する記述は、本発明の実施形態を例示するために提供されているのであり、本発明の技術範囲を制限するものではない。本明細書において「一実施形態」に言及する場合、当該実施形態に関連して記載される特定の機能、構造、又は特徴が本発明の少なくとも一つの実施形態に含まれることを示す。本明細書の複数の箇所に「一実施形態」が現われても、これら全てが必ずしも同じ実施形態を指す訳ではない。
本明細書において使用する場合、特に断らない限り、「備える」という用語、及びそれと等価な表現、並びにそれら用語の文法的変形形態は、他の追加要素、構成要素、整数、又はステップの排除を意図して使用されているのではない。
本明細書において使用する場合、特に断らない限り、「備える」という用語、及びそれと等価な表現、並びにそれら用語の文法的変形形態は、他の追加要素、構成要素、整数、又はステップの排除を意図して使用されているのではない。
また、実施形態はフローチャート、フロー図、構造図、又はブロック図として表わされる。フローチャートには、複数の操作の種々のステップが連続するプロセスとして開示されるが、これらの操作の多くは並行して又は同時に行なうことができる。列挙される複数のステップは、制限的なものではなく、本方法に必須であることを示している訳でもなく、例示的ステップに過ぎない。
「記録媒体」という用語は、データを保存する一つ以上の装置を表わすことができ、これらの装置には、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記録媒体、光記録媒体、フラッシュメモリ装置、電気記録媒体、又はコンピュータ等の機械が読み取ることができる形態で情報を格納する他の媒体が含まれる。「データ要素」という用語は、単一のアイテムとしてパッケージ化される全ての量のデータを指す。「データユニット」という用語は、論理セクションを含むデータ要素又はデータユニットの集合を指す。「画像ブロック」という用語は、別の記憶場所に格納されて、元の保存デジタル画像に影響を与えることなく変更できるデジタル画像の完全コピー又は部分コピーを指す。
「記録媒体」という用語は、データを保存する一つ以上の装置を表わすことができ、これらの装置には、リードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記録媒体、光記録媒体、フラッシュメモリ装置、電気記録媒体、又はコンピュータ等の機械が読み取ることができる形態で情報を格納する他の媒体が含まれる。「データ要素」という用語は、単一のアイテムとしてパッケージ化される全ての量のデータを指す。「データユニット」という用語は、論理セクションを含むデータ要素又はデータユニットの集合を指す。「画像ブロック」という用語は、別の記憶場所に格納されて、元の保存デジタル画像に影響を与えることなく変更できるデジタル画像の完全コピー又は部分コピーを指す。
特定の好適な実施形態を参照して本発明を詳細に説明したが、他の実施形態も可能である。従って、請求の範囲に規定される技術範囲は本明細書に含まれる好適な実施形態の説明に制限されるものではない。請求の範囲、要約書、及び図面を含む本明細書に開示される全ての特徴、及び開示されるあらゆる方法又はプロセスのステップは全て、このような特徴、及び/又はステップの内の少なくとも一部が互いに矛盾する組み合わせを除いて、あらゆる組み合わせに組み合わせることができる。請求の範囲、要約書、及び図面を含む本明細書に開示される各特徴は、特に断らない限り、同じ、等価な、又は同様の目的を果たす別の特徴によって置き換えることができる。従って、特に断らない限り、開示される各特徴は、一般的な一連の等価な特徴又は同様の特徴の単なる一例である。
Claims (14)
- ユーザからのポインティングデバイス入力信号に基づいて選択的に画像を強調する方法であって、
ユーザにプレビューを表示するステップ
ユーザがプレビューにポインティングデバイスを使用して、画像上でポインティングデバイスを用いた移動を行なうことを可能にするステップ、
画像内の初期座標に位置するポインティングデバイスから第1入力信号を受信するステップ、
初期座標を記録するステップ、
初期座標における初期ピクセル特性を測定するステップ、
画像内の第2座標に位置するポインティングデバイスから第2入力信号を受信するステップ、
第2座標における第2ピクセル特性を測定するステップ、
初期ピクセル特性及び第2ピクセル特性に基づいてピクセル相違度値を決定するステップ、並びに
決定したピクセル相違度値の関数として第2ピクセル特性を変更するステップ
を含む方法。 - ユーザからのポインティングデバイス入力信号に基づいて選択的に画像を強調する方法であって、
ユーザにプレビューを表示するステップ、
ユーザがプレビューにポインティングデバイスを使用して、画像上でポインティングデバイスを用いた移動を行なうことを可能にするステップ、
ポインティングデバイスから、画像内のブラシストロークを決定する一連の入力信号を受信するステップ、
ブラシストロークのピクセル特性を測定するステップ、
ブラシストローク内の各ピクセルの個々のピクセル特性を測定するステップ、
測定されたピクセル特性及び個々のピクセル特性に基づいて、ブラシストローク内の各ピクセルのピクセル相違度値を決定するステップ、
決定したピクセル相違度値の関数として個々のピクセル特性を変更するステップ
を含む方法。 - コンピュータを用いた情報処理システムに請求項1記載の方法のステップを実行させるコンテンツを記録した、コンピュータで読み取り可能な媒体。
- コンピュータを用いた情報処理システムに請求項2記載の方法のステップを実行させるコンテンツを記録した、コンピュータで読み取り可能な媒体。
- ポインティングデバイスと、コンピュータを用いた情報処理システムに、請求項1記載の方法のステップを実行させるコンテンツを記録した、コンピュータで読み取り可能な媒体とを備えるキット。
- ポインティングデバイスと、コンピュータを用いた情報処理システムに請求項2記載の方法のステップを実行させるコンテンツを記録した、コンピュータで読み取り可能な媒体とを備えるキット。
- 第2ピクセル特性の変更を、初期不透明度設定値、デフォルトの不透明度設定値、第1入力信号に続くポインティングデバイスの移動、又は強調の種類の内の一つ以上の関数として行う、請求項1記載の方法。
- 強調の種類が、暗くする処理、明るくする処理、色を変える処理、又は鮮明化する処理である、請求項7記載の方法。
- 個々のピクセル特性の変化を、初期不透明度設定値、デフォルトの不透明度設定値、又は強調の種類の内の一つ以上の関数として行う、請求項2記載の方法。
- 強調の種類が、暗くする処理、明るくする処理、色を変える処理、又は鮮明化する処理である、請求項9記載の方法。
- ピクセル変更の関数が連続関数である、請求項1記載の方法。
- ポインティングデバイス入力信号に基づいて選択的に画像を強調する方法であって、
ユーザから第1の選択を受信するステップ、
ユーザからの元の選択入力、
選択の中心における一又は複数のピクセルの特性、
元の未編集画像のピクセル群の特性、及び
選択の中心までの空間距離
に基づいて選択不透明度を微調整するステップ、
第1の修正された選択不透明度をマスクに保存するステップ、
ユーザから第2の選択を受信するステップ、
元の選択、
第2の選択の中心における一又は複数のピクセルの特性、
元の未編集画像のピクセル群の特性、及び
第2の選択の中心までの空間距離
に基づいて第2の選択不透明度を微調整するステップ、並びに
第2の修正された選択不透明度をマスクに重ね合わせるステップ
を含む方法。 - マスク、元の画像、及び所望の強調を組み合わせ、ユーザにプレビューとして表示する、請求項12記載の方法。
- 修正された第2の選択不透明度をマスクに重ね合わせるステップを、乗算演算を使用して行う、請求項12記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US77205306P | 2006-02-10 | 2006-02-10 | |
PCT/US2007/061962 WO2007095482A1 (en) | 2006-02-10 | 2007-02-10 | Self-adaptive brush for digital images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009526335A true JP2009526335A (ja) | 2009-07-16 |
Family
ID=38371857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008554535A Pending JP2009526335A (ja) | 2006-02-10 | 2007-02-10 | デジタル画像の自己適応ブラシ |
Country Status (3)
Country | Link |
---|---|
US (1) | US20070188510A1 (ja) |
JP (1) | JP2009526335A (ja) |
WO (1) | WO2007095482A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8037413B2 (en) * | 2007-09-06 | 2011-10-11 | Adobe Systems Incorporated | Brush tool for audio editing |
US20090109236A1 (en) * | 2007-10-30 | 2009-04-30 | Microsoft Corporation | Localized color transfer |
US8687015B2 (en) | 2009-11-02 | 2014-04-01 | Apple Inc. | Brushing tools for digital image adjustments |
US8625908B2 (en) * | 2009-11-02 | 2014-01-07 | Apple Inc. | Managing raw and processed image file pairs |
US8810596B2 (en) * | 2009-11-11 | 2014-08-19 | Apple Inc. | Cursor for application of image adjustments |
US8406566B1 (en) * | 2010-05-27 | 2013-03-26 | Adobe Systems Incorporated | Methods and apparatus for soft edge masking |
US20120210261A1 (en) * | 2011-02-11 | 2012-08-16 | Apple Inc. | Systems, methods, and computer-readable media for changing graphical object input tools |
WO2013080071A1 (en) * | 2011-11-28 | 2013-06-06 | Koninklijke Philips Electronics N.V. | Image processing apparatus. |
US8988578B2 (en) | 2012-02-03 | 2015-03-24 | Honeywell International Inc. | Mobile computing device with improved image preview functionality |
US10055107B2 (en) * | 2015-09-14 | 2018-08-21 | Adobe Systems Incorporated | Probabilistic determination of selected image portions |
US10552015B2 (en) * | 2016-01-08 | 2020-02-04 | Adobe Inc. | Setting multiple properties of an art tool in artwork application based on a user interaction |
CN108170363A (zh) * | 2017-12-29 | 2018-06-15 | 努比亚技术有限公司 | 图片编辑方法、智能终端及计算机可读存储介质 |
US10832412B2 (en) * | 2018-06-13 | 2020-11-10 | Adobe Inc. | Interactive region coloring |
US11049289B2 (en) | 2019-01-10 | 2021-06-29 | General Electric Company | Systems and methods to semi-automatically segment a 3D medical image using a real-time edge-aware brush |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266836A (ja) * | 1993-03-11 | 1994-09-22 | Fujitsu Ltd | エアブラシ処理方式 |
JPH10105731A (ja) * | 1996-09-27 | 1998-04-24 | Casio Comput Co Ltd | 画像描画装置および画像描画方法並びに画像描画プログラムを記録した媒体 |
JPH10320578A (ja) * | 1997-04-04 | 1998-12-04 | Microsoft Corp | グラフィックス・コンポーネントを使用するコンピュータの画像処理方法及び装置 |
JP2000357239A (ja) * | 1999-04-26 | 2000-12-26 | Adobe Syst Inc | デジタルペインティング |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3436958B2 (ja) * | 1993-12-08 | 2003-08-18 | 株式会社東芝 | 画像入力装置 |
US5852673A (en) * | 1996-03-27 | 1998-12-22 | Chroma Graphics, Inc. | Method for general image manipulation and composition |
EP0886437B1 (en) * | 1997-06-17 | 2004-11-24 | Seiko Epson Corporation | Method and apparatus for colour adjustment |
US6434269B1 (en) * | 1999-04-26 | 2002-08-13 | Adobe Systems Incorporated | Smart erasure brush |
AUPQ289099A0 (en) * | 1999-09-16 | 1999-10-07 | Silverbrook Research Pty Ltd | Method and apparatus for manipulating a bayer image |
US7382378B2 (en) * | 2003-10-30 | 2008-06-03 | Sensable Technologies, Inc. | Apparatus and methods for stenciling an image |
US7609894B2 (en) * | 2004-02-17 | 2009-10-27 | Corel Corporation | Adaptive sampling region for a region editing tool |
-
2007
- 2007-02-10 JP JP2008554535A patent/JP2009526335A/ja active Pending
- 2007-02-10 WO PCT/US2007/061962 patent/WO2007095482A1/en active Application Filing
- 2007-02-12 US US11/674,080 patent/US20070188510A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266836A (ja) * | 1993-03-11 | 1994-09-22 | Fujitsu Ltd | エアブラシ処理方式 |
JPH10105731A (ja) * | 1996-09-27 | 1998-04-24 | Casio Comput Co Ltd | 画像描画装置および画像描画方法並びに画像描画プログラムを記録した媒体 |
JPH10320578A (ja) * | 1997-04-04 | 1998-12-04 | Microsoft Corp | グラフィックス・コンポーネントを使用するコンピュータの画像処理方法及び装置 |
JP2000357239A (ja) * | 1999-04-26 | 2000-12-26 | Adobe Syst Inc | デジタルペインティング |
Also Published As
Publication number | Publication date |
---|---|
US20070188510A1 (en) | 2007-08-16 |
WO2007095482A1 (en) | 2007-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009526335A (ja) | デジタル画像の自己適応ブラシ | |
US8644644B2 (en) | Methods and apparatus for blending images | |
US7382378B2 (en) | Apparatus and methods for stenciling an image | |
Kalkofen et al. | Interactive focus and context visualization for augmented reality | |
Kalkofen et al. | Comprehensible visualization for augmented reality | |
US8401284B2 (en) | Color correcting method and apparatus | |
US8385681B2 (en) | Blemish removal | |
CN105069782B (zh) | 一种用于限定图像的边界的方法和设备 | |
US8692847B2 (en) | Brushing tools for digital image adjustments | |
JP3189870B2 (ja) | 画像処理装置 | |
US8947452B1 (en) | Mechanism for displaying visual clues to stacking order during a drag and drop operation | |
US8452105B2 (en) | Selecting a section of interest within an image | |
US8548251B2 (en) | Defining a border for an image | |
US20130215143A1 (en) | Defining a border for an image | |
US10289291B2 (en) | Editing nested video sequences | |
US20130120442A1 (en) | Systems and Methods for Creating and Editing Seam Carving Masks | |
US20130067380A1 (en) | Tools for selecting a section of interest within an image | |
US20200394773A1 (en) | Utilizing context-aware sensors and multi-dimensional gesture inputs to efficiently generate enhanced digital images | |
US7088375B1 (en) | Grouping layers in composited image manipulation | |
US10535175B2 (en) | Timeline tool for producing computer-generated animations | |
KR102448551B1 (ko) | 노드 기반 그래프에 의해 구성되는 알고리즘을 이용한 영상 처리 방법 및 장치 | |
KR102606373B1 (ko) | 영상에서 검출되는 얼굴의 랜드마크를 조절하기 위한 방법 및 장치 | |
CN117495894A (zh) | 图像生成处理方法及电子设备 | |
JPH04279980A (ja) | 画像編集装置 | |
JPH10283485A (ja) | 輪郭抽出装置、近似評価方法及び輪郭抽出プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120425 |