JP2009278623A - 撮像デバイス内でタッチ式調節を実行する方法及び装置 - Google Patents

撮像デバイス内でタッチ式調節を実行する方法及び装置 Download PDF

Info

Publication number
JP2009278623A
JP2009278623A JP2009115945A JP2009115945A JP2009278623A JP 2009278623 A JP2009278623 A JP 2009278623A JP 2009115945 A JP2009115945 A JP 2009115945A JP 2009115945 A JP2009115945 A JP 2009115945A JP 2009278623 A JP2009278623 A JP 2009278623A
Authority
JP
Japan
Prior art keywords
image
user
image material
adjustments
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009115945A
Other languages
English (en)
Other versions
JP5384190B2 (ja
Inventor
Florian Ciurea
シュレア フロリアン
Alexander Berestov
ベレストフ アレクサンダー
Chuen-Chien Lee
チェン リー チュエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Electronics Inc
Original Assignee
Sony Corp
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Electronics Inc filed Critical Sony Corp
Publication of JP2009278623A publication Critical patent/JP2009278623A/ja
Application granted granted Critical
Publication of JP5384190B2 publication Critical patent/JP5384190B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Abstract

【課題】補捉された画像マテリアルとのユーザ対話に関する技術を提供する。
【解決手段】画像マテリアルに含まれる要素に画像内容調節を選択的に適用するカメラ及び方法。例示的に、本方法は、ユーザタッチスクリーン入力の登録、及びタッチ入力が登録された位置での補捉された画像マテリアル内の特定の要素の任意範囲の判断を伴っている。選択された状態で、要素は、ディスプレイ上に強調表示することができ、どのタイプの調節が適用されるかを制御するために付加的なユーザ入力を任意的に入力することができる。次に、補捉された画像マテリアル内の要素は、補捉画像の残りの部分に関連してその要素の内容に対して自動の又はユーザ選択の調節を適用するために処理される。撮像要素への調節は、彩度、ホワイトバランス、露光、サイズ修正、ノイズ低減、明瞭化、ぼかし、及び消去などのようなあらゆる従来の形式の画像編集を含むことができる。
【選択図】図1

Description

関連出願への相互参照
該当なし
連邦政府委託研究又は開発に関する言明
該当なし
コンパクトディスク上に提出した内容の引用による組込み
該当なし
著作権保護を受ける内容の通知
本特許文書における内容の一部分は、米国及び他国の著作権法の下の著作権保護を受ける。著作権の所有者は、米国特許商標庁の公開ファイル又は記録内に本特許文書又は特許の開示が現れる時の文書の複製に異論はないが、それ以外の場合は、全ての著作権を完全に留保するものである。著作権の所有者は、「37 C.F.R.§1.14」に準じた自己の著作権を非限定的に含み本特許文書を機密に保持する著作権のいずれをもここに放棄するものではない。
技術分野
本発明は、一般的に、カメラ及び媒体処理に関し、より具体的には、補捉された画像マテリアルとのユーザ対話に関する。
デジタルカメラ及びビデオカメラは、多くの場合にタッチスクリーンディスプレイを利用してメニューのトラバース及び選択を容易にする。デジタルカメラ及びビデオカメラ用途では、記録したマテリアルの再生中又は後に、補捉したシーンをプレビューするためにタッチスクリーンの表示部分自体を一般的に利用する。これらのデバイスにおいては、デバイスがメニューモードに入ると、ユーザは、自身の必要に応じて修正するための1つ又はそれよりも多くのパラメータを選択することができる。既存のタッチスクリーンデバイスの一部では、更に、ユーザがタッチスクリーンへの入力に基づいてスクロールや拡大を行うことを可能にする。
補捉した画像の態様を修正するための機能は、典型的に、露光及び色のような画像全体の態様の修正を伴っている。一部のデバイスは、問題を検出してそれを除去又は低減する自動赤目除去のような機能を提供する。他のデバイスは、強度又は色が修正される区域にわたって選択領域をユーザが動かすことを可能にすることができる。しかし、いずれの場合も、タッチスクリーンに関連するディスプレイ上に表示されるような画像態様の修正及び強化のユーザに提供される制御は限られている。
従って、デジタルカメラ及びビデオカメラに関してユーザが使い易いタッチ入力制御を提供する必要性が存在する。本発明は、その必要性、並びにその他を満たすものである。
ユーザからの1回のタッチスクリーン接触に応答してなどで、補捉されたマテリアル内の要素に画像調節を選択的に適用するための撮像デバイス(例えば、カメラ及び/又はビデオカメラ)内のタッチスクリーンディスプレイの双方向性を利用する方法及び装置について説明する。簡潔にするために、「カメラ」という語は、本明細書では、静止及び/又はビデオシーケンスを補捉するように構成されたあらゆるデバイスを指すために用いる。本発明の方法によれば、ユーザは、マテリアル補捉(静止画像又はビデオ)中か又はディスプレイ上でのマテリアルの再生中のいずれかにおいて、タッチスクリーンディスプレイを用いてシーン内の要素を選択することができる。本発明の好ましいモードでは、検出されたシーンの態様又は要素に応じて、ユーザからの選択入力が登録される。シーン内の1つ又はいくつかの要素の選択は、タッチ認識表示画面上に表示された時の要素の区域内に触れることに応答してユーザによって実行される。選択処理に応答して、ディスプレイ上に表示された1つ又はそれよりも多くの関連する要素が強調表示され、カメラデバイス内の画像処理によって適切な調節が実行される。
本発明の少なくとも1つの実施においては、初期接触後のタッチスクリーン接触のタイプ(例えば、持続時間、方向、及びパターンなど)が、実行される動作を決める。1つの好ましい実施において、タッチスクリーン接触の持続時間(継続)は、選択の範囲及び/又は選択された画像部分上で実行される動作を決める。例示的に、ユーザが表示画面との選択接触を持続する(登録されるのに十分な力でタッチスクリーンを指で押下する)場合、ユーザのタッチ接触が中断されるまで選択の絞り込みが実行され、これは、好ましくは、対応する強調表示を用いて選択を拡大することなどによって行われる。この選択の絞り込み(セグメント化)を理解するために、部屋の補捉された画像内に「入れ子にされた」物体、すなわち、机があり、その上に棚があり、棚の上には陳列台上の野球ボールを含む多数の要素がある例を見てみる。タッチスクリーン上の野球ボールの位置にユーザ接触が行われると、最初に野球ボールが選択され、ユーザ接触が持続すると、次に野球ボール及び陳列台が選択され、接触が持続すると、それらが配置された棚が選択され、接触が持続すると、机が選択される。
以下の用語は、一般的に本明細書に関連して説明するが、本明細書の特定の詳述を制限するように解釈されないものとする。
「タッチスクリーン」という語は、本明細書では、表示画面とのユーザの接触又はそれへの接近の位置を感知するあらゆる手段を指すと考えられる。ある一定の新しい非接触型タッチスクリーン上で見られるような近接感知は、本明細書で説明するようなタッチスクリーン感知と同等の機能性を提供し、1インチ又はそれ未満以内のようにタッチスクリーンの十分な近接性内でユーザ入力を感知する点に注意されたい。説明を簡潔にするために、本明細書では接触ベースのタッチスクリーンに関連する用語を採用するが、このような説明の各々の事例は、近接性ベースのタッチスクリーンにも同等に適用される。
「調節」という語は、本明細書では、一般的に、選択した物体に関連する画像マテリアル及び/又は隣接する画像マテリアルの修正及び/又は強化を説明するために用いる。「修正」及び「強化」という語も本明細書で用いるが、これらの用語は、実質的に同義語と見なしてよい。
「要素」という語は、表示画面上に見える画像マテリアル内で補捉されるような通常の物体を示し、本明細書では、「物体」とも呼ばれる。これらの物体は、要素(物体)の周辺の空間の広がりを囲む任意の境界を有する画像の一部分として表されている点を認めるべきである。従って、物体又は要素という語は、通常、単語の一般的意味で使用され、補捉された画像に関してディスプレイ上に表示される自動車、飛行機、列車、人、動物、花、木、電子書籍、ウォークマン、コンピュータ、テレビ、又は他のあらゆるマテリアル品目を選択することができ、その対応する画像マテリアルが本発明により調節される。
本発明は、限定ではないが以下の説明を含むいくつかの方法で具現化されるのに適している。
本発明の一実施形態は、(a)補捉された画像マテリアル内の特定の要素が表示される表示画面上の位置でユーザタッチスクリーン入力を登録する段階、(b)ユーザタッチスクリーン入力の登録に応答して、あらゆる任意の形状を有することができる補捉された画像の特定の要素を選択する段階、及び(c)特定の要素の画像を処理して、補捉された画像の残りの部分に関連して要素の内容に調節(例えば、サイズ修正、明るさ、コントラスト、彩度、ホワイトバランス、ノイズ低減、明瞭化、ぼかし、及び消去(削除及び塗り潰し)など)を適用する段階を含む、タッチスクリーン入力を有するカメラによって補捉された画像マテリアル(例えば、静止画像又はビデオシーケンス)内に含まれる要素に調節を選択的に適用する方法である。
本発明の方法の1つのモードでは、画像が補捉された状態で、かつユーザによる画像の一部分のタッチスクリーン選択の前に、プログラミングは、補捉された画像内に含まれる複数の要素の各々の境界を自動的に確定し始める。このようにして、ユーザタッチ入力を表示画面上の物体と関連付けるために必要な処理量を大幅に低減することができ、ユーザタッチスクリーン入力時には、画像調節を実行するために、又は画像調節準備のために要素を強調表示するために、これらの複数の要素のうちの1つを直ちに選択することができる。
本発明の1つのモードでは、どの画像調節が行われることになるかの判断は、特定の物体の画像態様(例えば、明るさ、コントラスト、色のバランス、物体のサイズ、背景色など)を特徴付けて、修正又はその修正の範囲の判断がそこから発生する1組の基準又はベンチマーク(例えば、経験則)に対してその情報を比較することに応答して自動的に確定される。図3A−3Dに示す実施例(以下で説明する)は、要素のサイズ及びその周囲とのその著しい対照により、この要素が不要で画像から消去すべきなのでユーザがそれを選択する可能性が高い要素が示されると考えられる状況を例証する。
本発明の1つのモードでは、ディスプレイ上に表示された物体の選択を絞り込むためにユーザタッチスクリーン接触が登録される。
別のモードでは、どの画像調節が行われることになるかの判断は、特定の要素の選択後のユーザによる付加的なタッチスクリーン入力(例えば、指を移動する動作、又はそれほど好ましくはないが他の入力)に応答して確定され、補捉された画像マテリアル内でのその要素の編集方法を制御する。更に、この判断は、ユーザからの選択されたレベルの対話又は確認応答により自動的に実行することができる。本発明の1つのモードでは、プログラミングが、ユーザの観点から可能性が高そうな実行可能な1組の調節(例えば、ユーザ選択のために与えられ、最も可能性の高い所定の最高優先度から可能性の低い順序にまとめられたもの)を判断し、そこからユーザが調節を選択することができる。
本発明の少なくとも1つの実施においては、補捉された画像マテリアル及び/又はその画像マテリアル内で選択された要素を調節する際に用いられる付加的マテリアルが収集される。1つのモードにおいて、画像は、保存解像度(例えば、典型的にユーザによって設定される)よりも高い解像度で補捉され、次に、画像編集の結果がダウンコンバートされ、それによってターゲット保存解像度で画像を編集することによって得られると考えられるよりも優れた画像結果を提供する。高解像度の編集段階は、(a)第1画像解像度で画像マテリアルを補捉して調節を適用する段階、及び(b)画像調節処理完了後、第1画像解像度に等しいか又はそれ未満であり、好ましくは、ユーザ選択可能である(典型的に、ユーザは、補捉された画像の解像度を選択することができ、その場合には、それがその画像が保存される解像度になる)第2画像解像度で画像を保存する段階を含む。
別の増強情報のモードは、空間及び/又は時間的に変位された付加的画像を補捉し、かつ(a)主要画像マテリアルの補捉(すなわち、「シャッター」解放の電子的均等物に応答して補捉された)から時間的又は空間的に離れた付加的画像マテリアルを補捉する段階、及び(b)付加的画像マテリアルに応じて、画像マテリアルか又はより好ましくはそこにある物体に調節を適用する段階を含む。好ましくは、この処理は、編集(調節)後に、関連する付加的画像マテリアルを含まずに画像マテリアルを保存する段階を含む。
本発明の一実施形態は、(a)静止画像又はビデオシーケンスを含む画像マテリアルを補捉する段階、(b)補捉された画像マテリアル内の特定の要素が表示された表示画面上の位置でユーザタッチスクリーン入力を登録する段階、(c)ユーザタッチスクリーン入力の登録に応答して、あらゆる任意の形状を有することができる補捉された画像の特定の要素を選択する段階、(d)特定の要素を囲む強調表示を生成して特定の要素の選択を示す段階、(e)指を移動する動作の形式の付加的なタッチスクリーン入力の登録に応答して、補捉された画像マテリアルの特定の要素への調節の適用を制御する段階、及び(f)特定の要素の画像を処理して、補捉された画像の残りの部分に関連して要素の内容に調節を適用する段階を含む、タッチスクリーン入力を有するカメラによって補捉された画像マテリアル内に含まれる要素に調節を選択的に適用する方法である。
本発明の一実施形態は、(a)画像マテリアルを補捉するように構成された光学撮像器(例えば、CMOS及びCCDなど)、(b)補捉された画像マテリアルを視覚的に表示するための光学ディスプレイ、(c)補捉された画像マテリアルのディスプレイ上へのユーザ接触の位置を登録するために光学ディスプレイに結合されたタッチスクリーン、(d)画像内容を補捉して表示し、画像マテリアル内に含まれる要素に調節を選択的に適用するために光学撮像器、光学ディスプレイ、及びタッチスクリーンに結合されたコンピュータ、及び(e)(e)(i)補捉された画像マテリアル内の特定の要素が表示された表示画面上の位置でユーザタッチスクリーン入力を登録し、(e)(ii)ユーザタッチスクリーン入力の登録に応答して、あらゆる任意の形状を有することができる補捉された画像の特定の要素を選択し、かつ(e)(iii)特定の要素の画像を処理して、補捉された画像の残りの部分に関連して要素の内容に調節を適用するためのコンピュータ上で実行可能なプログラミングを含む装置(カメラ)である。
本発明の一実施形態は、画像内容を補捉して表示し、かつ画像マテリアル内に含まれる要素に対する画像内容調節を選択的に適用するように構成され、ディスプレイ及び関連するタッチスクリーンと共に構成されたカメラ内のコンピュータ上で実行可能であり、かつ(a)補捉された画像マテリアル内の特定の要素が表示された表示画面上の位置でユーザタッチスクリーン入力を登録する段階、(b)ユーザタッチスクリーン入力の登録に応答して、あらゆる任意の形状を有することができる補捉された画像の特定の要素を選択する段階、及び(c)特定の要素の画像を処理して、補捉された画像の残りの部分に関連して要素の内容に調節を適用する段階を含むコンピュータプログラムを収容するコンピュータ可読媒体である。
本発明は、本発明の教示から逸脱することなく別々に又はあらゆる望ましい組合せのいずれかで実施することができるいくつかの有用な態様を提供する。
本発明の態様は、ユーザからの簡単なタッチ入力に応答して、カメラデバイス内に記録されたマテリアルを修正する方法である。
本発明の別の態様は、記録された画像マテリアル内の要素(物体)を識別(セグメント化)するように構成されたカメラデバイスである。
本発明の別の態様は、ユーザタッチスクリーン入力に応答して、識別された要素の1つ又はそれよりも多くを選択するように構成されたカメラデバイスである。
本発明の別の態様は、選択した画像マテリアルを、これらの選択された画面要素の特性を画像及び1組の指針に関連して比較することに応答して、又は直接的なユーザ入力に応答して、又は自動修正及びユーザ指示修正の組合せとして、自動的に修正するように構成されたカメラデバイスである。
本発明の別の態様は、消去、置換、色修正、色彩度、露光、明るさ、ノイズ低減、ぼかし又は明瞭化、特殊効果、位置修正、及びサイズ修正などを含む、選択されたマテリアル要素の画像/ビデオ修正を実行するように構成されたカメラデバイスである。
本発明の別の態様は、選択された要素の画像/ビデオ修正に応答して、隣接媒体の融合又は画像平滑化を自動的に実行するように構成されたカメラデバイスである。
本発明の別の態様は、消去、色修正、明るさ、色彩度、露光、明るさ、ノイズ低減、ぼかし又は明瞭化、特殊効果、位置修正、解像度、及びサイズ修正などを含む、マテリアルの選択された要素の特性の修正を実行するように構成されたカメラデバイスである。
本発明の別の態様は、タッチスクリーン上で選択された要素に対してどの物体調節動作を実行するかを自動的に選択し、又は実行される物体調節動作を自動的に提案するように構成されたカメラデバイスである。
本発明の別の態様は、デバイス、又はユーザ調節履歴、又は保存されている調節プロフィールに応じて、物体調節動作を自動的に選択するか又は提案するように構成されたカメラデバイスである。
本発明の別の態様は、カメラが最も可能性の高い調節オプションを判断することに応答して、タッチスクリーン上で選択された要素に対して実行することができる動作を自動的にランク付けするように構成されたカメラデバイスである。
本発明の別の態様は、ユーザから受け取るタッチ動作のタイプに応じて、要素又は特性に対して実行される動作を自動的に選択するように構成されたカメラデバイスである。
本発明の別の態様は、水平軸を修正するなど、写真の向きを自動的に又はユーザタッチ入力により調節するように構成されたカメラデバイスである。
本発明の別の態様は、少なくとも1つのコンピュータプロセッサ(例えば、マイクロコントローラ、マイクロプロセッサ、DSP、及びASIC内のプロセッサなど)と、ユーザインタフェース、ディスプレイ、及び画像処理機能を含むプログラミングを実行するように構成されたメモリとを有するカメラデバイスである。
本発明の別の態様は、タッチセンサ式画面を含む広範囲の静止カメラ、ビデオカメラ、及び結合静止−ビデオ補捉デバイスに実施することができる補捉された画像及びビデオを修正する方法である。
本発明の別の態様は、選択された保存解像度よりも高い解像度で画像を補捉し、それによって編集処理中に高解像度を利用可能にするように構成されたカメラデバイスである。
本発明の別の態様は、物体の選択、並びに選択した物体に関連するシーン部分の消去、修正、又は強化を改善するための付加的マテリアル及び情報として利用することができる時間的陰影画像を保存するように構成されたカメラデバイスである。
本発明の別の態様は、物体の選択、並びに選択した物体に関連するシーン部分の消去、修正、又は強化を改善するための付加的マテリアル及び情報として利用することができる変位陰影画像を保存するように構成されたカメラデバイスである。
本発明の更に別の態様は、タッチスクリーンを有するいずれかの静止及び/又はビデオカメラデバイス内に上述の方法を組み込む機能を含み、好ましくは、この特徴は、メモリ内に(又はアクセス可能媒体、又はメモリ内にロード可能な媒体内に)保存されたプログラミングとして実施され、画像マテリアルを補捉、処理、及び表示するカメラ内の少なくとも1つのコンピュータデバイスによって実行される。
本発明の更に別の態様は、詳細説明が本発明の好ましい実施形態をそこに制限を課すことなく完全に開示するためのものである明細書の以下の部分にもたらされる。
本発明は、例証目的に過ぎない以下の図面を参照することによってより十分に理解されるであろう。
必須並びに選択された任意の処理段階を示す、本発明の実施形態によりタッチ入力に応答してカメラデバイス内に記録されたマテリアルを修正する流れ図である。 装置内のコンピュータ及びメモリを示す、本発明の実施形態により記録された画像マテリアルの修正(調節)を実行するためのカメラ装置のブロック図である。 本発明の態様が示されたタッチスクリーンファインダーインタフェースを有するカメラの作動シーケンスを示す図である。 本発明の態様が示されたタッチスクリーンファインダーインタフェースを有するカメラの作動シーケンスを示す図である。 本発明の態様が示されたタッチスクリーンファインダーインタフェースを有するカメラの作動シーケンスを示す図である。 本発明の態様が示されたタッチスクリーンファインダーインタフェースを有するカメラの作動シーケンスを示す図である。
図面をより具体的に参照すると、本発明は、説明目的で図1から図3Dに一般的に示す装置で具現化される。本明細書に開示するような基本概念から逸脱することなく、装置は、構成に関して及び部品の詳細に関して変わる可能性があり、方法は、特定の段階及び順序に関して変わる可能性がある点は認められるであろう。
本発明は、画像補捉デバイスのユーザが補捉した画像内の特定の要素にカメラ内調節及び強化を対話形式で適用することを可能にするための装置及び方法である。画像内の要素は、鳥、自動車、木、雲、月、人、動物、メモリスティック、MP3プレーヤ、コンピュータ、及び背景とは区別されるようなその他の品目を含むと見なすことができる要素である。要素の選択は、ボックスを移動することなどによりディスプレイの領域を選択する機能と混同されないようにすべきであり、この場合の補捉された画像は、単一の背景レイヤとして扱われる。本発明では、幾何学的に近くにいるが選択した物体の要素ではない要素を修正することなく、非常に変則的な形状の物体を修正、消去、及び強化するように選択することができる。本方法は、静止カメラ、ビデオカメラ、ハンディカム、ビデオカメラ、及びカメラ内蔵の携帯電話などを含むあらゆるデジタル画像補捉デバイス上に実施することができる。
説明を簡潔にするために、当業者に公知の画像処理段階を実行するための詳細は、本明細書では規定しない。例えば、色、強度、解像度、及び画像効果などに関する画像の処理、並びにトリミングのためのオプションなどは、当業技術で公知である。本発明は、一般的に、静止又はビデオカメラシステムの範囲内でこれらの様々な技術を利用、選択、及び適用して従来のカメラシステムを超えるいくつかの利点をもたらすための機構を提供する。
本発明による作動により、ユーザは、タッチスクリーン上に表示された物体の画像を選択して、次に、様々なカメラ制御設定に応じてこの物体を編集することができる。カメラ内プログラミングは、ユーザによるタッチ入力選択に基づいて、強化するための物体の境界を確定するように構成されている。選択された状態で、ユーザは、望ましい修正又は強化を適用することができる。代替的に、本発明の1つのモードでは、カメラ内プログラミングが、選択された区域の特性に基づいて、行われる1つ又はそれよりも多くの強化を自動的に予測し、画像強化の選択、及び/又は選択及び適用両方を自動的に実行することができる。このモードでは、カメラ内のプログラミングが望ましい調節を実行する一方、画像の修正された部分と画像の未修正部分とを適切に融合する。画像の好ましくない部分も予測するか又はユーザが選択することができ、これらは、自動的に又はユーザによる指示通りに削除することができる。
本発明のカメラ装置及びタッチスクリーン画像調節方法は、いくつかの恩典をもたらす。高速で簡単で効率的なユーザ対話手段が提供されるので、補捉したマテリアル(静止画像又はビデオ)の選択した部分を修正するようにカメラ内調節を行うことができる。修正される区域の範囲は、修正が適用される領域又はボックスによって固定されないが、本発明の少なくとも1つのモードでは、要素の範囲を定める特性に基づいて、自動的に判断されるように又はユーザからの補助があって要素が選択される。この手法を使用すると、大幅に改善された結果を獲得するために、付加的な調節の柔軟性を提供する。限定ではなく例示的に、従来型カメラベースの実施で見られるようにシーンの全ての部分に調節を全体的に適用するのとは対照的に、ユーザは、シーンの特定の選択された区域だけに対して明暗(例えば、明るく/暗く)又は色(範囲、シフト、及び強度など)を修正するように選択することができる。
本方法及び装置はまた、シーン内の関心のある区域を分離するための手段、例えば、背景要素から前景要素を分離し、ユーザが消去又は修正などを望む場合がある要素を検出するための手段でも構成される。本発明のセグメント化モードは、完全自動セグメント化及びユーザ補助のセグメント化を含む。完全自動セグメント化方法は、実施がより困難であるので、本発明の好ましい実施においてユーザの区域選択に応じたセグメント化を提供し、それによってより少ない処理でより良好なセグメント化結果を得ることができる。
カメラ内調節を実行するための従来の方法は、2つの典型的技術に依存する。第1は、全体調節の使用であり、露光補正、コントラスト補正、ホワイトバランス(色修正、不要な照明キャスト)などのような変換が、画像内の全てのピクセルに同様に適用される。第2に、一部のシステムは、調節される領域の自動選択を用いて達成可能な高いダイナミックレンジの圧縮のような限られた空間変換を提供する。
従来システムとは対照的に、本発明は、撮像デバイスのユーザが画面上に表示されたシーン内の区域への1回のタッチにより対話形式で調節する方法を提供する。
図1は、限定的ではなく例示的に示す本発明の方法の実施形態10を示している。カメラ装置は、カメラデバイス内の制御プロセッサ上でプログラミングの実行を開始するなどでブロック12により作動を開始する。ブロック14において、ユーザが作動モード及び設定を選択するなどでユーザ選択が確立される。ブロック16は、ユーザ選択に従ってマテリアルが補捉されて出力画面に表示されることを表している。本発明の少なくとも1つの実施によれば、ブロック16では、陰影フレーミングのような増強補捉モードのためのマテリアルも収集されると考えられる。補捉されたマテリアルが表示されて、ユーザは、撮像デバイス(デジタルカメラ又はビデオカメラ)のタッチスクリーン上で画像をレビューし、本発明により修正を行うことができる。ブロック18において、プログラミングは、好ましくは、補捉されたマテリアルを分析し、マテリアル内の要素(例えば、位置、範囲、境界、特性)を全体的又は部分的に判断して、任意的にブロック20でシーンの特性を確定し、ブロック22によりユーザが行いたい最も可能性の高いあらゆる調節を予想する。
タッチスクリーンとのユーザ対話(例えば、ユーザの指の圧力又は指の接近)は、ブロック24でタッチスクリーン上の関心のある区域上に登録され、ここに修正又は強化を適用することが望ましい。本発明のシステムは、1つの指による対話に応答してなどでタッチセンサ式表示画面に表示されるような補捉された画像マテリアル内の物体を調節するための機構を提供する。
上述の段階に応答して、カメラ内プログラミングは、画面上でユーザにより選択された位置に基づいて、ユーザによって示された選択のための境界をブロック26で自動的に計算し、好ましくは、ブロック28により物体の周囲に強調表示ハローを表示するなどでこれに応答して画像に注釈を付加する。本発明の選択モードでは、例えば、単純な消去のような場合には、選択を最初に強調表示する必要なく画像動作が実行されることが認められるであろう。更に、ブロック24、26、及び28内で、ユーザは、付加的な選択基準を入力し、及び/又は選択を修正又は絞り込むことができる。
更に、1つの実施又はモードにおいて、カメラ内プログラミングは、ユーザが最初に画面に触れると直ちに選択の境界を判断し始める。接触の持続に応答してなどで継続する接触に応答して、又はタッチスクリーン上での指の移動に応答して、カメラ内プログラミングは、更に、タッチスクリーン上の指の現在位置に基づくだけでなく前の位置に対しても範囲及び物体の選択に関して選択を絞り込む。1つのモードにおいて、ユーザ選択接触(又は接近)が持続されるのに応答して、プログラミングは、物体の選択を絞り込み、例えば、タッチスクリーン接触が解除されるまで選択を増大させる。選択が絞り込まれると、要素の強調表示(例えば、要素の境界を視覚的に識別するあらゆる形式)を更新して、適切なユーザフィードバックを提供する。別の実施例では、継続する接触又は付加的接触の指の動きを用いて、複数品目内で選択を絞り込む。2つの重複する要素A及びBの場合を見てみると、ユーザが画面に触れると、A及びBの一方又は両方が選択される可能性があるが、指の移動がA又はBのいずれかの方向を指すか又は触れることでそれらの位置決めを更に絞り込むのに応答して、適切な要素が要素A又は要素Bとして選択される。1つのモードでは、ユーザは、ディスプレイ上で選択される望ましい物体に関して必要な程度まで、タッチスクリーン上で望ましい物体の輪郭を仮想的に「描く」ことができる。
本発明の1つのモードにおいて、プログラミングは、ユーザ入力内で指を移動する動作の有無を検出するように構成されている。これらの指を移動する動作は、物体及び/又はこれらの物体に対して実行される作動の選択において、特殊な意味を有する。例示的に、そのような1つのタッチ動作は、選択した物体のタッチスクリーン区域の外へのタッチドラッグであり、従って、この物体をシーンから除外する。物体が画面から滑り出る前に、物体の選択の報知が、タッチドラッグ中に好ましくは実行され、従って、選択ミスを解消する。別の例示的な本発明の1つのモードでは、第1の方向(例えば、左)への指の短い移動の検出は、プログラミングに物体の明るさを低減させ、反対方向(例えば、右)への指の短い移動の検出は、プログラミングに、選択した区域上の明るさを増大させる。この関連では、コントラストの修正は、上下の指の動きを登録することに応答して実行することができる。
登録される指の動きの意図は、パターン及び速度の両方に応じているが、同時に、任意的にタッチスクリーンに関する圧力がそのように装備される点は認められるであろう。例えば、ユーザが画面要素の境界を辿る場合、それらの動きはより低速で、物体の境界上のパターンに従うが、これに対して、タッチ動作は迅速な方法で実行され、一般的に、物体の境界に対応しないことになり、少なくとも1つのモードにおけるプログラミングは、これら異なるタイプのタッチ間の違いを認識して、より広範なタッチスクリーン選択を提供し、これらは、メニュー又は他の選択機構を必要とせずに利用することができる。指の動作は、あらゆる望ましい数の機能を提供するために任意的に複雑にすることができる点も認められるであろう。例えば、指のパターンは、幾何学的パターン(例えば、半円、円、四角形、三角形、その他)、記号(例えば、照合印、疑問符、あらゆる形状の終端を有する簡単な矢印、キャレット、その他)、文字、既定のパターン、ユーザプログラムされたパターン、及びこれらの組合せを含むことができる。
本発明の別のモードにおいて、指の動き(例えば、右、左、上、下)の移動は、画像の垂直及び水平のサイズ修正を指示することができ、画像内の他の要素を修正せずに画像内の人物の幅を狭くすることなどが可能である。更に別の例は、選択した区域上で他の修正を実行するようにプログラミングに命令するために、別の方向(例えば、上、下、斜め、円形、角度など)での動きを検出する段階を含み、コントラストの増減、色のバランス及び色調の制御、ぼかし、明瞭化、ノイズ、テクスチャ、及び歪みなどを含む効果の適用を行う。別の例は、1つのモードにより、選択した品目上のタッチスクリーン上での指の回転運動が、ディスプレイのサイズ修正を実行し、例えば、プログラミングが、時計回りの回転の場合はディスプレイを拡大し、半時計回りの回転の場合はディスプレイを縮小するように装置が構成されている。サイズ修正の使用により、ユーザは、画面の一部分を十分な解像度で編集して、その後に元のサイズに戻すことができる。別のモードでは、表示されている別の要素に関連して画面上の要素の拡大を制御するために回転を利用することができる。このような入力の検出に応答して、あらゆる形式の画像処理をプログラミングによって適用することができる点は認められるであろう。
ブロック30に示すように、実行される動作は、タッチ接触のタイプに応じて、又は代替的にタッチ接触のタイプと選択された要素の特性との組合せによって判断される。実行される動作は、選択を絞り込む段階か又は選択された物体に対する修正を実際に開始する段階のいずれかを含むことができる。1つのモードでは、画像要素の選択(セグメント化)は、継続する接触に応答して絞り込まれ、選択した要素上にタッチ接触を持続するのに応答して選択を拡大する(又は代替的に縮小する)などである。少なくとも1つのモードにおいて、画像編集動作は、登録されているタッチ入力タイプ(例えば、動き及び接触のパターン)に応じてプログラミングによって選択され、これらは、選択された要素のあらゆる特性と組み合わせて利用することができる。本発明の1つのモードにおいて、プログラミングは、特性化(例えば、色、明るさ、コントラスト、色調)に応じて、選択された区域のシーン内の残りのマテリアルに対する関係に基づいて、画像要素に関して実行される可能な1つ又はそれよりも多くの動作を自動的に判断する。例えば、本発明の1つのモードにおいて、暗いか又は影になった区域がユーザによってポイントされると、カメラ内プログラミングは、選択された区域を明るくする(内部の露光を増す)ことを自動的に選択するように構成されている。このモードでは、利用可能な動作の中からいずれを実行すべきかを判断するために、継続するタッチ入力をプログラミングによって利用することができる。
画像物体に何を行うことができるかという選択は、好ましくは、画像の残りの部分と比較した要素のサイズ、位置などの特性、並びにカメラ内に保存された1組の指針に応じて判断される。例えば、シーンの周囲にある小さい要素は、消去、ぼかし、又は他の方法で視覚的に消滅させる可能性の高い候補である。写真の中央にある要素は、例えば、異なる明暗、色、及び陰影に応じて、強化が実行される対象になる可能性が高い。自動調節又は調節の提案で用いられる指針は、既定の設定、調節履歴(例えば、ユーザ又はカメラ)、及び/又は保存された調節プロフィール(例えば、ユーザ及びウェブサイトなどから)を含むことができる。
本発明の1つのモードでは、回転は、個々の要素に対して又は画面全体の補捉時に実行可能な動作の1つである。画像内の単一要素の回転では、明らかに、物体の背景で何らかの塗り潰しを実行する必要があり、これは、要素を消去する場合に必要なことと類似する。更に、画面全体の補捉は、望ましい量だけ回転させることができ、これは、本発明の別の態様によれば、歪んだ水平軸を修正するためなどである。画像全体の場合には、任意の角度で回転されることになる画像全体を選択するために特定の要素が拡大されると考えることができる。1つのモードにおいて、カメラが、撮像デバイスから取得することができるよりも少ないピクセルで画像を保存するように設定されている場合、カメラは、ユーザがタッチ制御の画像操作を完了するまで境界ピクセル(例えば、最大解像度の画像)の少なくとも一部分を保持し、その結果の画像は、基本的に、より大きい利用可能な画像とは僅かに異なる(歪曲された)ピクセル群を取り込む。利用可能な境界ピクセルの量は、画像サイズを小さくせずに画像を回転させる範囲を制限する可能性があり、そのために本発明の1つのモードは、画像全体の回転に応答して画像サイズを小さくすべきである時にユーザに警告する点は認められるであろう。回転中に境界ピクセルを保持して利用すると、多くの場合に回転を実行することができ、画像サイズを小さくすることも画像の全ての角の周囲で複雑な内部描画の実行を試みる必要もない。
回転動作の1つのモードにおいて、ユーザは、初期接触(又は非接触型感知では十分な接近)が行われた後に、画面上(又は画面の上)で円を描くように自身の指を摺動させることに応答して回転モードを選択する。継続する接触の持続が要素選択の絞り込みを変えるモードにカメラがある時、回転動作は、単一要素の回転から画面全体の回転まで、あらゆる選択レベルで入力することができる点は認められるであろう。
1つのモードでは、回転動作は、水平軸の歪み(例えば、水平軸がフレームにわたって水平でない)を検出するのに応答して、プログラミングによって自動的に判断することができ、1つのモードでは、回転動作は、自動的に実行するか、又は代替的に本明細書で説明した他の画像操作と同様にユーザ選択又は容認に応答して実行することができる。
本発明の1つのモードでは、ユーザが水平軸に沿って指を摺らすことによって水平回転を選択してその要素を選択し、この場合、プログラミングは、水平調節動作が選択されたように判断して画像の回転を実行し、それによって水平軸に沿った摺動から弧状に修正する(例えば、その結果のパターンは、横向きの「J」のような形状になる)。
システムは、修正を実行することができる特定の態様を自動的に判断することができるが、システムはまた、ユーザが受諾又は拒否することができるか又はユーザがいくつかの可能な調節のうちの1つを選択することを可能にする調節を提案することができる。1つの実施において、ユーザは、どのような修正又は強化が実行されることになるかに関してブロック32において任意的に選択肢を示される。これらのユーザ選択オプションは、非タッチスクリーンインタフェース要素(例えば、ボタン及びノブ)を通じてか、又はユーザ選択可能オプションを含むためにタッチスクリーン上でオーバーレイを利用して制御することができる。限定ではなく例示的に、調節又は強化のためのオプションは、(a)選択した区域内の彩度の増減、(b)選択した区域内のホワイトバランスの調節、(c)選択した区域内の露光の増減、(d)選択した区域内のノイズ低減の実行、(e)選択した区域の明瞭化又はぼかし、(f)選択した区域の画像からの削除、(g)シーンの他の部分から収集したテクスチャで選択区域を置換するというオプションによる選択した区域の削除、及び選択した画像部分に対して実行可能な他の画像処理機能の1つ又はこれらの組合せとすることができる。
修正及び/又は強化は、好ましくは、プログラミングが、選択された画像の調節を実行して、シーンの修正された部分をシーンの未修正部分と適切に融合することに応答して、ブロック34で実行される。修正は直ちに行うことができ、ユーザの唯一の頼りは、その後いつでも又は例えばカメラの電源がまだオンであり、及び十分なメモリが存在するなどの限られた時間内に修正を取り消すことである。本発明の1つのモードでは、ブロック36において、プログラミングが、修正又は1組の修正の受諾をユーザに任意的に問い合わせることができる。保存されていたマテリアルの修正は、ブロック38により保存される。修正が行われると、プログラミングは、好ましくは、実行された1組の修正に関する全ての必要な情報を保存し、この場合、修正されたマテリアルを元の形式に回復することができることが認められるであろう。1つのモードでは、取り消し機能は、1つの写真の編集中又はユーザによって選択されるなどの限られた時間のみで利用可能である。代替的に、別のモードでは、ユーザは、元の画像及び修正された画像の両方を保存するように選択することができる。
図2は、CPU又はコントローラ56によって処理され、メモリ58及び補助メモリ60(例えば、メモリスティック)を有し、その中にマテリアルを保存することができ、そこから本明細書で説明した本発明の態様を実行するためのプログラミングが実行される、必要に応じて集束及びズーム制御装置及び他の任意の撮像要素のような撮像器52及び制御式光学器械54と共に構成されたカメラ装置の実施形態50を示している。表示画面62が示されており、この上に補捉したマテリアル(ビデオ及び/又は画像)を表示することができる。表示画面62に結合されているのは、タッチスクリーン64であり、これが、画像の表示に応答して、並びにオーバーレイメニュー及び他の制御入力選択に応答してユーザタッチを登録する。カメラ装置50はまた、電源ボタン、記録ボタン、メニューコントロール、カーソルボタン、選択ハンドル、及びディスプレイ出力などの従来型カメラの制御のような、タッチスクリーンに関連しないユーザ入出力を表す非タッチスクリーンと共に示されている。
本発明の態様は、CPU56上で実行可能でメモリ58内に常駐するプログラミングに応答してなどで装置50内で実行するように実施される点は認められるであろう。更に、本発明の態様は、媒体上に保存されたプログラミングとして実施することができ、この場合、媒体は、CPU56による実行のために利用可能である点は認められるであろう。
図3A−3Dは、本発明によるタッチスクリーン画像修正及び/又は強化の例示的な実施形態90を示している。表示の制限のためにかつ簡潔にするために、実施例は、静止画像を撮るカメラの作動を示しているが、ビデオ画像処理も同様に表されるであろう。画像マテリアル92aが図3Aで補捉されて、そのうちの1つの要素(物体)がカモメ94である。図3Bにおいて、画像92aが表示されているタッチセンサ式画面にユーザが触れて、そこでタッチ96がカモメ94の位置でカメラによって登録される。図3Cにおいて、ユーザタッチ入力及びカモメ94の区域内の画像の特性に応じて、カモメという物体94の範囲が、カメラ内プログラミングによって輪郭又はハローをコントラスト表示させることなどにより判断、選択、及び強調表示98される。図3Dにおいて、カモメ94の区域内を画像に一度も補捉されなかったそれを画像92b内に出現させるように塗り潰すプログラミングによって修正が完了する。本発明は、消去される画素の塗り潰し(内部描画)の実行の際に元の画像からのパターン及び色を利用することができ、又は事前プログラムされた情報(例えば、指針、及び修正テーブルなど)のような付加的情報を利用することができ、又は以下の節で説明するようなカメラシステム内部で利用可能な付加的情報に応答する点は認められるであろう。
本発明の装置及び方法の多くのモード及びオプションは、補捉したマテリアルに対する望ましい修正及び強化の機能又はその結果の品質を改善するための増大したレベルの情報を提供する。以下の各々は、単一ショットに関してショットの画像特性に応じて利用されるか、全てのショットに関して利用されるか、又はユーザ選択設定に応じて利用することができるツールと見なすことができる。以下のツールは、単独で又は相互に及び上述の本発明の態様と共に様々に組み合わせて考えることができる。
高解像度編集は、マテリアルを保存するために設定された解像度よりも高い解像度でマテリアルが補捉される本発明の1つの実施によるツールである。このより高い解像度は、好ましくは、ユーザがマテリアルを編集するための十分な機会を与えられるまで保持され、その後、画像は、望ましい解像度に変換される。「十分な機会」とは、例えば、電源が保持される限り続く持続時間、十分なメモリが残っている間、次のマテリアルが編集されるまで、ユーザが付加的マテリアルの消去の指示を入力するまで、及び同様の状況、及びこれらの組合せを含むことができる。編集中、この付加的な解像度が選択処理、編集処理を助け、選択されたより低い解像度で保存されるとしても最終結果の品質を改善することができる。
高解像度編集を用いた以下の実施例を見てみると、ユーザが物体(例えば、満月)を選択して、これを最終画像で拡大したいとする。従って、高解像度補捉によって提供される追加解像度が利用可能なので、月が拡大されており、編集後のマテリアルが望ましい解像度レベルに縮小された後も、月が望ましい保存解像度に拡大された場合に発生することになるエイリアシング及びギザギザがより少なくなりやすい。ユーザはまた、背景の全て又は一部分を消去しながら、保存する1つ又はそれよりも多くの要素を選択した後などの選択が行われた後に画像のサイズを修正したい場合があり、この場合、保存される画像は、より高い品質で提供される。本発明の1つのモードでは、余分なビット密度も、隣接する区域及び他に基づいて、改善されたテクスチャ充填及び効果のために有利に利用される。複合画像保存フォーマット(同じ画像又はフレーム内で異なる解像度をサポートする)の場合、肖像写真の顔周りのようなより高い解像度が望ましい画像の一部分をユーザが選択することを可能にするために、付加的解像度を用いることができる。
時間的陰影フレーミングは、選択した画像の補捉の前か後に少なくとも1つの付加的画像が補捉され、従って、主要画像が、時間的に変位された少なくとも1つの関連陰影画像と共に補捉される本発明の1つの実施によるツールである。時間的陰影フレーミングは、カメラ設定、作動条件、ユーザ入力、又はこれらの組合せに応答して、好ましくは自動的に実行される。付加的画像(又はフレーム)は、それらが、それ自体は画像ではないが(例えば、好ましくは、容易にアクセス可能ではない)編集処理のための付加的データを収集するために利用される点で、補捉したものに「陰影を付ける」ものである。陰影画像から利用することができる1つのタイプの情報は、背景内のどの要素が動いているかを判断して(例えば、動きベクトルを計算することから)物体の選択を簡単にすることを含む、動きに関するものである。更に、移動中の物体がその上を横切っている背景に関する特定の情報が得られる。
この陰影画像処理はまた、従来のバーストシーケンス又はビデオシーケンス内で収集された画像に関しても利用することができる。カメラは、移動ショットなどのプログラムされた数のショットを連続で撮る、及び/又はシャッター制御が押されている限り継続的にショットを収集するように設定することができる。この場合、プログラミングは、編集処理中に画像シーケンス内のどこからの情報を使用することもでき、陰影画像間に十分な相違を検出することに応答して、ユーザは、要素が削除された区域の内部描画に応答してなどで編集処理から最も好ましい結果を提供する画像を選択することができる。明らかに、ビデオフレームは、静止画像のバーストと同様の方法で扱うことができる。
時間的陰影フレーミングの使用に関して、限定ではなく例示的に、カラフルな渦巻き型の雲を背景に補捉された友人の移動肖像写真を考える。しかし、画像が補捉された時に、シーン内でジェット機が横切ったとする。時間的陰影画像は、時間的に変位されるので(時間軸を横切って)、ジェット機は異なる位置にあり、この場合、ジェット機の画像を付加的なオレンジ色の雲の区画と置換するための付加的背景情報がこの画像から利用可能であり、この区画は、予測する必要はなく又は他の方法で造り上げる必要もない。この機構は、補捉したマテリアル内の物体の位置を置換するための上述の技術を強化するための手段を提供する。時間的にシフトされたデータは、いくつかの様々な修正及び強化を実行するために利用することができる。陰影フレーミングの1つのモードでは、僅かに異なるフラッシュ、レンズ、又はカメラ設定が陰影画像に関して利用されるので、その結果、画像強化のための利用可能なマテリアルの幅が広がる。本発明の1つのモードでは、主要画像よりも低い解像度で1つ又はそれよりも多くの陰影フレームを補捉することができる。時間的陰影フレーミングの使用はまた、シーン内で物体を選択するためのカメラシステムの機能を強化し、これは、付加的画像情報に応じて画像ベクトルを判断することができるためであり、その情報から、選択を行うためにシーン内の物体をより容易に区別することができる。
例えば、静止カメラにおいて、補捉される画像のシャッターシーケンスの前後に1つ又はそれよりも多くの付加的画像を収集することができる。これらの追加画像は、好ましくは、可聴カメラ報知(例えば、擬似シャッター音)なしで補捉され、陰影を付けている画像の強化に対して必要ない場合には、要望に応じて限られた持続時間だけ保持することができる。従来の赤目機能は、フラッシュが利用される時にプレフラッシュを提供することが多いが、本発明のモードによれば、このプレフラッシュ点灯シーケンス中に1つ又はそれよりも多くの画像が補捉される。陰影画像の集合は、更に別の修正のためにシーン内の赤目要素を選択する際、及び主要画像の修正及び強化においてシーンの他の要素を利用可能にする点の両方で助けになる。
ビデオカメラにおいては、前後のフレームを陰影画像として利用することができ、及び/又は付加的陰影フレームを他のフレーム間などで収集することができる(例えば、フレーム間に均等に分散させる)。
変位陰影フレーミングは、関心のある主要画像から空間的に変位された(例えば、端と端、又は被写体距離)陰影フレームを提供する本発明の1つの実施によるツールである。ユーザは、典型的にカメラの位置決めを制御するので、変位陰影フレーミングは、ユーザの命令通りか又は少なくともユーザが関わってのみ実行される。例えば、肖像写真を撮影するユーザは、一方側又は他方側に少し動いて(例えば、被写体までの距離によって1から4フィート)変位陰影フレーミングの画像を補捉する前か後に主要画像を補捉する。明らかに、この機能は、ユーザに対してより煩わしいが、それでも尚、より多くの詳細を利用可能にし、そこから、調節中に主要写真又はその中で選択された要素を強化又は修正することができる。時間的及び/又は変位陰影技術から収集された情報は、主要写真又はその一部分の解像度を増すための超解像度技術に従ってカメラ内で処理することができる。
上述の説明は、多くの詳細を含むが、これらは、本発明の現在好ましい一部の実施形態の例証を提供するにすぎず、本発明の範囲を限定するものと見なすべきではない。従って、本発明の範囲は、当業者に明らかになると考えられる他の実施形態を完全に包含し、かつ本発明の範囲は、単数形の要素への参照が、明確にそうであると言及されない限り、「1つ及び1つのみ」を意味するのではなく、むしろ「1つ又はそれよりも多い」を意味する特許請求の範囲を除いていずれによっても限定されるものではないことは認められるであろう。当業者には公知である上述の好ましい実施形態の要素に対する全ての構造及び機能上の均等物は、引用により本明細書に明確に組み込まれており、特許請求の範囲によって包含されるものとする。更に、デバイス又は方法は、それが特許請求の範囲に包含されるのに本発明による解決が求められる1つ1つの問題に対処する必要はない。更に、本発明の開示の要素、構成要素、又は方法段階が特許請求の範囲内に明示的に示されているか否かに関わらず、要素、構成要素、又は方法段階は、公衆に献呈されるものではない。本明細書内のどの請求項の要素も、要素が「のための手段」という語句を用いて明確に示されていない限り、「35 U.S.C.112]の第6段落の規定の下で解釈されないものとする。
10 本発明の方法の実施形態
12 作動を開始するブロック
20 シーンの特性を確定するブロック

Claims (20)

  1. タッチスクリーン入力を有するカメラによって補捉された画像マテリアル内に含まれる要素に対して調節を選択的に適用する方法であって、
    補捉された画像マテリアル内の特定の要素が表示された表示画面上の位置でユーザタッチスクリーン入力を登録する段階と、
    ユーザタッチスクリーン入力の登録に応答して、あらゆる任意の形状を有することができる前記補捉された画像の特定の要素を選択する段階と、
    前記特定の要素の画像を処理し、前記補捉された画像の残りの部分に関連して該要素の内容に対して調節を適用する段階と、
    を含むことを特徴とする方法。
  2. 前記補捉された画像マテリアルは、静止画像又はビデオシーケンスを含むことを特徴とする請求項1に記載の方法。
  3. 前記補捉された画像内に含まれる複数の要素に対して、これらの複数の要素の1つに向けられたユーザタッチスクリーン入力の登録の前にその境界を判断する段階を更に含むことを特徴とする請求項1に記載の方法。
  4. 前記画像マテリアル内の前記要素に対する前記調節は、サイズ修正、明るさ、コントラスト、彩度、ホワイトバランス、ノイズ低減、明瞭化、ぼかし、及び消去から成る画像調節の群から選択されることを特徴とする請求項1に記載の方法。
  5. 前記特定の要素に対する前記画像マテリアルの前記処理は、該特定の要素の画像態様を特徴付けることに応答して自動的に判断される調節に適用されることを特徴とする請求項1に記載の方法。
  6. 継続するタッチスクリーン入力の登録に応答して前記特定の要素の前記選択を絞り込む段階を更に含むことを特徴とする請求項1に記載の方法。
  7. 前記特定の要素の選択後に指を移動する動作を入力し、前記補捉画像マテリアル内の該特定の要素の編集を制御する段階を更に含むことを特徴とする請求項1に記載の方法。
  8. 前記画像マテリアル内の前記要素の明るさ及びコントラストは、右、左、上、及び下への指の摺動を含む前記指を移動する動作に応答して修正されることを特徴とする請求項7に記載の方法。
  9. 指を移動する動作に応答して、前記選択された要素に対する前記表示をサイズ修正する段階を更に含むことを特徴とする請求項1に記載の方法。
  10. 前記サイズ修正する段階は、円を描く指の摺動に応答して実行されることを特徴とする請求項9に記載の方法。
  11. 前記特定の要素が選択されたことの視覚的表示を発生させる段階を更に含むことを特徴とする請求項1に記載の方法。
  12. 前記視覚的表示は、前記補捉画像マテリアル内の前記要素を囲む強調表示を含むことを特徴とする請求項11に記載の方法。
  13. 第1画像解像度で前記画像マテリアルを補捉し、それに対して調節を適用する段階と、
    画像調節処理の完了後に、前記第1画像解像度に等しいか又はそれ未満であり、かつユーザ選択可能である第2画像解像度で前記画像を保存する段階と、
    を更に含むことを特徴とする請求項1に記載の方法。
  14. 前記画像マテリアルの前記補捉からは時間的又は空間的に離れた付加的な画像マテリアルを補捉する段階と、
    前記付加的画像マテリアルに応じて前記画像マテリアルに対して調節を適用する段階と、
    を更に含むことを特徴とする請求項1に記載の方法。
  15. 画像調節処理の完了後に、前記関連する付加的画像マテリアルを保存せずに前記画像マテリアルを保存する段階を更に含むことを特徴とする請求項14に記載の方法。
  16. タッチスクリーン入力を有するカメラによって補捉された画像マテリアル内に含まれる要素に対して調節を選択的に適用する方法であって、
    静止画像又はビデオシーケンスを含む画像マテリアルを補捉する段階と、
    前記補捉された画像マテリアル内の特定の要素が表示された表示画面上の位置でユーザタッチスクリーン入力を登録する段階と、
    あらゆる任意の形状を有することができる前記補捉された画像の特定の要素をその物体上でのユーザタッチスクリーン入力の登録に応答して選択する段階と、
    前記特定の要素の前記選択を示すために該特定の要素を囲む強調表示を発生させる段階と、
    持続するタッチスクリーン入力の登録に応答して前記特定の要素の前記選択を絞り込む段階と、
    指を移動する動作の形式の付加的なタッチスクリーン入力の登録に応答して、前記補捉画像マテリアルの前記特定の要素に対する調節の適用を制御する段階と、
    前記特定の要素の画像を処理し、前記補捉画像の残りの部分に関連して該要素の内容に対して調節を適用する段階と、
    を含むことを特徴とする方法。
  17. 第1画像解像度で前記画像マテリアルを補捉し、それに対して調節を適用する段階と、
    画像調節処理の完了後に、前記第1画像解像度に等しいか又はそれ未満であり、かつユーザ選択可能である第2画像解像度で前記画像を保存する段階と、
    を更に含むことを特徴とする請求項16に記載の方法。
  18. 前記画像マテリアルの前記補捉からは時間的又は空間的に離れた付加的な画像マテリアルを補捉する段階と、
    前記付加的画像マテリアルに応じて前記画像マテリアルに対して調節を適用する段階と、
    画像調節処理の完了後に、関連する付加的画像マテリアルを保存せずに前記画像マテリアルを保存する段階と、
    を更に含むことを特徴とする請求項16に記載の方法。
  19. 画像マテリアルを補捉するように構成された光学撮像器と、
    補捉された画像マテリアルを視覚的に表示するための光学ディスプレイと、
    前記補捉された画像マテリアルの前記光学ディスプレイ上へのユーザ接触の位置を登録するために該ディスプレイに結合されたタッチスクリーンと、
    画像内容を補捉して表示し、かつ該画像マテリアル内に含まれる要素に対して調節を選択的に適用するために前記光学撮像器、前記光学ディスプレイ、及び前記タッチスクリーンに結合されたコンピュータと、
    前記補捉画像マテリアル内の特定の要素が表示された表示画面上の位置でユーザタッチスクリーン入力を登録し、
    ユーザタッチスクリーン入力の登録に応答して、あらゆる任意の形状を有することができる前記補捉画像の特定の要素を選択し、かつ
    前記特定の要素の画像を処理し、前記補捉画像の残りの部分に関連して該要素の内容に対して調節を適用する、
    ための前記コンピュータ上で実行可能なプログラミングと、
    を含むことを特徴とするカメラ。
  20. 画像内容を補捉して表示し、かつ該画像マテリアル内に含まれる要素に対して画像内容調節を選択的に適用するためにディスプレイ及び関連のタッチスクリーンと共に構成されたカメラ内のコンピュータ上で実行可能であり、かつ
    前記補捉された画像マテリアル内の特定の要素が表示された表示画面上の位置でユーザタッチスクリーン入力を登録する段階と、
    ユーザタッチスクリーン入力の登録に応答して、あらゆる任意の形状を有することができる前記補捉画像の特定の要素を選択する段階と、
    前記特定の要素の画像を処理し、前記補捉画像の残りの部分に関連して該要素の内容に対して調節を適用する段階と、
    を含む、
    コンピュータプログラム、
    を収容するコンピュータ可読媒体。
JP2009115945A 2008-04-15 2009-04-15 撮像デバイス内でタッチ式調節を実行する方法及び装置 Active JP5384190B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/103,501 2008-04-15
US12/103,501 US8259208B2 (en) 2008-04-15 2008-04-15 Method and apparatus for performing touch-based adjustments within imaging devices

Publications (2)

Publication Number Publication Date
JP2009278623A true JP2009278623A (ja) 2009-11-26
JP5384190B2 JP5384190B2 (ja) 2014-01-08

Family

ID=40627070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009115945A Active JP5384190B2 (ja) 2008-04-15 2009-04-15 撮像デバイス内でタッチ式調節を実行する方法及び装置

Country Status (5)

Country Link
US (1) US8259208B2 (ja)
EP (1) EP2110738B1 (ja)
JP (1) JP5384190B2 (ja)
CN (1) CN101562703B (ja)
BR (1) BRPI0903152A2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110285745A1 (en) * 2011-05-03 2011-11-24 Texas Instruments Incorporated Method and apparatus for touch screen assisted white balance
KR20110136452A (ko) * 2010-06-15 2011-12-21 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
CN102316282A (zh) * 2011-09-20 2012-01-11 中国科学院理化技术研究所 一种基于光学杜比的图像降噪装置
JP2012108511A (ja) * 2010-11-15 2012-06-07 Leica Microsystems (Schweiz) Ag タッチスクリーンを有する顕微鏡
CN105940392A (zh) * 2014-02-19 2016-09-14 高通股份有限公司 装置的图像编辑技术
US11568517B2 (en) 2020-03-11 2023-01-31 Canon Kabushiki Kaisha Electronic apparatus, control method, and non- transitory computer readable medium

Families Citing this family (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD609714S1 (en) 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
JP4363468B2 (ja) * 2007-07-12 2009-11-11 ソニー株式会社 撮像装置及び撮像方法並びに映像信号処理プログラム
US8432365B2 (en) * 2007-08-30 2013-04-30 Lg Electronics Inc. Apparatus and method for providing feedback for three-dimensional touchscreen
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
JP2009089174A (ja) * 2007-10-01 2009-04-23 Fujifilm Corp デジタルカメラおよびその撮影方法
US10503376B2 (en) 2007-12-20 2019-12-10 Samsung Electronics Co., Ltd. Method and apparatus for adjusting an image and control guides displayed on a display
KR20090066368A (ko) 2007-12-20 2009-06-24 삼성전자주식회사 터치 스크린을 갖는 휴대 단말기 및 그의 기능 제어 방법
US8922518B2 (en) 2007-12-20 2014-12-30 Samsung Electronics Co., Ltd. Mobile terminal having touch screen and function controlling method of the same
KR101467293B1 (ko) * 2008-04-22 2014-12-02 삼성전자주식회사 촬영될 영상에 관련된 메뉴를 표시하는 ui 제공방법 및이를 적용한 촬영장치
EP3328048B1 (en) 2008-05-20 2021-04-21 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5012673B2 (ja) * 2008-06-03 2012-08-29 ソニー株式会社 表示装置
US8497920B2 (en) * 2008-06-11 2013-07-30 Nokia Corporation Method, apparatus, and computer program product for presenting burst images
EP2141574B1 (en) * 2008-07-01 2017-09-27 LG Electronics Inc. Mobile terminal using proximity sensor and method of controlling the mobile terminal
JP5093080B2 (ja) * 2008-12-05 2012-12-05 富士通モバイルコミュニケーションズ株式会社 携帯端末
JP2010193186A (ja) * 2009-02-18 2010-09-02 Nikon Corp 画像編集装置、撮像装置、および画像編集プログラム
US9015627B2 (en) * 2009-03-30 2015-04-21 Sony Corporation User interface for digital photo frame
US8723988B2 (en) * 2009-07-17 2014-05-13 Sony Corporation Using a touch sensitive display to control magnification and capture of digital images by an electronic device
KR101605771B1 (ko) * 2009-11-19 2016-03-23 삼성전자주식회사 디지털 촬영 장치, 그 제어방법 및 이를 실행하기 위한 프로그램을 저장한 기록매체
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
CN101860668A (zh) * 2010-01-15 2010-10-13 英华达(上海)科技有限公司 数码相机及其操作方法
TWI410128B (zh) * 2010-01-21 2013-09-21 Inventec Appliances Corp 數位相機及其運作方法
JP5562664B2 (ja) * 2010-01-27 2014-07-30 オリンパスイメージング株式会社 画質調整装置および画質調整装置の制御方法
US8379098B2 (en) 2010-04-21 2013-02-19 Apple Inc. Real time video process control using gestures
US8558923B2 (en) * 2010-05-03 2013-10-15 Canon Kabushiki Kaisha Image capturing apparatus and method for selective real time focus/parameter adjustment
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
CN102262439A (zh) * 2010-05-24 2011-11-30 三星电子株式会社 记录与视频序列的用户交互的方法和系统
CN102934422B (zh) * 2010-06-07 2015-05-27 奥林巴斯医疗株式会社 信号处理装置和静止图像生成方法
JP5570316B2 (ja) * 2010-06-17 2014-08-13 キヤノン株式会社 撮像装置、その制御方法及びプログラム
US9223475B1 (en) 2010-06-30 2015-12-29 Amazon Technologies, Inc. Bookmark navigation user interface
JP2012058921A (ja) * 2010-09-07 2012-03-22 Sony Corp 情報処理装置、情報処理方法およびプログラム
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8717381B2 (en) * 2011-01-11 2014-05-06 Apple Inc. Gesture mapping for image filter input parameters
KR20120084861A (ko) * 2011-01-21 2012-07-31 삼성전자주식회사 휴대용 단말기에서 화면 캡쳐 방법 및 장치
US20120198341A1 (en) * 2011-01-28 2012-08-02 General Electric Company System and Method of Automatic Scaling of Clinical Data for Varied Display Size
JP5136669B2 (ja) 2011-03-18 2013-02-06 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US9204047B2 (en) * 2011-04-08 2015-12-01 Nokia Technologies Oy Imaging
US8704916B2 (en) 2011-04-11 2014-04-22 Canon Kabushiki Kaisha Systems and methods for focus transition
CN102750022B (zh) * 2011-04-22 2015-02-25 宏碁股份有限公司 触控式装置的数据撷取方法及系统
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US20130072795A1 (en) * 2011-06-10 2013-03-21 Ruoli Mo Apparatuses and methods for user interactions during ultrasound imaging
JPWO2012176384A1 (ja) * 2011-06-21 2015-02-23 株式会社ニコン 表示プログラムおよび表示装置
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
KR101843450B1 (ko) * 2011-08-23 2018-03-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
IN2014CN02708A (ja) 2011-09-28 2015-08-07 Pelican Imaging Corp
CN102436342A (zh) * 2011-10-13 2012-05-02 上海合合信息科技发展有限公司 图像预览及处理方法
TWI488487B (zh) * 2011-10-18 2015-06-11 Acer Inc 利用手勢調整視訊影像壓縮的方法
US10504485B2 (en) * 2011-12-21 2019-12-10 Nokia Tehnologies Oy Display motion quality improvement
CN102595023B (zh) * 2012-01-19 2014-08-06 西安联客信息技术有限公司 移动终端及其图像处理方法
WO2013126578A1 (en) 2012-02-21 2013-08-29 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9041727B2 (en) 2012-03-06 2015-05-26 Apple Inc. User interface tools for selectively applying effects to image
US20130239051A1 (en) 2012-03-06 2013-09-12 Apple Inc. Non-destructive editing for a media editing application
US9159144B2 (en) 2012-03-06 2015-10-13 Apple Inc. Color adjustors for color segments
US9202433B2 (en) 2012-03-06 2015-12-01 Apple Inc. Multi operation slider
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
JP6253007B2 (ja) * 2012-03-28 2017-12-27 パナソニックIpマネジメント株式会社 表示装置
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
EP3410287B1 (en) 2012-05-09 2022-08-17 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
CN107728906B (zh) 2012-05-09 2020-07-31 苹果公司 用于移动和放置用户界面对象的设备、方法和图形用户界面
WO2013169843A1 (en) * 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
CN105260049B (zh) 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
EP2847659B1 (en) 2012-05-09 2019-09-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US20150202493A1 (en) * 2012-05-22 2015-07-23 Joseph P. Gannon System and method for evaluating the physical skills of a person
US8988556B1 (en) * 2012-06-15 2015-03-24 Amazon Technologies, Inc. Orientation-assisted object recognition
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
WO2014031795A1 (en) 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
EP2888871A4 (en) * 2012-08-27 2016-05-25 Nokia Technologies Oy METHOD AND APPARATUS FOR RECORDING VIDEO SEQUENCES
CN102917158B (zh) * 2012-09-07 2015-07-22 中兴通讯股份有限公司 一种色彩动态替换装置、方法和手机
US9412366B2 (en) 2012-09-18 2016-08-09 Adobe Systems Incorporated Natural language image spatial and tonal localization
US9141335B2 (en) 2012-09-18 2015-09-22 Adobe Systems Incorporated Natural language image tags
US9588964B2 (en) 2012-09-18 2017-03-07 Adobe Systems Incorporated Natural language vocabulary generation and usage
US10656808B2 (en) * 2012-09-18 2020-05-19 Adobe Inc. Natural language and user interface controls
US9436382B2 (en) 2012-09-18 2016-09-06 Adobe Systems Incorporated Natural language image editing
US8995783B2 (en) * 2012-09-19 2015-03-31 Qualcomm Incorporation System for photograph enhancement by user controlled local image enhancement
US20140088402A1 (en) * 2012-09-25 2014-03-27 Innovative Therapies, Inc. Wound measurement on smart phones
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
TWI502983B (zh) * 2012-11-02 2015-10-01 Wistron Corp 影像擷取裝置以及影像擷取方法
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014100953A1 (en) * 2012-12-24 2014-07-03 Nokia Corporation An apparatus and associated methods
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
AU2013368440B2 (en) 2012-12-29 2017-01-05 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
KR101999140B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라장치 및 카메라를 구비하는 휴대단말기의 이미지 촬영장치 및 방법
US10956534B2 (en) 2013-02-20 2021-03-23 Honeywell International Inc. System and method for continuous performance analysis of systems that exhibit variable performance characteristics at different operating conditions
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
KR102034583B1 (ko) * 2013-02-28 2019-10-21 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9635246B2 (en) 2013-06-21 2017-04-25 Qualcomm Incorporated Systems and methods to super resolve a user-selected region of interest
US9070230B2 (en) * 2013-07-23 2015-06-30 Adobe Systems Incorporated Simulating strobe effects with digital image content
US20150089446A1 (en) * 2013-09-24 2015-03-26 Google Inc. Providing control points in images
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
EP3043557A4 (en) * 2013-11-08 2017-04-19 Nubia Technology Co., Ltd. White balance adjustment method and device
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9460340B2 (en) * 2014-01-31 2016-10-04 Google Inc. Self-initiated change of appearance for subjects in video and images
US10089740B2 (en) * 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
JP5835384B2 (ja) 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
JP6335563B2 (ja) * 2014-03-18 2018-05-30 キヤノン株式会社 撮像装置及びその制御方法
JP5835383B2 (ja) * 2014-03-18 2015-12-24 株式会社リコー 情報処理方法、情報処理装置、およびプログラム
JP6472253B2 (ja) 2014-03-25 2019-02-20 キヤノン株式会社 画像処理装置及びその制御方法
US9313397B2 (en) 2014-05-30 2016-04-12 Apple Inc. Realtime capture exposure adjust gestures
US20160011735A1 (en) * 2014-07-10 2016-01-14 Yahoo! Inc. Dynamic action selection for touch screens
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
KR102298972B1 (ko) * 2014-10-21 2021-09-07 삼성전자 주식회사 전자 장치의 엣지에서 수행되는 제스처를 기반으로 하는 동작 수행
CN104375797B (zh) * 2014-11-17 2020-02-21 联想(北京)有限公司 一种信息处理方法及电子设备
US9471966B2 (en) * 2014-11-21 2016-10-18 Adobe Systems Incorporated Area-dependent image enhancement
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9769446B1 (en) * 2015-03-10 2017-09-19 Lentix, Inc. Digital image dynamic range processing apparatus and method
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN104935787A (zh) * 2015-05-29 2015-09-23 努比亚技术有限公司 图像处理方法及装置
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10185480B1 (en) * 2015-06-15 2019-01-22 Symantec Corporation Systems and methods for automatically making selections in user interfaces
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9886086B2 (en) * 2015-08-21 2018-02-06 Verizon Patent And Licensing Inc. Gesture-based reorientation and navigation of a virtual reality (VR) interface
CN105578055A (zh) * 2016-01-08 2016-05-11 深圳市朵唯志远科技有限公司 一种手机拍照的控制方法
CN105549850A (zh) * 2016-01-29 2016-05-04 广东欧珀移动通信有限公司 一种图片模糊处理方法和装置
CN105824558B (zh) * 2016-02-26 2017-07-04 维沃移动通信有限公司 一种拍照亮度调节方法及移动终端
US9838594B2 (en) 2016-03-02 2017-12-05 Qualcomm Incorporated Irregular-region based automatic image correction
US20170270969A1 (en) * 2016-03-17 2017-09-21 Jose M. Sanchez Real time computer display modification
CN106198542B (zh) * 2016-07-05 2017-10-20 江南大学 一种基于智能手机的经编织物工艺分析方法
KR102635050B1 (ko) * 2016-07-20 2024-02-08 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어방법
GB2554668B (en) * 2016-09-30 2022-06-22 Apical Ltd Image manipulation
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10607143B2 (en) * 2017-08-22 2020-03-31 Internatonal Business Machines Corporation Profile data camera adjustment
US10482359B2 (en) * 2018-01-18 2019-11-19 Google Llc Systems and methods for removing non-stationary objects from imagery
US11085321B2 (en) 2018-01-30 2021-08-10 Honeywell International Inc. Bleed air compensated continuous power assurance analysis system and method
CN108540729A (zh) * 2018-03-05 2018-09-14 维沃移动通信有限公司 图像处理方法及移动终端
US11391218B2 (en) * 2019-03-22 2022-07-19 Pratt & Whitney Canada Corp. Method and system for setting power of an aircraft engine
JP7348754B2 (ja) * 2019-06-03 2023-09-21 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
CN112508779A (zh) * 2019-09-16 2021-03-16 四川大学 一种基于门控多反馈网络的图像超分辨率重构方法
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
JP2023511747A (ja) 2020-01-30 2023-03-22 イントリンジック イノベーション エルエルシー 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
CN117337578A (zh) * 2021-06-30 2024-01-02 Oppo广东移动通信有限公司 生成图像的方法、电子设备、装置以及计算机可读存储介质
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000163031A (ja) * 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
JP2000209425A (ja) * 1998-11-09 2000-07-28 Canon Inc 画像処理装置及び方法並びに記憶媒体
JP2003256836A (ja) * 2001-07-10 2003-09-12 Hewlett Packard Co <Hp> 知的特徴選択およびパンズーム制御
JP2005277944A (ja) * 2004-03-25 2005-10-06 Fuji Photo Film Co Ltd 画像処理方法、及び画像処理装置、及び画像処理システム、及び画像処理プログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6115482A (en) * 1996-02-13 2000-09-05 Ascent Technology, Inc. Voice-output reading system with gesture-based navigation
US6362829B1 (en) * 1996-03-07 2002-03-26 Agfa Corporation Method for modifying a digital image
US6522417B1 (en) * 1997-04-28 2003-02-18 Matsushita Electric Industrial Co., Ltd. Communication terminal device that processes received images and transmits physical quantities that affect the receiving communication terminal device
JP4178484B2 (ja) * 1998-04-06 2008-11-12 富士フイルム株式会社 モニタ付きカメラ
JPH11355617A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 画像表示器付きカメラ
US6154210A (en) * 1998-11-25 2000-11-28 Flashpoint Technology, Inc. Method and system for implementing button interface compatibility in touch-screen equipped digital imaging device
US6317141B1 (en) 1998-12-31 2001-11-13 Flashpoint Technology, Inc. Method and apparatus for editing heterogeneous media objects in a digital imaging device
US6704467B2 (en) 2000-12-21 2004-03-09 Canon Kabushiki Kaisha Image editing with block selection
JP4127982B2 (ja) * 2001-05-28 2008-07-30 富士フイルム株式会社 携帯型電子機器
KR100484143B1 (ko) 2002-06-12 2005-04-18 삼성전자주식회사 터치 스크린을 사용하는 단말기에 있어서 편집 장치 및 방법
US7035462B2 (en) * 2002-08-29 2006-04-25 Eastman Kodak Company Apparatus and method for processing digital images having eye color defects
CN100468303C (zh) * 2003-02-14 2009-03-11 奈克斯特控股公司 触摸屏及光学探测物体相对于触摸屏是否存在的方法
CN100504487C (zh) 2003-09-29 2009-06-24 联想(北京)有限公司 一种数码相机选择对焦区域的方法
US20050129324A1 (en) * 2003-12-02 2005-06-16 Lemke Alan P. Digital camera and method providing selective removal and addition of an imaged object
JP4292399B2 (ja) * 2003-12-12 2009-07-08 ソニー株式会社 画像処理装置および画像処理方法
JP3729417B1 (ja) * 2004-09-07 2005-12-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
KR101058011B1 (ko) * 2004-10-01 2011-08-19 삼성전자주식회사 터치 스크린을 이용한 디지털 카메라 조작 방법
WO2007000743A2 (en) * 2005-06-28 2007-01-04 Koninklijke Philips Electronics, N.V. In-zoom gesture control for display mirror
JP4929630B2 (ja) * 2005-07-06 2012-05-09 ソニー株式会社 撮像装置、制御方法、およびプログラム
KR100640808B1 (ko) * 2005-08-12 2006-11-02 엘지전자 주식회사 촬상 이미지의 듀얼 디스플레이 기능을 갖는 이동통신단말기 및 그 방법
KR20070021001A (ko) 2005-08-17 2007-02-22 삼성전자주식회사 이미지 편집기능을 구비한 화상형성장치 및 그 방법
KR100796771B1 (ko) * 2006-09-15 2008-01-22 김해철 영상셔터를 이용한 가상 터치스크린 시스템 및 동작 방법
US7697054B2 (en) * 2007-03-29 2010-04-13 Hewlett-Packard Development Company, L.P. Image Manipulator for a camera
US20090146961A1 (en) * 2007-12-05 2009-06-11 David Shun-Chi Cheung Digital image editing interface

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209425A (ja) * 1998-11-09 2000-07-28 Canon Inc 画像処理装置及び方法並びに記憶媒体
JP2000163031A (ja) * 1998-11-25 2000-06-16 Seiko Epson Corp 携帯情報機器及び情報記憶媒体
JP2003256836A (ja) * 2001-07-10 2003-09-12 Hewlett Packard Co <Hp> 知的特徴選択およびパンズーム制御
JP2005277944A (ja) * 2004-03-25 2005-10-06 Fuji Photo Film Co Ltd 画像処理方法、及び画像処理装置、及び画像処理システム、及び画像処理プログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110136452A (ko) * 2010-06-15 2011-12-21 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
KR101638915B1 (ko) * 2010-06-15 2016-07-12 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
JP2012108511A (ja) * 2010-11-15 2012-06-07 Leica Microsystems (Schweiz) Ag タッチスクリーンを有する顕微鏡
US20110285745A1 (en) * 2011-05-03 2011-11-24 Texas Instruments Incorporated Method and apparatus for touch screen assisted white balance
CN102316282A (zh) * 2011-09-20 2012-01-11 中国科学院理化技术研究所 一种基于光学杜比的图像降噪装置
CN105940392A (zh) * 2014-02-19 2016-09-14 高通股份有限公司 装置的图像编辑技术
JP2017512335A (ja) * 2014-02-19 2017-05-18 クアルコム,インコーポレイテッド デバイスのための画像編集技法
US10026206B2 (en) 2014-02-19 2018-07-17 Qualcomm Incorporated Image editing techniques for a device
US11568517B2 (en) 2020-03-11 2023-01-31 Canon Kabushiki Kaisha Electronic apparatus, control method, and non- transitory computer readable medium

Also Published As

Publication number Publication date
BRPI0903152A2 (pt) 2010-05-25
US20090256947A1 (en) 2009-10-15
CN101562703A (zh) 2009-10-21
JP5384190B2 (ja) 2014-01-08
EP2110738A2 (en) 2009-10-21
CN101562703B (zh) 2013-07-10
US8259208B2 (en) 2012-09-04
EP2110738A3 (en) 2014-05-07
EP2110738B1 (en) 2019-10-30

Similar Documents

Publication Publication Date Title
JP5384190B2 (ja) 撮像デバイス内でタッチ式調節を実行する方法及び装置
DK180452B1 (en) USER INTERFACES FOR RECEIVING AND HANDLING VISUAL MEDIA
US11706521B2 (en) User interfaces for capturing and managing visual media
US11770601B2 (en) User interfaces for capturing and managing visual media
KR102192091B1 (ko) 시각적 미디어를 캡처 및 관리하기 위한 사용자 인터페이스들
JP6455147B2 (ja) 電子カメラ、画像表示装置および画像表示プログラム
JP5990600B2 (ja) 色区分に関する色調整器
US8441567B2 (en) Digital photographing apparatus and method of controlling the same
EP2822267B1 (en) Method and apparatus for previewing a dual-shot image
JP6102602B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
KR101231469B1 (ko) 이미지 처리 지원 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
WO2015030126A1 (ja) 画像処理装置、および画像処理プログラム
KR102419105B1 (ko) 시각적 미디어를 캡처 및 관리하기 위한 사용자 인터페이스들
JP2019053732A (ja) シーン内に存在する不要なオブジェクトの除去に基づくシーンの画像の動的生成
US9300876B2 (en) Fill with camera ink
US20150077591A1 (en) Information processing device and information processing method
WO2012128835A1 (en) Gesture-based configuration of image processing techniques
WO2018017625A1 (en) User interface for smart digital camera
US20210176404A1 (en) Electronic apparatus and method for controlling the same
US20190102060A1 (en) Information processing apparatus, display control method, and storage medium
US8508602B2 (en) Photographing apparatus method, and computer usable medium for photographing an object within a detection area based on a change of the object
JP6010303B2 (ja) 画像再生装置
CN107395970A (zh) 一种用于智能终端的拍照方法及拍照装置
JP5263989B2 (ja) 画像配信システムおよび画像配信方法と画像配信プログラム
JP2009077237A (ja) 画像表示装置および画像表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130510

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130515

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130612

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130617

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130712

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131002

R150 Certificate of patent or registration of utility model

Ref document number: 5384190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250