JP2003256836A - 知的特徴選択およびパンズーム制御 - Google Patents

知的特徴選択およびパンズーム制御

Info

Publication number
JP2003256836A
JP2003256836A JP2002201052A JP2002201052A JP2003256836A JP 2003256836 A JP2003256836 A JP 2003256836A JP 2002201052 A JP2002201052 A JP 2002201052A JP 2002201052 A JP2002201052 A JP 2002201052A JP 2003256836 A JP2003256836 A JP 2003256836A
Authority
JP
Japan
Prior art keywords
image
interest
regions
zoom
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002201052A
Other languages
English (en)
Other versions
JP2003256836A5 (ja
JP4727117B2 (ja
Inventor
David Neil Slatter
デイヴィッド・ニール・スラッター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2003256836A publication Critical patent/JP2003256836A/ja
Publication of JP2003256836A5 publication Critical patent/JP2003256836A5/ja
Application granted granted Critical
Publication of JP4727117B2 publication Critical patent/JP4727117B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Abstract

(57)【要約】 (修正有) 【課題】画像内の異なる関心領域の選択を容易にし、選
択領域のズームインおよびズームアウトを容易にする。 【解決手段】シーン1は、光学レンズ系3により二次元
光検出器アレイ5に焦点合わせされる。検出器アレイ
は、そこに焦点合わせされた画像を電子信号7に変換
し、電子信号7はイメージプロセッサ9に渡される。イ
メージプロセッサは表示装置11に接続され、取り込ま
れたシーン1の画像、またはこの画像の一部を表示装置
11に表示することができる。イメージプロセッサ9に
は、イメージセレクタ13も接続される。イメージセレ
クタは、メイン画像内の関心領域または関心領域のビュ
ーを選択するために、ユーザ操作可能な2個のボタンを
備えている。関心領域選択ボタン15は、信号をプロセ
ッサ9に提供し、この信号に応答して、プロセッサ9
は、別個の識別された関心領域を順次、イメージセレク
タ13から受信する次信号に応答して、表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像内の関心領域
を自動的に、または半自動的に選択し、それらの関心領
域をズームインおよびズームアウトする方法および装置
に関する。本発明はまた、選択された関心領域が表示さ
れたまま残るのを保証するように、画像内のパンを制御
する。本発明はまた、上記ズーム機能を備えた電子画像
処理装置、特に電子カメラ、に関する。
【0002】
【従来の技術】今では一般に、デジタルスチルカメラ
が、カメラの一部として設けられるディスプレイ、放送
テレビジョン受像器、または大部分のコンピュータモニ
タ等、一般に使用されている表示装置上で見ることので
きるピクセルよりも多くのピクセルを単一画像に取り込
む性能を有する。そのため、ピクチャの細部を見るに
は、画像の一部のみを表示するように選択する必要があ
りうる。これは、都合よく、画像の選択された領域に向
けてズームすることによって達成することができる。
【0003】このズーム機能は、取り込まれた画像を専
用閲覧システムで閲覧するとき、たとえば、単に画像の
特定領域をより厳密に調べる必要がある場合、コンピュ
ータディスク、CD、またはDVDに格納された予め取
り込まれた画像をコンピュータモニタまたはテレビ画面
で閲覧するときに、使用することができる。ズームはま
た、オリジナル画像を取り込んだ後にさらなる画像操作
が必要な場合、たとえば画像から認められる欠点または
不要な特徴を除去するために、画像の特定の領域を変更
する必要がある場合にも使用することができる。かかる
取り込み後の操作は、写真フィルムの現像およびプリン
ト中に採用される「修正」工程に似ている。さらに、電
子カメラおよびビデオカメラの使用が増大するにつれ、
取り込んだ画像を、カメラまたはビデオカメラに接続さ
れたビューファインダで直接閲覧し操作することが可能
であることの必要性および要望が増大している。
【0004】
【発明が解決しようとする課題】ユーザによる画像全体
の特定領域のズームイン、すなわち拡大を可能にするこ
とは、電子画像閲覧システムにおいて既知の技術であ
る。ズームインする領域は通常、コンピュータベースの
閲覧システムにおけるコンピュータマウスまたは「トラ
ックボール」等、カーソル制御装置を使用することによ
り、または代替として、たとえば電子カメラに、または
実際の閲覧装置自体、たとえばテレビセットまたはテレ
ビのリモートコントロールユニットに搭載されるカーソ
ル制御ボタンを使用することによって、選択される。こ
のようなシステムの1つの欠点は、ユーザにとって、ズ
ームインした、1つの選択した関心領域から、別の関心
領域に移動することが難しいことである。これを行うに
は、画像全体を再表示、または再びズームインするさら
なる関心領域を識別することができるのに十分な画像の
部分を再表示する必要があるためである。これは、ユー
ザにとっていらいらするものであるとともに時間のかか
ることでありうる。通常カーソルを表示しない、または
カーソル制御装置を持たない、テレビまたは電子カメラ
およびビデオカメラのビューファインダ等の閲覧装置に
特に関連するさらなる欠点は、使用しやすくかつ実装し
やすいように、かかるカーソル制御機能を提供すること
が難しいことである。たとえば、かかるカーソル制御機
能は、スチルカメラまたはモーションビデオカメラに設
けられるX、Y位置ボタンにより操作可能であるが、か
かるボタンの使用は、かかるビデオカメラ上で利用可能
なスペースが限られていることから困難であり、また唯
一のディスプレイがビューファインダであり、したがっ
てX、Yボタンを操作している間にカメラを目にあてて
いなければならない状況において特に困難でありうる。
【0005】予め取り込まれた静止画像を、ビデオカメ
ラで再びイメージングして、画像のパンおよび細部のズ
ームイン、ズームアウトの組み合わせを含むことができ
るビデオシーケンスを作成可能なことが知られている。
この技術を有用に使用することのできる例は、団体写真
の閲覧においてである。かかる写真/画像における個人
個人の顔は、通常、小さすぎて細部まで見ることができ
ない。しかし、パンおよびズームの組み合わせを使用す
ることにより、各個人の顔を順にはっきりと見ることの
できるビデオシーケンスを作成することができる。
【0006】電子画像処理を用いると、もちろん、ビデ
オカメラを使用する必要はない。必要なビデオフレーム
は、オリジナル画像の格納されている電子デジタル表現
から選択し、拡大し、合成することができる。
【0007】静止画像からビデオシーケンスを自動的に
作成する方法は、2001年2月23日付けで出願され
た同時係属中の出願“Automatic Rostrum Camera”(英
国特許第0104589.7号)に記載されている。し
かし、本発明では、ビデオシーケンスが、作成されなが
ら消費され(すなわち閲覧され)、ユーザインタフェー
スを介して入力されるユーザ命令に即座に、または素早
く応答して変更される。
【0008】5,812,193号は、カメラによりタ
ーゲットとされたオブジェクトに関してトラッキングお
よびズームインの双方を実施可能にするビデオカメラシ
ステムを開示する。ユーザは、カメラにオブジェクトの
ビューを提示することによりカメラに「教える」ことが
でき、次いでカメラは、オブジェクトを視野内に保持す
るようにトラッキングモータを制御し、また画像全体に
対するオブジェクトのサイズが、カメラが学習したサイ
ズで固定のままであるようにズームモータを制御しよう
とする。さらなる実施形態では、カメラが視野内の頭部
を正しく識別することができるように、人間の頭部モデ
ルが提供される。したがって、この装置は、ターゲット
へのロックを維持しようとするが、これを機械論的な意
味で行い、複数ターゲットまたは美的考慮事項によって
生じる問題を解決することができない。
【0009】欧州特許第0816983号は、コンピュ
ータが、表示装置に表示されている複数のウィンドウま
たは画像の部分のいずれをユーザが見ているかを識別す
ることができるように、コンピュータに接続される注視
トラッキングシステムを開示する。ウィンドウがアプリ
ケーションを含む場合、アプリケーションに、より多く
のコンピュータ資源を割り当てることができる。ユーザ
が1つの画像を見ている場合、コンピュータは、関連情
報を表示しようとしたり、ユーザが見ている画像の部分
を拡大しようとすることができる。
【0010】欧州特許第1096799号は、異なる時
点において取り込まれた画像を比較して、視野内のオブ
ジェクトの動きを検出するカメラシステムを開示する。
次いでこのカメラは、移動しているオブジェクトをトラ
ッキングし、また画像内でオブジェクトが適切なサイズ
のままであるようにズームを制御する。したがって、こ
のシステムは、単一画像の解析から、関心のあるアイテ
ムを識別することはできない。
【0011】米国特許第6,084,989号は、複数
の衛星画像の見当合わせを改良するための画像解析シス
テムである。画像中の陸標を見つけ、イメージングシス
テムの正確な位置を決定することができるように、陸標
画像ライブラリと比較される。
【0012】電子画像を閲覧することができることが望
ましい多くの装置は、ユーザが画像内に関心ポイントま
たは領域を正確に選択できるようにする機能を殆ど、ま
たはまったく備えていない。さらに、通常、供給される
機能性とは関係なく、イメージング操作の達成に必要な
ユーザ側の努力を低減することが有利である。
【0013】したがって、画像内の異なる関心領域の容
易な選択、およびかかる選択領域のズームインおよびズ
ームアウトが容易に可能な方法および装置を提供する必
要性がある。
【0014】
【課題を解決するための手段】本発明の第1の態様によ
れば、画像を解析して、画像内の複数の関心領域を識別
するように構成されるイメージプロセッサを備え、ユー
ザがイメージセレクタを操作して、ズームターゲットと
して関心領域のうちの1つを選択することができるよう
に、イメージプロセッサが解析の結果をユーザに提示す
ることを含む、電子画像処理装置が提供される。
【0015】好ましくは、イメージプロセッサは、各関
心領域についてクロッピング境界を自動的に生成する。
【0016】したがって、画像を解析して、画像内の目
立った特徴を選択し、かかる特徴を識別した後、その特
徴についてのクロッピング境界を計算し、ユーザが画像
をズームインする際には自動的にパンすることを可能に
する、またはユーザがクロッピング境界に直接ズームす
ることができる画像処理装置を提供することが可能であ
る。
【0017】イメージプロセッサは、画像内の非重複関
心領域をサーチすることができる。イメージプロセッサ
は、画像コンテンツについて何も知らないため、様々な
関心領域が単一オブジェクトの一部であったり、またな
かったりしうる。
【0018】次いで、イメージプロセッサは、識別され
た非重複関心領域を通してサーチして、任意の領域を共
にグループ化することができるか、またはグループ化す
べきかどうかをチェックする。したがって、近くにあ
る、すなわち閾値距離未満離れている領域を共にグルー
プ化することができる。同様に、たとえば色、輝度、ま
たは形状等、同様の属性を有する関心領域も共にグルー
プ化することができる。
【0019】好ましくは、イメージプロセッサは、限ら
れた数の関心領域だけをユーザに提示するように構成さ
れる。したがって、たとえば、N個よりも少ない個数の
関心領域を戻すように、イメージプロセッサにより使用
されるアルゴリズムを選択しうる。ここで、Nは整数で
あり、有利なことにユーザ選択可能である。通常、Nは
10未満である。
【0020】限られた数の関心領域のみを提示すること
は、ユーザに何時でも手に負えない程の数の選択肢を提
示しないようにするために有利である。
【0021】有利なことに、ターゲットクロッピング境
界は、関心領域全体がビューに含まれるが、オリジナル
画像の残りの殆どが除外された、オリジナル画像のビュ
ーを表す。
【0022】好ましくは、ユーザは、ターゲットクロッ
ピング境界によって画定されるビューにズームインまた
はジャンプすることができる。
【0023】好ましくは、現在表示されているいずれの
ビューについても、ユーザは、そのビューを再解析し
て、その中にある関心領域を識別するように、イメージ
プロセッサに命令することができる。したがって、シス
テムは、階層的な一連のビューを提示することができ
る。
【0024】解析ステップの再適用は、ユーザ入力によ
り、またはターゲットクロッピング境界によって画定さ
れるビューよりもさらにその画像をズームインしようと
することにより、トリガすることができる。
【0025】好ましくは、画像を解析した後、プロセッ
サは、たとえばマーカを周囲に配置することにより、ま
たは画像の残りの部分に対して輝度を変更することによ
り、関心領域をハイライトすることができる。
【0026】ユーザは、ビューとしてこれら領域の1つ
を選択することができる。次いでユーザは、イメージプ
ロセッサにより自動的に選択されたズームレベルでその
関心領域を見ることに即座にジャンプする、すなわちタ
ーゲットクロッピング境界に即座にジャンプするように
選択することができる。代替として、ユーザは、ユーザ
が望むとおりに関心領域へズームインまたはズームアウ
トすることができるように、ズームコントロールを使用
してもよい。
【0027】好ましくは、ユーザが、ユーザ制御下でズ
ームインまたはズームアウトする場合、イメージプロセ
ッサは、ズームレベルの変更時に画像を自動的にパンす
る。
【0028】有利なことに、イメージプロセッサは、ユ
ーザ選択関心領域の近傍である関心領域、または関心領
域と同様の関心領域を識別し、所与のまたは現在のズー
ムレベルについて、表示されている画像に、可能な限り
多くの関心領域を含めるためには、表示されている画像
の中心ポイントをどこにすべきかを計算する。したがっ
て、選択された関心領域のビューを表示することに加え
て、最も近くにある関心領域を現在の関心領域セットに
追加してから、これらを包含するための、ビュー、すな
わちオリジナル画像からのパンおよびズーム要件を計算
することにより、関心領域を合成したビューを画定する
ことができる。こうして、ユーザにより元々選択された
ターゲット領域のみを含むビューから始まって、ビュー
セットを画定することが可能である。次のビューは、タ
ーゲット領域およびそれに最も近い近傍を含む。さらな
るビューを画定することができる。終わりから2番目の
ビューは、すべての関心領域を含むことになり、最後の
ビューはオリジナル画像である。
【0029】したがって、ズームコントロールの操作
は、各ビューを順に見せるパンおよびスケーリング動作
になる。
【0030】好ましくは、処理装置は、画像を検索し、
かつ/または書き込むことのできる格納媒体を収容する
少なくとも1つの領域を含む。したがって、半導体メモ
リ、磁気および/または光学記憶技術を、画像の格納装
置として使用することができる。
【0031】本発明の第2の態様によれば、イメージプ
ロセッサと、ズームターゲットを識別するためのユーザ
操作可能な入力装置と、ユーザ操作可能なズームコント
ロールと、を備え、イメージプロセッサは、画像を自動
的に解析して、少なくとも1つの関心領域を識別し、解
析の結果は、ユーザがズームターゲットとして1つの関
心領域を選択し、ズームコントロールを介してズームレ
ベルを制御することができるように、ユーザに提示され
る、デジタル画像を表示する電子装置が提供される。
【0032】本発明の第3の態様によれば、画像を解析
して、画像内の複数の関心領域を選択するステップを備
え、ユーザが、ユーザ選択ズームに関係なく表示された
まま残るズームターゲットとして関心領域のうちの1つ
を選択することができるように、解析の結果がユーザに
提示される、電子画像を表示する方法が提供される。
【0033】好ましくは、複数の関心領域は、各画像に
ついて識別される。
【0034】各ビューは通常、関心領域の中心をビュー
の中心に提示する。
【0035】電子画像処理装置のイメージプロセッサ
は、各関心領域について関心レベルを評価し、関心レベ
ルを示す等級を各関心領域に割り当てることができる。
次いで、割り当てられた関心等級に従って画像を順次表
示することができる。
【0036】さらに、またはあるいは、イメージプロセ
ッサは、重要度等級を各関心領域に割り当てることがで
きる。これは、たとえば、その領域における主題の解析
をベースとしうる。したがって、たとえば、顔を重要と
みなすことができる。次いで、イメージセレクタを使用
して、割り当てられた重要度等級に従ったランクで関心
領域のビューを表示することができる。
【0037】本発明の第4の態様によれば、画像を自動
的に解析して、少なくとも1つの関心領域および関連す
るクロッピング境界を識別するステップを含み、解析の
結果は、ユーザがズームターゲットとして1つの関心領
域を選択し、ズームコントロールを介してズームレベル
を制御することができるように、ユーザに提示される、
電子画像を表示する方法が提供される。
【0038】本発明の第5の態様によれば、上記電子画
像処理装置と、画像処理装置に応答するディスプレイ
と、を備える電子画像を取り込むための電子カメラシス
テムがさらに提供される。
【0039】1つの動作モードにおいて、本発明の利点
は、関心領域を自動的に識別することにより、ユーザが
単に、フルサイズの画像にズームを戻し、次の関心領域
を手動で選択する必要なく、識別された各関心領域を順
に順次選択することができることである。さらに、本発
明は、各関心領域について、ズーム位置の数を順次選択
することができるという利点も提供する。
【0040】代替の動作モードにおいて、ユーザは、自
動的に識別された関心領域の1つまたはターゲットズー
ムポイントとして実際に任意のポイントを選択してか
ら、手動でズームインまたはズームアウトすることがで
きる。ズームレベルが変更されると、データプロセッサ
は、関心のある特徴がその表示内のズームレベルで閲覧
可能なように正しく配置するように、画像を自動的にパ
ンする。
【0041】次に、本発明の実施形態を例として、添付
図面を参照して説明する。
【0042】
【発明の実施の形態】図1は、本発明の実施形態による
イメージプロセッサを組み込んだ電子画像取り込みシス
テムを示す。取り込まれるシーン1は、光学レンズ系3
により二次元光検出器アレイ5に焦点合わせされる。検
出器アレイは、そこに焦点合わせされた画像を電子信号
7に変換し、電子信号7はイメージプロセッサ9に渡さ
れる。イメージプロセッサは表示装置11に接続され、
取り込まれたシーン1の画像、またはこの画像の一部を
表示装置11に表示することができる。イメージプロセ
ッサ9には、イメージセレクタ13も接続される。イメ
ージセレクタは、メイン画像内の関心領域または関心領
域のビューを選択するために、ユーザ操作可能な2個の
ボタンを備えている。関心領域選択ボタン15は、信号
をプロセッサ9に提供し、この信号に応答して、プロセ
ッサ9は、別個の識別された関心領域を順次、イメージ
セレクタ13から受信する次信号に応答して、表示す
る。これは、たとえば、領域をハイライトする、または
ボックスをその周囲に配置することによるものであるこ
とができる。さらに、ズームイン/ズームアウト制御器
17がイメージセレクタ13の上に設けられ、ビューを
ズームインするかまたはズームアウトするかを指示する
ように動作するさらなる信号をイメージプロセッサ9に
提供する。ズームは、大体においてスムーズでスローで
あるが、単調なズーム率の変更にも対応することができ
る。さらなる代替として、ズームにより、ターゲットク
ロッピング境界により画定されるビューに即座にジャン
プしてもよい。図1に示すイメージセレクタは、イメー
ジプロセッサ9に無線接続される。無線接続は、赤外
線、無線、または他の任意の既知の無線通信方式である
ことができる。あるいは、イメージセレクタ13は、単
純にケーブルによりイメージプロセッサ9に接続されて
もよい。さらに、イメージセレクタは、実際、イメージ
プロセッサ9との一体部分であってもよい。
【0043】図2は、図1の画像取り込みシステムによ
り取り込まれる可能性があると考えられる画像を概略的
に示すと共に、どのように関心領域を選択することがで
きるかを概略的に示す。画像全体45は、3人の主な人
物、すなわち人物40、人物41、およびさらなる人物
42を含む。イメージプロセッサは、画像解析後、第1
の人物40を関心領域として識別し、関連するターゲッ
トズーム境界40’を計算することができる。同様に、
人物41および人物42もまた関心領域として識別し、
関連するターゲットズーム境界41’および42’を示
すように計算することができる。
【0044】したがって、データプロセッサは、イメー
ジセレクタ13から信号を受信すると、クロッピングさ
れた領域40’、41’、および42’を循環して表示
させる。有利なことに、表示順序は、関心領域を評価
し、最も関心の高いものを最初にする順序で関心領域を
提示するためにイメージプロセッサにより実施される関
心レベル計測によって決定することができる。
【0045】ユーザは、部分的にまたはクロッピング領
域までに関わらず、一旦画像をズームインすると、現在
表示されている画像を再解析して、新しい関心領域を見
つけるようにデータプロセッサに命令することができ
る。したがって、関心領域の階層を構築することがで
き、レベル1の関心領域がレベル2の関心領域を包含
し、レベル2の領域がレベル3の領域を包含し、以下同
様である。
【0046】同じ画像処理動作を階層の各レベルで行う
必要はない。したがって、レベル2(または他の)にお
けるビューは、画像合成の所定規則に従って計算された
クロッピング境界を有しうる。1つの周知の規則の例
は、「3分の1のルール」である。
【0047】この画像を解析する後続ステップに続き、
ユーザが、関心領域として識別された人物41の顔に対
応するターゲットズームポイントを選択すると想定す
る。したがって、最大ズームでは、ズームポイントは顔
の鼻の上をおおよそ中心とし、クロッピング境界4
1’’が適切なターゲットクロッピングであることは自
明である。しかし、このズームポイントは、画像全体が
表示される低ズーム状態と、人物41の顔41aのみが
示される最大ズーム状態との間の移行の間のすべてのズ
ームレベルについて適切なわけではない。ズームなしか
ら最大ズーム画像までの移行において、任意の所与のズ
ーム状態について適宜可能な限り多くの関心領域を表示
画像内に含めるために、画像をパンすることが適切であ
る。したがって、1つのズーム状態において、表示され
る画像の境界を破線45で表すことができ、画像の中心
は、46とラベル付けられるポイントに対応する。した
がって、この状態では、3人の人物全員を見ることがで
きる。ズームレベルが増大するにつれ、第1の人物を画
像の中に維持することがもはや不可能になるが、データ
プロセッサは、関心領域41および42が近く隣接する
ことを識別することができる。したがって、ズームレベ
ルが増大するにつれ、表示領域が破線48によって区切
られる場合、データプロセッサは画像をパンし、表示の
中心ポイントを位置46から位置47に移す。このた
め、画像において適切な関心レベルを維持するために
は、ズームレベル変更時に、画像をパンする必要がある
ことが明らかである。ズームレベルがさらに増大する
と、続けてターゲット関心領域、すなわち頭部41aし
か表示領域に含めることができなくなり、したがってデ
ータプロセッサは、画像を再びパンして、画像の中心を
ポイント47から顔41aの中心におおよそ一致する新
しいポイントに移さなければならない。
【0048】任意のズーム段階において、イメージセレ
クタ13(図1)を動作させて、新しい関心領域を選択
することができる。しかし、有利なことに、関心領域の
選択は、表示装置に現在表示されている画像の領域内に
ある領域のみに制限される。これにより、ユーザが、ズ
ームレベルによりもはや見ることができない画像のどこ
か別のところにある新しい関心領域に不注意でジャンプ
してしまうことが防止される。
【0049】したがって、本発明の実施形態では、ユー
ザが、異なる関心領域を選択する都度画像全体を再度表
示することなく、またユーザが関心領域を選択するため
にカーソル制御ボタンをいずれも操作する必要なく、画
像内の異なる関心領域の間を移動することができる。
【0050】電子的に取り込まれた画像から関心領域を
選択する様々な方式が知られている。一旦、かかる既知
の方式が、“automatic cropping of electronic image
s”と称する現在同時係属中の特許出願である英国特許
出願第0031423.7号に記載されている。次に、
完全を期すために、英国特許出願第0031423.7
号に開示される方式の概要について述べる。
【0051】図3aは、おおよそ中央にブランコに乗っ
た少女52を示す電子画像50を示す。また、画像の左
下にかけて、いくつかの花54が前景において目立った
領域もある。さらに、小さな少年の一部および大人の腕
の部分を、画像の右側の縁56に見ることができる。複
写のためにグレースケール画像を用いて示すだけである
が、オリジナル画像はカラーであったことが分かるであ
ろう。
【0052】まず、画像50は、同様の色、輝度、およ
びテクスチャの領域を、均一の色および輝度を有する領
域に併合するように処理される。これは、図3bを参照
して見て取ることができる。花54の主要部分は、少女
の顔64およびズボン62と同様に、均一の色の領域5
8に併合された。背景の大きな領域、たとえば画像の左
側の木60もまた、均一の色の領域に併合された。同様
の色の領域を併合する技法は周知である。たとえば、色
のバリエーションが圧縮されたフォーマットに画像を変
換してから、同様の色または輝度の隣接領域を併合する
ことができる。同様に、同様の色または輝度の大きな領
域に囲まれた小さな領域もまた、大きな領域に併合する
ことができる。
【0053】次いで、結果得られる画像はさらに、画像
の隣接部分を互いに比較し、画像の隣接部分の間の色お
よび輝度の差または画像の最大領域を占める色からの差
を示す「関心等級」を各画像部分に割り当てることによ
って処理される。「関心等級」を使用して、顕著性評価
画像と呼ばれる最終画像が生成される。この最終画像で
は、画像の領域の輝度が、隣接する領域の平均された色
および輝度の差に比例する。図3aの画像写真の顕著性
評価画像を図3cに示す。少女52および花54が画像
の他の領域よりも有意に明るいことを見て取ることがで
きる。
【0054】関心領域と示されるのは、顕著性評価画像
の明るい領域である。図1に示すイメージセレクタ13
からの適切な信号に応答してハイライトされるのは、こ
ういった関心領域である。
【0055】顕著性評価マップにおいて、少女のジャン
パー、脚、腕、および頭部すべてに、異なる色が与えら
れていることも見て取ることができる。このため、これ
らそれぞれは、別個の関心領域として識別された。しか
し、最も近い近傍を識別しグループ化する解析により、
少女は単一オブジェクトとして識別される。
【0056】関心領域を識別し、関心等級を個々の画像
領域に割り当てた後、様々な合成ルールを適用して、画
像内で適宜クロッピングした領域を決定することができ
る。たとえば、メイン画像のかなり際にある関心の高い
領域を、不完全な画像として解釈し、よってクロッピン
グ領域から除外することができる。
【0057】他の既知の電子画像から関心領域を選択す
る方法またはメイン画像内の領域を決定する方法は、本
発明の実施形態に同等に適用することが可能である。
【図面の簡単な説明】
【図1】図1は、本発明の実施形態を構成する画像処理
および閲覧システムを概略的に示す図である。
【図2】図2は、複数の非重複関心ポイントを有する画
像の概略図である。
【図3a】画像をどのように解析して関心領域を識別す
るかを示す図である。
【図3b】画像をどのように解析して関心領域を識別す
るかを示す図である。
【図3c】画像をどのように解析して関心領域を識別す
るかを示す図である。
【符号の説明】 9:イメージプロセッサ 15:関心領域選択ボタン 17:ズームイン/ズームアウト制御器 40:第1の人物 41:第2の人物 42:第3の人物
フロントページの続き Fターム(参考) 5B057 BA24 CA08 CA12 CA16 CB08 CB12 CB16 CD05 CE08 DA08 DB02 DB09 5C022 AA13 AB36 5C023 AA02 AA31 AA37 CA01 5L096 AA02 AA06 EA03 FA06

Claims (29)

    【特許請求の範囲】
  1. 【請求項1】 画像を解析して、該画像内の複数の関心
    領域(40、41、42)を識別するように構成された
    イメージプロセッサ(9)を特徴とし、該イメージプロ
    セッサは、ユーザがイメージセレクタ(15)を操作し
    て、ズームターゲットとして前記関心領域のうちの1つ
    を選択することができるように、前記解析の結果を前記
    ユーザに提示する、電子画像処理装置。
  2. 【請求項2】 前記ユーザによる前記ズームターゲット
    のズームイン、またはズームアウトを可能にするズーム
    制御器(17)をさらに備える、請求項1記載の電子画
    像処理装置。
  3. 【請求項3】 前記イメージプロセッサは、前記ズーム
    が変更されると、前記画像を自動的にパンして、前記選
    択された関心領域を、ディスプレイに表示される前記画
    像の部分内に維持する、請求項2記載の電子画像処理装
    置。
  4. 【請求項4】 ユーザが選択したズームレベルについ
    て、前記イメージプロセッサ(9)は、前記選択された
    関心領域(40、41、42)の近傍をサーチし、かか
    る領域が存在する場合、所与のズーム量について表示さ
    れる関心領域の数を最適化するように前記画像をパンす
    る、請求項2または3記載の電子画像処理装置。
  5. 【請求項5】 表示可能な関心領域全体の数は最大化さ
    れる、請求項3または4記載の電子画像処理装置。
  6. 【請求項6】 前記イメージプロセッサは、部分的に表
    示される関心領域の数を最小化しようとする、請求項5
    記載の電子画像処理装置。
  7. 【請求項7】 前記イメージプロセッサ(9)は、前記
    画像内の非重複関心領域を識別する、先行する請求項の
    いずれか一項記載の電子画像処理装置。
  8. 【請求項8】 前記イメージプロセッサ(9)は、前記
    関心領域を比較し、個々の関心領域を共にグループ化し
    て、合成関心領域を形成すべきかどうかを判断する、先
    行する請求項のいずれか一項記載の電子画像処理装置。
  9. 【請求項9】 前記イメージプロセッサ(9)は、前記
    関心領域(40、41、42)についてクロッピング境
    界(40、41、42)を計算するようにさらに構成さ
    れ、各クロッピングは、画像合成の少なくとも1つの規
    則に従う、先行する請求項のいずれか一項記載の電子画
    像処理装置。
  10. 【請求項10】 前記画像の解析は、前記画像のいずれ
    のビューについても前記ユーザにより呼び出され、前記
    イメージプロセッサ(9)にさらなる関心領域を識別さ
    せることが可能である、先行する請求項のいずれか一項
    記載の電子画像処理装置。
  11. 【請求項11】 前記イメージプロセッサ(9)は、関
    心等級を前記関心領域それぞれに割り当てる、先行する
    請求項のいずれか一項記載の電子画像処理装置。
  12. 【請求項12】 前記関心領域は、前記関心等級に従っ
    て表示選択される、請求項11記載の電子画像処理装
    置。
  13. 【請求項13】 前記イメージプロセッサ(9)は、前
    記関心領域(40、41、42)についてクロッピング
    ビューを計算し、該クロッピングビューのそれぞれに品
    質等級を割り当てる、先行する請求項のいずれか一項記
    載の電子画像処理装置。
  14. 【請求項14】 前記イメージセレクタに応答して、前
    記イメージプロセッサは、前記品質等級に従って前記ビ
    ューを順次選択する、請求項13記載の電子画像処理装
    置。
  15. 【請求項15】 前記イメージセレクタは、前記イメー
    ジプロセッサに無線接続される、先行する請求項のいず
    れか一項記載の電子画像処理装置。
  16. 【請求項16】 先行する請求項のいずれか一項に記載
    の電子画像処理装置と、該画像処理装置に応答するディ
    スプレイと、を備える、電子画像を取り込む電子カメラ
    システム。
  17. 【請求項17】 イメージプロセッサと、ズームターゲ
    ットを識別するためのユーザ操作可能な入力装置と、ユ
    ーザ操作可能なズーム制御器と、を備え、前記イメージ
    プロセッサは、画像を自動的に解析して、少なくとも1
    つの関心領域を識別し、前記解析の結果はユーザに提示
    され、これによって前記ユーザが、ズームターゲットと
    して1つの関心領域を選択し、前記ズーム制御器を介し
    て前記ズームレベルを制御することができる、デジタル
    画像を表示する電子装置。
  18. 【請求項18】 画像を解析して、該画像内の複数の関
    心領域(40、41、42)を選択するステップを備え
    ることを特徴とする方法であって、ユーザが、ユーザ選
    択ズームに関係なく表示されたまま残るズームターゲッ
    トとして前記関心領域のうちの1つを選択することがで
    きるように、前記解析の結果が前記ユーザに提示され
    る、電子画像を表示する方法。
  19. 【請求項19】 各関心領域についてクロッピング境界
    が計算され、前記ユーザは、ズームなしと、表示されて
    いる前記クロッピング境界内の前記画像全体によって制
    限されるレベルと、の間でズームを変更することができ
    る、請求項18記載の方法。
  20. 【請求項20】 前記イメージプロセッサ(9)は、前
    記画像内の非重複関心領域を識別する、請求項19記載
    の方法。
  21. 【請求項21】 前記イメージプロセッサ(9)は、前
    記関心領域を比較し、個々の関心領域を共にグループ化
    して、合成関心領域を形成すべきかどうかを判断する、
    請求項19または20記載の方法。
  22. 【請求項22】 前記クロッピング境界が計算され、前
    記クロッピング境界は、画像合成の少なくとも1つの規
    則に従う、請求項18ないし21のいずれか一項記載の
    方法。
  23. 【請求項23】 前記画像の解析は、前記画像のいずれ
    のビューについても前記ユーザにより呼び出され、前記
    イメージプロセッサ(9)にさらなる関心領域を識別さ
    せることが可能である、請求項18ないし22のいずれ
    か一項記載の方法。
  24. 【請求項24】 各関心領域の関心レベルを評価し、前
    記関心レベルを示す各関心領域に等級を割り当てるステ
    ップをさらに含む、請求項18ないし23のいずれか一
    項記載の方法。
  25. 【請求項25】 前記領域は、前記関心領域選択信号に
    応答して、前記割り当てられた等級の順に順次表示され
    る、請求項24記載の方法。
  26. 【請求項26】 任意の所与のズームレベルについて、
    前記イメージプロセッサは、表示される関心領域全体の
    数が最大化されるように前記画像をパンする、請求項1
    8ないし25のいずれか一項記載の方法。
  27. 【請求項27】 画像を自動的に解析して、少なくとも
    1つの関心領域および関連するクロッピング境界を識別
    するステップを含む方法であって、前記解析の結果は、
    ユーザが前記ズームターゲットとして1つの関心領域を
    選択し、ズーム制御器を介してズームレベルを制御する
    ことができるように、前記ユーザに提示される、電子画
    像を表示する方法。
  28. 【請求項28】 前記画像は、前記ズームレベルが変更
    されると、前記ズームターゲットが表示されたまま残る
    ように、自動的にパンされる、請求項27記載の方法。
  29. 【請求項29】 前記イメージプロセッサは、前記選択
    された関心領域以外の関心領域についてサーチし、前記
    ズームレベルで可能であれば、これら領域を、表示され
    る画像に含めるようにする、請求項27または28記載
    の方法。
JP2002201052A 2001-07-10 2002-07-10 知的特徴選択およびパンズーム制御 Expired - Lifetime JP4727117B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB0116877:2 2001-07-10
GBGB0116877.2A GB0116877D0 (en) 2001-07-10 2001-07-10 Intelligent feature selection and pan zoom control

Publications (3)

Publication Number Publication Date
JP2003256836A true JP2003256836A (ja) 2003-09-12
JP2003256836A5 JP2003256836A5 (ja) 2005-10-27
JP4727117B2 JP4727117B2 (ja) 2011-07-20

Family

ID=9918266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002201052A Expired - Lifetime JP4727117B2 (ja) 2001-07-10 2002-07-10 知的特徴選択およびパンズーム制御

Country Status (4)

Country Link
US (1) US7248294B2 (ja)
JP (1) JP4727117B2 (ja)
FR (1) FR2827461B1 (ja)
GB (2) GB0116877D0 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004077821A1 (ja) * 2003-02-25 2004-09-10 Matsushita Electric Industrial Co., Ltd. 映像合成装置
JP2006099404A (ja) * 2004-09-29 2006-04-13 Sanyo Electric Co Ltd 画像表示装置
JP2006128793A (ja) * 2004-10-26 2006-05-18 Canon Inc 撮像装置、及びその制御方法
JP2009278623A (ja) * 2008-04-15 2009-11-26 Sony Corp 撮像デバイス内でタッチ式調節を実行する方法及び装置
JP2012049628A (ja) * 2010-08-24 2012-03-08 Nikon Corp 画像処理装置、撮像装置、及び画像処理プログラム
KR101417811B1 (ko) 2007-12-21 2014-07-09 삼성전자주식회사 디지털 영상 처리기에서 얼굴인식을 통한 줌-인 장치 및방법
JP2015216558A (ja) * 2014-05-13 2015-12-03 富士機械製造株式会社 画像転送方法および画像転送装置
WO2020246317A1 (ja) * 2019-06-04 2020-12-10 ソニー株式会社 撮像装置、および撮像制御方法
JPWO2021152961A1 (ja) * 2020-01-30 2021-08-05

Families Citing this family (175)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6870956B2 (en) * 2001-06-14 2005-03-22 Microsoft Corporation Method and apparatus for shot detection
US7116716B2 (en) 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
US7327890B2 (en) 2002-12-20 2008-02-05 Eastman Kodak Company Imaging method and system for determining an area of importance in an archival image
US7164798B2 (en) * 2003-02-18 2007-01-16 Microsoft Corporation Learning-based automatic commercial content detection
US7260261B2 (en) * 2003-02-20 2007-08-21 Microsoft Corporation Systems and methods for enhanced image adaptation
JP4032355B2 (ja) * 2003-03-27 2008-01-16 カシオ計算機株式会社 表示処理装置、表示制御方法および表示処理プログラム
US8004565B2 (en) * 2003-06-19 2011-08-23 Nvidia Corporation System and method for using motion vectors for object tracking
US7792335B2 (en) 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US8948468B2 (en) 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7792970B2 (en) * 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7315630B2 (en) 2003-06-26 2008-01-01 Fotonation Vision Limited Perfecting of digital image rendering parameters within rendering devices using face detection
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7620218B2 (en) * 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US7616233B2 (en) * 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US7362368B2 (en) * 2003-06-26 2008-04-22 Fotonation Vision Limited Perfecting the optics within a digital image acquisition device using face detection
US8593542B2 (en) * 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7269292B2 (en) * 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7680342B2 (en) 2004-08-16 2010-03-16 Fotonation Vision Limited Indoor/outdoor classification in digital images
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8989453B2 (en) * 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US7587068B1 (en) 2004-01-22 2009-09-08 Fotonation Vision Limited Classification database for consumer digital images
US8155397B2 (en) * 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US9129381B2 (en) * 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8330831B2 (en) * 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US8498452B2 (en) * 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
JP4746295B2 (ja) * 2003-08-25 2011-08-10 富士フイルム株式会社 デジタルカメラおよび撮影方法
US7400761B2 (en) * 2003-09-30 2008-07-15 Microsoft Corporation Contrast-based image attention analysis framework
US7471827B2 (en) * 2003-10-16 2008-12-30 Microsoft Corporation Automatic browsing path generation to present image areas with high attention value as a function of space and time
US20050134719A1 (en) * 2003-12-23 2005-06-23 Eastman Kodak Company Display device with automatic area of importance display
US7555148B1 (en) 2004-01-22 2009-06-30 Fotonation Vision Limited Classification system for consumer digital images using workflow, face detection, normalization, and face recognition
US7558408B1 (en) 2004-01-22 2009-07-07 Fotonation Vision Limited Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition
US7564994B1 (en) 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7551755B1 (en) 2004-01-22 2009-06-23 Fotonation Vision Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
CN100448267C (zh) 2004-02-06 2008-12-31 株式会社尼康 数码相机
US20050212823A1 (en) * 2004-03-29 2005-09-29 Uthe Robert T System, method and software for intelligent zooming in a user interface
GB2413718A (en) * 2004-04-30 2005-11-02 Hewlett Packard Development Co Automatic view generation from recording photographer's eye movements
US9053754B2 (en) * 2004-07-28 2015-06-09 Microsoft Technology Licensing, Llc Thumbnail generation and presentation for recorded TV programs
US7986372B2 (en) * 2004-08-02 2011-07-26 Microsoft Corporation Systems and methods for smart media content thumbnail extraction
US20060045381A1 (en) * 2004-08-31 2006-03-02 Sanyo Electric Co., Ltd. Image processing apparatus, shooting apparatus and image display apparatus
JP4449663B2 (ja) * 2004-09-01 2010-04-14 ソニー株式会社 撮像装置
WO2006044476A2 (en) 2004-10-12 2006-04-27 Robert Vernon Vanman Method of and system for mobile surveillance and event recording
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
JP4656912B2 (ja) * 2004-10-29 2011-03-23 三洋電機株式会社 画像符号化装置
US20060115185A1 (en) * 2004-11-17 2006-06-01 Fuji Photo Film Co., Ltd. Editing condition setting device and program for photo movie
FR2878641B1 (fr) * 2004-11-26 2007-07-06 Eastman Kodak Co Procede de navigation automatique contrainte vers des regions d'interet d'une image
US7715597B2 (en) * 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8503800B2 (en) * 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
FI20055369A0 (fi) * 2005-06-30 2005-06-30 Nokia Corp Menetelmä ja laite digitaalisten mediatiedostojen käsittelemiseksi
US7944455B1 (en) * 2005-07-06 2011-05-17 Apple Inc. Controlling a display device to display portions of an entire image in a display area
US8982944B2 (en) * 2005-10-12 2015-03-17 Enforcement Video, Llc Method and system for categorized event recording of images in multiple resolution levels
US7773813B2 (en) 2005-10-31 2010-08-10 Microsoft Corporation Capture-intention detection for video content analysis
US8180826B2 (en) * 2005-10-31 2012-05-15 Microsoft Corporation Media sharing and authoring on the web
US8196032B2 (en) * 2005-11-01 2012-06-05 Microsoft Corporation Template-based multimedia authoring and sharing
US7599918B2 (en) * 2005-12-29 2009-10-06 Microsoft Corporation Dynamic search with implicit user intention mining
US7536654B2 (en) * 2006-02-06 2009-05-19 Microsoft Corporation Photo browse and zoom
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
JP4624947B2 (ja) * 2006-03-22 2011-02-02 富士フイルム株式会社 画像のトリミング方法および装置並びにプログラム
DE602007012246D1 (de) * 2006-06-12 2011-03-10 Tessera Tech Ireland Ltd Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern
JP4110178B2 (ja) * 2006-07-03 2008-07-02 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
EP2050043A2 (en) * 2006-08-02 2009-04-22 Fotonation Vision Limited Face recognition with combined pca-based datasets
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
KR100803610B1 (ko) * 2006-11-21 2008-02-15 삼성전자주식회사 인터넷을 통해 UPnP 홈 네트워크에 접속된 디바이스를제어하는 방법 및 이를 위한 시스템 및 장치
KR100886337B1 (ko) * 2006-11-23 2009-03-02 삼성전자주식회사 이미지 내 선택 영역을 일괄 저장하는 장치 및 이미지정보의 문서화 장치
US8055067B2 (en) * 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
JP5049356B2 (ja) * 2007-02-28 2012-10-17 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド テクスチャ空間分解に基づく統計的顔モデリングにおける指向性照明変動性の分離
WO2008107002A1 (en) 2007-03-05 2008-09-12 Fotonation Vision Limited Face searching and detection in a digital image acquisition device
EP2123008A4 (en) 2007-03-05 2011-03-16 Tessera Tech Ireland Ltd FACIAL CATEGORIZATION AND NOTE SYSTEM FOR A MOBILE PHONE CONTACT LIST
US8132096B1 (en) * 2007-03-26 2012-03-06 Hewlett-Packard Development Company, L.P. Image composition evaluation
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US8599368B1 (en) 2008-01-29 2013-12-03 Enforcement Video, Llc Laser-based speed determination device for use in a moving vehicle
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
CA2714362A1 (en) 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
US9860536B2 (en) * 2008-02-15 2018-01-02 Enforcement Video, Llc System and method for high-resolution storage of images
US7855737B2 (en) * 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
CN103475837B (zh) 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
CN102027505A (zh) * 2008-07-30 2011-04-20 泰塞拉技术爱尔兰公司 使用脸部检测的自动脸部和皮肤修饰
US20100123785A1 (en) * 2008-11-17 2010-05-20 Apple Inc. Graphic Control for Directional Audio Input
WO2010063463A2 (en) * 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
CN101789235B (zh) * 2009-01-22 2011-12-28 华为终端有限公司 一种图像处理方法及装置
JP5270417B2 (ja) * 2009-03-26 2013-08-21 東洋ゴム工業株式会社 空気入りタイヤ
US8531571B1 (en) * 2009-08-05 2013-09-10 Bentley Systmes, Incorporated System and method for browsing a large document on a portable electronic device
US8379917B2 (en) * 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
JP2011147109A (ja) * 2009-12-16 2011-07-28 Canon Inc 撮像装置及び画像処理装置
US8861864B2 (en) * 2010-03-11 2014-10-14 Qualcomm Incorporated Image feature detection based on application of multiple feature detectors
US8379098B2 (en) * 2010-04-21 2013-02-19 Apple Inc. Real time video process control using gestures
JP5620142B2 (ja) * 2010-04-28 2014-11-05 オリンパスイメージング株式会社 撮像装置および撮像方法
AU2010201740B2 (en) * 2010-04-30 2013-03-07 Canon Kabushiki Kaisha Method, apparatus and system for performing a zoom operation
US20120069224A1 (en) * 2010-05-06 2012-03-22 Andrew Cilia Method and system for single-camera license-plate recognition and magnification
US8736680B1 (en) 2010-05-18 2014-05-27 Enforcement Video, Llc Method and system for split-screen video display
JP5539045B2 (ja) * 2010-06-10 2014-07-02 キヤノン株式会社 撮像装置およびその制御方法、記憶媒体
WO2012001637A1 (en) * 2010-06-30 2012-01-05 Koninklijke Philips Electronics N.V. Zooming-in a displayed image
US9661232B2 (en) * 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
US9389774B2 (en) * 2010-12-01 2016-07-12 Sony Corporation Display processing apparatus for performing image magnification based on face detection
US8836777B2 (en) 2011-02-25 2014-09-16 DigitalOptics Corporation Europe Limited Automatic detection of vertical gaze using an embedded imaging device
US9204047B2 (en) * 2011-04-08 2015-12-01 Nokia Technologies Oy Imaging
JP5791448B2 (ja) * 2011-09-28 2015-10-07 京セラ株式会社 カメラ装置および携帯端末
US9026951B2 (en) 2011-12-21 2015-05-05 Apple Inc. Device, method, and graphical user interface for selection of views in a three-dimensional map based on gesture inputs
US9208698B2 (en) 2011-12-27 2015-12-08 Apple Inc. Device, method, and graphical user interface for manipulating a three-dimensional map view based on a device orientation
US8941561B1 (en) 2012-01-06 2015-01-27 Google Inc. Image capture
US9197864B1 (en) 2012-01-06 2015-11-24 Google Inc. Zoom and image capture based on features of interest
US9245312B2 (en) * 2012-11-14 2016-01-26 Facebook, Inc. Image panning and zooming effect
CN113472989A (zh) 2012-11-28 2021-10-01 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
US10178298B2 (en) * 2012-12-20 2019-01-08 Sony Corporation Image processing device, image processing method, and recording medium for optimal trimming of a captured image
JP2014215604A (ja) * 2013-04-30 2014-11-17 ソニー株式会社 画像処理装置および画像処理方法
US20140372217A1 (en) * 2013-06-13 2014-12-18 International Business Machines Corporation Optimal zoom indicators for map search results
CN108234851B (zh) 2013-06-13 2019-08-16 核心光电有限公司 双孔径变焦数字摄影机
JP2016523389A (ja) 2013-07-04 2016-08-08 コアフォトニクス リミテッド 小型望遠レンズアセンブリ
EP3028443A2 (en) 2013-08-01 2016-06-08 Corephotonics Ltd. Thin multi-aperture imaging system with auto-focus and methods for using same
US9633046B2 (en) * 2013-09-18 2017-04-25 Intel Corporation Automated image cropping and sharing
EP2894852A1 (en) * 2014-01-14 2015-07-15 Alcatel Lucent Process for increasing the quality of experience for users that watch on their terminals a high definition video stream
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
JP6436761B2 (ja) * 2014-12-24 2018-12-12 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム
WO2016108093A1 (en) 2015-01-03 2016-07-07 Corephotonics Ltd. Miniature telephoto lens module and a camera utilizing such a lens module
KR102160867B1 (ko) 2015-04-02 2020-09-29 코어포토닉스 리미티드 듀얼 광학 모듈 카메라의 듀얼 보이스 코일 모터 구조체
ES2908652T3 (es) 2015-04-16 2022-05-03 Corephotonics Ltd Enfoque automático y estabilización de imagen óptica en una cámara compacta de plegado
CN110471156B (zh) 2015-05-28 2021-08-03 核心光电有限公司 用于双孔径数字照相机中的光学图像稳定和自动对焦的双向刚度
CN112672024B (zh) 2015-08-13 2022-08-02 核心光电有限公司 视频支持和切换/无切换动态控制的双孔径变焦摄影机
WO2017037688A1 (en) 2015-09-06 2017-03-09 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
KR102474244B1 (ko) * 2015-11-20 2022-12-06 삼성전자주식회사 영상 표시 장치 및 그 동작방법
CN105528786B (zh) 2015-12-04 2019-10-01 小米科技有限责任公司 图像处理方法及装置
CN109946832B (zh) 2015-12-29 2021-01-19 核心光电有限公司 具有自动可调节长焦视场的双孔径变焦数字摄影机
US9864925B2 (en) 2016-02-15 2018-01-09 Ebay Inc. Digital image presentation
US10341605B1 (en) 2016-04-07 2019-07-02 WatchGuard, Inc. Systems and methods for multiple-resolution storage of media streams
KR102002718B1 (ko) 2016-05-30 2019-10-18 코어포토닉스 리미티드 회전식 볼-가이드 음성 코일 모터
CN107925728B (zh) 2016-06-19 2020-12-08 核心光电有限公司 双孔径摄影机系统中的帧同步
KR102390572B1 (ko) 2016-07-07 2022-04-25 코어포토닉스 리미티드 폴디드 옵틱용 선형 볼 가이드 음성 코일 모터
WO2018007951A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Dual-camera system with improved video smooth transition by image blending
EP3842853B1 (en) 2016-12-28 2024-03-06 Corephotonics Ltd. Folded camera structure with an extended light-folding-element scanning range
CN113805406A (zh) 2017-01-12 2021-12-17 核心光电有限公司 紧凑型折叠式摄影机及其组装方法
US11347016B2 (en) 2017-02-23 2022-05-31 Corephotonics Ltd. Folded camera lens designs
US10645286B2 (en) 2017-03-15 2020-05-05 Corephotonics Ltd. Camera with panoramic scanning range
JP6949612B2 (ja) * 2017-08-09 2021-10-13 キヤノン株式会社 動画再生装置およびその制御方法、並びにプログラム
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
US10440276B2 (en) * 2017-11-02 2019-10-08 Adobe Inc. Generating image previews based on capture information
KR102104761B1 (ko) 2017-11-23 2020-04-27 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
KR102091369B1 (ko) 2018-02-05 2020-05-18 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
EP3707893B1 (en) 2018-02-12 2023-03-08 Corephotonics Ltd. Folded camera with optical image stabilization
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
KR20230098686A (ko) 2018-04-23 2023-07-04 코어포토닉스 리미티드 연장된 2 자유도 회전 범위를 갖는 광학 경로 폴딩 요소
CN111316346B (zh) 2018-08-04 2022-11-29 核心光电有限公司 摄像机上方的可切换连续显示信息系统
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
CN111919057B (zh) 2019-01-07 2021-08-31 核心光电有限公司 具有滑动接头的旋转机构
US11315276B2 (en) 2019-03-09 2022-04-26 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
WO2021019318A1 (en) 2019-07-31 2021-02-04 Corephotonics Ltd. System and method for creating background blur in camera panning or motion
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
KR20220058593A (ko) 2019-12-09 2022-05-09 코어포토닉스 리미티드 스마트한 파노라마 이미지를 획득하기 위한 시스템 및 방법
KR102339553B1 (ko) * 2019-12-19 2021-12-16 ㈜오버플로우 화면을 확대하여 표시하며 실시간으로 중계하는 장치 및 이의 동작 방법
US11297244B2 (en) * 2020-02-11 2022-04-05 Samsung Electronics Co., Ltd. Click-and-lock zoom camera user interface
KR20220003550A (ko) 2020-04-26 2022-01-10 코어포토닉스 리미티드 홀 바 센서 보정을 위한 온도 제어
CN117372249A (zh) 2020-05-17 2024-01-09 核心光电有限公司 全视场参考图像的图像拼接
WO2021245488A1 (en) 2020-05-30 2021-12-09 Corephotonics Ltd. Systems and methods for obtaining a super macro image
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
CN114730064A (zh) 2020-07-15 2022-07-08 核心光电有限公司 扫描折叠相机的视点像差校正
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US11610338B2 (en) * 2021-03-26 2023-03-21 Fotonation Limited Method of controlling a camera
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03103248A (ja) 1989-09-18 1991-04-30 Toshiba Corp 超音波診断装置
US5212637A (en) * 1989-11-22 1993-05-18 Stereometrix Corporation Method of investigating mammograms for masses and calcifications, and apparatus for practicing such method
JPH03236094A (ja) 1990-02-14 1991-10-22 Toshiba Corp 画像表示装置
JPH0496739A (ja) 1990-08-10 1992-03-30 Toshiba Corp 画像表示装置
KR100276681B1 (ko) * 1992-11-07 2001-01-15 이데이 노부유끼 비디오 카메라 시스템
SG67927A1 (en) * 1993-10-20 1999-10-19 Videoconferencing Sys Inc Adaptive videoconferencing system
US6476868B1 (en) * 1994-04-11 2002-11-05 Canon Kabushiki Kaisha Image pickup apparatus provided with enlargement process means for enlarging image signals output from an image pickup device
US6148096A (en) * 1995-09-15 2000-11-14 Accumed International, Inc. Specimen preview and inspection system
US5731805A (en) 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US6084989A (en) * 1996-11-15 2000-07-04 Lockheed Martin Corporation System and method for automatically determining the position of landmarks in digitized images derived from a satellite-based imaging system
US5874959A (en) * 1997-06-23 1999-02-23 Rowe; A. Allen Transparent overlay viewer interface
TW472484B (en) 1999-03-09 2002-01-11 Sanyo Electric Co Method and apparatus for processing camera signals
US6809759B1 (en) * 2000-06-19 2004-10-26 Benq Corporation Remote control unit with previewing device for an image-capturing device
JP4443735B2 (ja) * 2000-07-11 2010-03-31 富士フイルム株式会社 撮像装置およびその動作制御方法
JP4482778B2 (ja) * 2000-09-11 2010-06-16 ソニー株式会社 画像処理装置および画像処理方法、並びに記録媒体

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004077821A1 (ja) * 2003-02-25 2004-09-10 Matsushita Electric Industrial Co., Ltd. 映像合成装置
JP2006099404A (ja) * 2004-09-29 2006-04-13 Sanyo Electric Co Ltd 画像表示装置
JP4578197B2 (ja) * 2004-09-29 2010-11-10 三洋電機株式会社 画像表示装置
JP2006128793A (ja) * 2004-10-26 2006-05-18 Canon Inc 撮像装置、及びその制御方法
JP4632417B2 (ja) * 2004-10-26 2011-02-16 キヤノン株式会社 撮像装置、及びその制御方法
KR101417811B1 (ko) 2007-12-21 2014-07-09 삼성전자주식회사 디지털 영상 처리기에서 얼굴인식을 통한 줌-인 장치 및방법
JP2009278623A (ja) * 2008-04-15 2009-11-26 Sony Corp 撮像デバイス内でタッチ式調節を実行する方法及び装置
JP2012049628A (ja) * 2010-08-24 2012-03-08 Nikon Corp 画像処理装置、撮像装置、及び画像処理プログラム
JP2015216558A (ja) * 2014-05-13 2015-12-03 富士機械製造株式会社 画像転送方法および画像転送装置
WO2020246317A1 (ja) * 2019-06-04 2020-12-10 ソニー株式会社 撮像装置、および撮像制御方法
JPWO2021152961A1 (ja) * 2020-01-30 2021-08-05
WO2021152961A1 (ja) * 2020-01-30 2021-08-05 富士フイルム株式会社 表示方法
JP7394151B2 (ja) 2020-01-30 2023-12-07 富士フイルム株式会社 表示方法

Also Published As

Publication number Publication date
GB0214315D0 (en) 2002-07-31
US7248294B2 (en) 2007-07-24
US20030025812A1 (en) 2003-02-06
GB2378838B (en) 2003-08-13
GB0116877D0 (en) 2001-09-05
GB2378838A (en) 2003-02-19
JP4727117B2 (ja) 2011-07-20
FR2827461B1 (fr) 2003-12-26
FR2827461A1 (fr) 2003-01-17

Similar Documents

Publication Publication Date Title
JP4727117B2 (ja) 知的特徴選択およびパンズーム制御
US20170116709A1 (en) Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor
JP4840426B2 (ja) 電子機器、ぼけ画像選別方法及びプログラム
JP5867424B2 (ja) 画像処理装置、画像処理方法、プログラム
KR100215586B1 (ko) 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
US9001230B2 (en) Systems, methods, and computer-readable media for manipulating images using metadata
US8421871B2 (en) Method and apparatus for image pickup and image processing
JP4626668B2 (ja) 画像処理装置、表示制御方法、プログラム及び記録媒体
US20050134719A1 (en) Display device with automatic area of importance display
US7606441B2 (en) Image processing device and a method for the same
US20080024619A1 (en) Image Processing Apparatus, Image Processing Method and Program
JP5281972B2 (ja) 撮像装置
US9712750B2 (en) Display control device and associated methodology of identifying a subject in an image
JP2005277733A (ja) 動画像処理装置
US10282819B2 (en) Image display control to grasp information about image
JP6261205B2 (ja) 画像処理装置
US6847379B2 (en) Display of static digital images
US20120229678A1 (en) Image reproducing control apparatus
JP2008281385A (ja) 画像処理装置
JP3649468B2 (ja) 撮影機能付き電子アルバムシステム
JP4836878B2 (ja) 画像識別表示装置及び画像識別表示方法
JP2007515864A (ja) ビデオ画像処理方法
JP4223762B2 (ja) 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム
JP2008090570A (ja) 情報処理装置及び情報処理方法
JP2009245406A (ja) 画像処理装置およびそのプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050708

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080516

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080815

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090420

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090427

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090605

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100917

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110413

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250