JP2005045820A - 対象物上にマーカを設定しその対象物の位置を追尾する方法および装置 - Google Patents

Abstract

【課題】 選択された対象物がカメラの視野内にない場合でも、この対象物の位置を追尾できるようにする。
【解決手段】 シーンの第１のビューを表示するステップ２００と、該シーンに表示される対象物をマーカでマーキングするステップ２０２と、該対象物がもはや見えなくなっている前記シーンの第２のビューを表示するステップ２０４と、前記対象物が見える前記シーンの第３のビューを表示するステップ２０６と、該第３のビューにおいて前記表示された対象物を前記マーカで再マーキングするステップ２０８とを含んでなる方法を提供する。
【選択図】 図２

Description

本発明の分野は、デジタル撮像装置に関する。

デジタル撮像装置は、通常多くの自動設定を有する。たとえば、多くのデジタルカメラは、ピントと絞りと露出時間とを自動的に設定する。デジタルカメラによっては、ユーザが自動設定を無効にするかまたは支援することができる。たとえば、デジタルカメラによっては、カメラがピントを確定するために使用する画像内の領域を、ユーザが設定することができる。行われる１つの方法は、ファインダ内にその領域をセンタリングし、シャッタボタンを半分だけ押すことによる。カメラがピントを合わせると、ユーザはショットを再フレーミングしてシャッタボタンを最後まで押す。一方、ユーザが焦点領域として使用する対象物をマークすることができるカメラもある。たとえば、米国特許第５，１８７，５８５号明細書の「Image sensing apparatus with settable focus detection area」を参照のこと。対象物を選択するために使用する１つの方法は、ユーザが、ファインダまたはディスプレイに対象物をセンタリングしてコントロール部を押すというものである。対象物が選択されると、その対象物を識別するマーカを表示する。マーカには多くの形が使用され、１つの例は、選択された対象物を取り囲んでいるように示される矩形の括弧である。カメラによっては、複数の対象物を選択してマーキングすることさえできるものもある。多くのカメラにおいて、今日、カメラは、シーンを再フレーミングするためにパンする場合であっても選択された対象物を追尾する。不都合なことに、今日のカメラは、選択された対象物がすでに装置の視野内にないほど遠くにパンされる場合には、その対象物を見失ってしまう。

したがって、選択された対象物が目下カメラの視野内にない場合であっても、選択された対象物の位置を追尾することができるデジタル撮像装置が必要とされている。

ユーザが対象物を選択しマーカでマーキングすることができるデジタル撮像システムを開示する。このデジタル撮像装置は、マーキングされた対象物がデジタル撮像システムの視野内にない場合であっても、そのマーキングされた対象物の位置を追尾する。

本発明の他の態様および利点は、発明の原理を例として示す添付図面を考慮して、以下の詳細な説明から明らかとなろう。

図１に、通常のデジタル撮像装置の電子ブロック図を示す。デジタルカメラは、今日、通常、画像を取り込むフォトセンサ（１０２）と、取り込まれた画像を表示しデジタルカメラを制御する表示領域（１０４）と、取り込まれた画像を格納する記憶領域（１１６）と、取り込まれた画像の一時的な操作のためとカメラのファームウェアを実行するためのメモリ（１０８）と、カメラを制御するプロセッサ（１１０）と、何らかのタイプのコントロール部（１０６）とを含んでなる。また、デジタルカメラによっては、デジタル画像とともに音声クリップを取り込むマイクロフォン（１１４）も含む。デジタルカメラによっては、スピーカ（１１８）とデジタル信号プロセッサ（ＤＳＰ１１２）とを含む。デジタルカメラ上のコントロール部（１０６）には、ボタンやロッカースイッチやキーボード等の物理コントロール部と、表示領域に示される仮想コントロール部とがあってもよい。デジタルカメラが取り込んだデジタル画像とビデオクリップと音声クリップとを、メモリ（１０８）に格納するか、または記憶領域（１１６）に移動させてもよい。今日、メモリと記憶領域とは、通常、異なるタイプのデバイスである。メモリは、通常高速揮発性メモリであり、記憶領域は、通常より低速な不揮発性メモリである。将来は、不揮発性メモリの速度が増大するにしたがい、すべてのメモリが不揮発性タイプのものである可能性がある。デジタル撮像装置は、通常、入出力（Ｉ／Ｏ）チャネル（１２２）を有する。このＩ／Ｏチャネルは、たとえば、ＵＳＢバス、ＳＣＳＩバス、ＩＲリンク、ファイヤワイヤ、またはパラレルリンクでありうる。Ｉ／Ｏチャネルを使用して、デジタル撮像装置を他のコンピュータシステムまたはネットワークに接続する。デジタル撮像装置によっては、カメラドックを使用して他のコンピュータシステムに接続する。デジタルカメラは、たとえば携帯電話等のインターネットへの無線リンク（１２０）も有してもよい。

デジタルカメラによっては複数の表示領域を有するものがあり、たとえば、カメラは、その背面にＬＣＤディスプレイを有し、ファインダとして使用するマイクロディスプレイを有してもよい。カメラが見たシーンのリアルタイムビューを表示するために、ＬＣＤディスプレイとマイクロディスプレイとをともに使用することができる。またこれにより、カメラは、ユーザが写真をフレーミングする際にディスプレイに追加の情報を表示することができる。表示することができる情報の１つのタイプは、視野内でカメラが合焦している場所を示すためのマーカである。カメラによっては、合焦させるのに使用する対象物をユーザが設定または選択することができる。たとえば、米国特許第５，１８７，５８５号明細書の「Image sensing apparatus with settable focus detection area」を参照のこと。米国特許第５，１８７，５８５号明細書では、対象物を指定することができ、カメラは、その対象物が移動している場合でさえも、その対象物を合焦する領域として使用する。対象物を指定するいくつかの方法が知られている。１つの方法は、ファインダに対象物をセンタリングしてからコントロール部を起動するというものである。カメラによっては、コントロール部としてシャッタボタンのＳ１ポジションを使用する（通常、Ｓ１ポジションは、シャッタボタンが半分だけ押された場合である）。また、シャッタボタンとは異なるコントロール部を有するカメラもある。

対象物が指定されると、カメラによっては、マーカを使用して表示領域内のその対象物をマーキングする。使用することができるマーカには多くのタイプがある。たとえば、指定された対象物を取り囲む矩形の括弧を表示することができる。シーンを再フレーミングするためにカメラを移動させた場合には、マーカは指定された対象物上に中心を置いたままである。このように、指定された対象物は、その位置が視野内でシフトするのに従って追尾される。

シーンの対象物を追尾する多くの方法がある。対象物を追尾する１つの方法は、米国特許第５，１８７，５８５号明細書の「Ｉmage sensing apparatus with settable focus detection area」において開示されている。この米国特許第５，１８７，５８５号明細書では、対象物検出モジュールが、指定された対象物の画像特性を確定する。そして、それは、これらの画像特性を使用して、対象物が移動中である場合でさえも、その対象物の位置を追尾する。対象物の位置を追尾する別の方法は、引用することにより本明細書の一部をなすものとする、２０００年１月１８日に出願された米国特許出願第０９／４８４６６７号（以下、「第６６７号出願」とよぶ）の「Pointing device for digital camera display」に開示されている。第６６７号出願には、シーンの複数のコマすなわちはフレームを間断なく（in quick secession）撮影することが教示されている。そして、この装置は、後続する画像間の変化を比較することにより、装置の動きに対する変化の量および方向を計算する。装置の計算された動きを使用して、シーンにおける対象物の相対位置を確定することができる。たとえば、装置は、最初の１つまたは２つの画像を使用して基準のフレームを確立する。初期基準フレームに比較される装置の後続する動きを追尾することにより、装置が目下指している方向を確定することができる。目下指している方向と初期基準フレームとを使用することにより、対象物の位置を追尾することができる。基準フレームの内部における対象物の位置がわかっていることにより、その対象物の位置が装置の視野内にある場合はいつでも、対象物をマーカによってマーキングすることができる。

本発明の一実施形態例では、電子ディスプレイにおいてシーンを表示する（２００）。シーンの対象物を指定してマーカでマーキングする（２０２）。シーンの第２のビューを表示するが、ここではもはや対象物が見えなくなっている（２０４）。シーンの第３のビューを表示し、ここでは対象物が見える（２０６）。第３のビューでは、対象物をマーカで再マーキングする（２０８）。一実施形態例では、装置は、その視野が変化するに従い、対象物の位置を追尾する。別の実施形態例では、装置は、対象物が移動するに従いその対象物の位置を追尾する。本発明の別の実施形態例では、追加の対象物をマーキングして追尾することができる。

図３は、シーンにおいて２つの対象物をマーキングするマーカ（３０２）の実施形態例を示す。

本発明の一実施形態例では、デジタル装置は、フォトセンサ（１０２）上にシーンのビューを撮像する。デジタル装置は、ディスプレイ（１０４）にシーンのビューを表示する。デジタル装置は、そのデジタル装置へのユーザ入力を可能にする少なくとも１つのコントロール部（１０６）を含む。デジタル装置は、コントロール部（１０６）を監視するように構成されたプロセッサ（１１０）を含む。コントロール部（１０６）からのユーザ入力を検出した場合には初期基準フレームを確立するようにプロセッサ（１１０または１１２）を構成する。フォトセンサ（１０２）からシーンのビューを読み取ることによって初期基準フレームを確立する。ディスプレイ（１０４）において初期基準フレームに関して所定位置にマーカを表示するようにプロセッサ（１１０または１１２）を構成する。たとえば、初期基準フレームが確立された時に装置の視野の中心にマーカを配置することができる。フォトセンサ（１０２）によって取り込まれたシーンの複数の連続したビューを比較して、初期基準フレームに対する装置の移動を追尾するようにプロセッサ（１１０または１１２）を構成する。この情報を使用して、所定位置が装置の視野内にある場合にはマーカを表示するようにプロセッサ（１１０または１１２）を構成する。

実施形態例では、表示されている（および取り込まれた）画像の上（たとえば、ディスプレイの中心など）にマーカを配置し、この位置のＸ座標およびＹ座標を記録する。追尾プロセス中に後続する画像を取り込む際、装置は、相関計算を実行することにより、先に取り込まれた画像に対する現在取り込まれている画像の方向および距離の変化を確定する。画像間の移動の方向および距離がわかっていると、異なるＸ座標およびＹ座標を有する新たなマーカを確定する。この新たな座標値は、現画像におけるもとの対象物の新たな位置である。そして、新たな座標位置まで対象物マーカを移動させる。

上述したプロセスは、追尾中に取り込まれる新たな画像各々に関して継続する。結果としての効果は、マーカが配置された画像のもとの対象物をマーカが追尾する、ということである。マーカ、つまり対象物が、ディスプレイから外へ「移動する」場合であっても、新たな対象物を同様に識別して追尾するという意味で、その対象物のＸ座標およびＹ座標を依然として追尾することができる。言い換えれば、（たとえば、距離および方向などの）追尾される対象物間の関係がわかっており、したがって、カメラがパンされている際に、現在表示されているシーンから数画面幅だけ離れたシーンを依然として追尾することができるように、それらを使用してもよい。画面の外へ移動した対象物がライブビュー画像領域に再び戻ると、そのマーカをその対象物の上で再び使用可能にすることができる。

本発明の一実施形態例では、デジタル装置は、フォトセンサ（１０２）上にシーンのビューを撮像する。デジタル装置は、ディスプレイ（１０４）にシーンのビューを表示する。デジタル装置は、そのデジタル装置へのユーザ入力を可能にする少なくとも１つのコントロール部（１０６）を含む。デジタル装置は、コントロール部（１０６）を監視するように構成されたプロセッサ（１１０）を含む。コントロール部（１０６）からのユーザ入力を検出すると対象物検出モジュールをイネーブルにするようにプロセッサ（１１０または１１２）を構成する。ディスプレイ（１０４）において、検出された対象物を示すマーカを表示するようにプロセッサ（１１０または１１２）を構成する。フォトセンタ（１０２）によって取り込まれたシーンの複数のビューに亙って対象物を追尾するようにプロセッサ（１１０または１１２）を構成する。

本発明の上述した説明を例示および説明の目的で提示してきた。それは、網羅的であるようにまたは発明を開示した厳密な形態に限定するようには意図されておらず、上記教示に鑑みて、他の変更および変形が可能であり得る。本発明は、デジタル装置の合焦に役立つように対象物にマーキングすることには限定されず、他の有用な対象物、たとえば限定しないが、光源と関心領域とフラッシュ点とをマーキングするために本発明を使用することができる。本発明の原理とその実際的な適用とを最もよく説明することにより、当業者が、企図された特定の使用に適するよう、本発明をさまざまな実施形態およびさまざまな変更形態で最もよく利用することができるように、実施形態を選択して説明してきた。添付の特許請求の範囲は、従来技術によって限定されることを除き、本発明の他の代替実施形態を包含するものと解釈されることが意図されている。

本発明の実施形態例を実施することができるデジタル撮像システムのブロック図である。 本発明の実施形態例によるシーン内の対象物をマーキングしその後追尾するフローチャートである。 本発明の実施形態例においてマーカによりマーキングされた２つの対象物を含むシーンの図である。

Claims (10)

1. シーンの第１のビューを表示するステップと、
   該シーンに表示される対象物をマーカでマーキングするステップと、
   該対象物がもはや見えない前記シーンの第２のビューを表示するステップと、
   前記対象物が見える前記シーンの第３のビューを表示するステップと、
   該第３のビューにおいて前記表示された対象物を前記マーカで再マーキングするステップと
   を含んでなる方法。
2. 前記シーンの前記第１のビューと前記シーンの前記第２のビューとの間において、ある装置における視野の変化によって、前記第２のビューにおいて前記対象物がもはや見えないものである請求項１に記載の方法。
3. 前記シーンの前記第１のビューと前記シーンの前記第２のビューとの間の前記対象物の移動により、前記第２のビューにおいて前記対象物はもはや見えないものである請求項１に記載の方法。
4. デジタル装置の第１の視野を表すシーンの第１のフレームを取得するステップと、
   該デジタル装置の第２の視野を表す前記シーンの第２のフレームを取得するステップと、
   前記第１のフレームと前記第２のフレームとを比較し、前記第１のフレームと前記第２のフレームとの差を表す第１の変位値を生成するステップと、
   前記第１の変位値に基づいてデータを処理して、前記第１の視野と前記第２の視野との間の相対的な変化を確定するステップと、
   前記シーンの前記第１の視野を表示するステップと、
   前記シーンの前記第１の視野に表示される対象物をマーカによってマーキングするステップと、
   前記シーンの前記第２の視野を表示するステップと、
   前記第１の視野に対する前記対象物の位置を追尾し、該対象物が前記第２の視野において見える場合には、前記ディスプレイにおいて、前記対象物をマーカによってマーキングするステップと
   を含んでなる方法。
5. 前記デジタル装置の現在の視野を表す前記シーンの別のフレームを取得するステップと、
   現在のフレームと前のフレームとを比較し、該前のフレームと該現在のフレームとの差を表す現在の変位値を生成するステップと、
   該現在の変位値に基づいてデータを処理して、前記現在の視野と前の視野との間の相対的な変化を確定するステップと、
   前記シーンの前記現在の視野を表示するステップと、
   前記前の視野に対する前記対象物の位置を追尾し、前記現在の視野において前記対象物が見える場合には、前記ディスプレイにおいて、前記対象物をマーカによってマーキングするステップと
   をさらに含む請求項４に記載の方法。
6. 画像センサと、
   該画像センサ上へとシーンの第１のビューを合焦させるように構成されたレンズと、
   該シーンの第１のビューを表示するように構成されたディスプレイと、
   前記シーンの表示された第１のビューにおいて対象物をマーキングするように構成されたプロセッサと
   を含んでなり、
   前記ディスプレイは、前記対象物がもはや見えない前記シーンの第２のビューを表示するように構成され、
   前記ディスプレイは、前記対象物が見える前記シーンの第３のビューを表示するように構成され、
   前記プロセッサは、前記表示された第３のビューにおいて前記対象物を前記マーカによって再マーキングするように構成されるものであるデジタル撮像装置。
7. 前記デジタル撮像装置の視野の変化により、前記シーンの前記第２の視野において前記対象物はもはや見えないものである請求項６に記載のデジタル撮像装置。
8. 前記対象物の移動により、前記シーンの第２のビューにおいて前記対象物がもはや見えないものである請求項６に記載のデジタル撮像装置。
9. 画像センサと、
   該画像センサ上に、視野内のシーンを合焦させるように構成されたレンズと、
   該画像センサ上に合焦した該シーンを表示するように構成されたディスプレイと、
   デジタル撮像装置に対するユーザ入力を可能にするように構成されたコントロール部と、
   該コントロール部を監視するように構成されたプロセッサと
   を含んでなり、
   前記プロセッサは、前記コントロール部からのユーザ入力を検出すると初期基準フレームを確立するように構成され、
   前記プロセッサは、前記ディスプレイにおいて前記初期基準フレームに対して所定位置にマーカを表示するように構成され、
   前記プロセッサは、前記画像センサによって取り込まれた前記シーンの複数のビューを比較し、前記初期基準フレームに対する前記デジタル撮像装置の移動を追尾するように構成され、それにより前記所定位置が前記デジタル撮像装置の視野内にある場合には前記マーカが表示されるものである、デジタル撮像装置。
10. シーンの画像を取り込む手段であって、デジタル撮像装置の視野によって該画像が画定されるシーンの画像を取り込む手段と、
    該シーンの前記画像を表示する手段と、
    該シーンにおいて表示される対象物をマーキングする手段と、
    選択された視野によって画定される初期基準フレームを確立する手段と、
    前記複数の視野を比較して、前記初期基準フレームに対する現視野の位置を確定する手段であって、それによって前記対象物が前記表示された視野内にある場合には前記対象物がマーキングされるものである手段と
    を含んでなるデジタル撮像装置。

Images