JP2013503382A - ジャイロスコープを用いて画像をお気に入り画像として自動的にフラグ付けするための装置 - Google Patents

Abstract

本発明は「お気に入り」の画像が閲覧されるときに起こる典型的なユーザの動作を利用する。ディスプレイを持っている人は、画像を共有するためにその装置（カメラ、フレーム等）を手渡す。この動作がジャイロスコープを用いて検出される。高いレベルの動きがある間に閲覧されている画像は、カメラが静止状態にあるときの画像よりも関心が高い画像であると推定される。高い価値を持つことは、画像をお気に入りとしてタグ付けすることにより示される。この情報はメタデータとして、画像ファイル又はそのファイルに関連づけられるデータ構造に格納される。

Description

本発明は、画像の分類に関し、更に詳しくは、画像表示中の画像の関心レベルを判定するための方法に関する。この方法は、ユーザによる閲覧のために複数のデジタル画像を連続的に表示し、閲覧時間とジャイロの動きを監視して高い価値を持つ画像及び／又は関心のある画像（すなわちお気に入り画像）を判定する。

デジタルカメラは、ますます多くの消費者やプロの写真家によって利用されるようになってきている。これらのカメラは1以上のＣＣＤ又はＣＭＯＳのイメージセンサを用いて画像の電子的表現を獲得し、続いてこの電子的表現がデジタル画像ファイルに変換され、そしてそのファイルがカメラのデジタルメモリに格納される。デジタル画像ファイルは、その後、閲覧され、格納され、検索され、コンピュータを用いて印刷され、及び／又は閲覧に供する溜めにウェブサイトにアップロードされることもある。

デジタル的に獲得（キャプチャ）された画像のコストは極めて低いものであり、通常は、格納に必要なコストとカメラの初期コストのみである。その結果、画像の価値にかかわりなく多くの画像が獲得され格納されることが起こり得る。これにより、多くの場合、多くの画像ができるものの、コレクション中での最良のものはその中のほんの少しのパーセンテージのみしかない、という結果となる。例えば、画像獲得の時点でお気に入りタグ付けが用いられてきた。画像をお気に入りとして特定する処理には、典型的には、画像をお気に入りとしてタグ付けする処理や、ある尺度上で画像の価値を指示する処理が含まれる。この処理は多くの場合手動で行われる。

ともに譲渡された、パルルスキ（Parulski）らに対する米国特許第５，６３３，６７８号"Electronic Still Camera for Capturing And Categorizing Images"（「画像を獲得してカテゴリ分けするための電子スチルカメラ」）では、デジタルカメラが、画像の格納先とする１以上の分類を画像獲得に先立って選択するためのユーザ制御処理を有している。そのあと、画像はその分類に従って格納される。

画像のカテゴリ分けは、パルルスキらに対する米国特許第７，３６９，１６４号" Using Favorite Digital Images to Organize And Identify Electronic Albums "（「お気に入りのデジタル画像を用いた電子的アルバムの編成及び識別」）にも開示されている。この米国特許には、画像を獲得し、２つのグループのうちの１つを特定の画像の関連づけ先に特定することが開示されている。デジタル画像と、これが属する関連づけ先グループとはコンピュータへと転送され、このコンピュータにてそれら画像が電子アルバムに組み入れられる。

別の従来システムでは、格納されたデジタル画像は、後でそれらがコンピュータに転送されたときに適切なソフトウエアを用いて編成（組織化）されるようにすることができた。例えば、ソフトウエアは、クチンスキ（Kuchinsky）らによる"FotoFile: A consumer Multimedia Organization and Retrieval System"（「FotoFile:コンシューマ向けマルチメディア編成及び検索システム」）と題される論文に記述されるように、描写された事象、人、場所、又は主題に応じたカテゴリへと画像が編成され得るようにする。クチンスキらの論文には、ある画像群を記述するのに用いられるメタデータ属性が記載されており、これら属性にはユーザのコレクション中での「最良の」画像群で有ることを示すために用いられる「お気に入り」属性が含まれる。しかし、クチンスキらの論文では、「お気に入り」は、画像がカメラの画面上でプレビューや閲覧されるときではなく、ＰＣ上で閲覧されているときに選択できるものである。

カメラは、獲得した画像の画質を改善するための画像処理ソフトウエアも有している。この画像処理を補助するために、付加的なデバイスがカメラに設けられることもある。そのような出刃押しの１つがジャイロスコープである。ジャイロスコープは、角加速度を測定できる装置であり、デジタルスチルカメラ内に設けられている例も見出されるが、ただ画像のぼけを低減する目的のみのために、画像のキャプチャ（撮像）中のみのカメラの動きを記録するためのものである。多くのカメラにはジャイロスコープが設けられていないが、それは追加のコストが画質の改善に見合っていないからである。

従来技術のシステムは満足のいくものであるが、改善は常に望ましい。１つの改善は、分類の機会が逃されにくくなるよう、人による初期化や動作が不要であるような画像の自動分類である。既にカメラ内にあるカメラデバイスを活用し、そのようなデバイスの更なる機能を見出して追加のコストに見合ったものにすることも望ましい。例えば、限定的にしか使用されていないジャイロスコープについて更なる機能を見出すことで、それがカメラに対して更に広く普及する可能性が大きく高められるかも知れない。

米国特許出願公開第２００４／２０１６９２号明細書 米国特許出願公開第２００２／１０４０８１号明細書 国際公開第２００７／０７２１１７号 特開２００６−１７４１５９号公報

本発明は、「お気に入り」画像を閲覧するときに起こるユーザの典型的な動作を活用する。ディスプレイを持つ者は、画像を共有するために、装置（カメラ、フォトフレーム等）を手渡すであろう。この動作は、ジャイロスコープを用いて検出することができる。本発明では、画像表示中に人から人へと手渡されるカメラの動きが検出される。そのときに見られている画像は、表示デバイス又はカメラが静止状態にあるときの画像よりも、関心が高い物であると推論することができる。この高い価値は、その画像をお気に入りとしてタグ付けすることにより示される。この情報は、画像ファイル内、又は画像ファイルに関連づけられるデータ構造に、メタデータとして格納される。

本発明の、これらの又は他の目的、特徴、及び利点は、当業者には、以下に示す詳細な説明を、本発明の例示的な実施形態が表示又は記載された図面を参照しつつ読むことにより、明らかになるであろう。

明細書の結びには本発明の主題を特定し明確に規定する特許請求の範囲が設けられているが、本発明は、添付の図面とともに以下の説明を参照することにより、よりよく理解されるであろうと考える。
本発明のデジタルカメラの模式的なブロック図である。 画像をお気に入りとしてタグ付けする処理の例を示すための、本発明のフローチャートである。

図１には、本発明の第１の実施形態に従った例示的なデジタルカメラ１０のブロック図が示される。例示的な実施形態としてデジタルカメラ１０が示されているが、画像絵お表示するどのようなハンドヘルド（手持ち）型装置であってもよい。例えば、本発明に従った携帯電話機やハンドヘルド型フォトフレーム等を用いてもよい。図１に示すように、デジタルカメラ１０はレンズ１２を有し、このレンズ１２は被写体（図示省略）からの画像光を、開口／シャッター制御部１３を通して、二次元アレイ状に配列され画像の複数の画素に対応する複数の個別の光検出部を形づくる散的な数の光検出部すなわち画素を持つイメージセンサ１４上に投射する。イメージセンサ１４は、電荷結合素子（ＣＣＤ）センサであってもよいし、相補型金属酸化膜半導体（ＣＭＯＳ）イメージャであってもよく、これらはともにこの分野でよく知られているのでここでは説明は省略する。イメージセンサ１４の各光検出部は、入力した光に応じて電荷を収集する。各光検出部は、典型的には、同じ出願人に譲渡された米国特許第３，９７１，０６５号明細書に記載されたベイヤー（Bayer）型ＣＦＡのようなカラーフィルタアレイ（ＣＦＡ）により覆われている。ベイヤー型ＣＦＡでは、５０％のグリーン色の画素がチェス盤モザイク状に並んでおり、残りの画素が交互に赤と青の行となっている。各光検出部は、適切な色の入射光照明に反応して、当該光検出部への入射照明光の強度に応じたアナログ信号を生成する。

各画素のアナログ出力は、アナログシグナルプロセッサ（ＡＳＰ）１６により増幅及びアナログ処理されることで、イメージセンサの出力アンプのノイズを低減する。ＡＳＰ１６の出力は、例えばベイヤーＣＦＡの順番に８ビット信号を生成する８ビットＡ／Ｄコンバータのような、アナログ・デジタル（Ａ／Ｄ）コンバータ１８によりデジタル画像信号に変換される。

デジタル化された画像信号は、フレームメモリ２０に一時的に格納され、その後、デジタルシグナルプロセッサ（ＤＳＰ）２２により処理され圧縮される。この画像処理には、典型的には、ホワイトバランス処理、色補正、トーン補正、及び画像鮮鋭化が含まれる。ＤＳＰ２２は、更に、同一出願人に譲渡されているクフタ（Kuchta）らに対する米国特許第５，１６４，８３１号明細書に記載されているように、個々のスチル画像についてのデジタル化された画像を間引き（すなわち再サンプリング）して、元の撮像画像よりも画素数が少ない（すなわち低解像度の）サムネイル画像を生成する。フル解像度の画像とサムネイル画像の両方を含んだ画像ファイルがデータメモリ２６に格納され、その後、メモリカードインタフェース３２を介して、デジタルカメラ１０のメモリカードスロット３０内にあるメモリカード２８に転送される。サムネイル画像は、更に、ＬＣＤコントローラ２５を通して画像ディスプレイ２４に送られ、ユーザが画像を閲覧可能となる。ディスプレイはＬＣＤディスプレイとして示しているが、ＯＬＥＤディスプレイを用いてもよい。またそのほかにも、画像ディスプレイ２４には、小型ＣＲＴ（miniature CRT）、有機発光ダイオード（OLED）アレイ、電界放出ディスプレイ等のような、様々な他のタイプのラスター画像ディスプレイを利用してよい。

メモリカード２８は、カリフォルニア州サニーヴェイルのPersonal Computer Memory Card International Associationにより１９９１年９月に発行されたＰＣカード標準リリース２．０に記載されるような、ＰＣＭＣＩＡカードインタフェース標準に適合したものとしてよい。メモリカード２８は、カリフォルニア州パロアルトのCompactFlash（登録商標） Associationにより１９９８年８月５日に発行されたCompactFlash（登録商標） Specification Version 1.3（コンパクトフラッシュ（登録商標）仕様書第１．３版）に記載されたコンパクトフラッシュ（登録商標）インタフェースに適合したものとしてもよい。

メモリカード２８とデジタルカメラ１０の電気的接続は、メモリカードスロット３０内に位置するカードコネクタ（図示省略）により維持される。メモリカードインタフェース３２及びカードコネクタは、例えば、上述したＰＣＭＣＩＡカードインタフェース標準又は（登録商標）インタフェース標準に従ったインタフェースを提供する。画像ファイルは更に、ホストコンピュータインタフェース３４を介してデジタルカメラ１０に接続されるホストコンピュータ（図示省略）に送られてもよい。

動作では、カメラマイクロプロセッサ３６が、シャッターレリーズ等からの入力のようなユーザ入力４８を受け取り、タイミング発生器３８に信号を送ることにより撮像シーケンスを開始する。タイミング発生器３８は、図１に示すように、デジタルカメラ１０の諸要素に対して全体的に接続されており、デジタル変換、圧縮、画像信号の格納、及び画像がディスプレイ２４で閲覧される時間の量の計時等を制御する。また、カメラマイクロプロセッサ３６は、フォトダイオード４４からの信号を処理して適切な露光量を判定し、これに応じて露光ドライバ４６に信号を送ることで開口／シャッター制御部１３を介して開口量とシャッター速度をセットし、（もし必要なら）フラッシュユニット４２を起動する。それから、イメージセンサ１４が、タイミング発生器３８からセンサドライバ４０を介して駆動されることにより、画像信号を生成する。ユーザ入力４８は、周知の方法でデジタルカメラ１０の動作を制御するために用いられる。

動き検出部５０は、好適には角加速度計又は回転運動を検出するための他のデバイスであり、画像ごとにその画像を表示中のデジタルカメラ１０の動きを検出するために、デジタルカメラプロセッサ３６に接続されている。閾値を超える動きの画像は、後で詳しく説明するように、「お気に入り画像」としてタグ付けされる。動きは、（ａ）撮影済みでメモリ内に格納されディスプレイ上で閲覧されている最中の画像の表示中（レビュー）、又は、（ｂ）各画像の撮像（キャプチャ）の直後に、今撮像したばかりの画像がディスプレイ上に表示されている間（プレビュー）、に検出される。（ａ）の場合、カメラの動きは以下に示すことのうちのいずれかが起こる前に測定される。（ｉ）ユーザが別の画像へと進むこと、（ｉｉ）ユーザがレビュー（閲覧）モードから抜けること、（ｉｉｉ）設計上の設定に従ったあらかじめ定められた時間（通常は数秒）を超えて画像が表示されること。（ｂ）の場合、動きは撮像された画像が表示されている間に記録されるだけである。

この好適な実施形態では角加速度計を用いているが、角変位を検出するためにジャイロスコープを用いてもよい。

本発明では、複数の画像を表示するハンドヘルド装置を開示しており、このハンドヘルド装置の表示時間の間に、画像が表示されるときに起こるハンドヘルド装置の動作の量及び／又は種類に基づいて１以上の画像がお気に入り画像として指定される。この動きは、共有する（分かち合う）という出来事に対応していると考えられる。また、共有される画像は、他の画像よりも潜在的に高い価値を持つ（「お気に入り」）と考えられる。共有という出来事は、（プレビューにせよ閲覧にせよ）表示時間でのカメラの変位を検出することにより検知できる。

図２には、ある好適な実施形態に従ったフローチャートが示される。最初のステップでは、撮影のあと自動的に（プレビュー）、又はユーザの動作により（レビュー、又はその他の類似の画像閲覧）、ユーザが表示モードに入る（Ｓ２）。この時点で、タイミング発生器３８が起動され、動き検出器５０からのＹ軸（ヨー）及び／又はＸ軸のジャイロスコープ値が累計される（Ｓ４）。画像が表示されている間、閲覧時間が計測される（Ｓ６）。

次に、閲覧時間についての判定が行われる（Ｓ８）。非常に短い閲覧時間（あらかじめ定められた閾値１（典型的には数秒であるが、設計上の設定によってもっと長い秒数になるかもしれない）より下の閲覧時間）は、画像が共有されなかった即ち重要でないことを示し、この画像についてのタグ付けは終了する（Ｓ１０）。したがって、その画像にはお気に入りのタグは付されない。閲覧時間が閾値を上回れば（Ｓ８）、共有動作に合致する動き量（ここでは角度変位として規定される）を求めるための別の判定が行われる（Ｓ１１）。加速度計が角度位置の２階微分を計測する。共有動作に対応する値は、加速度計の出力の２階積分である角度変位である。閾値２、例えば３０度の回転動作、よりも大きい角度変位があると、画像にはお気に入りのタグが付加される（Ｓ１２）。言い換えれば、これら両方の条件が満たされれば（閲覧時間が閾値を上回り、且つ角度変位が閾値を上回れば）、自動的に画像にはお気に入り即ち高い価値を持つことを示すタグが付され、そのようにメタデータに記録され、このタグ付けされた画像についてタグ付け処理は終了する（Ｓ１６）。角度変位が閾値２を上回らなければ（Ｓ１０）、画像にはお気に入りのタグは付されず、この画像についてのタグ付け処理は終了する（Ｓ１４）。

本発明のいくつかの好適な実施形態についての詳細に説明してきたが、本発明の精神及び範囲の中で変形や改良が可能であることは理解されるであろう。

１０ カメラ
１２ レンズ
１３ 開口／シャッター制御部
１４ イメージセンサ
１６ アナログシグナルプロセッサ
１８ Ａ／Ｄコンバータ
２０ フレームメモリ
２２ デジタルシグナルプロセッサ
２４ 画像ディスプレイ
２５ ＬＣＤコントローラ
２６ データメモリ
２８ メモリカード
３０ メモリカードスロット
３２ メモリカードインタフェース
３４ ホストコンピュータインタフェース
３６ カメラマイクロプロセッサ
３８ タイミング発生器
４０ ドライバ
４２ フラッシュ
４４ フォトダイオード
４６ ドライバ
４８ ユーザ入力
５０ 動き検出器

Claims (11)

1. １以上の画像を表示するためのハンドヘルド装置であって、
   （ａ）１以上の画像を記憶するためのメモリと、
   （ｂ）前記ハンドヘルド装置の動きを検出するための動き検出器と、
   （ｃ）前記ハンドヘルド装置の動きの量を監視し、前記画像のうちの少なくとも１つの画像を、その画像が表示されているときに起こる前記ハンドヘルド装置の動きの量に基づいて、お気に入り画像として特定するためのプロセッサと、
   を備えるハンドヘルド装置。
2. 請求項１に記載のハンドヘルド装置であって、前記プロセッサはお気に入り画像を示すメタデータを生成してそのメタデータを前記お気に入り画像に関連づける、ハンドヘルド装置。
3. 請求項２に記載のハンドヘルド装置であって、画像に関連づけられるメタデータは、当該画像と共に画像ファイルに格納される、ハンドヘルド装置。
4. 請求項１に記載のハンドヘルド装置であって、前記プロセッサは前記複数の画像の各々の表示時間を監視し、その表示時間を用いて当該画像がお気に入り画像であるか否かを判定する、ハンドヘルド装置。
5. 請求項１に記載のハンドヘルド装置であって、前記メモリに格納される画像を撮像するためのイメージセンサを更に備える、ハンドヘルド装置。
6. 請求項５に記載のハンドヘルド装置であって、前記ハンドヘルド装置の動きは携帯電話機である、ハンドヘルド装置。
7. 請求項１に記載のハンドヘルド装置であって、前記メモリは取り外し可能なメモリである、ハンドヘルド装置。
8. 請求項１に記載のハンドヘルド装置であって、前記動き検出器は加速度計である、ハンドヘルド装置。
9. 請求項１に記載のハンドヘルド装置であって、前記動き検出器は主としてヨー方向の動きを検出する、ハンドヘルド装置。
10. 請求項１に記載のハンドヘルド装置であって、前記動き検出器はジャイロスコープである、ハンドヘルド装置。
11. 請求項１に記載のハンドヘルド装置であって、前記ハンドヘルド装置はデジタルカメラである、ハンドヘルド装置。

Images