JP2005512248A - ムード対応バーチャル写真アルバム - Google Patents

Abstract

検知されたビューアのムードに基づいて写真を提供するためのムード対応バーチャル写真アルバム提供方法及びシステム。この方法は、カメラによってビューアの表情をとらえた第１画像を撮り、この表情をとらえた第１画像をプロセッサのパターン認識モジュールに提供し、それぞれムード状態を示す感情識別が対応付けられて予め記憶されている複数の表情画像の表情と前記第１画像の表情とを比較することによって前記ビューアのムードを判定し、この判定において確定されたムードに対応付けられる感情識別に基づいて記憶からビューアへ送信する写真の集合を取り出し、この写真の集合を電子写真アルバムという形でビューアへ送信する工程を含む。このシステムは、カメラ、このカメラによって撮られたビューアの表情の第１画像を送信するためのユーザ・インタフェース、送信されたビューアの表情の画像を受信するためのプロセッサであって、このプロセッサによって受信された画像を記憶領域に記憶された複数の表情画像と比較してビューアのムードを判定するためのパターン認識モジュールを有するプロセッサを有する。ここで取り出し部が、ビューアのムードに対応する電子写真の集合を取り出し、この電子写真の集合を送信し、これがバーチャル写真アルバムとして表示されるようにする。

Description

本発明は、ビューア・インタフェースに対するフィードバックシステムに係り、特に光学ビューア・インタフェースに対するフィードバックシステムに係る。

人は過去における特別の出来事や人物の追憶にふけりたいときによく写真アルバムを見る。しかし一般的な写真アルバムは、そのビューアがアルバムのページをめくっているときの気分やムードなどを考慮することはない。

本発明の１仕様は、認識されたビューアのムードに適した写真の集合を表示するバーチャル写真アルバムを提供する方法に係る。この方法は、カメラでビューアの表情の第１画像を撮り、この画像をプロセッサのパターン認識モジュールに提供し、ムード状態を示す感情識別が対応付けられて予め記憶されている複数の表情画像とこの表情画像とを比較してビューアのムードを判定し、これらの予め記憶された表情画像に対応付けられたムード状態を示す感情識別に基づいて記憶から写真の集合をビューアへ供給するために取り出して、電子写真アルバムという形でこの写真の集合を送信する工程を有する。

本発明のまた別の仕様は、ムード対応バーチャル写真アルバム提供システムに係り、このシステムは、カメラと、前記カメラによって撮られたビューアの表情の第１画像を送信するためのユーザ・インタフェース手段と、前記ユーザ・インタフェース手段によって送信された画像を受信し、パターン認識モジュールを用いて前記受信した画像を予め記憶領域に記憶された複数の表情画像プロセッサと比較し、前記カメラによって撮られた第１画像に対応するビューアのムードを判定するプロセッサと、前記ビューアのムードに対応する電子写真の集合を取り出して前記電子写真の集合をビューアへ送信するための取り出し手段と、前記電子写真の集合をバーチャル写真アルバムとして表示するディスプレイとを有する。

図１Ａは、本発明によるムード対応バーチャル写真アルバムを提供する方法の概要を示す。

ステップ１０５では、ビューアの第１画像がカメラによって撮られる。この画像はＪＰＥＧ，ＴＩＦＦ，ＢＭＰ，ＰＣＸなどの既存の規格による画像であってよい。また、この画像はＭＰＥＧ、ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＥＰＧ−３などのビデオシーケンスに対応することも可能である。また、これはその他のビデオシーケンス形式に対応することもできる。

ステップ１１５では、ビューアの表情画像がプロセッサのパターン認識モジュールに供給される。このプロセッサはローカル接続コンピュータであってよいが、実施例によってはこのプロセッサがウェブベース・プロセッサに対応し、ビューアはインターネット上のホームページにおいてバーチャル写真アルバムを開くことができる。ここではホームページのサイトは例えばビューアのＩＤとパスワードを要求するか、あるいはこのホームページが訪問されるたびにビューアのインタフェースにクッキーなどを格納／更新することができる。また、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）以外にもＬＡＮ、ＷＡＮなどのネットワークが適用されることも可能である。

ステップ１２５では、ビューアのムードがパターン認識によって判定される。この判定は、第１画像を、それぞれムード状態を示す感情識別が対応付けられて予め記憶された複数の表情画像と比較することによって実現される。

ステップ１３５では、記憶領域からステップ１２５で検知されたムード状態に対応する写真の集合が取り出される。例えば検知されたビューアのムード状態が悲しさであった場合、取り出される写真の集合は、そのビューアの愛する人々の画像を含むことができる。また、この写真の集合は、過去において多くのビューアに喜びをもたらしてきたとされる所定の写真を含むこともできる。

ステップ１４５では、この写真の集合が、ビューアに送信され、ムード対応バーチャル写真アルバムとして表示される。この写真の集合の表示は、１つ１つの写真をそれぞれ所定時間ずつ連鎖的に表示することによって実現されうる。また、ビューアは各写真の表示時間を特定したり、キーボード、ジョイスティック、マウスを操作するなどして次の写真の表示を能動的に要請することもできる。また、この写真の集合はまず例えばスクリーン上に羅列表示されることが可能である。この場合ユーザは例えばポインタデバイスで特定の写真を注してこれにクリックするか、あるいはキーボードで特定の写真に対応する番号を入力するなどして個々の写真を見ることができる。

図１Ｂは、少なくとも上記写真の集合のうちの１つの写真がビューアに表示された後のビューアの表情をさらに考慮するためのフィードバックシステムにおける工程を示す。なお、この図において示される工程は随意に適用される工程である。

ステップ１５５では、ビューアの表情を写す第２画像がカメラによって撮られる。この第２画像は、少なくとも上記写真の集合のうちの１つの写真がビューアによって見られた後に撮られるものである。このようにビューアの表情をさらにモニターする工程は、少なくとも１つの写真をビューアに表示した後にビューアのムードを確認して表示され写真が与える影響を評価するためのフィードバックシステムの一種である。

ステップ１６５では、上記ステップ１２５，１３５、及び１４５が繰り返されることによって上記写真の集合が更新され、この変更された写真の集合がバーチャル写真アルバムとして提供される。

図２は、本発明によるバーチャル写真アルバムを提供するためのシステムを示す。

ビューア・インタフェース（ユーザ・インタフェース）２０５は、パソコンなどに対応しうるプロセッサ２１０と交信するカメラ２０６を有する。このカメラ２０６は、アナログ又はデジタルカメラであってよく、ビューアの１又は複数の高速静止画像あるいはビデオシーケンスを提供することができる。静止画像としては、ＪＰＥＧ、ＴＩＦＦ，ＢＭＰ，ＰＣＸなどの周知のデジタル画像規格を適用することが可能である。ビデオシーケンスとしては、ＭＰＥＧ，ＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−３などの周知のビデオシーケンス規格を適用することが可能である。また、このカメラ２０６はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの手段を用いてプロセッサと交信しうる。

プロセッサ２１０は、ユーザ・インタフェースやビューアからは離れた場所に配置されうる。そしてビデオシーケンスなどの画像はインターネットを介してホストサイトなどに送信されうる。このホストサイトはムード別に分類した複数の写真を有し、そのうちの少なくとも１つはバーチャル写真アルバムとしてビューアへ送信可能なように設定される。ある特定の閲覧及び／又はビューアに対して提供するバーチャル写真アルバムにおいて写真の集合にどのような写真を含めるかは主にビューアのムードによって決定される。

カメラは、ビューアの表情にフォーカスできる位置に配置される。顔の表情としては、ほんの一部の例として微笑みや、しかめ面、にや笑い、唇を噛んだ状態、涙などがカメラによって記録されプロセッサに送信されビューアのムードの判断基準となる。例えばここで本願に背景資料として参照により挿入される米国特許５，３６７，４５４（Ｋａｗａｍｏｔｏ ｅｔ ａｌ．）では、人間の感情として恐怖、驚き、嫌悪、怒り、期待、喜び、受け入れなどが開示されている。

プロセッサ２１０は、その記憶領域において表情認識データベース及び認識モジュール２０５又はプログラムを有することができる。このデータベースはそれぞれに喜び、悲しみ、恐怖、嫌悪、怒り、不安などのムード状態が対応付けられた複数の表情を収容しうる。ビューアの表情の特徴は、パターン認識プログラムによって認識され、これが比較モジュールによって予め格納された表情と比較され、これに基づきビューアのムードが判定される。

例えばビューアの口元の特徴を記憶領域２１５に記憶される画像と比較して、ビューアが微笑んでいるかを判断することができる。具体的には、唇の両端が上を向いた状態で唇がカーブしている場合、又は唇の両端がその中部よりも高い位置にある場合これは喜びを示す画像として認識されうる。これに対して、唇の両端がその中部よりも低い位置にある状態はしかめ面を示し、歯を食いしばった状態又は唇を引き合わせた状態は悲しみを示しうる。

唇は一般的に同一色で、おおよそ楕円の形を有するため、ピクセルの色を確認することにより顔全体における口やその周辺部の位置を判定することができる。またピクセルの変化に基づいて、涙などを検出しビューアが悲しいムードであることを判定することも可能である。

このパターン認識の一実施例として、ビューアはそれぞれ喜び、悲しみ、恐怖、嫌悪、怒り、不安などを感じるときの表情のスナップショットを付属カメラから送信して、これらの写真をそれぞれのムードを象徴するフラッグとすることができる。この場合比較器２３０は、この後に送信されてくる表情画像についてはこれらのフラッグ写真を判断基準に用いることができる。そしてパターン認識モジュールはビューアの現在の表情を既に格納されたビューアの表情写真と比較し、現在ビューアが抱いている最も有力な感情を判断する。

また、別の実施例として、記憶領域２１５はそれぞれのムードに対応するビューアの表情画像を格納することができる。例えばこのような画像は、一般的に特定の表情を促すとされる一連の画像などをビューアに見せた後に撮ったビューアの表情写真に対応しうる。具体的には、白クマやサメなどの危険な動物が襲い掛かってくるような画像をビューアに見せてこのビューアの表情を撮ることができる。しかし、ある画像に対して抱かれる感情（例えば恐怖など）は主観的であるため、前述のような感情のフラッギングの方法がより的確にビューアのムードを検出しうると考えられる。

また、パターン認識モジュールは、ビューア以外の人物の表情に基づいて予めプログラムされることも可能である。この場合最初にビューアがそれぞれ特定の感情に対応する表情についてのフィードバックを提供する必要がなくなる。なお、同業者には自明であるように、この場合ビューアの表情を例えば不安感などの感情に対応付ける場合、複数の他人の表情サンプルをデータベースに予めプログラムしこれらと現在のビューアの表情サンプルとを参照するようなより複雑なパターン認識モジュールが必要となる。

そしてこのパターン認識モジュールは検出された感情に関する情報を取り出しモジュール２２０に提供する。取り出しモジュール２２０は検出された感情をフィルタとして適用し、この検出された感情の種類によってこの感情を変化させるかあるいはそのまま維持することができる写真以外は遮断する。このようにしてビューアへ送信し表示すべく写真がデータベース２２５から取り出され、またムード別に分類される。

例えば、ビューアの現在の感情が悲しみであると判断された場合、この感情を喜びに変えるための画像を含んだバーチャル写真アルバムを送信することができる。これに対して、ビューアの現在の感情が喜びである場合、取り出される画像は直接連想あるいは過去にさかのぼるビューアの写真アルバムの閲覧履歴などに基づきこの喜びの感情を維持することができると判定された画像に対応しうる。また、ビューアの表情が常にモニターされ、バーチャル写真アルバム中の写真はビューアの表情の変化に応じて更新されことも可能である。

パターン認識は学習的であってよく、例えば、ムード対応写真のフィードバックはビューアの表情の変化に応じてランク付けされ、特定のビューアに次回提供するバーチャル写真アルバムは例えば過去のバーチャル写真提供セッションにおいてビューアに最も微笑みをもたらした写真を含むことができる。しかし、例えば緊張あるいは動揺しているビューアをなだめるのに効果的であった写真は必ずしも次の閲覧セッションにおいて同様な反応をもたらすとは限らない。また、微笑や笑いをもたらす写真は初回の閲覧では非常に効果的であってもそれ以降の閲覧ではそれほどの会館をもたらさない場合がある。このようなビューアの反応の履歴は将来のビューアへの対応のために記録される。例えば所定の写真が初回の閲覧では多くのビューアに微笑みをもたらしたがこの写真が同一ビューアに２度以上提示された場合にはそれ程よい反応が得られなかったという記録がある場合、この写真はビューアに１度だけ提示することが望ましいと判断されうる。また、ウェブサイトがビューアのコンピュータにクッキーを記録することも可能である。この場合今回の閲覧がその前の閲覧と期間的にどれだけ離れているかによって前回と同一の写真を表示するか否かが判断されうる。

もちろん一般的な表情の法則からの例外なども多く存在し、これらを考慮することも重要である。例えば、中には緊張感を感じるときに微笑みを浮かべる人もいるが、この場合この微笑は喜びの感情には対応しない。通常緊張などからの微笑みは、面白さからの微笑みや好きなものをみたときの微笑みとは見分けがつく。したがってある表情カテゴリに複数のサブカテゴリを設け、パターン認識モジュールが緊張からの微笑と喜びからの微笑とを区別できるようにして、取り出しモジュールに適当な写真の集合をバーチャル写真アルバムとして送信させることも可能である。

また、人は通常自分の配偶者や子供などを見ることに対して喜びを感じるが、ビューアが写真中の人物と口論中である場合などは、この写真を見て通常感じる感情に取って代わって怒りや不安感などの感情が感じられる場合がある。また、愛する人の写真が表示されたとしてもその人が他界してしまっていた場合、従来のような喜びの感情に代わって悲しみの感情が引き起こされる場合もある。パターン認識モジュールはこのような履歴をも考慮し、以前においては好適な反応が見られていた写真が最近において１度以上否定的な反応をもたらした場合、この写真をビューアへ提示すべき写真の集合からはずすことも可能である。

また本発明のまた別の仕様によると、ビューアは、何らかの識別情報を提供するか、あるいはホームページのサイトがこれを抽出することができる。このような識別情報は例えば郵便番号や、その他ビューアの所在に関する情報であってよい。これに基づき対応モジュールは例えばビューアの郵便番号に対応する地域の天気／気温情報などを確認することができる。そして、例えばこの地域の気温が低く雪が降っていることが確認された場合提供されるバーチャル写真アルバムは暖炉の写真や、ホットココアの写真、スキー又はスノーモービルなど雪にまつわるアクティビティの写真などを含むことができる。また、対応地域の気温が非常に高い場合、バーチャル写真アルバムは海岸や通常夏に行われるアウトドア行事の写真を含むことができる。また、対応地域で雨が降っていることが確認された場合、バーチャル写真アルバムは晴れた外の風景や虹、花などの写真を含むことができる。また、これらの場合それぞれにおいてビューアの表情のフィードバックが得られ、これに応じて提供する写真を調整していくことが可能である。

また、時間帯や、日付、天候、部屋にいる人数、カメラによって検知される背景照明などが写真の取り出しを影響する要因となることも可能である。また、ビューアが所定の行動を、取り出し／提示される写真の種類や順序を左右する要因として設定又は選択することも可能である。写真の取り出しの基準となる各要素は、それぞれ格納される写真をレーベルする識別可能な条件を有すべきである。例えば、野球選手の写真に固有の識別を付与することができる。そしてビューアが野球に対する興味を示した場合、このような写真が取り出され表示されうる。

本発明のまた別の仕様によると、ビューアは特定の表情に応じて表示されるべき写真の趣向を示すことができる。例えば犬が好きな人であれば、悲しいという感情が検知されたときにこの感情を喜びに変えるために子犬の写真が表示されることを望むという意向を示すことができる。また別の人は子猫の写真を望むかもしれない。このカテゴリは各ビューアの好みに合わせてパーソナライズされることが可能で、例えば車、スポーツ、芸術、工芸、趣味など様々な写真を含むことが可能である。そしてそれぞれの場合において、取り出しモジュールはパターン認識モジュールで確定された感情及びビューアによって示された特定感情に対する対応の希望に基づいて所定の写真の集合を選択する。

なお、パターン認識モジュールは記憶領域内におかれることが可能で、この記憶領域はローカルＲＯＭ／ＲＡＭ又はフラッシュメモリや、ネットワーク上のサーバなどに対応しうる。

また、同業者であれば本発明の範囲を逸脱することなく上記実施例の様々な変形例を構想することが可能であろう。例えば感情識別の数を減らしたり増やしたりすることが可能であるし、１つの表情カテゴリ（例えば微笑みなど）内でその表情の度合いなどに応じてランク付けをすることも可能である。

本発明によるムード対応バーチャル写真アルバムを提供する方法の概要を示すフローチャートである。 図１Ａで示される方法にさらに追加されうる工程を示す。 本発明によるバーチャル写真アルバム提供システムを示す図である。

Claims (18)

1. カメラによってビューアの表情をとらえた第１画像を撮り、
   前記表情をとらえた第１画像をプロセッサのパターン認識モジュールに提供し、
   前記第１画像の表情とそれぞれムード状態を示す感情識別が対応付けられて予め記憶されている複数の表情画像とを比較することによって前記ビューアのムードを判定し、
   前記判定において確定されたムードに対応付けられる感情識別に基づいて記憶から前記ビューアへ送信する写真の集合を取り出し、
   前記取り出された写真の集合を前記ビューアへ送信し、電子写真アルバムという形で表示されるようにする工程を有することを特徴とするムード対応バーチャル写真アルバムの提供方法。
2. 前記写真の集合はインターネットを介してビューアへ送信され、前記電子写真アルバムはバーチャル写真アルバムを構成することを特徴とする請求項１記載の方法。
3. 前記パターン認識モジュールはローカル接続コンピュータであることを特徴とする請求項１記載の方法。
4. 前記パターン認識モジュールはウェブベース・プロセッサであることを特徴とする請求項２記載の方法。
5. 前記予め記憶されている複数の画像は前記ビューアの表情の画像であることを特徴とする請求項１記載の方法。
6. 前記予め記憶されている複数のビューアの表情画像に感情識別を付与する工程をさらに有することを特徴とする請求項４記載の方法。
7. 前記感情識別は前記ビューアによって提供され、前記予め記憶されている複数の画像におけるそれぞれの表情には特定のムード状態が指定されることを特徴とする請求項６記載の方法。
8. 前記予め記憶されている複数の画像は前記ビューアの表情の画像であることを特徴とする請求項４記載の方法。
9. 前記予め記憶されている複数のビューアの表情画像に感情識別を付与する工程をさらに有することを特徴とする請求項８記載の方法。
10. 前記感情識別は前記ビューアによって提供され、前記予め記憶されている複数の画像におけるそれぞれの表情には特定のムード状態が指定されることを特徴とする請求項９記載の方法。
11. 前記ビューアが前記送信された写真の集合に含まれる写真のうちの少なくとも１つをみた後の表情をとらえた第２画像を撮り、
    前記第２画像に基づいて前記判定、取り出し、及び送信工程を繰り返して前記送信された写真の集合を更新する工程をさらに有することを特徴とする請求項４記載の方法。
12. 前記表情をとらえた画像は、ＪＰＥＧ画像、ＴＩＦＦ画像、ＢＭＰ画像及びＰＣＸ画像のいずれかとして撮られることを特徴とする請求項４記載の方法。
13. 前記表情をとらえた画像はビデオシーケンスであることを特徴とする請求項４記載の方法。
14. 前記ビデオシーケンスはＭＰＥＧシーケンスであることを特徴とする請求項１３記載の方法。
15. 前記判定工程は、地域の天気、ビューア周囲にいる人、ビューア周囲の照明、時間帯、日付、ビューアの趣味のうちの少なくとも１つに基づいて前記ビューアのムードに対応付けられる感情識別を変更する工程を有することを特徴とする請求項４記載の方法。
16. 前記取り出し及び送信工程は、前記感情識別の変更に応じて送信する写真を取り出し、これを送信する工程を有することを特徴とする請求項１５記載の方法。
17. カメラ、
    前記カメラによって撮られたビューアの表情の第１画像を送信するためのユーザ・インタフェース手段、
    前記送信されたビューアの表情の画像を受信するためのプロセッサであって、前記プロセッサによって受信された画像を記憶領域に記憶された複数の表情画像と比較し、前記カメラによって撮られた第１画像に基づいて前記ビューアのムードを判定するためのパターン認識モジュールを有するプロセッサ、
    前記第１画像に基づいて判定されたビューアのムードに対応する電子写真の集合を取り出し、前記ビューアに前記電子写真の集合を送信するための取り出し手段、及び
    前記写真の集合を前記ビューアにバーチャル写真アルバムとして表示するためのディスプレイを有することを特徴とするムード対応バーチャル写真アルバムシステム。
18. 前記ユーザ・インタフェース手段は、前記写真の集合に含まれる写真のうちの少なくとも１つが表示された後の前記ビューアの表情をとらえた後続画像を送信するためのフィードバック手段を有し、
    前記プロセッサのパターン認識モジュールは、前記ビューアの表情をとらえた後続画像を比較して前記後続画像に基づいて前記ビューアのムードを判定し、
    前記取り出し手段は、前記ビューアの表情をとらえた各後続画像に基づいてそれぞれ確定されたビューアのムードに対応する電子写真の集合を取り出すことを特徴とする請求項１７記載のシステム。

Images