JP2012156750A - お気に入り度自動設定システム - Google Patents

Abstract

【課題】 写真のお気に入り度を設定可能なシステムにおいて、お気に入り度が自動的に設定されるようにする。
【解決手段】 画像を再生することが可能な電子機器において、その電子機器の表示画面に画像を表示する際に、表示画面の方向（表示画面を見ている人）を電子機器に内蔵、または接続されたカメラで撮影し続ける手段を設け、それにより撮影された画像から、画像の閲覧者の情報を取得する手段、および、その情報から表示画面に表示されている画像のお気に入り度を自動的に判定し設定する手段を有することを特徴とする構成とした。
【選択図】 図１

Description

本発明は、画像再生装置に関し、特に、デジタルカメラやカメラ付き携帯電話、カメラ付きＰＣおいて、画像を再生する際のお気に入り度自動設定システムに関するものである。

近年、デジタルカメラ等で撮影した画像に、カメラ本体、または、コンピュータ上で動作するアプリケーションソフトウェア等を用いて、お気に入り度（☆など）を設定する機能が広く採用されている。その設定情報を用いることで、画像の検索や仕分けを行うことが可能となってきている。しかし、画像一つ一つに対して個別にお気に入り度を設定するには、手間と時間を要することになる。そこで、この作業を自動化する方法がいくつか提案されている。

例えば、特許文献１では画像を解析し、画像にブレ、露出不良などの特定現象が生じている部分を検出し、検出された特定現象に応じた減点を所定の基準点から減算して得点を求め、該画像の得点として表示させる方法が開示されている。

特開２００５−３９５４１号公報

しかしながら、上述の特許文献に開示された従来技術では、画像の内容から判断して映像としての質の良し悪しを判定しているだけであり、その画像の所有者、閲覧者が本当に気に入っている画像かどうかという感情を反映している訳ではなく、その観点からは、不十分であった。

そこで、本発明の目的は、所有者、閲覧者の感情を反映して、画像のお気に入り度を自動的に設定するお気に入り度自動設定システムを提供することである。

上記目的を達成するために、本発明は、画像を再生表示することが可能な電子機器において、その電子機器の表示画面に画像を表示する際に、表示画面の方向（表示画面を見ている人）を電子機器に内蔵、または接続されたカメラで撮影し続ける手段を設け、それにより撮影された画像から、再生中の画像の閲覧者の情報を取得する手段、および、その閲覧者の情報から再生中の画像のお気に入り度を自動的に判定し設定する手段を有することを特徴とする構成とした。

本発明によれば、画像を再生するだけで、それを閲覧している者の感情を反映したお気に入り度を自動的にその画像に設定可能とするシステムを提供することができる。

本発明に係る実施例でのデジタルカメラの外観図、および、画面表示例である。 本発明に係る実施例でのデジタルカメラのハードウェア構成を示すブロック図である。 本発明に係る実施例でのデジタルカメラの機能構成を示すブロック図である。 本発明に係る実施例でのデジタルカメラの動作を示すフローチャートである。 本発明に係る実施例でのデジタルカメラの動作を示すフローチャートである。 本発明に係る実施例での画像ファイル中のデータ構造を示す図である。 本発明に係る実施例でのデジタルカメラのインカメラにおける撮影画像の例である。 本発明に係る実施例でのデジタルカメラのお気に入り度を計算する計算式である。

デジタルカメラやカメラ付き携帯電話、カメラが接続されたパソコンなど、画像を再生、撮影可能な電子機器である。

［実施例１］
以下、図面を参照して、本発明の実施例による電子機器であるデジタルカメラについて説明する。

図１は、本発明の一実施例であるデジタルカメラ２０の外観図である。

電源ボタン２１０１はデジタルカメラ２０の電源を入り切りするためのものである。

シャッターボタン２１０２は、撮影を行うためのものである。

ズームレバー２１０６は、デジタルカメラのレンズのズーム位置を操作するためのものである。

液晶画面２０９にはデジタルカメラの設定を指定するための各種メニューが表示される。また、撮影時のファインダーとしての動作や、デジタルカメラ内の記録媒体に格納されている撮影済みの画像の再生などに用いられる。

モード切り替えスイッチ２１０８は、デジタルカメラ２０の撮影、再生モードを切り替えるためのものである。ポジションを「Ｐｌａｙ」にするとデジタルカメラ内の記録媒体に記録されている画像を後述する液晶画面２０９にて再生表示する再生モード、「Ｓｔｉｌｌ」 にすると静止画撮影モード、「Ｍｏｖｉｅ」にすると動画撮影モードにカメラが設定される。

メニューボタン２１０３は、撮影時や再生時のカメラの動作を設定、指定するためのメニュー画面を表示させるときに指定するもので、このボタンが押されると、液晶画面２０９に各種メニューが表示される。

セットボタン２１０４、移動ボタン２１０５、移動ホイール２１０７は、メニューを操作するときに使用するもので、移動ボタン２１０５の上下ボタンで液晶画面２０９に表示されるメニュー上のカーソルを移動させ、セットボタン２１０４で選択するような操作を実現するためのものである。

インカメラ２１０９は、本発明の特徴的な部分であり、液晶画面２０９で画像が再生されている際に、その画像を閲覧している閲覧者を撮影するためのものである。

図２に、本実施例のデジタルカメラ２０のハードウェア構成を表すブロック図を示す。ただし、本発明に係る実施例の構成を理解する上で、直接、必要とされない要素は省略してある。たとえば、バッテリーなどがこれに相当する。

主撮像装置２０１は、通常の撮影を行うための一連の装置が含まれており、例えば、レンズや絞り、ＣＣＤ、画像処理装置などがこれに含まれる。前途した撮影モードでの撮影では、主撮影装置２０１により撮影が行われる。

演算装置２０２は、入力された信号やプログラムに従って、各種の演算や制御を行う。

通信制御装置２０３は、外部装置と接続し制御コマンドやデータの送受信を行う。接続を確立し、データ通信するためのプロトコルとしては、例えばＰＴＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）が用いられる。なお、前記通信装置２０３は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルなどの有線接続により通信を行ってもよい。また、無線ＬＡＮなどの無線接続により通信を行ってもよい。また、外部装置と直接接続してもよいし、サーバを経由したりインターネットなどのネットワークを介したりして外部装置と接続してもよい。

二次記憶装置２０４は、デジタルカメラ２０の各機能を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶する。

一次記憶装置２０５は、一時的なデータを記憶し、演算装置２０２の作業用に使われる。
表示部２０６は、撮影時のビューファインダー画像の表示、撮影した画像の表示、対話的な操作のためのメニュー表示などを行う。図１における液晶画面２０９もこれに含まれる。
副撮像装置２０７は、画像の再生時に、液晶画面２０９を閲覧している者を撮影するためのもので、図１のインカメラ２１０９はこれに含まれる。

記憶媒体２０８は、撮影した画像データなどを記憶する。なお、撮影後に記憶媒体２０８は取り外すことが可能であり、パーソナルコンピュータ（以下、ＰＣ）などに装着してデータを読み出すことが可能である。本発明実施例では、ＳＤメモリーカードである。

操作部２１０は、使用者の操作を受け付けるためのものである。図１における、メニューボタン２１０３や移動ボタン２１０５、移動ホイール２１０７がこれに含まれる。

図３に、本実施例のデジタルカメラ２０の機能ブロック図を示す。ただし、本発明実施例の構成を理解する上で直接、必要とされない要素、例えば、ＣＰＵや、画像再生に関係する部分などは、省略してある。また、本発明は、画像の再生に関する者のため、画像の再生に関係する要素について説明している。

撮影手段３０１は、副撮像装置２０７を使用して、液晶画面２０９に再生されている画像を閲覧している者の撮影を行うものである。

画像再生手段３０２は、記憶媒体２０８に保存されている画像ファイルを表示部２０６に再生表示するものである。本発明実施例では、画像ファイルはＪｐｅｇ形式で記録媒体２０８に記録されているものとする。画像再生手段３０２では、Ｊｐｅｇファイルのデコードも行う。

顔検出手段３０３は、撮像手段３０１により撮影された画像を解析し、画像中に顔が存在するかを検出するものである。

顔識別手段３０４は、顔の特徴を抽出し、それを個々の顔の識別情報や笑顔の情報として出力するためのものである。

お気に入り判定手段３０５は顔の識別情報をもとに、お気に入り度を判定するためのものである。

ファイル管理手段３０６は、記録媒体２０８へのファイルの入出力を管理するためのものである。

デジタルカメラ２０の電源が入れられ、モード切り替えスイッチ２１０８が「Ｐｌａｙ」のポジションにある時、デジタルカメラ２０は、再生モードに遷移し、記録媒体２０８に記録されている画像が画像再生手段３０２により液晶画面２０９に再生表示される。記録媒体２０８に複数の画像が記録されている場合、操作者により移動ボタン２１０５が操作されると操作部２１０が、演算装置２０２にその情報を通知し、ある一定の順序に従って、他の画像を表示する。これを繰り返すことにより、複数の画像の閲覧を可能にしている。他のモードから、再生モードに切り替えられた時も、同様となる。このとき処理の詳細を、以下に説明する。

図４に示すのは、本発明実施例におけるデジタルカメラ２０における、再生モードへの遷移、または、その状態で、移動ボタン２１０５が操作され、新たな画像を表示する場合の処理を示すフローチャートである。この処理は、二次記憶装置２０４に記録されたプログラムを演算装置２０２が読み取り、実行することによって実現される。

まず、ステップＳ１０で、画像を表示する。この処理は、ファイル管理手段３０６が、所望の画像ファイルを記憶媒体２０８から読み出し、画像再生手段３０２により、表示部２０６に表示する処理となる。

次に、ステップＳ２０では、本発明の特徴となる、お気に入り度の計測の開始を行う。これは、再生処理と並行して別タスクとして行われるものであり、このタスクの詳細については後述する。

ステップＳ３０では、操作者の入力を待ち、表示されている画像の閲覧の終了命令を待つ。具体的には、モードの切り替え、次の画像の閲覧のための入力などとなる。

閲覧の終了命令が操作部２１０から入力されると、ステップＳ４０にて、お気に入り度の計測のためのタスクを終了させるための処理を行い、処理を終了する。

図５は、お気に入り度を計測するためのタスクの処理を表すフローチャートである。この処理は、二次記憶装置２０４に記録されたプログラムを演算装置２０２が読み取り、実行することによって実現される。

図４のステップＳ２０にて、お気に入り度計測タスクの開始が指示されると、お気に入り度計測タスクでは、まず、図５のステップＳ１０にて、画像再生手段３０２にて液晶画面２０９に表示されている画像データを解析し、画像に含まれている顔位置の抽出、および、その識別情報の抽出を行う。なお、顔の検出と識別情報の抽出は、顔検出手段３０３、顔識別手段３０４にて行われるが、その方法については、本発明とは直接関係ないため、説明は省略する。なお、顔検出手段３０３は、デジタルカメラ２０の撮影モードにおいても使用され、主撮像装置からの入力画像データを解析し、顔を抽出することで、その情報を用いてＡＥやＡＦ処理でも使用される。

次に図５のステップＳ１５にて、再生中の画像データに対応する画像ファイルから、閲覧者履歴リストを取得する。閲覧者履歴リストとは、図６に示す論理構造をもった情報であり、これは、画像ファイルのヘッダ部分に格納されているものである。具体的には、本発明実施例では、画像ファイルは、ＥｘｉｆＪｐｅｇ形式で記録されており、Ｅｘｉｆで定義されているメーカーノート領域に閲覧者履歴リストは格納されるものである。閲覧者履歴リストの詳細については後述する。

次に、ステップＳ２０にて、計測タスクの終了命令がなされているかを確認する。これは、図４のフローチャートにおいて、ステップＳ４０が実行されたかということになる。図４のステップＳ４０が実行されていない、つまり、表示中の画像が閲覧中の場合には、図５のステップＳ３０に処理を移す。

図５のステップＳ３０では、撮影手段３０１が、副撮像装置２０７を使い、液晶画面２０９の再生画面方向、つまり、画像を閲覧している者の撮影が行われる。ここで得られる画像データの例を図７に示す。

次に、ステップＳ３５では、撮影した画像の解析を行い、顔の数（Ｎ）とそれぞれの顔についての特徴を示す識別情報、および、笑顔か否かの情報を求める。この方法については、ステップＳ１０で行ったものと同等である。たとえば、図７の画像の場合は、顔の数（Ｎ）は５となる。

ステップＳ４０では、ステップＳ３５で求めた顔の数（Ｎ）により処理を分岐する。顔の数（Ｎ）が２つ以上の場合には、ステップＳ５０に処理を移す。一方、顔の数（Ｎ）が２つ未満の場合には、ステップＳ１０５に処理を移す。これは、顔の数（Ｎ）が１の場合は操作者が１人で閲覧しているとみなすことができ、この場合は、顔の表情を判定するには適さない状況と判断するためである。

ステップＳ５０以降では、ステップＳ３５で抽出したＮ個の顔について、一つずつ処理を行う。まず、ステップＳ６０にて、顔（ｎ）の大きさが一定以上かを判定する。一定の大きさ以下の場合には、デジタルカメラ２０から一定の距離以上、離れた人物の顔と判断でき、そのような顔については、液晶画面２０９を閲覧しているとは考えにくいため、対象から外す。たとえば、図７の場合、顔７５の大きさは、本実施例のデジタルカメラ２０においては、あらかじめ決められている大きさ以下と判断され、対象から外す。なお、一定以上の大きさの場合には、ステップＳ７０に処理を移す。

ステップＳ７０では、表示中の画像を顔（ｎ）の人物が過去にも閲覧したことがあるかを調べる。具体的には、ステップＳ１５でファイルから取得した閲覧者リストを参照し、顔（ｎ）の識別情報と同じ情報が閲覧者履歴リスト中に含まれているかを調べることになる。

ここで、閲覧者情報リストについて説明する。閲覧者履歴リストは各画像ファイルに含まれているものであり、その画像を閲覧したことがある人物の履歴情報である。図６の６００にあるような論理構造となっている。閲覧者番号６０１は閲覧者の番号であり、閲覧者識別情報６０２は、閲覧者の顔の特徴量である。具体的には、顔識別手段により得られる情報と同様の仕様のものである。笑顔情報６０３は閲覧者が笑ったか否かの記録である。被写体情報６０４は、閲覧者が液晶画面２０９に再生されている画像の被写体か否かを示す情報である。

ステップＳ７０の処理としては、ステップＳ３５で求めた顔（ｎ）の識別情報と閲覧者履歴リスト６００中の閲覧者識別情報６０２の全てを比較し、同一人物とみなされる情報が閲覧者リストに存在するかを調べる。存在している場合には、ステップＳ９０に処理を移す。これは、顔（ｎ）の人物が表示中の画像を過去にも閲覧したことがある場合である。一方、閲覧者履歴リスト６００に情報が無い場合には、ステップＳ８０に処理を移す。これは、顔（ｎ）の人物が新たな閲覧者の場合である。

ステップＳ８０では、閲覧者履歴リスト６００に新たな閲覧者を追加する。この時、閲覧者番号６０１には、閲覧者番号の一番大きなものに１を加えた数値、閲覧者識別情報６０２には、ステップＳ３５で求めた識別情報を設定する。また、笑顔情報６０３にも値を設定する。顔（ｎ）が笑顔の場合には、Ｔｒｕeを、笑顔では無い場合には、Ｆａｌｓｅを設定する。また、ステップＳ３５で求めた顔（ｎ）の識別情報とステップＳ１０で求めた再生中画像に含まれている顔の識別情報を比較し、顔（ｎ）と同一人物とみなされる顔が再生中画像に含まれている場合には、被写体情報６０４にＴｒｕeを設定する。

一方、ステップＳ７０から、ステップ９０に処理が遷移した場合は、ステップＳ９０にて、閲覧者履歴リスト６００中の顔（ｎ）と同じ閲覧者の情報のうち、笑顔情報６０３の値により処理を分岐する。笑顔情報６０３の値がＴｒｕeの場合は、顔（ｎ）の人物が過去に閲覧したことがあり、かつ、その時に笑顔で見ていたということになるため、ステップＳ３５で求めた顔（ｎ）の人物の笑顔の情報にかかわらず、閲覧者履歴リストは変更しないで次の閲覧者の処理に移るために、ステップＳ５０に処理を戻す。一方、笑顔情報６０３の値が笑顔では無い場合、つまり、Ｆａｌｓｅの場合には、ステップＳ１００に処理を移し、ステップＳ３５で求めた顔（ｎ）の笑顔の情報で、閲覧者履歴リスト６００を更新し、その後、ステップＳ５０に処理を戻す。なお、当然ながら、ステップＳ３５で求めた笑顔の情報がＦａｌｓｅの場合には、ステップＳ１００で、閲覧者履歴リスト６００を更新する必要が無い。

全ての閲覧者に関する処理が終わると、つまり、上記説明におけるｎが１からＮまでの全てについての処理が終了すると、ステップＳ４０からステップＳ１０５に処理を移す。ステップＳ１０５では、再びステップＳ２０からの処理を行う際に一定のインターバルをとるためのＷａｉｔ処理を行う。なおこの値を調整することで、上述してきたステップＳ３０から、ステップＳ１００までの処理の間隔を調整することが可能となる。つまり、閲覧者を監視する間隔を調整することとなる。

ステップＳ２０に処理が戻った際、先に説明したとおり、計測終了命令が実行されていると、ステップＳ１１０に処理が移る。

ステップＳ１１０では、閲覧者履歴リスト６００からお気に入り度を計算し、求められたお気に入り度をステップＳ１２０にて画像ファイルに設定する。なお、本実施例では、お気に入り度も画像ファイル中のメーカーノート部分に記録されるが、これに限定されることは無い。

ステップＳ１１０で行われる計算式を図８の８００に示す。

本実施例では、閲覧者履歴リスト６００の情報を図８に示す式に当てはめて、再生中画像のお気に入り度を算出している。

図８に示す式８００では、閲覧者のうち、再生中の画像の被写体となっている閲覧者のお気に入り率（Ａ）と、被写体では無い閲覧者のお気に入り率（Ｂ）をまず算出する。それらの値にそれぞれ、係数α、βを掛けて合算することにより、お気に入り度（Ｃ）を求めている。本実施例では、α＝３、β＝２とすると、図6に示す閲覧者履歴リストの場合、
被写体お気に入り率（Ａ）＝ １／２
非被写体お気に入り率（Ｂ）＝ ２／３
となり、
お気に入り度（Ｃ）＝１７／６≒２．８
となる。

以上の処理により、画像を閲覧するだけで、閲覧した画像に対するお気に入り度が自動的に設定されることになる。

なお、本実施例では、インカメラにより撮影された人物が一人の場合には、判断基準から排除しているが、一人の場合においても、判断基準に含めてもよい。

また、再生画像に写っている被写体であるかどうかで係数を変えていたり、閲覧者が被写体の場合の係数を高めにしていたりしているが、これに限定されることはない。

また、本実施例では、閲覧者を撮影してその画像のみからお気に入り度を判定しているが、それに加えて、再生中の音声を集音し、笑い声やボリューム等も考慮して、お気に入り度を設定することも可能である。

また、本発明実施例では、デジタルカメラに閲覧者を撮影するための専用のインカメラを設けているが、これに限定されることは無く、回転機構付きの液晶画面を搭載したり、または、反射鏡などを搭載するなどして、通常の撮影に用いる撮像装置を使用して閲覧者を撮影しても良い。

また、本発明実施例では、デジタルカメラを例として説明しているが、これに限定されることはなく、携帯電話やカメラ付きのパソコン、フォトフレームなど、画像を再生する手段を備え、かつ、閲覧者側を撮影可能な手段を備えている装置であれば良い。

なお、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施の形態の機能を実現するプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリーカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。

更に、前述した実施の形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

２０ デジタルカメラ
２０９ 液晶画面
２１０８ モード切り替えスイッチ
２１０９ インカメラ
２０１ 主撮像装置
２０７ 副撮像装置
６００ 閲覧者履歴リスト
８００ お気に入り度算出式

Claims (5)

1. 画像を再生して表示する画像再生手段と、表示画面の方向を撮影することが可能な撮影手段と、上記画像に対してお気に入り度を設定する手段と、再生画像や上記撮影手段からの画像を解析して人物の顔を識別する手段を含む電子機器において、画像再生手段により画像を再生するとともに、上記撮影手段により撮影を行い、撮影手段により撮影された画像データを解析し顔に関する情報を抽出し、その情報から、再生中の画像のお気に入り度を自動的に設定することを特徴とするお気に入り度自動設定システム。
2. 撮影された画像中の顔の大きさが一定の大きさ以下の場合には、その顔の情報は除外することを特徴とする請求項１に記載のお気に入り度自動設定システム。
3. 撮影された画像中の顔が笑顔の場合には、お気に入り度を上げることを特徴とする請求項１に記載のお気に入り度自動設定システム。
4. 撮影された画像中の顔が再生中の画像にも含まれているか否かで、お気に入り度を判定する際の比重を変えることを特徴とする請求項１に記載のお気に入り度自動設定システム。
5. 閲覧者の情報を再生中の画像データと関連付けて記録することを特徴とする請求項１に記載のお気に入り度自動設定システム。