JP2008288767A - 情報処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】有用なログを取得できるようにする。
【解決手段】ユーザが注視している点を注視点とし、その注視点、またはその注視点を含む所定の範囲内に含まれる画像から、特徴量を抽出する。また、ユーザが行った操作、例えば、画質に関わるパラメータを変更したときの操作や、捜査結果のパラメータの値が取得される。特徴量と操作情報が、関連付けられて、ログとして記憶される。このようにして記憶されたログを解析することにより、画質を向上させる技術などが検討される。本発明は、テレビジョン受像機に組み込まれ、ログを取得する装置に適用できる。
【選択図】図３

Description

本発明は情報処理装置および方法、並びにプログラムに関し、特に、ユーザの操作履歴などを取得するとき、その操作に関連した情報も取得できるようにした情報処理装置および方法、並びにプログラムに関する。

テレビジョン受像機の画像の特性を決めるパラメータなどは、ユーザが好みに設定できるように構成されている。

また、本出願人は先に、選局されたチャンネルの状態を記憶した履歴に従って、パラメータを設定し、その設定に基づき、ユーザが高頻度に視聴する番組を、ユーザの手を煩わすことなく視聴できる状態にすることを提案している。（例えば、特許文献１参照）
特開平８−１８０５０４号公報

ユーザは、パラメータを必要に応じ繰り返し設定することで好みの画質になるように調整することが可能とされている。しかしながらこのことは、ユーザが満足する処理結果を得るまでに、複数回、パラメータを設定するための操作を行わなくてはならない場合があることを意味する。

設定に関わる操作を、ユーザが複数回行わなくても良いように、例えば、テレビジョン受像機の設計段階で、できるだけ、ユーザの好みにあった画質にしておくことが望まれている。

本発明は、このような状況に鑑みてなされたものであり、ユーザが操作したことに関する履歴や、その履歴に関する情報を取得できるようにするものである。

本発明の一側面の情報処理装置は、画像の特徴量を取得する取得手段と、前記画像のうちユーザが注視している注視点を検出する検出手段とを備え、前記取得手段により取得された前記特徴量のうち、前記検出手段で検出された注視点、または注視点を含む所定の範囲の画像から抽出された前記特徴量を記憶する。

前記画像のうち、所定の部分の画像を追尾すると共に、その所定の部分の画像をズームした状態で表示するための処理を実行する追尾ズーム処理手段をさらに備え、前記検出手段は、前記追尾ズーム処理手段により設定された追尾点を注視点とするようにすることができる。

前記所定の範囲の画像は、前記所定の部分の画像であるようにすることができる。

ユーザの操作に関する情報を前記特徴量と関連付けて記憶するようにすることができる。

本発明の一側面の情報処理方法は、画像の特徴量を取得し、前記画像のうちユーザが注視している注視点を検出するステップを含み、取得される前記特徴量のうち、検出された注視点、または注視点を含む所定の範囲の画像から抽出された前記特徴量が所定の記憶媒体に記憶されるように制御する。

本発明の一側面のプログラムは、画像の特徴量を取得し、前記画像のうちユーザが注視している注視点を検出するステップを含み、取得される前記特徴量のうち、検出された注視点、または注視点を含む所定の範囲の画像から抽出された前記特徴量が所定の記憶媒体に記憶されるように制御する。

本発明の一側面の情報処理装置および方法、並びにプログラムにおいては、ユーザが注視している部分の画像の特徴量がログとして記憶される。

本発明の一側面によれば、ユーザの操作履歴を取得し、その操作履歴がどのような状況で行われたかに関する情報も取得することが可能となる。よって、その履歴と情報を用いて、より詳細な解析を行うことが可能となる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の情報処理装置は、画像の特徴量を取得する取得手段（例えば、図７の特徴量取得部１０３）と、前記画像のうちユーザが注視している注視点を検出する検出手段（例えば、図７の注視点情報取得部１０５）とを備える。

前記画像のうち、所定の部分の画像を追尾すると共に、その所定の部分の画像をズームした状態で表示するための処理を実行する追尾ズーム処理手段（例えば、図７の追尾ズーム処理部１１０）をさらに備える。

以下に、本発明の実施の形態について図面を参照して説明する。

［システムの構成について］
図１は、本発明を適用したシステムの一実施の形態の構成例を示す図である。図１に示したシステムには、テレビジョン受像機１１、ログ取得装置１２、開発者１３、および解析装置１４が含まれる。

テレビジョン受像機１１は、ユーザ側の装置であり、テレビジョン放送を受信し、番組の映像や音声をユーザに提供する装置である。テレビジョン受像機１１には、ログ取得装置１２が備えられている。ログ取得装置１２は、テレビジョン受像機１１に内蔵されていても良いし、外付けされていても良い。ログ取得装置１２は、後述するように、ユーザの操作履歴などをログとして記憶する。

開発者１３は、テレビジョン受像機１１を開発する側の人である。テレビジョン受像機１１に備えられたログ取得装置１２は、所定のタイミングで、開発者１３側に提供される。開発者１３は、取得したログ取得装置１２を、解析装置１４にセットし、ログ取得装置１２に記憶されているログなどの情報を読み出し、情報解析を行う。その解析結果は、テレビジョン受像機１１の開発に用いられる。

例えば、ログ取得装置１２には、ユーザがどのような画質の設定を行ったか、その設定を行ったときの画像はどのような画像であったかなどの情報が記憶されており、開発者１３は、ログ取得装置１２に記憶されている情報から、ユーザが好む画質はどのような画質であるのかを知るための１材料とすることができるように構成されている。

なお、ログ取得装置１２が開発者１３に提供されるタイミングは、どのようなタイミングでも良い。例えば、テレビジョン受像機１１が廃棄処分されるときに、テレビジョン受像機１１から取り出され、開発者１３に提供される。このようにしたとき、ログ取得装置１２は、ユーザがテレビジョン受像機１１を購入してから廃棄するまでの間のログを記憶する必要がある。

しかしながら、ログ取得装置１２の記憶容量を大きなものとすると、ログ取得装置１２の記憶媒体自体のコストが高くなってしまったり、大きさが大きくなってしまったりするので、できる限りログ取得装置１２の記憶容量は小さいものとされることが望ましい。本実施の形態においては、以下に説明するようなログを記憶することで、ログ取得装置１２の記憶容量が小さくても、充分な情報を記憶することができるように構成されている。

［ログ取得装置の構成例について］
図２は、ログ取得装置１２の内部構成例を示す図である。ログ取得装置１２は、画像データ入力部３１、画像処理部３２、特徴量取得部３３、ログ取得部３４、注視点情報取得部３５、ログ取得範囲決定部３６、ログ記憶部３７、受光部３８、および制御部３９を含む構成とされている。

ログ取得装置１２は、テレビジョン受像機１１を構成するのに必要とされる部分も含む。例えば、受光部３８は、テレビジョン受像機１１のリモートコントローラ５１（図４）からの信号を受信する部分であり、テレビジョン受像機１１を構成するのに必要な部分であるが、ログ取得装置１２においても必要な部分とされる。このような部分は、テレビジョン受像機１１と共用することが可能であり、そのように構成することは可能である。

画像データ入力部３１は、例えば、図示されていないアンテナや、そのアンテナで受信されたテレビジョン放送の番組のデータを選択するチューナを介して、画像データを入力したり、ＤＶＤ（Digital Versatile Disc)プレーヤなどからの画像データを入力したりし、入力された画像データを、画像処理部３２に供給する。

画像処理部３２は、入力された画像データに対して種々の処理を施し、例えば、復号などの処理を施し、図示されていない外部の装置、例えば、表示装置に対して出力する。また、画像処理部３２の処理結果や、処理途中のデータなどは、特徴量取得部３３に出力される。

特徴量取得部３３は、画像処理部３２から供給されたデータから、画像の特徴を示す特徴量を取得する。取得される特徴量に関しては後述する。特徴量取得部３３により取得された特徴量は、ログ取得部３４に供給される。ログ取得部３４は、供給された特徴量のうち、ログ取得範囲決定部３６で決定された範囲内の特徴量をログとして取得し、ログ記憶部３７に供給する。

ログ取得範囲決定部３６は、注視点情報取得部３５から供給される情報に基づき、ログを取得する範囲を決定する。注視点情報取得部３５は、テレビジョン受像機１１を視聴しているユーザ（視聴者）が、テレビジョン受像機１１の表示部（不図示）に表示されている画像のうち、特に注視している部分を検出し、その情報を、ログ取得範囲決定部３６に供給する。すなわち、ログ取得範囲決定部３６は、注視点情報取得部３５から供給される情報を基に、注視点付近の所定の範囲を、ログを取得する範囲であると決定する。

受光部３８は、テレビジョン受像機１１を操作するための操作部が設けられたリモートコントローラ５１（不図示）からの信号を受信し、制御部３９に供給する。制御部３９は、受光部３８からの信号を解析し、ログ取得装置１２の各部を制御する。また、制御部３９は、解析した結果を、ログ取得部３４に供給する。

ログ取得部３４は、特徴量取得部３３から供給される特徴量のうち、ログ取得範囲決定部３６で決定された範囲内の特徴量をログ（以下、適宜、特徴量ログと記述する）として取得すると共に、その時点で、制御部３９から供給された情報をログとして取得する。制御部３９から供給される情報は、その時点で、ユーザがリモートコントローラ５１を用いて操作した操作履歴に関する情報（以下、適宜、操作ログと記述する）である。ログ取得部３４は、その操作ログと特徴量ログを関連付けてログ記憶部３７に記憶させる。

本実施の形態においては、このような構成を有するために、例えば、ユーザが、テレビジョン受像機１１に表示されている所定の画像を閲覧しながら画質の調整を行ったとき、どのような調整を行ったかに関する操作ログと、ユーザが注視していた画像からの特徴量ログが関連付けられて、ログ記憶部３７に記憶される。

なお、本実施の形態においては、ログ取得装置１２が、テレビジョン受像機１１に組み込まれ例を挙げて説明するが、ログ取得装置１２は、テレビジョン受像機１１以外の装置に組み込まれるようにしても良い。

［ログ取得装置の動作について］
次に、図２に示したログ取得装置１２の動作について、図３のフローチャートを参照して説明する。

ステップＳ１１において、画像データが取得される。画像データ入力部３１は、外部から供給される画像データを、画像処理部３２に供給する。ステップＳ１２において、特徴量が取得される。特徴量取得部３３は、画像処理部３２からのデータに基づき、その時点で処理されている画像から、特徴量を抽出する。ここで、抽出される特徴量について説明を加える。

上記したように、ログ取得装置１２に記憶されているログを解析することにより、ユーザの嗜好やユーザが構成するコミュニティを分析してサービスを向上させたり、商品開発や技術開発を行ったりすることを目的に、ログの蓄積や回収が行われる。よって、ログ取得装置１２が回収されたときに、どのような解析が行われるのか、どのような情報が取得され、どのように、商品開発などに活かされるのかなどに依存し、目的に適したログが、ログ取得装置１２に記憶されることが望ましい。

ここでは、どのような特徴量が取得されたときには、どのような情報解析ができるのかに注目し、取得される特徴量について記載する。

まず、取得される特徴量として、アクティビティに関する特徴量がある。アクティビティとは、セグメントの内容がどの程度動的あるいは静的であるように感じられるかを表す１つの指標である。例えば、視覚的に動的である場合、アクティビティは、カメラが対象物に沿って迅速に移動する度合い、または撮影されているオブジェクトが迅速に変化する度合いを表す。

このアクティビティは、カラーヒストグラムのような特徴量のフレーム間非類似性の平均値を測定することにより、間接的に計算することができる。例えば、画像処理部３２による処理で復号された復号画像を構成する各画素を、順次、注目画素として、注目画素を含む所定のブロックについて、そのブロック内の画素の画素値のアクティビティが演算される。注目画素を含むブロックとしては、例えば、注目画素を中心とした３×３画素のブロックを採用することができる。特徴量ログとして、アクティビティが記憶されるようにした場合、特徴量取得部３３は、このようにしてアクティビティを算出する。

アクティビティが高い部分（ディテール部分やエッジ部分）とアクティビティが低い部分（平坦部分）では、色々な画質調整の視覚的な効果が異なってくると考えられる。本実施の形態においては、注視点情報取得部３５により、ユーザが注視している注視点の情報が、取得され、その注視点の特徴量ログが記憶されるとともに、操作ログも記憶される。よって、注視点のアクティビティと、例えば、操作ログとしてユーザが好みの画質にするために行った画質調整値を取得することが可能であり、そのようなログが記憶される。注視点のアクティビティと画質調整値を解析時に用いることで、ユーザが何をどのように設定したかったのかなどをより詳細に解析することが可能となる。

取得される特徴量の他の例として、画像にのってしまったノイズに関する特徴量がある。符号化方式および復号方式であるＭＰＥＧ（Moving Picture Experts Group）方式などでの圧縮処理では、画像の場所によって異なるノイズが発生する。本実施の形態によれば、ユーザが注視していた注視点と、その注視点付近で発生していたノイズの特徴量を取得することができる。よって、ユーザが注視していた点に、どのようなノイズが発生していたのかを、ログを解析することで知ることができるようになり、ユーザの視聴とノイズとの関係をより詳細に知ることができると考えられる。

取得される特徴量の他の例として、画像の色に関する特徴量がある。一般的に、人間は色よりも輝度に良く反応するとされている。このようなことを考慮し、画像処理は輝度を処理対象としていることが多かった。しかしながら、色が人間に与える影響もあるので、ユーザが注視している点の色の情報が今後のアルゴリズム開発に有用であると考えられ、ユーザが注視している点の色の情報をログとして取得し、そのログを解析することで、色に関する技術開発などに活かすことが可能となる。

そこで、ユーザが注視していた点が、どのような色であったか、そして、その色に対してユーザはどのような設定にしたのか（どのような色が好みで、その色に設定したのか）をログとして記憶し、解析することで、知ることができるようになる。例えば、肌色（人間の肌）ばかり見ているユーザは，肌色の質感や色再現をより向上させるような画像処理を求めていると考えられ、そのようなユーザから取得されたログを解析することで、ユーザが好むような肌の色を向上させるような技術開発などに活かすことが可能となる。

取得される特徴量の他の例として、画像内の物体の動きに関する特徴量がある。例えば、ユーザが見ている対象が、画面中を大きく横切るように動いているのか、それとも画面中心にずっと固定して動かないかによって、ユーザの求める信号処理は大きく違うと考えられる。前者の場合は動きに強い信号処理、後者の場合は静止画像に特化した信号処理がよいと考えられる。このようなことを考慮すると、ユーザが注視していた点の画像の動きは、どのような動きであったのかを示す特徴量と、その画像のときにユーザの操作を、ログとして記憶し、解析することで、動きに強い信号処理と静止画像に特化した信号処理に対する技術の向上に役立てることができる。

このような特徴量は、どれも、ユーザがどのような画像を見ているかという情報を、より詳しく解析できるようになることに寄与する。

図３のフローチャートの説明に戻り、ステップＳ１２において、特徴量が取得される。なお、特徴量は、特徴量ログとして、操作ログと関連付けられてログ記憶部３７に記憶されるため、特徴量は、ユーザが何らかの操作、特に画質などのパラメータの設定などに関わる操作を行ったときに、取得されるようにしても良い。換言すれば、図３に示したフローチャートの処理は、ユーザがパラメータの設定などの所定の操作を行ったことをトリガーとして開始されるようにしても良い。

ステップＳ１３において、注視点情報が取得される。注視点情報取得部３５は、テレビジョン受像機１１に表示されている画像のうち、ユーザが注視している点を検出し、その情報を取得する。また、ステップＳ１４において、ログを取得する範囲が決定される。ログ取得範囲決定部３６は、注視点情報取得部３５からの情報に基づき、所定の範囲内を、ログを取得する範囲の画像として決定する。

ここで、注視点について、図４Ａ、図４Ｂを参照して説明する。注視点とは、ユーザが見ている点である。図４Ａに示したように、例えば、テレビジョン放送の番組を、テレビジョン受像機１１でユーザが視聴しているとき、ユーザは、全画面を視聴しているが、その画面内でも、特に意識して視聴している部分がある。近年、テレビジョン受像機１１の画面は、大画面になりつつある。大画面の場合、特に、ユーザは、全画面を見ているのではなく、その一部分を見ている傾向になりがちである。

例えば、図４Ａに示した例は、テレビジョン受像機１１には、人と家が映し出されている画面であるが、ユーザは、家より人の方に注目している状態である。このようなときには、人の画像の部分が注視点である。

このようなことを考えると、ユーザは注視点付近を見ているので、その注視点付近の画像の画質が良い程、良い画像であるとユーザに認識させることができる。よって、ユーザにとって注視点となりやすいような対象に特化した信号処理を施すことが、ユーザにより良い画像を提供することが可能となる。例えば、本発明を適用して得られるログを解析し、その結果を用いて、注視点となりやすいような対象に特化した信号処理を施すような商品を開発することが可能となる。

また、図４Ｂに示すように、テレビジョン受像機１１に、設定画面６１が表示され、ユーザがリモートコントローラ５１を操作して、画質の調整などを行うパラメータなどを設定しているようなとき、換言すれば、ユーザが画像に対して能動的に関わろうとしているときなど、さらに重要なログを取得することができる。そのようなときのログを解析することで、さらに有用な情報を取得することが可能である。

上記したように、大画面においては、画面のうちの一部分を注視しているような傾向にあり、特に、画質に関する設定などを行っているときには、画面内の一部分の画像を見ながら、その画像が好みの色となるように設定を行うといったようなことが多い。例えば、図４Ｂに示した例では、テレビジョン受像機１１に、人と家が映し出されているが、ユーザは、人の画像を見ながら、その人の肌の色が自分の好みに合うような設定をリモートコントローラ５１を操作しながら設定することが多いと考えられる。このようなときには、人の画像の部分が注視点である。

図４Ｂに示したような、ユーザが画質を自分の好みに設定しているようなときの情報は、注視点付近の画像と画像処理の関係が深くなっている状態であり、ログを用いて画像処理システム自体を短期的長期的に変化させていこうと計画の場合には、特に有効となる。

ユーザが注視している注視点の情報を取得し、その注視点の画像に関する特徴量を取得するようにすることで、単に、画像の特徴量を特徴量ログとして記憶し、解析するような場合に比べて、上記したような理由から、より、細かな解析を行うことができるようになる。

このように、注視点の情報を取得することで様々な利点がある。その注視点の検出の仕方として、アイマークレコーダを用いる方法、画面の中心とする方法、ズーム画枠内とする方法、追尾ズームの追尾点とする方法などがある。

アイマークレコーダは、視線を検出する装置である。アイマークレコーダは、ユーザがゴーグルのような装置をかぶり、そのゴーグルのような装置により、ユーザの視線が検出されるように構成されたり、テレビジョン受像機１１の下側に設置され、ユーザの顔を撮影し、目の位置を画像処理などで検出することにより、ユーザの視線が検出されるように構成されたりする。

しかしながら、ユーザが、テレビジョン受像機１１でテレビジョン放送を楽しむときや、画質の設定を行うときに、ゴーグルを装着して行うことは想定できず、また、ゴーグルを装着して行うことを強制するのは好ましい形態ではないと考えられる。また、アイマークレコーダは、高価な専用の装置が必要となるため、ユーザ宅に設置することは難しいと考えられる。

よって、商品の開発などのときに、実験的にユーザに使用してもらうようなときには、アイマークレコーダは有効な手段であり、注視点情報取得部３５を構成する装置として適用できると考えられる。また、ユーザに、使用の面やコストの面で負担を強いないようなアイマークレコーダを供給できるようになれば、注視点情報取得部３５を構成する装置として適用し、ユーザ宅の装置として設置してもらい、使用してもらうことは可能であると考えられる。

アイマークレコーダにより検出された視点を注視点とし、その注視点がログを取得する範囲として設定されるようにしても良いし、その注視点を中心とする所定の画素数から構成される範囲がログを取得する範囲として設定されるようにしても良い。注視点を中心とする所定の画素数から構成される範囲がログを取得する範囲として設定される場合、その所定の範囲は、可変とされても良い。

また、所定の範囲を可変とする場合、例えば、注視点のオブジェクトを判断し、そのオブジェクトが範囲として設定されるようにしてもよい。

次に、ログを取得する範囲が、画面の中心である場合について説明する。画面の中心とは、テレビジョン受像機１１の表示部（不図示）の中心を意味している。まず、テレビジョン受像機１１の表示部に表示される画像が撮影（撮像）されたときのことを考える。撮影者は、撮影時、多くの場合、撮影したいものが画面の中心にくるように撮影する。

よって、そのような画像が表示される場合、画面の中心に、撮影者の撮影したいものが表示されているので、その部分を注視する方が、他の部分を注視するより、撮影者の意図を酌みやすい。すなわち、画面の中心にその画像の重要な部分が位置する場合が多いので、ユーザも画面中心を見ていることが多いと考えられる。また、視聴時のことを考えると、ユーザは、画面の端を注視しているよりも、画面の中心を注視していることが多いと考えられる。よって、画面の中心を注視点として設定するようにしても良い。

ただし、テレビジョン受像機１１に表示されているコンテンツが映画などのコンテンツであったような場合、映画などでは、画面全体を画として作り込むような撮影もあり得るので、必ずしも、画面の中心が注視点となるとは限らない。そのようなときにも対応するために、例えば、コンテンツのジャンルを示す情報もログとして取得するように構成し、解析時にそのジャンルの情報も用いて、ジャンルも考慮して解析が行われるようにしても良い。

画面の中心を注視点とする場合、その注視点がログを取得する範囲として設定されるようにしても良いし、その注視点を中心とする所定の画素数から構成される範囲がログを取得する範囲として設定されるようにしても良い。この場合、注視点は、画面の中心と固定されるので、ログを取得する範囲も、画面の中心を含む所定の画素数から構成される固定された範囲とされるようにしても良い。

また、所定の範囲を可変とする場合、例えば、注視点のオブジェクトを判断し、そのオブジェクトが範囲として設定されるようにしてもよい。

次に、ログを取得する範囲が、ズーム画枠の場合について説明する。図５Ａ、図５Ｂ、および図５Ｃを参照して、ズームについて説明する。図５Ａは、テレビジョン受像機１１に写し出されている画像の一例を示している。図５Ａに示した画像は、家と人が写し出されている画像である。このような画像が表示されているときに、ユーザが人の顔をよく見たいと思い、人の顔の画像に対してズームをかける。そのズーム、すなわち所定の画像の拡大が指示されたときに、拡大する画像の範囲がユーザにより設定される。

図５Ｂは、ユーザにより、画像内の人の顔の部分に、ズームの画枠７１が設定された状態を示している。図５Ｂに示した例の場合、人の顔の画像の部分に、画枠７１が設定されている。このように画枠７１が設定されると、テレビジョン受像機１１に、画枠７１が設定された範囲内の画像のみが表示される。すなわちこの場合、図５Ｃに示すように、テレビジョン受像機１１には、人の顔の画像が表示される。

このように、ユーザがズーム（拡大）を指示する場合、その画像に興味があるときであると考えられる。必ずしも、ユーザが見たい対象にピンポイントでズームする場合ばかりでないが、少なくとも興味のある部分をズームすると考えられるので、また、換言すれば、興味のない部分はズーム外へ外す傾向は強いと考えられるので、注視点として、ズームが指示された画像の中心が設定されるようにしても良い。

ズームの画枠の中心を注視点とする場合、その注視点が、ログを取得する範囲として設定されるようにしても良いし、その注視点を中心とする所定の画素数から構成される範囲がログを取得する範囲として設定されるようにしても良い。この場合、注視点は、ズームの画枠の中心であるので、ログを取得する範囲は、画枠と一致するように設定されるようにしても良い。このようにした場合、画枠は、可変（ユーザが設定した大きさ）とされる。

また、画枠に関係なく、所定の範囲を可変とする場合、例えば、注視点のオブジェクトを判断し、そのオブジェクトが範囲として設定されるようにしてもよい。ズームを処理するアプリケーションによっては、ズームが実行された後も、リモートコントローラ５１の操作で、ズーム率やズーム位置を変更することができるように構成されている場合もある。このように構成されているような場合、例えば、ズーム率が変更されたときには、ログが取得される所定の範囲の大きさも変更されるようにしても良い。

次に、ログを取得する範囲が、追尾ズームの追尾点の場合について説明する。図６Ａ乃至Ｅを参照して、追尾ズームについて説明する。追尾ズームとは、ユーザがズーム機能を使用する際のアシスト機能である。このアシスト機能は、ユーザにより、リモートコントローラ５１が操作されてズームして追いかけたい対象に追尾点が合わせられ指定されると、その対象を追いかけるような処理をしながら（追尾するような処理をしながら）ズーム処理を継続する機能である。追尾ズームを処理するアプリケーションによっては、追尾ズーム中にズーム画枠が変更できるように構成されていたり、追尾点が変更できるように構成されていたりする。

図６Ａは、テレビジョン受像機１１に写し出されている画像の一例を示している。図６Ａに示した画像は、家と人が映し出されている画像である。このような画像が表示されているときに、ユーザが人の顔をよく見たいと思い、人の顔の画像に対してズームをかけ、さらに、その人の顔を常に拡大状態で表示されるように設定する。すなわち、この場合、人の顔に追尾ズームが設定される。

所定の画像が拡大された状態で、その画像が追尾されて表示されるように指示された場合、拡大する画像の中心とその範囲がユーザにより設定される。図６Ｂは、ユーザにより、画像内の人の顔の部分に、ズームの画枠８１が設定された状態を示している。この画枠８１は、追尾点８２を中心とした所定の大きさに設定されるようにしても良いし、ユーザによりその大きさが設定されるようにしても良い。

図６Ｂに示した例の場合、人の顔の画像の部分に、追尾点８２が設定され、人の顔の全体が含まれるような画枠８１が設定されている。このように追尾点８２や画枠８１が設定されると、テレビジョン受像機１１に、画枠８１が設定された範囲内の画像のみが表示される。このとき、追尾点が画面中心となり、ズーム画枠（ズーム率）に従ってズームされる。すなわちこの場合、図６Ｃに示すように、テレビジョン受像機１１には、人の顔の画像が表示される。

さらに、この画面内の人が、移動した場合、拡大された状態が維持されながら、追尾されるので、例えば、図６Ｄに示したような画面がテレビジョン受像機１１に表示される。図６Ｃと図６Ｄを比較するに、図６Ｄには、図６Ｃには表示されていなかった家の一部分が表示されている。図６Ｄに示した画像は、追尾ズームが設定されていないときには、図６Ｅに示した画面がテレビジョン受像機１１に表示されるときの画像である。

図６Ｅは、説明のために図示したのであり、実際の処理ではユーザが指定しない限りユーザに提供される画像ではなく、追尾ズーム中に追尾点とズーム画枠を入力画像に表示した画である。図６Ｂの画像に対して、図６Ｅの画像では、人が図中斜め左下に移動している。追尾対象が移動した場合、追尾ズームは、その対象を追いかけながら（追尾して）ズーム処理を行うため、図６Ｄに示したような画像が、ユーザに提供される。

よって、追尾ズームの処理が行われている間は、あたかも撮影したその場でカメラを動かして対象を追いかけたような画像が得られる。設定次第ではあるが、追尾対象が入力画像の画枠に近づいた場合は追尾対象が画枠中心から外れるような出力になる場合もある。

追尾ズームの追尾点は、アイマークレコーダ、画像中心、またはズーム画枠と比較し、最も注視点と関係が強いと考えられる。追尾ズームは、図６Ａ乃至Ｅを参照して説明したように、追尾点を追いかけてズームするというアプリケーションである。このようなアプリケーションを、ユーザが起動させるときは、興味があるもの、見たいと思っているものを指定するときであると考えられる。よって、そのようなユーザが見たいと思っているところが注視点とされるようにしても良い。

追尾ズームの追尾点を注視点とする場合、その注視点が、ログを取得する範囲として設定されるようにしても良いし、その注視点を中心とする所定の画素数から構成される範囲がログを取得する範囲として設定されるようにしても良い。この場合、注視点は、ズームの画枠内であるので、ログを取得する範囲は、画枠と一致するように設定されるようにしても良い。このようにした場合、画枠は、ユーザにより設定された大きさになり、可変とされる。

また、画枠に関係なく、所定の範囲を可変とする場合、例えば、注視点のオブジェクトを判断し、そのオブジェクトが範囲として設定されるようにしてもよい。

図３のフローチャートの説明に戻り、ステップＳ１３，Ｓ１４において、注視点情報取得部３５（図２）により、ユーザが注視している注視点の情報が取得され、ログ取得範囲決定部３６により、ログを取得する範囲が決定される。

注視点やログが取得される範囲は、上記したように、例えば、追尾ズームの追尾点が注視点とされ、追尾ズームの画枠がログを取得する範囲として設定される。なお、追尾ズームを適用する場合については、図７を参照し、後述する。

ステップＳ１４において、範囲内の特徴量が取得される。ログ取得部３４は、ログ取得範囲決定部３６により決定された範囲内の画像から抽出された特徴量を、特徴量取得部３３から供給される特徴量から抽出する。この抽出された特徴量は特徴量ログとされる。

ステップＳ１６において、操作情報が取得される。受光部３８には、リモートコントローラ５１からの信号が受信される。受光部３８により受光されたリモートコントローラ５１からの信号は、制御部３９に供給され、解析される。制御部３９は、解析結果（操作情報）に基づいた制御をすると共に、ログ取得部３４に操作情報を供給する。ログ取得部３４は、供給された操作情報を、操作ログとする。

なお、ここでは、操作情報としたが、操作の結果が操作ログとされても良い。例えばユーザが、画質を調整するための操作を行った場合、その画質を調整するための操作の結果としてのパラメータが、操作ログとされるようにしても良い。

ステップＳ１７において、ログが記憶される。ログ取得部３４は、取得した特徴量ログと操作ログを関連付けて、ログ記憶部３７に記憶させる。

このように、本実施の形態においては、ユーザが注視している付近の画像の情報と、そのときにユーザが操作したことに関する情報が、ログとして記憶される。

なお、本実施の形態においては、特徴量ログと操作ログが関連付けられて記憶されるとして説明を続けるが、操作ログの代わりに、他の情報が特徴量ログと関連付けて記憶されるようにしても良い。例えば、デバイスの動作や状態に関する情報などを特徴量ログと関連付けても良い。

また、特徴量ログだけを記憶するようにしても良い。特徴量ログは、上記したように、ユーザ注視している画像から抽出された情報である。よって、ユーザが注している画像がどのような画像であるのかをログを解析することにより把握できるので、ユーザがどのような画像に対して興味をもつのか、どのような画像（その画質）が気になるのか、といったようなことを知ることができる。

このようなログが記憶されることにより、以下のような効果がある。

まず、プライバシーの問題を解決することが可能となる。特徴量ログとして、画像の特徴量が記憶されるが、その特徴量を解析することにより、元の画像を復元できる特徴量や、画像の意味内容を想像できてしまうような特徴量は、ユーザのプライバシーを侵害する恐れがあるため、取得できない可能性がある。そのような特徴量を取得できないようにするには、全体的であいまいな情報を特徴量とするしかなく、そのために重要な情報が埋もれてしまう可能性があった。

しかしながら、本実施の形態によれば、注視点一点のみ、もしくはその注視点の周辺の数画素のみの特徴量しか取得されないように構成されているので、元の画像の全体が、どのような画像であったのか推測することはできない。

また、画素値をそのまま取得することができないような場合、元の画像が復元されることがないように、縮退の処理が施されるが、画面全体から意味内容を取り去る場合に比べて、注視点付近のみから意味内容を取り去るような縮退方法は、必要とされる情報の欠落が少ないので、解析時に、重要な情報が埋もれてしまうといったことを防ぐことが可能となる。

このように、本実施の形態によれば、ユーザのプライバシーを守りつつも、情報として十分なログを取得することが可能となる。

また、本実施の形態によれば、容量の問題も解決することが可能となる。図１を参照して説明したように、ログ取得装置１２は、テレビジョン受像機１１に装着され、そのテレビジョン受像機１１がユーザの手を離れるまでの間、稼動し続けることになる。すなわち、ログ取得装置１２は、長期間にわたってログを蓄積し続けることになる。しかしながら、ログを蓄積しておくログ記憶部３７の容量には限界がある。

このことを考慮すると、一回一回のログのデータ量は、なるべく小さくすることが要求される。しかし画像特徴量で画像の局所的な特徴を取得しようと思えばサイズが大きくなってしまい、サイズを抑えれば抑えるほど表現できる特徴は全体的に、あいまいになってしまう。

しかしながら、本実施の形態によれば、注視点付近に特徴量を抽出する対象の画像を限定することができ、画素毎に特徴量を算出することも可能になるため、ログの制度が向上するだけでなく、データ量を抑えることが可能となる。

また、本実施の形態によれば、ヒストグラムに関する問題も解決することが可能となる。上記した実施の形態においては、言及していないが、特徴量ログは、ヒストグラムの形で取得されることがある。ヒストグラムを用いると、空間情報が欠落し、画面全体の特徴を示すときに限界がある。

しかしながら、本実施の形態によれば、対象とする画像範囲が、注視点付近と限定されるため、ヒストグラム化することで混ざり合う範囲が狭くなり、目的とする特徴をより残すことができるようになる。

このように、本発明を適用することで、様々な効果を得ることが可能となる。

［追尾ズームを適用したログ取得装置について］
次に、追尾ズームを適用したログ取得装置について説明する。上記したように、注視点やログを取得する範囲として、追尾ズームの追尾点とその画枠を適用することができる。図７は、追尾ズームを適用したログ取得装置１２の内部構成例を示す図である。

図７に示したログ取得装置１２は、画像データ入力部１０１、画像処理部１０２、特徴量取得部１０３、ログ取得部１０４、注視点情報取得部１０５、ログ取得範囲決定部１０６、ログ記憶部１０７、受光部１０８、制御部１０９、追尾ズーム処理部１１０を含む構成とされている。

図７に示したログ取得装置１２と図２に示したログ取得装置１２を比較するに、図７に示したログ取得装置１２は、図２に示したログ取得装置１２に、追尾ズーム処理部１１０を追加した構成とされている点が異なる。追尾ズーム処理部１１０は、図６を参照して説明したような追尾ズームの処理を実行するために設けられている。注視点情報取得部１０５は、追尾ズーム処理部１１０で設定された追尾点と、画枠の情報を取得し、ログ取得範囲決定部１０６に供給する。

その他の構成は、図２に示したログ取得装置１２と同様であるので、その説明は省略する。なお、注視点情報取得部１０５を削除し、追尾ズーム処理部１１０から直接、ログ取得範囲決定部１０６に追尾点と、画枠の情報が供給されるような構成とすることも可能である。

図８を参照し、図７に示したログ取得装置１２の動作について説明する。ステップＳ５１において、画像データが取得される。画像データ入力部１０１は、外部から供給される画像データを、画像処理部１０２に供給する。ステップＳ５２において、特徴量が取得される。特徴量取得部１０３は、画像処理部１０２からのデータに基づき、その時点で処理されている画像から、特徴量を抽出する。このステップＳ５２で抽出される特徴量は、上述したような、例えば、アクティビティに関する特徴量であり、特徴量については既に説明したので、ここではその説明を省略する。

ステップＳ５３において、追尾ズームの追尾点と画枠の情報が取得される。ステップＳ５４において、追尾ズームの処理が開始される。追尾ズーム処理部１１０は、ユーザにより設定された追尾点と画枠の情報を取得し、取得された追尾点と画枠の情報を基に、追尾ズームの処理を行うと共に、その情報を、注視点情報取得部１０５に出力する。注視点情報取得部１０５は、追尾点を注視点とし、その情報を、ログ取得範囲決定部１０６に出力する。

ステップＳ５５において、ログ取得範囲決定部１０６は、ログを取得する範囲を決定する。例えば、ログ取得範囲決定部１０６は、注視点を含む画枠を、ログを取得する範囲として決定する。決定された範囲に関する情報は、ログ取得部１０４に供給される。

ステップＳ５６乃至Ｓ５８の処理は、図３に示したフローチャートのステップＳ１５乃至Ｓ１７と同様に行われるので、その説明は既にしたのでここでは省略する。

このように、追尾ズームの追尾点を注視点として、その注視点または注視点の付近の画像の情報をログとすることで、上記したような様々な効果を得ることが可能となる。

［記録媒体について］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図９は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウェアの構成の例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用したシステムの一実施の形態の構成を示す図である。 ログ取得装置の内部構成例を示す図である。 ログ取得装置の動作について説明するフローチャートである。 注視点について説明するための図である。 ズームについて説明するための図である。 追尾ズームについて説明するための図である。 ログ取得装置の内部構成例を示す図である。 ログ取得装置の動作について説明するフローチャートである。 記録媒体について説明する図である。

符号の説明

３１ 画像データ入力部， ３２ 画像処理部， ３３ 特徴量取得部， ３４ ログ取得部， ３５ 注視点情報取得部， ３６ ログ取得範囲決定部， ３７ ログ記憶部， ３８ 受光部， ３９ 制御部， １０１ 画像データ入力部， １０２ 画像処理部， １０３ 特徴量取得部， １０４ ログ取得部， １０５ 注視点情報取得部， １０６ ログ取得範囲決定部， １０７ ログ記憶部， １０８ 受光部， １０９ 制御部， １１０ 追尾ズーム処理部

Claims (6)

1. 画像の特徴量を取得する取得手段と、
   前記画像のうちユーザが注視している注視点を検出する検出手段と
   を備え、
   前記取得手段により取得された前記特徴量のうち、前記検出手段で検出された注視点、または注視点を含む所定の範囲の画像から抽出された前記特徴量を記憶する
   情報処理装置。
2. 前記画像のうち、所定の部分の画像を追尾すると共に、その所定の部分の画像をズームした状態で表示するための処理を実行する追尾ズーム処理手段をさらに備え、
   前記検出手段は、前記追尾ズーム処理手段により設定された追尾点を注視点とする
   請求項１に記載の情報処理装置。
3. 前記所定の範囲の画像は、前記所定の部分の画像である
   請求項２に記載の情報処理装置。
4. ユーザの操作に関する情報を前記特徴量と関連付けて記憶する
   請求項１に記載の情報処理装置。
5. 画像の特徴量を取得し、
   前記画像のうちユーザが注視している注視点を検出する
   ステップを含み、
   取得される前記特徴量のうち、検出された注視点、または注視点を含む所定の範囲の画像から抽出された前記特徴量が所定の記憶媒体に記憶されるように制御する
   情報処理方法。
6. 画像の特徴量を取得し、
   前記画像のうちユーザが注視している注視点を検出する
   ステップを含み、
   取得される前記特徴量のうち、検出された注視点、または注視点を含む所定の範囲の画像から抽出された前記特徴量が所定の記憶媒体に記憶されるように制御する
   コンピュータが読み取り可能なプログラム。

Images