JP2014155122A - 情報処理装置およびその制御方法、システム、ならびにプログラム - Google Patents

Abstract

【課題】撮影画像の中からユーザーが必要とする文字情報を含む画像を抽出し、効率的に保存する。
【解決手段】情報処理装置は、撮影画像と、当該撮影画像を撮影した際の当該撮影画像上におけるユーザーの視線の位置の情報とを取得する取得手段と、前記撮影画像上におけるユーザーの視線の位置の近傍領域を特定する特定手段と、前記近傍領域に文字が含まれているか否かを判定する判定手段と、前記判定手段により前記近傍領域に文字が含まれていると判定された場合、前記撮影画像を記録部に記録する保存手段とを有する。
【選択図】図９

Description

本発明は、情報の記録を効果的に行うための情報処理装置およびその制御方法、システム、並びにプログラムに関する。

人の頭部に装着することで、その人物が実際に見ている映像（視界映像）を記録するデバイスがある（例えば特許文献１）。このようなデバイスを日常的に利用することにより、何かについて詳しい情報を忘れてしまった時に、過去の自分の視界映像を振り返る事で思い出す事ができる。例えば、「掲示板にイベントのポスターが貼ってあり、それを見た時は興味が無かったが、後から興味が湧いた。しかし、詳細を忘れてしまった。」という状況を考える。このような状況では、詳細を知るためには、再度ポスターを参照する必要がある。このとき、視界映像の記録を行っていれば、その映像を見直すだけで、詳細な情報を思い出す事ができる。

ただし、動画像は一般的に情報量が多く、記録容量が大きくなってしまう。そのため、画像解像度の削減や圧縮率を上げる事により、可能な限り容量を抑える事が必要になる。しかし、このような処理を行う場合、動画像の画質が悪化し、動画中の文字列など細かい部分の参照が困難になってしまう。

一方で、動画像の撮影中にユーザーの指示に基づいて高精細な静止画を保存するカメラがある（例えば特許文献２）。このような技術を用いれば、動画を撮影すると同時に、ユーザーが希望する場面で高画質な静止画を記録することが可能となる。すなわち、動画の画質がどんなに悪くとも、ユーザーが希望する場面では高質な情報を記録できる。

特開平８−８４２８０号公報 特開平１０−２００８５９号公報

特許文献２に挙げたような技術により、特定の場面において高画質な静止画を残す事が可能となる。しかし、ユーザーが意図的にその場面を記録したいと考えた時以外には、その情報を残す事ができない。つまり、上記で例に挙げたような「以前は興味が無かったが、後から興味が湧いた」という状況に対しては本質的に対処不可能である。

そこで、本発明では、ユーザーが特別に意識することなく、細かい情報を後から思い出す事を容易にするための文字情報に係る情報を効率的に記録する。

上記課題を解決するために本願発明は以下の構成を有する。すなわち、情報処理装置は、撮影画像と、当該撮影画像を撮影した際の当該撮影画像上におけるユーザーの視線の位置の情報とを取得する取得手段と、前記撮影画像上におけるユーザーの視線の位置の近傍領域を特定する特定手段と、前記近傍領域に文字が含まれているか否かを判定する判定手段と、前記判定手段により前記近傍領域に文字が含まれていると判定された場合、前記撮影画像を記録部に記録する保存手段とを有する。

撮影画像の中から、ユーザーが必要とすると想定される文字情報を含む画像を抽出して効率的に記録することが可能となる。

実施例１のシステム構成の例を示す図。 本実施例に係るＨＭＤのハードウェアの構成例のブロック図。 本実施例に係る処理サーバーのハードウェアの構成例のブロック図。 本実施例に係る視線入力装置により得られる視線情報の例を示す図。 本実施例に係る撮影映像の例を示す図。 本実施例に係る全体処理のフロー。 実施例１に係る静止画保存処理のフローチャート。 本実施例に係る静止画像の保存結果の画面表示の例を示す図。 本実施例に係る出力結果例を示す図。 本実施例に係る記録情報一覧の例を示す図。 実施例２に係る静止画保存処理のフローチャート。 実施例３に係る撮影画像の例を示す図。

以下、本発明を実施するための形態について図面を用いて説明する。

＜実施例１＞
［システム構成］
図１は、実施例１に係るシステム構成の例を示す図である。本実施例のシステムは、ユーザー１が装着しているＨＭＤ（ヘッドマウントディスプレイ）２００、アクセスポイント１００、処理サーバー３００、およびネットワーク９０００を含む。ＨＭＤ２００とアクセスポイント１００は無線通信を行い、ＨＭＤ２００はアクセスポイント１００を介してネットワーク９０００と接続されている。処理サーバー３００とアクセスポイント１００はネットワーク９０００を介して接続されている。なお、ネットワーク９０００は有線／無線のいずれであっても構わない。 ［ＨＭＤ］
本実施例で用いるＨＭＤ２００は、情報処理装置であり、フレームでユーザー１の頭部に装着するように構成される。又、ＨＭＤ２００は、片目若しくは両目に透過型のディスプレイ２０１が取り付けられた構造を有し、ユーザー１はディスプレイ２０１に表示された人工像（表示画像）と、ディスプレイ２０１の先にある実像を同時に見ることが出来る。ＨＭＤ２００には撮影部であるカメラ２０２も取り付けられており、ユーザーの目に近い視点で撮影することが可能である。

図２は、本実施例で用いるＨＭＤ２００のハードウェアの構成例のブロック図である。ＨＭＤ２００は、コントローラ２２０、ディスプレイ２０１、カメラ２０２、視線入力装置２１２、および操作部２１３を有する。

コントローラ２２０の構成についてさらに詳細に説明する。内部バス２１１は、メモリコントローラ２０７とＩ／Ｏコントローラ２０９と間で情報の伝達が出来るように電気信号を送受信する。メモリコントローラ２０７は、メインメモリ２０８に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ２０９は、ＲＯＭ２１０、記憶装置２１４、ネットワークＩ／Ｆ２０３、カメラ２０２、視線入力装置２１２、操作部２１３、および内部バス２１１に接続され、それらを介して接続している処理部との情報の送受信を行う。ネットワークＩ／Ｆ２０３は、アクセスポイント１００および／またはネットワーク９０００を介して接続されている処理サーバー３００などの他の機器や、Ｉ／Ｏコントローラ２０９との情報の送受信を行う。

ＲＯＭ２１０は、不図示のブートローダプログラム及びＨＭＤ制御プログラムを格納する。記憶装置２１４は、書き換え可能な記憶領域であり、カメラ２０２で撮影された映像や外部から取得したデータが格納される。メインメモリ２０８は、揮発性メモリであり、高速アクセスが可能であるため、ＲＯＭ２１０に記憶されている情報や一時的に使用する情報はここに格納される。ＨＭＤ２００の電源投入時には、ＣＰＵ２０４がブートローダプログラムを読み出して実行し、ＲＯＭ２１０に格納されているＨＭＤ制御プログラムを取り出し、メインメモリ２０８に格納する。そして、ＣＰＵ２０４がメインメモリ２０８に格納されているＨＭＤ制御プログラムを実行し、ＨＭＤ２００の有する各機能を実行する。また、ＣＰＵ２０４がこのＨＭＤ制御プログラムを実行することで、図６および図７に示されるＨＭＤ２００の行う処理が実行される。

ＨＭＤ２００は、情報を表示する透過型のディスプレイ２０１を備える。グラフィックコントローラ２０６は、ディスプレイ２０１への表示を制御する。ＨＭＤ２００は、ユーザー１に情報を提示する際にはディスプレイ２０１上に情報を表示する。ＨＭＤ２００は、カメラ２０２を備える。カメラ２０２は、撮影した撮影画像をデジタル変換する。カメラ２０２は、Ｉ／Ｏコントローラ２０９との情報の送受信を行う。

ＨＭＤ２００は、視線入力装置２１２を備える。視線入力装置２１２は、ユーザー１の視線位置を取得する。視線情報として扱われる視線位置（撮影画像上の座標情報）については、図４を用いて後述する。ＨＭＤ２００は、操作部２１３を備える。操作部２１３はボタン（不図示）を備え、ユーザー１によってボタンが押下された場合、その入力をＩ／Ｏコントローラ２０９に送信する。ユーザーは、このボタンによって、撮影の開始／停止を操作できる。バッテリー２０５は、電力をＨＭＤ２００全体に供給する。

なお、ディスプレイ２０１は透過型に限らず、カメラ２０２で撮影した映像をリアルタイムに表示する非透過型としても良い。

［処理サーバー］
図３は、本実施例で用いる処理サーバー３００のハードウェアの構成例のブロック図である。処理サーバー３００はコントローラ３２０、ディスプレイ３０１、キーボード３０２、及びマウス３０３を有する。

コントローラ３２０の構成についてさらに詳細に説明する。内部バス３１１は、メモリコントローラ３０７とＩ／Ｏコントローラ３０９との間で情報の伝達が出来るよう電気信号を送受信する。

メモリコントローラ３０７は、メインメモリ３０８に対するメモリアクセス全般を統括する。Ｉ／Ｏコントローラ３０９は、ＨＤＤ３１０、ネットワークＩ／Ｆ３０４、キーボード３０２、マウス３０３、および内部バス３１１に接続され、それらを介して接続している処理部との情報の送受信を行う。ネットワークＩ／Ｆ３０４は、ネットワーク９０００やワイヤレスアクセスポイントを介して接続されている他の機器や、Ｉ／Ｏコントローラ３０９との情報の送受信を行う。

ＨＤＤ３１０は、記録部であり、不図示のブートローダプログラム及び処理サーバー制御プログラムを格納する。メインメモリ３０８は、揮発性メモリであり、高速アクセスが可能であるので、ＨＤＤ３１０に記憶されている情報や一時的に使用する情報はここに格納される。処理サーバー３００の電源投入時には、ＣＰＵ３０５がブートローダプログラムを読み出して実行し、ＨＤＤ３１０に格納されている処理サーバー制御プログラムを取り出し、メインメモリ３０８に格納する。そして、ＣＰＵ３０５がメインメモリ３０８に格納されている処理サーバー制御プログラムを実行し、処理サーバー３００が有する各機能を実行する。また、ＣＰＵ３０５が処理サーバー制御プログラムを実行することで、図７に示される処理サーバー３００の行う処理が実行される。

処理サーバー３００は、情報を表示するためのディスプレイ３０１を備える。グラフィックコントローラ３０６は、ディスプレイ３０１への表示を制御する。処理サーバー３００は、ユーザー１に情報を提示する際にはディスプレイ３０１に情報を表示し、ユーザー１は、キーボード３０２又はマウス３０３に対する操作で処理サーバー３００への情報入力が可能である。

［視線情報］
続いて視線入力装置２１２により生成される視線情報について説明する。視線入力装置２１２はまず、角膜と強膜で光に対する反射率が異なることを利用した眼球運動を測定する強膜反射法などによってユーザーの眼球運動を測定し、これにより見ている方向（中心位置からの角度）を検出する。次に、眼球の角度と、予め与えられたカメラ２０２の画角を用いることで、撮影画像上でのユーザー１の視線位置座標を算出する。

図４は、本実施例における視線の座標情報について説明する図である。撮影画像４０３はカメラ２０２により取得される画像の例である。視線位置４０１は視線の位置を示し、座標（Ｘｅ，Ｙｅ）はカメラ２０２で撮影した撮影画像４０３上のピクセル位置を示す。すなわち、撮影画像４０３上の位置（Ｘｅ，Ｙｅ）が、ユーザーが見ている場所である。

視線近傍領域４０２は、視線位置４０１を中心とした１辺の長さをＬとする矩形として特定される視線位置４０１の近傍領域である。視線近傍領域４０２は、図７のフローにおいて、文字領域が存在するか否かを判定する領域として使用する。辺の長さＬは環境やユーザーの好みに応じて変更可能である。

［撮影映像］
図５は、カメラ２０２によって取得される映像の例を示す図である。撮影映像は、複数の撮影画像（静止画）から構成される。撮影映像５００はカメラ２０２によって取得される映像を模式的に表したものであり、ユーザー１の会話相手５０６と、会話相手５０６が資料５０５を提示するところを示している。

撮影画像Ａ５０１〜撮影画像Ｄ５０４は、カメラ２０２によって連続的に取得される撮影映像に含まれる撮影画像であり、撮影画像Ａ５０１が一番古く、撮影画像Ｄ５０４が一番新しい画像である。視線位置４０１、視線近傍領域４０２は、撮影画像Ａ５０１〜撮影画像Ｄ５０４それぞれで異なっている。具体的には、会話相手５０６が資料５０５を提示する前、及び途中（撮影画像Ａ，Ｂ）は、ユーザー１は会話相手５０６を見ており、資料５０５が提示された後（撮影画像Ｃ，Ｄ）は資料５０５を見ている。

［保存データテーブル］
図１０は、ＨＤＤ３１０に格納され、過去に保存された記録データの一覧を示す保存データテーブル１０００を示す図である。図１０（ａ）は図６、図７のフローチャートを実施する前に記録されている保存データテーブルの状態である。図１０（ｂ）は図６、図７のフローチャートを実施した後に記録されている保存データテーブルの状態である。

保存データテーブル１０００に含まれる各レコードには静止画のＩＤ（識別子）、記録日時、静止画と関連する動画のファイル名（動画名）、静止画のファイル名（静止画名）、およびその静止画に含まれるテキスト情報（テキストデータ）が含まれる。

［撮影処理］
図６は、ＨＭＤ２００による撮影処理を説明する図である。このフローチャートは、ユーザー１が操作部２１３のボタンを押した時にＨＭＤ２００のコントローラ２２０により実行される。

Ｓ６０１にてＣＰＵ２０４は、カメラ２０２から撮影画像を取得し、メインメモリ２０８に格納する。

Ｓ６０２にてＣＰＵ２０４は、前回の静止画記録処理の実施時から一定時間以上経過しているかを判定する。一定時間以上経過しているか、初めて処理される場合（Ｓ６０２にてＹＥＳ）、Ｓ６０３へ進み、それ以外の場合（Ｓ６０２にてＮＯ）、Ｓ６０４へ進む。この処理は、静止画保存処理（Ｓ６０３）の実行頻度を最小限に抑えることで、ＣＰＵ２０４や処理サーバー３００のＣＰＵ３０５の処理負荷を軽減し、保存される静止画の容量を抑制するための施策である。

Ｓ６０３にてＣＰＵ２０４は、処理サーバー３００と連携することにより、静止画保存処理を行う。この処理については、図７を用いて後述する。

Ｓ６０４にてＣＰＵ２０４は、Ｓ６０１で取得した撮影画像を用いてＭｏｔｉｏｎＪＰＥＧ形式の圧縮映像を作成する。ＣＰＵ２０４はまず、Ｓ６０１で取得した撮影画像を、所定の画素数になるように縮小し、さらに所定の圧縮率でＪＰＥＧ圧縮を施すことで撮影画像のデータ量を削減する。ＣＰＵ２０４は、次回以降のループでは、そのループ内で作成した圧縮画像を順次連結することにより圧縮映像を作成し、記憶装置２１４に格納する。Ｓ６０４の処理は、記録する映像の容量を小さくする事で記憶装置２１４の記憶容量を節約するための施策である。なお、動画の保存形式は他のものであっても良い。また圧縮処理はＣＰＵ２０４によってではなく、専用のハードウェアによって実現しても良い。

［静止画保存処理］
図７は、静止画保存処理のフローチャートを示す図である。Ｓ７０１〜Ｓ７０３はＨＭＤ２００のコントローラ２２０によって実行され、Ｓ７１１〜Ｓ７１６は処理サーバー３００のコントローラ３２０によって実行される。なお、図５の撮影映像５００中の撮影画像を処理した場合の結果についても併せて例示する。

まず、ＨＭＤ２００側の処理について説明する。Ｓ７０１にてＨＭＤ２００のＣＰＵ２０４は、視線入力装置２１２から視線情報を取得すると共に、撮影画像４０３と、その時の視線位置４０１を処理サーバー３００に送信する。Ｓ７０２にてＣＰＵ２０４は、処理サーバー３００における静止画の保存処理の結果を示す情報を受信する。

Ｓ７０３にてＣＰＵ２０４は、Ｓ７０２の受信結果に基づいて静止画が保存された場合、保存された旨を表すメッセージをディスプレイ２０１に表示する。図８は、静止画が保存された場合の表示例である。ディスプレイ２０１越しに見える会話相手５０６及び資料５０５に重畳される形で、ディスプレイ２０１上に結果ダイアログ８０１が表示される。

次に、処理サーバー３００側の処理について説明する。Ｓ７１１にて処理サーバー３００のＣＰＵ３０５は、ＨＭＤ２００から撮影画像４０３と視線位置４０１を示す視線情報を受信する。

Ｓ７１２にてＣＰＵ３０５は、Ｓ７１１で受信した撮影画像の視線近傍領域４０２に文字が含まれるかを判定することで文字判定処理を行う。視線近傍領域４０２内に文字が含まれている場合（Ｓ７１２にてＹＥＳ）、Ｓ７１３に進み、文字が含まれていない場合（Ｓ７１２にてＮＯ）Ｓ７１６に進む。例えば、Ｓ７１２の処理を撮影画像Ａ５０１および撮影画像Ｂ５０２について行った場合、視線近傍領域４０２内には文字が含まれないと判定される。一方、撮影画像Ｃ５０３および撮影画像Ｄ５０４について処理した場合、視線近傍領域０４０２内に文字が含まれると判定される。

文字判定処理の一手法としては、例えば以下のような手法がある。まず判定したい領域のイメージデータを白黒に２値化し、黒画素輪郭で囲まれる画素塊を抽出する。さらに、このように抽出された黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部の黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部の画素塊の抽出および輪郭追跡を行う。

画素塊の大きさは、例えば画素塊の面積によって評価される。このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさもしくは形状に基づき属性を判定する。例えば、縦横比が１に近く、大きさが一定の範囲の矩形ブロックは文字領域の矩形ブロックの可能性がある文字相当ブロックとする。また、近接する文字相当ブロックが規則正しく整列しているときに、これら文字相当ブロックを纏めた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域の矩形ブロックとする。なお、文字判定の方法はこれに限定するものではなく、公知のいずれの方法を用いても構わない。

Ｓ７１３にてＣＰＵ３０５は、文字認識処理を行う。文字認識処理は画像中に含まれる文字列を検出し、テキストデータとして抽出する処理である。ＣＰＵ３０５は撮影画像４０３全体に対して文字認識処理を施し、そこに含まれる文字列を検出し、テキストデータとして保存する。例えば、Ｓ７１３の処理を撮影画像Ｃ５０３及び撮影画像Ｄ５０４について行った場合、文字認識結果はどちらも「特別講演会のお知らせ 日時：２ＸＸＸ年１２月１０日１４時３０分 場所：東京○○会館 詳細：ｘｘｘｘｘｘｘｘｘｘｘｘｘｘｘｘ」となる。なお、文字認識処理の具体的な方法については種々の公知手法があり、ここではその方法は問わない。一例として、パターン整合法、構造解析法、その他各種特徴抽出技術を用いる方法が挙げられる。

Ｓ７１４にてＣＰＵ３０５は、Ｓ７１１で受信した撮影画像に似た撮影画像が過去に記録されていないかを判定する。具体的には、ＣＰＵ３０５は、図１０（ａ）の保存データテーブル１０００から、過去に保存した撮影画像一覧を取得し、その文字認識結果（テキストデータ）を取得する。ＣＰＵ３０５は、それぞれのテキストデータに対して、Ｓ７１３で取得した文字認識結果と類似しているか否かを判定する。

例えば類似判定において、撮影画像Ｃ５０３の文字認識結果である「特別講演会のお知らせ・・・」というテキストは、図１０（ａ）の保存データテーブル１０００のテキストデータ列には存在しない。この場合、過去に類似した撮影画像は保存していないと判定される。類似判定は、一例としてベクトル空間法を用いる。類似度が所定の閾値以下の場合、類似した情報は記録していないものと判定し（Ｓ７１４にてＹＥＳ）、Ｓ７１５に進む。閾値以上の場合、過去に類持した情報を記録したと判定し（Ｓ７１４にてＮＯ）、Ｓ７１６に進む。

なお、Ｓ７１４の類似判定は、文字認識結果による比較でなくとも、画像データ同士の比較でも良い。例えば、過去に記録した撮影画像と今回取得した撮影画像との間で画像特徴量を比較する事によって、判定しても良い。また、比較対象として、過去の全記録データと比較するのではなく、直近に記録した撮影画像とのみ比較するようにしてもよく、これにより処理負荷を小さくする事ができる。さらに、類似した画像が見つかった場合に、古い撮影画像を残すのではなく、新しい撮影画像を残しても良い。

Ｓ７１５にてＣＰＵ３０５は、Ｓ７１１で受信した撮影画像と、Ｓ７１３で実施した文字認識処理結果をＨＤＤ３１０に格納し、さらに保存データテーブル１０００に追記する。例えば、Ｓ７１５の処理を撮影画像Ｃ５０３について行った場合、保存データテーブル１０００は図１０（ａ）の状態からＩＤ５の行が追加されて、図１０（ｂ）の状態となる。この場合、ＨＭＤ２００側にて行われる図６のＳ６０４の処理とは異なり、圧縮等のデータ量を削減する処理は行わない。

Ｓ７１６にてＣＰＵ３０５は、撮影画像を保存処理の結果、すなわちＳ７１５を実施したか否かの情報をＨＭＤ２００に送信する。そして、本処理フローを終了する。

［保存結果］
図９は、図５の撮影映像５００が入力された場合の、図６及び図７の処理フローの出力結果を示している。圧縮映像９０１は、図６のＳ６０４により、撮影画像Ａ〜Ｄそれぞれを、縮小・圧縮してデータ量を削減し、連結することによって生成された映像である。本実施例において圧縮映像９０１は、ＨＭＤ２００の記憶装置２１４に記録されている。

静止画９０２は、図７のＳ７１５により保存された画像（撮影画像Ｃ５０３）である。本実施例において静止画９０２は、処理サーバー３００のＨＤＤ３１０に記録されている。撮影画像Ａ〜Ｄについて図６、図７のフローを実施した場合、保存される静止画は撮影画像Ｃ５０３のみである。つまり、撮影画像Ａ、Ｂについては図７のＳ７１２により視線領域中に文字が含まれないと判定され、保存処理（Ｓ７１５）が実施されない。また、撮影画像Ｄについては、Ｓ７１４にてこの時に既に保存されている撮影画像Ｃの情報と比較され、類似の静止画が既に記録されていると判定され、保存処理（Ｓ７１５）は実施されない。このため、保存処理（Ｓ７１５）が実施される撮影画像Ｃ５０３のみが保存される。また、図９に示す圧縮映像９０１の解像度よりも高い解像度で静止画９０２は保存される。

テキスト情報９０３は、Ｓ７１５にて保存される撮影画像Ｃの文字認識処理（Ｓ７１３）の結果としての文字情報である。撮影画像Ｃの文字認識処理結果のみが記録される理由は、撮影画像Ｃの静止画９０２だけが記録される理由と同じである。

［実施例１の効果］
実施例１によれば、ユーザーが文字を見ている時に視野全体の画像とテキスト情報を記録するため、後からそれらの情報を思い出したい時に、記録された情報を参照することで簡単に思い出す事ができる。例えば、後から「あの時見たポスターには何と書いてあったか思い出せない」という状況に対しては、処理サーバー３００に記録された静止画を見直せば、詳しい情報を見直すことができる。あるいは、「前にポスターで見た特別講演会の詳細を忘れた」という状況に対しては「特別講演会」というキーワードで保存データテーブル１０００を検索すれば、ＩＤ５のテキストデータがヒットし、即座にそれがどのポスターに書かれていたかがわかる。これを基に、そのポスターの静止画やテキストを見直す事で、詳細情報を思い出す事ができる。また、漠然と過去の記憶を思い出したいときは圧縮映像を再生し、細かい情報がほしい場面で、その時の静止画やテキストを参照すれば良い。

さらに、実施例１によれば、記録容量を必要最小限に留めることができる。すなわち、細かい情報を記録するという点においては、高画質の動画を撮り続けるのとほぼ同等の効果を持ちながら、実際には低画質の動画と抽出された静止画の追加容量だけで済み、全体の記録容量を大幅に削減できる。なお、容量削減の要望がより強い場合には、動画を記録しなくても良く、さらに容量削減を行いたい場合は、静止画さえ記録せず、テキスト情報だけを記録するようにしてもよい。また、動画を記録する場合には、この記録される動画の画質よりも高い画質で抽出された静止画を記録するため、記録された静止画を明確に認識することが可能になる。

＜実施例２＞
実施例１は、図７の静止画保存処理において、ＨＭＤ２００と処理サーバー３００が連携し、処理サーバー３００にて文字領域判定処理や文字認識処理を行った。これに対し、これらの処理はＨＭＤ２００内で行っても良い。

図１１は、本実施例に係る静止画保存処理のフローチャートである。このフローチャートは、実施例１にて示した図６のＳ６０３にて図７の代わりに実行される。Ｓ１１０１〜Ｓ１１０５はそれぞれ、図７のＳ７１２〜Ｓ７１５、Ｓ７０３に対応する。

Ｓ１１０１にてＨＭＤ２００のＣＰＵ２０４は、視線入力装置２１２から視線情報を取得すると共に、Ｓ７１２と同様の方法で撮影画像４０３の視線近傍領域４０２に文字が含まれるか否かを判定する。文字が含まれている場合（Ｓ１１０１にてＹＥＳ）Ｓ１１０２に進み、文字が含まれていない場合（Ｓ１１０１にてＮＯ）Ｓ１１０５に進む。

Ｓ１１０２にてＣＰＵ２０４は、Ｓ７１３と同様の方法で文字認識処理を行う。Ｓ１１０３にてＣＰＵ０２０４は、Ｓ７１４と同様の方法で、類似する撮影画像が過去に記録されていないかを判定する。類似の撮影画像が過去に記録されていない場合（Ｓ１１０３にてＹＥＳ）、Ｓ１１０４へ進む。類似の撮影画像が記録されている場合（Ｓ１１０３にてＮＯ）Ｓ１１０５に進む。

Ｓ１１０４にてＣＰＵ２０４は、撮影画像とＳ１１０３で実施した文字認識結果を記憶装置２１４に格納し、さらに保存データテーブル１０００に追記する。なお、実施例２において、保存データテーブル１０００はＨＭＤ２００の記憶装置２１４に格納される。

Ｓ１１０５にてＣＰＵ２０４は、保存処理（Ｓ１１０４）が実施された場合、ディスプレイ２０１上に、保存された旨を表すメッセージを表示する。

［実施例２の効果］
実施例２によれば、実施例１と同様の処理をＨＭＤ単体で実現できる。

＜実施例３＞
実施例１および実施例２では、撮影画像中の視線近傍領域に文字が含まれるか否かを判定し（図７のＳ７１２、図１１のＳ１１０１）、その結果に応じてその撮影画像を保存するか否かが決定された。しかし、この処理の本質は、ユーザーが文字を見ているか否かを判定するものであり、別の手段によってユーザーが文字を見ているか否かを判定しても良い。

例えば、次の２つの判定方法が考えられる。１つ目の判定方法として、通常人間は視界の中心付近を見ているという仮定に基づいて、撮影画像の中心付近の所定の領域内に文字が存在するか否かを調べることによって判定しても良い。２つ目の判定方法として、撮影画像に文字が含まれる場合において、その文字の領域が撮影画像の全体に対してどの程度の割合を占めるか否かによって判定しても良い。

図１２は、本実施例における撮影画像の例と文字判定結果を示す図である。図１２（ａ）は、ユーザー１の顔が会話相手５０６を向いている時の撮影画像１２０１を示している。図１２（ｂ）は、ユーザー１の顔が資料５０５を向いている時の撮影画像１２０２を示している。また、図１２（ｃ）、（ｄ）はそれぞれ、図１２（ａ）、（ｂ）に対して図７のＳ７１２で実施したのと同様の文字判定処理を行った結果を示している。文字領域１２０６は撮影画像中の文字の領域を示している。中心近傍領域１２０５は撮影画像の中心に位置する所定の大きさの矩形領域である。

（中心領域に基づく判定）
まず、撮影画像の中心付近の所定の領域に文字が存在するか否かを判定することにより文字を注視しているか否かを判定する方法について述べる。この処理は、実施例１おける図７のＳ７１２、もしくは実施例２における図１１のＳ１１０１の代わりに実施される。ここでは実施例１の場合を例に説明する。

図７のＳ７１２にてＣＰＵ３０５は、まず、撮影画像において中心近傍領域１２０５を定義する。次に撮影画像全体または中心近傍領域１２０５に対してＳ７１２と同様の文字判定処理を行う。中心近傍領域１２０５に文字領域１２０６が含まれる場合、ＣＰＵ３０５は文字を注視していると判定し（Ｓ７１２にてＹＥＳ）、Ｓ７１３に進む。中心近傍領域１２０５に文字領域１２０６が含まれない場合、ＣＰＵ３０５は文字を注視していないと判定し（Ｓ７１２にてＮＯ）、Ｓ７１６に進む。

例えば撮影画像１２０１（図１２（ａ））は中心近傍領域１２０５において文字領域１２０６が含まれないため、文字を注視していないと判定される。一方、撮影画像１２０２（図１２（ｂ））は中心近傍領域１２０５において文字領域１２０６が含まれるため、文字を注視していると判定される。

（文字領域の割合に基づく判定）
次に、撮影画像全体に対して文字領域がどれ程の割合で含まれるかに基づいて文字を見ていると判定する方法について述べる。この処理も、実施例１における図７のＳ７１２、もしくは実施例２における図１１のＳ１１０１の代わりに実施される。ここでは実施例１の場合を例に説明する。

図７のＳ７１２にてＣＰＵ３０５は、まず、与えられた画像において文字領域判定処理を行う。次に、ＣＰＵ３０５は、文字領域１２０６が撮影画像中を占める割合を算出する。割合が所定の閾値よりも大きい場合、ＣＰＵ３０５は文字を注視していると判定し（Ｓ７１２にてＹＥＳ）、Ｓ７１３に進む。所定の閾値以下である場合、ＣＰＵ３０５は注視していないと判定し（Ｓ７１２にてＮＯ）、Ｓ７１６に進む。

例えば、文字領域の割合に対する所定の閾値が５％であり、図１２（ｃ）において文字が占める領域の割合が３％であり、図１２（ｄ）において文字が占める領域の割合が１０％であるとする。この場合、図１２（ｃ）の撮影画像１２０１においては文字を注視していないと判定され、図１２（ｄ）の撮影画像１２０２においては文字を注視していると判定される。また、所定の閾値が０％であれば、画像中に文字領域があると判定された画像をＳ７１６にて保存する。

なお、本実施例において、視線情報は用いない。したがって、視線情報を用いない場合には、ＨＭＤ０２００において、視線入力装置２１２は不要としてもよい。また、Ｓ７０１及びＳ７１１において視線情報の送受信は不要となる。

［実施例３による効果］
実施例３によれば、視線入力装置がなくとも、実施例１と同様の処理を実施する事ができる。

＜その他の実施例＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. 撮影画像と、当該撮影画像を撮影した際の当該撮影画像上におけるユーザーの視線の位置の情報とを取得する取得手段と、
   前記撮影画像上におけるユーザーの視線の位置の近傍領域を特定する特定手段と、
   前記近傍領域に文字が含まれているか否かを判定する判定手段と、
   前記判定手段により前記近傍領域に文字が含まれていると判定された場合、前記撮影画像を記録部に記録する保存手段と
   を有することを特徴とする情報処理装置。
2. 前記保存手段は、前記判定手段により前記近傍領域に文字が含まれていると判定された場合、当該文字を文字情報として抽出して記録することを特徴とする請求項１に記載の情報処理装置。
3. 前記判定手段により前記近傍領域に文字が含まれていると判定された場合、前記記録部に当該撮影画像に類似した画像が存在するか否かを判定する類似判定手段を更に有し、
   前記保存手段は、類似した画像が存在しない場合に前記撮影画像を記録することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記撮影画像上におけるユーザーの視線の位置は、当該撮影画像の中心とすることを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 前記特定手段は、前記撮影画像の全体を前記近傍領域とし、
   前記判定手段は、前記近傍領域に文字が含まれている場合、更に文字の領域の前記撮影画像の全体に対する割合が所定の閾値よりも大きいか否かを判定し、
   前記保存手段は、前記判定手段により前記近傍領域に文字が含まれ、かつ当該文字の領域が前記所定の閾値よりも大きいと判定された場合に当該撮影画像を記録する
   ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
6. 前記撮影画像は動画を構成する静止画であることを特徴とする請求項１乃至５のいずれか一項に記載の情報処理装置。
7. 前記取得手段は、前回の撮影画像の記録から一定の時間が経過している場合に、撮影画像と当該撮影画像を撮影した際の当該撮影画像上におけるユーザーの視線の位置の情報とを取得することを特徴とする請求項１乃至６のいずれか一項に記載の情報処理装置。
8. 撮影画像である動画を取得する取得手段と、
   前記取得された動画を構成する静止画の中に文字が含まれる静止画が含まれると判定された場合、該文字が含まれる静止画を前記動画の解像度よりも高い解像度の静止画として記録部に保存する保存手段と
   を有することを特徴とする情報処理装置。
9. 撮影部を有する情報処理装置と、画像を記録するためのサーバーとを含むシステムであって、
   前記サーバーは、
   前記情報処理装置から、前記撮影部にて撮影された撮影画像と、当該撮影画像を撮影した際の当該撮影画像上におけるユーザーの視線の位置の情報とを取得する取得手段と、
   前記撮影画像上におけるユーザーの視線の位置の近傍領域を特定する特定手段と、
   前記近傍領域に文字が含まれているか否かを判定する判定手段と、
   前記判定手段により前記近傍領域に文字が含まれていると判定された場合、前記撮影画像を記録部に記録する保存手段と
   を有することを特徴とするシステム。
10. 前記情報処理装置は、撮影画像のデータ量を削減して記憶する記録部を更に有し、
    前記保存手段は、データ量を削減せずに撮影画像を前記サーバーの記録部に記録することを特徴とする請求項９に記載のシステム。
11. 撮影画像と、当該撮影画像を撮影した際の当該撮影画像上におけるユーザーの視線の位置の情報とを取得する取得工程と、
    前記撮影画像上におけるユーザーの視線の位置の近傍領域を特定する特定工程と、
    前記近傍領域に文字が含まれているか否かを判定する判定工程と、
    前記判定工程により前記近傍領域に文字が含まれていると判定された場合、前記撮影画像を記録部に記録する保存工程と
    を有することを特徴とする情報処理装置の制御方法。
12. 撮影画像である動画を取得する取得工程と、
    前記取得された動画を構成する静止画の中に文字が含まれる静止画が含まれると判定された場合、該文字が含まれる静止画を前記動画の解像度よりも高い解像度の静止画として記録部に保存する保存工程と
    を有することを特徴とする情報処理装置の制御方法。
13. コンピュータを、
    撮影画像と、当該撮影画像を撮影した際の当該撮影画像上におけるユーザーの視線の位置の情報とを取得する取得手段、
    前記撮影画像上におけるユーザーの視線の位置の近傍領域を特定する特定手段、
    前記近傍領域に文字が含まれているか否かを判定する判定手段、
    前記判定手段により前記近傍領域に文字が含まれていると判定された場合、前記撮影画像を記録部に記録する保存手段
    として機能させるためのプログラム。
14. コンピュータを、
    撮影画像である動画を取得する取得手段、
    前記取得された動画を構成する静止画の中に文字が含まれる静止画が含まれると判定された場合、該文字が含まれる静止画を前記動画の解像度よりも高い解像度の静止画として記録部に保存する保存手段
    として機能させるためのプログラム。

Images