JP2010226656A - 情報処理装置、制御方法及びプログラム - Google Patents

Abstract

【課題】 一旦、撮像された注目対象物が、その後、撮像された画像からフレームアウトすると、依然として当該注目対象物が撮像視野の周辺に存在していても、表示画面上から、当該注目対象物が撮像視野の周辺に存在することを確認することができなかった。
【解決手段】 撮像手段により撮像された画像を表示手段に表示させる情報処理装置において、撮像された画像を順次、取得し、取得された画像から、注目対象物の画像を認識し、認識された注目対象物の画像を特定するための情報を保持し、一旦、認識された注目対象物の画像が、その後に取得された画像から認識されなくなった場合、撮像された画像と前記注目対象物を特定するための情報とを合成して表示手段に表示させる。
【選択図】 図２

Description

本発明は、注目対象物を識別する技術に関する。

従来、デジタルカメラ、ネットワークカメラ等において、予め登録された画像に基づいて、注目対象物を認識する技術が存在する。

また近年では、予め登録された個人の顔画像に基づいて、個人を認識する技術が存在する。尚、この技術を利用すると、個人を識別することが可能となる。

そして、特許文献１には、ネットワークカメラにおいて、予め登録された個人の顔画像に基づいて、個人が認識されている間は、ネットワークへの接続を継続し、個人が認識されなくなると、ネットワークへの接続を切断する技術が開示されている。

特開２０００−１５２２０６号公報

しかしながら、例えば、ネットワークカメラを用いたテレビ会議システムにおいて、当該会議への出席者を確認したい場合、予め登録された出席者の顔画像に基づいて、出席者を認識することが困難な場合がある。

即ち、出席者の顔が、撮像された画像からフレームアウトしている場合である。

そして、このフレームアウトは、例えば、カメラに対してパン、チルト、ズームをした場合、出席者がカメラ視野外へ移動した場合によって発生する。

従って、出席者の顔が、撮像された画像からフレームアウトしている場合であっても、当該会議への出席を継続している場合がある。

そこで本発明は、カメラ視野外に存在しているために撮像された画像からフレームアウトしているが、当該カメラ周辺に存在する注目対象物を認識することを目的とする。

上記の課題を解決するために、本発明の情報処理装置は、撮像手段により撮像された画像を表示手段に表示させる情報処理装置であって、撮像された画像を順次、取得する取得手段と、取得された画像から、注目対象物の画像を認識する認識手段と、認識された注目対象物の画像を特定するための情報を保持する保持手段と、一旦、認識された注目対象物の画像が、その後に取得された画像から認識されなくなった場合、撮像された画像と前記注目対象物を特定するための情報とを合成して表示手段に表示させる制御手段とを有する。

本発明によれば、カメラ視野外に存在しているために撮像された画像からフレームアウトしているが、当該カメラ周辺に存在する注目対象物を認識することが可能となる。

第１の実施形態に係る装置の構成を示す図 ディスプレイ２０２が表示する画像の例、注目対象物に関する情報の例を示す図 消失した注目領域に対応する注目対象物の情報を、撮像された画像に付与する処理を示すフローチャート 画像に付与された注目対象物の情報を削除する処理を示すフローチャート 顔画像認識とフレームアウト判定の処理を示すフローチャート ディスプレイに表示される画面の例を示す図 図６の画像を表示するための処理を示すフローチャート

以下に図面を参照して本発明を実施するための形態について説明する。

（第１の実施形態）
図１（Ａ）は第１の実施形態に係る情報処理装置を利用したテレビ会議システムの構成の一例を示す図である。

会議システムは、端末装置１０１、１０２、ネットワーク１０３によって構成される。尚、端末１０１、１０２は、インターネット等に代表されるネットワーク１０３に接続される。

また、本実施形態に係る情報処理装置は、端末装置１０１、１０２が備えるソフトウエアモジュールとして存在しても良く、専用の処理ユニットとして存在しても良い。

また、図１（Ａ）においては、ネットワークに接続する端末装置を２つとしたが、３以上の端末装置を接続しても良い。

図１（Ｂ）は端末装置の構成の一例を示すハードウェアの構成図である。端末装置は、パーソナルコンピュータ（ＰＣ）２０１、ディスプレイ２０２、キーボード２０３、マウス２０４、カメラ２０５、スピーカ２０６、マイク２０７を備える。

また、端末装置は、不図示のタッチスクリーンを備えていてもよい。

以下、各要素について説明する。ディスプレイ２０２は、液晶ディスプレイ、プラズマディスプレイ、フロントプロジェクタ、リアプロジェクションテレビ等とその制御回路とによって構成され、ＴＶ会議の状況等を表示する。

図１（Ｃ）はＰＣ２０１の構成の一例を示す機能ブロック図である。尚、図１（Ｂ）と同一の要素については、同符号を付し、その説明を省略する。

ＰＣ２０１は、中央処理装置（ＣＰＵ）３０１、リードオンリメモリ（ＲＯＭ）３０２、ランダムアクセスメモリ（ＲＡＭ）３０３、内部記憶装置３０４またネットワークインターフェース（Ｉ／Ｆ）３０６を、入出力機器Ｉ／Ｆ３０７備える。

また、ＰＣ２０１は、ディスプレイＩ／Ｆ３０８、システムバス３０９を備え、ディスプレイ２０２、キーボード２０３、マウス２０４、カメラ２０５、スピーカ２０６、マイク２０７、ネットワーク１０３、外部記憶装置３０５と接続されている。

以下、各要素について説明する。ＣＰＵ３０１は、端末装置全体を制御するためのプログラム、テレビ会議のためのプログラム等を読み込み、所定の処理を実行する。ＲＯＭ３０２は、ＣＰＵ３０１によって実行されるプログラムや固定的なデータを記憶する。

尚、ＲＯＭ３０２は、ユーザが電気的に１度だけプログラムを書き込むことができるＰｒｏｇｒａｍｍａｂｌｅ ＲＯＭ（ＰＲＯＭ）であっても、記録された内容を書き換えることができないマスクＲＯＭであってもよい。

ＲＡＭ３０３は、ＣＰＵ３０１によって読み込まれたプログラムを展開し、ＣＰＵ３０１に対して一時的なデータを蓄える記憶領域を提供する。

内部記憶装置３０４は、端末装置全体を制御するためのプログラム、テレビ会議のためのプログラム、固定的なデータ等を格納する。尚、内部記憶装置３０４は、例えば、ハードディスクドライブ（ＨＤＤ）等である。

また、端末装置全体を制御するためのプログラム、テレビ会議のためのプログラム等はＲＯＭ３０２に格納されていてもよい。尚、本発明に係る情報処理装置は、ＣＰＵ３０１、ＲＡＭ３０３、内部記憶装置３０４等が連動することによって実現される。

外部記憶装置３０５は、ＣＰＵ３０１によって実行されるプログラムや固定的なデータを記憶し、例えば、ＦＤドライブ、ＭＯドライブ、ＣＤ−ＲＷドライブ、ＤＶＤ−ＲＷドライブ、Ｂｌｕ−ｒａｙドライブ等によって構成される。

ネットワークＩ／Ｆ３０６は、イントラネット等のネットワークに接続するための通信制御を行う。尚、ネットワークＩ／Ｆ３０６は、例えば、無線ＬＡＮやイーサーネットインタフェース等によって構成される。

入出力機器Ｉ／Ｆ３０７はマウス２０４、カメラ２０５等の機器からの信号の入力、当該機器に対する信号の出力を制御する。尚、入出力機器Ｉ／Ｆは、端末装置の操作及びデータ入力に用いられるものであれば、例えばリモコン等と接続する構成としても良い。

ディスプレイＩ／Ｆ３０８は、ディスプレイ３０７に表示する画像に対応する信号を出力する。システムバス３０９は、アドレス線、データ線、制御線、電源・グラウンド線等から構成され、ＰＣ２０１の各要素間のデータの入出力、電力の供給等を行う。

図２（Ａ）は、カメラ２０５が撮像した画像を、ディスプレイ２０２が表示する場合の表示例を示す図である。尚、本実施例においては、端末装置１０１が備えるカメラが順次、撮像した画像を、端末装置１０２が備えるディスプレイが順次、表示するものとする。

図２（Ａ）において、２５１、２５２、２５３は、予め登録された画像に基づいて認識された注目対象物を示す領域である。

尚、本実施形態において、領域２５１、２５２、２５３はそれぞれ、内部記憶装置３０４に予め記憶された人物Ａ、Ｂ、Ｃの顔画像に基づいて認識された人物Ａ、Ｂ、Ｃの顔領域とする。即ち、同時に複数の顔領域を認識することが可能である。

図２（Ｂ）は、カメラ２０５のカメラ視野外へ人物Ｃが移動した場合等において、カメラ２０５が撮像した画像を、ディスプレイ２０２が表示する場合の表示例を示す図である。尚、図２（Ｂ）と同一の要素については、同符号を付し、その説明を省略する。

図２（Ｂ）においては、内部記憶装置３０４に記憶された人物Ｃの顔画像２６３と、人物Ｃの氏名情報２７３と、カメラ２０５が撮像した画像とがディスプレイ２０２表示される。尚、顔画像２６３は、静止画像であり、氏名情報２７３は、テキストとする。

即ち、顔画像２６３、氏名情報２７３は、トリミング、注目対象物の移動等による注目対象物のフレームアウトに伴い、カメラ視野内に表示されてなくなった注目対象物に関する情報である。

図２（Ｃ）は、内部記憶装置３０４に記憶された注目対象物に関する情報を保持するテーブル２８０の一例を示す図である。

テーブル２８０には、注目対象物毎に、登録番号２８１、注目対象名２８２、画像特徴抽出データ２８４、音特徴抽出データ２８５、状態を示す情報２８６、位置情報２８７等が保持される。

登録番号２８１は、登録されている注目対象物毎に付与されているユニークでシーケンシャルな情報である。注目対象名２８２は、注目対象物の名称を示す情報であり、図２（Ｂ）のように氏名情報２７３を表示する場合に読み込まれる情報である。

画像データ２８３は、注目対象物の静止画像を示す情報であり、図２（Ｂ）のように顔情報２６３を表示する場合に読み込まれる情報である。

画像特徴抽出データ２８４は、カメラ２０５が撮像した画像において、注目対象物が表示されている領域を認識するときに用いる静止画像を示す情報であり、図２（Ｂ）のように顔画像２６３を表示する場合に読み込まれる情報である。

音特徴抽出データ２８５は、注目対象物が特徴的な音を発する場合に、その音を音声認識するための情報である。尚、注目対象物が人物である場合には、周知の話者認識のための情報に相当する。

状態を示す情報２８６は、カメラ視野内に注目対象物があるか、一旦、カメラ視野内にあった注目対象物が一時的にカメラ視野外にあるか、一旦、カメラ視野内にあった注目対象物が一定期間継続してカメラ視野外にあるかを示す情報である。

即ち、例えば、テレビ会議の場面において、注目対象物が人物の顔であると、状態を示す情報２８６は、顔領域がフレームインしているか、顔領域が一時的にフレームアウトしているか、注目対象物となる人物がテレビ会議に参加していないかを示す情報となる。

位置情報２８７は、カメラ２０５が撮像した画像において、注目対象物が表示されていると認識された領域の重心位置を示す座標情報である。尚、座標情報は、注目対象物が表示されていると認識された領域を特定する情報でれば、重心位置でなくともよい。

尚、テーブル２８０は、更に不図示の筆跡徴抽出データを保持してもよい。筆跡徴抽出データは、注目対象物が人物である場合、タッチスクリーンに対して入力された文字等が特定の人物によって入力された文字等であるか認識するための情報である。

また、テーブル２８０は、一旦、撮像された画像に含まれる注目対象物の情報を新たに保持することも可能である。すなわち、テーブル２８０は、随時更新可能であるものとする。

図３は、ＣＰＵ３０１等によって実現される情報処理装置において、カメラ２０５が撮像した画像に、注目対象物として認識された領域（以下、注目領域とする。）が存在する場合において実行される処理を示すフローチャートである。

尚、この処理によって、少なくとも１つの注目領域がなくなると、当該注目領域として認識されていた注目対象物の情報を、カメラ２０５が撮像した画像に付与することが可能となる。また、本フローチャートにおいて、注目対象物は人物の顔とする。

まず、ステップＳ７０１において、ＣＰＵ３０１は、カメラ２０５が撮像した画像から、少なくとも１つの注目領域がなくなったか否か判断する。尚、注目領域がなくなる場合とは、例えば、参加者の顔が、カメラ２０５のカメラ視野外へ移動した場合である。

また、注目領域がなくなる場合とは、例えば、カメラ２０５に対してパン、チルト、ズーム等の処理を実行した場合である。

ステップＳ７０１において、少なくとも１つの注目領域がなくなった場合、ステップＳ７０２の処理を実行し、少なくとも１つの注目領域がなくなっていない場合、ステップＳ７０１の処理を繰り返す。

ステップＳ７０２において、ＣＰＵ３０１は、なくなった注目領域に対応する注目対象物のデータを読み込むために、テーブル２８０を参照する。

次に、ステップＳ７０３において、ＣＰＵ３０１は、テーブル２８０に、なくなった注目領域に対応する注目対象物のデータが登録されているか否か判断し、注目対象物のデータが登録されている場合、ステップＳ７０４の処理を実行する。

一方、注目対象物のデータが登録されていない場合、ステップＳ７０１の処理を実行する。

ステップＳ７０４において、ＣＰＵ３０１は、テーブル２８０から、なくなった注目領域に対応する注目対象物のデータを読み込む。尚、ここで読み込むデータとは、例えば、注目対象名２８２、画像データ２８３等の注目対象物を特定するための情報である。

次に、ステップＳ７０５において、ＣＰＵ３０１は、なくなった注目領域が表示されていた位置に、別の注目対象物の注目領域が表示されているか否か判断し、別の注目対象物の注目領域が表示されている場合、ステップＳ７０６の処理を実行する。

一方、なくなった注目領域が表示されていた位置に、別の注目対象物の注目領域が表示されていない場合、ステップＳ７０７の処理を実行する。

ステップＳ７０６において、ＣＰＵ３０１は、なくなった注目領域に対応する注目対象物のデータを表示する位置が、前述の別の注目対象物の注目領域の位置と重なることがないように、注目対象物のデータを表示する位置を変更する。

尚、位置の変更とは、例えば、予め設定された方向及び距離（縦方向に１００ドット等）ずつ変更するものとする。

ステップＳ７０７において、ＣＰＵ３０１は、ディスプレイ２０２に、なくなった注目領域に対応する注目対象物のデータを表示させる処理を実行する。

図４（Ａ）は、ＣＰＵ３０１等によって実現される情報処理装置において、少なくとも１つの注目領域がなくなり、当該注目領域として認識されていた注目対象物のデータが、撮像された画像に付与された場合において実行される処理を示すフローチャートである。

尚、この処理によって、撮像された画像に付与された注目対象物のデータが、ある条件を満たすとディスプレイ２０２に表示されなくなる。また、この処理においては、注目対象物が発する特徴的な音の情報を利用する。

まず、ステップＳ８０１において、ＣＰＵ３０１は、マイク２０７を利用して音を取得する処理を実行する。

次に、ステップＳ８０２において、ＣＰＵ３０１は、マイク２０７から取得された音に、なくなった注目領域に対応する注目対象物が特徴的に発する音が含まれているか検知し、特徴的な音が含まれていると判断された場合、ステップＳ８０３の処理を実行する。

尚、特徴的な音が含まれているか否か判断する処理は、注目対象物が人であり、特徴的に発する音が声である場合には、周知の話者認識の技術を利用して実現される。尚、話者認識においては、テーブル２８０に保持された音特徴抽出データ２８５を利用する。

一方、特徴的な音が含まれていないと判断された場合、ステップＳ８０１の処理を実行する。

ステップＳ８０３において、ＣＰＵ３０１は、なくなった注目領域に対応する注目対象物が特徴的に発する音が認識されない期間が経過し、予め設定された期間を超えたか否か判断する。

尚、ステップＳ８０３において、特徴的な音が認識されない期間が、予め設定された期間を超えた場合、ステップＳ８０４の処理を実行し、予め設定された期間を超えていない場合、ステップＳ８０１の処理を実行する。

次に、ステップＳ８０４において、ＣＰＵ３０１は、ディスプレイ２０２から、なくなった注目領域に対応する注目対象物のデータを消す処理を実行する。

この処理によって、カメラ視野内に存在していないが、当該カメラ周辺に存在する注目対象物を認識することが可能となる。また、カメラ視野内に存在しておらず、かつ当該カメラ周辺に存在していない可能性が高い注目対象物を認識することが可能となる。

また、図４（Ａ）のフローチャートの処理においては、注目対象物が特徴的な発する音の情報を利用したが、注目対象物が人物である場合、タッチスクリーンに対して入力された文字等の情報を利用してもよい。

図４（Ｂ）は、ＣＰＵ３０１等によって実現される情報処理装置において、入力された文字等が特定の人物によって入力された文字等であるか認識し、画像に付与された注目対象物のデータの表示を制御する処理を示すフローチャートである。

まず、ステップＳ８１１において、ＣＰＵ３０１は、タッチスクリーンを利用して入力された文字等の情報を取得する処理を実行する。

次に、ステップＳ８１２において、ＣＰＵ３０１は、タッチスクリーンから取得された文字等の情報に、なくなった注目領域に対応する人物が入力する文字の特徴が含まれているか否か判断する。

ステップＳ８１２において、特定の文字の特徴が含まれていると判断された場合、ステップＳ８１３の処理を実行する。

尚、特定の文字の特徴が含まれているか否か判断する処理は、周知の筆跡を認識する技術を利用して実現される。尚、筆跡の認識においては、テーブル２８０に保持された筆跡特徴抽出データを利用する。

一方、特定の文字の特徴が含まれていないと判断された場合、ステップＳ８０１の処理を実行する。

ステップＳ８０３において、ＣＰＵ３０１は、なくなった注目領域に対応する注目対象物が入力する文字の特徴が認識されない期間が、予め設定された期間を超えたか否か判断する。

尚、ステップＳ８０３において、特徴的な文字が認識されない期間が、予め設定された期間を超えた場合、ステップＳ８０４の処理を実行し、予め設定された期間を超えていない場合、ステップＳ８０１の処理を実行する。

次に、ステップＳ８０４において、ＣＰＵ３０１は、ディスプレイ２０２から、なくなった注目領域に対応する注目対象物のデータを消す処理を実行する。

この処理によって、カメラ視野内に存在していないが、当該カメラ周辺に存在する注目対象物を認識することが可能となる。また、カメラ視野内に存在しておらず、かつ当該カメラ周辺に存在していない可能性が高い注目対象物を認識することが可能となる。

また、図４（Ａ）と図４（Ｂ）とに示された処理を併用して、カメラ視野内に存在していないが、当該カメラ周辺に存在する注目対象物を認識し、また、カメラ視野内に存在しておらず、かつ当該カメラ周辺に存在していない可能性が高い注目対象物を認識してもよい。

図５は、テレビ会議システムにおいて、端末装置が実行する顔画像認識とフレームアウト判定の処理を示すフローチャートの一例である。

まず、ステップＳ９０２において、端末装置１０１は、当該装置のカメラ２０５から画像データを取得する処理を実行する。次に、ステップＳ９０３の処理を実行する。

ステップＳ９０３において、端末装置１０１は、ステップＳ９０２で取得した画像をＲＡＭ３０３や外部記憶装置３０５に記憶する処理を実行する。次に、ステップＳ９０４の処理を実行する。

ステップＳ９０４において、端末装置１０１は、ステップＳ９０３で記憶したデータと予め保存してある画像データとを比較する処理を実行する。次に、ステップＳ９０５の処理を実行する。

ステップＳ９０５において、端末装置１０１は、ステップＳ９０４での比較結果に変化があるか否か判断し、変化があると判断した場合、ステップＳ９０６の処理を実行する。一方、変化がないと判断した場合、ステップＳ９０２の処理を実行する。

ステップＳ９０６において、端末装置１０１は、ステップＳ９０５で変化ありと判定された領域に、既にユーザがいると認識された領域があるか否かを判定し、既に認識済みである場合、ステップＳ９０７の処理を実行する。

一方、既に認識済みではない場合、ステップＳ９０９の処理を実行する。

ステップＳ９０７において、端末装置１０１は、認識済み領域からユーザがフレームアウトしたか否かを、予め保存してある画像データと取得された画像データとの差分に基づいて判断する。

ステップＳ９０７において、フレームアウトと判断された場合、ステップＳ９０８の処理を実行する。この処理は周知の動きを検出と同様の処理である。

ステップＳ９０８において、端末装置１０１は、図２（Ｃ）のテーブルに保持された状態を示す情報２８６をフレームインからフレームアウトに書き換える処理を実行する。次に、ステップＳ９０２の処理を実行する。

ステップＳ９０９において、端末装置１０１は、ステップＳ９０５で変化ありと判断された画像データに肌色のデータが一定領域含まれているか否か判断し、肌色のデータが一定領域含まれていれば、ステップＳ９１０の処理を実行する。

一方、ステップＳ９０９において、肌色のデータが一定領域含まれていない場合、ステップＳ９０２の処理を実行する。

ステップＳ９１０において、端末装置１０１は、ステップＳ９０９で肌色が含まれていると判断された領域に対して、顔画像認識を行う。次に、ステップＳ９１１の処理を実行する。

ステップＳ９１１において、端末装置１０１は、ステップＳ９１０で顔画像認識した結果が、図２（Ｃ）のテーブルに登録された人物であるか否か判断する。登録された人物であると判断された場合、ステップＳ９１２の処理を実行する。

一方、ステップＳ９１１において、登録された人物でないと判断された場合、ステップＳ９０２の処理を実行する。

ステップＳ９１２において、端末装置１０１は、新たな人物であるとして図２（Ｃ）のテーブルの状態を示す情報２８６を不参加からフレームインに書き換える。次に、ステップＳ９０２の処理を実行する。

（第２の実施形態）
図６はディスプレイに表示される画面の例を示した図である。領域１００２は撮像された画像データから切り出して表示したい画像を示す領域とする。領域１００３は切り出して表示したい画像に含まれない人物の顔の画像を示す領域である。

画像１００４は、領域１００２を切り出して表示した画像である。領域１００５は切り出して表示した画像に含まれていない領域１００３に相当する画像である。

第２の実施形態を実現する装置の構成は、第１の実施形態を実現する装置の構成と同一であるため、同符号を付し、その説明を省略する。

図７はテレビ会議システムにおいて、端末装置１０１が図６の画像を表示するための処理を示すフローチャートの一例である。

まず、ステップＳ１１０２において、端末装置１０１は、当該装置が備えるカメラ２０５から画像データを取得する。次に、ステップＳ１１０３の処理を実行する。

ステップＳ１１０３において、端末装置１０１は、ステップＳ１１０２で取得した画像の切り出し処理を行うか否かを判断する。切り出しを行う場合、ステップＳ１１０４の処理を実行し、切り出しを行わない場合、ステップＳ１１０８の処理を実行する。

ステップＳ１１０４において、端末装置１０１は、撮像された画像データから指定された領域の切り出し処理を実行する。次に、ステップＳ１１０５の処理を実行する。

ステップＳ１１０５において、端末装置１０１は、ステップＳ１１０４で切り出された画像データからフレームアウトする顔画像があるか否か判断し、フレームアウトする顔画像がある場合、ステップＳ１１０６の処理を実行する。

一方、ステップＳ１１０５において、フレームアウトする顔画像がない場合、ステップＳ１１０８の処理を実行する。

ステップＳ１１０６において、端末装置１０１は、撮像された画像データからフレームアウトする顔画像の領域を切り出す。次に、ステップＳ１１０７の処理を実行する。

ステップＳ１１０７において、端末装置１０１は、ステップＳ１１０４で切り出した画像データ及びステップＳ１１０６で切り出した顔画像データを合成する。次に、ステップＳ１１０８の処理を実行する。

ステップＳ１１０８において、端末装置１０１は、合成された画像データを他の端末装置（例えば、端末装置１０２）に画像圧縮をして送信する。次に、ステップＳ１１０９の処理を実行する。

ステップＳ１１０９において、端末装置１０１は、テレビ会議の終了を指示する信号が入力されたか否か判断し、終了を指示する信号が入力されたと判断された場合、一連の処理を終了し、テレビ会議を終了する。

一方、終了を指示する信号が入力されなかった場合、ステップＳ１１０２の処理を実行する。

（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによって達成される。

即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、ＣＤ−ＲＯＭ、ＤＶＤ＋ＲＷ等である。または、プログラムコードは、ネットワークを介してプログラムコードをダウンロードしてもよい。

また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

１０１、１０２ 端末装置
１０３ ネットワーク

Claims (7)

1. 撮像手段により撮像された画像を表示手段に表示させる情報処理装置において、
   撮像された画像を順次、取得する取得手段と、
   取得された画像から、注目対象物の画像を認識する認識手段と、
   認識された注目対象物の画像を特定するための情報を保持する保持手段と、
   一旦、認識された注目対象物の画像が、その後に取得された画像から認識されなくなった場合、撮像された画像と前記注目対象物を特定するための情報とを合成して表示手段に表示させる制御手段とを有する情報処理装置。
2. 更に、注目対象物が発した音を検知する検知手段とを有し、
   前記制御手段は、一旦、認識された注目対象物の画像が、その後に取得された画像から認識されなくなった状態から、予め設定された期間が経過するまでの間に前記注目対象物が発する音が検知されなかったとき、表示手段に表示させる画像を撮像された画像に置き換えることを特徴とする請求項１に記載の情報処理装置。
3. 前記注目対象物は、人物の顔であることを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 前記注目対象物が発した音は、人が発した声であることを特徴とする請求項２に記載の情報処理装置。
5. 前記注目対象物を特定するための情報とは、少なくとも注目対象物を示す静止画像、注目対象物の名称を示すテキストのうちの１つであることを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報処理装置。
6. 撮像された画像を取得する取得手段と、取得された画像から、注目対象物の画像を認識する認識手段と、認識された注目対象物を特定するための情報を保持する保持手段とを有し、撮像手段により撮像された画像を表示手段に表示させる情報処理装置の制御方法であって、
   撮像された画像を順次、取得する取得工程と、
   取得された画像から、注目対象物の画像を認識する認識工程と、
   認識された注目対象物を特定するための情報を保持する保持工程と、
   一旦、認識された注目対象物の画像が、その後に取得された画像から認識されなくなった場合、撮像された画像と前記注目対象物を特定するための情報とを合成して表示手段に表示させる制御工程とを有する制御方法。
7. 請求項６に記載の制御方法をコンピュータに実行させるためのプログラム。