JP2016154289A

JP2016154289A - 情報処理装置、情報処理方法および情報処理プログラム

Info

Publication number: JP2016154289A
Application number: JP2015031563A
Authority: JP
Inventors: 敦美藤田; Atsumi Fujita; 祐輝福吉; Yuki Fukuyoshi
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2015-02-20
Filing date: 2015-02-20
Publication date: 2016-08-25

Abstract

【課題】撮像者によらず被写体の生体情報を撮像画像に付加する。【解決手段】情報処理装置は、生体の状態を測定する生体測定機器から生体の状態を示す生体情報を取得する第１の生体情報取得部と、近距離にいる他の情報処理装置と通信する通信部と、通信部を介して他の情報処理装置から生体情報を取得する第２の生体情報取得部と、被写体を撮像する撮像部と、撮像部が撮像した撮像画像に、第１の生体情報取得部または第２の生体情報取得部が取得した被写体の生体情報を対応付けて撮像情報記憶部に記憶する記録制御部と、を備える。【選択図】図２

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。

撮像者が撮像時の状況を容易に想起できるような情報を画像と対応づけて記録する技術がある。たとえば、特許文献１に記載の技術では、環境情報センサ（温度、湿度、気圧、照度、風速、雨量など）と生体情報センサ（体温、脈拍、血圧、指紋、発汗、脳波など）とを備えるカメラにより撮像すると、シャッタボタンの半押し操作に連動して各センサから情報を取得し、シャッタボタンを全押しすることで取得したセンサの情報と画像データとを対応付けて記録する。

特開２００６−０８６８２３号公報

しかしながら、特許文献１に記載の技術では、カメラが生体情報センサを備えているため、撮像者から生体情報を取得することを想定している。しかし、撮像をする場合、カメラを持つ撮像者のみが撮像した画像データと関連性があるとは限らず、被写体として写る人物に関連性がある場合が考えられる。また、カメラを持つ本人が撮像に写る場合には、撮像者をその場で居合わせた人にお願いすることが想定され、撮像者の情報と画像データの関連性が本人の状況と一致するとは限らない。また、複数人が被写体となる場合、被写体の全ての生体情報がある方がより撮像時の状況がわかって効果的なデータを撮像情報に付加することができる。すなわち、特許文献１に記載の技術では、被写体となる人物の生体情報を撮像した画像に付加することはできない、という問題がある。

本発明は上記の点に鑑みてなされたものであり、撮像者によらず被写体の生体情報を撮像画像に付加することができる情報処理装置、情報処理方法および情報処理プログラムを提供することを課題とする。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の第１の態様は、生体の状態を測定する生体測定機器から前記生体の状態を示す生体情報を取得する第１の生体情報取得部と、近距離にいる他の情報処理装置と通信する通信部と、前記通信部を介して前記他の情報処理装置から生体情報を取得する第２の生体情報取得部と、被写体を撮像する撮像部と、前記撮像部が撮像した撮像画像に、前記第１の生体情報取得部または前記第２の生体情報取得部が取得した前記被写体の生体情報を対応付けて撮像情報記憶部に記憶する記録制御部と、を備えることを特徴とする情報処理装置である。

（２）また、本発明の第２の態様は、情報処理装置における情報処理方法であって、生体の状態を測定する生体測定機器から前記生体の状態を示す生体情報を取得する第１の生体情報取得過程と、近距離にいる他の情報処理装置と通信する通信部を介して前記他の情報処理装置から生体情報を取得する第２の生体情報取得過程と、被写体を撮像する撮像過程と、前記撮像過程が撮像した撮像画像に、前記第１の生体情報取得過程または前記第２の生体情報取得過程が取得した前記被写体の生体情報を対応付けて撮像情報記憶部に記憶する記録制御過程と、を有することを特徴とする情報処理方法である。

（３）また、本発明の第３の態様は、情報処理装置のコンピュータに、生体の状態を測定する生体測定機器から前記生体の状態を示す生体情報を取得する第１の生体情報取得ステップと、近距離にいる他の情報処理装置と通信する通信部を介して前記他の情報処理装置から生体情報を取得する第２の生体情報取得ステップと、被写体を撮像する撮像ステップと、前記撮像ステップが撮像した撮像画像に、前記第１の生体情報取得ステップまたは前記第２の生体情報取得ステップが取得した前記被写体の生体情報を対応付けて撮像情報記憶部に記憶する記録制御ステップと、を実行させるための情報処理プログラムである。

本発明によれば、撮像者によらず被写体の生体情報を撮像画像に付加することができる。

本発明の第１の実施形態に係る情報処理システムの構成の一例を示す概略ブロック図である。第１の実施形態に係る情報処理装置の構成の一例を示す概略ブロック図である。第１の実施形態に係る情報処理装置が記憶する登録情報の一例を示す概略図である。第１の実施形態に係る情報処理システムの動作を示すシーケンス図である。第１の実施形態に係る情報処理装置が実行する情報処理の一例を示すフローチャートである。第１の実施形態に係る情報処理装置が生成するデータ付加画像の一例を示すイメージ図である。本発明の第２の実施形態に係る情報処理装置の構成の一例を示す概略ブロック図である。第２の実施形態に係る情報処理装置が記憶する登録情報の一例を示す概略図である。第２の実施形態に係る情報処理装置が実行する情報処理の一例を示すフローチャートである。第２の実施形態に係る情報処理装置が生成するデータ付加画像の一例を示すイメージ図である。本発明の第３の実施形態に係る情報処理システムの構成の一例を示す概略ブロック図である。第３の実施形態に係る情報処理システムの動作を示すシーケンス図である。

以下、図面を参照しながら本発明の実施形態について詳しく説明する。なお、各図において同一部分には同一符号を付している。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る情報処理システムＳ１の構成の一例を示す概略ブロック図である。本図に示すように、情報処理システムＳ１は、複数の情報処理装置１と、複数の健康機器２と、を含んで構成される。情報処理装置１は、各ユーザそれぞれが保持し、各ユーザの持つ健康機器２と通信接続する。

以下、説明の便宜を図るため、ユーザＡ（登録名ひろし）の持つ情報処理装置１を情報処理装置１Ａと称し、ユーザＢ（登録名かおり）の持つ情報処理装置１を情報処理装置１Ｂと称し、ユーザＣ（登録名あいこ）の持つ情報処理装置１を情報処理装置１Ｃと称する。また、ユーザＡの持つ健康機器２を健康機器２Ａと称し、ユーザＢの持つ健康機器２を健康機器２Ｂと称し、ユーザＣの持つ健康機器２を健康機器２Ｃと称する。情報処理装置１Ａは健康機器２Ａと通信接続し、情報処理装置１Ｂは健康機器２Ｂと通信接続し、情報処理装置１Ｃは健康機器２Ｃと通信接続する。

健康機器２は、生体の状態を測定する生体測定機器であり、例えば、歩数計、活動量計、体重計、体組成計、血圧計、心拍計、体温計などである。健康機器２は、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））などの通信路を介して、測定した生体の状態を示す生体情報を情報処理装置１に送信する。健康機器２は、通常使用状態として、ブルートゥースで対応する情報処理装置１とペアリングされている状態である。なお、本例では、健康機器２として、活動量を測定する活動量計２ａと、心拍を測定する心拍計２ｂと、歩数及び移動距離を測定する歩数計２ｃとを示している。

情報処理装置１は、スマートフォン、タブレット、パーソナルコンピュータ、デジタルカメラなどである。情報処理装置１は、対応する健康機器２と通信接続を確立して、健康機器２から当該健康機器２により測定された生体の状態を示す生体情報を取得し、取得した生体情報を記憶する。また、情報処理装置１は、ブルートゥースにより他の情報処理装置１と通信接続する。そのため、各情報処理装置１は、予め互いの通信用のアドレス（接続ＩＤ）を交換して記憶している。

次いで、情報処理装置１について説明する。図２は、本発明の第１の実施形態に係る情報処理装置１の構成の一例を示す概略ブロック図である。情報処理装置１は、制御部１００と、記憶部１１０と、表示部１２０と、入力部１３０と、カメラ機能部１４０と、環境情報センサ１５０と、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）センサ１６０と、ネットワーク通信部１７０と、カメラ１４と、アンテナ１７と、を含んで構成される。

制御部１００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ；中央演算処理装置）を備え、記憶部１１０が記憶するプログラムを実行することで、情報処理装置１の各部を制御する。制御部１００は、ネットワーク制御部１０１（第１の生体情報取得部、第２の生体情報取得部）と、記録制御部１０２と、表示制御部１０３と、を含んで構成される。

ネットワーク制御部１０１は、ネットワーク通信部１７０における通信を制御する。また、ネットワーク制御部１０１は、カメラ１４における撮像が開始されると、ネットワーク通信部１７０を介して、予め登録情報記憶部１１２に登録されている登録者の情報処理装置１へ生体情報を要求し、登録者の生体情報を登録者の情報処理装置１から受信して取得する。ネットワーク制御部１０１は、取得した生体情報を登録者に対応付けて生体情報記憶部１１３に書き込んで記憶する。また、ネットワーク制御部１０１は、ネットワーク通信部１７０を介して、健康機器２に対して生体情報を要求し、健康機器２が測定した生体情報を受信して取得する。ネットワーク制御部１０１は、健康機器２から取得した生体情報を自装置のユーザに対応付けて生体情報記憶部１１３に書き込んで記憶する。

記録制御部１０２は、カメラ１４が撮像した撮像画像（静止画像データまたは動画像データ）と、当該撮像画像の被写体の生体情報と、環境情報センサ１５０及びＧＰＳセンサ１６０が検出した環境情報とを対応付けた撮像情報を撮像情報記憶部１１４に書き込んで記憶する。例えば、記録制御部１０２は、生体情報記憶部１１３に記憶されている生体情報を、被写体の生体情報と判定する。

表示制御部１０３は、撮像情報記憶部１１４が記憶する撮像画像に、当該撮像画像に対応付けられた被写体の生体情報に基づく付加情報と、当該撮像画像に対応付けられた環境情報に基づく付加情報とを付加したデータ付加画像を生成し、生成したデータ付加画像を表示部１２０に表示させる。例えば、表示制御部１０３は、被写体の生体情報に基づいて画像データ記憶部１１１が記憶する画像データを選択し、選択した画像データを撮像画像に重畳させてデータ付加画像を生成する。

記憶部１１０は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ；ランダムアクセスメモリ）、マスクＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ：ロム）、ＦｅＲＡＭ（ＦｅｒｒｏｅｌｅｃｔｒｉｃＲａｎｄａｍＡｃｃｅｓｓＭｅｍｏｒｙ：強誘電体メモリ）、フラッシュメモリ、メモリカード、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ；ソリッドステートドライブ）などのメモリであり、制御部１００が実行するプログラムおよび制御部１００が当該プログラムを実行する際に必要となるデータを記憶する。当該プログラムには、アプリケーションやミドルウェアデバイスドライバ、オペレーションシステムなども含まれる。記憶部１１０は、画像データ記憶部１１１と、登録情報記憶部１１２と、生体情報記憶部１１３と、撮像情報記憶部１１４と、を含んで構成される。

画像データ記憶部１１１は、撮像画像を装飾するために重畳する画像データを記憶する。画像データは、生体情報に応じた装飾データ、もしくは生体情報の値等を画像データ化したデータである。登録情報記憶部１１２は、被写体となる人物に関する登録情報を登録者毎に予め記憶している。登録情報には、登録者の基本情報（名前、年齢、性別等）や取得可能な生体情報の種類等がある。生体情報記憶部１１３は、各登録者の生体情報を記憶する。各生体情報は、登録情報におけるどの登録者の生体情報であるかが紐付けられている。撮像情報記憶部１１４は、撮像画像と、当該撮像画像の被写体の生体情報と、環境情報とを対応付ける撮像情報を記憶する。

表示部１２０は、液晶ディスプレイ、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、プラズマディスプレイなどの表示装置を備え、画像を表示する。入力部１３０は、タッチパネル、入力キー、マウス、音声入力装置など、ユーザによる入力操作を受け付ける入力デバイスである。

カメラ１４は、周囲の所定の視野内における被写体の画像を撮影し、撮影した画像を示す撮像画像を生成する撮像部である。カメラ１４は、生成した撮像画像をカメラ機能部１４０に出力する。カメラ１４は、例えば、ディジタルスティルカメラである。カメラ機能部１４０は、カメラ１４に関する機能を制御する。例えば、カメラ機能部１４０は、カメラ１４を起動し、カメラ１４に撮像画像を撮像させ、カメラ１４の動作を終了する。カメラ機能部１４０は、カメラ１４が撮影した撮像画像を記憶部１１０に書き込んで記憶する。カメラ機能部１４０は、シャッタ検知部１４１を含んで構成される。シャッタ検知部１４１は、撮像を指示するシャッタボタン（図示せず）が入力を受け付けたことを検出する。

環境情報センサ１５０は、情報処理装置１の周囲の環境の状態を検出するセンサである。例えば、環境情報センサ１５０は、気温を計測する温度計、湿度を計測する湿度センサ、風向及び風速を計測する風向風速センサ、天気を判定する天気計、等のいずれか、それらの一部の組み合わせ、又は全ての組み合わせである。環境情報センサ１５０は、取得した環境情報を記憶部１１０に書き込んで記憶する。

ＧＰＳセンサ１６０は、複数のＧＰＳ衛星から受信した受信信号の到達時間差に基づいて自己の緯度及び経度を算出する。ＧＰＳセンサ１６０は、予め記憶部１１０に記憶した地図情報を参照して、算出した緯度及び経度に対応する施設名又は地名を特定してもよい。地図情報は、緯度及び経度毎に施設名又は地名を示す情報である。ＧＰＳセンサ１６０は、自己の位置として算出した緯度及び経度、施設名又は地名を示す位置情報を記憶部１１０に書き込んで記憶する。位置情報は、環境情報に含まれてもよい。ネットワーク通信部１７０は、アンテナ１７を介して無線で健康機器２または他の情報処理装置１との間で通信を行う。例えば、ネットワーク通信部１７０は、ブルートゥースにより健康機器２または他の情報処理装置１と通信を行う。

図３は、本発明の第１の実施形態に係る情報処理装置１が記憶する登録情報の一例を示す概略図である。登録情報記憶部１１２は、登録情報を登録者毎に記憶している。なお、情報処理装置１は、各登録者の登録情報を、各登録者の情報処理装置１から取得する。このとき、情報処理装置１は、ブルートゥースにより他の情報処理装置１から登録情報を受信してもよいし、他の通信手段（例えば、ＮＦＣ（ＮｅａｒＦｉｅｌｄＣｏｍｍｕｎｉｃａｔｉｏｎ；近距離通信）や赤外線等）により登録情報を受信してもよい。或いは、情報処理装置１は、メールやサーバ装置を介して登録情報を他の情報処理装置１から受信してもよい。図示するように、登録情報は、接続ＩＤと、登録名と、年齢と、性別と、デバイス情報との項目を有するデータである。

接続ＩＤは、通信接続するためのアドレスである。登録名は、登録者の名前である。年齢は、登録者の年齢である。性別は、登録者の性別である。デバイス情報は、健康機器２に関する情報であり、登録者が使用する各健康機器２の接続方法と、接続ＩＤと、親デバイスＩＤと、取得可能データとの項目を有する。接続方法は、健康機器２と接続する方法である。親デバイスＩＤは、健康機器２と通信接続する情報処理装置１の接続ＩＤである。取得可能データは、健康機器２が測定する生体情報から取得可能なデータである。

図３（Ａ）に示す例では、接続ＩＤが４４：３５：３ｄ：ｆｆ：ｂｃ：１２（情報処理装置１Ａの接続ＩＤ）であり、登録名がひろしであり、年齢が４６歳であり、性別が男性である。また、デバイス情報には、デバイス１心拍計及びデバイス２活動量計の情報が格納されている。デバイス１心拍計の接続方法はブルートゥースであり、接続ＩＤは６７：９８：２３：５５：２２：ｄｅであり、親デバイスＩＤは４４：３５：３ｄ：ｆｆ：ｂｃ：１２（情報処理装置１Ａの接続ＩＤ）であり、取得可能データは心拍数及びストレス値である。また、デバイス２活動量計の接続方法は情報処理装置内蔵であり、接続ＩＤは００：００：００：００：００：００（内蔵を示す接続ＩＤ）であり、親デバイスＩＤは４４：３５：３ｄ：ｆｆ：ｂｃ：１２（情報処理装置１Ａの接続ＩＤ）であり、取得可能データは活動量、距離及び消費カロリーである。

図３（Ｂ）に示す例では、接続ＩＤが４４：５５：６７：３ｅ：９９：１２（情報処理装置１Ｂの接続ＩＤ）であり、登録名がかおりであり、年齢が４１歳であり、性別が女性である。また、デバイス情報には、デバイス４活動量計及びデバイス５体温計の情報が格納されている。デバイス４活動量計の接続方法はブルートゥースであり、接続ＩＤは８９：２３：４ｄ：１２：ｄｅ：３３であり、親デバイスＩＤは４４：５５：６７：３ｅ：９９：１２（情報処理装置１Ｂの接続ＩＤ）であり、取得可能データは活動量及び距離である。また、デバイス５体温計の接続方法はブルートゥースであり、接続ＩＤは３３：６７：８９：２ｄ：ａｃ：ｄｅであり、親デバイスＩＤは４４：５５：６７：３ｅ：９９：１２（情報処理装置１Ｂの接続ＩＤ）であり、取得可能データは体温である。

図３（Ｃ）に示す例では、接続ＩＤが４４：５５：ｄｄ：ｅ４：６ｂ：ｅｆ（情報処理装置１Ｃの接続ＩＤ）であり、登録名があいこであり、年齢が１６歳であり、性別が女性である。また、デバイス情報には、デバイス６心拍計及びデバイス７歩数計の情報が格納されている。デバイス６心拍計の接続方法はブルートゥースであり、接続ＩＤは６６：３４：５６：２５：３４：１４であり、親デバイスＩＤは４４：５５：ｄｄ：ｅ４：６ｂ：ｅｆ（情報処理装置１Ｃの接続ＩＤ）であり、取得可能データは活動量及び距離である。また、デバイス７歩数計の接続方法は情報処理装置内蔵であり、接続ＩＤは００：００：００：００：００：００（内蔵を示す接続ＩＤ）であり、親デバイスＩＤは４４：５５：ｄｄ：ｅ４：６ｂ：ｅｆ（情報処理装置１Ｃの接続ＩＤ）であり、取得可能データは歩数及び消費カロリーである。

次に、情報処理システムＳ１の動作を説明する。以下、情報処理装置１Ｂが被写体を撮像する場合を例に説明する。各情報処理装置１は、健康機器２に対してマスタとなり、対応する各健康機器２から生体情報を受信して取得する。情報処理装置１Ｂは、他の情報処理装置１Ａ及び情報処理装置１Ｃに対してマスタとなり、情報処理装置１Ａ及び情報処理装置１Ｃから生体情報を受信する。情報処理装置１Ａ及び情報処理装置１Ｃは、情報処理装置１Ｂに対してスレーブとなり、対応する健康機器２から取得した生体情報を情報処理装置１Ｂに送信する。

図４は、本発明の第１の実施形態に係る情報処理システムＳ１の動作を示すシーケンス図である。
（ステップＳＴ１０１）情報処理装置１Ａは、情報処理装置１Ｂにアドバタイズパケットを送信する。
（ステップＳＴ１０２）情報処理装置１Ａは、情報処理装置１Ｃにアドバタイズパケットを送信する。
（ステップＳＴ１０３）情報処理装置１Ｂは、情報処理装置１Ａにアドバタイズパケットを送信する。
（ステップＳＴ１０４）情報処理装置１Ｂは、情報処理装置１Ｃにアドバタイズパケットを送信する。
（ステップＳＴ１０５）情報処理装置１Ｃは、情報処理装置１Ｂにアドバタイズパケットを送信する。
（ステップＳＴ１０６）情報処理装置１Ｃは、情報処理装置１Ａにアドバタイズパケットを送信する。

すなわち、ステップＳＴ１０１〜ＳＴ１０６の処理において、情報処理装置１は、アドバタイズモードで周囲の情報処理装置１に対して一定期間アドバタイズパケットを送信し続ける。ステップＳＴ１０１〜ＳＴ１０６までの処理が、待ち受け状態の処理である。

（ステップＳＴ１０７）情報処理装置１Ｂは、ユーザの操作入力により所定のアプリケーションが起動すると、カメラ１４を起動する。そして、情報処理装置１Ｂは、通信のモードをアドバタイズモードからスキャンモードに切り替える。
（ステップＳＴ１０８）情報処理装置１Ｂは、生体情報を要求する接続要求（ＣｏｎｎｅｃｔＲｅｑｕｅｓｔ）を情報処理装置１Ａに送信する。
（ステップＳＴ１０９）情報処理装置１Ａは、情報処理装置１Ｂから接続要求を受信すると、接続要求に対する応答（ＯＫ）を情報処理装置１Ｂに送信する。
（ステップＳＴ１１０）情報処理装置１Ｂは、接続要求を情報処理装置１Ｃに送信する。
（ステップＳＴ１１１）情報処理装置１Ｃは、情報処理装置１Ｂから接続要求を受信すると、接続要求に対する応答（ＯＫ）を情報処理装置１Ｂに送信する。

（ステップＳＴ１１２）情報処理装置１Ａは、健康機器２Ａから取得した生体情報を情報処理装置１Ｂに送信する。
（ステップＳＴ１１３）情報処理装置１Ｃは、健康機器２Ｃから取得した生体情報を情報処理装置１Ｂに送信する。

なお、情報処理装置１Ａ，１Ｃは、生体情報が連続データ（例えば、心拍計が測定する生体情報）である場合には、切断要求を受信するまで生体情報（リアルタイムデータ）を連続して送信する。一方、情報処理装置１Ａ，１Ｃは、生体情報が連続データでない場合には、１回の接続要求に対して生体情報を１回のみ送信する。

（ステップＳＴ１１４）情報処理装置１Ｂは、シャッタボタンが入力を受け付けると、被写体を撮像して撮像画像を生成する。
（ステップＳＴ１１５）情報処理装置１Ｂは、切断要求（ＤｉｓｃｏｎｎｅｃｔＲｅｑｕｅｓｔ）を情報処理装置１Ａに送信して情報処理装置１Ａとの接続を切断する。
（ステップＳＴ１１６）情報処理装置１Ｂは、切断要求を情報処理装置１Ｃに送信して情報処理装置１Ｃとの接続を切断する。

図５は、本発明の第１の実施形態に係る情報処理装置１が実行する情報処理の一例を示すフローチャートである。情報処理装置１は、所定のアプリケーションが起動したときに本処理を実行する。

（ステップＳＴ２０１）カメラ機能部１４０は、カメラ１４を起動する。その後、ステップＳＴ２０２の処理に進む。
（ステップＳＴ２０２）ネットワーク制御部１０１は、ネットワーク通信部１７０を介して、登録情報記憶部１１２に予め登録されている情報処理装置１であって、周囲にいる他の情報処理装置１に、接続要求を送信する。その後、ステップＳＴ２０３の処理に進む。

（ステップＳＴ２０３）ネットワーク制御部１０１は、ネットワーク通信部１７０を介して、他の情報処理装置１から生体情報を受信して取得する。また、ネットワーク制御部１０１は、ネットワーク通信部１７０を介して健康機器２から生体情報を受信して取得する。その後、ステップＳＴ２０４の処理に進む。
（ステップＳＴ２０４）記録制御部１０２は、環境情報センサ１５０及びＧＰＳセンサ１６０から環境情報を取得する。その後、ステップＳＴ２０５の処理に進む。
（ステップＳＴ２０５）シャッタ検知部１４１は、シャッタボタンが入力を受け付けたか否かを判定する。シャッタボタンが入力を受け付けたとシャッタ検知部１４１が判定した場合にはステップＳＴ２０６の処理に進む。また、シャッタボタンが入力を受け付けていないとシャッタ検知部１４１が判定した場合にはステップＳＴ２０５の処理を再度実行する。

（ステップＳＴ２０６）カメラ機能部１４０は、カメラ１４により被写体を撮像して撮像画像を生成する。その後、ステップＳＴ２０７の処理に進む。
（ステップＳＴ２０７）記録制御部１０２は、ステップＳＴ２０３において取得した生体情報と、ステップＳＴ２０４において取得した環境情報と、ステップＳＴ２０６において生成された撮像画像とを対応付けた撮像情報を撮像情報記憶部１１４に書き込んで記憶する。その後、ステップＳＴ２０８の処理に進む。

（ステップＳＴ２０８）表示制御部１０３は、撮像情報記憶部１１４に記憶された撮像画像に、当該撮像画像に対応付けられた生体情報に基づく付加情報と、当該撮像画像に対応付けられた環境情報に基づく付加情報とを付加してデータ付加画像を生成する。その後、ステップＳＴ２０９の処理に進む。
（ステップＳＴ２０９）表示制御部１０３は、生成したデータ付加画像を表示部１２０に表示する。その後、処理を終了する。

図６は、本発明の第１の実施形態に係る情報処理装置１が生成するデータ付加画像６００の一例を示すイメージ図である。データ付加画像６００には、撮像画像６０１と、環境情報に基づく付加情報６０２と、撮像画像６０１にいる被写体の生体情報に基づく付加情報６０３とが含まれる。なお、撮像画像６０１には、登録者であるひろしＡ、かおりＢ及びあいこＣが被写体として含まれる。

図示する例では、データ付加画像６００には、環境情報に基づく付加情報６０２として、気温「２６℃」と、湿度「６０％」と、風速「１０ｍ」と、天気「曇りのち晴れ」と、場所「東京 ○○山頂上付近」とが含まれる。表示制御部１０３は、撮像画像６０１に対応付けられた環境情報に基づいて、付加情報６０２を生成する。

また、データ付加画像６００には、被写体の生体情報に基づく付加情報６０３として、各被写体の歩数と疲労度「ひろし：１２０００歩（まだまだ元気）、あいこ：１５８００歩（ちょっとお疲れ）、かおり：１４９００歩（ほんとはお疲れ）」が含まれる。表示制御部１０３は、撮像画像６０１に対応付けられた生体情報に基づいて、付加情報６０３を生成する。

このように、本実施形態によれば、情報処理装置１は、生体の状態を測定する健康機器２または近距離にいる他の情報処理装置１から生体の状態を示す生体情報を取得するネットワーク制御部１０１と、環境情報を検出する環境情報センサ１５０と、被写体を撮像するカメラ１４と、カメラ１４が撮像した撮像画像に、ネットワーク制御部１０１が取得した被写体の生体情報及び環境情報センサ１５０が検出する環境情報を対応付けて撮像情報記憶部１１４に記憶する記録制御部１０２と、撮像情報記憶部１１４に記憶した撮像画像に、当該撮像画像に対応付けられた生体情報及び環境情報に基づく付加情報を付加して表示部１２０に表示させる表示制御部１０３と、を備える。

これにより、情報処理装置１は、被写体の生体情報と環境情報とを撮像画像に付加することができる。よって、撮像者によらず、撮像時の状況を想起させることができるデータを撮影画像に付帯することができる。また、複数いる登録者のどの情報処理装置１であっても撮像時に生体情報を受け渡しすることができる。また、情報処理装置１は、健康機器２のペアリング設定を変更しないまま、他の登録者の持つ健康機器２が測定する生体情報を取得して撮像情報として利用することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図７は、本発明の第２の実施形態に係る情報処理装置１ａの構成の一例を示す概略ブロック図である。本実施形態と第１の実施形態とは、情報処理装置１ａが、撮像画像にいる被写体の人物を特定し、特定した人物に当該人物の生体情報を対応付けて表示する点で異なる。本実施形態における情報処理装置１ａは、第１の実施形態における制御部１００に代えて制御部１００ａを備え、記憶部１１０に代えて記憶部１１０ａを備え、カメラ機能部１４０に代えてカメラ機能部１４０ａを備える。情報処理装置１ａの他の構成は、第１の実施形態における情報処理装置１の構成と同様であるため、その説明を省略する。

記憶部１１０ａは、第１の実施形態における記憶部１１０の登録情報記憶部１１２に代えて登録情報記憶部１１２ａを備える。登録情報記憶部１１２ａは、登録情報記憶部１１２の構成に加えて、顔特徴データ記憶部１１５を備える。顔特徴データ記憶部１１５は、撮像画像にいる人物が誰であるかを特定するための顔特徴データを登録者毎に記憶する。顔特徴データは、例えば、事前に登録した１枚の顔写真から目立つ特徴を抽出した特徴データ、または、多数の顔画像から標準化した特徴データである。すなわち、登録情報記憶部１１２ａは、顔特徴データと情報処理装置の機器情報（接続ＩＤ）とを対応付けた登録情報を登録者（人物）毎に記憶する。

カメラ機能部１４０ａは、第１の実施形態におけるカメラ機能部１４０の構成に加えて、顔検出部１４２を備える。顔検出部１４２は、カメラ１４が撮像しているプレビュー動画像または静止画像から人物の顔を検出する。顔検出部１４２は、画像のどの部分が人物の顔であるかを検出し、その座標軸（顔認識範囲）と顔部分の画像とを撮像情報記憶部１１４に書き込んで記憶する。

制御部１００ａは、第１の実施形態における制御部１００の構成に加えて、顔判定制御部１０４と、顔特徴データ生成制御部１０５とを備え、記録制御部１０２に代えて記録制御部１０２ａを備える。顔判定制御部１０４は、顔検出部１４２において検出された人物が予め登録された登録者であるか否かを判定する。例えば、顔判定制御部１０４は、顔検出部１４２が検出した顔認識範囲内の画像と、顔特徴データ記憶部１１５が記憶する顔特徴データとを比較して、パターンマッチング等の顔認識技術により、撮像画像にいる人物を特定する。顔判定制御部１０４は、顔検出部１４２において検出された人物が予め登録された登録者であると判定した場合には、撮像情報記憶部１１４が記憶する顔認識範囲に、特定した登録者の登録情報を対応付けて記憶する。記録制御部１０２ａは、記録制御部１０２の機能に加えて、顔判定制御部１０４において撮像画像にいる人物が予め登録された登録者であると判定された場合に、登録情報記憶部１１２ａに記憶された機器情報に基づいて顔判定制御部１０４が特定した人物の情報処理装置１ａを特定し、特定した情報処理装置１ａから取得した生体情報を顔判定制御部１０４が判定した顔認識範囲と対応付けて撮像情報記憶部１１４に記憶する。顔特徴データ生成制御部１０５は、顔特徴データを取得し、取得した顔特徴データを顔特徴データ記憶部１１５に書き込んで記憶する。顔特徴データ生成制御部１０５は、登録情報とともに顔特徴データを、事前接続する際に他の情報処理装置１ａから受信して取得する。

図８は、本発明の第２の実施形態に係る情報処理装置１ａが記憶する登録情報の一例を示す概略図である。図示するように、登録情報は、図３に示す第１の実施形態における登録情報の項目に加えて顔認識情報を有する。顔認識情報には、各登録者の顔特徴データが格納されている。他の構成は、第１の実施形態と同様であるため、その説明を省略する。

次に、情報処理装置１ａの動作を説明する。図９は、本発明の第２の実施形態に係る情報処理装置１ａが実行する情報処理の一例を示すフローチャートである。情報処理装置１ａは、所定のアプリケーションが起動したときに本処理を実行する。

ステップＳＴ４０１〜ＳＴ４０６までの処理は、上述したステップＳＴ２０１〜ＳＴ２０６の処理と同様であるため、その説明を省略する。
（ステップＳＴ４０７）顔判定制御部１０４は、撮像画像にいる被写体の人物の顔認識範囲を検出し、当該人物を特定する。その後、ステップＳＴ４０８の処理に進む。

（ステップＳＴ４０８）記録制御部１０２ａは、ステップＳＴ４０７において特定した人物に対応する情報処理装置１ａから取得した生体情報を当該人物の顔認識範囲に対応付けて撮像情報記憶部１１４に書き込んで記憶する。また、記録制御部１０２ａは、ステップＳＴ４０４において取得した環境情報を撮像画像に対応付けて撮像情報記憶部１１４に書き込んで記憶する。その後、ステップＳＴ４０９の処理に進む。
（ステップＳＴ４０９）表示制御部１０３は、撮像情報記憶部１１４に記憶された撮像画像に、当該撮像画像に対応付けられた生体情報に基づく付加情報と、当該撮像画像に対応付けられた環境情報に基づく付加情報とを付加してデータ付加画像を生成する。このとき、表示制御部１０３は、生体情報に対応する顔認識範囲の近傍に当該生体情報に基づく付加情報を付加する。その後、ステップＳＴ４１０の処理に進む。
（ステップＳＴ４１０）表示制御部１０３は、生成したデータ付加画像を表示部１２０に表示する。その後、処理を終了する。

図１０は、本発明の第２の実施形態に係る情報処理装置１ａが生成するデータ付加画像１０００の一例を示すイメージ図である。データ付加画像１０００には、撮像画像１００１と、環境情報に基づく付加情報１００２と、撮像画像１００１にいる被写体の生体情報に基づく付加情報１００３Ａ〜Ｃとが含まれる。なお、撮像画像１００１には、登録者であるひろしＡ、かおりＢ及びあいこＣが被写体として含まれる。

図示する例では、データ付加画像１０００には、環境情報に基づく付加情報１００２として、気温「２６℃」と、湿度「６０％」と、風速「１０ｍ」と、天気「曇りのち晴れ」と、場所「東京 ○○山頂上付近」とが含まれる。表示制御部１０３は、撮像画像１００１に対応付けられた環境情報に基づいて、付加情報１００２を生成する。

また、データ付加画像１０００には、ひろしＡの生体情報に基づく付加情報「ひろしまだまだ元気！」１００３ＡがひろしＡの顔認識範囲ＦＡ近傍に配置されている。また、かおりＢの生体情報に基づく付加情報「かおりほんとはお疲れ」１００３ＢがかおりＢの顔認識範囲ＦＢ近傍に配置されている。また、あいこＣの生体情報に基づく付加情報「あいこちょっとおつかれ」１００３ＣがあいこＣの顔認識範囲ＦＣ近傍に配置されている。表示制御部１０３は、各登録者Ａ〜Ｃの顔認識範囲ＦＡ，ＦＢ，ＦＣに対応付けられた生体情報に基づいて付加情報１００３Ａ，１００３Ｂ，１００３Ｃを生成し、生成した付加情報１００３Ａ，１００３Ｂ，１００３Ｃを対応する顔認識範囲ＦＡ，ＦＢ，ＦＣの近傍に配置する。

このように、本実施形態によれば、第１の実施形態における構成に加えて、情報処理装置１ａは、顔特徴データと情報処理装置１ａの機器情報とを対応付けた登録情報を人物毎に記憶する登録情報記憶部１１２ａと、カメラ１４が撮像した撮像画像から人物の顔を表す顔認識範囲を判定し、判定した顔認識範囲内の画像と登録情報記憶部１１２ａに記憶された顔特徴データとに基づいて人物を特定する顔判定制御部１０４とを備え、記録制御部１０２ａは、登録情報記憶部１１２ａに記憶された機器情報に基づいて顔判定制御部１０４が特定した人物の情報処理装置１ａを特定し、特定した情報処理装置１ａから取得した生体情報を顔判定制御部１０４が判定した顔認識範囲と対応付けて撮像情報記憶部１１４に記憶する。これにより、本実施形態によれば、情報処理装置１ａは、第１の実施形態における効果に加えて、データ付加画像において、各被写体の生体情報に基づく付加情報を被写体の顔認識範囲の近傍に配置することができる。よって、情報処理装置１ａは、より撮像時の状況を想起させることができるデータ付加画像を生成することができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。図１１は、本発明の第３の実施形態に係る情報処理システムＳ３の構成の一例を示す概略ブロック図である。本実施形態における情報処理システムＳ３は、第１の実施形態における情報処理システムＳ１の構成に加えて、接続コントロールサーバ３を備える。接続コントロールサーバ３は、情報処理装置１間の接続を制御するサーバ装置である。情報処理システムＳ３の他の構成は、第１の実施形態における情報処理システムＳ１と同様であるため、その説明を省略する。

第１の実施形態では、情報処理装置１がアドバタイズパケットを周囲にいる他の情報処理装置１に送信することにより、他の情報処理装置１と通信を確立しているが、本実施形態では、撮像する情報処理装置１が撮像を開始することを通知する撮像開始メッセージを接続コントロールサーバ３に送信し、接続コントロールサーバ３が他の情報処理装置１にコネクションを開始させることにより、情報処理装置１間の接続を確立させる点で異なる。

次に、情報処理システムＳ３の動作を説明する。図１２は、本発明の第３の実施形態に係る情報処理システムＳ３の動作を示すシーケンス図である。以下、情報処理装置１Ｂが被写体を撮像する場合を例に説明する。

（ステップＳＴ５０１）情報処理装置１Ｂは、ユーザの操作入力により所定のアプリケーションが起動すると、カメラ１４を起動する。その後、ステップＳＴ５０２の処理に進む。
（ステップＳＴ５０２）情報処理装置１Ｂは、カメラ１４の撮像を開始することを通知する撮像開始メッセージを接続コントロールサーバ３に送信する。

（ステップＳＴ５０３）接続コントロールサーバ３は、撮像開始メッセージを受信すると、情報処理装置１Ｂの周囲にいる情報処理装置１Ａにブルートゥースの接続を開始させるためのコネクション開始メッセージを送信する。その後、ステップＳＴ５０４の処理に進む。
（ステップＳＴ５０４）接続コントロールサーバ３は、撮像開始メッセージを受信すると、情報処理装置１Ｂの周囲にいる情報処理装置１Ｃにコネクション開始メッセージを送信する。

（ステップＳＴ５０５）情報処理装置１Ｂは、撮像開始メッセージ送信後に、ブルートゥースをスキャンモードで起動して、他の情報処理装置１との接続を開始する。
（ステップＳＴ５０６）情報処理装置１Ａは、ブルートゥースをアドバタイズモードで起動し、接続要求待ちの状態になる。
（ステップＳＴ５０７）情報処理装置１Ｃは、ブルートゥースをアドバタイズモードで起動し、接続要求待ちの状態になる。

ステップＳＴ５０８〜ＳＴ５１７の処理は、上述したステップＳＴ１０８〜ＳＴ１１７の処理と同様であるため、その説明を省略する。また、情報処理装置１が実行する情報処理は、第１の実施形態または第２の実施形態と同様であるため、その説明を省略する。

このように、本実施形態によれば、情報処理システムＳ３は、第１の実施形態または第２の実施形態における構成に加えて、情報処理装置１間の接続を制御する接続コントロールサーバ３を備える。これにより、情報処理装置１におけるアドバタイズモード（ステップＳＴ１０１〜ＳＴ１０６）の処理を省略することができ、情報処理装置１の処理負荷を軽減して電力消費を低減することができる。

なお、上述した実施形態における情報処理装置１，１ａの一部、例えば、制御部１００，１００ａをコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、情報処理装置１，１ａに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

例えば、上述した実施形態では、情報処理装置１，１ａは、ブルートゥースにより健康機器２と通信接続しているが、これに限らず、ＮＦＣ、無線ＬＡＮなどのその他の無線通信、あるいは、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ；ユーエスビー）やシリアル（例えば、ＵＡＲＴ（ＵｎｉｖｅｒｓａｌＡｓｙｎｃｈｒｏｎｏｕｓＲｅｃｅｉｖｅｒＴｒａｎｓｍｉｔｔｅｒ））などの有線通信により健康機器２と通信を行ってもよい。また、情報処理装置１，１ａは、ブルートゥースにより他の情報処理装置１，１ａと通信接続しているが、これに限らず、３Ｇ（第３世代）回線、４Ｇ回線、ＷｉＭＡＸ（ＷｏｒｌｄｗｉｄｅＩｎｔｅｒｏｐｅｒａｂｉｌｉｔｙｆｏｒＭｉｃｒｏｗａｖｅＡｃｃｅｓｓ；ワイマックス）、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）などのその他の無線通信、あるいは、インターネットなどの有線通信により他の情報処理装置１，１ａと通信を行ってもよい。

（１）生体の状態を測定する生体測定機器から生体の状態を示す生体情報を取得する第１の生体情報取得部と、近距離にいる他の情報処理装置と通信する通信部と、通信部を介して他の情報処理装置から生体情報を取得する第２の生体情報取得部と、被写体を撮像する撮像部と、撮像部が撮像した撮像画像に、第１の生体情報取得部または第２の生体情報取得部が取得した被写体の生体情報を対応付けて撮像情報記憶部に記憶する記録制御部と、を備えることを特徴とする情報処理装置。

（２）顔特徴データを人物毎に記憶する登録情報記憶部と、撮像部が撮像した撮像画像から人物の顔を表す顔認識範囲を判定し、判定した顔認識範囲内の画像と登録情報記憶部に記憶された顔特徴データとに基づいて人物を特定する顔判定制御部と、を備え、記録制御部は、顔判定制御部が特定した人物の情報処理装置から取得した生体情報を顔判定制御部が判定した顔認識範囲と対応付けて撮像情報記憶部に記憶することを特徴とする（１）に記載の情報処理装置。

（３）撮像情報記憶部に記憶した撮像画像に、当該撮像画像に対応付けられた生体情報に基づく付加情報を付加して表示部に表示させる表示制御部と、を備えることを特徴とする（１）または（２）に記載の情報処理装置。

（４）情報処理装置における情報処理方法であって、生体の状態を測定する生体測定機器から生体の状態を示す生体情報を取得する第１の生体情報取得過程と、近距離にいる他の情報処理装置と通信する通信部を介して他の情報処理装置から生体情報を取得する第２の生体情報取得過程と、被写体を撮像する撮像過程と、撮像過程が撮像した撮像画像に、第１の生体情報取得過程または第２の生体情報取得過程が取得した被写体の生体情報を対応付けて撮像情報記憶部に記憶する記録制御過程と、を有することを特徴とする情報処理方法。

（５）情報処理装置のコンピュータに、生体の状態を測定する生体測定機器から生体の状態を示す生体情報を取得する第１の生体情報取得ステップと、近距離にいる他の情報処理装置と通信する通信部を介して他の情報処理装置から生体情報を取得する第２の生体情報取得ステップと、被写体を撮像する撮像ステップと、撮像ステップが撮像した撮像画像に、第１の生体情報取得ステップまたは第２の生体情報取得ステップが取得した被写体の生体情報を対応付けて撮像情報記憶部に記憶する記録制御ステップと、を実行させるための情報処理プログラム。

Ｓ１，Ｓ３・・・情報処理システム、１，１ａ・・・情報処理装置、２・・・健康機器、３・・・接続コントロールサーバ、１００，１００ａ・・・制御部、１０１・・・ネットワーク制御部、１０２，１０２ａ・・・記録制御部、１０３・・・表示制御部、１０４・・・顔判定制御部、１０５・・・顔特徴データ生成制御部、１１０，１１０ａ・・・記憶部、１１１・・・画像データ記憶部、１１２，１１２ａ・・・登録情報記憶部、１１３・・・生体情報記憶部、１１４・・・撮像情報記憶部、１１５・・・顔特徴データ記憶部、１２０・・・表示部、１３０・・・入力部、１４０，１４０ａ・・・カメラ機能部、１４１・・・シャッタ検出部、１４２・・・顔検出部、１５０・・・環境情報センサ、１６０・・・ＧＰＳセンサ、１７０・・・ネットワーク通信部

Claims

生体の状態を測定する生体測定機器から前記生体の状態を示す生体情報を取得する第１の生体情報取得部と、
近距離にいる他の情報処理装置と通信する通信部と、
前記通信部を介して前記他の情報処理装置から生体情報を取得する第２の生体情報取得部と、
被写体を撮像する撮像部と、
前記撮像部が撮像した撮像画像に、前記第１の生体情報取得部または前記第２の生体情報取得部が取得した前記被写体の生体情報を対応付けて撮像情報記憶部に記憶する記録制御部と、
を備えることを特徴とする情報処理装置。
顔特徴データを人物毎に記憶する登録情報記憶部と、
前記撮像部が撮像した撮像画像から人物の顔を表す顔認識範囲を判定し、判定した顔認識範囲内の画像と前記登録情報記憶部に記憶された顔特徴データとに基づいて人物を特定する顔判定制御部と、
を備え、
前記記録制御部は、前記顔判定制御部が特定した人物の情報処理装置から取得した生体情報を前記顔判定制御部が判定した顔認識範囲と対応付けて撮像情報記憶部に記憶する
ことを特徴とする請求項１に記載の情報処理装置。
前記撮像情報記憶部に記憶した撮像画像に、当該撮像画像に対応付けられた生体情報に基づく付加情報を付加して表示部に表示させる表示制御部と、
を備えることを特徴とする請求項１または２に記載の情報処理装置。
情報処理装置における情報処理方法であって、
生体の状態を測定する生体測定機器から前記生体の状態を示す生体情報を取得する第１の生体情報取得過程と、
近距離にいる他の情報処理装置と通信する通信部を介して前記他の情報処理装置から生体情報を取得する第２の生体情報取得過程と、
被写体を撮像する撮像過程と、
前記撮像過程が撮像した撮像画像に、前記第１の生体情報取得過程または前記第２の生体情報取得過程が取得した前記被写体の生体情報を対応付けて撮像情報記憶部に記憶する記録制御過程と、
を有することを特徴とする情報処理方法。
情報処理装置のコンピュータに、
生体の状態を測定する生体測定機器から前記生体の状態を示す生体情報を取得する第１の生体情報取得ステップと、
近距離にいる他の情報処理装置と通信する通信部を介して前記他の情報処理装置から生体情報を取得する第２の生体情報取得ステップと、
被写体を撮像する撮像ステップと、
前記撮像ステップが撮像した撮像画像に、前記第１の生体情報取得ステップまたは前記第２の生体情報取得ステップが取得した前記被写体の生体情報を対応付けて撮像情報記憶部に記憶する記録制御ステップと、
を実行させるための情報処理プログラム。