以下、図面を参照しながら本発明の実施形態について詳しく説明する。
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係る情報処理システムS1の構成の一例を示す概略ブロック図である。本図に示すように、情報処理システムS1は、複数の健康機器1と、複数の情報処理装置2と、サーバ装置3と、を含んで構成される。
健康機器1は、生体の状態を測定する生体測定機器であり、例えば、歩数計、活動量計、体重計、体組成計、血圧計、心拍計、体温計などである。健康機器1は、ブルートゥース(Bluetooth(登録商標))などの通信路を介して、測定した生体の状態を示す生体データを情報処理装置2に送信する。なお、本例では、健康機器1として、活動量を測定する活動量計1aと、心拍を測定する心拍計1bと、歩数及び移動距離を測定する歩数計1cとを示している。
情報処理装置2は、スマートフォン、タブレット、パーソナルコンピュータ、デジタルカメラなどである。情報処理装置2は、健康機器1と通信接続を確立して、健康機器1から当該健康機器1により測定された生体の状態を示す生体データを取得し、取得した生体データを記憶する。また、情報処理装置2は、周囲の環境の状態を検出し、検出した状態を示す環境データと、取得した生体データとを含む生体・環境データをサーバ装置3に送信する。また、情報処理装置2は、被写体を撮像し、撮像した撮像画像(動画像データまたは静止画像データ)をサーバ装置3に送信する。
サーバ装置3は、インターネットなどの通信路を介して、情報処理装置2に通信接続されている。なお、サーバ装置3には、複数の情報処理装置2が通信接続されていてもよい。サーバ装置3は、複数ある情報処理装置2それぞれから受信した生体・環境データを記憶管理する。サーバ装置3は、情報処理装置2から撮像画像を受信すると、受信した撮像画像に、被写体の生体データと撮像画像を撮像した撮像者の環境データとに基づく付加情報を付加したデータ付加画像(動画像データまたは静止画像データ)を生成する。そして、サーバ装置3は、生成したデータ付加画像を撮像者の情報処理装置2と被写体の情報処理装置2とに送信する。
次いで、情報処理装置2について説明する。図2は、本発明の第1の実施形態に係る情報処理装置2の構成の一例を示す概略ブロック図である。情報処理装置2は、制御部200と、記憶部210と、表示部220と、入力部230と、カメラ機能部240と、環境情報センサ250と、GPS(Global Positioning System)センサ260と、ネットワーク通信部270と、を含んで構成される。
制御部200は、CPU(Central Processing Unit;中央演算処理装置)を備え、記憶部210が記憶するプログラムを実行することで、情報処理装置2の各部を制御する。制御部200は、生体データ取得部201と、生体・環境データ送信部202と、データ付加画像取得部203と、を含んで構成される。生体データ取得部201は、ネットワーク通信部270を介して、所定のタイミング(例えば、所定時間毎)に、健康機器1に生体データを要求する要求データを送信して健康機器1から生体データを受信する。生体データ取得部201は、受信した生体データを生体情報記憶部211に書き込んで記憶する。生体・環境データ送信部202は、生体データ取得部201が受信した生体データと、環境情報センサ250及びGPSセンサ260が検出する環境データとを含む生体・環境データをサーバ装置3に送信する。環境データは、周囲の環境の状態を示すデータであり、例えば、気温、湿度または現在位置情報等である。データ付加画像取得部203は、撮像部242が撮像した撮像画像に、環境データと当該撮像画像の被写体の生体データとに基づく付加情報が付加されたデータ付加画像を取得する。具体的には、データ付加画像取得部203は、撮像部242が撮像した撮像画像と、顔認識部243が特定した撮像画像の被写体の認証データとを含む撮像通知をサーバ装置3に送信する。認証データは被写体の識別情報である。そして、データ付加画像取得部203は、環境データと被写体の生体データとに基づく付加情報が撮像画像に付加されたデータ付加画像をサーバ装置3から受信する。
記憶部210は、RAM(Random Access Memory;ランダムアクセスメモリ)、マスクROM(Read Only Memory:ロム)、FeRAM(Ferroelectric Randam Access Memory:強誘電体メモリ)、フラッシュメモリ、メモリカード、ハードディスク、SSD(Solid State Drive;ソリッドステートドライブ)などのメモリであり、制御部200が実行するプログラムおよび制御部200が当該プログラムを実行する際に必要となるデータを記憶する。当該プログラムには、アプリケーションやミドルウェアデバイスドライバ、オペレーションシステムなども含まれる。記憶部210は、生体情報記憶部211と、撮像情報記憶部212と、画像データ記憶部213と、登録情報記憶部214と、を含んで構成される。生体情報記憶部211は、各健康機器1から取得した生体データを記憶する。撮像情報記憶部212は、環境情報センサ250及びGPSセンサ260が検出した環境データを記憶する。画像データ記憶部213は、撮像部242が撮像した撮像画像を記憶する。登録情報記憶部214は、各ユーザに関する登録情報を記憶する。登録情報には、ユーザ登録情報及び健康機器登録情報がある。ユーザ登録情報は、ユーザの名前やユーザの顔情報(ユーザの顔を示す画像データ)などのユーザに関する情報である。健康機器登録情報は、ユーザの使用する健康機器1に関する情報である。
表示部220は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、プラズマディスプレイなどの表示装置を備え、画像を表示する。入力部230は、タッチパネル、入力キー、マウス、音声入力装置など、ユーザによる入力操作を受け付ける入力デバイスである。
カメラ機能部240は、被写体を撮像するカメラに関する機能を実行する。カメラ機能部240は、シャッタ検出部241と、撮像部242と、顔認識部243と、を含んで構成される。シャッタ検出部241は、撮像を指示するシャッタボタンが入力を受け付けたことを検出する。撮像部242は、シャッタ検出部241がシャッタボタンの入力を検出すると、被写体を撮像して撮像画像を生成し、生成した撮像画像を制御部200に出力する。顔認識部243(特定部)は、登録情報記憶部214が記憶するユーザの顔情報を用いて、パターンマッチング等の顔認識技術により撮像部242が撮像する被写体(ユーザ)を特定する。
環境情報センサ250(環境情報検出部)は、周囲の環境の状態を検出するセンサであり、例えば、温度計や湿度計などである。GPSセンサ260は、GPSにより現在位置情報を検出するセンサである。ネットワーク通信部270は、健康機器1またはサーバ装置3との間で通信を行う。例えば、ネットワーク通信部270は、無線LAN(Local Area Network;ローカルエリアネットワーク)によりサーバ装置3と通信を行う。また、ネットワーク通信部270は、ブルートゥースにより健康機器1と通信を行う。なお、ネットワーク通信部270は、3G(第3世代)回線、4G回線、WiMAX(Worldwide Interoperability for Microwave Access;ワイマックス)、LTE(Long Term Evolution)などのその他の無線通信、あるいは、インターネットなどの有線通信によりサーバ装置3と通信を行ってもよい。また、ネットワーク通信部270は、NFC(Near Field Communication;近距離通信)、無線LANなどのその他の無線通信、あるいは、USB(Universal Serial Bus;ユーエスビー)やシリアル(例えば、UART(Universal Asynchronous Receiver Transmitter))などの有線通信により健康機器1と通信を行ってもよい。
図3は、本発明の第1の実施形態に係る情報処理装置2が表示する登録画面500の一例を示すイメージ図である。登録画面500は、ユーザの登録情報を登録するための画面である。情報処理装置2の制御部200は、登録画面500において、ユーザの登録情報の入力を受け付ける。また、制御部200は、登録画面500において入力を受け付けた登録情報を登録情報記憶部214に書き込んで記憶する。
図示するように、登録画面500では、ユーザの名前501、ユーザの顔情報502及びユーザの使用する健康機器1に関する情報503の登録の入力を受け付ける。健康機器1に関する情報は、ウェアラブルデバイスと、Devicenameと、取得可能値との項目を有する。ウェアラブルデバイスは、健康機器1の種別である。Devicenameは、健康機器1の名称である。取得可能値は、健康機器1が測定する生体データから取得可能な値である。また、登録画面500には、登録された顔情報の画像504が表示される。
図示する例では、ユーザ登録情報として、名前「父親」と、顔情報「顔_父親」とが登録されている。健康機器1に関する情報の1行目は、ウェアラブルデバイスが心拍計1であり、DevicenameがAAAであり、取得可能値が心拍及びストレスである。また、2行目は、ウェアラブルデバイスが活動量計1であり、DevicenameがBBBであり、取得可能値が活動量(単位はkcal)である。3行目は、ウェアラブルデバイスが歩数計1であり、DevicenameがCCCであり、取得可能値が歩数(単位は歩)及び距離(単位はm(メートル))である。
次いで、サーバ装置3について説明する。図4は、本発明の第1の実施形態に係るサーバ装置3の構成の一例を示す概略ブロック図である。サーバ装置3は、制御部300と、記憶部310と、表示部320と、入力部330と、通信部340と、を含んで構成される。制御部300は、CPUを備え、記憶部210が記憶するプログラムを実行することで、情報処理装置2の各部を制御する。制御部300は、情報処理装置2から登録情報を受信すると、受信した登録情報を記憶部310に書き込んで記憶する。制御部300は、情報処理装置2から生体・環境データを受信すると、受信した生体・環境データを記憶部310に書き込んで記憶する。また、制御部300は、情報処理装置2から撮像画像を受信すると、当該情報処理装置2に対応する環境データと撮像画像の被写体の生体データとを記憶部310から読み出し、読み出した環境データ及び生体データに基づく付加情報を撮像画像に付加してデータ付加画像を生成する。そして、制御部300は、生成したデータ付加画像を撮像者の情報処理装置2と被写体の情報処理装置2とに送信する。
記憶部310は、RAM、マスクROM、FeRAM、フラッシュメモリ、メモリカード、ハードディスク、SSDなどのメモリであり、制御部300が実行するプログラムおよび制御部300が当該プログラムを実行する際に必要となるデータを記憶する。当該プログラムには、アプリケーションやミドルウェアデバイスドライバ、オペレーションシステムなども含まれる。記憶部310は、複数の情報処理装置2それぞれから受信した各ユーザの生体・環境データを記憶する。また、記憶部310は、複数の情報処理装置2それぞれから受信した各ユーザの登録情報を記憶する。
表示部320は、液晶ディスプレイ、有機ELディスプレイ、プラズマディスプレイなどの表示装置を備え、画像を表示する。入力部330は、タッチパネル、入力キー、マウス、音声入力装置など、ユーザによる入力操作を受け付ける入力デバイスである。通信部340は、情報処理装置2と通信する。
図5は、本発明の第1の実施形態に係るサーバ装置3が記憶する生体・環境データの一例を示す概略図である。図示するように、生体・環境データは、ユーザ名と、端末IDと、生体・環境テーブルとを有するデータである。サーバ装置3の記憶部310は、生体・環境データをユーザ毎に記憶している。ユーザ名は、ユーザの名称である。端末IDは、ユーザの使用する情報処理装置2の識別情報である。生体・環境テーブルは、データ名と、単位と、測定データと、測定日時と、の各項目の列を有する行と列からなる2次元の表形式のデータである。データ名は、生体データまたは環境データの名称である。単位は、データの単位である。測定データは、測定した値である。測定日時は、測定した日時である。
図示する例では、ユーザ名がAであり、端末IDが090111111である。また、生体・環境テーブルの1行目は、データ名が消費カロリであり、単位がkcalであり、測定データが800であり、測定日時が2014/12/22 11:11:11である。2行目は、データ名が消費カロリであり、単位がkcalであり、測定データが900であり、測定日時が2014/12/22 12:11:11である。3行目は、データ名が歩数であり、単位が歩であり、測定データが3000であり、測定日時が2014/12/22 11:11:11である。4行目は、データ名が歩数であり、単位が歩であり、測定データが4000であり、測定日時が2014/12/22 12:11:11である。5行目は、データ名が心拍数であり、単位がbmpであり、測定データが20141222111111.logであり、測定日時が2014/12/22 11:11:11−2014/12/22 12:11:11である。6行目は、データ名が心拍数であり、単位がbmpであり、測定データ及び測定日時は記録されていない。本例に示すように、心拍数のように連続して送信されてくるデータは、データの取得開始と終了日時を記録してファイルに管理する。7行目は、データ名が気温であり、単位が℃であり、測定データが21であり、測定日時が2014/12/22 11:11:11である。8行目は、データ名が気温であり、単位が℃であり、測定データが23であり、測定日時が2014/12/22 12:11:11である。9行目は、データ名が現在位置であり、単位が経緯度であり、測定日時が2014/12/22 11:11:11である。8行目は、データ名が現在位置であり、単位が経緯度であり、測定日時が2014/12/22 12:11:11である。
図6は、本発明の第1の実施形態に係るサーバ装置3が生成するデータ付加画像600の一例を示すイメージ図である。データ付加画像600には、撮像画像601と、撮像画像601を撮像した情報処理装置2に対応する環境データ602に基づく付加情報と、撮像画像601にいる被写体の生体データに基づく付加情報603とが含まれる。
図示する例では、データ付加画像600には、環境データ602に基づく付加情報として、気温「26℃」と、湿度「60%」と、風速「10m」と、天気「曇りのち晴れ」と、場所「東京 ○○山 頂上付近」とが含まれる。サーバ装置3の制御部300は、撮像者の生体・環境データにある最新の気温を記憶部310から読み出す。また、制御部300は、記憶部310が記憶している撮像者の生体・環境データにある最新の現在位置に基づいて、湿度、風速、天気、及び場所を特定する。そして、制御部300は、読み出した気温と、特定した湿度、風速、天気、及び場所とを含む付加情報を生成して撮像画像601に付加する。
また、データ付加画像600には、被写体の生体データに基づく付加情報603として、撮像画像601にいる子供Aの心拍「60」と、ストレス「あり」と、活動量「CCC」と、歩数「8000歩」と、距離「2000m」とが含まれる。また、被写体の生体データに基づく付加情報603として、撮像画像601にいる父親の心拍「90」と、ストレス「なし」と、活動量「AAA」と、歩数「4000歩」と、距離「2000m」とが含まれる。サーバ装置3の制御部300は、各被写体の生体・環境データにある最新の心拍数と、歩数と、距離とを記憶部310から読み出す。また、制御部300は、記憶部310が記憶している被写体の生体・環境データにある心拍数に基づいてストレスの「あり」または「なし」を判定する。例えば、サーバ装置3は、心拍数が所定の範囲内にあるときはストレス「なし」と判定し、心拍数が所定の範囲外にあるときはストレス「あり」と判定する。また、制御部300は、記憶部310が記憶している被写体の生体・環境データにある消費カロリに基づいて活動量を特定する。また、制御部300は、記憶部310が記憶している被写体の生体・環境データの歩数に基づいて、距離(ユーザの移動距離)を算出する。そして、制御部300は、読み出した心拍数と、判定したストレスと、特定した活動量と、読み出した歩数と、算出した距離とを含む付加情報を生成して撮像画像601に付加する。
次に、情報処理システムS1の動作を説明する。以下、説明の便宜を図るため、被写体を撮像する撮像者の情報処理装置2を撮像者情報処理装置2Aと称し、被写体の情報処理装置2を被写体情報処理装置2Bと称する。また、撮像者の健康機器1を撮像者健康機器1Aと称し、被写体の健康機器1を被写体健康機器1Bと称する。
図7は、本発明の第1の実施形態に係る情報処理システムS1の動作を示すシーケンス図である。撮像者情報処理装置2Aは、登録画面において、ユーザ登録情報が入力されると、入力されたユーザ登録情報をサーバ装置3に送信する(ステップST101)。同様に、被写体情報処理装置2Bは、登録画面において、ユーザ登録情報が入力されると、入力されたユーザ登録情報をサーバ装置3に送信する(ステップST102)。また、撮像者情報処理装置2Aは、登録画面において、健康機器登録情報が入力されると、入力された健康機器登録情報をサーバ装置3に送信する(ステップST103)。同様に、被写体情報処理装置2Bは、登録画面において、健康機器登録情報が入力されると、入力された健康機器登録情報をサーバ装置3に送信する(ステップST104)。サーバ装置3は、撮像者情報処理装置2A及び被写体情報処理装置2Bから受信したユーザ登録情報及び健康機器登録情報を記憶する。ステップST101〜ST104までの処理が、初期設定である。
図8は、本発明の第1の実施形態に係る情報処理システムS1の動作を示すシーケンス図である。情報処理装置2は、所定のタイミングになると、生体データを要求する要求データを健康機器1に送信する。撮像者健康機器1Aは、撮像者情報処理装置2Aから要求データを受信すると、測定した生体データを撮像者情報処理装置2Aに送信する(ステップST201)。撮像者情報処理装置2Aは、生体データを受信すると、当該生体データと環境情報センサ250及びGPSセンサ260が検出する環境データとを含む生体・環境データを生成し、生成した生体・環境データをサーバ装置3に送信する(ステップST202)。被写体健康機器1Bは、被写体情報処理装置2Bから要求データを受信すると、測定した生体データを被写体情報処理装置2Bに送信する(ステップST203)。被写体情報処理装置2Bは、生体データを受信すると、当該生体データと環境情報センサ250及びGPSセンサ260が検出する環境データとを含む生体・環境データを生成し、生成した生体・環境データをサーバ装置3に送信する(ステップST204)。
撮像者情報処理装置2Aは、ユーザの操作入力により所定のアプリケーションが起動し撮像部242が撮像を開始すると、撮像されている被写体のユーザを特定する。具体的には、撮像者情報処理装置2Aの顔認識部243は、登録情報記憶部214が記憶している各ユーザの顔情報を用いてパターンマッチング等の顔認識技術により、撮像部242が撮像しているユーザを特定する。そして、撮像者情報処理装置2Aは、特定したユーザの被写体情報処理装置2Bにデータ取得用認証を送信する(ステップST205)。データ取得用認証は、被写体となるユーザの生体・環境データを取得する許可を要求するデータである。被写体情報処理装置2Bは、データ取得用認証を受信すると、当該データ取得用認証に対する応答を撮像者情報処理装置2Aに送信する(ステップST206)。データ取得用認証に対する応答は、生体・環境データの取得を許可する(OK)または許可しない(NG)を示すデータである。本例では、データ取得用認証の応答はOKである。
撮像者情報処理装置2Aは、入力部230がシャッタボタンの入力を受け付けると、被写体を撮像して撮像画像を生成する(ステップST207)。続いて、撮像者情報処理装置2Aは、撮像通知をサーバ装置3に送信する(ステップST208)。撮像通知は、撮像画像と被写体情報処理装置2Bの認証データとを含むデータである。サーバ装置3は、撮像通知を受信すると、撮像者の環境データと被写体の生体データと撮像通知に含まれる撮像画像とに基づいてデータ付加画像を生成する。そして、サーバ装置3は、生成したデータ付加画像を撮像者情報処理装置2Aに送信する(ステップST209)。続いて、サーバ装置3は、撮像通知に含まれる認証データが示す被写体情報処理装置2Bに、生成したデータ付加画像を送信する(ステップST210)。
図9は、本発明の第1の実施形態に係る情報処理装置2が実行する情報処理の一例を示すフローチャートである。情報処理装置2は、所定のアプリケーションが起動して、撮像部242が撮像を開始したときに本処理を実行する。
ステップST301において、顔認識部243は、登録情報記憶部214が記憶している各ユーザの顔情報を用いてパターンマッチング等の顔認識技術により、撮像部242が撮像しているユーザを特定する。その後、ステップST302の処理に進む。
ステップST302において、制御部200は、顔認識部243が特定した被写体の被写体情報処理装置2Bに、ネットワーク通信部270からデータ取得用認証を送信する。その後、ステップST303の処理に進む。
ステップST303において、制御部200は、入力部230においてシャッタボタンが入力を受け付けたか否かを判定する。シャッタボタンが入力を受け付けたと制御部200が判定した場合にはステップST304の処理に進む。また、シャッタボタンが入力を受け付けていないと制御部200が判定した場合にはステップST303の処理を再度実行する。
ステップST304において、制御部200は、撮像部242により被写体を撮像して撮像画像を生成する。その後、ステップST305の処理に進む。
ステップST305において、制御部200は、ステップST302において送信したデータ取得用認証に対する応答がOKであるかNGであるかを判定する。応答がOKであると制御部200が判定した場合にはステップST306の処理に進む。また、応答がNGであると制御部200が判定した場合にはステップST307の処理に進む。
ステップST306において、制御部200は、撮像画像と被写体の認証データとを含む撮像通知をネットワーク通信部270からサーバ装置3に送信する。その後、ステップST308の処理に進む。
ステップST307において、制御部200は、撮像画像のみを含む撮像通知をネットワーク通信部270からサーバ装置3に送信する。その後、ステップST308の処理に進む。
ステップST308において、制御部200は、ネットワーク通信部270がデータ付加画像をサーバ装置3から受信したか否かを判定する。データ付加画像を受信したと制御部200が判定した場合にはステップST309の処理に進む。また、データ付加画像を受信していないと制御部200が判定した場合にはステップST308の処理を再度実行する。
ステップST309において、制御部200は、受信したデータ付加画像を表示部220に表示する。なお、ステップST302におけるデータ取得用認証に対する応答がOKである場合には、当該データ付加画像には、環境データと被写体の生体データが付加されている。また、ステップST302におけるデータ取得用認証に対する応答がNGである場合には、当該データ付加画像には環境データのみが付加されている。その後、処理を終了する。
このように、本実施形態によれば、情報処理装置2は、サーバ装置3と通信するネットワーク通信部270と、生体の状態を測定する生体測定機器(健康機器1)から生体の状態を示す生体データを受信する生体データ取得部201と、生体データ取得部201が受信した生体データと環境情報センサ250及びGPSセンサ260が検出した環境データとを含む生体・環境データをサーバ装置3に送信する生体・環境データ送信部202と、被写体を撮像する撮像部242と、撮像部242が撮像した撮像画像をサーバ装置3に送信し、被写体の生体データと撮像者の環境データとに基づく付加情報が撮像画像に付加されたデータ付加画像をサーバ装置3から受信して取得するデータ付加画像取得部203と、を備える。サーバ装置3は、情報処理装置2と通信する通信部340と、情報処理装置2から受信した生体・環境データを記憶する記憶部310と、情報処理装置2から撮像画像を受信すると、当該撮像画像の被写体の生体データと撮像者の環境データとを記憶部310から読み出し、読み出した生体データ及び環境データに基づく付加情報を当該撮像画像に付加してデータ付加画像を生成し、生成したデータ付加画像を情報処理装置2に送信する制御部300と、を備える。
これにより、情報処理装置2は、被写体の生体データと撮像者の環境データとに基づく付加情報が撮像画像に付加されたデータ付加画像を取得することができる。よって、撮像者によらず、撮像時の状況を想起させることができるデータを撮影画像に付帯することができる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第2の実施形態における情報処理システムS1の構成は、第1の実施形態における構成と同様であるため、その説明を省略する。第1の実施形態では、撮像者情報処理装置2Aが被写体を特定しているが、本実施形態では、サーバ装置3が撮像画像の被写体を特定する。
本実施形態におけるユーザ登録情報には、データを共有する仲間(ユーザ)がさらに含まれる。情報処理装置2の制御部200は、登録画面において、データを共有する仲間の入力を受け付ける。そして、制御部200は、入力されたデータを共有する仲間を含むユーザ登録情報を登録情報記憶部214に書き込むとともに、サーバ装置3に送信する。
サーバ装置3の制御部300は、情報処理装置2からユーザ登録情報を受信すると、受信したユーザ登録情報を記憶部310に書き込んで記憶する。そして、制御部300は、撮像者情報処理装置2Aから撮像通知を受信すると、当該撮像者情報処理装置2Aに対応するデータを共有する仲間に含まれるユーザの顔情報と現在位置とに基づいて被写体を特定する。例えば、制御部300は、撮像者情報処理装置2Aの近くにいるユーザの顔情報を用いてパターンマッチング等の顔認識技術により被写体を特定する。続いて、制御部300は、特定した被写体の生体データと撮像者の環境データを記憶部310から読み出し、読み出した生体データ及び環境データに基づく付加情報を撮像画像に付加してデータ付加画像を生成する。そして、制御部300は、生成したデータ付加画像を通信部340から撮像者情報処理装置2A及び被写体情報処理装置2Bに送信する。
図10は、本発明の第2の実施形態に係る情報処理システムS1の動作を示すシーケンス図である。なお、本実施形態における初期設定は、第1の実施形態と同様であるため、その説明を省略する。ステップST501〜ST504までの処理は、上述したステップST201〜ST204までの処理と同様であるため、その説明を省略する。
撮像者情報処理装置2Aは、ユーザから入力を受け付けた操作により所定のアプリケーションが起動して撮像部242が撮像を開始し、入力部230がシャッタボタンの入力を受け付けると、被写体を撮像して撮像画像を生成する(ステップST505)。続いて、撮像者情報処理装置2Aは、撮像通知をサーバ装置3に送信する(ステップST506)。当該撮像通知には、撮像画像が含まれる。サーバ装置3は、撮像通知を受信すると、撮像画像の被写体を特定する。続いて、サーバ装置3は、特定した被写体の生体データと撮像者の環境データと撮像通知に含まれる撮像画像とに基づいてデータ付加画像を生成する。そして、サーバ装置3は、生成したデータ付加画像を撮像者情報処理装置2Aに送信する(ステップST507)。続いて、サーバ装置3は、特定した被写体の被写体情報処理装置2Bに、生成したデータ付加画像を送信する(ステップST508)。
このように、本実施形態によれば、第1の実施形態における構成に加えて、サーバ装置3の制御部200は、予め記憶している撮像者に対応するデータを共有する仲間の顔情報と現在位置とに基づいて、撮像画像の被写体を特定し、特定した被写体の生体データ及び撮像者の環境データに基づく付加情報を撮像画像に付加してデータ付加画像を生成する。これにより、本実施形態によれば、第1の実施形態における効果に加えて、撮像者情報処理装置2Aは、被写体を特定して被写体情報処理装置2Bにデータ取得用認証を行う必要がない。すなわち、情報処理装置2における処理負荷を軽減することができる。
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。第3の実施形態における情報処理システムS1の構成は、第1の実施形態における構成と同様であるため、その説明を省略する。第1の実施形態では、サーバ装置3は、全ての生体・環境データに基づいてデータ付加画像を生成しているが、本実施形態では、データ付加画像に用いる生体・環境データを予め選択して設定することができる。
情報処理装置2の制御部200は、登録画面において、各生体・環境データを公開(撮像画像に付加する)にするか非公開(撮像画像に付加しない)にするかの選択入力を受け付ける。そして、制御部200は、選択入力を受け付けた公開設定データをユーザ登録情報に含めて登録情報記憶部214に記憶するとともにサーバ装置3に送信する。
サーバ装置3の制御部300は、情報処理装置2からユーザ登録情報を受信すると、受信したユーザ登録情報を記憶部310に書き込んで記憶する。図11は、本発明の第3の実施形態に係るサーバ装置3が記憶する公開設定データの一例を示す概略図である。公開設定データは、ユーザ名と、各生体・環境データの種別(心拍数、ストレス、活動量、歩数及び距離)との各項目を有する行と列からなる2次元の表形式のデータである。各生体・環境データの種別には、公開「○」または非公開「×」が設定されている。
図示する例では、公開設定データの1行目は、ユーザ名が父親であり、心拍数は○であり、ストレスは○であり、活動量は○であり、歩数は○であり、距離は○である。また、2行目は、ユーザ名が母親であり、心拍数は○であり、ストレスは×であり、活動量は○であり、歩数は○であり、距離は○である。また、3行目は、ユーザ名が子供Bであり、心拍数は○であり、ストレスは○であり、活動量は○であり、歩数は○であり、距離は○である。また、4行目は、ユーザ名が子供Bであり、心拍数は○であり、ストレスは○であり、活動量は○であり、歩数は×であり、距離は×である。
サーバ装置3の制御部300は、撮像者情報処理装置2Aから撮像通知を受信すると、撮像画像の被写体の公開設定データと撮像者の公開設定データとを記憶部310から読み出す。続いて、制御部300は、読み出した公開設定データにおいて公開が設定されている被写体の生体データと撮像者の環境データとを記憶部310から読み出す。続いて、制御部300は、読み出した生体データ及び環境データに基づく付加情報を撮像画像に付加してデータ付加画像を生成する。そして、制御部300は、生成したデータ付加画像を通信部340から撮像者情報処理装置2A及び被写体情報処理装置2Bに送信する。
本実施形態における情報処理システムS1の動作は、第1の実施形態または第2の実施形態に示す動作と同様であるため、その説明を省略する。
なお、本実施形態に示す例では、各生体データの公開または非公開を設定できるようにしたが、環境データ(例えば、現在位置等)についても同様に公開または非公開を設定できるようにしてもよい。また、特定のユーザに対して生体・環境データの公開または非公開を設定できるようにしてもよい。
図12は、本発明の第3の実施形態に係るサーバ装置3が記憶する公開設定データの他の例を示す概略図である。サーバ装置3の記憶部310は、ユーザ毎に公開設定データを記憶している。本図には、ユーザAの公開設定データの一例を示している。
図12(A)は、各ユーザ対して生体・環境データの公開または非公開を設定する場合の例である。図示するように、公開設定データは、生体・環境データの種別と、対象となる各ユーザ(B,C,D)との各項目の列を有する行と列からなる2次元の表形式のデータである。各ユーザには、公開「○」または非公開「×」が設定されている。公開「○」は、対応する種別の生体・環境データを、対応するユーザに対して公開することを示す。また、非公開「×」は、対応する種別の生体・環境データを、対応するユーザに対して非公開にすることを示す。図示する例では、公開設定データの1行目は、種別が生年月日であり、Bが○であり、Cが○であり、Dが×である。2行目は、種別が現在位置であり、Bが○であり、Cが○であり、Dが×である。3行目は、種別が心拍数であり、Bが○であり、Cが○であり、Dが○である。4行目は、種別がストレスであり、Bが○であり、Cが○であり、Dが×である。5行目は、種別が歩数であり、Bが○であり、Cが○であり、Dが○である。6行目は、種別が体重であり、Bが○であり、Cが×であり、Dが×である。
このように設定することで、例えば、サーバ装置2は、ユーザAのストレスが高い時にユーザB及びユーザCと一緒に撮像した撮像画像にはユーザAの背景がどんよりとしたもの加工をすることができる。また、サーバ装置2は、ユーザAの生年月日の日にユーザB及びユーザCと一緒に撮像した撮像画像にはユーザAのお誕生日をお祝いする加工をすることができる。また、サーバ装置2は、ユーザAの生年月日及びストレスがユーザDに対して非公開と設定されているため、ユーザDと一緒に撮像した撮像画像には、公開が設定されている生体・環境データのみで加工する。
図12(B)は、各グループ対して生体・環境データの公開または非公開を設定する場合の例である。図示するように、公開設定データは、生体・環境データの種別と、対象となる各グループ(グループ1及びグループ2)との各項目の列を有する行と列からなる2次元の表形式のデータである。各グループには、公開「○」または非公開「×」が設定されている。公開「○」は、対応する種別の生体・環境データを、対応するグループに対して公開することを示す。また、非公開「×」は、対応する種別の生体・環境データを、対応するグループに対して非公開にすることを示す。図示する例では、グループ1に含まれるユーザはE,F,Gであり、グループ2に含まれるユーザはH,Iである。公開設定データの1行目は、種別が生年月日であり、グループ1が○であり、グループ2が×である。2行目は、種別が現在位置であり、グループ1が○であり、グループ2が×である。3行目は、種別が心拍数であり、グループ1が○であり、グループ2が○である。4行目は、種別がストレスであり、グループ1が○であり、グループ2が×である。5行目は、種別が歩数であり、グループ1が○であり、グループ2が○である。6行目は、種別が体重であり、グループ1が×であり、グループ2が×である。
このように、本実施形態によれば、第1の実施形態または第2の実施形態における構成に加えて、情報処理装置2の制御部200は、各生体・環境データの公開または非公開の選択入力を受け付け、選択入力を受け付けた公開設定データをユーザ登録情報に含めてサーバ装置3に送信する。サーバ装置3の制御部300は、公開設定データにおいて公開に設定されている生体・環境データのみに基づいた付加情報を撮像画像に付加してデータ付加画像を生成する。これにより、本実施形態によれば、第1の実施形態または第2の実施形態における効果に加えて、ユーザは公開したい生体・環境データのみ用いて撮像画像に付加情報を付加することができる。
なお、上述した実施形態における情報処理装置2またはサーバ装置3の一部、例えば、制御部200または制御部300をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、情報処理装置2またはサーバ装置3に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、サーバ装置3がデータ付加画像を生成して撮像者情報処理装置2A及び被写体情報処理装置2Bに送信しているが、これに限らず、撮像者情報処理装置2Aがデータ付加画像を生成して被写体情報処理装置2Bに送信してもよい。この場合、撮像者情報処理装置2Aは、データ取得用認証時に被写体情報処理装置2Bから被写体の生体データを受信し、受信した生体データに基づいてデータ付加画像を生成する。
また、上述した実施形態では、情報処理装置2は、予め設定された所定のタイミングに生体・環境データをサーバ装置3に送信しているが、これに限らず、サーバ装置3に生体・環境データを送信するタイミングは、撮像画像の送信時であってもよい。
また、上述した実施形態では、サーバ装置3はデータ付加画像を生成すると、情報処理装置2にデータ付加画像を送信しているが、これに限らず、サーバ装置3は生成したデータ付加画像を記憶し、情報処理装置2から要求を受信したときに、記憶したデータ付加画像を情報処理装置2に送信してもよい。これにより、情報処理装置2は、任意のタイミングでデータ付加画像を取得することができる。
(1)生体の状態を測定する生体測定機器から生体の状態を示す生体データを取得する生体データ取得部と、被写体を撮像する撮像部と、撮像部が撮像した撮像画像に、被写体の生体データに基づく付加情報が付加されたデータ付加画像を取得するデータ付加画像取得部と、を備えることを特徴とする情報処理装置。
(2)複数ある情報処理装置それぞれから受信した生体データを記憶するサーバ装置と通信する通信部と、生体データ取得部が受信した生体データを前記サーバ装置に送信する生体データ送信部と、をさらに備え、データ付加画像取得部は、撮像画像をサーバ装置に送信し、撮像画像に付加情報が付加されたデータ付加画像をサーバ装置から受信することを特徴とする(1)に記載の情報処理装置。
(3)複数の情報処理装置とサーバ装置とを備える情報処理システムであって、情報処理装置は、前記サーバ装置と通信する通信部と、生体の状態を測定する生体測定機器から生体の状態を示す生体データを取得する生体データ取得部と、生体データ取得部が取得した生体データをサーバ装置に送信する生体データ送信部と、被写体を撮像する撮像部と、撮像部が撮像した撮像画像をサーバ装置に送信し、撮像画像に被写体の生体データに基づく付加情報が付加されたデータ付加画像をサーバ装置から受信するデータ付加画像取得部と、を備え、サーバ装置は、情報処理装置と通信する通信部と、情報処理装置から受信した生体データを記憶する記憶部と、情報処理装置から撮像画像を受信すると、撮像画像の被写体の生体データを記憶部から読み出し、読み出した生体データに基づく付加情報を撮像画像に付加してデータ付加画像を生成し、生成したデータ付加画像を情報処理装置に送信する制御部と、を備えることを特徴とする情報処理システム。
(4)情報処理装置における情報処理方法であって、生体の状態を測定する生体測定機器から生体の状態を示す生体データを取得する生体データ取得過程と、被写体を撮像する撮像過程と、撮像過程が撮像した撮像画像に、被写体の生体データに基づく付加情報が付加されたデータ付加画像を取得するデータ付加画像取得過程と、を有することを特徴とする情報処理方法。
(5)情報処理装置のコンピュータに、生体の状態を測定する生体測定機器から前記生体の状態を示す生体データを取得する生体データ取得ステップと、被写体を撮像する撮像ステップと、撮像ステップが撮像した撮像画像に、被写体の生体データに基づく付加情報が付加されたデータ付加画像を取得するデータ付加画像取得ステップと、を実行させるための情報処理プログラム。