JP2019047234A

JP2019047234A - 情報処理装置、情報処理方法、およびプログラム

Info

Publication number: JP2019047234A
Application number: JP2017166484A
Authority: JP
Inventors: マムンカジ; Mamun Kazi
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2017-08-31
Filing date: 2017-08-31
Publication date: 2019-03-22
Also published as: US20200250498A1; WO2019044135A1; US11328187B2

Abstract

【課題】撮影画像の被写体別の撮影者の感情を撮像画像に反映させ、撮影の際の臨場感を再現することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】撮像画像から１以上の被写体を認識する認識部と、前記撮像画像に紐付けられた撮影者の視線データと撮影者のセンサデータに基づいて、前記認識した被写体毎における撮影者の感情を推測する推測部と、前記被写体毎の感情を前記撮像画像に反映させる画像処理を行う画像処理部と、を備える、情報処理装置【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。

昨今、デジタルカメラが普及し、取得した撮像画像の閲覧や管理、加工等の様々な技術が提案されている。

撮像画像に関する技術に関し、例えば下記特許文献１では、デジタル画像に対するユーザの情緒的な情報（具体的には、「お気に入り」、「重要」、「恐れ、怒り、幸福等の感情的な分野」）とユーザ識別子を記憶してデジタル画像を分類し、情緒的な情報に基づいたデジタル画像の検索を可能とする技術が開示されている。

また、下記特許文献２では、撮影者の感情分析（具体的には、嬉しい表情か、悲しい表情か）に基づいて、撮像画像全体を明るく、若しくは暗くする画像処理について開示されている。

また、下記特許文献３では、体験者の周囲の体験情報として画像や音声、人体情報（眼球の動き、心拍数、瞬きの回数）、環境情報（加速度、気温、湿度、天気等）を取得、記録し、撮影時の臨場感を再現する装置について開示されている。

特許第４４４１１７２号公報特開２０１２−２５７１１２号公報特開２００３−２９９０１３号公報

ここで、上述した従来技術では、いずれも撮影画像全体に対する撮影者の感情は単一であることが前提とされているが、撮影者の興味対象や感情は撮影画像全体に対する単一のものに限定されず、撮像画像に写る特定の被写体や被写体毎に生じることが考えられる。

そこで、本開示では、撮影画像の被写体別の撮影者の感情を撮像画像に反映させ、撮影の際の臨場感を再現することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。

本開示によれば、撮像画像から１以上の被写体を認識する認識部と、前記撮像画像に紐付けられた撮影者の視線データと撮影者のセンサデータに基づいて、前記認識した被写体毎における撮影者の感情を推測する推測部と、前記被写体毎の感情を前記撮像画像に反映させる画像処理を行う画像処理部と、を備える、情報処理装置を提案する。

本開示によれば、プロセッサが、撮像画像から１以上の被写体を認識することと、前記撮像画像に紐付けられた撮影者の視線データと撮影者のセンサデータに基づいて、前記認識した被写体毎における撮影者の感情を推測することと、前記被写体毎の感情を前記撮像画像に反映させる画像処理を行うことと、を含む、情報処理方法を提案する。

本開示によれば、コンピュータを、撮像画像から１以上の被写体を認識する認識部と、前記撮像画像に紐付けられた撮影者の視線データと撮影者のセンサデータに基づいて、前記認識した被写体毎における撮影者の感情を推測する推測部と、前記被写体毎の感情を前記撮像画像に反映させる画像処理を行う画像処理部と、として機能させるための、プログラムを提案する。

以上説明したように本開示によれば、撮影画像の被写体別の撮影者の感情を撮像画像に反映させ、撮影の際の臨場感を再現することが可能となる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態による情報処理システムの概要について説明する図である。撮影時における肉眼での見え方と実際の撮像画像との印象の違いについて説明する図である。本実施形態による具体的なシステム構成の一例を示す図である。本実施形態による具体的なシステム構成の他の例を示す図である。本実施形態による処理装置の構成の一例を示すブロック図である。本実施形態による撮像画像における被写体の検知について説明する図である。本実施形態による画像処理の一例を示すフローチャートである。本実施形態による本実施形態による画像加工の一例を示す図である。本開示に係る処理装置を実現する情報処理装置のハードウェア構成を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．処理装置２０の構成
３．動作処理
４．画像加工例
５．ハードウェア構成
６．まとめ

＜１．本開示の一実施形態による情報処理システムの概要＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システム１は、入力装置１０、処理装置２０、および表示装置３０（出力装置の一例）を含む。

入力装置１０は、画像データを取得するカメラ１１、撮影者の視線を検出する視線検出センサ１２、および撮影者の状態をセンシングして各種センサデータを取得する１以上のセンサデバイス１３を含む。入力装置１０は、単一の装置により構成されていてもよいし、複数の装置により構成されていてもよい。なお入力装置１０が複数の装置により構成される場合、データ同期用の特別なセンサを各インプットデバイスに搭載してもよい。

カメラ１１は、デジタルカメラやビデオカメラ等のカメラ装置の他、スマートフォンや携帯電話端末、メガネ、ＨＭＤ（ヘッドマウンドディスプレイ）等の各種端末装置に搭載されたカメラであってもよい。カメラ１１は、撮像レンズ、絞り、ズームレンズ、およびフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。

視線検出センサ１２は、撮影者の視線を検出するセンサデバイスであって、例えばカメラ１１に搭載される。視線検出センサ１２は、カメラ１１に対する身体（顔）の位置が固定されている状態で視線を検出できるものが望ましい（例えば、カメラ１１に取り付けられる赤外線視線トラッカー付きのビューファインダーや、撮影用カメラ付きのメガネに搭載される視線検出用内向きカメラなど）。また、視線検出センサ１２は、スマートフォンのフロントカメラ（内向きカメラ）により実現することも可能である。例えばスマートフォンのフロントカメラにより撮影者の顔の輪郭を検出し、また、眼の位置を特定（若しくは撮影者が装着しているメガネの位置を特定、またはメガネのマーカーを検出して特定）し、顔の向きや、眼の動き（瞳孔や虹彩の位置や状態）等を検出して視線を検出（推測）することも可能である。

センサデバイス１３は、生体センサ（動脈センサ、静脈センサ、脈拍センサ、心拍センサ、体温センサ、発汗センサ、血圧センサ、呼吸センサ、筋電センサ、脳波センサ等）、マイクロホン（音声センサ）、カメラセンサ、スマイルセンサ（笑顔検出）、またはモーションセンサ（加速度センサ、ジャイロセンサ、地磁気センサ）などが想定される。スマイルセンサは、撮影者の顔を撮像した撮像画像から顔解析を行い、笑顔指数を検出し得る。具体的には、例えばスマイルセンサは、口の形や眼の状態の解析、機械学習等により、撮影者の笑顔指数（笑顔度）を算出する。センサデバイス１３は、カメラ１１または視線検出センサ１２と一体であってもよいし、単体（例えばユーザが装着するウェアラブルデバイス）であってもよい。また、センサデバイス１３は、ユーザの周辺（撮影環境）に配置されたものであってもよい。例えば、街中に設置された監視カメラ、マイクロホン、生体センサ等が想定される。

（背景）
ここで、写真撮影において肉眼で見えている風景の臨場感を撮像画像に表現することが難しいという問題がある。写真撮影の際、人は特定の被写体に注目して何らかの感情を向けて見ていることで、その被写体が大きく見えるといった現象が生じる。しかし人間の脳内で起きていることであるため、写真には反映されず、結果的に撮影した写真を見ると撮影時に認識していた景色と異なると感じる場合がある。

具体的には、人間の視野は左右に１８０度〜２１０度程度の広がりを持つが、網膜の感受性は中心部（視線方向、すなわち注視箇所）が高く、かかる中心部（「中心視」とも称す）は約２度に過ぎない。撮影時に特定の被写体に注視している場合、人間の視野は超望遠レンズに相当するような範囲となり、無意識的に脳内で被写体にズーム（若しくは周囲をトリミング）し、被写体の存在感を大きく感じるという説がある。一方で、視界内に入っているが注視していない被写体や見たくないと感じているものは、その存在感を小さく感じる現象も起きる（その被写体の存在に気付かないこともある）。

図２は、撮影時における肉眼での見え方と実際の撮像画像との印象の違いについて説明する図である。例えば図２上段に示すように、肉眼で見る街並みの風景６０において、画角内の複数の被写体のうち、ランドマーク６０１に注目して素晴らしい景色だなといったポジティブな感情を持っている場合、ランドマーク６０１の存在感が（他の被写体よりも）無意識的に脳内で大きくなるが、この時撮影した風景６０の撮像画像６１にはこのような撮影者の感情は反映されず、ランドマーク６１１は肉眼の印象よりも小さくなる。

また、図２下段に示すように、月の写真を撮影した際も同様の現象が起こる。肉眼で見る月の風景６３において、画角内の複数の被写体のうち、月６３１に注目して綺麗な景色だなといったポジティブな感情を持っている場合、月６３１の存在感が（他の被写体よりも）無意識的に脳内で大きくなるが、この時撮影した風景６３の撮像画像６４にはこのような撮影者の感情は反映されず、月６４１は肉眼の印象よりも小さくなる。

このように、撮影者の注目度や感情によって画角内の被写体の存在感が大きくなったり小さくなったりするが、写真や動画の再生の時にこのような撮影者の被写体に対する注目度や感情は失われているため、撮影時と印象が変わってしまう。

そこで、本実施形態では、撮影した画像データ（静止画または動画像の撮像データであって、以下「撮像画像」とも称す）と共に、画像データに写る被写体毎の撮影者の注目度や感情に関するデータを記録し、記録したデータに基づいて所定の画像処理を行うことで、撮影者の（肉眼での）見え方（印象）に近付けて再生し、臨場感を再現することを可能とする。なお撮影者の注目度や感情に関するデータは、撮影者が感じる被写体の存在感に影響する要素に関するデータの一例である。

これにより、撮影者が肉眼で見ていた風景と撮影画像との差を小さくすることができ、画像（映像）を見る人の体験を改善することができる。また、撮影者の感情を画像に反映することによって、その人がその時にしか体感できない特別な情景を撮影することができるようになると、写真や動画像の新しい楽しみ方が広がる。

具体的には、図１に示す情報処理システム１において、入力装置１０は、カメラ１１により取得した撮像画像と、視線検出センサ１２により検出した撮影者の視線データ（同期するために時間が紐付けられた時系列の視線データ）と、センサデバイス１３により取得した撮影者のセンサデータ（同期するために時間が紐付けられた時系列のセンサデータ）を、処理装置２０に出力する。

処理装置２０は、撮影者の視線データに基づいて被写体毎の注目度を算出し、さらに、撮影者のセンサデータを分析して被写体毎の撮影者の感情（各被写体に向けられた撮影者の感情）を推測する。そして、処理装置２０は、被写体毎の注目度および推測した感情情報（感情指数）に基づいて、撮像画像の加工を行い、撮影者が肉眼で見ていた（感じていた）風景により近い画像を生成して表示装置３０に出力する。

処理装置２０による撮像画像の加工は、撮影時にリアルタイムに行って表示装置３０に表示して撮影者が確認できるようにしてもよいし、表示装置３０からリクエストがあった際に行ってもよいし、いずれのタイミングにも依拠せず処理装置２０側の任意のタイミングで適宜行ってもよい。処理装置２０は、例えばクラウド側に配置されるサーバであってもよい。

また、図１に示す情報処理システム１は、システム構成の一例であって、本開示はこれに限定されない。例えば図１に示す情報処理システム１の各構成が全て単一の装置で実現されてもよいし、任意に組み合わせによる複数の装置で実現されてもよい。例えば、入力装置１０のカメラ１１、視線検出センサ１２、およびセンサデバイス１３の少なくともいずれかと、処理装置２０の全部または一部が同一の装置により実現されてもよい。

ここで、具体的なシステム構成の一例について図３および図４を参照して説明する。

図３は、本実施形態による具体的なシステム構成の一例を示す図である。図３に示すように、本実施形態による情報処理システム１ａは、例えば撮影者の視線検出が可能なビューファインダー（視線検出センサ１２ａ）が設けられたカメラ装置１１ａと、ユーザの身体に装着されたウェアラブルデバイス（センサデバイス１３ａ）と、処理装置２０および表示装置３０を含む画像処理装置２０ａと、により構成されてもよい。

ビューファインダー（視線検出センサ１２ａ）は、例えば赤外線視線トラッカーを搭載し、ビューファインダーを覗く撮影者の眼に照射した赤外線の反射により視線（瞳孔の動き）を検出し得る。また、ビューファインダー（視線検出センサ１２ａ）は、カメラ装置１１ａに着脱可能であってもよい。

ウェアラブルデバイス（センサデバイス１３ａ）は、例えばユーザ（撮影者）の腕に装着されるリストバンドであって、生体センサの一例として例えば動脈センサが搭載される。ウェアラブルデバイス（センサデバイス１３ａ）は、検知した動脈データをカメラ装置１１ａにより無線／有線により送信する。

カメラ装置１１ａは、撮像画像と、当該撮像画像の撮影の際（例えばシャッターが半押しされてから全押しされるまでの間等、撮像の所定時間前から撮像までの間）におけるビューファインダー（視線検出センサ１２ａ）から取得した撮影者の視線データ（時系列）と、同撮影の際におけるウェアラブルデバイス（センサデバイス１３ａ）から取得した撮影者の動脈データ等の生体センサデータ（時系列）とを対応付けて記録する。

画像処理装置２０ａは、処理装置２０と表示装置３０が一体となった情報処理装置であって、例えばＰＣ（パーソナルコンピュータ）、タブレット端末、スマートフォン、携帯電話端末、ゲーム機、テレビジョン装置、プロジェクタ等により実現される。画像処理装置２０ａは、上述したカメラ装置１１ａにより記録されたデータを有線／無線、または当該記録されたデータが書き込まれた記憶媒体から取得し、取得したデータに基づいて、撮像画像に写る１以上の被写体毎の撮影者の注目度や感情を算出する。そして、算出結果に基づいて撮像画像を加工し、撮影者の感情を反映した、より肉眼で見た（感じた）状態に近い撮像画像を表示部３０ａに表示する。

図４は、本実施形態による具体的なシステム構成の他の例を示す図である。図４に示すように、本実施形態による情報処理システム１ｂは、例えば撮影者に装着されるメガネ装置１０ｂ（入力装置１０の一例）と、サーバ２０ｂ（処理装置２０の一例）と、情報処理端末３０ｂ（表示装置３０の一例）とにより構成されてもよい。

メガネ装置１０ｂには、視線トラッキング用の内向きカメラ１２ｂ（視線検出センサ１２の一例）と、撮影用カメラ１１ｂ（カメラ１１の一例）と、生体センサ１３ａ（センサデバイス１３の一例）とが設けられる。内向きカメラ１２ｂは、メガネ装置１０ｂを装着しているユーザの眼を撮像し、視線検出を行う。また、撮影用カメラ１１ｂは、メガネ装置１０ｂを装着しているユーザの視線方向（視界）を撮像する。シャッタートリガは、例えばユーザの所定動作（例えばメガネ装置１０ｂを所定回数／所定のリズムで叩く、所定の回数／所定のリズムで／ゆっくりと瞬きをする、所定キーワードを呟く、頭を振る、頷く等）により行われ得る。これらの動作は、メガネ装置１０ｂに設けられたタッチセンサ、加速度センサ、ジャイロセンサ、マイクロホン、内向きカメラ１２ｂ等により検出される。若しくは、シャッタートリガは、メガネ装置１０ｂとペアリングされたスマートフォンやスマートバンド、スマートイヤリング等の各種ユーザ端末に対するユーザ操作（画面操作、タッチ操作、ジェスチャー等）によりメガネ装置１０ｂに発信されてもよい。

また、生体センサ１３ａは、例えばユーザの表情（眼の周囲や眉間の皮膚変形、表情筋の動き）や発汗を検知する。生体センサ１３ａは、具体的には、例えば皮膚電気容量ベースのセンサや反射光センサ等により実現され、メガネ装置１０ｂ内側のレンズ周辺等に１つまたは複数設けられる。

メガネ装置１０ｂは、撮影用カメラ１１ｂにより撮像した撮像画像と、当該撮像画像の撮影の際（例えばシャッターを切る（シャッタートリガが発信される）所定時間前からシャッターを切るまでの間）における内向きカメラ１２ｂから取得した撮影者の視線データ（時系列データ）と、同撮影の際における生体センサ１３ａから取得した撮影者の表情筋データまたは発汗データ等の生体センサデータ（時系列データ）とを対応付けて記録する。また、メガネ装置１０ｂは、対応付けたデータ（撮像画像、視線データ、および生体センサデータ）を、ネットワークを介してサーバ２０ｂに送信する。

サーバ２０ｂは、メガネ装置１０ｂから送信されたデータに基づいて、撮像画像に写る１以上の被写体毎の撮影者の注目度や感情を算出し、算出結果に基づいて撮像画像を加工し、撮影者の感情を反映した、より肉眼で見た（感じた）状態に近い撮像画像を生成する。

情報処理端末３０ｂは、表示装置３０の構成を有する情報処理装置であって、例えばＰＣ（パーソナルコンピュータ）、タブレット端末、スマートフォン、携帯電話端末、ゲーム機、テレビジョン装置、プロジェクタ等により実現される。情報処理端末３０ｂは、ネットワークを介してサーバ２０ｂから加工された撮像画像を受信し、表示部に表示する。

以上説明したシステム構成の具体例は一例であって、本開示のシステム構成はこれに限定されず、他の組み合わせによるシステム構成も当然に本開示の範囲に含まれる。

例えば、入力装置１０のカメラ１１、視線検出センサ１２、およびセンサデバイス１３の少なくともいずれかと表示装置３０が一体となり、処理装置２０とネットワークを介して通信接続してもよい。すなわち、例えば図３に示すカメラ装置１１ａと表示装置３０が単一の装置（カメラ装置）により構成され、図４に示すサーバ２０ｂと通信接続してもよい。また、処理装置２０の機能が他の装置に分散されてもよい。例えば、カメラ装置１１ａにより被写体の認識と被写体毎の注目度や感情の算出が行われ、サーバ２０ｂにより撮像画像と算出データに基づく画像加工処理が行われてもよい。

また、センサデバイス１３は、センサデータの検出に限定されず、検出したデータを処理して出力してもよい。例えば、センサデバイス１３は、撮影者の顔を撮像した撮像画像や表情筋から笑顔指数を算出し、算出した笑顔指数を出力してもよい（所謂スマイルセンサ）。

以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる処理装置２０の具体的な構成について図面を参照して説明する。

＜２．処理装置２０の構成＞
図５は、本実施形態による処理装置２０の構成の一例を示すブロック図である。図５に示すように、処理装置２０は、制御部２１、通信部２２、および記憶部２３を有する。

制御部２１は、演算処理装置および制御装置として機能し、各種プログラムに従って処理装置２０内の動作全般を制御する。制御部２１は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２１は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。

また、本実施形態による制御部２１は、図５に示すように、物体認識部２１１、注目度算出部２１２、センサデータ分析部２１３、被写体別感情推測部２１４、および画像処理部２１５としても機能する。

物体認識部２１１は、撮像画像を解析して物体（被写体）の認識（検知）を行う。具体的には、物体認識部２１１は、物体の境界特定し（x,y座標）、検知した各物体にＩＤを付与する。図６は、被写体の検知について説明する図である。物体認識部２１１は、例えば図６に示す撮像画像４０から、被写体４１（猫）、被写体４２（蝶々）、被写体４３（第１の花）、被写体４４（第２の花）、および被写体４５（第３の花）を認識し、それぞれにＩＤ（例えば、猫（x,y）：ＩＤ１、蝶々（x,y）：ＩＤ２、第１の花（x,y）：ＩＤ３、第２の花（x,y）：ＩＤ４、第３の花（x,y）：ＩＤ５）を付与する。なお物体認識のアルゴリズムについては特に限定せず、例えば一般的に用いられる、入力画像から特徴を抽出して学習済み分類器により分類して物体を認識する一般物体認識や、入力画像から特徴を抽出して予め生成されたデータベースと照合して判断する特定物体認識等の技術を用いてもよい。また、物体が何であるか（カテゴリー名等）を判断せずとも、何らかの物体の存在を抽出（物体の境界の特定）ができればよい。

注目度算出部２１２は、撮影者の視線データに基づいて、各被写体に対する撮影者の注目度を算出する。視線データは、例えばシャッターが半押しされてから全押しされるまで等、撮像前からサンプリングされた、いつどこを見ていたかを示す時系列のデータである。注目度算出部２１２は、物体認識部２１１による撮像画像における物体（被写体）認識結果と、視線データに基づいて、各物体のピクセル内で視線が固定していた時間を算出する。固定していたか否かは、例えば被写体のピクセル内における視線の滞在時間や動き（視線の移動速度）等が所定条件を満たすか否かにより判断されてもよい。かかる視線の固定時間が長い程、その物体に注目していた（注目度が高い）と言える。例えば、複数の物体（被写体）について以下のように視線の固定時間を注目度として算出してもよい。
・被写体ＩＤ１：100msec
・被写体ＩＤ２：2000msec
・被写体ＩＤ３：0msec
・被写体ＩＤ４：0msec
・被写体ＩＤ５：200msec

なお、撮影者がどの被写体に注目していたかは、撮影者の視線データから検出する方法に限定されず、撮影者のマニュアル操作に基づいて判断してもよい。撮影者は、撮影時にカメラ装置やスマートフォン等に表示されたスルー画像に写る複数の被写体のうち注目している被写体をタップしてフォーカスを合わせたり、ピンチアウトして拡大したり等、注目対象に対して何らかの操作を行うことがある。若しくは、注目している（撮影したい）被写体を明示的に指定するよう撮影者に操作を促してもよい。注目度算出部２１２は、このような撮影者の操作情報を撮像画像と共に取得し、操作情報に基づいて被写体毎の注目度を算出することが可能である。また、注目度算出部２１２は、視線データに基づく手法とユーザ操作に基づく手法を併用して被写体毎の注目度を算出してもよい。

センサデータ分析部２１３は、撮影の際に撮影者をセンシングした各種センサデータを被写体毎に分析する。ここで、センサデータは、例えばシャッターが半押しされてから全押しされるまで等、撮像前からサンプリングされた、撮影者がいつどのような状態であったかを示す時系列のデータである。センサデータは、例えば、生体データ（例えば動脈、静脈、脈拍、心拍、体温、発汗、血圧、呼吸、筋電値、脳波等）、音声（発話）データ、撮像データ、モーションセンサデータ（例えば加速度、角速度、地磁気センサ値等）、または１以上のセンサデータから算出した処理データ（撮像画像や表情筋等から算出した笑顔指数、機械学習により取得したデータ等）等が想定される。

例えば、センサデータ分析部２１３は、物体認識部２１１による撮像画像における物体（被写体）認識結果と、視線データと、センサデータとに基づいて、各物体のピクセル内における視線の固定回数と、各物体の視線固定時間帯毎のセンサデータを分析する。例えば、ある被写体に視線が固定していた時間帯毎に、生体データの平均値を算出したり、笑顔指数を対応付けたりしてもよい。具体的には、例えば以下のように複数の物体（被写体）について撮影者の視線の固定回数毎のセンサデータが分析され得る。
・被写体ＩＤ１：視線固定１回目…脈拍平均78/sec,笑顔指数10
・被写体ＩＤ２：視線固定１回目…脈拍平均90/sec,笑顔指数70
視線固定２回目…脈拍平均90/sec,笑顔指数100
・被写体ＩＤ３：ＮＡ
・被写体ＩＤ４：ＮＡ
・被写体ＩＤ５：視線固定１回目…脈拍平均60/sec,笑顔指数0

被写体別感情推測部２１４は、注目度算出部２１２により算出された被写体毎の注目度や、センサデータ分析部２１３により算出された同被写体毎のセンサデータの分析結果に基づいて、被写体毎の撮影者の感情を推測する。ここで、「感情」とは、例えば「喜び」、「怒り」、「哀しみ」、「楽しさ」、「愛しさ」、「憎しみ」といった６つの基本感情と、これらの基本感情を２以上組み合わせた応用感情に分類されたものであってもよい。または、例えばラッセル（Russell）により提唱された、「活性（Activated）‐不活性（deactivated）」と「快（Pleasant）‐不快（Unpleasant）」の２次元の軸で表される平面上に円環状に並んでいるとする感情円環モデルを用いてもよい。ラッセルの円環モデルでは、幸福と喜びのような類義語は近接した円環上に配置され、幸福と悲しみのような反意語は円環上では対極の位置に配置される。また、各感情は２次元の座標軸上のベクトルの方向と大きさとして表示され、各感情間のベクトルの方向の差はそれぞれの相関係数を表す。具体的には、不快な（ネガティブな）感情は、怒り、イライラ、退屈、憂鬱といったものが想定され、快な（ポジティブな）感情は、幸福、喜び、嬉しさ、満足といったものが想定される。

感情の具体的な推測アルゴリズムについては特に限定しないが、様々な感情推測アルゴリズムを適用可能である。また、簡易アルゴリズムであってもよい。例えば、心拍平均が80/min以上かつ笑顔指数70以上であれば「嬉しい感情」といった所定の条件（閾値）に基づいて推測を行ってもよい。被写体別感情推測部２１４は、撮影者が被写体を注視していた時間帯（固定時間帯）におけるセンサデータに基づいて、撮影者の感情を推測し得る。具体的には、例えば被写体別感情推測部２１４は、被写体別の撮影者のセンサデータの分析結果（脈拍平均や笑顔指数等）に基づいて、感情の一例としてポジティブ感情指数を算出してもよい。また、被写体別感情推測部２１４は、さらにネガティブ感情指数を算出してもよいし、他の感情の指数を算出してもよい。また、被写体別感情推測部２１４は、さらに被写体別の注目度を考慮した感情指数（関心指数、注目感情指数）を算出してもよい（例えば笑顔で注目している場合はポジティブ感情指数を高く、嫌悪の表情で注目している場合はポジティブ感情指数を低く算出する等）。どのセンサデータを使用して何の感情を推測するか、視線（注目度）も考慮するか等は、予めシステム側で設定してもよいし、ユーザ（撮影者若しくは撮像画像の閲覧者）が選択出来るようにしてもよい。

被写体別感情推測部２１４は、例えば以下のように被写体別のポジティブ感情指数を算出する。
・被写体ＩＤ１：ポジティブ感情指数20
・被写体ＩＤ２：ポジティブ感情指数95
・被写体ＩＤ３：ポジティブ感情指数0
・被写体ＩＤ４：ポジティブ感情指数0
・被写体ＩＤ５：ポジティブ感情指数-50

画像処理部２１５は、被写体別感情推測部２１４により算出された被写体別の感情情報（感情指数）に基づいて、撮像画像に写る各被写体を加工する。または、画像処理部２１５は、注目度算出部２１２により算出された被写体別の注目度に基づいて、撮像画像に写る各被写体を加工してもよい。

画像加工例としては、例えば被写体自体の画素の加工（ぼかし、拡大縮小、削除、色変化等）が挙げられる。例えば、画像処理部２１５は、ポジティブ感情指数の高さに応じて該当する被写体を拡大したり、ポジティブ感情指数が所定値より低い場合（若しくは注目度が所定値より低い場合）は該当する被写体を削除したり、ポジティブ感情指数の低さに応じて該当する被写体をぼかしたりする。また、例えば画像処理部２１５は、ポジティブ感情指数が最も高い被写体（若しくは注目度が最も高い被写体）の色を目立たせるよう加工してもよい（例えば該当する被写体のみカラーで表現して他の領域を全て白黒やセピア調に変換する等）。

また、他の画像加工例として、例えば感情情報を文字や記号で表示（例えば被写体の近くに「嬉しい」、「悲しい」、「感動」、「幸せ」、「見ている」、「見ていない」等の文字を表示する）、また、被写体別の感情情報をグラフや図形、アイコン等の文字以外の表現で被写体の近くに可視化する方法も考えられる。

画像処理部２１５は、これらの少なくともいずれかを実施してもよいし、いずれかの組み合わせで実施してもよい。

なお、どのような画像加工方法を用いるかは予めシステム側で設定してもよいし、ユーザ（撮影者若しくは撮像画像の閲覧者）が選択してもよい。例えば分析された感情のうち特定の感情（例えば、「嬉しさ」だけ、「関心」だけ等）を使用して画像加工するようユーザが指定することも可能である。

また、画像処理部２１５は、ユーザの選択履歴等に基づいて機械学習を行い、最適な画像加工の手法（例えばユーザが好む画像加工の手法）を選択してもよい。

また、画像処理部２１５は、複数の画像加工を行って出力してもよい。この場合、ユーザは、複数の加工画像のうちお気に入りをブックマークしたり自身の端末に保存したりすることが可能である。

また、画像処理部２１５は、加工した撮像画像を表示装置３０に出力する際、どのような感情に基づいて加工したのか、当該感情はどのようなセンサデータに基づいて推測したのか、どのような画像加工方法を用いたのか等の、加工に関する情報を併せて提示してもよい。これにより、ユーザが撮影者ではあれば自身の撮影時における各被写体に対する心情等（どの被写体に注目していたのか、どの被写体にポジティブな感情を持っていたのか等）を把握することができ、また、ユーザが撮影者以外であれば、撮影者の撮影時における各被写体に対する心情等を理解することができる。また、特に複数の加工画像を出力した場合に、各加工画像がそれぞれどのような情報に基づいて加工されたのかをユーザに示すことで、ユーザが撮影者ではあれば自身の撮影時における印象により近い撮像画像を選択したりすることができる。

（通信部２２）
通信部２２は、有線または無線により外部装置と接続し、外部装置とデータの送受信を行う。通信部２２は、例えば有線／無線ＬＡＮ（Local Area Network）、またはＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信、近距離通信、携帯通信網（ＬＴＥ（Long Term Evolution）、３Ｇ（第３世代の移動体通信方式））等により外部装置と通信接続する。

例えば、通信部２２は、入力装置１０から撮像画像、被写体別の撮影者の視線データ、および被写体別の撮影者のセンサデータを受信する。また、通信部２２は、画像処理部２１５により生成された、被写体別の撮影者の感情情報に基づいて被写体が加工された画像、若しくは当該加工された画像を表示するための情報を、表示装置３０（外部装置の一例）に送信する。

（記憶部２３）
記憶部２３は、制御部２１の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。例えば、感情推測アルゴリズムや、画像加工アルゴリズムのプログラムや演算パラメータが記憶されている。

また、記憶部２３には、撮像画像、被写体別視線データ、および被写体別センサデータが紐付けて記憶されている。また、記憶部２３には、被写体別注目度および被写体別感情情報がさらに記憶されていてもよい。また、記憶部２３は、被写体別注目度や感情情報に基づいて加工された画像がさらに記憶されていてもよい。

以上、本実施形態による処理装置２０の構成について具体的に説明した。なお、図５に示す処理装置２０の構成は一例であって、本実施形態はこれに限定されない。例えば処理装置２０の少なくとも一部の構成が外部装置にあってもよいし、制御部２１の各機能の少なくとも一部が外部装置にあってもよい。

また、例えば処理装置２０がネットワーク上のサーバにより実現される場合、処理装置２０の少なくとも一部の構成が、入力装置１０または表示装置３０、若しくは通信距離が比較的入力装置１０または表示装置３０に近い情報処理装置（例えば、いわゆるエッジサーバなど）により実現されてもよい。このように、処理装置２０の各構成を適宜分散することで、リアルタイム性の向上や処理負担の軽減、さらにはセキュリティを担保することが可能となる。

また、図５に示す制御部２１の各構成および記憶部２３を全てカメラ１１または表示装置３０（若しくはカメラ１１と表示装置３０が一体となった単一の装置）に設け、本実施形態による情報処理システムをカメラ１１または表示装置３０（若しくはカメラ１１と表示装置３０が一体となった単一の装置）のアプリケーションにより実行するようにしてもよい。

＜３．動作処理＞
続いて、本実施形態による情報処理システムの動作処理について図７を用いて具体的に説明する。

図７は、本実施形態による画像処理の一例を示すフローチャートである。図７に示すように、まず、処理装置２０の物体認識部２１１は、撮像画像から物体（被写体）を１以上認識する（ステップＳ１０３）。

次に、注目度算出部２１２は、当該撮像画像に対応する撮影の際の撮影者の視線データに基づいて、被写体毎の撮影者の注目度を算出する（ステップＳ１０６）。

次いで、被写体別感情推測部２１４は、当該撮像画像に対応する撮影の際の撮影者のセンサデータに基づいて、被写体毎の撮影者の状態を分析する（ステップＳ１０９）。

次に、制御部２１は、撮像画像に、算出した被写体別注目度データと、分析した被写体別センサデータを紐付けて記憶部２３に保存する（ステップＳ１１２）。

続いて、被写体別感情推測部２１４は、保存したデータ（被写体別注目度データまたは被写体別センサデータ）に基づいて、撮像画像における被写体別の撮影者の感情を推測する（ステップＳ１１５）。

そして、画像処理部２１５は、推測した被写体別の撮影者の感情情報に基づいて、当該撮像画像に対して所定の画像加工処理を行う（ステップＳ１１５）。なお、画像処理部２１５は、推測した被写体別の撮影者の注目度に基づいて当該撮像画像に対して所定の画像加工処理を行ってもよい。

以上、本実施形態による動作処理の一例を説明した。なお図７に示す動作処理は一例であって、本開示は図７に示す例に限定されない。例えば、本開示は、図７に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップＳ１０６の処理とステップＳ１０９の処理は並列に処理されてもよいし、逆の順番で処理されてもよい。

また、図７に示す全ての処理が必ずしも実行されてなくともよい。例えば、ステップＳ１１２に示す保存処理がスキップされてもよい。

また、図７に示す全ての処理が必ずしも単一の装置で行われなくともよい。例えば、ステップＳ１０３〜ステップＳ１０６の処理が入力装置１０で行われ、ステップＳ１０９〜ステップＳ１１５の処理が処理装置２０で行われ、ステップＳ１１８の処理が表示装置３０で行われる等、複数の装置で行われてもよい。

また、図７に示す各処理が必ずしも時間的に順次行われなくともよい。例えば、ステップＳ１０３〜Ｓ１１２に示す処理が、新たな撮像画像を取得する度に即時、若しくは一定量の撮像画像が蓄積された際に行われ、その後、ステップＳ１１５〜Ｓ１１８に示す処理が、所定のタイミング（例えばユーザからのリクエストがあった時や、設定された周期等）で行われてもよい。

＜４．画像加工例＞
次に、図８を参照して本実施形態による画像加工の具体例について説明する。図８に示す例は、図６に示す撮像画像４０に対し、被写体別の撮像者の感情情報または注目度に基づいて所定の画像加工を行った場合の具体例である。

例えば蝶々の被写体４２（図６参照）のポジティブ感情指数が最も高かった場合、図８の加工画像４０−１のように、当該被写体４２を拡大したり、さらに被写体４２の色を目立たせる加工処理（色を鮮明にする、濃くする、彩度を上げる、他の部分を薄くする、他の部分の彩度を下げる等）を行ってもよい。これにより、撮影者が肉眼で見た際に蝶々の存在を大きく感じて見ていたという実態により近い撮像画像を提示することができ、撮影者は肉眼で見て撮影した際と違和感なく見ることができ、また、閲覧者も撮影時の臨場感を体験することができる。

また、例えば第３の花の被写体４５（図６参照）のポジティブ感情指数がマイナスだった場合（または注目度が０だった場合（見ていなかった場合）等）、図８の加工画像４０−２のように、当該被写体４５を削除する加工処理を行ってもよい。これにより、撮影者が肉眼で見た際にはほぼ印象の無かった花が削除され、撮影者は肉眼で見た印象の（花が景色を邪魔しない）撮像画像を取得することができる。

また、例えば第１の花の被写体４３、第２の花の被写体４４、および第３の花の被写体４５（図６参照）のポジティブ感情指数が所定値より下回っていた場合、図８の加工画像４０−３のように、当該被写体４３、被写体４４、および被写体４５をぼかす加工処理を行ってもよい。これにより、撮影者が肉眼で見た際に印象の薄かった花がぼかされるので、撮影者が肉眼で見た印象の（花が景色を邪魔しない）撮像画像を取得することができる。

以上説明した図８に示す画像加工は一例であって、本実施形態はこれに限定されない。また、単一の撮像画像に対して複数の加工処理を施してもよい。例えば、被写体を拡大すること、ぼかすこと、削除すること等の加工処理を適宜組み合わせてもよい。

＜５．ハードウェア構成＞
以上、本開示の実施形態を説明した。上述した処理装置２０の処理は、ソフトウェアと、以下に説明する情報処理装置のハードウェアとの協働により実現される。

図９は、本開示に係る処理装置２０を実現する情報処理装置のハードウェア構成を示した説明図である。図９に示したように、情報処理装置は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１４２と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１４４と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１４６と、ブリッジ１４８と、バス１５０と、インターフェース１５２と、入力装置１５４と、出力装置１５６と、ストレージ装置１５８と、ドライブ１６０と、接続ポート１６２と、通信装置１６４とを備える。

ＣＰＵ１４２は、演算処理装置および制御装置として機能し、各種プログラムと協働して情報処理装置（処理装置２０）内の物体認識部２１１、注目度算出部２１２、センサデータ分析部２１３、被写体別感情推測部２１４、および画像処理部２１５の動作を実現する。また、ＣＰＵ１４２は、マイクロプロセッサであってもよい。ＲＯＭ１４４は、ＣＰＵ１４２が使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭ１４６は、ＣＰＵ１４２の実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。ＲＯＭ１４４およびＲＡＭ１４６により、情報処理装置（処理装置２０）内の記憶部２３の一部を実現する。ＣＰＵ１４２、ＲＯＭ１４４およびＲＡＭ１４６は、ＣＰＵバスなどから構成される内部バスにより相互に接続されている。

入力装置１５４は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロホン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置１５４は、ユーザが入力した情報に基づいて入力信号を生成してＣＰＵ１４２に出力する入力制御回路を含む。ユーザは、この入力装置１５４を操作することによって、情報処理装置（処理装置２０）に対して各種のデータを入力したり処理動作を指示したりする。

出力装置１５６は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置１５６は、例えば、液晶ディスプレイ（ＬＣＤ；Liquid Crystal Display）装置または有機ＥＬ（Electro-Luminescence）ディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置１５６は、情報処理装置の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声、またはバイブレーションなどとして出力する。

ストレージ装置１５８は、情報処理装置（処理装置２０）の記憶部２３の一例として構成されたデータ格納用の装置である。ストレージ装置１５８は、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置１５８は、例えばＣＰＵ１４２が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。

ドライブ１６０は、記憶媒体用リーダライタであり、情報処理装置に内蔵、あるいは外付けされる。ドライブ１６０は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ１４４に出力する。また、ドライブ１６０は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート１６２は、例えば、情報処理装置の外部の情報処理装置または周辺機器と接続するためのポートである。また、接続ポート１６２は、例えば、ＵＳＢ（Universal Serial Bus）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Small Computer System Interface）ポートなどでありうる。また、接続ポート１６２は、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートなどであってもよい。接続ポート１６２に外部接続機器を接続することで、情報処理装置と外部接続機器との間で各種のデータが交換されうる。また、接続ポート１６２は、例えば、UART（Universal Asynchronous Receiver Transmitter）、I2C（Inter-Integrated Circuit）、SPI（Serial Peripheral Interface）などのセンサ用シリアルI/Fや、MIPI（Mobile Industry Processor Interface）、PCI（Peripheral Component Interconnect）／PCI Expressなど（画像データなどのI/F）であってもよい。

通信装置１６４は、情報処理装置（処理装置２０）の通信部２２の一例として、例えば、ネットワークに接続するための通信デバイスで構成された通信インターフェースである。また、通信装置１６４は、赤外線通信対応装置であっても、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）対応通信装置であっても、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信対応装置であっても、Ｗｉ−Ｆｉ（登録商標）通信対応装置であっても、有線による通信を行うワイヤー通信装置であってもよい。

以上、情報処理装置（処理装置２０）のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。

＜６．まとめ＞
上述したように、本開示の実施形態による情報処理システムでは、撮影画像の被写体別の撮影者の感情を撮像画像に反映させ、撮影者が感じていた情景の臨場感を再現することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上述した入力装置１０、処理装置２０、または表示装置３０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、入力装置１０、処理装置２０、または表示装置３０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。

また、本実施形態では、被写体別の撮影者の感情を反映させるが、ここで、「被写体」とは、基本的には上述したように物体認識により撮像画像から抽出される「物体」であるが、本開示はこれに限定されず、本明細書において「被写体」とは、撮像画像のうち境界で区切った領域（ピクセル）であればよい。例えば、撮像者が昔ここにベンチがあったなと思い出して道のある１点を注視し、懐かしいといった感情を向けながら思い出の場所を撮影するような場合、物体認識部２１１は、撮影者の視線検出データに基づいて、撮影者が注視していた領域（道の一部）を「被写体」として認識してもよい。この場合、画像処理部２１５は、例えばかかる「道の一部」が目立つよう（存在感が大きくなるよう）加工することで、撮影者の心情を反映し、撮影者が肉眼で見ていた時の印象により近い情景を再現することを可能とする。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、本技術は以下のような構成も取ることができる。
（１）
撮像画像から１以上の被写体を認識する認識部と、
前記撮像画像に紐付けられた撮影者の視線データと撮影者のセンサデータに基づいて、前記認識した被写体毎における撮影者の感情を推測する推測部と、
前記被写体毎の感情を前記撮像画像に反映させる画像処理を行う画像処理部と、
を備える、情報処理装置。
（２）
前記視線データおよびセンサデータは、前記撮像画像を取得する所定時間前から取得までの時系列のデータである、前記（１）に記載の情報処理装置。
（３）
前記推測部は、前記視線データに基づいて判断される前記撮影者が前記被写体を注視していた時間帯における前記撮影者の感情を推測する、前記（２）に記載の情報処理装置。
（４）
前記推測部は、前記センサデータに基づいて前記撮影者の感情を推測する、前記（３）に記載の情報処理装置。
（５）
前記推測部は、前記視線データから算出される前記被写体への前記撮影者の注目度に基づいて前記撮影者の感情を推測する、前記（３）または（４）に記載の情報処理装置。
（６）
前記センサデータは、生体センサデータ、音声データ、撮像データ、モーションセンサデータ、または１以上のセンサデータから算出したデータの少なくともいずれかを含む、前記（２）〜（５）のいずれか１項に記載の情報処理装置。
（７）
前記画像処理部は、被写体に対する前記撮影者の感情に応じて、当該被写体または当該被写体以外の領域を加工する、前記（２）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記画像処理部は、被写体に対する前記撮影者のポジティブな感情に応じて、当該被写体または当該被写体以外の領域における画素を変化させる、前記（７）に記載の情報処理装置。
（９）
前記画像処理部は、被写体に対する前記撮影者の感情を示す表示を前記撮像画像に追加する加工を行う、前記（２）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記撮影者の感情を示す表示は、文字、記号、グラフ、図形、またはアイコンの少なくともいずれかを含む、前記（９）に記載の情報処理装置。
（１１）
前記画像処理部は、異なる感情の種類、異なるセンサデータを用いて推測された感情、または異なる加工方法を少なくとも用いて、複数の加工画像を生成する、前記（２）〜（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記情報処理装置は、
前記画像処理部により生成された加工画像を外部装置に送信する送信部をさらに備える、前記（２）〜（１１）のいずれか１項に記載の情報処理装置。
（１３）
前記情報処理装置は、
前記画像処理部により生成された加工画像を表示する表示部をさらに備える、前記（２）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記情報処理装置は、画像加工に用いた感情の種類、感情の推測に用いたセンサデータ、または画像加工に用いた加工方法に関する情報を前記加工画像と共に出力する、前記（１２）または（１３）に記載の情報処理装置。
（１５）
プロセッサが、
撮像画像から１以上の被写体を認識することと、
前記撮像画像に紐付けられた撮影者の視線データと撮影者のセンサデータに基づいて、前記認識した被写体毎における撮影者の感情を推測することと、
前記被写体毎の感情を前記撮像画像に反映させる画像処理を行うことと、
を含む、情報処理方法。
（１６）
コンピュータを、
撮像画像から１以上の被写体を認識する認識部と、
前記撮像画像に紐付けられた撮影者の視線データと撮影者のセンサデータに基づいて、前記認識した被写体毎における撮影者の感情を推測する推測部と、
前記被写体毎の感情を前記撮像画像に反映させる画像処理を行う画像処理部と、
として機能させるための、プログラム。

１、１ａ、１ｂ情報処理システム
１０入力装置
１０ｂメガネ装置
１１カメラ
１１ａカメラ装置
１１ｂ撮影用カメラ
１２視線検出センサ
１２ｂカメラ
１３センサデバイス
１３ａ生体センサ
２０処理装置
２０ａ画像処理装置
２０ｂサーバ
２１制御部
２１１物体認識部
２１２注目度算出部
２１３センサデータ分析部
２１４被写体別感情推測部
２１５画像処理部
２２通信部
２３記憶部
３０表示装置
３０ａ表示部
３０ｂ情報処理端末

Claims

撮像画像から１以上の被写体を認識する認識部と、
前記撮像画像に紐付けられた撮影者の視線データと撮影者のセンサデータに基づいて、前記認識した被写体毎における撮影者の感情を推測する推測部と、
前記被写体毎の感情を前記撮像画像に反映させる画像処理を行う画像処理部と、
を備える、情報処理装置。
前記視線データおよびセンサデータは、前記撮像画像を取得する所定時間前から取得までの時系列のデータである、請求項１に記載の情報処理装置。
前記推測部は、前記視線データに基づいて判断される前記撮影者が前記被写体を注視していた時間帯における前記撮影者の感情を推測する、請求項２に記載の情報処理装置。
前記推測部は、前記センサデータに基づいて前記撮影者の感情を推測する、請求項３に記載の情報処理装置。
前記推測部は、前記視線データから算出される前記被写体への前記撮影者の注目度に基づいて前記撮影者の感情を推測する、請求項３に記載の情報処理装置。
前記センサデータは、生体センサデータ、音声データ、撮像データ、モーションセンサデータ、または１以上のセンサデータから算出したデータの少なくともいずれかを含む、請求項２に記載の情報処理装置。
前記画像処理部は、被写体に対する前記撮影者の感情に応じて、当該被写体または当該被写体以外の領域を加工する、請求項２に記載の情報処理装置。
前記画像処理部は、被写体に対する前記撮影者のポジティブな感情に応じて、当該被写体または当該被写体以外の領域における画素を変化させる、請求項７に記載の情報処理装置。
前記画像処理部は、被写体に対する前記撮影者の感情を示す表示を前記撮像画像に追加する加工を行う、請求項２に記載の情報処理装置。
前記撮影者の感情を示す表示は、文字、記号、グラフ、図形、またはアイコンの少なくともいずれかを含む、請求項９に記載の情報処理装置。
前記画像処理部は、異なる感情の種類、異なるセンサデータを用いて推測された感情、または異なる加工方法を少なくとも用いて、複数の加工画像を生成する、請求項２に記載の情報処理装置。
前記情報処理装置は、
前記画像処理部により生成された加工画像を外部装置に送信する送信部をさらに備える、請求項２に記載の情報処理装置。
前記情報処理装置は、
前記画像処理部により生成された加工画像を表示する表示部をさらに備える、請求項２に記載の情報処理装置。
前記情報処理装置は、画像加工に用いた感情の種類、感情の推測に用いたセンサデータ、または画像加工に用いた加工方法に関する情報を前記加工画像と共に出力する、請求項１２に記載の情報処理装置。
プロセッサが、
撮像画像から１以上の被写体を認識することと、
前記撮像画像に紐付けられた撮影者の視線データと撮影者のセンサデータに基づいて、前記認識した被写体毎における撮影者の感情を推測することと、
前記被写体毎の感情を前記撮像画像に反映させる画像処理を行うことと、
を含む、情報処理方法。
コンピュータを、
撮像画像から１以上の被写体を認識する認識部と、
前記撮像画像に紐付けられた撮影者の視線データと撮影者のセンサデータに基づいて、前記認識した被写体毎における撮影者の感情を推測する推測部と、
前記被写体毎の感情を前記撮像画像に反映させる画像処理を行う画像処理部と、
として機能させるための、プログラム。