JP2017228892A - 情報処理装置、撮像装置、情報処理方法及びプログラム - Google Patents
情報処理装置、撮像装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2017228892A JP2017228892A JP2016122796A JP2016122796A JP2017228892A JP 2017228892 A JP2017228892 A JP 2017228892A JP 2016122796 A JP2016122796 A JP 2016122796A JP 2016122796 A JP2016122796 A JP 2016122796A JP 2017228892 A JP2017228892 A JP 2017228892A
- Authority
- JP
- Japan
- Prior art keywords
- information
- posture
- photographer
- imaging device
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Details Of Cameras Including Film Mechanisms (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【課題】より正確に撮影シーンを決定することを目的とする。【解決手段】撮像装置の姿勢情報を、第1の姿勢情報として取得する第1の取得手段と、前記撮像装置の撮影者の姿勢情報を、第2の姿勢情報として取得する第2の取得手段と、前記第1の取得手段により取得された前記第1の姿勢情報と、前記第2の取得手段により取得された前記第2の姿勢情報と、に基づいて、前記撮像装置の撮影シーンを決定する決定手段と、を有する。【選択図】図2
Description
本発明は、情報処理装置、撮像装置、情報処理方法及びプログラムに関する。
写真を撮影する際には、被写体に応じて撮影モードや露出補正、絞り値等の撮像条件を適切に設定することが重要である。しかし、撮影者、とくに撮影術に詳しくない初心者が適切に撮像条件を設定することは困難である。
そこで、従来、撮影する被写体や撮影状況等のシーンを推定し、自動で最適な撮像条件を設定する技術が提示されている。例えば、特許文献1では、撮像装置の姿勢と画像の色構成を用いて被写体に空や花火を含むか否かを判定し、空や花火を含んでいる場合、自動的に撮像条件として風景モードや花火モードを設定する技術が開示されている。
そこで、従来、撮影する被写体や撮影状況等のシーンを推定し、自動で最適な撮像条件を設定する技術が提示されている。例えば、特許文献1では、撮像装置の姿勢と画像の色構成を用いて被写体に空や花火を含むか否かを判定し、空や花火を含んでいる場合、自動的に撮像条件として風景モードや花火モードを設定する技術が開示されている。
しかし、画像の色構成に基づく撮影シーンの決定においては、撮影シーンによっては、画像中の色構成が様々に存在するために撮影シーンを一意に定めることができず、正しく撮影シーンを決定することが困難になる場合がある。例えば、撮影者が料理を撮影する際に、その料理に緑黄色野菜が多ければ、画像中の色構成は緑色が大部分を占める可能性がある。撮影者がこの料理を見下ろして撮影している場合、撮像装置の姿勢と色構成だけでは、料理を見下ろしているのか、又は、植物を見下ろしているのかを判別することは難しい。同様に、赤みが多い料理シーンは色構成が夕焼けシーンと類似する可能性があり、撮影シーンの決定を誤る可能性がある。このように、画像の色構成に基づく撮影シーンの決定が、正確でない場合があるという問題がある。
そこで本発明は、より正確に撮影シーンを決定することを目的とする。
そこで本発明は、より正確に撮影シーンを決定することを目的とする。
本発明の情報処理装置は、撮像装置の姿勢情報を、第1の姿勢情報として取得する第1の取得手段と、前記撮像装置の撮影者の姿勢情報を、第2の姿勢情報として取得する第2の取得手段と、前記第1の取得手段により取得された前記第1の姿勢情報と、前記第2の取得手段により取得された前記第2の姿勢情報と、に基づいて、前記撮像装置の撮影シーンを決定する決定手段と、を有する。
本発明によれば、より正確に撮影シーンを決定することができる。
以下、本発明の実施形態について図面に基づいて説明する。
<実施形態1>
本実施形態では、情報処理装置101が、センサを利用して撮像装置の姿勢情報と撮像装置を利用する撮影者の姿勢情報とを検出し、検出した撮像装置の姿勢情報と撮影者の姿勢情報とに基づいて撮影シーンを決定する処理を説明する。姿勢情報とは、姿勢に関する情報である。撮影シーンとは、人物、植物、夜景、夕景、紅葉、花火、食事等の被写体や撮影環境を抽象化して分類する分類項目である。以下では、撮像装置を用いて撮影を行う撮影者を、単に撮影者とする。撮像装置の姿勢情報は、第1の姿勢情報、第3の姿勢情報の一例である。撮影者の姿勢情報は、第2の姿勢情報、第4の姿勢情報の一例である。
本実施形態の情報処理装置101は、撮像装置と通信を行う端末装置、タブレット装置、パーソナルコンピュータ等の情報処理装置である。本実施形態では、情報処理装置101は、撮像装置に装着され、撮像装置の撮影シーンを決定する処理を行った後に、決定した撮影シーンの情報を撮像装置に通知する。
図1(a)は、情報処理装置101のハードウェア構成の一例を示す図である。情報処理装置101は、CPU102a、RAM103a、ROM104a、撮像装置姿勢センサ105a、撮影者姿勢センサ106aを含む。CPU102a、RAM103a、ROM104a、撮像装置姿勢センサ105a、撮影者姿勢センサ106aは、システムバス107を介して相互に接続されている。撮像装置姿勢センサ105aは、撮像装置の姿勢情報を特定する情報を出力する第1の出力手段の一例である。撮影者姿勢センサ106aは、撮影者の姿勢情報を特定する情報を出力する第2の出力手段の一例である。
本実施形態では、情報処理装置101が、センサを利用して撮像装置の姿勢情報と撮像装置を利用する撮影者の姿勢情報とを検出し、検出した撮像装置の姿勢情報と撮影者の姿勢情報とに基づいて撮影シーンを決定する処理を説明する。姿勢情報とは、姿勢に関する情報である。撮影シーンとは、人物、植物、夜景、夕景、紅葉、花火、食事等の被写体や撮影環境を抽象化して分類する分類項目である。以下では、撮像装置を用いて撮影を行う撮影者を、単に撮影者とする。撮像装置の姿勢情報は、第1の姿勢情報、第3の姿勢情報の一例である。撮影者の姿勢情報は、第2の姿勢情報、第4の姿勢情報の一例である。
本実施形態の情報処理装置101は、撮像装置と通信を行う端末装置、タブレット装置、パーソナルコンピュータ等の情報処理装置である。本実施形態では、情報処理装置101は、撮像装置に装着され、撮像装置の撮影シーンを決定する処理を行った後に、決定した撮影シーンの情報を撮像装置に通知する。
図1(a)は、情報処理装置101のハードウェア構成の一例を示す図である。情報処理装置101は、CPU102a、RAM103a、ROM104a、撮像装置姿勢センサ105a、撮影者姿勢センサ106aを含む。CPU102a、RAM103a、ROM104a、撮像装置姿勢センサ105a、撮影者姿勢センサ106aは、システムバス107を介して相互に接続されている。撮像装置姿勢センサ105aは、撮像装置の姿勢情報を特定する情報を出力する第1の出力手段の一例である。撮影者姿勢センサ106aは、撮影者の姿勢情報を特定する情報を出力する第2の出力手段の一例である。
本実施形態では、情報処理装置101は、撮像装置に装着され、撮像装置と一体となって利用される。そのため、情報処理装置101に含まれる撮像装置姿勢センサ105a、撮影者姿勢センサ106a等の各センサが検出する情報は、情報処理装置101についての情報であるが、撮像装置についての情報であるともみなすことができる。例えば、撮像装置姿勢センサ105aが加速度センサであり、加速度を検出する場合、撮像装置姿勢センサ105aが検出した情報は、情報処理装置101にかかる加速度の情報であるが、撮像装置にかかる加速度の情報ともみなすことができる。
CPU102aは、中央処理装置(CPU:Central Processing Unit)であり、各種処理のための演算や論理判断等を行い、システムバス107に接続された各構成要素を制御する。RAM(Random Access Memory)103aは、データメモリであり、CPU102aのワーク領域、エラー処理時のデータの退避領域、プログラムのロード領域等として機能する。ROM(Read−Only Memory)104aは、プログラムメモリであって、各種プログラム、各種設定データ、各種閾値のデータ等を記憶する。情報処理装置101は、ROM104aを含まずに、情報処理装置101に接続された外部記憶装置等からRAM103aにプログラムをロードすることで、プログラムメモリを実現してもよい。
CPU102aは、中央処理装置(CPU:Central Processing Unit)であり、各種処理のための演算や論理判断等を行い、システムバス107に接続された各構成要素を制御する。RAM(Random Access Memory)103aは、データメモリであり、CPU102aのワーク領域、エラー処理時のデータの退避領域、プログラムのロード領域等として機能する。ROM(Read−Only Memory)104aは、プログラムメモリであって、各種プログラム、各種設定データ、各種閾値のデータ等を記憶する。情報処理装置101は、ROM104aを含まずに、情報処理装置101に接続された外部記憶装置等からRAM103aにプログラムをロードすることで、プログラムメモリを実現してもよい。
撮像装置姿勢センサ105aは、情報処理装置101の姿勢を検知し、センサ信号を出力するデバイスである。センサ信号とは、センサデバイスが出力する情報であって、センサデバイスが検知した事象の情報を示す情報である。撮影者姿勢センサ106aは、情報処理装置101を利用する撮影者の姿勢を検知し、センサ信号を出力するデバイスである。例えば、撮像装置姿勢センサ105aは、加速度センサ等で構成される。加速度センサは、撮像装置にかかる重力加速度の大きさを検知し、重力加速度を示す信号を、センサ信号として出力する。本実施形態では、情報処理装置101は、加速度センサである撮像装置姿勢センサ105aが検知する重力加速度値に基づいて、撮像装置の姿勢を検知する。
撮影者姿勢センサ106aは、撮影者の姿勢を検知し、センサ信号を出力するデバイスである。例えば、本実施形態では、撮影者姿勢センサ106aは、加速度センサで構成される。情報処理装置101は、加速度センサである撮影者姿勢センサ106aが検知する重力加速度値に基づいて、撮影者の姿勢を検知する。
また、撮像装置姿勢センサ105aは、加速度センサに加えて、ジャイロセンサや地磁気センサを含むこととしてもよい。そうすることで、撮像装置姿勢センサ105aは、撮像装置に係る角速度値や地磁気値を検出し、複数センサのセンサ信号を総合的に用いて、撮像装置の姿勢情報を検出することもできるようになる。
撮影者姿勢センサ106aは、撮影者の姿勢を検知し、センサ信号を出力するデバイスである。例えば、本実施形態では、撮影者姿勢センサ106aは、加速度センサで構成される。情報処理装置101は、加速度センサである撮影者姿勢センサ106aが検知する重力加速度値に基づいて、撮影者の姿勢を検知する。
また、撮像装置姿勢センサ105aは、加速度センサに加えて、ジャイロセンサや地磁気センサを含むこととしてもよい。そうすることで、撮像装置姿勢センサ105aは、撮像装置に係る角速度値や地磁気値を検出し、複数センサのセンサ信号を総合的に用いて、撮像装置の姿勢情報を検出することもできるようになる。
また、撮影者姿勢センサ106aは、加速度センサやジャイロセンサ、地磁気センサ、気圧センサのうち少なくとも1つ以上を用いて構成されることとしてもよい。この場合、撮影者姿勢センサ106aは、撮像装置に係る加速度値、角速度値や地磁気値、気圧値の変化を検出する等、複数センサのセンサ信号を総合的に用いて、撮影者姿勢を検出することができる。本実施形態では、撮像装置姿勢センサ105aと撮影者姿勢センサ106aとは、撮像装置に装着される情報処理装置101に搭載されることとするが、撮影者の身体(例えば、手首や首等)に装着されることとしてもよい。また、撮像装置姿勢センサ105a、撮影者姿勢センサ106aは、撮像装置に含まれることとしてもよい。
CPU102aが、ROM104a等に記憶されたプログラムに基づき処理を実行することによって、図1、3、5、7、9で後述する情報処理装置101の機能及び図2、4、6、8、10で後述するフローチャートの処理が実現される。
CPU102aが、ROM104a等に記憶されたプログラムに基づき処理を実行することによって、図1、3、5、7、9で後述する情報処理装置101の機能及び図2、4、6、8、10で後述するフローチャートの処理が実現される。
図1(b)は、本実施形態における情報処理装置101の機能構成の一例を示す図である。情報処理装置101は、制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105bを含む。各機能構成要素は、CPU102aが、ROM104aに記憶されたプログラムをRAM103aに展開し、図2等で後述する各フローチャートに従った処理を実行することで実現されている。また、情報処理装置101は、例えば、CPU102aを用いたソフトウェア処理の少なくとも一部の代替としたハードウェアを含むこととしてもよい。情報処理装置101は、例えば、各機能構成要素の処理に対応させた演算部や回路を含むこととしてもよい。撮像装置姿勢検出部103bは、第1の取得手段の一例である。撮影者姿勢検出部104bは、第2の取得手段の一例である。
制御部102bは、撮影者による撮像装置への操作に関する処理をする。制御部102bは、例えば、撮像装置の電源が切れているか否かを判定し、電源が切れていない場合、即ち、電源が入っている場合、撮影シーン決定処理を繰り返し実施する。
制御部102bは、撮影者による撮像装置への操作に関する処理をする。制御部102bは、例えば、撮像装置の電源が切れているか否かを判定し、電源が切れていない場合、即ち、電源が入っている場合、撮影シーン決定処理を繰り返し実施する。
撮像装置姿勢検出部103bは、撮像装置の姿勢情報を検出する。撮像装置の姿勢情報とは、撮像装置の姿勢に関する情報である。本実施形態では、撮像装置の姿勢情報は、撮像装置の撮影レンズの光軸と水平面のなす角度の情報であるとする。撮像装置姿勢検出部103bは、撮像装置の撮像レンズの光軸方向の仰角又は俯角を算出することにより、撮像装置の姿勢情報として、撮像装置の撮影レンズの上下方向の向きを特定する。撮像装置姿勢検出部103bは、例えば、加速度センサにより検出された重力加速度の撮影レンズの光軸方向成分に基づいて、光軸と水平面とのなす角度(仰角又は俯角)を算出する。
撮像装置姿勢検出部103bは、算出した角度に基づいて、撮像装置の姿勢情報を撮像装置姿勢カテゴリに分類してもよい。撮像装置姿勢カテゴリとは、上向きであるか、下向きであるか、等の撮像装置の姿勢に関する区分を示す。例えば、撮像装置姿勢検出部103bは、撮像装置の姿勢情報を、撮像装置姿勢カテゴリとして、レンズの向きが上向き、水平、下向きのうちの何れかに分類してもよい。その際、撮像装置姿勢検出部103bは、例えば、算出した角度が設定された閾値未満である場合、撮像装置のレンズが水平面に対して下向きであるとみなし、撮像装置の姿勢情報のカテゴリを下向きと分類する。撮像装置姿勢検出部103bが検出した撮像装置の姿勢情報を撮像装置姿勢カテゴリに分類することで、以下のようになる。即ち、情報処理装置101は、撮像装置の撮影レンズの光軸と水平面のなす角度等の詳細な姿勢情報に基づくことなく、撮像装置姿勢カテゴリに基づいて、撮影シーンの決定ができるようになる。これにより、情報処理装置101は、撮像装置の撮影レンズの光軸と水平面のなす角度等の詳細な姿勢情報のように撮像装置姿勢カテゴリよりも複雑な情報に基づいて処理を行う場合に比べて、処理負担を軽減できる。
また、撮像装置姿勢検出部103bは、撮影者が持っている撮像装置により撮影された画像情報に基づいて、撮像装置の姿勢情報を決定してもよい。また、撮像装置姿勢検出部103bは、他の撮像装置により情報処理装置101と通信を行う撮像装置又は撮影者が撮像された画像情報に基づいて、撮像装置の姿勢を検出してもよい。撮像装置姿勢検出部103bは、例えば、画像情報から撮影者の人体の関節位置や手首の向き、首や顔の向きを検出し、検出した関節位置や手首の向き、首や顔の向き等に基づいて、撮像装置の姿勢を検出する。また、撮像装置姿勢検出部103bは、画像情報とセンサ情報を組み合わせて、撮像装置の姿勢を検出してもよい。これらにより、撮像装置姿勢検出部103bは、より精度よく撮像装置の姿勢を検出することができる。更に、情報処理装置101は、撮像装置による撮影画像等に基づいて、撮像装置の姿勢情報を取得できれば、撮像装置の姿勢情報を取得するために撮像装置姿勢センサ105aを有する必要がなくなる。それにより、情報処理装置101は、撮像装置姿勢センサ105a分のハードウェア資源を節約することができる。
撮像装置姿勢検出部103bは、算出した角度に基づいて、撮像装置の姿勢情報を撮像装置姿勢カテゴリに分類してもよい。撮像装置姿勢カテゴリとは、上向きであるか、下向きであるか、等の撮像装置の姿勢に関する区分を示す。例えば、撮像装置姿勢検出部103bは、撮像装置の姿勢情報を、撮像装置姿勢カテゴリとして、レンズの向きが上向き、水平、下向きのうちの何れかに分類してもよい。その際、撮像装置姿勢検出部103bは、例えば、算出した角度が設定された閾値未満である場合、撮像装置のレンズが水平面に対して下向きであるとみなし、撮像装置の姿勢情報のカテゴリを下向きと分類する。撮像装置姿勢検出部103bが検出した撮像装置の姿勢情報を撮像装置姿勢カテゴリに分類することで、以下のようになる。即ち、情報処理装置101は、撮像装置の撮影レンズの光軸と水平面のなす角度等の詳細な姿勢情報に基づくことなく、撮像装置姿勢カテゴリに基づいて、撮影シーンの決定ができるようになる。これにより、情報処理装置101は、撮像装置の撮影レンズの光軸と水平面のなす角度等の詳細な姿勢情報のように撮像装置姿勢カテゴリよりも複雑な情報に基づいて処理を行う場合に比べて、処理負担を軽減できる。
また、撮像装置姿勢検出部103bは、撮影者が持っている撮像装置により撮影された画像情報に基づいて、撮像装置の姿勢情報を決定してもよい。また、撮像装置姿勢検出部103bは、他の撮像装置により情報処理装置101と通信を行う撮像装置又は撮影者が撮像された画像情報に基づいて、撮像装置の姿勢を検出してもよい。撮像装置姿勢検出部103bは、例えば、画像情報から撮影者の人体の関節位置や手首の向き、首や顔の向きを検出し、検出した関節位置や手首の向き、首や顔の向き等に基づいて、撮像装置の姿勢を検出する。また、撮像装置姿勢検出部103bは、画像情報とセンサ情報を組み合わせて、撮像装置の姿勢を検出してもよい。これらにより、撮像装置姿勢検出部103bは、より精度よく撮像装置の姿勢を検出することができる。更に、情報処理装置101は、撮像装置による撮影画像等に基づいて、撮像装置の姿勢情報を取得できれば、撮像装置の姿勢情報を取得するために撮像装置姿勢センサ105aを有する必要がなくなる。それにより、情報処理装置101は、撮像装置姿勢センサ105a分のハードウェア資源を節約することができる。
撮影者姿勢検出部104bは、撮影者の姿勢情報を検出する。撮影者姿勢検出部104bは、撮影者姿勢センサ106aからの出力信号に基づいて、撮影者の姿勢情報を検出する。本実施形態では、撮影者姿勢検出部104bは、加速度センサである撮影者姿勢センサ106aを介して検出される撮像装置にかかる重力加速度の変化を検出し、検出した重力加速度の変化に基づいて、撮影者の姿勢情報を検出する。更に、撮影者姿勢検出部104bは、検出した撮影者の姿勢情報に基づいて、撮影者の姿勢を設定された撮影者姿勢カテゴリの何れかに分類することとしてもよい。撮影者姿勢カテゴリとは、例えば、立っている、座っている等の撮影者の姿勢の区分を示す。撮影者姿勢検出部104bが検出した撮影者の姿勢情報を撮影者姿勢カテゴリに分類することで、情報処理装置101は、加速度センサからの加速度変化の情報等の詳細な情報に基づくことなく、撮影者姿勢カテゴリに基づいて、撮影シーンの決定ができるようになる。これにより、情報処理装置101は加速度センサからの加速度変化の情報等の詳細な情報のように撮影者姿勢カテゴリ情報よりも複雑な情報に基づいて処理を行う場合に比べて、処理負担を軽減できる。
また、撮影者姿勢検出部104bは、加速度センサの他にジャイロセンサ等複数のセンサを含む撮影者姿勢センサ106aからの出力信号に基づいて、撮影者の姿勢情報を検出することとしてもよい。その場合、撮影者姿勢検出部104bは、撮像装置に係る重力加速度や角速度値等の変化に基づいて、撮影者の姿勢情報を検出することになる。
また、撮影者姿勢検出部104bは、撮影者姿勢センサ106aの加速度センサと気圧センサとからの信号を少なくとも1つ以上組み合わせて、重力加速度値や気圧値の変化に基づいて、基準の高さからの相対高さを算出してもよい。そして、撮影者姿勢検出部104bは、算出した相対高さに基づいて、撮影者の姿勢情報を検出してもよい。
また、撮影者姿勢検出部104bは、加速度センサの他にジャイロセンサ等複数のセンサを含む撮影者姿勢センサ106aからの出力信号に基づいて、撮影者の姿勢情報を検出することとしてもよい。その場合、撮影者姿勢検出部104bは、撮像装置に係る重力加速度や角速度値等の変化に基づいて、撮影者の姿勢情報を検出することになる。
また、撮影者姿勢検出部104bは、撮影者姿勢センサ106aの加速度センサと気圧センサとからの信号を少なくとも1つ以上組み合わせて、重力加速度値や気圧値の変化に基づいて、基準の高さからの相対高さを算出してもよい。そして、撮影者姿勢検出部104bは、算出した相対高さに基づいて、撮影者の姿勢情報を検出してもよい。
撮影者姿勢検出部104bは、例えば、基準の高さを撮影者が立ってカメラを構えたときの高さとして、重力加速度値や気圧値の変化から算出した相対高さが設定された閾値(例えば100センチメートル)だけ低い場合、座っていると決定する。また、撮影者姿勢検出部104bは、赤外線センサを用いて、天井からの撮像装置までの高さを算出し、撮影者の姿勢情報を検出してもよい。
撮影者姿勢検出部104bは、撮影者が持っている撮像装置により撮像された画像情報に基づいて、撮影者の姿勢情報を検出してもよい。また、撮影者姿勢検出部104bは、撮像装置又は撮影者が他の撮像装置により撮像された画像情報に基づいて、撮影者の姿勢情報を検出してもよい。例えば、撮影者姿勢検出部104bは、画像情報から人体の関節位置を検出し、検出した関節位置を基に、撮影者の姿勢情報を検出する。また、撮影者姿勢検出部104bは、画像情報とセンサ情報を組み合わせて、撮影者の姿勢情報を検出してもよい。これらにより、撮影者姿勢検出部104bは、より正確に撮影者の姿勢情報を検出できる。更に、情報処理装置101は、撮像装置による撮影画像等に基づいて、撮像装置の姿勢情報を取得できれば、撮影者の姿勢情報を取得するために撮影者姿勢センサ106aを有する必要がなくなる。それにより、情報処理装置101は、撮影者姿勢センサ106a分のハードウェア資源を節約することができる。
シーン決定部105bは、撮像装置姿勢検出部103bが検出した撮像装置の姿勢と撮影者姿勢検出部104bが検出した撮影者の姿勢に基づいて、撮像装置の撮影シーンを決定する。
撮影者姿勢検出部104bは、撮影者が持っている撮像装置により撮像された画像情報に基づいて、撮影者の姿勢情報を検出してもよい。また、撮影者姿勢検出部104bは、撮像装置又は撮影者が他の撮像装置により撮像された画像情報に基づいて、撮影者の姿勢情報を検出してもよい。例えば、撮影者姿勢検出部104bは、画像情報から人体の関節位置を検出し、検出した関節位置を基に、撮影者の姿勢情報を検出する。また、撮影者姿勢検出部104bは、画像情報とセンサ情報を組み合わせて、撮影者の姿勢情報を検出してもよい。これらにより、撮影者姿勢検出部104bは、より正確に撮影者の姿勢情報を検出できる。更に、情報処理装置101は、撮像装置による撮影画像等に基づいて、撮像装置の姿勢情報を取得できれば、撮影者の姿勢情報を取得するために撮影者姿勢センサ106aを有する必要がなくなる。それにより、情報処理装置101は、撮影者姿勢センサ106a分のハードウェア資源を節約することができる。
シーン決定部105bは、撮像装置姿勢検出部103bが検出した撮像装置の姿勢と撮影者姿勢検出部104bが検出した撮影者の姿勢に基づいて、撮像装置の撮影シーンを決定する。
図2は、本実施形態の情報処理装置101が実行する撮影シーンを決定する処理の一例を示すフローチャートである。本実施形態では、情報処理装置101は、情報処理装置101の起動に応じて、図2の処理を開始し、周期的に図2の処理を繰り返す。また、情報処理装置101は、例えば、設定されたアプリケーションが起動されたことに応じて、図2の処理を開始し、そのアプリケーションの実行中の間周期的に、図2の処理を繰り返すこととしてもよい。
S201において、撮像装置姿勢検出部103bは、撮像装置の姿勢情報を検出する。本実施形態では、撮像装置姿勢センサ105aは、加速度センサで構成される。撮像装置姿勢検出部103bは、加速度センサである撮像装置姿勢センサ105aを介して、撮像装置に係る重力加速度の撮影レンズの光軸方向成分を検出する。そして、撮像装置姿勢検出部103bは、検出した重力加速度の撮影レンズの光軸方向成分に基づいて、光軸と水平面とのなす角度(仰角又は俯角)を算出する。本実施形態では、撮像装置姿勢検出部103bは、加速度センサである撮像装置姿勢センサ105aが加速度を検知した時刻の情報を取得する。そして、撮像装置姿勢検出部103bは、算出した角度である撮像装置の姿勢情報と、撮像装置の姿勢の検出に利用された加速度が検出された時刻情報と、を関連付けてRAM103aに記憶する。
S202において、撮影者姿勢検出部104bは、撮影者の姿勢情報を検出する。本実施形態では、撮影者姿勢センサ106aは、加速度センサで構成される。撮影者姿勢検出部104bは、加速度センサである撮影者姿勢センサ106aを介して、撮像装置の重力加速度の変化を検出し、検出した重力加速度の変化を検出する。更に、撮影者姿勢検出部104bは、検出した重力加速度の変化を、設定された撮影者姿勢カテゴリの何れかに分類する。本実施形態では、撮影者姿勢カテゴリは、立っている、座っている、の2つの区分とし、撮影者姿勢検出部104bは、検出した撮影者姿勢を何れかの区分に分類するとする。更に、本実施形態では、撮影者姿勢検出部104bは、撮影者姿勢センサ106aが加速度を検知した時刻の情報を取得する。そして、撮影者姿勢検出部104bは、検出した撮影者姿勢カテゴリである撮影者の姿勢情報と、姿勢の検出に利用された加速度が検出された時刻情報と、を関連付けてRAM103aに記憶する。
S201において、撮像装置姿勢検出部103bは、撮像装置の姿勢情報を検出する。本実施形態では、撮像装置姿勢センサ105aは、加速度センサで構成される。撮像装置姿勢検出部103bは、加速度センサである撮像装置姿勢センサ105aを介して、撮像装置に係る重力加速度の撮影レンズの光軸方向成分を検出する。そして、撮像装置姿勢検出部103bは、検出した重力加速度の撮影レンズの光軸方向成分に基づいて、光軸と水平面とのなす角度(仰角又は俯角)を算出する。本実施形態では、撮像装置姿勢検出部103bは、加速度センサである撮像装置姿勢センサ105aが加速度を検知した時刻の情報を取得する。そして、撮像装置姿勢検出部103bは、算出した角度である撮像装置の姿勢情報と、撮像装置の姿勢の検出に利用された加速度が検出された時刻情報と、を関連付けてRAM103aに記憶する。
S202において、撮影者姿勢検出部104bは、撮影者の姿勢情報を検出する。本実施形態では、撮影者姿勢センサ106aは、加速度センサで構成される。撮影者姿勢検出部104bは、加速度センサである撮影者姿勢センサ106aを介して、撮像装置の重力加速度の変化を検出し、検出した重力加速度の変化を検出する。更に、撮影者姿勢検出部104bは、検出した重力加速度の変化を、設定された撮影者姿勢カテゴリの何れかに分類する。本実施形態では、撮影者姿勢カテゴリは、立っている、座っている、の2つの区分とし、撮影者姿勢検出部104bは、検出した撮影者姿勢を何れかの区分に分類するとする。更に、本実施形態では、撮影者姿勢検出部104bは、撮影者姿勢センサ106aが加速度を検知した時刻の情報を取得する。そして、撮影者姿勢検出部104bは、検出した撮影者姿勢カテゴリである撮影者の姿勢情報と、姿勢の検出に利用された加速度が検出された時刻情報と、を関連付けてRAM103aに記憶する。
S203において、シーン決定部105bは、S201及びS202でRAM103aにそれぞれ記憶された最新の撮像装置の姿勢情報と最新の撮影者の姿勢情報とに基づいて、撮像装置の撮影シーンを決定する。シーン決定部105bは、例えば、RAM103aに記憶されている最新の撮像装置の姿勢情報に対応する姿勢(角度)が設定された範囲以内であるか否かを判定する。また、シーン決定部105bは、RAM103aに記憶されている撮影者の姿勢情報である撮影者姿勢カテゴリが設定されたカテゴリであるか否かを判定する。シーン決定部105bは、撮像装置の姿勢が所定範囲以内であり、かつ、撮影者姿勢カテゴリが設定されたカテゴリである場合、その撮像装置の姿勢情報とその撮影者の姿勢情報とに応じた撮影シーンを、撮像装置の撮影シーンとして決定する。
本実施形態では、ROM104aは、予め、撮像装置の姿勢情報と、撮影者の姿勢情報と、撮影シーンと、の対応情報を、シーン対応情報として、記憶している。シーン決定部105bは、例えば、ROM104aに記憶されているシーン対応情報から、S201及びS202で検出された撮像装置の姿勢情報と撮影者の姿勢情報とに対応する撮影シーンを取得する。
シーン決定部105bは、例えば、撮像装置の姿勢、即ち角度が設定された閾値未満であるか否かの判定と、撮影者の姿勢情報が「座っている」のカテゴリであるか否かの判定を実施する。撮像装置の姿勢が設定された閾値未満であり、かつ、撮影者の姿勢情報が「座っている」カテゴリである場合、以下の処理を行う。即ち、シーン決定部105bは、ROM104aのシーン対応情報から、撮像装置の姿勢情報が示す角度が設定された閾値未満であり、かつ、撮影者の姿勢情報が「座っている」カテゴリである場合の撮影シーンの情報を取得する。そして、シーン決定部105bは、取得した情報に対応する撮影シーンを、撮像装置の撮影シーンとして決定する。本実施形態では、撮像装置の姿勢情報が示す角度が設定された閾値未満であり、かつ、撮影者の姿勢情報が「座っている」カテゴリである場合の撮影シーンは、マクロシーンであるとする。マクロシーンとは、撮影者の近くにある被写体を撮影するような撮影シーンである。
S204において、制御部102bは、撮像装置の電源が切られたか否かの判定をする。制御部102bは、電源が切られたと判定した場合、図2の処理を終了する。制御部102bは、電源が切られていないと判定した場合、S201に進み、図2の処理を繰り返す。
本実施形態では、ROM104aは、予め、撮像装置の姿勢情報と、撮影者の姿勢情報と、撮影シーンと、の対応情報を、シーン対応情報として、記憶している。シーン決定部105bは、例えば、ROM104aに記憶されているシーン対応情報から、S201及びS202で検出された撮像装置の姿勢情報と撮影者の姿勢情報とに対応する撮影シーンを取得する。
シーン決定部105bは、例えば、撮像装置の姿勢、即ち角度が設定された閾値未満であるか否かの判定と、撮影者の姿勢情報が「座っている」のカテゴリであるか否かの判定を実施する。撮像装置の姿勢が設定された閾値未満であり、かつ、撮影者の姿勢情報が「座っている」カテゴリである場合、以下の処理を行う。即ち、シーン決定部105bは、ROM104aのシーン対応情報から、撮像装置の姿勢情報が示す角度が設定された閾値未満であり、かつ、撮影者の姿勢情報が「座っている」カテゴリである場合の撮影シーンの情報を取得する。そして、シーン決定部105bは、取得した情報に対応する撮影シーンを、撮像装置の撮影シーンとして決定する。本実施形態では、撮像装置の姿勢情報が示す角度が設定された閾値未満であり、かつ、撮影者の姿勢情報が「座っている」カテゴリである場合の撮影シーンは、マクロシーンであるとする。マクロシーンとは、撮影者の近くにある被写体を撮影するような撮影シーンである。
S204において、制御部102bは、撮像装置の電源が切られたか否かの判定をする。制御部102bは、電源が切られたと判定した場合、図2の処理を終了する。制御部102bは、電源が切られていないと判定した場合、S201に進み、図2の処理を繰り返す。
以上、本実施形態の処理により、情報処理装置101は、撮像装置の姿勢情報と、撮影者の姿勢情報と、に基づいて、撮像装置の撮影シーンを決定できる。即ち、情報処理装置101は、画像の色構成の情報に依らずに、撮影シーンを決定できる。そのため、情報処理装置101は、画像の色構成に基づいて、正確な撮影シーンの決定を行うことが難しい場合でも、より正確に撮影シーンを決定することができる。
本実施形態では、シーン決定部105bは、撮像装置の姿勢情報が示す角度が設定された閾値未満であり、かつ、撮影者の姿勢が「座っている」カテゴリである場合、マクロシーンであると決定したが、食事シーン等の他の撮影シーンに決定してもよい。食事シーンとは、撮影者が食事を撮影するシーンである。
また、本実施形態では、撮影者の姿勢の姿勢カテゴリを、「立っている」、「座っている」の2つの区分であるとしたが、撮影者の姿勢の姿勢カテゴリは、これに限定されない。撮影者の姿勢の姿勢カテゴリは、例えば、立ち方や、座り方、撮影者の顔や首の向き、撮像装置の持ち方、行動についての区分に分類されることとしてもよい。撮影者の姿勢の姿勢カテゴリは、例えば、「椅子に座っている」、「立って歩いている」、「立って静止している」、「立って撮像装置を動かしている」等の区分に分類されることとしてもよい。また、撮影者の姿勢の姿勢カテゴリは、撮影者の顔や首の向きが上向き、水平、下向き等についての区分であることとしてもよいし、撮像装置の持ち方が片手である、両手である等の区分に分類することとしてもよい。
本実施形態では、シーン決定部105bは、撮像装置の姿勢情報が示す角度が設定された閾値未満であり、かつ、撮影者の姿勢が「座っている」カテゴリである場合、マクロシーンであると決定したが、食事シーン等の他の撮影シーンに決定してもよい。食事シーンとは、撮影者が食事を撮影するシーンである。
また、本実施形態では、撮影者の姿勢の姿勢カテゴリを、「立っている」、「座っている」の2つの区分であるとしたが、撮影者の姿勢の姿勢カテゴリは、これに限定されない。撮影者の姿勢の姿勢カテゴリは、例えば、立ち方や、座り方、撮影者の顔や首の向き、撮像装置の持ち方、行動についての区分に分類されることとしてもよい。撮影者の姿勢の姿勢カテゴリは、例えば、「椅子に座っている」、「立って歩いている」、「立って静止している」、「立って撮像装置を動かしている」等の区分に分類されることとしてもよい。また、撮影者の姿勢の姿勢カテゴリは、撮影者の顔や首の向きが上向き、水平、下向き等についての区分であることとしてもよいし、撮像装置の持ち方が片手である、両手である等の区分に分類することとしてもよい。
<実施形態2>
本実施形態では、情報処理装置101が撮像装置の姿勢情報及び撮影者の姿勢情報に加えて撮影者の姿勢の維持時間に基づいて、撮像装置の撮影シーンを決定する処理を説明する。本実施形態では、情報処理装置101は、撮影者の姿勢の過去の検出時刻から最新の検出時刻まで同一の姿勢カテゴリが連続している場合に、撮影者の姿勢が維持されているとみなす。
本実施形態の情報処理装置101のハードウェア構成は、実施形態1と同様である。
図3(a)は、本実施形態の情報処理装置101の機能構成の一例を示す図である。情報処理装置101は、制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105b、撮影者姿勢維持判定部301を含む。制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105bの詳細は、図1(b)と同様である。
本実施形態では、撮影者姿勢維持判定部301が、撮影者姿勢検出部104bにより検出された最新の撮影者の姿勢情報の姿勢カテゴリと同一の姿勢カテゴリが設定された閾値以上の期間連続して検出されているか否かを判定する。シーン決定部105bは、最新の撮影者の姿勢カテゴリが設定された閾値以上の期間連続して検出されていると判定した場合、以下のようにみなす。即ち、シーン決定部105bは、撮影者が設定された閾値以上の期間同じような姿勢を維持し続けているとみなし、撮影者が姿勢を変えなくても撮影者の目の前に被写体が出現する状況であるとみなす。撮影者が姿勢を変えなくても撮影者の目の前に被写体が出現する状況とは、例えば、撮影者が飲食店で設定された閾値以上の期間座っているときに目の前のテーブルに料理が運ばれてくる状況等である。また、シーン決定部105bは、撮影者姿勢維持判定部301により最新の撮影者の姿勢が設定された閾値以上の期間維持されていないと判定された場合には、撮影者が撮影のために一時的に姿勢を変える状況であるとみなす。撮影のために一時的に姿勢を変える状況とは、例えば、散歩中に立ち止まり一時的に座って植物や風景をみる状況等である。
本実施形態では、情報処理装置101が撮像装置の姿勢情報及び撮影者の姿勢情報に加えて撮影者の姿勢の維持時間に基づいて、撮像装置の撮影シーンを決定する処理を説明する。本実施形態では、情報処理装置101は、撮影者の姿勢の過去の検出時刻から最新の検出時刻まで同一の姿勢カテゴリが連続している場合に、撮影者の姿勢が維持されているとみなす。
本実施形態の情報処理装置101のハードウェア構成は、実施形態1と同様である。
図3(a)は、本実施形態の情報処理装置101の機能構成の一例を示す図である。情報処理装置101は、制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105b、撮影者姿勢維持判定部301を含む。制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105bの詳細は、図1(b)と同様である。
本実施形態では、撮影者姿勢維持判定部301が、撮影者姿勢検出部104bにより検出された最新の撮影者の姿勢情報の姿勢カテゴリと同一の姿勢カテゴリが設定された閾値以上の期間連続して検出されているか否かを判定する。シーン決定部105bは、最新の撮影者の姿勢カテゴリが設定された閾値以上の期間連続して検出されていると判定した場合、以下のようにみなす。即ち、シーン決定部105bは、撮影者が設定された閾値以上の期間同じような姿勢を維持し続けているとみなし、撮影者が姿勢を変えなくても撮影者の目の前に被写体が出現する状況であるとみなす。撮影者が姿勢を変えなくても撮影者の目の前に被写体が出現する状況とは、例えば、撮影者が飲食店で設定された閾値以上の期間座っているときに目の前のテーブルに料理が運ばれてくる状況等である。また、シーン決定部105bは、撮影者姿勢維持判定部301により最新の撮影者の姿勢が設定された閾値以上の期間維持されていないと判定された場合には、撮影者が撮影のために一時的に姿勢を変える状況であるとみなす。撮影のために一時的に姿勢を変える状況とは、例えば、散歩中に立ち止まり一時的に座って植物や風景をみる状況等である。
図4は、本実施形態の撮影シーンを決定する処理の一例を示すフローチャートである。S201、S202、S204の処理は、図2と同様である。本実施形態では、情報処理装置101は、情報処理装置101の起動に応じて図4の処理を開始し、周期的に図4の処理を繰り返す。また、情報処理装置101は、例えば、設定されたアプリケーションが起動されたことに応じて、図4の処理を開始し、そのアプリケーションの実行中の間、周期的に図4の処理を繰り返すこととしてもよい。
図4では、情報処理装置101は、S201の処理の後、S202とステップ401との処理を実施することとしているが、これに限るものではない。情報処理装置101は、S202及びステップ401の処理の後にS201の処理を行ってもよいし、S201の処理とS202及びステップ401の処理とを並列に実行することとしてもよい。そして、情報処理装置101は、S201の処理とS202及びステップ401の処理との結果に基づいて、S402又はS403の処理を実行する。
図4では、情報処理装置101は、S201の処理の後、S202とステップ401との処理を実施することとしているが、これに限るものではない。情報処理装置101は、S202及びステップ401の処理の後にS201の処理を行ってもよいし、S201の処理とS202及びステップ401の処理とを並列に実行することとしてもよい。そして、情報処理装置101は、S201の処理とS202及びステップ401の処理との結果に基づいて、S402又はS403の処理を実行する。
S401において、撮影者姿勢維持判定部301は、撮影者姿勢検出部104bによりRAM103aに記憶されている最新の撮影者の姿勢の姿勢カテゴリの情報と、その姿勢カテゴリの情報に関連付けられている時刻情報T1と、を取得する。更に、撮影者姿勢維持判定部301は、撮影者姿勢検出部104bによりRAM103aに記憶されている撮影者の姿勢の姿勢カテゴリ情報に基づいて、以下の処理を行う。即ち、撮影者姿勢維持判定部301は、最新の撮影者の姿勢カテゴリと同一の姿勢カテゴリが最新の検出データ直前に連続して検出されている場合に、その連続して検出されたデータの中で最も古い検出データに対応する時刻情報T2を取得する。次に、撮影者姿勢維持判定部301は、時刻情報T1と時刻情報T2の差分を、撮影者が同じ姿勢を維持している期間として算出し、算出した期間が設定された閾値以上であるか否かを判定する。撮影者姿勢維持判定部301は、算出した差分が設定された閾値以上であると判定した場合、S402の処理に進み、算出した差分が設定された閾値未満であると判定した場合、S403の処理に進む。
図3(b)は、撮影者姿勢検出部104bによりRAM103aに記憶されている撮影者の姿勢情報である撮影者姿勢カテゴリとその撮影者姿勢カテゴリが検出された時刻情報との一例を示す図である。例えば、図3(b)で示す情報がRAM103aに記憶されているとする。この場合、撮影者姿勢維持判定部301は、RAM103aに記憶されている撮影者姿勢カテゴリ情報に基づいて、最新の撮影者の姿勢情報である撮影者姿勢カテゴリを検出した時刻情報T1として12:25を取得する。また、撮影者姿勢維持判定部301は、最新の撮影者の姿勢情報と同一の姿勢に姿勢が変化した時刻情報T2として12:05を取得する。そして、撮影者姿勢維持判定部301は、時刻情報T1と時刻情報T2との差分20分を、撮影者が同じ姿勢を維持している期間として算出する。設定された閾値が5分の場合、撮影者姿勢維持判定部301は、撮影者が同じ姿勢を維持している期間である20分が設定された閾値である5分以上であるとして、撮影者が設定された閾値以上の期間同じ姿勢を維持しているとして、S402の処理に進む。設定された閾値が25分の場合、撮影者姿勢維持判定部301は、撮影者が同じ姿勢を維持している期間である20分が設定された閾値である25分未満であるとして、撮影者が設定された閾値以上の期間同じ姿勢を維持していないとして、S403の処理に進む。
図3(b)は、撮影者姿勢検出部104bによりRAM103aに記憶されている撮影者の姿勢情報である撮影者姿勢カテゴリとその撮影者姿勢カテゴリが検出された時刻情報との一例を示す図である。例えば、図3(b)で示す情報がRAM103aに記憶されているとする。この場合、撮影者姿勢維持判定部301は、RAM103aに記憶されている撮影者姿勢カテゴリ情報に基づいて、最新の撮影者の姿勢情報である撮影者姿勢カテゴリを検出した時刻情報T1として12:25を取得する。また、撮影者姿勢維持判定部301は、最新の撮影者の姿勢情報と同一の姿勢に姿勢が変化した時刻情報T2として12:05を取得する。そして、撮影者姿勢維持判定部301は、時刻情報T1と時刻情報T2との差分20分を、撮影者が同じ姿勢を維持している期間として算出する。設定された閾値が5分の場合、撮影者姿勢維持判定部301は、撮影者が同じ姿勢を維持している期間である20分が設定された閾値である5分以上であるとして、撮影者が設定された閾値以上の期間同じ姿勢を維持しているとして、S402の処理に進む。設定された閾値が25分の場合、撮影者姿勢維持判定部301は、撮影者が同じ姿勢を維持している期間である20分が設定された閾値である25分未満であるとして、撮影者が設定された閾値以上の期間同じ姿勢を維持していないとして、S403の処理に進む。
S402において、シーン決定部105bは、撮影者が設定された閾値以上の期間同じ姿勢であることを踏まえた上で、RAM103aに記憶されている最新の撮像装置の姿勢情報と撮影者の姿勢カテゴリ情報とに基づいて、撮影シーンを決定する。シーン決定部105bは、例えば、撮影者姿勢カテゴリが「座っている」であり(設定された閾値以上の期間撮影者が座っている)、撮像装置の姿勢情報が示す角度が閾値未満である場合、撮影者が姿勢を変えなくとも目の前の被写体が変わる状況であるとする。そして、シーン決定部105bは、撮影シーンが料理シーンであると決定する。本実施形態では、シーン決定部105bは、撮影者が姿勢を変えなくとも目の前の被写体が変わる状況を、料理シーンとして決定したが、他の撮影シーンであると決定してもよい。
本実施形態では、ROM104aは、予め、撮像装置の姿勢情報と、撮影者の姿勢情報と、撮影者が姿勢を維持する期間と、撮影シーンと、の対応情報を、シーン対応情報として、記憶している。シーン決定部105bは、例えば、ROM104aに記憶されているシーン対応情報から、S201及びS202で検出された撮像装置の姿勢情報と撮影者の姿勢情報と撮影者が姿勢を維持する期間とに対応する撮影シーンを取得する。
S403において、シーン決定部105bは、撮影者が設定された閾値以上の期間同じ姿勢ではないことを踏まえた上で、RAM103aに記憶されている最新の撮像装置の姿勢情報と撮影者の姿勢情報と、に基づいて、撮影シーンを決定する。シーン決定部105bは、例えば、撮影者姿勢カテゴリが「座っている」であり(設定された閾値以上の期間撮影者が座っている)、撮像装置の姿勢が示す角度が閾値未満である場合、一時的に撮影者が座って目の前の被写体を撮影する状況であるとする。そして、シーン決定部105bは、撮影シーンを植物シーンであると決定する。本実施形態では、シーン決定部105bは、一時的に撮影者が座って目の前の被写体を撮影する状況を、植物を撮影する撮影シーンである植物シーンであると決定したが、他の撮影シーンであると決定してもよい。
本実施形態では、ROM104aは、予め、撮像装置の姿勢情報と、撮影者の姿勢情報と、撮影者が姿勢を維持する期間と、撮影シーンと、の対応情報を、シーン対応情報として、記憶している。シーン決定部105bは、例えば、ROM104aに記憶されているシーン対応情報から、S201及びS202で検出された撮像装置の姿勢情報と撮影者の姿勢情報と撮影者が姿勢を維持する期間とに対応する撮影シーンを取得する。
S403において、シーン決定部105bは、撮影者が設定された閾値以上の期間同じ姿勢ではないことを踏まえた上で、RAM103aに記憶されている最新の撮像装置の姿勢情報と撮影者の姿勢情報と、に基づいて、撮影シーンを決定する。シーン決定部105bは、例えば、撮影者姿勢カテゴリが「座っている」であり(設定された閾値以上の期間撮影者が座っている)、撮像装置の姿勢が示す角度が閾値未満である場合、一時的に撮影者が座って目の前の被写体を撮影する状況であるとする。そして、シーン決定部105bは、撮影シーンを植物シーンであると決定する。本実施形態では、シーン決定部105bは、一時的に撮影者が座って目の前の被写体を撮影する状況を、植物を撮影する撮影シーンである植物シーンであると決定したが、他の撮影シーンであると決定してもよい。
以上、本実施形態の処理により、情報処理装置101は、撮像装置の姿勢情報と、撮影者の姿勢情報と、に加えて、撮影者が同じ姿勢を維持している期間と、に基づいて、撮影シーンを決定した。これにより、情報処理装置101は、撮像装置の姿勢情報と、撮影者の姿勢情報と、に基づいて、撮影シーンを決定する場合に比べて、より正確に、撮影シーンを決定することができる。
本実施形態では、シーン決定部105bは、撮影者が設定された閾値以上の期間座っていて、撮像装置の姿勢情報が示す角度が設定された閾値未満である場合は料理シーンであると決定した。また、シーン決定部105bは、撮影者が設定された閾値未満の期間座っていて、撮像装置の姿勢が設定された閾値未満である場合は植物シーンであると決定した。しかし、シーン決定部105bは、他の撮影シーンであると決定してもよい。例えば、シーン決定部105bは、撮影者が設定された閾値以上の期間座っていて、撮像装置の姿勢情報が示す角度が設定された閾値未満である場合、高層から下の風景を撮影するような風景シーン等の他の撮影シーンであると決定してもよい。また、シーン決定部105bは、撮影者が設定された閾値未満の期間座っていて、撮像装置の姿勢が設定された閾値未満である場合、時間をあまりかけない軽食等の食事シーンであると決定してもよい。
本実施形態では、シーン決定部105bは、撮影者が設定された閾値以上の期間座っていて、撮像装置の姿勢情報が示す角度が設定された閾値未満である場合は料理シーンであると決定した。また、シーン決定部105bは、撮影者が設定された閾値未満の期間座っていて、撮像装置の姿勢が設定された閾値未満である場合は植物シーンであると決定した。しかし、シーン決定部105bは、他の撮影シーンであると決定してもよい。例えば、シーン決定部105bは、撮影者が設定された閾値以上の期間座っていて、撮像装置の姿勢情報が示す角度が設定された閾値未満である場合、高層から下の風景を撮影するような風景シーン等の他の撮影シーンであると決定してもよい。また、シーン決定部105bは、撮影者が設定された閾値未満の期間座っていて、撮像装置の姿勢が設定された閾値未満である場合、時間をあまりかけない軽食等の食事シーンであると決定してもよい。
<実施形態3>
本実施形態では、情報処理装置101が、撮像装置の姿勢情報と撮影者の姿勢情報とに加えて、設定された期間内における撮像装置の撮影頻度に基づいて、撮影シーンを決定する処理を説明する。
本実施形態の情報処理装置101のハードウェア構成は、実施形態1と同様である。図5(a)は、本実施形態の情報処理装置101の機能構成の一例を示す図である。情報処理装置101は、制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105b、撮影頻度算出部501を含む。制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105bの詳細は、図1(b)と同様である。
本実施形態では、撮影頻度算出部501が、RAM103aに記憶されている撮影者の姿勢カテゴリ情報と撮影履歴情報とに基づいて、最新の撮影者の姿勢が維持されている期間においての撮影頻度を算出する。制御部102bは、撮影者が撮像装置のシャッターボタンを押す等して撮影を指示した場合、撮像装置が指示を受けた時刻情報を撮影履歴情報としてRAM103aに記憶する。シーン決定部105bは、撮影頻度算出部501により算出された撮影頻度と、RAM103aに保持されている最新の撮影者の姿勢カテゴリ情報と、撮像装置の姿勢情報と、に基づいて、撮影シーンを決定する。
本実施形態では、情報処理装置101が、撮像装置の姿勢情報と撮影者の姿勢情報とに加えて、設定された期間内における撮像装置の撮影頻度に基づいて、撮影シーンを決定する処理を説明する。
本実施形態の情報処理装置101のハードウェア構成は、実施形態1と同様である。図5(a)は、本実施形態の情報処理装置101の機能構成の一例を示す図である。情報処理装置101は、制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105b、撮影頻度算出部501を含む。制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105bの詳細は、図1(b)と同様である。
本実施形態では、撮影頻度算出部501が、RAM103aに記憶されている撮影者の姿勢カテゴリ情報と撮影履歴情報とに基づいて、最新の撮影者の姿勢が維持されている期間においての撮影頻度を算出する。制御部102bは、撮影者が撮像装置のシャッターボタンを押す等して撮影を指示した場合、撮像装置が指示を受けた時刻情報を撮影履歴情報としてRAM103aに記憶する。シーン決定部105bは、撮影頻度算出部501により算出された撮影頻度と、RAM103aに保持されている最新の撮影者の姿勢カテゴリ情報と、撮像装置の姿勢情報と、に基づいて、撮影シーンを決定する。
本実施形態では、シーン決定部105bは、撮影者の姿勢が同じまま維持されている期間の撮影頻度が設定された閾値以上である場合、撮影者が姿勢を変えずにいても被写体が出現したり、他の被写体が増えたりする状況であるとみなす。例えば、飲食店で複数の料理を注文し、その料理が1品ずつ時間をおいて順々に撮影者がいるテーブルに運ばれてくる状況等である。
また、シーン決定部105bは、撮影者の姿勢が同じまま維持されている期間における撮影頻度が設定された閾値未満である場合、撮影者が姿勢を変えないかぎり撮影者の目の前の被写体や景色は変わらない状況であるとみなす。例えば、撮影者が目の前の被写体である植物や風景を、様々な構図で撮影する状況等である。このような状況では、撮影者は、姿勢を変えて複数回撮影する可能性はあるが、同じ姿勢のままでは被写体が変化することは少ないため、複数回撮影する可能性は低い。また、撮影頻度算出部501は、撮影者が連写した場合(例えば、ある撮影時刻と次の撮影時刻との間の期間が設定された閾値未満である場合)、連写に係る撮影について、撮影回数を1回としてもよい。
また、シーン決定部105bは、撮影者の姿勢が同じまま維持されている期間における撮影頻度が設定された閾値未満である場合、撮影者が姿勢を変えないかぎり撮影者の目の前の被写体や景色は変わらない状況であるとみなす。例えば、撮影者が目の前の被写体である植物や風景を、様々な構図で撮影する状況等である。このような状況では、撮影者は、姿勢を変えて複数回撮影する可能性はあるが、同じ姿勢のままでは被写体が変化することは少ないため、複数回撮影する可能性は低い。また、撮影頻度算出部501は、撮影者が連写した場合(例えば、ある撮影時刻と次の撮影時刻との間の期間が設定された閾値未満である場合)、連写に係る撮影について、撮影回数を1回としてもよい。
図6は、本実施形態の情報処理装置101が実行する撮影シーンを決定する処理の一例を示すフローチャートである。S201、S202、S204の処理は、図2と同様である。本実施形態では、情報処理装置101は、情報処理装置101の起動に応じて図6の処理を開始し、その後、周期的に図6の処理を繰り返す。また、情報処理装置101は、例えば、設定されたアプリケーションが起動されたことに応じて、図6の処理を開始し、そのアプリケーションの実行中の間、周期的に図6の処理を繰り返すこととしてもよい。
S601において、撮影頻度算出部501は、最新の撮影者の姿勢が維持されている期間においての撮影頻度を算出する。撮影頻度算出部501は、RAM103aに保持されている最新の撮影者姿勢カテゴリとその撮影者姿勢カテゴリに関連付けられている時刻情報T1を取得する。そして、撮影頻度算出部501は、撮影者姿勢検出部104bによりRAM103aに記憶されている撮影者姿勢カテゴリ情報に基づいて、以下の処理を行う。即ち、撮影頻度算出部501は、最新の撮影者姿勢カテゴリと同一の姿勢カテゴリが最新の検出データ直前に連続して検出されている場合に、その連続して検出されたデータの中で最も古い検出データに対応する時刻情報T2を取得する。
そして、撮影頻度算出部501は、時刻情報T1と時刻情報T2との差分の期間に撮像装置による撮影が行われた回数を、時刻情報T1と時刻情報T2との差分の期間で除算し、その期間内の撮影頻度を算出する。図5(b)は、RAM103aに記憶されている撮影者姿勢カテゴリとその検出時刻の時刻情報との一例を示す図である。図5(c)は、RAM103aに記憶されている撮影履歴情報の一例を示す図である。本実施形態では、図5(b)に示す撮影者姿勢カテゴリと、図5(c)に示す撮影履歴情報と、がRAM103aに記憶されているとする。この場合、撮影頻度算出部501は、RAM103aに保持されている撮影者の姿勢情報に基づいて、最新の撮影者の姿勢カテゴリ情報を検出した時刻12:25と、最新の撮影者姿勢カテゴリに姿勢が変化した時刻12:05を取得する。次に、撮影頻度算出部501は、撮影履歴情報に基づいて、12:05から12:25までの期間に撮像装置により撮影が行われた回数を算出する。図5(c)の例では、撮影が行われた回数は、4回となる。そして、撮影頻度算出部501は、算出した撮影回数4回を、12:05から12:25までの期間である20分間で除算し、撮影頻度を、毎分0.2回として算出する。
S601において、撮影頻度算出部501は、最新の撮影者の姿勢が維持されている期間においての撮影頻度を算出する。撮影頻度算出部501は、RAM103aに保持されている最新の撮影者姿勢カテゴリとその撮影者姿勢カテゴリに関連付けられている時刻情報T1を取得する。そして、撮影頻度算出部501は、撮影者姿勢検出部104bによりRAM103aに記憶されている撮影者姿勢カテゴリ情報に基づいて、以下の処理を行う。即ち、撮影頻度算出部501は、最新の撮影者姿勢カテゴリと同一の姿勢カテゴリが最新の検出データ直前に連続して検出されている場合に、その連続して検出されたデータの中で最も古い検出データに対応する時刻情報T2を取得する。
そして、撮影頻度算出部501は、時刻情報T1と時刻情報T2との差分の期間に撮像装置による撮影が行われた回数を、時刻情報T1と時刻情報T2との差分の期間で除算し、その期間内の撮影頻度を算出する。図5(b)は、RAM103aに記憶されている撮影者姿勢カテゴリとその検出時刻の時刻情報との一例を示す図である。図5(c)は、RAM103aに記憶されている撮影履歴情報の一例を示す図である。本実施形態では、図5(b)に示す撮影者姿勢カテゴリと、図5(c)に示す撮影履歴情報と、がRAM103aに記憶されているとする。この場合、撮影頻度算出部501は、RAM103aに保持されている撮影者の姿勢情報に基づいて、最新の撮影者の姿勢カテゴリ情報を検出した時刻12:25と、最新の撮影者姿勢カテゴリに姿勢が変化した時刻12:05を取得する。次に、撮影頻度算出部501は、撮影履歴情報に基づいて、12:05から12:25までの期間に撮像装置により撮影が行われた回数を算出する。図5(c)の例では、撮影が行われた回数は、4回となる。そして、撮影頻度算出部501は、算出した撮影回数4回を、12:05から12:25までの期間である20分間で除算し、撮影頻度を、毎分0.2回として算出する。
S602において、シーン決定部105bは、RAM103aに記憶されている最新の撮像装置の姿勢情報と撮影者の姿勢情報である撮影者姿勢カテゴリと、S601で算出された撮影頻度と、に基づいて、撮影シーンを決定する。シーン決定部105bは、例えば、撮影者が座っていて、撮像装置の姿勢情報が示す角度が設定された閾値未満であり、撮影頻度が設定された閾値以上である場合、以下の処理を行う。即ち、シーン決定部105bは、撮影者が姿勢を変えなくとも目の前の被写体が変わる状況であるとし、撮影シーンが料理シーンであると決定する。また、シーン決定部105bは、撮影者が座っていて、撮像装置の姿勢情報が示す角度が設定された閾値未満であり、撮影頻度が設定された閾値未満である場合、撮影者が姿勢を変えないかぎり撮影者の目の前の被写体や景色は変わらない状況であるとする。そして、シーン決定部105bは、撮影シーンを植物シーンであることを決定する。
本実施形態では、ROM104aは、予め、撮像装置の姿勢情報と、撮影者の姿勢情報と、撮影頻度と、撮影シーンと、の対応情報を、シーン対応情報として、記憶している。シーン決定部105bは、例えば、ROM104aに記憶されているシーン対応情報から、S201及びS202で検出された撮像装置の姿勢情報と撮影者の姿勢情報と撮影頻度とに対応する撮影シーンを取得する。
S603において、制御部102bは、撮影者がシャッターボタンを押す等して撮像装置に撮影を指示したか否かを判定する。制御部102bは、撮影者が撮影を指示したと判定した場合、S604の処理に進み、撮影者が撮影を指示していないと判定した場合、S204の処理に進む。
S604において、制御部102bは、S603で指示されたと判定された撮影が行われた時刻情報を撮影履歴情報としてRAM103aに記憶する。
本実施形態では、ROM104aは、予め、撮像装置の姿勢情報と、撮影者の姿勢情報と、撮影頻度と、撮影シーンと、の対応情報を、シーン対応情報として、記憶している。シーン決定部105bは、例えば、ROM104aに記憶されているシーン対応情報から、S201及びS202で検出された撮像装置の姿勢情報と撮影者の姿勢情報と撮影頻度とに対応する撮影シーンを取得する。
S603において、制御部102bは、撮影者がシャッターボタンを押す等して撮像装置に撮影を指示したか否かを判定する。制御部102bは、撮影者が撮影を指示したと判定した場合、S604の処理に進み、撮影者が撮影を指示していないと判定した場合、S204の処理に進む。
S604において、制御部102bは、S603で指示されたと判定された撮影が行われた時刻情報を撮影履歴情報としてRAM103aに記憶する。
以上、本実施形態の処理により、情報処理装置101は、撮像装置の姿勢情報と、撮影者の姿勢情報と、に加えて、撮影者が同じ姿勢を維持している期間における撮像装置の撮影頻度と、に基づいて、撮影シーンを決定した。これにより、情報処理装置101は、撮像装置の姿勢情報と、撮影者の姿勢情報と、に基づいて、撮影シーンを決定する場合に比べて、より正確に、撮影シーンを決定することができる。
本実施形態では、シーン決定部105bは、撮影者が設定された閾値以上の期間座っていて、撮像装置の姿勢情報が示す角度が設定された閾値未満であり、撮影頻度が設定された閾値以上である場合、撮影シーンを料理シーンとして決定した。しかし、シーン決定部105bは、同様の場合に、撮影シーンを風景シーン等の他の撮影シーンであると決定してもよい。また、本実施形態では、シーン決定部105bは、撮影頻度が設定された閾値未満であり、撮影者が座っていて、かつ、撮像装置の姿勢情報が示す角度が設定された閾値未満である場合、撮影シーンを植物シーンであると決定した。しかし、本実施形態では、シーン決定部105bは、撮影頻度が設定された閾値未満であり、撮影者が座っていて、かつ、撮像装置の姿勢情報が示す角度が設定された閾値未満である場合、撮影シーンを食事シーン等の他の撮影シーンであると決定してもよい。
本実施形態では、シーン決定部105bは、撮影者が設定された閾値以上の期間座っていて、撮像装置の姿勢情報が示す角度が設定された閾値未満であり、撮影頻度が設定された閾値以上である場合、撮影シーンを料理シーンとして決定した。しかし、シーン決定部105bは、同様の場合に、撮影シーンを風景シーン等の他の撮影シーンであると決定してもよい。また、本実施形態では、シーン決定部105bは、撮影頻度が設定された閾値未満であり、撮影者が座っていて、かつ、撮像装置の姿勢情報が示す角度が設定された閾値未満である場合、撮影シーンを植物シーンであると決定した。しかし、本実施形態では、シーン決定部105bは、撮影頻度が設定された閾値未満であり、撮影者が座っていて、かつ、撮像装置の姿勢情報が示す角度が設定された閾値未満である場合、撮影シーンを食事シーン等の他の撮影シーンであると決定してもよい。
<実施形態4>
本実施形態では、情報処理装置101が撮像装置の姿勢情報及び撮影者の姿勢情報に加えて、場所情報、方位情報、日時情報、明るさ情報、温度情報等の撮影条件情報に基づいて、撮影シーンを決定する処理を説明する。撮影条件情報とは、撮影の際の場所、方位、日時、明るさ、温度等の条件を示す情報である。
図7(a)は、本実施形態の情報処理装置101のハードウェア構成の一例を示す図である。情報処理装置101は、CPU102a、RAM103a、ROM104a、撮像装置姿勢センサ105a、撮影者姿勢センサ106a、時計701a、場所センサ702a、方位センサ703a、明るさセンサ704a、温度センサ705aを含む。CPU102a、RAM103a、ROM104a、撮像装置姿勢センサ105a、撮影者姿勢センサ106aは、図1(a)と同様である。場所センサ702aは、撮像装置の場所を特定する情報を出力する第3の出力手段の一例である。方位センサ703aは、撮像装置の向いている方位を特定する情報を出力する第4の出力手段の一例である。明るさセンサ704aは、撮像装置の周囲の明るさを特定する情報を出力する第5の出力手段の一例である。温度センサ705aは、撮像装置の周囲の温度又は被写体の温度を特定する情報を出力する第6の出力手段の一例である。
時計701aは、現在の日付と時刻の情報を出力するデバイスである。場所センサ702aは、撮像装置又は撮影者が存在する位置を検出し、検出した位置に関するセンサ信号を出力するデバイスである。本実施形態では、場所を検出する場所センサ702aは、GPS(Global Positioning System)レシーバとする。GPSレシーバは、GPS衛星から発せられるGPS情報を受信し、受信したGPS情報に基づいて情報処理装置101が存在する現在地の緯度と経度を取得するデバイスである。また、場所センサ702aは、GPSレシーバに加えて、更に気圧センサを有することとしてもよい。それにより、場所センサ702aは、撮像装置に係る気圧値の変化を検出し、GPSレシーバからの情報と、気圧値の変化の情報とを総合的に用いて、撮像装置又は撮影者が存在する位置、特に高度を検出することができるようになる。
また、場所センサ702aは、照度センサや赤外線センサ等で構成されてもよい。その場合、場所センサ702aは、撮像装置に係る照度値や赤外線センサ信号を検出し、屋外であるか否かを検出することとしてもよい。場所センサ702aは、例えば、照度センサが検出した照度値が設定された閾値以上であるならば撮像装置が屋外に存在することを検出する。また、例えば、赤外線センサの送信部が天井に向けて赤外線を送信し、受信部が赤外線を受信した場合は屋内、受信しない場合は屋外であると検出する。
本実施形態では、情報処理装置101が撮像装置の姿勢情報及び撮影者の姿勢情報に加えて、場所情報、方位情報、日時情報、明るさ情報、温度情報等の撮影条件情報に基づいて、撮影シーンを決定する処理を説明する。撮影条件情報とは、撮影の際の場所、方位、日時、明るさ、温度等の条件を示す情報である。
図7(a)は、本実施形態の情報処理装置101のハードウェア構成の一例を示す図である。情報処理装置101は、CPU102a、RAM103a、ROM104a、撮像装置姿勢センサ105a、撮影者姿勢センサ106a、時計701a、場所センサ702a、方位センサ703a、明るさセンサ704a、温度センサ705aを含む。CPU102a、RAM103a、ROM104a、撮像装置姿勢センサ105a、撮影者姿勢センサ106aは、図1(a)と同様である。場所センサ702aは、撮像装置の場所を特定する情報を出力する第3の出力手段の一例である。方位センサ703aは、撮像装置の向いている方位を特定する情報を出力する第4の出力手段の一例である。明るさセンサ704aは、撮像装置の周囲の明るさを特定する情報を出力する第5の出力手段の一例である。温度センサ705aは、撮像装置の周囲の温度又は被写体の温度を特定する情報を出力する第6の出力手段の一例である。
時計701aは、現在の日付と時刻の情報を出力するデバイスである。場所センサ702aは、撮像装置又は撮影者が存在する位置を検出し、検出した位置に関するセンサ信号を出力するデバイスである。本実施形態では、場所を検出する場所センサ702aは、GPS(Global Positioning System)レシーバとする。GPSレシーバは、GPS衛星から発せられるGPS情報を受信し、受信したGPS情報に基づいて情報処理装置101が存在する現在地の緯度と経度を取得するデバイスである。また、場所センサ702aは、GPSレシーバに加えて、更に気圧センサを有することとしてもよい。それにより、場所センサ702aは、撮像装置に係る気圧値の変化を検出し、GPSレシーバからの情報と、気圧値の変化の情報とを総合的に用いて、撮像装置又は撮影者が存在する位置、特に高度を検出することができるようになる。
また、場所センサ702aは、照度センサや赤外線センサ等で構成されてもよい。その場合、場所センサ702aは、撮像装置に係る照度値や赤外線センサ信号を検出し、屋外であるか否かを検出することとしてもよい。場所センサ702aは、例えば、照度センサが検出した照度値が設定された閾値以上であるならば撮像装置が屋外に存在することを検出する。また、例えば、赤外線センサの送信部が天井に向けて赤外線を送信し、受信部が赤外線を受信した場合は屋内、受信しない場合は屋外であると検出する。
方位センサ703aは、撮像装置が向いている方位を検出し、検出した方位を示すセンサ信号を出力するデバイスである。方位センサ703aは、加速度センサ、ジャイロセンサ、地磁気センサのうち少なくとも1以上のセンサを有することとしてもよい。その場合、方位センサ703aは、1以上のセンサのセンサ信号を総合的に用いて方位を検知することができる。
明るさセンサ704aは、撮像装置又は撮影者が存在する場所の明るさを検出し、検出した明るさを示すセンサ信号を出力するデバイスである。本実施形態では、明るさセンサ704aは、照度センサで構成されることとする。明るさセンサ704aは、撮像装置に係る照度値を検出し、検出した照度値を示すセンサ信号を出力する。
温度センサ705aは、被写体の温度や、撮像装置又は撮影者が存在する位置の周囲の温度等を検出し、検出した温度を示すセンサ信号を出力するデバイスである。
また、場所センサ702aと方位センサ703aと明るさセンサ704aと温度センサ705aとは、何れも撮像装置に搭載されることとしてもよいし、撮影者の手首等の身体に装着されることとしてもよい。
明るさセンサ704aは、撮像装置又は撮影者が存在する場所の明るさを検出し、検出した明るさを示すセンサ信号を出力するデバイスである。本実施形態では、明るさセンサ704aは、照度センサで構成されることとする。明るさセンサ704aは、撮像装置に係る照度値を検出し、検出した照度値を示すセンサ信号を出力する。
温度センサ705aは、被写体の温度や、撮像装置又は撮影者が存在する位置の周囲の温度等を検出し、検出した温度を示すセンサ信号を出力するデバイスである。
また、場所センサ702aと方位センサ703aと明るさセンサ704aと温度センサ705aとは、何れも撮像装置に搭載されることとしてもよいし、撮影者の手首等の身体に装着されることとしてもよい。
図7(b)は、本実施形態の情報処理装置101の機能構成の一例を示す図である。情報処理装置101は、制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105b、場所検出部701b、方位検出部702b、日時検出部703b、明るさ検出部704b、温度検出部705bを含む。制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105bの詳細は、図1(b)と同様である。場所検出部701b、方位検出部702b、日時検出部703b、明るさ検出部704b、温度検出部705bは、第3の取得手段の一例である。
本実施形態では、場所検出部701bは、GPSレシーバである場所センサ702aにより受信されたGPS情報に基づいて、撮像装置が存在する場所に関連した場所情報を取得する。そして、場所検出部701bは、取得した場所情報をRAM103aに記憶する。
場所情報とは、緯度、経度、高度、場所カテゴリ、場所の名称等の場所に関連する情報である。本実施形態では、場所情報は、緯度、経度、高度、場所カテゴリ、場所の名称のうち少なくとも1つ以上を含む。場所検出部701bは、場所センサ702aにより受信されたGPS情報に基づいて、緯度と経度、高度を検出することができる。
本実施形態では、場所検出部701bは、GPSレシーバである場所センサ702aにより受信されたGPS情報に基づいて、撮像装置が存在する場所に関連した場所情報を取得する。そして、場所検出部701bは、取得した場所情報をRAM103aに記憶する。
場所情報とは、緯度、経度、高度、場所カテゴリ、場所の名称等の場所に関連する情報である。本実施形態では、場所情報は、緯度、経度、高度、場所カテゴリ、場所の名称のうち少なくとも1つ以上を含む。場所検出部701bは、場所センサ702aにより受信されたGPS情報に基づいて、緯度と経度、高度を検出することができる。
また、場所検出部701bは、検出した緯度と経度と高度とに基づいて、地図情報、又は地理や施設に関するデータベースを用いて、撮像装置が存在する場所の場所カテゴリや、その場所に存在する施設の名称を検出してもよい。場所カテゴリとは、場所や施設を分類した区分であり、例えば、飲食店、海、森林、学校、水族館等の区分である。場所検出部701bが検出した場所を場所カテゴリに分類することで、情報処理装置101は、緯度や経度等の詳細な場所の情報に基づくことなく、場所のカテゴリに基づいて、撮影シーンの決定ができるようになる。これにより、情報処理装置101は、緯度や経度等の詳細な場所の情報のようにカテゴリ情報よりも複雑な情報に基づいて処理を行う場合に比べて、処理負担を軽減できる。
情報処理装置101は、ネットワーク上のクラウドサーバ装置が記憶している地図情報や、地理や施設に関するデータベースを、ネットワークを介して、クラウドサーバ装置から取得することとしてもよい。情報処理装置101は、ROM104aが予め地図情報や、地理や施設に関するデータベースを記憶している場合、ROM104aから取得することとしてもよい。また、情報処理装置101の内部のハードディスクドライブや、情報処理装置101と接続される外部記憶装置等の記憶装置が、地図情報や、地理や施設に関するデータベースを記憶する場合、情報処理装置101は、以下の処理を行うこととしてもよい。即ち、情報処理装置101は、それらの記憶装置から、地図情報や、地理や施設に関するデータベースを取得することとしてもよい。
また、場所情報は、撮影者が室内に居るのか、又は、屋外に居るのかを示す屋内外情報を含んでもよい。例えば、場所検出部701bは、場所センサ702aによりGPS情報が受信された場合、屋内外情報として屋外であることを検出し、場所センサ702aによりGPS情報が受信されなかった場合、屋内外情報として室内であることを検出する。場所情報の高度は、メートルで示される情報でもよいし、建物の階数で示される情報でもよい。
情報処理装置101は、ネットワーク上のクラウドサーバ装置が記憶している地図情報や、地理や施設に関するデータベースを、ネットワークを介して、クラウドサーバ装置から取得することとしてもよい。情報処理装置101は、ROM104aが予め地図情報や、地理や施設に関するデータベースを記憶している場合、ROM104aから取得することとしてもよい。また、情報処理装置101の内部のハードディスクドライブや、情報処理装置101と接続される外部記憶装置等の記憶装置が、地図情報や、地理や施設に関するデータベースを記憶する場合、情報処理装置101は、以下の処理を行うこととしてもよい。即ち、情報処理装置101は、それらの記憶装置から、地図情報や、地理や施設に関するデータベースを取得することとしてもよい。
また、場所情報は、撮影者が室内に居るのか、又は、屋外に居るのかを示す屋内外情報を含んでもよい。例えば、場所検出部701bは、場所センサ702aによりGPS情報が受信された場合、屋内外情報として屋外であることを検出し、場所センサ702aによりGPS情報が受信されなかった場合、屋内外情報として室内であることを検出する。場所情報の高度は、メートルで示される情報でもよいし、建物の階数で示される情報でもよい。
方位検出部702bは、方位センサ703aを介して、撮像装置が向いている方位を検出する。
日時検出部703bは、時計701aを介して、現在の日付と時刻を検出する。
明るさ検出部704bは、明るさセンサ704aを介して、撮像装置又は撮影者の周囲の明るさを検出する。なお、明るさ検出部704bは、撮像装置により撮影された画像情報や他の撮像装置により撮像装置や撮影者が撮影された画像情報に基づいて、撮像装置又は撮影者の周囲の明るさを検出してもよい。こうすることで、明るさ検出部704bは、照度センサを利用せずに明るさを検出することができ、照度センサが不要となり、設備にかかる資源の軽減を図ることができる。
温度検出部705bは、温度センサ705aを介して、被写体の温度、又は、撮像装置や撮影者の周囲の温度を検出する。
日時検出部703bは、時計701aを介して、現在の日付と時刻を検出する。
明るさ検出部704bは、明るさセンサ704aを介して、撮像装置又は撮影者の周囲の明るさを検出する。なお、明るさ検出部704bは、撮像装置により撮影された画像情報や他の撮像装置により撮像装置や撮影者が撮影された画像情報に基づいて、撮像装置又は撮影者の周囲の明るさを検出してもよい。こうすることで、明るさ検出部704bは、照度センサを利用せずに明るさを検出することができ、照度センサが不要となり、設備にかかる資源の軽減を図ることができる。
温度検出部705bは、温度センサ705aを介して、被写体の温度、又は、撮像装置や撮影者の周囲の温度を検出する。
図8は、本実施形態の情報処理装置101が実行する撮影シーンを決定する処理の一例を示すフローチャートである。S201、S202、S204の処理は、図2と同様である。本実施形態では、情報処理装置101は、情報処理装置101の起動に応じて図8の処理を開始し、その後、周期的に図8の処理を繰り返す。また、情報処理装置101は、例えば、設定されたアプリケーションが起動されたことに応じて、図8の処理を開始し、そのアプリケーションの実行中の間、周期的に図8の処理を繰り返すこととしてもよい。
S801において、場所検出部701bは、撮像装置が存在する場所に関する場所情報を検出する。場所検出部701bは、GPSレシーバである場所センサ702aにより受信されたGPS情報に基づき、撮像装置が存在する地点の緯度・経度を示す場所情報を取得する。そして、場所検出部701bは、取得した場所情報をRAM103aに記憶する。また、場所検出部701bは、例えば、場所センサ702aが地下や屋内に存在する等の原因により、場所センサ702aによりGPS情報が取得されなかった場合は、GPS情報が取得できなかったことを示す情報を場所情報として、RAM103aに記憶する。
S802において、方位検出部702bは、方位センサ703aを介して、撮像装置が存在する現在の環境で検知している方位を検出する。そして、方位検出部702bは、検出した方位情報をRAM103aに記憶する。
S801において、場所検出部701bは、撮像装置が存在する場所に関する場所情報を検出する。場所検出部701bは、GPSレシーバである場所センサ702aにより受信されたGPS情報に基づき、撮像装置が存在する地点の緯度・経度を示す場所情報を取得する。そして、場所検出部701bは、取得した場所情報をRAM103aに記憶する。また、場所検出部701bは、例えば、場所センサ702aが地下や屋内に存在する等の原因により、場所センサ702aによりGPS情報が取得されなかった場合は、GPS情報が取得できなかったことを示す情報を場所情報として、RAM103aに記憶する。
S802において、方位検出部702bは、方位センサ703aを介して、撮像装置が存在する現在の環境で検知している方位を検出する。そして、方位検出部702bは、検出した方位情報をRAM103aに記憶する。
S803において、明るさ検出部704bは、明るさセンサ704aを介して、撮像装置が存在する現在の環境の明るさを検出する。そして、明るさ検出部704bは、検出した明るさ情報を、RAM103aに記憶する。
S804において、日時検出部703bは、時計701aを介して、現在時刻の日時情報を検出する。そして、日時検出部703bは、検出した日時情報をRAM103aに記憶する。
S805において、温度検出部705bは、温度センサ705aを介して、撮像装置が存在する現在の環境の温度を検出する。また、温度検出部705bは、温度センサ705aを介して、撮像装置の被写体の温度を検出することとしてもよい。そして、温度検出部705bは、検出した温度情報をRAM103aに記憶する。
S804において、日時検出部703bは、時計701aを介して、現在時刻の日時情報を検出する。そして、日時検出部703bは、検出した日時情報をRAM103aに記憶する。
S805において、温度検出部705bは、温度センサ705aを介して、撮像装置が存在する現在の環境の温度を検出する。また、温度検出部705bは、温度センサ705aを介して、撮像装置の被写体の温度を検出することとしてもよい。そして、温度検出部705bは、検出した温度情報をRAM103aに記憶する。
S806において、シーン決定部105bは、RAM103aに記憶されている撮像装置姿勢及び撮影者姿勢カテゴリに加えて、S801〜S805で記憶された場所情報、方位情報、明るさ情報、日時情報、温度情報のうち1以上に基づいて、以下の処理を行う。即ち、シーン決定部105bは、撮影シーンを決定する。シーン決定部105bは、例えば、場所情報が飲食店を示し、撮影者姿勢カテゴリが「座っている」カテゴリであり、撮像装置の姿勢情報が示す角度が設定された閾値未満であり、被写体の温度情報が示す温度が設定された範囲内である場合、以下の処理を行う。即ち、シーン決定部105bは、被写体を料理であるとみなし、撮影シーンを料理シーンであると決定する。
本実施形態では、ROM104aは、予め、撮像装置の姿勢情報と、撮影者の姿勢情報と、撮影条件情報と、撮影シーンと、の対応情報を、シーン対応情報として、記憶している。シーン決定部105bは、例えば、ROM104aに記憶されているシーン対応情報から、S201及びS202で検出された撮像装置の姿勢情報と撮影者の姿勢情報と撮影条件情報とに対応する撮影シーンを取得する。
本実施形態では、ROM104aは、予め、撮像装置の姿勢情報と、撮影者の姿勢情報と、撮影条件情報と、撮影シーンと、の対応情報を、シーン対応情報として、記憶している。シーン決定部105bは、例えば、ROM104aに記憶されているシーン対応情報から、S201及びS202で検出された撮像装置の姿勢情報と撮影者の姿勢情報と撮影条件情報とに対応する撮影シーンを取得する。
以上、本実施形態の処理により、情報処理装置101は、撮像装置の姿勢情報と、撮影者の姿勢情報と、に加えて、撮像装置による撮影の際の種々の撮影条件に基づいて、撮影シーンを決定した。これにより、情報処理装置101は、撮像装置の姿勢情報と、撮影者の姿勢情報と、に基づいて、撮影シーンを決定する場合に比べて、より正確に、撮影シーンを決定することができる。
例えば、撮影者が飲食店に存在するならば、撮影者は料理を撮影しようとしていると推察できる。また、撮影者が山に存在するならば、撮影者は風景又は植物を撮影しようとしていると推察できる。このように、撮影者が何を撮影しようとしているかを決定するためには、場所が特に重要な要素となる場合がある。情報処理装置101は、場所センサ702aを介して撮像装置がどこに存在するかの情報を取得し、取得した場所情報に基づいて、撮影シーンを決定することで、特に、より正確に、撮影シーンを決定することができる。
例えば、撮影者が飲食店に存在するならば、撮影者は料理を撮影しようとしていると推察できる。また、撮影者が山に存在するならば、撮影者は風景又は植物を撮影しようとしていると推察できる。このように、撮影者が何を撮影しようとしているかを決定するためには、場所が特に重要な要素となる場合がある。情報処理装置101は、場所センサ702aを介して撮像装置がどこに存在するかの情報を取得し、取得した場所情報に基づいて、撮影シーンを決定することで、特に、より正確に、撮影シーンを決定することができる。
<実施形態5>
本実施形態では、情報処理装置101が撮影者の姿勢情報と、撮像装置の姿勢情報と、撮影シーン情報と、撮影者の姿勢情報と撮像装置の姿勢情報とから撮影シーンを決定するために利用される辞書データを機械学習する処理を説明する。また、情報処理装置101が学習した辞書データを用いて、撮影シーンを決定する処理についても説明する。情報処理装置101は、機械学習の方法として、公知の方法を用いることとする。
図9(a)は、本実施形態の情報処理装置101のハードウェア構成の一例を示す図である。情報処理装置101は、CPU102a、RAM103a、ROM104a、撮像装置姿勢センサ105a、撮影者姿勢センサ106a、記憶装置901aを含む。CPU102a、RAM103a、ROM104a、撮像装置姿勢センサ105a、撮影者姿勢センサ106aは、図1(a)と同様である。
記憶装置901は、本実施形態に係る辞書データ、辞書データの学習に用いられるサンプルデータ、各種プログラム等を記憶するハードディスクドライブ、光学ディスクドライブ等の記憶装置である。情報処理装置101は、記憶装置901を含まずに、情報処理装置101と接続された外部記憶装置に対して、辞書データ等を記憶することとしてもよい。外部記憶装置は、例えば、メディア(記録媒体)と、そのメディアへのアクセスを実現するための外部記憶ドライブとで構成されることとする。このようなメディアとしては、例えば、フレキシブルディスク(FD)、CD−ROM、DVD、USBメモリ、MO、フラッシュメモリ等がある。また、外部記憶装置は、情報処理装置101とネットワークを介して接続されたサーバ装置等であってもよい。
本実施形態では、情報処理装置101が撮影者の姿勢情報と、撮像装置の姿勢情報と、撮影シーン情報と、撮影者の姿勢情報と撮像装置の姿勢情報とから撮影シーンを決定するために利用される辞書データを機械学習する処理を説明する。また、情報処理装置101が学習した辞書データを用いて、撮影シーンを決定する処理についても説明する。情報処理装置101は、機械学習の方法として、公知の方法を用いることとする。
図9(a)は、本実施形態の情報処理装置101のハードウェア構成の一例を示す図である。情報処理装置101は、CPU102a、RAM103a、ROM104a、撮像装置姿勢センサ105a、撮影者姿勢センサ106a、記憶装置901aを含む。CPU102a、RAM103a、ROM104a、撮像装置姿勢センサ105a、撮影者姿勢センサ106aは、図1(a)と同様である。
記憶装置901は、本実施形態に係る辞書データ、辞書データの学習に用いられるサンプルデータ、各種プログラム等を記憶するハードディスクドライブ、光学ディスクドライブ等の記憶装置である。情報処理装置101は、記憶装置901を含まずに、情報処理装置101と接続された外部記憶装置に対して、辞書データ等を記憶することとしてもよい。外部記憶装置は、例えば、メディア(記録媒体)と、そのメディアへのアクセスを実現するための外部記憶ドライブとで構成されることとする。このようなメディアとしては、例えば、フレキシブルディスク(FD)、CD−ROM、DVD、USBメモリ、MO、フラッシュメモリ等がある。また、外部記憶装置は、情報処理装置101とネットワークを介して接続されたサーバ装置等であってもよい。
図9(b)は、本実施形態の情報処理装置101の機能構成の一例を示す図である。情報処理装置101は、制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105b、学習部901b、記憶部902bを含む。制御部102b、撮像装置姿勢検出部103b、撮影者姿勢検出部104b、シーン決定部105bの詳細は、図1(b)と同様である。
学習部901bは、撮影シーンと、撮像装置の姿勢情報と、撮影者の姿勢情報との組みであるサンプルデータを1以上用いて、撮影シーンを識別するために用いられる辞書データを機械学習する。サンプルデータとは、機械学習に用いられる学習用データのことである。学習部901bは、例えば、決定木やサポートベクターマシーン等の教師あり機械学習を、撮影シーンが予め特定されている様々な複数のサンプルデータに適用し、各シーンに対応づける撮影者姿勢の特徴量と撮像装置姿勢の特徴量の判断基準を求める。学習部901bは、求めた判断基準を、辞書データとして取得する。学習部901bは、取得した辞書データを、記憶装置901aに記憶するよう、記憶部902bに指示する。本実施形態では、撮像装置の姿勢情報は、撮像装置姿勢センサ105aが出力したセンサ信号、又は、そのセンサ信号を基に算出された撮影レンズの光軸と水平面のなす角度のうち1つ以上の角度を撮像装置の姿勢情報とする。また、本実施形態では、撮影者の姿勢情報は、撮影者姿勢センサ106aが出力したセンサ信号、又は、そのセンサ信号を基に分類された姿勢カテゴリのうち1つ以上の姿勢カテゴリを撮影者姿勢情報とする。
記憶部902bは、学習部901bにより機械学習された辞書データを、記憶装置901aに記憶する。本実施形態では、辞書データとは、撮影者姿勢情報の特徴量と撮像装置姿勢情報の特徴量と各撮影シーンとの対応付けの判断基準を示す情報である。
シーン決定部105bは、撮影者の姿勢情報の特徴量と、撮像装置の姿勢情報と、から特徴量を抽出し、抽出した特徴量と記憶部902bに記憶されている辞書データとに基づいて、撮影シーンを決定する。
学習部901bは、撮影シーンと、撮像装置の姿勢情報と、撮影者の姿勢情報との組みであるサンプルデータを1以上用いて、撮影シーンを識別するために用いられる辞書データを機械学習する。サンプルデータとは、機械学習に用いられる学習用データのことである。学習部901bは、例えば、決定木やサポートベクターマシーン等の教師あり機械学習を、撮影シーンが予め特定されている様々な複数のサンプルデータに適用し、各シーンに対応づける撮影者姿勢の特徴量と撮像装置姿勢の特徴量の判断基準を求める。学習部901bは、求めた判断基準を、辞書データとして取得する。学習部901bは、取得した辞書データを、記憶装置901aに記憶するよう、記憶部902bに指示する。本実施形態では、撮像装置の姿勢情報は、撮像装置姿勢センサ105aが出力したセンサ信号、又は、そのセンサ信号を基に算出された撮影レンズの光軸と水平面のなす角度のうち1つ以上の角度を撮像装置の姿勢情報とする。また、本実施形態では、撮影者の姿勢情報は、撮影者姿勢センサ106aが出力したセンサ信号、又は、そのセンサ信号を基に分類された姿勢カテゴリのうち1つ以上の姿勢カテゴリを撮影者姿勢情報とする。
記憶部902bは、学習部901bにより機械学習された辞書データを、記憶装置901aに記憶する。本実施形態では、辞書データとは、撮影者姿勢情報の特徴量と撮像装置姿勢情報の特徴量と各撮影シーンとの対応付けの判断基準を示す情報である。
シーン決定部105bは、撮影者の姿勢情報の特徴量と、撮像装置の姿勢情報と、から特徴量を抽出し、抽出した特徴量と記憶部902bに記憶されている辞書データとに基づいて、撮影シーンを決定する。
図10(a)は、本実施系多の情報処理装置101が実行する機械学習処理の一例を示すフローチャートである。本実施形態では、情報処理装置101は、情報処理装置101の起動に応じて図10(a)の処理を開始し、周期的に図10(a)の処理を繰り返す。また、情報処理装置101は、例えば、設定されたアプリケーションが起動されたことに応じて、図10(a)の処理を開始し、そのアプリケーションの実行中の間、周期的に図10(a)の処理を繰り返すこととしてもよい。
S1001aにおいて、学習部901bは、予め、記憶装置901aに記憶されている機械学習に用いられるサンプルデータを、記憶装置901aから取得する。各サンプルデータには、少なくとも、撮影者姿勢検出部104bにより検出された撮影者の姿勢情報と、撮像装置姿勢検出部103bにより検出された撮像装置の姿勢情報と、撮影シーンの情報と、が含まれている。また、各サンプルデータは、予め正解データとして撮影シーンが対応付けられている。
S1002aにおいて、学習部901bは、S1001aで取得した各サンプルデータに含まれる撮影者の姿勢情報と撮像装置の姿勢情報との特徴量をそれぞれ抽出する。
S1003aにおいて、学習部901bは、S902で抽出した撮影者姿勢情報の特徴量と撮像装置姿勢情報の特徴量と、これらに対応する撮影シーンの情報と、に基づいて、機械学習を行う。学習部901bは、機械学習により、各撮影シーンと、撮影者の姿勢情報及び撮像装置の姿勢情報と、の対応関係を示す辞書データを作成する。そして、学習部901bは、作成した辞書データを記憶装置901aに記憶するよう記憶部902bに指示する。
S1001aにおいて、学習部901bは、予め、記憶装置901aに記憶されている機械学習に用いられるサンプルデータを、記憶装置901aから取得する。各サンプルデータには、少なくとも、撮影者姿勢検出部104bにより検出された撮影者の姿勢情報と、撮像装置姿勢検出部103bにより検出された撮像装置の姿勢情報と、撮影シーンの情報と、が含まれている。また、各サンプルデータは、予め正解データとして撮影シーンが対応付けられている。
S1002aにおいて、学習部901bは、S1001aで取得した各サンプルデータに含まれる撮影者の姿勢情報と撮像装置の姿勢情報との特徴量をそれぞれ抽出する。
S1003aにおいて、学習部901bは、S902で抽出した撮影者姿勢情報の特徴量と撮像装置姿勢情報の特徴量と、これらに対応する撮影シーンの情報と、に基づいて、機械学習を行う。学習部901bは、機械学習により、各撮影シーンと、撮影者の姿勢情報及び撮像装置の姿勢情報と、の対応関係を示す辞書データを作成する。そして、学習部901bは、作成した辞書データを記憶装置901aに記憶するよう記憶部902bに指示する。
図10(b)は、本実施形態の情報処理装置101が実行する撮影シーンを決定する処理の一例を示すフローチャートである。S201、S202、S204の処理は、図2と同様である。本実施形態では、情報処理装置101は、情報処理装置101の起動に応じて図10(b)の処理を開始し、その後、周期的に図10(b)の処理を繰り返す。また、情報処理装置101は、例えば、設定されたアプリケーションが起動されたことに応じて、図10(b)の処理を開始し、そのアプリケーションの実行中の間、周期的に図10(b)の処理を繰り返すこととしてもよい。
S1001bにおいて、シーン決定部105bは、RAM103aに保持されている最新の撮像装置の姿勢情報と最新の撮影者の姿勢情報とを取得し、取得した撮像装置の姿勢情報と撮影者の姿勢情報とからそれぞれ特徴量を抽出する。
S1002bにおいて、シーン決定部105bは、図10(a)の処理により記憶部902bに記憶されている辞書データを取得する。
S1003bにおいて、シーン決定部105bは、S1001bで抽出した特徴量と、S1002bで取得した辞書データに基づいて、撮影シーンを決定する。
S1001bにおいて、シーン決定部105bは、RAM103aに保持されている最新の撮像装置の姿勢情報と最新の撮影者の姿勢情報とを取得し、取得した撮像装置の姿勢情報と撮影者の姿勢情報とからそれぞれ特徴量を抽出する。
S1002bにおいて、シーン決定部105bは、図10(a)の処理により記憶部902bに記憶されている辞書データを取得する。
S1003bにおいて、シーン決定部105bは、S1001bで抽出した特徴量と、S1002bで取得した辞書データに基づいて、撮影シーンを決定する。
学習部901bは、撮影者姿勢情報の特徴量と、撮像装置姿勢情報の特徴量と、撮影シーンと、正誤情報と、を含むサンプルデータを用いて、辞書データを学習してもよい。正誤情報とは、サンプルデータ中の撮影シーンが、撮影者姿勢情報の特徴量と撮像装置姿勢情報の特徴量とに対応する撮影シーンであるか否かを示す情報である。その場合、学習部901bは、撮影者姿勢情報と撮像装置姿勢情報とに加えて、撮影シーンと、その撮影シーンに対する正誤回答の、各特徴量をサンプルデータから抽出し、抽出した特徴量に基づいて、辞書データを学習する。撮影者は、撮像装置を用いて撮影を行う度に、情報処理装置101の撮影シーン決定処理の結果が正解か間違いかの情報を、情報処理装置101に入力してもよい。これにより、情報処理装置101は、撮影者姿勢情報の特徴量と、撮像装置姿勢情報の特徴量と、撮影シーンと、正誤情報と、を含むサンプルデータを取得することができる。各サンプルデータに含まれる正誤情報は、撮影シーンが撮影者の姿勢情報と撮像装置の姿勢情報とに対応しないものである場合、正しい撮影シーンの情報を含むこととしてもよい。各サンプルデータが正しい撮影シーンの情報を含むことで、学習部901bは、より精度よく、撮影シーンを決定することができる辞書データを学習することができる。
また、学習部901bは、複数の撮影者が撮像装置で撮影した際のサンプルデータを全て適用して辞書データを作成してもよいし、1人の撮影者が撮影した際のサンプルデータを適用して撮影者毎に辞書データを作成してもよい。なお、学習部901bは、撮影者の姿勢情報と撮像装置の姿勢情報に加えて、撮影者の姿勢維持時間と撮影頻度と場所情報と方位情報と日時情報と明るさ情報と温度情報とのうち、それぞれの特徴量を一つ以上適用して辞書データを学習してもよい。
図11は、記憶装置901aに記憶されている各撮影シーンに対応する辞書データの一例を示す図である。例えば、飲食店に30分間いる撮影者がアイスクリームを撮影している状況について説明する。撮像装置姿勢検出部103bが撮影者の姿勢情報として−60度を検出し、撮影者姿勢検出部104bが撮影者の姿勢情報である撮影者姿勢カテゴリが「座っている」カテゴリであることを検出したとする。また、姿勢維持時間判定部が、撮影者が30分間姿勢を維持していることを検出し、撮影頻度算出部501が、撮影頻度を毎分0.2回として算出し、温度検出部705bが、被写体の温度を6度であることを検出したとする。この場合、シーン決定部105bは、検出・算出された撮像装置の姿勢情報、撮影者の姿勢情報、姿勢維持時間、撮影頻度、温度から、それぞれ特徴量を抽出する。次に、シーン決定部105bは、抽出した特徴量と、記憶装置901aに記憶されている辞書データに基づいて、料理シーンと決定する。
また、学習部901bは、複数の撮影者が撮像装置で撮影した際のサンプルデータを全て適用して辞書データを作成してもよいし、1人の撮影者が撮影した際のサンプルデータを適用して撮影者毎に辞書データを作成してもよい。なお、学習部901bは、撮影者の姿勢情報と撮像装置の姿勢情報に加えて、撮影者の姿勢維持時間と撮影頻度と場所情報と方位情報と日時情報と明るさ情報と温度情報とのうち、それぞれの特徴量を一つ以上適用して辞書データを学習してもよい。
図11は、記憶装置901aに記憶されている各撮影シーンに対応する辞書データの一例を示す図である。例えば、飲食店に30分間いる撮影者がアイスクリームを撮影している状況について説明する。撮像装置姿勢検出部103bが撮影者の姿勢情報として−60度を検出し、撮影者姿勢検出部104bが撮影者の姿勢情報である撮影者姿勢カテゴリが「座っている」カテゴリであることを検出したとする。また、姿勢維持時間判定部が、撮影者が30分間姿勢を維持していることを検出し、撮影頻度算出部501が、撮影頻度を毎分0.2回として算出し、温度検出部705bが、被写体の温度を6度であることを検出したとする。この場合、シーン決定部105bは、検出・算出された撮像装置の姿勢情報、撮影者の姿勢情報、姿勢維持時間、撮影頻度、温度から、それぞれ特徴量を抽出する。次に、シーン決定部105bは、抽出した特徴量と、記憶装置901aに記憶されている辞書データに基づいて、料理シーンと決定する。
以上、本実施形態の処理により、情報処理装置101は、撮像装置の姿勢情報と、撮影者の姿勢情報と、から特徴量を抽出し、抽出した特徴量と対応する撮影シーンとを学習用のサンプルデータとして、撮影シーンの決定に利用される辞書データを学習した。情報処理装置101は、学習に用いられるサンプルデータが増えるほど、より高精度な辞書データを学習することができる。即ち、情報処理装置101は、より多くのサンプルデータで学習された辞書データを用いて、より高精度に撮影シーンを決定することができる。
シーン決定部105bは、複数の撮影シーンのうち少なくとも1つ以上について、撮影シーンに対応する情報を出力する。シーン決定部105bは、例えば、撮影シーンの名称を撮像装置や情報処理装置101の表示部等に表示することで出力してもよい。また、シーン決定部105bは、撮影シーンの候補となる各シーンに対する評価値を算出し、算出した評価値に基づいて、撮影シーンを決定することとしてもよい。評価値とは、例えば、現在の撮影状況に対しての任意の撮影シーンである確率を示す値である。
シーン決定部105bは、複数の撮影シーンのうち少なくとも1つ以上について、撮影シーンに対応する情報を出力する。シーン決定部105bは、例えば、撮影シーンの名称を撮像装置や情報処理装置101の表示部等に表示することで出力してもよい。また、シーン決定部105bは、撮影シーンの候補となる各シーンに対する評価値を算出し、算出した評価値に基づいて、撮影シーンを決定することとしてもよい。評価値とは、例えば、現在の撮影状況に対しての任意の撮影シーンである確率を示す値である。
<その他の実施形態>
実施形態1〜5では、情報処理装置101は、撮像装置に装着されていることとした。即ち、情報処理装置101と撮像装置とは、一体として利用されることとした。そのため、情報処理装置101は、情報処理装置101に含まれる各センサからのセンサ信号を、撮像装置についての情報とみなすことができた。しかし、情報処理装置101は、撮像装置と分離して利用されることとしてもよい。その場合、情報処理装置101に含まれることとした各センサは、撮像装置に装着されることとする。その場合、情報処理装置101は、撮像装置に装着された各センサからのセンサ信号を有線又は無線による通信により取得することになる。また、各センサは、撮影者の身体(例えば、手首等)に装着されることとしてもよい。
実施形態1〜5では、情報処理装置101が撮像装置の撮影シーンを決定する処理を行うこととした。しかし、例えば、情報処理装置101と同様のハードウェア構成及び機能構成を有する撮像装置が、自身の撮影シーンを決定する処理を行うこととしてもよい。その場合、撮像装置のCPUが、撮像装置のROM等に記憶されたプログラムに基づき処理を実行することによって、図1、3、5、7、9で説明した情報処理装置101の機能と同様の機能が実現される。また、撮像装置のCPUが、撮像装置のROM等に記憶されたプログラムに基づき処理を実行することによって、図2、4、6、8、10で説明したフローチャートの処理と同様の処理も実現される。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した情報処理装置101の機能構成の一部又は全てをハードウェアとして情報処理装置101又は撮像装置に実装してもよい。
実施形態1〜5では、情報処理装置101は、撮像装置に装着されていることとした。即ち、情報処理装置101と撮像装置とは、一体として利用されることとした。そのため、情報処理装置101は、情報処理装置101に含まれる各センサからのセンサ信号を、撮像装置についての情報とみなすことができた。しかし、情報処理装置101は、撮像装置と分離して利用されることとしてもよい。その場合、情報処理装置101に含まれることとした各センサは、撮像装置に装着されることとする。その場合、情報処理装置101は、撮像装置に装着された各センサからのセンサ信号を有線又は無線による通信により取得することになる。また、各センサは、撮影者の身体(例えば、手首等)に装着されることとしてもよい。
実施形態1〜5では、情報処理装置101が撮像装置の撮影シーンを決定する処理を行うこととした。しかし、例えば、情報処理装置101と同様のハードウェア構成及び機能構成を有する撮像装置が、自身の撮影シーンを決定する処理を行うこととしてもよい。その場合、撮像装置のCPUが、撮像装置のROM等に記憶されたプログラムに基づき処理を実行することによって、図1、3、5、7、9で説明した情報処理装置101の機能と同様の機能が実現される。また、撮像装置のCPUが、撮像装置のROM等に記憶されたプログラムに基づき処理を実行することによって、図2、4、6、8、10で説明したフローチャートの処理と同様の処理も実現される。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、上述した情報処理装置101の機能構成の一部又は全てをハードウェアとして情報処理装置101又は撮像装置に実装してもよい。
101 情報処理装置
102a CPU
105b シーン決定部
102a CPU
105b シーン決定部
Claims (20)
- 撮像装置の姿勢情報を、第1の姿勢情報として取得する第1の取得手段と、
前記撮像装置の撮影者の姿勢情報を、第2の姿勢情報として取得する第2の取得手段と、
前記第1の取得手段により取得された前記第1の姿勢情報と、前記第2の取得手段により取得された前記第2の姿勢情報と、に基づいて、前記撮像装置の撮影シーンを決定する決定手段と、
を有する情報処理装置。 - 前記撮像装置の姿勢情報を特定する情報を、出力信号として出力する第1の出力手段を更に有し、
前記第1の取得手段は、前記第1の出力手段から出力される出力信号に基づいて、前記第1の姿勢情報を取得する請求項1記載の情報処理装置。 - 前記第1の取得手段は、前記撮像装置により撮影された画像に基づいて、前記第1の姿勢情報を取得する請求項1記載の情報処理装置。
- 前記第1の取得手段は、前記撮像装置、又は前記撮影者が撮影された画像に基づいて、前記第1の姿勢情報を取得する請求項1記載の情報処理装置。
- 前記撮影者の姿勢情報を特定する情報を、出力信号として出力する第2の出力手段を更に有し、
前記第2の取得手段は、前記第2の出力手段から出力される出力信号に基づいて、前記第2の姿勢情報を取得する請求項1乃至4何れか1項記載の情報処理装置。 - 前記第2の取得手段は、前記撮像装置により撮影された画像に基づいて、前記第2の姿勢情報を取得する請求項1乃至4何れか1項記載の情報処理装置。
- 前記第2の取得手段は、前記撮像装置、又は前記撮影者が撮影された画像に基づいて、前記第2の姿勢情報を取得する請求項1乃至4何れか1項記載の情報処理装置。
- 前記決定手段は、前記第1の取得手段により取得された前記第1の姿勢情報と、前記第2の取得手段により取得された前記第2の姿勢情報と、前記撮影者が前記第2の姿勢情報に対応する姿勢を維持している期間と、に基づいて、前記撮像装置の撮影シーンを決定する請求項1乃至7何れか1項記載の情報処理装置。
- 前記決定手段は、前記第1の取得手段により取得された前記第1の姿勢情報と、前記第2の取得手段により取得された前記第2の姿勢情報と、前記撮影者が前記第2の取得手段により取得された前記第2の姿勢情報に対応する姿勢を維持している期間における前記撮像装置による撮影頻度と、に基づいて、前記撮像装置の撮影シーンを決定する請求項1乃至7何れか1項記載の情報処理装置。
- 撮影条件情報を取得する第3の取得手段を更に有し、
前記第1の取得手段により取得された前記第1の姿勢情報と、前記第2の取得手段により取得された前記第2の姿勢情報と、前記第3の取得手段により取得された前記撮影条件情報と、に基づいて、前記撮像装置の撮影シーンを決定する請求項1乃至7何れか1項記載の情報処理装置。 - 前記第3の取得手段は、前記撮影条件情報として、前記撮像装置が存在する場所情報、前記撮像装置が向いている方位情報、現在時刻の日時情報、前記撮像装置の周囲の明るさ情報、前記撮像装置の周囲の温度情報、前記撮像装置による撮影の被写体の温度情報、のうち少なくとも1つ以上を取得する請求項10記載の情報処理装置。
- 前記撮像装置の場所を特定する情報を、出力信号として出力する第3の出力手段を更に有し、
前記第3の取得手段は、前記第3の出力手段から出力される出力信号に基づいて、前記撮像装置が存在する場所情報を、前記撮影条件情報として取得する請求項11記載の情報処理装置。 - 前記撮像装置が向いている方位を特定する情報を、出力信号として出力する第4の出力手段を更に有し、
前記第3の取得手段は、前記第4の出力手段から出力される出力信号に基づいて、前記撮像装置が向いている方位情報を、前記撮影条件情報として取得する請求項11又は12記載の情報処理装置。 - 前記撮像装置の周囲の明るさを特定する情報を、出力信号として出力する第5の出力手段を更に有し、
前記第3の取得手段は、前記第5の出力手段から出力される出力信号に基づいて、前記撮像装置の周囲の明るさ情報を、前記撮影条件情報として取得する請求項11乃至13何れか1項記載の情報処理装置。 - 前記撮像装置の周囲の温度、又は前記撮像装置による撮影の被写体の温度を特定する情報を、出力信号として出力する第6の出力手段を更に有し、
前記第3の取得手段は、前記第6の出力手段から出力される出力信号に基づいて、前記撮像装置の周囲の温度情報、又は前記撮像装置による撮影の被写体の温度情報を、前記撮影条件情報として取得する請求項11乃至14何れか1項記載の情報処理装置。 - 前記第1の取得手段により取得された前記第1の姿勢情報と、前記第2の取得手段により取得された前記第2の姿勢情報と、に基づいて、撮影シーンの決定に利用される辞書データを学習する学習手段
を更に有する請求項1乃至15何れか1項記載の情報処理装置。 - 前記第1の取得手段は、前記第1の姿勢情報を取得した後、更に、前記撮像装置の姿勢情報を、第3の姿勢情報として取得し、
前記第2の取得手段は、前記第2の姿勢情報を取得した後、更に、前記撮影者の姿勢情報を、第4の姿勢情報として取得し、
前記決定手段は、更に、前記第1の取得手段により取得された前記第3の姿勢情報と、前記第2の取得手段により取得された前記第4の姿勢情報と、前記学習手段により学習された前記辞書データと、に基づいて、前記撮像装置の撮影シーンを決定する請求項16記載の情報処理装置。 - 撮像装置であって、
前記撮像装置の姿勢情報を、第1の姿勢情報として取得する第1の取得手段と、
前記撮像装置の撮影者の姿勢情報を、第2の姿勢情報として取得する第2の取得手段と、
前記第1の取得手段により取得された前記第1の姿勢情報と、前記第2の取得手段により取得された前記第2の姿勢情報と、に基づいて、前記撮像装置の撮影シーンを決定する決定手段と、
を有する撮像装置。 - 情報処理装置が実行する情報処理方法であって、
撮像装置の姿勢情報を、第1の姿勢情報として取得する第1の取得ステップと、
前記撮像装置の撮影者の姿勢情報を、第2の姿勢情報として取得する第2の取得ステップと、
前記第1の取得ステップで取得された前記第1の姿勢情報と、前記第2の取得ステップで取得された前記第2の姿勢情報と、に基づいて、前記撮像装置の撮影シーンを決定する決定ステップと、
を含む情報処理方法。 - コンピュータを、請求項1乃至17何れか1項記載の情報処理装置の各手段として、機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016122796A JP2017228892A (ja) | 2016-06-21 | 2016-06-21 | 情報処理装置、撮像装置、情報処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016122796A JP2017228892A (ja) | 2016-06-21 | 2016-06-21 | 情報処理装置、撮像装置、情報処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017228892A true JP2017228892A (ja) | 2017-12-28 |
Family
ID=60892284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016122796A Pending JP2017228892A (ja) | 2016-06-21 | 2016-06-21 | 情報処理装置、撮像装置、情報処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017228892A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022174211A (ja) * | 2017-02-20 | 2022-11-22 | ノヴァレッド ゲーエムベーハー | アクティブoledディスプレイ、アクティブoledディスプレイの製造方法および化合物 |
JP7417332B1 (ja) | 2023-05-11 | 2024-01-18 | エイターリンク株式会社 | マルチ・アンテナおよび受電装置 |
-
2016
- 2016-06-21 JP JP2016122796A patent/JP2017228892A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022174211A (ja) * | 2017-02-20 | 2022-11-22 | ノヴァレッド ゲーエムベーハー | アクティブoledディスプレイ、アクティブoledディスプレイの製造方法および化合物 |
JP7417332B1 (ja) | 2023-05-11 | 2024-01-18 | エイターリンク株式会社 | マルチ・アンテナおよび受電装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3467585B1 (en) | Head-mounted display tracking system | |
JP2020528623A5 (ja) | ||
US9338311B2 (en) | Image-related handling support system, information processing apparatus, and image-related handling support method | |
CN113850248B (zh) | 运动姿态评估方法、装置、边缘计算服务器及存储介质 | |
US20160055671A1 (en) | Techniques for Enhanced Accurate Pose Estimation | |
CN108416285A (zh) | 枪球联动监控方法、装置及计算机可读存储介质 | |
KR20170115350A (ko) | 전자 장치 및 그의 동작 방법 | |
JP6398472B2 (ja) | 画像表示システム、画像表示装置、画像表示方法、およびプログラム | |
KR20180064253A (ko) | 비행 제어 방법 및 이를 지원하는 전자 장치 | |
US9756260B1 (en) | Synthetic camera lenses | |
JP3946593B2 (ja) | 共同撮影システム | |
US20160373612A1 (en) | Systems and methods for generating images with specific orientations | |
KR20090087670A (ko) | 촬영 정보 자동 추출 시스템 및 방법 | |
US20130235227A1 (en) | Image capturing device and method thereof and human recognition photograph system | |
US20180041750A1 (en) | Field of View Rendering Control of Digital Content | |
CN107560637B (zh) | 头戴显示设备校准结果验证方法及头戴显示设备 | |
WO2022077296A1 (zh) | 三维重建方法、云台负载、可移动平台以及计算机可读存储介质 | |
JP2017527145A (ja) | 認識されたオブジェクトを用いてセンサのキャリブレーションを行うための方法およびシステム | |
JP6959888B2 (ja) | 物体認識情報及び受信電磁波情報に係るモデルを用いて端末位置を推定する装置、プログラム及び方法 | |
JP2008146583A (ja) | 姿勢検知装置および挙動検知装置 | |
CN114495416A (zh) | 基于无人机的火情监测方法、装置及终端设备 | |
JP2017228892A (ja) | 情報処理装置、撮像装置、情報処理方法及びプログラム | |
CN110581950B (zh) | 相机、选择相机设置的系统和方法 | |
JP2020091658A (ja) | 撮像情報管理システム、撮像情報管理システムの制御方法及び撮像情報管理プログラム | |
JP2019114923A (ja) | 画像記録方法、画像記録プログラム、情報処理装置及び画像記録装置 |